CN111339798A

CN111339798A - 物件位置判断电路和影像处理电路

Info

Publication number: CN111339798A
Application number: CN201811547167.4A
Authority: CN
Inventors: 虞登翔; 吴彦兴
Original assignee: Realtek Semiconductor Corp
Current assignee: Realtek Semiconductor Corp
Priority date: 2018-12-18
Filing date: 2018-12-18
Publication date: 2020-06-26
Anticipated expiration: 2038-12-18
Also published as: CN111339798B

Abstract

本发明公开一种物件位置判断电路和影像处理电路，其包含有一接收电路、一检测电路以及一计算电路。在该物件位置判断电路的操作中，该接收电路用于接收一影像信号中第N个图框以及第(N+M)个图框，其中N为一正整数，M为大于1的正整数；该检测电路用于检测一物件在该第N个图框以及该第(N+M)个图框中的位置；以及该计算电路用于根据该物件在该第N个图框以及该第(N+M)个图框中的位置，以计算出该物件在该第(N+M+A)个图框中的位置，其中A为一正整数。

Description

物件位置判断电路和影像处理电路

技术领域

本发明是有关于影像处理，尤指一种判断影像中特定物件位置的电路。

背景技术

在目前的人脸辨识系统中，是使用深度学习或类神经网路(Neural Network)的方式来对影像进行分析处理以辨识出人脸在影像中位置。然而，由于深度学习的人工智慧模组需要较高运算量，因此在影像资料内容较大的情形下，可能会超出人工智慧模组的负担，或是工程师需要设计具有更高能力的人工智慧模组，因而增加了设计与制造上的成本。

发明内容

因此，本发明的目的之一在于提出一种物件位置判断电路，其可以仅辨识物件在部分影像图框中的位置，再透过物件在这些部分影像图框中的位置来计算/预测出物件在其他图框上的位置，以降低人工智慧模组的负担。

在本发明的一个实施例中，公开一种物件位置判断电路，其包含有一接收电路、一检测电路以及一计算电路。在该物件位置判断电路的操作中，该接收电路用于接收一影像信号中第N个图框以及第(N+M)个图框，其中N为一正整数，M为大于1的正整数；该检测电路用于检测一物件在该第N个图框以及该第(N+M)个图框中的位置；以及该计算电路用于根据该物件在该第N个图框以及该第(N+M)个图框中的位置，以计算出该物件在该第(N+M+A)个图框中的位置，其中A为一正整数。

在本发明的另一个实施例中，公开了包含一物件位置判断电路以及一影像处理电路的电路架构。该物件位置判断电路包含有一接收电路、一检测电路、一计算电路以及一输出电路。在该物件位置判断电路的操作中，该接收电路用于接收一影像信号中第N个图框以及第(N+M)个图框，其中N为一正整数，M为大于1的正整数；该检测电路用于检测一物件在该第N个图框以及该第(N+M)个图框中的位置；该计算电路用于根据该物件在该第N个图框以及该第(N+M)个图框中的位置，以计算出该物件在该第(N+M+A)个图框中的位置，其中A为一正整数；以及该输出电路用于分别输出该第N个图框、该第(N+M)个图框、以及该第(N+M+A)个图框中的一区域以作为该物件的位置。在该影像处理电路的操作中，该影像处理电路是用于接收该影像信号，并根据该第N个图框、该第(N+M)个图框、以及该第(N+M+A)个图框中的该区域以对该影像信号进行处理，以产生多个输出影像至一显示面板并显示于其上。

附图说明

图1为根据本发明一实施例的电子装置的示意图。

图2为根据本发明一实施例的物件位置判断电路的操作的时序图。

图3为物件位置判断电路检测或计算不同图框内的物件位置的示意图。

图4为影像处理电路根据物件位置信息来进行影像处理的示意图。

图5为根据本发明一实施例的影像处理方法的流程图。

具体实施方式

图1为根据本发明一实施例的电子装置的示意图。如图1所示，电子装置包含了一影像处理电路110、一物件位置判断电路120以及一显示面板130，其中物件位置判断电路120包含了一接收电路122、一检测电路124、一计算电路126以及一输出电路128。在本实施例中，影像处理电路110以及物件位置判断电路120可以被整合在一单晶片中，且电子装置可以是任何包含显示面板的电子装置，例如桌上型电脑、笔记型电脑、或是行动装置等等。

在电子装置的操作中，影像处理电路110是用来接收一影像信号Din并产生多个输出影像(图框)至显示面板130并显示于其上。同时地，物件位置判断电路120根据影像信号Din的内容来判断一物件(例如，人脸)在影像信号Din的多个图框中的位置，并产生物件位置信息(例如，物件在每一个图框的区域座标)给影像处理电路110，以供影像处理电路110对影像信号Din进行处理。然而，由于判断影像中的物件位置是采用深度学习或类神经网路的方式来进行，其需要很高的运算量，因此物件位置判断电路120的处理能力并无法对每一个图框都进行物件位置的检测判断，因此在本实施例中物件位置判断电路120仅根据部分的图框来进行物件位置检测，并使用外插的计算方式(例如，线性外插)来预测出物件在其他图框中的位置，以在符合物件位置判断电路120的处理能力的情形下，仍然可以提供足够的物件位置信息供影像处理电路110使用。

具体来说，请同时参考图1、2，其中图2为根据本发明一实施例的物件位置判断电路120的操作的时序图。如图2所示，本实施例是假设物件位置判断电路120每隔5个图框才会进行一次物件位置检测，亦即物件位置判断电路120仅会对图框F4、F9进行物件检测，并再利用所检测出的物件在图框F4、F9的位置来计算/预测出物件在图框F10、F11、F12、F13中的位置，并将物件在图框F9～F13的位置依序透过输出电路128传送给影像处理电路110使用。参考图3，假设物件位置判断电路120判断出物件在图框F4中的位置是区域R_F4(中心点座标为(x4,y4))、且物件在图框F9中的位置是区域R_F9(中心点座标为(x9,y9))，则计算电路126所计算出的物件在图框F10的区域R_F10的中心点的座标(x10,y10)可以计算如下：x10＝x9+(dcx/5)，且y10＝y9+(dcy/5)，其中dcx＝x9-x4、dcy＝y9-y4；物件在图框F11的区域R_F11的中心点的座标(x11,y11)可以计算如下：x11＝x9+2*(dcx/5)，且y11＝y9+2*(dcy/5)；物件在图框F12、F13的区域的中心点座标可以照上述外插的方式计算得到。

在一实施例中，考虑到物件在图框F10～F13中的位置是透过计算所预测而来，而并非是透过检测电路124使用深度学习或类神经网路的方式来得到，而可能会有些许的误差。因此，计算电路126在计算时可以逐渐增加物件在图框F10～F13中的区域的大小，例如计算电路126所设定的物件在图框F10的区域R_F10会小于检测电路124所检测到的物件在图框F9的区域R_F9，而计算电路126所设定的物件在图框F11的区域R_F11会小于物件在图框F10的区域R_F10…以此类推。举例来说，假设区域R_F9的宽度及高度分别表示为为w9、h9，则区域R_F10的宽度w10及高度h10可以分别计算如下：w10＝w9+(dcx/5)*p1、h10＝h10+(dcy/5)*p1，其中p1可以是任意适合的比例参数；区域R_F11的宽度w11及高度h11可以分别计算如下：w11＝w9+(dcx/5)*2*p1、h11＝h11+(dcy/5)*2*p1；物件在图框F12、F13的区域的宽度及高度可以照上述方式计算得到。

在一实施例中，检测电路124在对图框F4、F9进行物件检测时会一并产生对应的可靠度参数，其中可靠度参数是用来表示检测电路124所决定的物件的位置的信心程度。而由于物件在图框F10～F13中的位置是透过计算所预测而来，故计算电路126在计算出物件在图框F10～F13中的位置时会一并将每一个图框所对应到的可靠度参数降低，亦即对应到图框F10的可靠度参数会低于对应到图框F9的可靠度参数、对应到图框F11的可靠度参数会低于对应到图框F10的可靠度参数、…以此类推。其中可靠度参数的降低比例可以由工程师根据实际状况，例如影片内容的运动程度，来设定。

在另一实施例中，计算电路126也可以根据物件位于图框F9～F13的区域内的色彩亮度信息来决定如何调整可靠度信息，例如当图框F10的区域R_F10内的色彩/亮度与图框F10的区域R_F9的差异较小时，计算电路126可以微幅降低对应到图框F10的可靠度参数；而当图框F10的区域R_F10内的色彩/亮度与图框F10的区域R_F9的差异较大时，计算电路126可以大幅降低对应到图框F10的可靠度参数。举例来说，假设区域R_F9中最多像素具有的亮度值为Y9、区域R_F10中最多像素具有的亮度值为Yt，则对应到图框F10的可靠度参数可以调整如下：PV’＝PV*(1-abs(Yt-Y9))，其中PV为图框F10的原始可靠度参数(例如，上一段落提到的对应到图框F10的可靠度参数)、abs()为绝对值运算子、且PV’为调整后的可靠度参数。

需注意的是，上述对应到图框F10～F13的可靠度参数并非必需由计算电路126所产生或调整，而也可以由影像处理电路110在接收到对应到图框F9的可靠度参数所计算产生或调整。

回到图2，图框F0～F14是依序由影像处理电路110进行处理后传送至显示面板130进行播放，因此物件位置判断电路120可以在图框F0由影像处理电路110进行处理时对图框F4进行物件位置的检测，并暂存物件在图框F4中的位置信息，且物件位置判断电路120在图框F4由影像处理电路110进行处理时对图框F9进行物件位置的检测，并暂存物件在图框F9中的位置信息；接着，计算电路126根据暂存在物件位置判断电路120内的物件在图框F4、F9中的位置信息来计算预测出物件在图框F10～F13中的位置信息。接着，物件位置判断电路120依序将物件在图框F10～F13中的位置信息传送给影像处理电路110，以供影像处理电路110根据这些位置信息来对影像处理电路110进行处理。

类似地，物件位置判断电路120接着在检测物件在图框F14中的位置，并根据物件在图框F9、F14中的位置来计算预测出物件在F15～F18中的位置，并依序将物件在图框F14～F18中的位置信息传送给影像处理电路110，以供影像处理电路110根据这些位置信息来对影像处理电路110进行处理。

在一实施例中，影像处理电路110可以根据来自物件位置判断电路120的物件位置信息，以在图框上加上一图样以标注该物件。而在一实施例中，若是对应到图框的可靠度参数低于一临界值时，影像处理电路110则不会在图框上加上该图样。以图4为例来作为说明，假设所检测的物件是人脸，则物件位置判断电路120传送区域410的座标给影像处理电路110以作为物件的位置信息，且影像处理电路110在图框F9上加上一矩形框以标注物件的位置。接着，物件位置判断电路120传送区域420的座标给影像处理电路110以作物件的位置信息，此时假设物件位置的可靠度参数高于临界值，则影像处理电路110在图框F10上加上矩形框以标注物件的位置，需注意的是，由于图框F10的物件位置是由计算电路126所计算预测的，故区域420会比区域410来的大(即使物件在图框F9、F10的大小相同)。接着，物件位置判断电路120传送区域430的座标给影像处理电路110以作物件的位置信息，此时假设物件位置的可靠度参数低于临界值，则影像处理电路110不会在图框F11上加上矩形框，需注意的是，由于图框F10的物件位置是由计算电路126所计算预测的且位于图框F10之后，故区域430会比区域420、410来的大。

在另一实施例中，影像处理电路110可以根据来自物件位置判断电路120的物件位置信息，以对图框内的不同区域采用不同的影像处理方式。而在一实施例中，若是对应到图框的可靠度参数低于一临界值时，则影像处理电路110则不会对图框内的不同区域采用不同的影像处理方式。具体来说，以图4为例，针对图框F10，假设物件位置的可靠度参数高于临界值，则影像处理电路120对区域420内的人脸部分采用第一种影像处理方式(例如，对比度、色彩调整…等等)，并对区域420以外的部分采用第二种影像处理方式。另外，针对图框F11，假设物件位置的可靠度参数低于临界值，则影像处理电路120对区域430内的部分以及区域430以外的部分都采用相同的种影像处理方式。

图5为根据本发明一实施例的影像处理方法的流程图。参考以上所公开的内容，影像处理方法的流程如下所述。

步骤500：流程开始。

步骤502：接收一影像信号中第N个图框以及第(N+M)个图框，其中N为一正整数，M为大于1的正整数。

步骤504：检测一物件在该第N个图框以及该第(N+M)个图框中的位置。

步骤506：根据该物件在该第N个图框以及该第(N+M)个图框中的位置，以计算出该物件在该第(N+M+A)个图框中的位置，其中A为一正整数。

步骤508：分别输出该第N个图框、该第(N+M)个图框、以及该第(N+M+A)个图框中的一区域以作为该物件的位置。

步骤510：根据该第N个图框、该第(N+M)个图框、以及该第(N+M+A)个图框中的该区域以对该影像信号进行处理，以产生多个输出影像至一显示面板并显示于其上。

简要归纳本发明，在本发明的电路及影像处理方法中，可以仅辨识物件在部分影像图框中的位置，再透过物件在这些部分影像图框中的位置来计算/预测出物件在其他图框上的位置，因此可以降低电路在影像辨识上的负担。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

【符号说明】

110 影像处理电路

120 物件位置判断电路

122 接收电路

124 检测电路

126 计算电路

128 输出电路

130 显示面板

Din 影像信号

F0～F14 图框

410、420、430、R_F4、R_F9、R_F10、R_F11 区域

Claims

1.一种物件位置判断电路，包含有：

一接收电路，用于接收一影像信号中第N个图框以及第(N+M)个图框，其中N为一正整数，M为大于1的正整数；

一检测电路，耦接于该接收电路，用于检测一物件在该第N个图框以及该第(N+M)个图框中的位置；以及

一计算电路，耦接于该检测电路，用于根据该物件在该第N个图框以及该第(N+M)个图框中的位置，以估计出该物件在该第(N+M+A)个图框中的位置，其中A为一正整数。

2.如权利要求1所述的物件位置判断电路，其中该计算电路在不检测该物件在该第(N+M+A)个图框的位置的情形下，计算出该物件在该第(N+M+A)个图框中的位置。

3.如权利要求1所述的物件位置判断电路，其中该计算电路使用一外插的方式，并根据该物件在该第N个图框以及该第(N+M)个图框中的位置，以计算出该物件在该第(N+M+A)个图框中的位置。

4.如权利要求1所述的物件位置判断电路，另包含有：

一输出电路，用于分别输出该第N个图框、该第(N+M)个图框、以及该第(N+M+A)个图框中的一区域以作为该物件的位置，其中该第(N+M+A)个图框中的该区域大于该第(N+M)个图框中的该区域。

5.如权利要求1所述的物件位置判断电路，其中该检测电路在检测该物件在该第N个图框以及该第(N+M)个图框的任一者的位置时一并产生一可靠度参数；以及该计算电路另根据该第(N+M)个图框的该可靠度参数以产生该第(N+M+A)个图框的一可靠度参数，其中该可靠度参数是用来表示该检测电路或是该计算电路所决定的该物件的位置的信心程度。

6.如权利要求5所述的物件位置判断电路，其中该第(N+M+A)个图框的该可靠度参数低于该第(N+M)个图框的该可靠度参数。

7.一种影像处理电路，包含有：

一物件位置判断电路，包含有：

一检测电路，耦接于该接收电路，用于检测一物件在该第N个图框以及该第(N+M)个图框中的位置；

一计算电路，耦接于该检测电路，用于根据该物件在该第N个图框以及该第(N+M)个图框中的位置，以计算出该物件在该第(N+M+A)个图框中的位置，其中A为一正整数；以及

一输出电路，用于分别输出该第N个图框、该第(N+M)个图框、以及该第(N+M+A)个图框中的一区域以作为该物件的位置；以及

一影像处理电路，耦接于该物件位置判断电路，用于接收该影像信号，并根据该第N个图框、该第(N+M)个图框、以及该第(N+M+A)个图框中的该区域以对该影像信号进行处理，以产生多个输出影像至一显示面板并显示于其上。

8.如权利要求7所述的影像处理电路，其中该检测电路在检测该物件在该第N个图框以及该第(N+M)个图框的任一者的位置时一并产生一可靠度参数；以及该影像处理电路自该物件位置判断电路接收该第(N+M)个图框的该可靠度参数，并根据该第(N+M)个图框的该可靠度参数、该第(N+M)个图框的该区域的色彩亮度信息、以及该第(N+M+A)个图框的该区域的色彩亮度信息，以产生该第(N+M+A)个图框的一可靠度参数。

9.如权利要求8所述的影像处理电路，其中当该第(N+M+A)个图框的该可靠度参数高于一临界值时，该影像处理电路根据该第(N+M+A)个图框中的该区域以在该第(N+M+A)个图框上加上一图样以标注该物件，以产生该输出影像至该显示面板并显示于其上；以及当该第(N+M+A)个图框的该可靠度参数不高于该临界值时，该影像处理电路不会在该第(N+M+A)个图框上加上该图样以标注该物件。

10.如权利要求8所述的影像处理电路，其中当该第(N+M+A)个图框的该可靠度参数高于一临界值时，该影像处理电路对该第(N+M+A)个图框中的该区域进行不同于其他区域的影像处理方式，以产生该输出影像至该显示面板并显示于其上；以及当该第(N+M+A)个图框的该可靠度参数不高于该临界值时，该影像处理电路不会对该第(N+M+A)个图框中的该区域进行不同于其他区域的影像处理方式。