CN102693544A - 图像处理设备、图像处理方法、记录介质和程序 - Google Patents

图像处理设备、图像处理方法、记录介质和程序 Download PDF

Info

Publication number
CN102693544A
CN102693544A CN2012100706966A CN201210070696A CN102693544A CN 102693544 A CN102693544 A CN 102693544A CN 2012100706966 A CN2012100706966 A CN 2012100706966A CN 201210070696 A CN201210070696 A CN 201210070696A CN 102693544 A CN102693544 A CN 102693544A
Authority
CN
China
Prior art keywords
image
degree
confidence
frame
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100706966A
Other languages
English (en)
Inventor
小川要
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102693544A publication Critical patent/CN102693544A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及图像处理设备、图像处理方法、记录介质和程序。所述图像处理设备包括：计算单元，所述计算单元计算在混合比被改变时的评价值，并获得评价值最大时的混合比，所述评价值被表示成置信度之和，所述置信度之和是通过以预定混合比混合包含待跟踪对象的目标图像和比较图像之间的第一特征量的匹配度和第二特征量的匹配度而获得的，所述比较图像是与第一帧的目标图像比较的比较区域的图像；和检测单元，所述检测单元根据其中设定当评价值为最大时的混合比的置信度，检测与第二帧的目标图像对应的图像。

Description

图像处理设备、图像处理方法、记录介质和程序
技术领域
本技术涉及图像处理设备、图像处理方法、记录介质和程序，更具体地说，涉及能够以较低的负荷跟踪图像的图像处理设备、图像处理方法、记录介质和程序。
背景技术
许多数字照相机具有自动聚焦被摄物体的自动聚焦功能。当用户使照相机面向被摄物体，执行操作快门开关的简单操作时，自动聚焦功能使用户能够在聚焦状态下可靠地对被摄物体成像。
当数字照相机还具有跟踪功能时，即使在被摄物体移动的情况下，被摄物体也被自动跟踪。因而，用户能够在聚焦状态下，对被摄物体成像。
例如，“Ensemble Tracking”(Shai Avidan，Mitsubishi ElectricResearch Labs，201 Broadway Cambridge，MA02139，avidanmerl.com)公开一种自动跟踪被摄物体的技术。
发明内容
在“Ensemble Tracking”(Shai Avidan，Mitsubishi ElectricResearch Labs，201 Broadway Cambridge，MA02139，avidanmerl.com)中公开的技术中，由于利用推进(boosting)技术，因此计算量相当大。于是，难以把这种技术应用于作为消费类图像处理设备的数字照相机。
理想的是提供一种能够以较低的负荷跟踪图像的技术。
按照本技术的一个实施例，提供一种图像处理设备，包括：计算单元，所述计算单元计算在混合比被改变时的评价值，并获得评价值最大时的混合比，所述评价值被表示成置信度之和，所述置信度之和是通过以预定混合比混合包含待跟踪对象的目标图像和比较图像之间的第一特征量的匹配度和第二特征量的匹配度而获得的，所述比较图像是与第一帧的目标图像比较的比较区域的图像；和检测单元，所述检测单元根据其中设定当评价值为最大时的混合比的置信度，检测与第二帧的目标图像对应的图像。
第一帧和第二帧可以是奇数帧和偶数帧中的一个，和所述奇数帧和偶数帧中的另一个。
图像处理设备还包括计算单元，所述计算单元把第二帧上的扫描区域中的扫描图像设定为比较图像，并计算目标图像和扫描图像之间的置信度。
检测单元检测其中目标图像和扫描图像之间的置信度为最大的扫描图像，作为与目标图像对应的图像。
计算单元把第一帧上的基准区域中的图像设定为目标图像，把包含基准区域中的目标图像的至少一部分的多个区域设定为正区域，把不包含基准区域中的目标图像的多个区域设定为负区域，计算第一置信度，第一置信度是基准区域中的目标图像和多个正区域中的图像之间的置信度，计算第二置信度，第二置信度是基准区域中的目标图像和多个负区域中的图像之间的置信度，计算第一乘积和，第一乘积和是第一置信度与正区域的第一加权系数的乘积之和，计算第二乘积和，第二乘积和是第二置信度与负区域的第二加权系数的乘积之和，并计算第一乘积和与第二乘积和之和，作为评价值。
第一加权系数是通过把常数除以正区域的数目而获得的值，第二加权系数是通过把常数除以负区域的数目而获得的值。
计算单元通过把在对应于与第二帧的目标图像对应的图像的坐标的区域、在第二帧之后的第三帧上的区域中的图像设定为新的目标图像，对于所述第三帧计算评价值，并获得当评价值最大时的混合比。检测单元根据其中设定当基于第三帧上的图像，评价值为最大时的混合比的置信度，检测在第三帧之后的第四帧上，与第三帧的新的目标图像对应的图像。
图像处理设备还包括显示单元，所述显示单元在和与目标图像对应的图像的坐标相应的区域，显示标志。
图像处理设备还包括驱动单元，所述驱动单元驱动照相机，以致与目标图像对应的图像位于屏幕上的预定位置。
第一特征量可以是亮度信息，第二特征量可以是颜色信息。
按照本技术的实施例的图像处理方法，记录介质和程序是对应于在本技术的实施例中描述的图像处理设备的图像处理方法，记录介质和程序。
按照本技术的一个实施例，计算在混合比被改变时的评价值，所述评价值被表示成置信度之和，所述置信度之和是通过以预定混合比混合包含待跟踪对象的目标图像和比较图像之间的第一特征量的匹配度和第二特征量的匹配度而获得的，所述比较图像是与预定帧的目标图像比较的比较区域的图像。获得评价值最大时的混合比。根据其中设定当评价值为最大时的混合比的置信度，检测与目标图像对应的图像。
按照本技术的实施例，能够以较低的负荷跟踪图像。
附图说明
图1是图解说明按照本技术的一个实施例的数字照相机的结构的方框图；
图2是图解说明跟踪处理的流程图；
图3是图解说明剪切区域的处理的示图；
图4是图解说明评价值的示图；
图5是图解说明扫描处理的示图；
图6是图解说明标志的显示的示图；
图7是图解说明剪切区域的处理的示图。
具体实施方式
图1是图解说明按照本技术的一个实施例的数字照相机1的结构的方框图。数字照相机1包括CPU(中央处理器)11，镜头12，输出单元13，输入单元14和存储单元15。
CPU11执行各种处理。镜头12对被摄物体成像，并把图像数据提供给CPU11。输出单元13由例如LCD(液晶显示器)构成，显示用镜头12捕捉的图像。输出单元13包括扬声器，以便输出必要的警告音等。输入单元14包括用户操作的快门开关，和调整快门速度和曝光时间的部件。存储单元15保存拍摄的图像数据，或者保存CPU11执行的程序等。
在照相机1安装在预定支架(未示出)上的状态下，驱动单元41沿着预定方向摇移和俯仰数字照相机1。
CPU11包括导入单元21，剪切单元22，初始化单元23，计算单元24，设定单元25，计算单元26，检测单元27，显示单元28，聚焦单元29和判定单元30这些功能块。各个单元能够根据需要传送和接收信号。
导入单元21导入图像。剪切单元22从导入的图像中剪切预定部分。初始化单元23初始化系数。计算单元24执行每个部分的计算。设定单元25设定系数。计算单元26执行每个部分的计算。检测单元27检测位置。显示单元28显示标志。聚焦单元29执行调焦。判定单元20执行各种判定。
在本实施例中，当每个单元执行程序时，在功能上构成每个单元。不过，当然可以硬件的形式构成每个单元。
图2是图解说明跟踪处理的流程图。下面，将参考图2说明数字照相机1的跟踪处理。
在步骤S1，导入单元21导入图像。即，导入单元21导入用镜头12捕获的图像的预定帧F1的图像。导入用镜头12捕获并保存在存储单元15中的图像。
在步骤S2，剪切单元22从在步骤S1的处理中导入的帧中的图像之中，剪切包括对象的区域和不包括对象的区域。对象是用户期望被跟踪的图像。例如，所述对象是被摄物体的面部。下面将参考图3，说明剪切所述面部的处理。
图3是图解说明剪切区域的处理的示图。如图3中所示，对象102被显示在通过步骤S1的处理导入的帧101(对应于帧F1)上。例如，包含对象102的矩形区域被假定为基准区域111-0。在基准区域111-0内的图像被假定为目标图像114。当通过下面说明的步骤S10的处理，在随后的帧201(对应于帧F2)上显示标志231时(参见后面说明的图6)，帧101上的与帧201上的标志231的坐标对应的区域被假定为基准区域111-0。在未经过步骤S10的处理的初始帧上，以当用户操作输入单元14时指定的点为中心的矩形区域被假定为基准区域111-0。
在步骤S2，剪切包含基准区域110-0中的目标图像114的至少一部分的区域111-1，111-2，...，和111-Np。即，剪切Np个区域，作为包含基准区域111-0中的目标图像114的正区域。同样地，剪切不包含基准区域110-0中的目标图像114的区域112-1，112-2，...，和112-Nn。即，剪切Nn个区域，作为不包含基准区域111-0中的目标图像114的负区域。
随后，在步骤S3，初始化单元23初始化各个区域的加权系数wP和wN。加权系数wP和wN用下面的等式(1)表述。加权系数wP是正区域111-J(其中J＝1，2，...，Np)的加权系数，加权系数wN是负区域112-J(其中J＝1，2，...，Nn)的加权系数。
w P = G P N P
w N = G n N n . . . ( 1 )
如等式(1)中所示，正区域的加权系数wP是把常数GP除以正区域的数目Np而获得的值，负区域的加权系数wN是把常数GN除以负区域的数目Nn而获得的值。在每个区域111-J中，正区域的加权系数wP的值相同。同样地，在每个区域112-J中，负区域的加权系数wN的值相同。常数GP和GN的值是在数字照相机1出厂时预先确定的。
常数GP和GN的值都被设定为0.5。另一方面，常数GP的值可被设定为0.8，而常数GN的值可被设定为0.2。在加权系数wP和wN之间，当对应的常数被设定为较大时，权重变大。通过把常数GP和GN的值设定为预定值，能够适当地调整加权系数wP和wN的平衡。
在步骤S4，计算单元24计算评价值Eval(K)。评价值Eval(K)用等式(2)表示。等式(2)中的置信度Confidence(K)用等式(3)表示。在该等式中，K是从0变化到256的整数。
Eval ( K ) = Σ true w P × Confidence ( K ) + Σ true w N × Confidence ( K ) . . ( 2 )
Confidence ( K ) = ( K × feat _ A + ( 256 - K ) × feat _ B ) 256 . . . ( 3 )
即，在等式(2)中，基准区域111-0中的目标图像114和多个正区域111-1，111-2等中的图像之间的置信度Confidence(K)是第一置信度。该置信度是等式(2)中右侧的第一项的置信度Confidence(K)。基准区域111-0中的目标图像114和多个负区域112-1，112-2等中的图像之间的置信度Confidence(K)是第二置信度。该置信度是等式(2)中右侧的第二项的置信度Confidence(K)。第一置信度和正区域111-1，111-2等的第一加权系数wP的乘积和是第一乘积和。第二置信度和负区域112-1，112-2等的第二加权系数wN的乘积和是第二乘积和。第一乘积和与第二乘积和之和是评价值Eval(K)。
在等式(3)中，feat_A是包含待跟踪的对象的目标图像114和比较图像之间的第一特征量(例如，亮度信息)的匹配度，feat_B是第二特征量(例如，颜色信息)的匹配度。此外，K意味第一特征量的匹配度feat A和第二特征量的匹配度feat_B之间的混合比。从等式(3)可知，置信度Confidence(K)意味比较图像和目标图像114之间的相似性。置信度的值越大，比较图像越类似于目标图像114。当然，可以使用除亮度信息和颜色信息外的其它特征量。
在等式(2)中，右侧第一项的∑的true意味仅仅正区域的Confidence(K)的乘积和。正区域111-J中的图像是当计算等式(2)中右侧第一项的正区域的Confidence(K)时，与目标图像114比较的比较图像。同样地，右侧第二项的∑的true意味仅仅负区域的Confidence(K)的乘积和。负区域112-J中的图像是当计算等式(2)中右侧第二项的负区域的Confidence(K)时，与目标图像114比较的比较图像。
在步骤S5，计算单元24计算评价值Eval(K)为最大的混合比Km。即，通过把混合比K的值从0变化到256，计算评价值Eval(K)。随后，从257个评价值Eval(K)中选择最大值，从而确定评价值Eval(K)为最大的混合比Km。
图4是图解说明评价值的示图。如图4中所示，当使混合比K的值顺序从0变化到256时，评价值Eval(K)被改变。在图4的例子中，Km是评价值Eval(K)为最大的混合比K。评价值Eval(K)为最大的混合比Km是当检测到所述帧中包含对象102的目标图像114时的最佳混合比。如下在步骤S8和步骤S9中所述，利用后续各帧中的混合比Km，计算置信度Confidence(K)。即，评价值Eval(K)是确定最佳混合比Km的函数。
因而，在步骤S6，设定单元25对等式(3)的置信度Confidence(K)，设定在步骤S5中计算的混合比Km。
从而，通过步骤S1-步骤S6的处理，执行第一帧中的混合比K的学习处理，随后在步骤S7-步骤S11中，对第二帧执行跟踪处理。
在步骤S7，导入单元21导入图像。即，从存储单元15读取并导入在步骤S1中输入的帧F1之后的帧F2中的图像。
在步骤S8，计算单元26在导入的图像上扫描扫描图像，计算每个扫描图像的置信度Confidence(K)。即，通过步骤S2的处理，帧F1上的基准区域111-0中的图像被确定为目标图像114。位于当前帧(即，在步骤S7中导入的帧F2)上的预定位置、并且大小与目标图像114的大小对应的扫描区域中的扫描图像被提取为将与目标图像114比较的比较图像。在目标图像114和扫描图像之间计算第一特征量的匹配度feat_A和第二特征量的匹配度feat_B。通过把计算的第一特征量的匹配度feat_A和计算的第二特征量的匹配度feat_B应用于等式(3)，计算置信度Confidence(K)。在步骤S6中设定的值Km用作混合比K。
图5是图解说明扫描处理的示图。如图5中所示，位于在步骤S7中导入的帧201(即，帧F2)上的预定位置的扫描区域221-1中的扫描图像222-1被提取为比较图像，并与在步骤S2中指定的前一帧F1中的目标图像114比较。扫描区域221-1的大小与基准区域111-0的大小相同。即，扫描图像222-1具有与目标图像114相同的大小。当等式(3)中的混合比K的值被设定为最大值Km时，计算目标图像211和扫描图像222-1的置信度Confidence(K)。
顺序移动帧201上的比较区域，作为比较区域211-1，211-2，211-3等，并重复相同的处理。帧201上的扫描范围可被设定成整个帧201，或者可被设定成离基准点预定距离的范围，所述基准点是在步骤S2中指定的基准区域111-0的坐标(即，在步骤S10的在先处理中，显示标志231的坐标)。通过限制扫描范围，能够减小计算量。
在步骤S9，检测单元27检测置信度Confidence(K)为最大的区域。即，从通过步骤S8的处理计算的扫描区域221-J(J＝1，2，等)的置信度Confidence(K)中，选择最大的置信度Confidence(K)，随后选择与最大的置信度Confidence(K)对应的扫描区域221-M。帧201(帧F2)上的扫描区域221-M中的图像被看作与帧101(帧F1)上的目标图像对应的图像232。即，帧101上的基准区域111-0中的目标图像114被移动到帧F2上的扫描区域221-M，并被判定将显示成图像232(参见下面说明的图6)。
在步骤S10，显示单元28在检测的位置显示标志231。图6是图解说明标志231的显示的示图。在图6中，包含对象102的图像232被显示在扫描区域221-M中。此外，标志231被显示在扫描区域221-M的位置。即，对应于图像232地显示标志231。聚焦单元29驱动和调整镜头12，以致使显示在标志231内的图像232聚焦在基准点。通过查看标志231，用户能够确认实现聚焦的地方。
在步骤S11，判定单元30判定跟踪处理是否被结束。当用户操作输入单元14，从而发出中断跟踪处理的指令时，结束跟踪处理。
当未发出中断跟踪处理的指令时，处理返回步骤S1，从而导入下一帧F3的图像。随后，在步骤S2，剪切包含对象的区域。由于在第一帧F1中未执行步骤S10的处理，因此基准区域111-0是根据用户指定的位置设定的。不过，由于在步骤S10的处理中，目前已知与先前的目标图像114对应的图像232的坐标，因此在与其中显示帧201的标志231的区域221-M对应的坐标的下一帧301的区域是新的基准区域111-0。于是，以新的基准区域为基准，剪切各个区域。
图7是图解说明剪切区域的第二处理的示图。如图7中所示，通过步骤S1的第二处理新导入的帧301(即，帧F3)上的区域311-0是与作为紧前一帧的图6的帧201(即，帧F2)上的扫描区域221-M对应的区域。区域311-0是新帧301的基准区域，显示在区域311-0中的图像是新的目标图像314。剪切单元22以新的基准区域311-0为基准，剪切新的正区域311-1，311-2等，和新的负区域312-1，312-2等。
随后，执行相同的处理。即，在对应于与帧F2的目标图像114对应的图像232的坐标的区域中，和在帧F2之后的帧F3上的区域中的图像是新的目标图像314，对帧F3计算评价值Eval(K)。即，计算新的目标图像314与新的正区域311-1，311-2等和新的负区域312-1，312-2等的评价值Eval(K)。
随后，求出计算的评价值Eval(K)为最大的混合比Km。根据其中设定当基于帧F3的图像，评价值Eval(K)为最大时的混合比Km的置信度Confidence(K)，检测在帧F3之后的帧F4(未示出)上，与帧F3的新的目标图像313对应的图像。
对每一帧重复这些处理。当使对象102移动时，标志231跟踪对象102的移动目的地，并被显示。对连续奇数帧和连续偶数帧中的一方执行步骤S1-步骤S6的处理，对连续奇数帧和连续偶数帧中的另一方执行步骤S7-步骤S11的处理。
等式(2)中右侧的第二项可被省略。不过在这种情况下，与不省略右侧的第二项的情况相比，跟踪功能的性能会降低。
等式(3)中的归一化处理可被替代，即，可不执行利用值256的除法，并使用(1-K)，而不是(256-K)。
在步骤S10，显示标志231。不过，驱动单元可被驱动，以摇移或俯仰数字照相机1的位置，以致对象102通常位于帧的预定位置(例如，帧的中央)。
在本技术的实施例中，只使用关于每一帧获得的信息。例如，由于使用从多帧之间的图像获得的诸如运动向量之类的信息，或者不使用距离测量设备等，因此能够快速并且简单地执行处理。由于计算量较小，因此本技术的实施例不仅可应用于数字照相机，而且可应用于摄像机，监控摄像机，和其它小型的廉价图像处理设备，以实时跟踪对象。
上述一系列处理可用硬件或软件执行。
当用软件执行所述一系列处理时，软件的程序保存在存储单元15中。
在说明书中，计算机执行的程序可以是按照在说明书中说明的顺序，按时间先后顺序执行各个处理的程序，或者可以是并行地，或者在必要的时刻(比如调用时)执行各个处理的程序。
本技术的实施例并不局限于上述实施例，相反可按照各种形式修改，而不脱离本技术的要旨。
可如下实现本技术的实施例。
(1)一种图像处理设备，包括：计算单元，所述计算单元在混合比被改变时计算评价值，并获得评价值最大时的混合比，所述评价值被表示成置信度之和，所述置信度之和是通过以预定混合比混合包含待跟踪对象的目标图像和比较图像之间的第一特征量的匹配度和第二特征量的匹配度而获得的，所述比较图像是与第一帧的目标图像比较的比较区域的图像；和检测单元，所述检测单元根据其中设定当评价值为最大时的混合比的置信度，检测与第二帧的目标图像对应的图像。
(2)在(1)中说明的图像处理设备中，第一帧和第二帧是奇数帧和偶数帧中的一个，和所述奇数帧和偶数帧中的另一个。
(3)在(1)或(2)中说明的图像处理设备还包括计算单元，所述计算单元把第二帧上的扫描区域中的扫描图像设定为比较图像，并计算目标图像和扫描图像之间的置信度。
(4)在(1)-(3)任意之一中说明的图像处理设备中，检测单元检测其中目标图像和扫描图像之间的置信度为最大的扫描图像，作为与目标图像对应的图像。
(5)在(1)-(4)任意之一中说明的图像处理设备中，计算单元把第一帧上的基准区域中的图像设定为目标图像，把包含基准区域中的目标图像的至少一部分的多个区域设定为正区域，把不包含基准区域中的目标图像的多个区域设定为负区域，计算第一置信度，第一置信度是基准区域中的目标图像和多个正区域中的图像之间的置信度，计算第二置信度，第二置信度是基准区域中的目标图像和多个负区域中的图像之间的置信度，计算第一乘积和，第一乘积和是第一置信度与正区域的第一加权系数的乘积之和，计算第二乘积和，第二乘积和是第二置信度与负区域的第二加权系数的乘积之和，并计算第一乘积和与第二乘积和之和，作为评价值。
(6)在(1)-(5)任意之一中说明的图像处理设备中，第一加权系数是通过把常数除以正区域的数目而获得的值，第二加权系数是通过把常数除以负区域的数目而获得的值。
(7)在(1)-(6)任意之一中说明的图像处理设备中，计算单元通过把在对应于与第二帧的目标图像对应的图像的坐标的区域中、和在第二帧之后的第三帧上的区域中的图像设定为新的目标图像，对于所述第三帧计算评价值，并获得当评价值最大时的混合比。检测单元根据其中设定当基于第三帧上的图像，评价值为最大时的混合比的置信度，检测在第三帧之后的第四帧上，与第三帧的新的目标图像对应的图像。
(8)在(1)-(7)任意之一中说明的图像处理设备还包括显示单元，所述显示单元在和与目标图像对应的图像的坐标相应的区域，显示标志。
(9)在(1)-(8)任意之一中说明的图像处理设备还包括驱动单元，所述驱动单元驱动照相机，以致与目标图像对应的图像位于屏幕上的预定位置。
(10)在(1)-(9)任意之一中说明的图像处理设备中，第一特征量是亮度信息，第二特征量是颜色信息。
(11)一种图像处理方法，包括：在混合比被改变时计算评价值，并获得评价值最大时的混合比，所述评价值被表示成置信度之和，所述置信度之和是通过以预定混合比混合包含待跟踪对象的目标图像和比较图像之间的第一特征量的匹配度和第二特征量的匹配度而获得的，所述比较图像是与预定帧的目标图像比较的比较区域的图像；和根据其中设定当评价值为最大时的混合比的置信度，检测与目标图像对应的图像。
(12)一种记录程序的记录介质，所述程序使计算机执行包括下述步骤的处理：在混合比被改变时计算评价值，并获得评价值最大时的混合比，所述评价值被表示成置信度之和，所述置信度之和是通过以预定混合比混合包含待跟踪对象的目标图像和比较图像之间的第一特征量的匹配度和第二特征量的匹配度而获得的，所述比较图像是与预定帧的目标图像比较的比较区域的图像；和根据其中设定当评价值为最大时的混合比的置信度，检测与目标图像对应的图像。
(13)一种使计算机执行包括下述步骤的处理的程序：在混合比被改变时计算评价值，并获得评价值最大时的混合比，所述评价值被表示成置信度之和，所述置信度之和是通过以预定混合比混合包含待跟踪对象的目标图像和比较图像之间的第一特征量的匹配度和第二特征量的匹配度而获得的，所述比较图像是与预定帧的目标图像比较的比较区域的图像；和根据其中设定当评价值为最大时的混合比的置信度，检测与目标图像对应的图像。
本公开包含与在2011年3月25日向日本专利局提交的日本优先权专利申请JP 2011-067138中公开的主题相关的主题，该专利申请的整个内容在此引为参考。
本领域的技术人员应明白，根据设计要求和其它因素，可以产生各种修改、组合、子组合和变更，只要它们在所附的权利要求或其等同物的范围之内。

Claims (14)

1.一种图像处理设备，包括：
计算单元，所述计算单元计算在混合比被改变时的评价值，并获得评价值最大时的混合比，所述评价值被表示成置信度之和，所述置信度之和是通过以预定混合比混合包含待跟踪对象的目标图像和比较图像之间的第一特征量的匹配度和第二特征量的匹配度而获得的，所述比较图像是与第一帧的目标图像比较的比较区域的图像；和
检测单元，所述检测单元根据其中设定当评价值为最大时的混合比的置信度，检测与第二帧的目标图像对应的图像。
2.按照权利要求1所述的图像处理设备，其中第一帧和第二帧是奇数帧和偶数帧中的一个，和所述奇数帧和偶数帧中的另一个。
3.按照权利要求2所述的图像处理设备，还包括：
计算单元，所述计算单元把第二帧上的扫描区域中的扫描图像设定为比较图像，并计算目标图像和扫描图像之间的置信度。
4.按照权利要求3所述的图像处理设备，其中检测单元检测其中目标图像和扫描图像之间的置信度为最大的扫描图像，作为与目标图像对应的图像。
5.按照权利要求4所述的图像处理设备，其中计算单元把第一帧上的基准区域中的图像设定为目标图像，把包含基准区域中的目标图像的至少一部分的多个区域设定为正区域，把不包含基准区域中的目标图像的多个区域设定为负区域，计算第一置信度，第一置信度是基准区域中的目标图像和多个正区域中的图像之间的置信度，计算第二置信度，第二置信度是基准区域中的目标图像和多个负区域中的图像之间的置信度，计算第一乘积和，第一乘积和是第一置信度与正区域的第一加权系数的乘积之和，计算第二乘积和，第二乘积和是第二置信度与负区域的第二加权系数的乘积之和，并计算第一乘积和与第二乘积和之和，作为评价值。
6.按照权利要求5所述的图像处理设备，其中第一加权系数是通过把常数除以正区域的数目而获得的值，第二加权系数是通过把常数除以负区域的数目而获得的值。
7.按照权利要求5所述的图像处理设备，
其中计算单元通过把在对应于与第二帧的目标图像对应的图像的坐标的区域、在第二帧之后的第三帧上的区域中的图像设定为新的目标图像，对于所述第三帧计算评价值，并获得当评价值最大时的混合比，
其中检测单元根据其中设定当基于第三帧上的图像，评价值为最大时的混合比的置信度，检测在第三帧之后的第四帧上，与第三帧的新的目标图像对应的图像。
8.按照权利要求5所述的图像处理设备，还包括：
显示单元，所述显示单元在和与目标图像对应的图像的坐标相应的区域，显示标志。
9.按照权利要求5所述的图像处理设备，还包括：
驱动单元，所述驱动单元驱动照相机，以致与目标图像对应的图像位于屏幕上的预定位置。
10.按照权利要求5所述的图像处理设备，其中第一特征量是亮度信息，第二特征量是颜色信息。
11.按照权利要求4所述的图像处理设备，其中计算单元把第一帧上的基准区域中的图像设定为目标图像，把包含基准区域中的目标图像的至少一部分的多个区域设定为正区域，计算基准区域中的目标图像和多个正区域中的图像之间的第一置信度，计算所述第一置信度与正区域的第一加权系数的乘积和，作为评价值。
12.一种图像处理方法，包括：
计算在混合比被改变时的评价值，并获得评价值最大时的混合比，所述评价值被表示成置信度之和，所述置信度之和是通过以预定混合比混合包含待跟踪对象的目标图像和比较图像之间的第一特征量的匹配度和第二特征量的匹配度而获得的置信度之和，所述比较图像是与预定帧的目标图像比较的比较区域的图像；和
根据其中设定当评价值为最大时的混合比的置信度，检测与目标图像对应的图像。
13.一种记录程序的记录介质，所述程序使计算机执行包括下述步骤的处理：
计算在混合比被改变时的评价值，并获得评价值最大时的混合比，所述评价值被表示成置信度之和，所述置信度之和是通过以预定混合比混合包含待跟踪对象的目标图像和比较图像之间的第一特征量的匹配度和第二特征量的匹配度而获得，所述比较图像是与预定帧的目标图像比较的比较区域的图像；和
根据其中设定当评价值为最大时的混合比的置信度，检测与目标图像对应的图像。
14.一种使计算机执行包括下述步骤的处理的程序：
计算在混合比被改变时的评价值，并获得评价值最大时的混合比，所述评价值被表示成置信度之和，所述置信度之和是通过以预定混合比混合包含待跟踪对象的目标图像和比较图像之间的第一特征量的匹配度和第二特征量的匹配度而获得的，所述比较图像是与预定帧的目标图像比较的比较区域的图像；和
根据其中设定当评价值为最大时的混合比的置信度，检测与目标图像对应的图像。
CN2012100706966A 2011-03-25 2012-03-16 图像处理设备、图像处理方法、记录介质和程序 Pending CN102693544A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011067138A JP2012203613A (ja) 2011-03-25 2011-03-25 画像処理装置および方法、記録媒体並びにプログラム
JP2011-067138 2011-03-25

Publications (1)

Publication Number Publication Date
CN102693544A true CN102693544A (zh) 2012-09-26

Family

ID=45936779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100706966A Pending CN102693544A (zh) 2011-03-25 2012-03-16 图像处理设备、图像处理方法、记录介质和程序

Country Status (4)

Country Link
US (1) US8774458B2 (zh)
EP (1) EP2503511A1 (zh)
JP (1) JP2012203613A (zh)
CN (1) CN102693544A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932273A (zh) * 2017-05-27 2018-12-04 腾讯科技（深圳）有限公司 图片筛选方法及装置
CN109478319A (zh) * 2016-07-11 2019-03-15 三菱电机株式会社 动态图像处理装置、动态图像处理方法及动态图像处理程序
CN110233962A (zh) * 2019-04-26 2019-09-13 努比亚技术有限公司 一种置信度的优化方法、装置及计算机可读存储介质

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5825851B2 (ja) * 2011-05-27 2015-12-02 キヤノン株式会社 撮像装置及びその制御方法
US9852511B2 (en) 2013-01-22 2017-12-26 Qualcomm Incoporated Systems and methods for tracking and detecting a target object
CN104219488B (zh) * 2013-05-31 2019-01-11 索尼公司 目标图像的生成方法和装置、以及视频监控系统
US9875548B2 (en) 2015-12-18 2018-01-23 Ricoh Co., Ltd. Candidate list generation
US9805289B2 (en) 2015-12-18 2017-10-31 Ricoh Co., Ltd. Color-based post-processing of images
US10514825B2 (en) 2015-12-18 2019-12-24 Ricoh Co., Ltd. Image recognition result visualization over time
US9904990B2 (en) 2015-12-18 2018-02-27 Ricoh Co., Ltd. Single image rectification
US9911213B2 (en) 2015-12-18 2018-03-06 Ricoh Co., Ltd. Panoramic image stitching using objects
US10339690B2 (en) 2015-12-18 2019-07-02 Ricoh Co., Ltd. Image recognition scoring visualization
US9754237B2 (en) 2015-12-18 2017-09-05 Ricoh Co., Ltd. Index image quality metric
US9984451B2 (en) 2015-12-18 2018-05-29 Michael Gormish Linear grouping of recognized items in an image
CN108563692B (zh) * 2018-03-16 2021-08-06 新智认知数据服务有限公司 一种目标查重方法及装置
CN112710227B (zh) * 2019-10-24 2023-04-25 浙江舜宇智能光学技术有限公司 箱体体积测量方法及其系统
CN113014955B (zh) * 2019-12-19 2022-11-15 北京百度网讯科技有限公司 视频帧处理方法、装置、电子设备和计算机可读存储介质
CN112597895B (zh) * 2020-12-22 2024-04-26 阿波罗智联(北京)科技有限公司 基于偏移量检测的置信度确定方法、路侧设备及云控平台
JP7439784B2 (ja) 2021-03-12 2024-02-28 オムロン株式会社 画像処理装置および画像処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1932846A (zh) * 2006-10-12 2007-03-21 上海交通大学 基于外表模型的视频人脸跟踪识别方法
CN101051385A (zh) * 2006-04-07 2007-10-10 欧姆龙株式会社 特定被摄体跟踪方法和装置以及特征部跟踪方法和装置
CN101325691A (zh) * 2007-06-14 2008-12-17 清华大学 融合不同生存期的多个观测模型的跟踪方法和跟踪装置
WO2009148702A1 (en) * 2008-06-04 2009-12-10 Lockheed Martin Corporation Detecting and tracking targets in images based on estimated target geometry

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5528698A (en) * 1995-03-27 1996-06-18 Rockwell International Corporation Automotive occupant sensing device
US7340079B2 (en) * 2002-09-13 2008-03-04 Sony Corporation Image recognition apparatus, image recognition processing method, and image recognition program
JP4434236B2 (ja) 2007-06-11 2010-03-17 ソニー株式会社 画像処理装置、画像表示装置、撮像装置、これらの処理方法およびプログラム
JP4479756B2 (ja) 2007-07-05 2010-06-09 ソニー株式会社 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
JP4853425B2 (ja) 2007-08-14 2012-01-11 ソニー株式会社 撮像装置、撮像方法およびプログラム
JP5109564B2 (ja) 2007-10-02 2012-12-26 ソニー株式会社 画像処理装置、撮像装置、これらにおける処理方法およびプログラム
JP5544528B2 (ja) 2009-09-25 2014-07-09 三和システムエンジニアリング株式会社 繊維体の自動成形挿入方法および装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101051385A (zh) * 2006-04-07 2007-10-10 欧姆龙株式会社 特定被摄体跟踪方法和装置以及特征部跟踪方法和装置
CN1932846A (zh) * 2006-10-12 2007-03-21 上海交通大学 基于外表模型的视频人脸跟踪识别方法
CN101325691A (zh) * 2007-06-14 2008-12-17 清华大学 融合不同生存期的多个观测模型的跟踪方法和跟踪装置
WO2009148702A1 (en) * 2008-06-04 2009-12-10 Lockheed Martin Corporation Detecting and tracking targets in images based on estimated target geometry

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
B.BABENKO ET AL.: ""Visual Tracking with Online Multiple Instance Learning"", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2009》 *
B.BABENKO ET AL.: ""Visual Tracking with Online Multiple Instance Learning"", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2009》, 25 June 2009 (2009-06-25) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109478319A (zh) * 2016-07-11 2019-03-15 三菱电机株式会社 动态图像处理装置、动态图像处理方法及动态图像处理程序
CN108932273A (zh) * 2017-05-27 2018-12-04 腾讯科技（深圳）有限公司 图片筛选方法及装置
CN108932273B (zh) * 2017-05-27 2022-03-04 腾讯科技（深圳）有限公司 图片筛选方法及装置
CN110233962A (zh) * 2019-04-26 2019-09-13 努比亚技术有限公司 一种置信度的优化方法、装置及计算机可读存储介质
CN110233962B (zh) * 2019-04-26 2021-04-16 努比亚技术有限公司 一种置信度的优化方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
US20120243737A1 (en) 2012-09-27
EP2503511A1 (en) 2012-09-26
JP2012203613A (ja) 2012-10-22
US8774458B2 (en) 2014-07-08

Similar Documents

Publication Publication Date Title
CN102693544A (zh) 图像处理设备、图像处理方法、记录介质和程序
Wu et al. Efficient track linking methods for track graphs using network-flow and set-cover techniques
Tzokas et al. Navigating the new product development process
Chen et al. Real-time 3D crane workspace update using a hybrid visualization approach
CN104813339A (zh) 用于检测视频中的对象的方法、设备和系统
CN104509097A (zh) 监视摄像机控制装置以及图像监视系统
Montiel et al. A visual compass based on SLAM
CN114299390A (zh) 一种确定维修部件演示视频的方法及装置、安全帽
CN109726333A (zh) 一种基于图像的搜题方法及家教设备
CN103533313A (zh) 基于地理位置的电子地图全景视频合成显示方法和系统
CN104123776A (zh) 一种基于图像的对象统计方法及系统
Assadzadeh et al. Automatic far‐field camera calibration for construction scene analysis
CN113910224B (zh) 机器人跟随的方法、装置及电子设备
Zadorozhny et al. Information fusion based on collective intelligence for multi-robot search and rescue missions
Ogunseiju et al. Mixed reality based environment for learning sensing technology applications in construction
CN103150552A (zh) 一种基于人头计数的驾驶培训管理方法
Borgmann et al. MODISSA: a multipurpose platform for the prototypical realization of vehicle-related applications using optical sensors
Wofk et al. Monocular Visual-Inertial Depth Estimation
Akhloufi 3D vision system for intelligent milking robot automation
CN105163036A (zh) 一种镜头自动聚焦的方法
CN112710299B (zh) 一种重定位方法、装置、终端设备及存储介质
CN105138130A (zh) 异地同场景内信息交流指示方法及系统
CN116403302B (zh) 一种施工巡检系统、施工巡检方法及巡检设备
CN101146216A (zh) 基于画面分割的视频定位及参数计算方法
CN105157681A (zh) 室内定位方法、装置和摄像机以及服务器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120926