CN101656830B - 图像处理装置及图像处理方法 - Google Patents
图像处理装置及图像处理方法 Download PDFInfo
- Publication number
- CN101656830B CN101656830B CN2009101629772A CN200910162977A CN101656830B CN 101656830 B CN101656830 B CN 101656830B CN 2009101629772 A CN2009101629772 A CN 2009101629772A CN 200910162977 A CN200910162977 A CN 200910162977A CN 101656830 B CN101656830 B CN 101656830B
- Authority
- CN
- China
- Prior art keywords
- tracking target
- image
- candidate region
- zone
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 46
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000011156 evaluation Methods 0.000 claims abstract description 23
- 230000002093 peripheral effect Effects 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 14
- 230000004075 alteration Effects 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005375 photometry Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 108010022579 ATP dependent 26S protease Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明涉及一种图像处理装置及图像处理方法。在根据帧图像间的相关性执行跟踪处理的图像处理装置中，当跟踪处理期间未中作为跟踪目标的对象并且在均同背景中设置标示跟踪目标的框时，框的显示可能出现模糊。提供如下所述的图像处理装置：检测与设置的跟踪目标区域具有最高相关性的跟踪目标候选区域，计算在所述跟踪目标候选区域中获取的评价值与在所述跟踪目标候选区域的周围区域中获取的评价值之间的差，并且如果该差小于阈值则停止跟踪。
Description
技术领域
本发明涉及用于通过获取图像间的相关性来跟踪对象的技术。
背景技术
一些数字照相机和摄像机在监视器上实时显示要摄取的图像，并允许用户指定在监视器上显示的动态图像上的区域，以控制对存在于该区域中的对象的曝光和聚焦。
另一些数字照相机和摄像机允许用户指定在监视器上显示的动态图像上的任意对象，以指定作为要跟踪的跟踪目标的主对象。日本专利特开第2008-011497号公报讨论一种照相机的结构，其通过计算动态图像的帧图像之间的相关性并且以时间序列连续检测与初始指定的主对象相似的区域来连续跟踪初始指定的主对象。
但是，如果跟踪目标的对象大范围地移动，则即使帧图像包含同一对象，帧图像之间的共同部分也减少。由此，不能够将帧图像中的所述对象识别为同一对象，并且跟踪可能失败。
下面将参照图4A、4B和4C描述示例。在图4A、4B和4C中，用粗线标示的矩形形状的框是表示由用户指定的对象或通过跟踪处理检测到的主对象的区域的跟踪框。将该跟踪框设置成稍微大于所指定的对象，以使得用户所指定的对象(在该示例中为人脸)能够适纳在该框中。
例如，在图4A中，假定通过相关性计算成功地跟踪了初始指定为主对象的人脸。如果该人突然移动，则如图4B所例示，人像出现较大程度的模糊。因为图4A中例示的跟踪框包括人后面背景的一部分，所以在图4B所例示的帧图像中，将背景(而不是人)确定为具有最高相关性的区域。因此，可能选择背景作为新主对象的区域。
如果仅检测到具有低相关性的区域，则可能确定为未中(miss)主对象。但是，在主对象的姿势或方向改变时，即使主对象存在于图像中，也不是总能够获取区域间的高相关性。由此，为了即使当对象在某种程度上移动或改变姿势时也能够进行对对象的跟踪，期望即使图像中仅存在具有低相关性的区域，也选择图像中的具有最高相关性的区域作为主对象的区域。
但是，在这种情况下，如图4B所例示，背景的一部分可能被选择作为新主对象的区域。如果背景是具有低对比度的均同(uniform)对象，则周围存在许多相似的区域。因此，如图4C所例示，跟踪框绕背景移动并且看起来模糊。
发明内容
本发明旨在提供一种在跟踪处理期间未中作为跟踪目标的对象时，使用图像间的相关性来防止标示跟踪目标的框显示模糊的图像处理装置及图像处理方法。
根据本发明的一个方面，提供一种图像处理装置，其通过在第二图像中检测存在于在第一图像中设置的跟踪目标区域中的对象来在构成动态图像的帧图像中执行跟踪处理，该图像处理装置包括：设置单元，其被构造成在所述第一图像中设置所述跟踪目标区域；跟踪单元，其被构造成在所述第二图像中检测与由所述设置单元设置的所述跟踪目标区域具有最高相关性的跟踪目标候选区域；确定单元，其被构造成计算在所述跟踪目标候选区域中获取的评价值与在所述跟踪目标候选区域的周围区域中获取的评价值之间的差；以及控制单元，其被构造成如果所述差等于或大于阈值则用所述跟踪目标候选区域来更新所述跟踪目标区域，而如果所述差小于所述阈值则重置所述跟踪目标区域，其中，所述评价值是根据关于区域的亮度、色差和对比度的信息而获取的。
根据本发明的另一方面，提供一种图像处理方法，其通过在第二图像中检测存在于在第一图像中设置的跟踪目标区域中的对象来在构成动态图像的帧图像中执行跟踪处理，该图像处理方法包括以下步骤：在所述第一图像中设置所述跟踪目标区域；在所述第二图像中检测与所述跟踪目标区域具有最高相关性的跟踪目标候选区域；计算在所述跟踪目标候选区域中 获取的评价值与在所述跟踪目标候选区域的周围区域中获取的评价值之间的差；以及如果所述差等于或大于阈值则用所述跟踪目标候选区域来更新所述跟踪目标区域，而如果所述差小于所述阈值则重置所述跟踪目标区域，其中，所述评价值是根据关于区域的亮度、色差和对比度的信息而获取的。
通过以下参照附图对示例性实施例的具体描述，本发明的其他特征和方面将变得清楚。
附图说明
并入说明书且构成说明书的一部分的附图例示了本发明的示例性实施例，其与描述部分一起用于解释本发明的原理。
图1是例示根据本发明的示例性实施例的数字照相机的功能结构的框图。
图2是例示根据本发明的示例性实施例的跟踪处理的流程图。
图3A、3B、3C和3D例示根据本发明的示例性实施例的由于在均同背景中设置跟踪目标候选区域而停止跟踪处理的状态。
图4A、4B和4C例示用于更新跟踪框的传统方法。
具体实施方式
以下将参照附图具体说明本发明的各种示例性实施例、特征和方面。
在本发明的示例性实施例中，将使用数字照相机作为示例来说明图像处理装置。
图1是例示根据本示例性实施例的数字照相机的功能结构的框图。
操作单元101包括由用户操作以将各种指令输入到数字照相机的开关和按钮。操作单元101包括快门开关。在半按下快门开关时，生成信号SW1并将其从操作单元101发送到控制单元102。
另外，在全按下快门开关时，生成信号SW2并将其从操作单元101发送到控制单元102。
控制单元102根据来自操作单元101的指令控制图1所例示的各个单元的动作。
图像传感器103接收通过镜头108a和曝光机构109a进入的光并输出与光量对应的电荷。对于图像传感器103，可以使用具有光电转换功能的电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)传感器。
模拟/数字(A/D)转换单元104对从图像传感器103输出的模拟图像信号执行取样、增益调整和A/D转换，并输出数字图像信号。
图像处理单元105对从A/D转换单元104输出的数字图像信号执行各种图像处理并输出处理后的数字图像信号。例如，图像处理单元105将从A/D转换单元104接收到的数字图像信号转换为YUV图像信号并输出该YUV信号。
脸部检测单元106对从A/D转换单元104接收到的数字图像信号执行脸部检测并将关于该区域的信息通知给控制单元102。通过脸部检测获取的信息包括根据在图像传感器的画面中的遮光区域中的亮度的位置、范围和可靠性(确定为脸部形状的确定性)。
监视器单元107包括用于显示根据由图像处理单元105处理的图像数据的图像的小型液晶屏幕。
跟踪处理单元115通过使用帧图像间的相关性来确定在随后的图像帧中的何处存在有被视为与在帧图像中检测到的脸部是相同脸部的区域。此外，跟踪处理单元115计算该区域的位置、范围和大小。还使用角速度传感器计算照相机本身的移动。根据本示例性实施例，相互比较按照时间序列顺序布置的两个图像以获取关于其差异的信息。使用该差异信息，提取被视为具有相同脸部的区域。跟踪处理单元115连续提取被视为具有相同的脸部的区域以跟踪由脸部检测单元106所检测的脸部区。
确定单元116从由跟踪处理单元115计算的相关性获取评价值并且确定当前框是设置在对象上还是在背景均同面上。该确定方法是本示例性实施例的区别特征，以下将进行详细描述。
根据从由图像处理单元105获得的图像获取的自动聚焦(AF)评价值，自动聚焦(AF)处理单元108操作镜头108a以在对象上聚焦。此外，根据从由图像处理单元105获得的图像获取的测光值，自动曝光(AE)处理单元109操作曝光机构109a以使画面具有最佳亮度。
在控制单元102从快门开关接收到信号SW1的通知时，AF处理单元 108和AE处理单元109使用在该时刻的最新图像执行聚焦控制和曝光控制。
在从快门开关接收到信号SW2的通知(更具体而言，全按下快门开关的通知)时，控制单元102确定是否发出闪光。用户可以使用操作单元101预先设置是否发出闪光，使得控制单元102能够通过读取该设置数据进行确定。另外，控制单元102能够通过检测环境中的暗度来自动进行确定。
作为确定结果，如果确定发出闪光，则控制单元102控制闪光处理单元110以使闪光单元111预先发出闪光以计算发出的闪光的量。接着，控制单元102使闪光单元111发出根据预先发出的闪光计算的主闪光的量，并执行主图像摄取。
格式转换单元112将在执行主图像摄取时从图像处理单元105输出的数字图像信号(图像数据)的格式转换成例如JPEG格式，并且将数字图像信号输出到图像存储单元113。图像存储单元113将从格式转换单元112接收到的转换后的格式的图像数据存储在数字照相机的存储器(未图示)或插入到该数字照相机的外部存储器中。
外部连接单元114作为用于将数字照相机连接到诸如个人计算机(PC)和打印机的外部装置的接口。
接着，基于均同面上的确定来进行用于确定是否成功地跟踪了对象，更具体而言，是否停止对移动对象的跟踪的控制。
图2是例示根据本示例性实施例的跟踪处理的流程图。在用户将数字照相机设置到图像摄取模式时，开始该流程图的处理。
在步骤S201中，在用户将数字照相机设置到图像摄取模式时，快门打开并且光通过镜头108a和曝光机构109a进入图像传感器103。将由图像传感器103连续创建的帧图像作为动态图像显示在监视器单元107上，以使用户能够实时观察对象的状态。
在步骤S202中，控制单元102针对动态图像执行评价测光(例如，中央重点测光)以控制曝光。
在步骤S203中，控制单元102读取最新的帧图像并且将帧图像发送到从帧图像中检测脸部区的脸部检测单元106。作为检测脸部的方法，例 如能够应用使用包括在脸部中的诸如眼、鼻和嘴的部位的特征的方法。例如，如果包括与预先存储在照相机中的眼、鼻和嘴的标准图形及特征(形状和位置)匹配的多个部位并且它们以合理的平衡排布，则能够推断该区域为脸部区。
在检测到多个脸部区时，可以将所有的多个脸部区设置为跟踪目标区域。此外，可以分别为脸部的位置、大小和作为脸部的可靠性(与标准图形匹配的程度)赋予分数，只有获得最高分数的一个脸部才可以被设置为跟踪目标区域。此外，用户可以操作操作单元101来选择多个脸部区中的任意一个。可以通过在动态图像上添加跟踪框来显示动态图像以使用户能够识别跟踪目标区域的位置和大小。此外，将与跟踪目标区域对应的图像数据发送到跟踪处理单元115以将其用作跟踪处理中的参照图像数据。
图3A例示上述状态以及显示在监视器单元107上的、将用粗线标示出的跟踪框添加在检测到的脸部区上的图像。跟踪框设置成略大于脸部区以使检测到的脸部区能够完全包括在该跟踪框中。
在步骤S204中，控制单元102确定在步骤S203中是否能够检测到脸部区。如果检测到脸部区(在步骤S204中为“是”)，则处理进行到步骤S205。如果没有检测到脸部区(在步骤S204中为“否”)，则处理进行到步骤S209。
在步骤S205中，控制单元102新读取帧图像，并且对该帧图像执行跟踪处理。跟踪处理单元115在该新读取的帧图像的大小或坐标逐渐移位的同时从该新读取的帧图像切出部分区域，并且根据关于切出区域的亮度、色差和对比度的信息获取该切出区域的评价值。
在步骤S206中，跟踪处理单元115将从预先获取的参照图像数据获取的评价值与所有切出区域的各个评价值进行比较。从切出区域(即目标区域)中选择确定为与参照图像数据具有最高相关性的区域，并且将其设置为跟踪目标候选区域。
图3B例示上述状态。在图3B中，由于脸部被检测为脸部区的人快速移动使得该人的图像变得模糊，所以选择用虚线标示的背景作为与图3A中例示的跟踪框包围的区域具有最高相关性的跟踪目标候选区域。
在步骤S207中，确定单元116设置通过将跟踪目标候选区域移位到以所设置的跟踪目标候选区域为中心的四个位置(即左上、右上、左下和右下)而获取的四个周围区域，并且获取这四个周围区域的评价值。作为位移量，例如，可以设置为跟踪目标候选区域的纵向宽度和横向宽度各自的50-100％。可以获取位移量作为考虑了设置为跟踪目标区域的对象的大小和之前的移动的实验上的最佳值。
图3C例示上述状态。在图3C中，以图3B中例示的跟踪目标候选区域为中心，设置了在四个倾斜方向上移位的周围区域。
确定单元116获取从四个周围区域获取的各个评价值与从跟踪目标候选区域获取的评价值之间的差。如果所有的差均小于阈值(在步骤S207中为“是”)，则处理进行到步骤S208。如果不是所有的差都小于阈值，更具体而言，如果即使所述差中的一个等于或大于阈值，则处理进行到步骤S211。
在步骤S208中，如图3D所例示，控制单元102删除和重置有关跟踪目标区域和参照图像数据的信息并且停止跟踪处理。控制单元102从显示在监视器单元107上的图像删除跟踪框。作为步骤S207中的确定的结果，如果跟踪目标候选区域与所有的四个周围区域类似，则可以在具有低对比度的均同背景中设置跟踪目标候选区域。停止跟踪处理是因为：如果照这样继续跟踪处理，则如以上使用图4A、4B和4C所描述那样，周围存在具有高相关性的许多区域。因此，跟踪框的位置变得不稳定和模糊。
在步骤S209中，因为未中跟踪目标，所以控制单元102使AF处理单元108执行聚焦控制以使存在于中央部分的对象大致聚焦，使AE处理单元109通过执行中央重点测光来执行曝光控制。
在步骤S210中，控制单元102监视是否通过半按下操作单元101的快门开关生成了信号SW1。如果生成了信号SW1(在步骤S210中为“是”)，则处理进行到步骤S214。如果未生成信号SW1(在步骤S210中为“否”)，则处理返回到步骤S203，控制单元102新检测跟踪目标区域，并且从由脸部检测单元106新读取的帧图像中检测脸部区。
如果处理从步骤S207进行到步骤S211，则控制单元102确定成功执 行了跟踪并且用跟踪目标候选区域更新跟踪目标区域来作为新跟踪目标区域。此外，控制单元102在监视器单元107上显示添加了跟踪框的新跟踪目标区域的图像。
在步骤S212中，AF处理单元108和AE处理单元109分别通过对从跟踪目标区域获取的测光值和AF评价值执行最大加权来控制聚焦和曝光。
在步骤S213中，控制单元102监视是否通过半按下操作单元101的快门开关生成了信号SW1。如果生成了信号SW1(在步骤S213中为“是”)，则处理进行到步骤S214。如果未生成信号SW1(在步骤S213中为“否”)，则处理返回到步骤S205以继续跟踪处理。
如果在步骤S210和S213中生成了信号SW1，则在步骤S214中，AF处理单元108和AE处理单元109分别控制用于主图像摄取的聚焦和曝光。如果存在跟踪目标区域，则控制单元102控制AF处理单元108和AE处理单元109以调整跟踪目标区域的聚焦并且将亮度调整到最佳值。如果不存在跟踪目标区域，则控制单元102控制AF处理单元108和AE处理单元109优先考虑处于中央部分的聚焦和测光值以将整个画面调整到最佳状态。
在步骤S215中，控制单元102进行等待直到通过全按下操作单元101的快门开关生成信号SW2为止。如果生成了信号SW2(在步骤S215中为“是”)，则处理进行到步骤S216，控制单元102生成静止图像数据并且将该静止图像数据存储到图像存储单元113中。
如上所述，根据本示例性实施例，能够防止跟踪框被设置到具有低对比度的均同背景上并且在均同背景上出现模糊的问题。
此外，根据本示例性实施例，围绕跟踪目标候选区域设置四个周围区域以确定是否能够继续跟踪，但是，可以设置周围区域来仅仅确定跟踪目标候选区域和周围区域之间的相关度。因此，可以设置多个例如三或六个周围区域。此外，周围区域不仅可以在四个倾斜方向上设置，还可以在垂直和水平方向上设置。
在本示例性实施例中，作为示例，将通过脸部检测单元106检测到的 脸部区设置为跟踪目标区域。但是，如日本专利特开第2008-011497号公报所讨论的那样，用户可以操作操作单元101以指定任意的跟踪目标区域。通过使用上述方法，不仅能够将人脸设置为跟踪目标，还能够将动物和车辆设置为跟踪目标。
作为选择，跟踪处理单元115可以考虑帧图像间的差异来提取移动对象，并且用户可以操作操作单元101以选择多个脸部区中的任意一个。
更具体而言，本发明能够应用于包括跟踪处理单元115的结构，该跟踪处理单元115通过使用帧图像间的相关性来确定在随后的第二图像中的何处存在有被视为与在第一图像中检测到的脸部是相同脸部的区域。
如上所述，参照数字照相机为例描述了本发明的示例性实施例。作为对数字照相机的替代，本发明能够应用于摄像机。此外，本发明还能够应用于诸如从与系统连接的照相机接收动态图像数据并且在图像处理单元中对接收到的动态图像数据执行跟踪处理的监视系统的计算机系统。
此外，能够按如下所述来实现本发明。首先，为系统或装置提供存储有用于实现上述示例性实施例的功能的软件的程序代码的计算机可读存储介质(或记录介质)。该系统或者装置的计算机(或者中央处理单元(CPU)或微处理单元(MPU))读取并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质中读取的程序代码本身实现上述本示例性实施例的功能，从而存储有所述程序代码的存储介质构成本发明。
此外，除了通过计算机执行读取的程序代码外，能够按如下所述实现上述示例性实施例的功能。更具体而言，在计算机上运行的操作系统(OS)根据所读取的程序代码的指令执行部分或全部的实际处理，通过该处理来实现本示例性实施例的上述功能。
用于存储所述程序代码的计算机可读存储介质包括例如软盘、硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁带、非易失性存储卡、光盘ROM(CD-ROM)、可记录CD(CD-R)、数字通用光盘(DVD)、光盘和磁光(MO)盘。此外，诸如局域网(LAN)和广域网(WAN)的计算机网络能够用于提供程序代码。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明 并不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释，以涵盖所有变型、等同的结构和功能。
Claims (5)
1.一种图像处理装置，其通过在第二图像中检测存在于在第一图像中设置的跟踪目标区域中的对象来在构成动态图像的帧图像中执行跟踪处理，该图像处理装置包括：
设置单元，其被构造成在所述第一图像中设置所述跟踪目标区域；
跟踪单元，其被构造成在所述第二图像中检测与由所述设置单元设置的所述跟踪目标区域具有最高相关性的跟踪目标候选区域；
确定单元，其被构造成计算在所述跟踪目标候选区域中获取的评价值与在所述跟踪目标候选区域的周围区域中获取的评价值之间的差；以及
控制单元，其被构造成如果所述差等于或大于阈值则用所述跟踪目标候选区域来更新所述跟踪目标区域，而如果所述差小于所述阈值则重置所述跟踪目标区域，
其中，所述评价值是根据关于区域的亮度、色差和对比度的信息而获取的。
2.根据权利要求1所述的图像处理装置，其中，
所述设置单元还被构造成将检测到人脸的区域设置为所述跟踪目标区域。
3.根据权利要求1所述的图像处理装置，其中，
所述确定单元还被构造成根据所述跟踪目标区域的大小来设置在所述跟踪目标候选区域周围的所述周围区域。
4.根据权利要求1所述的图像处理装置，其中，
所述确定单元还被构造成根据所述跟踪目标区域的移动来设置在所述跟踪目标候选区域周围的所述周围区域。
5.一种图像处理方法，其通过在第二图像中检测存在于在第一图像中设置的跟踪目标区域中的对象来在构成动态图像的帧图像中执行跟踪处理，该图像处理方法包括以下步骤：
在所述第一图像中设置所述跟踪目标区域；
在所述第二图像中检测与所述跟踪目标区域具有最高相关性的跟踪目标候选区域；
计算在所述跟踪目标候选区域中获取的评价值与在所述跟踪目标候选区域的周围区域中获取的评价值之间的差；以及
如果所述差等于或大于阈值则用所述跟踪目标候选区域来更新所述跟踪目标区域，而如果所述差小于所述阈值则重置所述跟踪目标区域，
其中，所述评价值是根据关于区域的亮度、色差和对比度的信息而获取的。
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008211842 | 2008-08-20 | ||
| JP2008-211842 | 2008-08-20 | ||
| JP2008211842 | 2008-08-20 | ||
| JP2009155684 | 2009-06-30 | ||
| JP2009155684A JP5279635B2 (ja) | 2008-08-20 | 2009-06-30 | 画像処理装置、画像処理方法、および、プログラム |
| JP2009-155684 | 2009-06-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101656830A CN101656830A (zh) | 2010-02-24 |
| CN101656830B true CN101656830B (zh) | 2013-01-16 |
Family
ID=41403948
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009101629772A Expired - Fee Related CN101656830B (zh) | 2008-08-20 | 2009-08-20 | 图像处理装置及图像处理方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8284994B2 (zh) |
| EP (1) | EP2157547B1 (zh) |
| JP (1) | JP5279635B2 (zh) |
| KR (1) | KR101206389B1 (zh) |
| CN (1) | CN101656830B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011043060A1 (ja) * | 2009-10-07 | 2011-04-14 | パナソニック株式会社 | 追尾対象選択装置、方法、プログラム及び回路 |
| JP5631181B2 (ja) * | 2010-12-01 | 2014-11-26 | キヤノン株式会社 | 画像処理装置及びその制御方法、及びプログラム |
| JP5825851B2 (ja) * | 2011-05-27 | 2015-12-02 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| US8929598B2 (en) | 2011-06-29 | 2015-01-06 | Olympus Imaging Corp. | Tracking apparatus, tracking method, and storage medium to store tracking program |
| US9258462B2 (en) * | 2012-04-18 | 2016-02-09 | Qualcomm Incorporated | Camera guided web browsing based on passive object detection |
| JP6525545B2 (ja) * | 2014-10-22 | 2019-06-05 | キヤノン株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
| JP6743337B1 (ja) * | 2019-06-04 | 2020-08-19 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 制御装置、撮像装置、撮像システム、制御方法、及びプログラム |
| CN110414447B (zh) * | 2019-07-31 | 2022-04-15 | 京东方科技集团股份有限公司 | 行人跟踪方法、装置及设备 |
| KR20210024859A (ko) * | 2019-08-26 | 2021-03-08 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
| CN111815668B (zh) * | 2020-06-23 | 2024-08-30 | 浙江大华技术股份有限公司 | 目标跟踪方法、电子设备及存储介质 |
| CN112561963A (zh) * | 2020-12-18 | 2021-03-26 | 北京百度网讯科技有限公司 | 目标跟踪的方法、装置、路侧设备以及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1812569A (zh) * | 2005-12-30 | 2006-08-02 | 浙江工业大学 | 基于全方位视觉传感器的智能安保装置 |
| CN1892702A (zh) * | 2005-07-05 | 2007-01-10 | 欧姆龙株式会社 | 追踪装置 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6724915B1 (en) * | 1998-03-13 | 2004-04-20 | Siemens Corporate Research, Inc. | Method for tracking a video object in a time-ordered sequence of image frames |
| US6980690B1 (en) * | 2000-01-20 | 2005-12-27 | Canon Kabushiki Kaisha | Image processing apparatus |
| JP3846553B2 (ja) * | 2001-03-30 | 2006-11-15 | 三菱電機株式会社 | 画像処理装置 |
| KR101108634B1 (ko) * | 2004-01-06 | 2012-01-31 | 소니 주식회사 | 화상 처리 장치 및 화상 처리 방법 및 기록 매체 |
| US7710498B2 (en) * | 2004-02-13 | 2010-05-04 | Sony Corporation | Image processing apparatus, image processing method and program |
| JP4819380B2 (ja) * | 2004-03-23 | 2011-11-24 | キヤノン株式会社 | 監視システム、撮像設定装置、制御方法、及びプログラム |
| JP4830650B2 (ja) * | 2005-07-05 | 2011-12-07 | オムロン株式会社 | 追跡装置 |
| WO2007090133A2 (en) * | 2006-01-30 | 2007-08-09 | Kramer Jame F | System for providing a service to venues where people aggregate |
| JP2008011497A (ja) * | 2006-06-01 | 2008-01-17 | Canon Inc | カメラ装置 |
| EP2059026A4 (en) * | 2006-08-30 | 2010-12-29 | Nikon Corp | APPARATUS AND METHOD FOR ALIGNING IMAGE AND CAMERA |
| JP5268433B2 (ja) * | 2008-06-02 | 2013-08-21 | キヤノン株式会社 | 撮像装置、及び撮像装置の制御方法 |
-
2009
- 2009-06-30 JP JP2009155684A patent/JP5279635B2/ja active Active
- 2009-08-03 KR KR1020090071184A patent/KR101206389B1/ko active IP Right Grant
- 2009-08-11 US US12/539,036 patent/US8284994B2/en active Active
- 2009-08-20 EP EP09168333.4A patent/EP2157547B1/en not_active Not-in-force
- 2009-08-20 CN CN2009101629772A patent/CN101656830B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1892702A (zh) * | 2005-07-05 | 2007-01-10 | 欧姆龙株式会社 | 追踪装置 |
| CN1812569A (zh) * | 2005-12-30 | 2006-08-02 | 浙江工业大学 | 基于全方位视觉传感器的智能安保装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20100022918A (ko) | 2010-03-03 |
| JP5279635B2 (ja) | 2013-09-04 |
| US20100046798A1 (en) | 2010-02-25 |
| KR101206389B1 (ko) | 2012-11-29 |
| EP2157547A3 (en) | 2014-04-09 |
| JP2010074815A (ja) | 2010-04-02 |
| EP2157547A2 (en) | 2010-02-24 |
| CN101656830A (zh) | 2010-02-24 |
| EP2157547B1 (en) | 2016-10-19 |
| US8284994B2 (en) | 2012-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101656830B (zh) | 图像处理装置及图像处理方法 | |
| CN1909603B (zh) | 图像处理方法和摄像设备 | |
| CN101472070B (zh) | 记录符合规定条件的图像的摄像装置及其摄像方法 | |
| US10306133B2 (en) | Image processing apparatus for generating a likelihood distribution of an object | |
| US8004573B2 (en) | Imaging apparatus, imaged picture recording method, and storage medium storing computer program | |
| CN1917611B (zh) | 成像设备和成像方法 | |
| JP4819001B2 (ja) | 撮影装置および方法並びにプログラム、画像処理装置および方法並びにプログラム | |
| JP4663700B2 (ja) | 撮影装置、及び撮影方法 | |
| CN103945109A (zh) | 摄像装置及其控制方法、远程控制装置及其控制方法 | |
| JP6924064B2 (ja) | 画像処理装置およびその制御方法、ならびに撮像装置 | |
| JP2010263439A (ja) | 電子カメラ、画像処理装置及び画像処理方法 | |
| CN102100062A (zh) | 成像设备、成像方法和程序 | |
| JP2007067559A (ja) | 画像処理方法、画像処理装置、及び撮像装置の制御方法 | |
| JP2010213057A (ja) | 撮像装置、その制御方法、プログラム及び記録媒体 | |
| US20200177814A1 (en) | Image capturing apparatus and method of controlling image capturing apparatus | |
| JP5067884B2 (ja) | 撮像装置、その制御方法及びプログラム | |
| US11750912B2 (en) | Main subject tracking and prioritization using depth and successive temporal location proximity | |
| US11727716B2 (en) | Information processing apparatus, imaging apparatus, which determines exposure amount with respect to face detection and human body detection | |
| JP5843618B2 (ja) | 画像処理装置、その制御方法、及びプログラム | |
| JP6932907B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
| JP5002311B2 (ja) | 撮像装置、撮像装置の制御方法、プログラム、及び記憶媒体 | |
| US20220292692A1 (en) | Image processing apparatus and method of processing image | |
| US20220277537A1 (en) | Apparatus, image apparatus, method for apparatus, and storage medium | |
| JP5253184B2 (ja) | 撮像装置、顔検出方法及びプログラム | |
| JP2009064123A (ja) | 画像処理装置、撮像装置、画像処理方法、および、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130116 Termination date: 20190820 |