CN101523894B - 成像装置和对象检测方法 - Google Patents
成像装置和对象检测方法 Download PDFInfo
- Publication number
- CN101523894B CN101523894B CN200780034195XA CN200780034195A CN101523894B CN 101523894 B CN101523894 B CN 101523894B CN 200780034195X A CN200780034195X A CN 200780034195XA CN 200780034195 A CN200780034195 A CN 200780034195A CN 101523894 B CN101523894 B CN 101523894B
- Authority
- CN
- China
- Prior art keywords
- confined area
- image
- detection
- detects
- detect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
- G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种成像装置,包括:第一检测部分,检测在由连续捕捉图像的图像捕捉部分捕捉的图像中的一个或多个对象;第二检测部分,追踪检测的一个或多个对象;和系统控制部分,包括将图像的一部分设置为受限区域的设置部分,在第一检测部分检测到捕捉的图像中的一个或多个对象之后,使得第二检测部分追踪并检测跟随在该捕捉的图像之后所捕捉的图像中的对象,并使得第一检测部分检测受限区域中的对象。
Description
优先权要求
本申请基于并要求2006年9月18日提交的日本专利申请No.2006-247574和2007年7月30日提交的日本专利申请No.2007-197730的优先权,将其公开完全包括于此整体作为参考。
技术领域
本发明涉及检测并追踪对象的成像装置及用于其的对象检测方法。
背景技术
存在已知的成像装置,其通过图像识别来检测主要对象,特别是人的面部,以通过使用检测结果来调整焦距长度等。而且,例如对于这种成像装置,日本专利申请公开No.2003-107335公开了第一已知的常规成像装置,其执行面部检测并设置被检测为焦距调整区域的区域。另外,日本专利申请公开No.2006-60329公开了第二已知的常规成像装置,例如,其通过检测主要对象的皮肤颜色来检测主要对象,并使用图案匹配追踪该主要对象。这样的成像装置适于获得人像画面,使得它们对于不熟悉照相机的操作的新手用户特别有用。
另外,日本专利申请公开No.2003-92699公开了第三已知的常规成像装置,其不仅检测单个主要对象,而且检测捕捉的图像中的多个对象,以进行控制来将所有对象置于焦距内。这种成像装置适合于把作为对象的多个人拍摄到诸如纪念性照片中。
另外,在检测处理方面,通过使用先前的检测结果来追踪主要对象,以进行作为在日本专利申请公开No.2006-60329中描述的操作的追踪通过使用图案匹配而确定的主要对象的操作,由此使得可以以比在整个图像中重新检测对象更快的速度来执行检测,并且使得可以根据人的移动或视角的改变来快速地追踪对象。
将参考图3A和3B描述处理速度的差异。
在图3A中,数字100表示通过连续捕捉图像而获得的图像数据,所述图像数据在诸如LCD的显示部分上显示,以在用于拍摄的待机时间段期间决定图像的取景。数字101表示用于面部检测处理的图像数据,在图像数据101之间的箭头表示其中正在执行检测处理的时间段。通过从捕捉的图像数据间歇地选择数据来执行该面部检测处理,从而缩短耗时检测处理时间。
与之相比,图3B示出了一旦检测到面部就将执行的面部追踪处理。
数字102表示用于面部追踪处理的图像数据,图像数据101之间的箭头表示其中正在执行面部追踪处理的时间段。如图3B所示,在面部追踪处理中,以比重新检测面部时更高的速度来进行面部检测,使得能够以更短的间隔获得检测结果。
发明内容
但是,根据第二常规成像装置的面部追踪处理具有的问题在于,其不能如在第三常规成像装置中那样应对检测和处理多个面部。
例如,如图6所示拍摄三个人,当如图所示,在对三个人的面部进行追踪处理的过程中,因为三个人中的一个转过脸因而不能进行面部检测,且转过脸的人以后将他的面部转回到朝前时,不能恢复对于三个人的面部检测。另一问题在于,难以在短时间段中检测拍摄期间在图像中出现的新的对象。
本发明着眼于解决上述问题,其目的是提供使得可以应对识别的对象的状态改变的成像装置和对象检测方法。
考虑解决上述问题,根据本发明的成像装置配置为包括:图像捕捉部分,其连续捕捉图像;第一检测部分,其检测在由图像捕捉部分捕捉的图像中的一个或多个对象;第二检测部分,其追踪并检测所检测的一个或多个对象;和控制部分,其包括将图像的一部分设置为受限区域的设置部分,在第一检测部分检测到在所捕捉的图像中的一个或多个对象之后,使得第二检测部分追踪并检测跟随在该所捕捉的图像之后所捕捉的图像中的对象,并使得第一检测部分检测受限区域中的对象。
考虑解决上述问题,根据本发明的对象检测方法包括:第一检测步骤,检测捕捉的图像中的一个或多个对象;第二检测步骤,追踪并检测所检测的一个或多个对象,第二检测步骤能够以比第一检测步骤更高的速度被处理;和如下步骤,在由第一检测步骤在连续捕捉的图像中检测一个或多个对象之后,由第二检测步骤追踪并检测跟随在该所捕捉的图像之后捕捉的图像中的对象,并由第一检测步骤检测在图像的一部分中设置的受限区域中的对象。
附图说明
图1示出根据本发明第一实施例的数字静态照相机装置1的配置。
图2是示出根据第一实施例的对象检测处理的流程的流程图。
图3A示出在由根据第一实施例的数字静态照相机装置1连续捕捉的图像数据100和用于对象检测的图像数据101之间的关系。
图3B示出在由根据第一实施例的数字静态照相机装置1连续捕捉的图像数据100和用于追踪对象的图像数据102之间的关系。
图4A示出图像数据200的示例,示出根据第一实施例在检测的面部的尺寸、整个图像、和受限区域之间的关系。
图4B示出在图4A的图像数据200中受限区域201的移位的示例,示出根据第一实施例在检测的面部的尺寸、整个图像、和受限区域之间的关系。
图5A示出图像数据200的示例,示出根据第一实施例在检测的面部的尺寸、整个图像、和受限区域之间的关系。
图5B示出在图5A的图像数据200中受限区域201的移位的示例,示出根据第一实施例在检测的面部的尺寸、整个图像、和受限区域之间的关系。
图6是根据第一和第二实施例的操作的说明性示意图。
图7是示出根据第二实施例的对象检测处理的流程的流程图。
图8A示出根据第三实施例当在图像数据200的中心设置受限区域201的频率是1/9时受限区域201的移位的状态。
图8B示出根据第三实施例当在图像数据200的中心设置受限区域201的频率是1/5时受限区域201的移位的状态。
图8C示出根据第三实施例当在图像数据200的中心设置受限区域201的频率是1/3时受限区域201的移位的状态。
具体实施方式
在下文中,将参考附图描述本发明的实施例。
(第一实施例)
将参考图5到10描述用作根据第一实施例的成像装置的数字静态照相机装置1。
图1是数字静态照相机装置1和连接的设备11的示意图。
如图1所示,数字静态照相机装置1包括:图像捕捉部分3、具有第一检测部分和第二检测部分的图像处理部分4、和诸如系统控制部分2的包含设置部分的控制部分。第一检测部分检测在由图像捕捉部分捕捉的图像中的一个或多个对象。第二检测部分追踪并检测所检测的一个或多个对象。设置部分将图像的一部分设置为受限区域。数字静态照相机装置1还包括显示控制部分5、LCD 6(液晶显示器;液晶监视器)、存储介质接口部分7、存储介质8、硬键接口部分9、通信接口部分10。
提供系统控制部分2用于进行数字静态照相机装置1的总体控制,系统控制部分2包括:主CPU、NAND快闪存储器、SDRAM、计时器等,这些没有示出。
图像捕捉部分3捕捉图像,设置有光学组件(镜头和镜头驱动马达)、CCD、CCD驱动电路、A/D转换器等,这些没有示出。
提供图像处理部分4用于对由图像捕捉部分3获得的图像信号执行各种图像处理,该图像处理部分4控制图像捕捉部分3的CCD驱动时序和镜头驱动马达,以控制缩放、聚焦、曝光调整等,并执行图像压缩/扩展,且其包括用于图像处理的DSP(数字信号处理器)、RAM等,这些没有示出。
提供显示控制部分5用于对由图像处理部分4处理的图像信号执行信号处理,以在LCD 6上显示,以及产生用于用户接口的各种图形图像,以在LCD6上显示,显示控制部分5包括D/A转换器、OSD控制器等,这些没有示出。
提供LCD 6用于图像显示和用户接口的图形显示。
提供存储介质接口部分7用于与存储介质8的接口,其包括未示出的存储卡控制器等。
提供存储介质8用于在快闪存储器等中存储压缩的图像信号和关于图像的各种信息,其可拆卸地附接到数字静态照相机装置1。
硬键接口部分9由未示出的子CPU等组成,被提供以用于确定诸如未示出的按键和拨号盘的用户接口的状态,且控制该系统控制部分2的主CPU的主开关。
通信接口部分10由通信控制器组成,被提供以用于与未示出的连接的USB进行数据通信。
连接的设备11由个人计算机等组成,且经由未示出的USB与数字静态照相机装置1连接,以从数字静态照相机装置1传送图像以进行再现,并对数字静态照相机装置1进行各种设置。
首先,将描述数字静态照相机装置1的初始化。
当用户按下未示出的开关按钮时,硬键接口部分9接通系统控制部分2的主CPU。
系统控制部分2的主CPU首先开始访问(执行程序)NAND快闪存储器的启动部分,并由启动程序将程序数据传送到外部的SDRAM(同步动态随机存取存储器)。
在完成到SDRAM的数据传送的情况下,将程序的执行指针(程序计数器)传送到SDRAM上的程序,且之后根据SDRAM上的程序开始启动处理。
初始化处理包括:OS(操作系统)的初始化、镜头筒的延伸操作、和存储介质8的初始化。
通过以预定间隔(例如,2ms)经由图像处理部分4向图像捕捉部分3的镜头驱动马达提供脉冲信号,执行镜头筒的延伸操作。
而且,通过经由存储介质接口部分7向存储介质8提供电源和时钟来进行存储介质8的初始化,且之后向存储介质8发布初始化命令。在存储介质8中进行实际初始化,且系统控制部分2以10ms的间隔进行存储介质8的状态的轮询,例如以便检测初始化的完成。
之后,将描述拍摄时的操作。
在拍摄之前,用户操纵未示出的各种按键和拨号盘以决定拍摄模式(高图像质量模式、低图像质量模式等)。由系统控制部分2通过硬键接口部分9确定用户的操纵。系统控制部分2使显示控制部分5产生和显示用于提示用户进行至下一操作的图形指南。
系统控制部分2根据决定的拍摄模式在图像处理部分4中设置处理参数。替代地,用户操纵未示出的缩放控制杆以决定视角(画面组成)。
通过硬键接口部分9由系统控制部分2确定用户对缩放控制杆的操纵。系统控制部分2根据驱动镜头的操纵来控制图像捕捉部分3。
图像捕捉部分3在图像处理部分4的控制下开始捕捉图像。该图像处理部分4发起对由图像捕捉部分3检测的图像数据的面部检测处理。
另外,将捕捉的图像数据连续发送到图像处理部分4,经受色彩空间转换、伽马校正、白平衡调整等,并随后发送到显示控制部分5。
而且,同时,图像处理部分4使用面部检测的结果来执行聚焦和曝光检测,以控制图像捕捉部分3进行调整。该显示控制部分5对图像数据执行信号处理以在LCD 6上显示,并向用户示出捕捉的图像的状态。
这里,当用户按下未示出的释放按钮时,由系统控制部分2经由硬键接口部分9确定对其的操纵。
图像捕捉部分3在图像处理部分4的控制下接受预定图像,并将该预定图像发送到图像处理部分4。该图像处理部分4依据拍摄模式来使图像经受图像处理和压缩处理。
系统控制部分2读取压缩的图像数据并向其添加报头信息,且之后通过存储介质接口部分7将其写入存储介质8。
完成一系列的拍摄操作。
之后,将对检测和追踪图像中的面部、及设置检测区域的示例进行描述,其中该检测区域从图像的中心向图像的外围移位。
该操作流程如图2所示。注意到,其中的流程仅示出关于面部检测的操作。应该理解,与图2的操作流程并行地分离执行上述用于聚焦、曝光调整、和图像显示的处理;因此,省略其描述。
图像处理部分4从由图像捕捉部分3连续捕捉的图像数据100获得用在面部检测中的图像数据101,如图3A所示(步骤S2),并对获得的图像数据101的整个区域执行检测处理(步骤S3)。在步骤S3中的面部检测处理对应于第一检测部分的对象检测。注意到,例如,能够通过使用在日本专利申请公开No.2003-107335中描述的技术来执行面部检测。
在其中在获得的图像中没有检测到面部的情况下,重复上述处理直到面部检测模式的结束(步骤S5到步骤S1)。
相反地,当在步骤S4中检测到的面部的数目n是一个或多个时,图像处理部分4进行至步骤S6中的处理,且之后获得用在跟踪处理中的图像数据102,如图3B所示(步骤S7),并对检测的面部的数目n执行跟踪处理(步骤S8)。步骤S8中的跟踪处理对应于由第二检测部分跟踪对象。例如,可通过使用在日本专利申请公开No.2006-60329中描述的技术来执行该跟踪处理。
系统控制部分2控制上述的一系列控制操作。而且,其中由检测和跟踪检测到面部的区域的坐标值被分离地存储在系统控制部分2中,且当需要时在聚焦、曝光调整、或图像显示处理中参考该坐标值。
之后,图像处理部分4执行受限区域201中的面部检测(步骤S10)。
在这里将描述受限区域。
图4A、4B、5A和5B示出怎样设置受限区域201的示例。在附图中,数字200表示对应于图3A和3B中提取的图像101、102的图像数据,且由设置部分在图像数据200的一部分中设置受限区域201。因为在图像数据200的一部分中设置受限区域201,因此相比在步骤S3中在整个图像数据200中的面部检测,可以以更短的时间段执行在步骤S10中的面部检测。
每次执行在步骤S10中的处理时,设置受限区域201。首先,在图像数据200的中心设置对应于图像数据200的一部分的尺寸的区域。之后,当进行步骤S10中的每个处理时,区域的位置以由箭头指示的顺序改变,与此同时,执行面部检测。
区域的位置从包括图像数据的左上端的位置移位到包括图像数据的右下端的位置。在如图4B所示的示例中,区域通过三个步骤从图像数据200的左上部分移位到其右下部分,之后,在垂直方向的图像数据200的中间部分从左移位到右,图像数据200的下部部分从左移位到右。这里,设置受限区域201以在垂直和水平方向上与下一设置的受限区域具有重叠的尺寸。
另外,根据第一实施例,根据检测的面部的尺寸设置受限区域201的尺寸。就是说,在图4A的面部的情况下,受限区域201的尺寸设置为可通过9个步骤在图像数据200的整个区域中移位的尺寸。如图5A所示,当检测的面部的尺寸大于图4A中的尺寸时,设置受限区域的尺寸大于图4A中的,且可通过5个步骤在图像数据200的整个区域中移位。
如上所述,根据检测的面部的尺寸设置受限区域201的尺寸,使得可以通过防止由于受限区域201的不必要的大尺寸的缘故而延长所需的处理时间来执行有效的处理,以及对在图像数据200中检测的新的对象执行有效的处理。
系统控制部分2把检测的面部的数目n更新为作为重新检测到的面部的数目和成功追踪的面部的数目m之和的数目n(步骤S11)。当检测到一个或多个面部时,对于检测到的面部的数目n继续步骤S6及其后中的追踪处理。当没有检测到面部时,在整个区域上重新执行步骤S1及其后中的检测处理(步骤S12)。
这里,将参考图6描述成功追踪的面部的数目m和重新检测的面部的数目。
对于如图所示地拍摄三个人,例如,当在图3A中的图像数据101的整个区域中通过步骤S1到S4中的处理执行面部检测时,检测到的面部的数目n是3。但是,在关于图像数据102的追踪处理中,当如图6中的加外框的部分300a、300b所指示,成功追踪的面部的数目m是2,且在该点没有从受限区域201检测到新的面部时,因为在步骤S11数目n是2,因此处理返回到步骤S6。之后,重复执行关于图像数据102的追踪处理和受限区域201中的检测处理。
在上述处理的重复期间,当在其中没有成功进行追踪处理的加外框部分301中检测到面部时,将重新检测到的面部的数目1加到成功追踪的面部的先前数目m。因此,在下一处理中,数目n将为3,从而将追踪三个面部。
因此,即使当在追踪面部的中途中断面部检测时,连续追踪成功追踪的面部,也追踪重新检测到的面部。
而且,即使在新的人出现在图像中且在受限区域201中被检测到的情况下,将新检测的对象的面部添加到检测的面部的数目n,使得能够追踪添加的面部。
如上所述,根据第一实施例的数字静态照相机装置1配置为,在受限区域201中进行追踪处理和面部检测,使得可以防止检测结果的更新周期显著延长,而不像在整个图像的面部检测中那样。另外,可以以后重新检测未成功追踪的面部、或在视角中出现的新的面部,并追踪这种面部。
(其它实施例)
在下文中,将描述其它实施例。注意到,向与第一实施例中的组件相同或相似的组件给予相同的代码和数字;因此省略关于其的描述。
(第二实施例)
将参考图6和7描述用作根据第二实施例的成像装置1的数字静态照相机装置1。
在第二实施例中,在预定时间,将其中面部追踪处理失败的区域设置为检测区域。
将根据图7中的流程图描述第二实施例的操作。注意到,步骤S1到S9中的处理与第一实施例中的相同,因此,将省略其描述。
在追踪之后,当在所有面部之间存在未成功追踪的面部时(步骤S21),系统控制部分2存储包括未成功追踪的面部的区域(步骤S22),且设置计数器值R(步骤S23)。计数器值R用于指定在存储的区域(受限区域)中执行的检测的重复数目。这里,将其设置为20。
除非计数器值R是零(步骤S24),则在步骤S22中存储的包括未成功追踪的面部的区域中执行检测(步骤S25)。当在该存储的区域中检测到面部时,清除计数器值R(步骤S26到S28)。当在该存储的区域中没有检测到面部时,将计数器值R减去1(步骤S27),且维持直到下一操作。
而且,当计数器值R是零时,如在第一实施例中那样,执行步骤S10中的处理。
注意到,在显示处理中还参照计数器值R。当计数器值R不是零时,显示如图6所示的图像。就是说,在图6中,以实线300a、300b加外框的部分示出在框中成功追踪的面部,而以虚线301加外框的部分表示包括在步骤S24的检测下(重新执行检测)未成功追踪的面部的加外框区域。
在正在执行步骤S21到S28中的处理,即,包括未成功追踪的面部的存储区域中的面部检测时,表示正在检测未成功追踪的面部的显示持续。
注意到,除了实线和虚线以外,成功追踪的面部的加外框部分300a、300b和未成功追踪的面部的加外框部分301可以由不同颜色或形状(例如,当成功时是圆形框,当失败时是方形框)、不同显示时间段(闪烁指示)、或这些的组合来区分。
根据第二实施例的其它操作与第一实施例的相同,因此,省略关于其的描述。
通过上述处理,可以执行因为对象转向等等因而临时未成功追踪的面部的有效率的再检测。
另外,如上所述以不同形状的框来显示成功和未成功追踪的面部,使得用户可以适当地理解照相机的检测状态。因此,用户能够给予对象合适的操作指令。
(第三实施例)
现在,将参考图8A到8C描述第三实施例。
构造第三实施例使得在第一实施例的步骤S10中的受限区域的检测处理中,以根据焦距长度改变的频率,将受限区域201设置在图像数据200的中心。在第三实施例中,设置受限区域201以具有足以在图像数据200中以9个步骤移位的一定尺寸,如图4B的示例所示。
特别地,根据第三实施例,根据焦距长度F,受限区域201设置在图像数据200的中心的频率是1/9、1/5、1/3。换句话说,当焦距长度F<50mm时设置频率1/9。注意到,焦距长度是对于使用35mm胶片的照相机的光学系统的转换的值。而且,当50mm≤焦距长度F<100时,设置频率1/5。当焦距长度F≥100时设置频率1/3。
图8A示出焦距长度F小于50mm且频率是1/9的情况。当受限区域201在整个图像数据200中移位时,仅仅在第一步骤将受限区域201设置在图像数据200的中心。
图8B示出焦距长度F小于100mm且频率是1/5的情况。当受限区域201在整个图像数据200中移位时,在第一和第六步骤将受限区域201设置在图像数据200的中心两次。
图8C示出焦距长度F大于等于100mm且频率是1/3的情况。当受限区域201在整个图像数据200中移位时,在第一、第四、第七和第十步骤将受限区域201设置在图像数据200的中心四次。
因此,能够在各种照相情况下将对象设置在图像数据的中心周围。焦距长度越长,对象越可能设置在其中心。
因此,增加受限区域201设置在图像数据200的中心的频率,使得可以以较短的时间段检测对象甚至新的对象。
如上所述,根据第一到第三实施例的数字静态照相机装置1具有这样的有益效果,即,因为其追踪检测的对象,因此能够以比在整个图像(图像数据200)中检测对象更高的速度来检测对象。而且,因为该数字静态照相机装置1不在整个图像中而是在作为图像的一部分的受限区域201中检测对象,因此可防止检测结果的更新周期显著延长。另外,甚至可以检测未成功追踪的对象及以在追踪对象期间的视角而捕捉的新的对象。
另外,根据第一到第三实施例的数字静态照相机装置1具有这样的有益效果,即,因为该数字静态照相机装置1配置为所设置的受限区域201从图像的中心向着图像的外围移位,因此在转换到追踪处理之后,能够立即高效率而无故障地检测主要对象。
另外,根据第一到第三实施例的数字静态照相机装置1具有这样的有益效果,即,因为受限区域201移位以与下一设置的受限区域重叠,因此能够无故障地检测受限区域201中的对象。
另外,根据第一到第三实施例的数字静态照相机装置1具有这样的有益效果,即,通过将包括丢失的对象的受限区域201设置为优先检测区域,因此能够迅速地检测由于对象的移动而丢失的对象(未成功追踪的对象)。
另外,当在根据第一到第三实施例的数字静态照相机装置1中根据对象的尺寸来设置受限区域201时,可以防止由于不必要的大的受限区域201而显著延长所需的处理时间,使得能够进行有效率的处理,以及即使对于在图像中检测到的新的对象也可以实现有效率的处理。
另外,当在根据第一到第三实施例的数字静态照相机装置1中根据照相放大倍率来设置受限区域201时,可以假定对象的尺寸并且防止由于不必要的大的受限区域201而显著延长所需的处理时间,使得能够进行有效率的处理,以及即使对于在图像中检测到的新的对象也可以实现有效率的处理。
另外,根据第一到第三实施例的数字静态照相机装置1配置为以较高频率来把包括图像的中心的区域设置为受限区域201。这使得可以以高概率捕捉在受限区域中的对象,使得能够进行有效率的处理,以及以较短的时间段检测在图像中捕捉的新的对象。
另外,根据第一到第三实施例的数字静态照相机装置1配置为根据焦距长度来确定把包括图像的中心的区域设置为受限区域201的频率。这使得可以以短的时间段在各种照相情况下捕捉对象,并可以以短的时间段检测新捕捉的对象。
另外,根据第一到第三实施例的数字静态照相机装置1配置为显示包括未成功追踪的对象的区域,使得用户可以适当地知道成像装置的检测状态。而且,用户可以给予对象适当的操作指令。
另外,根据第一到第三实施例的数字静态照相机装置1配置为显示包括未成功追踪的对象的区域正在重新检测的重新检测时间段,使得用户可以适当地知道成像装置的检测状态。而且,用户可以给予对象适当的操作指令。
在上文中,参考附图详细描述了本发明的实施例,但是,本发明的特定配置不限于此。应该理解,在本发明中包括设计的变型而不脱离本发明的范围。
例如,第一到第三实施例描述了其中作为对象检测面部的示例;但是,对象不限于面部。可对针对各种意图的目的进行适当地设置。
另外,可以根据处理速度合适地设置从连续拍摄的图像数据101提取用于在整个图像数据100中检测对象的图像数据101和用于追踪和检测的图像数据102的比率。因此,不限于图3A和3B所示的示例。
另外,关于其中受限区域201设置为以从图像中心到图像外围、从上到下、且从左到右的顺序移位的示例描述第一实施例。但是,受限区域201的设置不限于此,能够以预先设置的顺序随机地进行。在该情况下,图像的中心部分很可能包括拍摄对象,其它部分以基本上相同的概率包括对象。因此,随机检测的检测速率能够与上述的从上和从左的顺序检测的检测速率相等。
另外,关于其中根据检测的面部的尺寸来确定受限区域201的示例描述了第一实施例,但是,能够根据照相放大倍率确定检测区域。在该情况下,可配置为,如图5A所示,照相放大倍率相对较大,设置的受限区域相对较大,以及如图4A所示,照相放大倍率相对较小,设置的受限区域相对较小。
另外,第一到第三实施例描述了其中本发明应用于数字静态照相机装置的示例;但是,其应用不限于此。本发明还可应用于数字静态照相机以外的具有照相功能的装置,诸如光学照相机、视频摄像机、或移动电话。
虽然按照示例性实施例描述了本发明,其不限于此。应该认识到,本领域技术人员在不脱离本发明如权利要求所限定的范围的情况下,可对描述的实施例做出变更。
Claims (16)
1.一种成像装置,包括:
图像捕捉部分,其连续地捕捉图像;
第一检测部分,其检测在由图像捕捉部分捕捉的图像中的多个对象;
第二检测部分,其追踪并检测所检测到的多个对象;以及
控制部分,其包括把图像的一部分设置为受限区域的设置部分,使得在第一检测部分检测到在捕捉的图像中的多个对象之后第二检测部分追踪并检测跟随在所捕捉的图像之后所捕捉的图像中的对象,并使得第一检测部分检测受限区域中的对象,
其中该控制部分将由该第二检测部分成功地检测到的对象的数量与由该第一检测部分在受限区域中重新检测到的对象的数量之和设置为要追踪的对象的数量,并且
其中所述设置部分以比不包括图像中心的区域更高的频率来将包括图像中心的区域设置为受限区域,并根据焦距长度来确定用以将包括图像中心的区域设置为受限区域的频率。
2.根据权利要求1所述的成像装置,其中
所述设置部分将受限区域首先设置在包括图像的中心的区域中,并将受限区域向图像的外围顺序移位。
3.根据权利要求1所述的成像装置,其中
所述设置部分顺序地设置受限区域,使得先前设置的受限区域与新设置的受限区域有重叠。
4.根据权利要求1所述的成像装置,其中
所述设置部分根据由第二检测部分进行的追踪和检测的结果,来设置受限区域。
5.根据权利要求1所述的成像装置,其中
所述设置部分根据所检测的对象的尺寸来设置受限区域。
6.根据权利要求1所述的成像装置,其中
所述设置部分根据照相放大倍率来设置受限区域。
7.根据权利要求1所述的成像装置,还包括
显示装置,其显示正被捕捉的图像,其中
所述控制部分使得显示装置显示由第二检测部分进行的追踪和检测的结果。
8.根据权利要求7所述的成像装置,其中
所述设置部分根据由第二检测部分进行的追踪和检测的结果来设置受限区域;以及
在设置部分根据由第二检测部分进行的追踪和检测的结果来设置受限区域时,所述控制部分使显示装置显示该结果。
9.一种对象检测方法,包括:
第一检测步骤,检测所捕捉的图像中的多个对象;
第二检测步骤,追踪并检测所检测到的多个对象,所述第二检测步骤能够以比第一检测步骤更高的速度来处理;
将图像的一部分设置为受限区域的设置步骤;
在由第一检测步骤在连续捕捉的图像中检测多个对象之后,由第二检测步骤追踪并检测跟随在所捕捉的图像之后捕捉的图像中的对象的步骤;
由第一检测步骤检测在受限区域中的对象的步骤;以及
将由该第二检测步骤成功地检测到的对象的数量与由该第一检测步骤在受限区域中重新检测到的对象的数量之和设置为要追踪的对象的数量的步骤,
其中所述设置步骤以比不包括图像中心的区域更高的频率,来将包括图像中心的区域设置为受限区域,并根据焦距长度来确定用以将包括图像中心的区域设置为受限区域的频率。
10.根据权利要求9所述的对象检测方法,还包括步骤:将受限区域首先设置在包括图像中心的区域中,并将受限区域向图像的外围顺序移位。
11.根据权利要求9所述的对象检测方法,还包括步骤:顺序地设置受限区域,使得先前设置的受限区域与新设置的受限区域有重叠。
12.根据权利要求9所述的对象检测方法,还包括步骤:根据由第二检测步骤进行的追踪和检测的结果,来设置受限区域。
13.根据权利要求9所述的对象检测方法,还包括步骤:根据检测的对象的尺寸,来设置受限区域。
14.根据权利要求9所述的对象检测方法,还包括步骤:根据照相放大倍率,来设置受限区域。
15.根据权利要求9所述的对象检测方法,还包括步骤:显示由第二检测步骤进行的追踪和检测的结果。
16.根据权利要求15所述的对象检测方法,还包括步骤:在根据由第二检测步骤进行的追踪和检测的结果来设置受限区域时,显示该结果。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP247574/2006 | 2006-09-13 | ||
JP2006247574 | 2006-09-13 | ||
JP2007197730A JP5044321B2 (ja) | 2006-09-13 | 2007-07-30 | 撮像装置および被写体検出方法 |
JP197730/2007 | 2007-07-30 | ||
PCT/JP2007/068219 WO2008032860A1 (en) | 2006-09-13 | 2007-09-12 | Imaging device and subject detection method |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101523894A CN101523894A (zh) | 2009-09-02 |
CN101523894B true CN101523894B (zh) | 2011-12-07 |
Family
ID=39183904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200780034195XA Expired - Fee Related CN101523894B (zh) | 2006-09-13 | 2007-09-12 | 成像装置和对象检测方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US8358350B2 (zh) |
EP (1) | EP2050268A4 (zh) |
JP (1) | JP5044321B2 (zh) |
KR (1) | KR101117851B1 (zh) |
CN (1) | CN101523894B (zh) |
WO (1) | WO2008032860A1 (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7993322B2 (en) | 2003-12-15 | 2011-08-09 | Kimberly-Clark Worldwide, Inc. | Absorbent garment having outer shell and adjustable absorbent assembly therein |
JP5044321B2 (ja) * | 2006-09-13 | 2012-10-10 | 株式会社リコー | 撮像装置および被写体検出方法 |
JP2010002884A (ja) * | 2008-05-19 | 2010-01-07 | Nikon Corp | 電子閃光装置及びそれを備えたカメラ |
CN102119530B (zh) | 2008-08-22 | 2013-08-21 | 索尼公司 | 图像显示设备、控制方法 |
JP5218345B2 (ja) * | 2009-09-02 | 2013-06-26 | 三菱電機株式会社 | 画像検出装置 |
EP2549738B1 (en) * | 2011-07-19 | 2013-08-28 | Axis AB | Method and camera for determining an image adjustment parameter |
US9596515B2 (en) * | 2012-01-04 | 2017-03-14 | Google Inc. | Systems and methods of image searching |
US8854481B2 (en) * | 2012-05-17 | 2014-10-07 | Honeywell International Inc. | Image stabilization devices, methods, and systems |
JP5889247B2 (ja) * | 2013-07-02 | 2016-03-22 | キヤノン株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム、並びに撮像装置 |
CN103425997A (zh) * | 2013-08-13 | 2013-12-04 | 惠州Tcl移动通信有限公司 | 一种基于脸部识别的环境私密性保护处理方法及系统 |
WO2015144209A1 (en) * | 2014-03-25 | 2015-10-01 | Metaio Gmbh | Method and system for representing a virtual object in a view of a real environment |
US9672412B2 (en) * | 2014-06-24 | 2017-06-06 | The Chinese University Of Hong Kong | Real-time head pose tracking with online face template reconstruction |
CN106296725B (zh) * | 2015-06-12 | 2021-10-19 | 富泰华工业(深圳)有限公司 | 运动目标实时检测与跟踪方法及目标检测装置 |
KR101895865B1 (ko) * | 2016-08-03 | 2018-09-06 | (주)잼투고 | 랜드스케이프 동영상 컨텐츠의 적응적 재생 시스템 및 재생방법 |
JP7455588B2 (ja) * | 2020-01-17 | 2024-03-26 | キヤノン株式会社 | 撮像装置 |
US11574392B2 (en) * | 2020-02-27 | 2023-02-07 | Adobe Inc. | Automatically merging people and objects from multiple digital images to generate a composite digital image |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1254904A (zh) * | 1998-11-18 | 2000-05-31 | 株式会社新太吉 | 用于拍摄/识别脸孔的方法和装置 |
CN1402551A (zh) * | 2001-08-07 | 2003-03-12 | 三星电子株式会社 | 自动跟踪移动目标的设备和方法 |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3109812B2 (ja) * | 1990-02-08 | 2000-11-20 | キヤノン株式会社 | 撮像装置 |
DE69121930T2 (de) * | 1990-02-08 | 1997-04-03 | Canon Kk | Bildaufnahmevorrichtung |
JPH0522649A (ja) | 1991-07-17 | 1993-01-29 | Ricoh Co Ltd | カメラの手振れ防止装置および手振れ防止方法 |
JPH07162830A (ja) | 1993-12-10 | 1995-06-23 | Ricoh Co Ltd | テレビ会議通信装置の制御方法 |
US6476868B1 (en) * | 1994-04-11 | 2002-11-05 | Canon Kabushiki Kaisha | Image pickup apparatus provided with enlargement process means for enlarging image signals output from an image pickup device |
JPH11150676A (ja) * | 1997-11-17 | 1999-06-02 | Canon Inc | 画像処理装置及び追尾装置 |
US6394557B2 (en) * | 1998-05-15 | 2002-05-28 | Intel Corporation | Method and apparatus for tracking an object using a continuously adapting mean shift |
JP4393652B2 (ja) | 1999-03-30 | 2010-01-06 | 株式会社リコー | 撮像装置および文書撮影方法 |
WO2001028238A2 (en) * | 1999-10-08 | 2001-04-19 | Sarnoff Corporation | Method and apparatus for enhancing and indexing video and audio signals |
US7324139B2 (en) | 2000-01-20 | 2008-01-29 | Ricoh Company, Ltd. | Digital camera, a method of shooting and transferring text |
US20020080257A1 (en) * | 2000-09-27 | 2002-06-27 | Benjamin Blank | Focus control system and process |
TW505892B (en) * | 2001-05-25 | 2002-10-11 | Ind Tech Res Inst | System and method for promptly tracking multiple faces |
JP4364464B2 (ja) | 2001-09-17 | 2009-11-18 | 株式会社リコー | デジタルカメラ撮像装置 |
US7298412B2 (en) * | 2001-09-18 | 2007-11-20 | Ricoh Company, Limited | Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program |
JP2003107335A (ja) | 2001-09-28 | 2003-04-09 | Ricoh Co Ltd | 撮像装置、自動合焦方法、およびその方法をコンピュータが実行するためのプログラム |
US7130446B2 (en) * | 2001-12-03 | 2006-10-31 | Microsoft Corporation | Automatic detection and tracking of multiple individuals using multiple cues |
JP4013684B2 (ja) * | 2002-07-23 | 2007-11-28 | オムロン株式会社 | 個人認証システムにおける不正登録防止装置 |
GB2395779A (en) * | 2002-11-29 | 2004-06-02 | Sony Uk Ltd | Face detection |
JP3823921B2 (ja) * | 2002-12-27 | 2006-09-20 | コニカミノルタフォトイメージング株式会社 | 撮像装置 |
US20040207743A1 (en) * | 2003-04-15 | 2004-10-21 | Nikon Corporation | Digital camera system |
US7616233B2 (en) * | 2003-06-26 | 2009-11-10 | Fotonation Vision Limited | Perfecting of digital image capture parameters within acquisition devices using face detection |
JP3867687B2 (ja) * | 2003-07-08 | 2007-01-10 | コニカミノルタフォトイメージング株式会社 | 撮像装置 |
US20050052533A1 (en) * | 2003-09-05 | 2005-03-10 | Hitachi Kokusai Electric Inc. | Object tracking method and object tracking apparatus |
JP2005215750A (ja) * | 2004-01-27 | 2005-08-11 | Canon Inc | 顔検知装置および顔検知方法 |
DE102004015806A1 (de) * | 2004-03-29 | 2005-10-27 | Smiths Heimann Biometrics Gmbh | Verfahren und Anordnung zur Aufnahme interessierender Bereiche von beweglichen Objekten |
JP4489608B2 (ja) * | 2004-03-31 | 2010-06-23 | 富士フイルム株式会社 | ディジタル・スチル・カメラ,画像再生装置および顔画像表示装置ならびにそれらの制御方法 |
JP4130641B2 (ja) * | 2004-03-31 | 2008-08-06 | 富士フイルム株式会社 | ディジタル・スチル・カメラおよびその制御方法 |
JP4006415B2 (ja) * | 2004-06-03 | 2007-11-14 | キヤノン株式会社 | 撮影装置及びその制御方法並びに制御用プログラム |
JP2006060329A (ja) * | 2004-08-17 | 2006-03-02 | Fuji Photo Film Co Ltd | 撮像装置、撮像方法、及び撮像プログラム |
JP4520259B2 (ja) | 2004-09-14 | 2010-08-04 | 株式会社リコー | マルチメディア記録装置、マルチメディア記録方法、及びマルチメディア記録システム |
US7315631B1 (en) * | 2006-08-11 | 2008-01-01 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
JP4674471B2 (ja) * | 2005-01-18 | 2011-04-20 | 株式会社ニコン | デジタルカメラ |
JP2006211139A (ja) * | 2005-01-26 | 2006-08-10 | Sanyo Electric Co Ltd | 撮像装置 |
JP4350725B2 (ja) * | 2005-08-05 | 2009-10-21 | キヤノン株式会社 | 画像処理方法、画像処理装置、及び、画像処理方法をコンピュータに実行させるためのプログラム |
JP5045125B2 (ja) * | 2006-03-15 | 2012-10-10 | 株式会社ニコン | 被写体追尾装置および光学機器 |
JP5044321B2 (ja) * | 2006-09-13 | 2012-10-10 | 株式会社リコー | 撮像装置および被写体検出方法 |
CN101150732B (zh) * | 2006-09-20 | 2010-08-11 | 王锦峰 | 用黑白相机拍摄彩色图像的成像方法和装置 |
US7693301B2 (en) * | 2006-10-11 | 2010-04-06 | Arcsoft, Inc. | Known face guided imaging method |
US8442327B2 (en) * | 2008-11-21 | 2013-05-14 | Nvidia Corporation | Application of classifiers to sub-sampled integral images for detecting faces in images |
-
2007
- 2007-07-30 JP JP2007197730A patent/JP5044321B2/ja not_active Expired - Fee Related
- 2007-09-12 EP EP07807587A patent/EP2050268A4/en not_active Withdrawn
- 2007-09-12 WO PCT/JP2007/068219 patent/WO2008032860A1/en active Application Filing
- 2007-09-12 KR KR1020097007230A patent/KR101117851B1/ko active IP Right Grant
- 2007-09-12 US US12/439,071 patent/US8358350B2/en not_active Expired - Fee Related
- 2007-09-12 CN CN200780034195XA patent/CN101523894B/zh not_active Expired - Fee Related
-
2012
- 2012-12-21 US US13/725,001 patent/US8830346B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1254904A (zh) * | 1998-11-18 | 2000-05-31 | 株式会社新太吉 | 用于拍摄/识别脸孔的方法和装置 |
CN1402551A (zh) * | 2001-08-07 | 2003-03-12 | 三星电子株式会社 | 自动跟踪移动目标的设备和方法 |
Non-Patent Citations (3)
Title |
---|
JP特开2006-211139A 2006.08.10 |
JP特开2006-60329A 2006.03.02 |
JP特开平11-150676A 1999.06.02 |
Also Published As
Publication number | Publication date |
---|---|
CN101523894A (zh) | 2009-09-02 |
US8358350B2 (en) | 2013-01-22 |
KR101117851B1 (ko) | 2012-03-20 |
EP2050268A1 (en) | 2009-04-22 |
US20090262213A1 (en) | 2009-10-22 |
US8830346B2 (en) | 2014-09-09 |
US20130113940A1 (en) | 2013-05-09 |
JP5044321B2 (ja) | 2012-10-10 |
WO2008032860A1 (en) | 2008-03-20 |
EP2050268A4 (en) | 2010-12-15 |
JP2008099246A (ja) | 2008-04-24 |
KR20090054465A (ko) | 2009-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101523894B (zh) | 成像装置和对象检测方法 | |
CN100492154C (zh) | 红眼图像校正装置及具有该装置的电子照相机 | |
US8599251B2 (en) | Camera | |
US7417679B2 (en) | Image pickup apparatus and image pickup method | |
CN105141853B (zh) | 图像处理方法以及电子设备 | |
US8525921B2 (en) | Image capturing apparatus and control method therefor | |
US20090227283A1 (en) | Electronic device | |
JP6824664B2 (ja) | 撮像装置及びその制御方法、プログラム | |
JP2009268086A (ja) | 撮像装置 | |
US9871970B2 (en) | Imaging apparatus, control method, and storage medium storing program | |
CN109564376A (zh) | 时间复用可编程视场成像 | |
CN103945109A (zh) | 摄像装置及其控制方法、远程控制装置及其控制方法 | |
CN101909152A (zh) | 摄像装置 | |
JP2008118387A (ja) | 撮像装置 | |
JP2010193211A (ja) | 撮像装置および撮像装置用プログラム | |
CN101938603B (zh) | 数字图像处理设备和控制所述设备的方法 | |
CN101277392B (zh) | 电子装置、图像显示方法 | |
JP4983666B2 (ja) | 撮像装置 | |
CN102164243B (zh) | 用于降低连续自动聚焦电耗的方法和设备 | |
CN103926008A (zh) | 热像装置、热像任务拍摄方法和热像存储方法 | |
CN1893560B (zh) | 电子设备及其菜单显示方法 | |
CN105991952B (zh) | 拍摄装置、图像再生方法及记录介质 | |
CN115174812A (zh) | 视频生成方法、视频生成装置及电子设备 | |
KR100784965B1 (ko) | 촬영 영상 검색이 가능한 실물 화상기 | |
JP2008289007A (ja) | 顔検出装置、及び顔検出方法、顔検出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20111207 Termination date: 20190912 |