CN104104860B - 对象图像检测设备及其控制方法以及控制程序、记录介质 - Google Patents

对象图像检测设备及其控制方法以及控制程序、记录介质 Download PDF

Info

Publication number
CN104104860B
CN104104860B CN201410078994.9A CN201410078994A CN104104860B CN 104104860 B CN104104860 B CN 104104860B CN 201410078994 A CN201410078994 A CN 201410078994A CN 104104860 B CN104104860 B CN 104104860B
Authority
CN
China
Prior art keywords
detection
image
object images
testing result
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410078994.9A
Other languages
English (en)
Other versions
CN104104860A (zh
Inventor
田中清明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN104104860A publication Critical patent/CN104104860A/zh
Application granted granted Critical
Publication of CN104104860B publication Critical patent/CN104104860B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/167Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Camera Data Copying Or Recording (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及对象图像检测设备及其控制方法以及控制程序、记录介质。防止输出误检测到的面部图像的检测结果。若图像取得部(30)取得拍摄图像,则面部检测部(31)检测在取得的拍摄图像中包含的面部图像,生成检测结果,并将其积累于存储部(21)中。适当检测判定部(32)判定相同面部图像的检测结果是否包含在最近的规定数的检测结果中,包含时将该检测结果送出给检测框生成部(33),另一方面,当不包含时不送出该检测结果。

Description

对象图像检测设备及其控制方法以及控制程序、记录介质
技术领域
本发明涉及从拍摄图像检测作为拍摄图像的一部分且作为对象物的图像的对象图像的对象图像检测设备及其控制方法以及控制程序、记录介质、数字照相机。
背景技术
以往,在拍摄器械以及显示设备等中,为了提供易使用的用户界面或者自动取得最佳的图像,自动识别拍摄对象或显示对象的需求正在提高。作为这样的需求的一例,可举出检测人、动物等的面部(对象物)的图像即面部图像(对象图像)并对检测到的面部图像进行调整使得焦点以及曝光成为最佳,或者识别字符(对象图像)并将识别到的字符的区域自动地作为OCR(光学字符识别)的对象的功能。
在这样的自动识别技术中,有时发生错误识别(误检测),或者发生识别的暂时性失败。针对这样的问题点,实施了各种措施。
例如,被错误识别的图像被检测或者未被检测。因此,在专利文献1中记载的编码处理装置中,即使在某个帧中检测到面部区域的情况下,当该帧之后的规定张数以上的连续的帧中未连续检测到该面部区域时,将在该帧中检测到的面部区域的检测历史判定为无效。
此外,识别暂时失败的图像多数情况下在此后连续识别成功。因此,在专利文献2中记载的划分线识别装置中,从路面的拍摄图像检测划分线的图像(对象图像),即使规定次数没有检测到该划分线的图像,当连续规定次数再检测到的情况下,确定该再检测。由此,能够更确切地再检测暂时未检测到的划分线。
现有技术文献
专利文献1:(日本)特开2009-005239号公报(2009年1月8日公开)
专利文献2:(日本)特开2013-003634号公报(2013年1月7日公开)
对于误检测到的对象图像,如上所述那样,有时被检测有时又未被检测,因此检测信息有时被输出有时不被输出。因此,例如,当在检测到的对象图像的区域显示用于表示检测到该对象图像的检测框(检测标记)的情况下,该检测框有时被显示有时不被显示,从而视觉效果较差。
发明内容
本发明鉴于上述的问题点而完成,其目的在于,提供能够防止误检测到的对象图像的检测结果被输出的对象图像检测设备等。
本发明的对象图像检测设备是从拍摄图像检测作为该拍摄图像的一部分且作为对象物的图像的对象图像的对象图像检测设备,其特征在于,所述对象图像检测设备具有:存储部,存储信息;取得部件,依次取得构成活动图像的多个所述拍摄图像;检测部件,若该取得部件取得所述拍摄图像,则检测在所取得的拍摄图像中包含的对象图像,生成检测结果,从而将其作为检测历史而积累于所述存储部;以及判定部件,参照所述存储部的检测历史,判定对象物相同的对象图像的检测结果是否包含在最近的规定数的检测结果中,包含的情况下,输出该检测结果,另一方面,当不包含的情况下,不输出该检测结果。
此外,本发明的对象图像检测设备的控制方法是从拍摄图像检测作为该拍摄图像的一部分且作为对象物的图像的对象图像的独享图像检测设备的控制方法,所述对象图像检测设备的控制方法包含:取得步骤,依次取得构成活动图像的多个所述拍摄图像;检测步骤,检测在该取得步骤中取得的拍摄图像中包含的对象图像,生成检测结果,从而将其作为检测历史而积累于存储部;以及判定步骤,参照所述存储部的检测历史,判定对象物相同的对象图像的检测结果是否包含在最近的规定数的检测结果中,当包含时输出该检测结果,另一方面,当不包含时不输出该检测结果。
根据上述结构以及方法,依次取得构成活动图像的多个拍摄图像,检测所取得的拍摄图像中包含的对象图像,检测结果作为检测历史而被积累于存储部。一般来说,误检测的对象图像有时从所述拍摄图像被检测有时不被检测。因此,在本发明中,判定对象物相同的对象图像的检测结果是否包含在最近的规定数的检测结果中,当包含时作为适当的检测而输出该检测结果,另一方面,当不包含时不输出该检测结果。由此,能够防止输出误检测的对象图像的检测结果。
另外,上述规定数是1以上的整数。此外,对象图像的对象物是否相同的判定基于位置、大小、相似度等信息中的至少一个而进行。
在本发明的对象图像检测设备中,所述判定部件也可以判定对象物与所述检测部件检测到的对象图像相同的对象图像是否包含在最近的规定数的检测结果中。此时,输出连续检测到的对象图像的检测结果,不输出其他的检测结果,因此能够可靠地防止输出误检测的对象图像的检测结果。
然而,即便是应检测的对象图像,也不一定始终被连续检测,存在临时不能被检测的情况。此时,检测框等的检测标记暂时消失,从而发生视觉效果差等问题。
因此,在本发明的对象图像检测设备中,所述判定部件也可以判定在最近的规定期间中至少规定数的检测结果中是否包含对象物相同的对象图像的检测结果。此时,即使临时不能检测对象图像,若在最近的规定期间中至少检测到规定数的对象图像,则会输出该对象图像的检测结果。其结果,能够消除暂时不能检测的问题。
在本发明的对象图像检测设备中,优选所述检测部件将用于识别检测到的对象图像的识别信息与所述检测结果相关联后积累于所述存储部,当本次检测到的对象图像与过去检测到的对象图像的对象物相同时,将与该过去检测到的对象图像的识别信息相同的识别信息与本次检测到的对象图像的检测结果相关联而积累于所述存储部,所述判定部件利用所述对象图像的识别信息而进行所述判定。此时,判定部件从所述存储部的历史信息,能够仅利用所述对象图像的识别信息而进行所述判定,因此能够进行迅速的处理以及动作。
另外,如果是具有拍摄部,进行被摄体的拍摄,从而生成用于构成活动图像的多个拍摄图像;以及显示部,显示信息,且具有:从所述拍摄图像检测作为该拍摄图像的一部分且作为对象物的图像的对象图像的、权利要求1至4的任一项所述的对象图像检测设备;以及基于来自所述对象图像检测设备的检测结果,将用于表示检测到所述对象图像的检测标记合成于该拍摄图像,并使所述显示部显示所合成的图像的合成部件的数字照相机,则起到与上述相同的效果。另外,作为检测标记,能够利用用于表示检测到的对象图像的区域的检测框等任意的标记。
本发明的各方式的对象图像检测设备可以通过计算机来实现。此时,通过使计算机作为上述对象图像检测设备具有的各部件而工作从而使计算机实现上述对象图像检测设备的对象图像检测设备的控制程序、以及记录了该控制程序的计算机可读取的记录介质也包含于本发明的范畴。
如以上所述,本发明的对象图像检测设备判定对象物相同的对象图像的检测结果是否包含在最近的规定数的检测结果中,当包含时作为适当的检测而输出该检测结果,另一方面,当不包含时不输出该检测结果,因此起到能够防止输出误检测的对象图像的检测结果。
附图说明
图1是表示本发明的一实施方式的数字照相机的概略结构的模块图。
图2是表示上述数字照相机的显示部中显示的显示图像的转变的一例的图。
图3是表示上述数字照相机中的控制部进行的处理的流程的流程图。
图4是表示上述控制部中的面部检测部进行的面部检测处理的流程的流程图。
图5是针对上述数字照相机中的适当检测判定部的一例,通过表格形式表示各帧的输入数据以及输出数据的图。
图6是针对上述适当检测判定部的其他例,通过表格形式表示各帧的输入数据以及输出数据的图。
图7是针对上述适当检测判定部的又一其他例,通过表格形式表示各帧的输入数据以及输出数据的图。
图8是针对上述适当检测判定部的又一其他例,通过表格形式表示各帧的输入数据以及输出数据的图。
图9是针对上述适当检测判定部的另一例,通过表格形式表示各帧的输入数据以及输出数据的图。
图10是表示在以往的数字照相机的显示部中显示的显示图像的转变的一例的图。
标号说明
10数字照相机
11拍摄部
12图像处理部
13显示部
14操作部
15图像压缩部
16图像记录部
17图像合成部(合成部件)
20控制部(对象图像检测设备)
21存储部
30图像取得部(取得部件)
31面部检测部(检测部件)
32适当检测判定部(判定部件)
33检测框生成部(合成部件)
40检测历史存储部
41阈值存储部
具体实施方式
[实施方式1]
(数字照相机的概要)
参照图1~图4说明本发明的一实施方式。另外,以下,“相同面部图像”彼此表示作为对象物的面部相同的面部图像(对象图像)彼此。
图1是表示本实施方式的数字照相机的概略结构的模块图。如图所示,数字照相机10通过拍摄部11中的拍摄,依次生成用于构成活动图像的多个拍摄图像,并通过图像处理部12依次进行图像处理,从而在显示部13中依次作为即时图像而依次显示。此外,数字照相机10若被用户按下操作部14的快门按钮(未图示),则被图像处理部12图像处理后的拍摄图像被图像压缩部15图像压缩后,记录于图像记录部16中。
(数字照相机的细节)
接着,说明本实施方式的数字照相机10的细节。如上所述,数字照相机10具有拍摄部11、图像处理部12、显示部13、操作部14、图像压缩部15、图像记录部16、以及图像合成部(合成部件)17。此外,如图1所示,数字照相机10具有控制部(对象图像检测设备)20以及记录部21。
拍摄部11进行被摄体的拍摄,具有例如透镜组、光圈、拍摄元件等光学系统、放大器、A/D变换器等电路系统。作为拍摄元件的一例,可举出CCD、CMOS(互补金属氧化物半导体:Complementary Metal-oxide Semiconductor)图像传感器等。拍摄部11通过上述拍摄生成拍摄图像,并变换为拍摄图像的数据而发送给图像处理部12。
图像处理部12对来自拍摄部11的拍摄图像的数据,进行矩阵预算、γ校正、白平衡的调整等图像处理。此外,图像处理部12根据被图像处理后的拍摄图像的数据中,生成显示用、记录用、以及面部检测用的拍摄图像的数据,并将其分别发送给显示部13、图像压缩部15、以及控制部20。另外,显示用和面部检测用的拍摄图像的数据也可以是相同的。
图像合成部17对来自图像处理部12的拍摄图像,合成来自控制部20的图像(例如,OSD(On-Screen Display)用图像)。图像合成部17将作为合成后的图像的合成图像的数据发送给显示部13。
显示部13由LCD(液晶显示元件)、有机EL(场致发光)显示器、等离子显示器等显示设备构成。显示部13基于来自图像合成部17的合成图像的数据,显示输出字符、图像等各种信息。
操作部14通过用户的操作,从用户接受各种输入,其由输入用按钮、触摸面板、其他输入设备构成。操作部14将用户操作的信息变换为操作数据后发送给控制部20。另外,作为输入设备的其他例子,可举出键盘、数字键、鼠标等指示设备。
图像压缩部15按照JPEG(Joint Photographic Experts Group)、MPEG(MovingPicture Expert Group)等方式,压缩来自图像处理部12的拍摄图像的数据。图像压缩部15将压缩后的拍摄图像的数据记录于图像记录部16。
图像记录部16记录信息,尤其记录由图像压缩部15压缩后的拍摄图像的数据。图像记录部16由闪速存储器、硬盘等非易失性的存储装置构成。
控制部20整体控制数字照相机10内的各种结构的动作。控制部20例如由包含CPU(中央处理单元)以及存储器的计算机构成,通过使该计算机执行控制程序,进行各种结构的动作控制。另外,针对控制部20的细节将在后面叙述。
存储部21由闪速存储器、ROM(只读存储器)等非易失性存储装置、以及RAM(随机存取存储器)等易失性存储装置构成。作为在非易失性存储装置中存储的内容,可举出上述的控制程序、OS(操作系统)程序、其他各种程序、各种动作设定值等。另一方面,作为在易失性的存储装置中存储的内容,可举出作业用文件、临时文件等。另外,针对存储部21的细节,将在后面叙述。
在本实施方式中,控制部20取得被图像处理部12处理后的拍摄图像,并检测在取得的拍摄图像中包含的面部图像,生成用于表示检测到的面部图像的区域的检测框(检测标记)的图像,从而将其发送给图像合成部17。由此,对来自图像处理部12的拍摄图像,通过图像合成部17合成来自控制部20的检测框的图像,并经由显示部13显示输出合成后的合成图像。
此外,在本实施方式中,控制部20判定与本次检测到的面部图像相同的面部图像在最近的规定数(例如2)的拍摄图像中是否包含该规定数,即是否(规定数+1)次连续包含本次的拍摄图像。控制部20在判定为连续包含的情况下,该面部图像作为适当检测到的面部图像而非误检测到的面部图像,生成上述检测框的图像。另一方面,在判定为并没有连续包含的情况下,该面部图像作为有可能被误检测,省略上述检测框的图像的生成。从而,在本实施方式中,即便在拍摄图像中检测到面部图像,也不会立即显示检测框,在连续监测到(规定数+1)次以上的情况下,显示检测框。
图2是表示通过本实施方式的数字照相机10依次显示的合成图像的一例的图。另一方面,图10是作为比较例而表示由以往的数字照相机依次显示的合成图像的一例的图。在图2以及图10的例子中,设狗的面部图像在第1~第6帧中全部在拍摄图像中被检测,在图10中,熊玩偶的面部图像在第2、第6帧的拍摄图像中被误检测。
以往的数字照相机若从拍摄图像检测面部图像,则对该拍摄图像,在检测到的面部图像的区域合成检测框的图像而显示。从而,如图10(a)~(f)所示,关于狗的面部图像的检测框fd,在第1~第6帧所有中被显示。另一方面,关于熊玩偶的面部图像的检测框fb,仅在第2、第6帧中被显示,因此检测框闪烁,视觉效果变差,显示质量降低。
相对于此,在本实施方式的数字照相机10中,如图2(a)~(f)所示,关于狗的面部图像,在第1帧中,仅检测一次,因此不显示检测框fd,在第2帧中,仅连续检测到两次,因此不显示检测框fd。此外,在第3帧以后,连续检测到3次以上,因此显示检测框fd。这样,在本实施方式中,即使是适当的检测,在检测当时的规定数的帧中不显示检测框fd,但一个帧的期间是1/30秒,对用户来说是非常短时间,因此不成问题。
另一方面,针对熊玩偶的面部图像,在第1、第3、第4、第5帧中未检测,因此不显示检测框fb,在第2、第6帧中,仅检测到一次,因此不显示检测框fb。即,不存在连续检测到三次以上的帧,因此不显示检测框fb。从而,能够防止误检测引起的检测框的闪烁,能够防止显示质量降低。
(控制部以及存储部的细节)
接着,参照图1说明控制部20以及存储部21的细节。在图1中,在控制部20以及存储部21中,表示与面部图像的检测有关的结构。如图1所示,控制部20是具有图像取得部(取得部件)30、面部检测部(检测部件)31、适当检测判定部(判定部件)32、以及检测框生成部(合成部件)33的结构。此外,存储部21是包含检测历史存储部40、以及阈值存储部41的结构。
检测历史存储部40将上述面部检测的检测结果作为检测历史而累积。上述检测结果包含检测到的面部图像的ID(识认信息)(以下,称为“面部ID”)、特征信息、尺寸、以及位置信息。此外,上述检测结果也可以包含检测到的面部图像的检测日期时间、其他信息。阈值存储部41存储用于判定是否为适当的检测的阈值。
图像取得部30从图像处理部12取得拍摄图像的数据。图像取得部30若取得上述拍摄图像的数据,则将所取得的上述拍摄图像的数据送出给面部检测部31。
面部检测部31具有针对由时序顺序的多个拍摄图像构成的活动图像,从上述拍摄图像检测面部图像的面部检测功能、以及从连续的拍摄图像检测所检测到的面部图像从而跟踪上述面部图像的面部跟踪功能。另外,对面部图像的检测利用模板匹配、或者检测肤色区域、或者检测面部的轮廓、或者检测面部的特征点等公知的面部检测技术。
具体来说,面部检测部31若从图像取得部30接受拍摄图像的数据,则从该拍摄图像检测面部图像。面部检测部31将检测到的面部图像的检测结果作为检测历史而积累于检测历史存储部40,并从该检测结果,将面部ID送出给适当检测判定部32。
此外,面部检测部31参照检测历史存储部40的检测历史,判定与最近检测到的面部图像相同的面部图像是否存在于本次检测到的面部图像(面部跟踪)。面部检测部31对相同面部图像赋予相同面部ID。另外,面部检测部31进行的面部检测以及面部跟踪的具体的处理与以往相同,因此省略其说明。
适当检测判定部32判定面部检测部31中的面部图像的检测是否适当。具体来说,适当检测判定部32参照检测历史存储部40,判断从面部检测部31接受到的面部ID是否包含在最近的规定数(例如2)的帧的检测历史中。另一方面,当不包含时,设为不是适当的检测,省略对该面部ID的检测框生成部33送出。另外,在不存在应送出的面部ID的情况下,适当检测判定部32可以对检测框生成部33不送出任何信息,也可以通知未检测(未检测)到面部图像的意思。
检测框生成部33生成用于表示检测到面部图像的检测框的图像。具体来说,检测框生成部33若从适当检测判定部32取得面部ID,则从检测历史存储部40的检测例示检索与所取得的面部ID对应的尺寸以及位置信息。接着,检测框生成部33根据检索到的尺寸以及位置信息,生成检测框的图像,并将所生成的检测框的图像的数据发送给图像合成部17。由此,图像合成部17对来自图像处理部12的拍摄图像,合成来自检测框生成部33的检测框,并将合成后的图像经由显示部13显示输出。
(控制部的处理动作)
接着,说明上述结构的控制部20中的处理动作。图3是表示控制部20进行的处理的流程的流程图。如图所示,若图像取得部30取得通过拍摄部11拍摄的活动图像中的一拍摄图像,则面部检测部31从取得的拍摄图像检测面部图像,并将该检测结果作为检测历史而积累于历史存储部40(S10)。接着,适当检测判定部32将面部检测部31检测到的面部图像中、包含与最近的规定数的拍摄图像中也包含相同面部图像的面部图像作为适当检测到的面部图像而提取(S11)。
然后,检测框生成部33参照检测历史存储部40的检测历史,生成与由适当检测判定部32提取的面部图像有关的检测框的图像,并将其发送给图像合成部17(S12)。由此,被图像处理部12图像处理后的拍摄图像被图像合成部17与检测框的图像合成,从而在显示部13被显示。此后,结束控制部20的处理。
接着,说明控制部20中的面部检测部31以及适当检测判定部32的处理动作。图4是表示面部检测部31进行的面部检测处理的流程的流程图。另外,该面部检测处理对检测到的每个面部图像执行。
如图4所示,面部检测部31若从拍摄图像检测到面部图像,则参照检测历史存储部40的检测历史,判断与本次检测到的面部图像相同的面部图像是否存在于最近检测到的面部图像中(S20)。当存在时,对本次检测到的面部图像赋予对应的面部图像的面部ID(S21),当不存在时,对本次检测到的面部图像赋予新的面部ID(S22)。接着,对本次检测到的面部图像的检测结果相关联所赋予的面部ID,从而作为检测历史而积累于检测历史存储部40(S23)。此后,结束面部检测处理。
[实施例1]
接着,参照图5说明适当检测判定部32中的动作的一例。图5是按照每帧以表格形式表示在适当检测判定部32中输入输出的数据的一例的图。图5的例示对应于图2的例子。
另外,在图示的例子中,面部检测部31对在第1帧检测且此后跟踪的狗的面部图像,赋予ID1作为面部ID。此外,面部检测部31针对熊玩偶的面部图像,在第2帧检测到时赋予ID2作为面部ID,由于在第3~第5帧未能检测到因此不能跟踪,因此,在第6帧中检测到时,赋予不同于ID2的其他ID3作为面部ID。
在图5的例子中,由于在第1帧中被输入ID1但不存在最近的两个帧,因此适当检测判定部32设为未检测而什么都不输出。在第2帧中,被输入ID1、ID2,但由于不存在最近的两个帧,因此设为未检测而什么都不输出。在第3~第5帧中,被输入ID1,在最近的两个帧中也被输入ID1,因此输出ID1。在第6帧中,被输入ID1、ID3,ID1在最近的两个帧中也被输入,因此输出,另一方面,ID3在最近的两个帧中未被输入,因此不输出。
[实施例2]
接着,参照图6说明适当检测判定部32中的动作的其他例。图6是按照每个帧以表格形式表示在适当检测判定部32中被输入输出的数据的一例的图。在图示的例子中,适当检测判定部32在最近的一个帧中也检测到本次检测到的面部图像时,即连续两个镇被检测时,设为适当被检测的面部图像。
在图6的例子中,适当检测判定部32在第1帧被输入ID1,但由于不存在最近的一个帧,因此作为未检测而不输出任何信息。在第2、4、6、8、10、12帧中,作为未检测而不被输入任何信息,因此作为检测而不输出任何信息。在第3、5、7、9、11、13帧中,分别被输入新的ID2~ID7,但在最近的一个帧中未被输入,因此不输出,其结果,作为未检测而不输出任何信息。在第14、第15帧中,被输入ID7,在最近的一个帧中也被输入ID7,因此输出ID7。
从而,在本实施例中,在第1、3、5、7、9、11、13~15帧中,面部检测部31检测面部图像,但检测框生成部33仅在两个帧连续检测到相同面部图像(ID7)的第14、15帧中生成检测框。由此,检测框在第1~13帧中不显示,在第14、第15帧中显示。其结果,在第1~12帧中能够防止检测框闪烁显示,并能够防止显示质量降低。
[实施方式2]
接着,说明本发明的其他实施方式。本实施方式的数字照相机10与图1所示的数字照相机10相比,只有适当检测判定部32中的判定处理不同,其他的结构相同。另外,对与在上述实施方式中说明的结构以及处理动作相同的结构以及处理动作赋予相同的标号,从而省略其说明。
在本实施方式中,适当检测判定部32参照检测历史存储部40,判定从面部检测部31获得的面部ID在最近的规定数(例如4)的帧中是否至少包含规定数(例如2)的帧的检测历史。当包含的情况下,作为适当的检测,从而将该面部ID送出给检测框生成部33。另一方面,当不包含的情况下,作为不是适当的检测,省略该面部ID向监测框生成部33的送出。
[实施例3]
接着,参照图7说明本实施方式的适当检测判定部32中的动作的一例。图7是按照每个帧以表格形式表示在适当检测判定部32中被输入输出的数据的一例的图。在图示的例子中,适当检测判定部32在最近的四个帧中至少两个帧中检测到本次检测到的面部图像的情况下,作为适当检测到的面部图像。
在图7的例子中,由于在第1、2帧中不存在最近的两个帧,因此适当检测判定部32作为未检测而不输出任何信息。在第3、4帧中,由于在最近的帧中只有一个帧被输入ID1,因此不输出,其结果,作为未检测而不输出任何信息。在第5~7帧中,由于在最近的四个帧中两个帧被输入ID1,因此输出ID1。
从而,在本实施例中,在第5帧中面部检测部31没有检测到面部图像,但在最近的四个帧中在两个帧中检测到相同的面部图像(ID1),因此检测框生成部33生成检测框。由此,能够防止由于面部图像的检测暂时失败而延迟显示检测框。
[实施例4]
接着,参照图8说明本实施方式中的适当检测判定部32中的动作的其他例。图8是按照每个帧以表格形式表示在适当检测判定部32中被输入输出的数据的一例的图。在图示的例子中,在本次检测到的面部图像在最近的五个帧中的至少三个帧中被检测的情况下,适当检测判定部32将其作为适当被检测的面部图像。
在图8的例子中,在第1、2帧中,由于不存在最近的三个帧,因此适当检测判定部32作为未检测而不输出任何信息。在第三帧中,由于只有最近的三个帧,但由于ID1被输入三个帧,因此输出ID1。如此,无需调整最近的五个帧全部的检测历史。
另外,在上述实施方式中,适当检测判定部32参照最近的多个帧的检测历史,但也可以参照最近的十几个帧的检测历史。
[实施方式3]
接着,说明本发明的其他实施方式。本实施方式的数字照相机10与图1所示的数字照相机1相比,只有适当检测判定部32中的判定处理不同,其他结构相同。另外,对与上述实施方式中说明过的结构以及处理动作相同的结构以及处理动作,赋予相同的标号,从而省略其说明。
在本实施方式中,适当检测判定部32参照检测历史存储部40,判断从面部检测部31接受到的面部ID是否包含于最近的规定期间(例如2秒)的检测历史中。当包含的情况下,作为适当的检测而将该面部ID向检测框生成部33送出。另一方面,当不包含的情况下,作为不是适当的检测,省略该面部ID向检测框生成部33的送出。
[实施例5]
接着,参照图9说明本实施方式中的适当检测判定部32中的动作的一例。图9是每0.2秒以表格形式表示在适当检测判定部32中被输入输出的数据的一例的图。在图示的例子中,当本次检测到的面部图像在最近的两秒间被连续检测到的情况下,适当检测判定部32将其设为被适当检测的面部图像。
在图9的例子中,虽然连续被输入ID1,但开始起2秒间不输出,其结果,作为未检测而不输入任何信息。然后,开始起2.2秒后,由于在最近的2秒间被输入,因此输出ID。
如此,适当检测判定部32能够代替帧单位而以时间单位进行判定。
[软件的实现例]
数字照相机10的控制模块(尤其是控制部20)可以通过由集成电路(IC芯片)等形成的逻辑电路(硬件)来实现,也可以利用CPU(中央处理单元)而通过软件来实现。
后者的情况下,数字照相机10具有执行作为用于实现各功能的软件的程序的命令的CPU、计算机(或CPU)可读取地记录了上述程序以及各种数据的ROM(只读存储器)或存储装置(将其称为“记录介质”)、展开上述程序的RAM(随机存取存储器)等。此外,通过计算机(或者CPU)从上述记录介质读取上述程序而执行,达成本发明的目的。作为上述记录介质,能够利用“非暂时的有形的介质”、例如磁带、磁盘、卡、半导体存储器、可编程的逻辑电路等。此外,上述程序也可以经由可传输该程序的任意的传输介质(通信网络或广播电波等)而向上述计算机提供。另外,本发明也可以以通过电子传输而将上述程序具体化的、载入于载波的数据信号的方式实现。
本发明并不限定于上述各实施方式,在权利要求书表示的范围内可进行各种变更,关于将在不同实施方式中分别公开的技术手段进行适当组合而获得的实施方式,也包含在本发明的技术范围中。
例如,在上述实施方式中,从拍摄图像中检测人、动物等的面部图像而进行识别,但也可以检测人、动物等全身的图像,也可以检测球、车辆或其他物体的图像。即,本发明可适用于所取得的拍摄图像中包含的任意的对象图像的检测。
此外,在上述实施方式中,将本发明应用于数字照相机10,但也可以在移动电话机、智能手机、PDA(个人数字助理)等具有拍摄部的任意的电子器械中应用本发明。
如以上所述,本发明的对象图像检测设备判定对象物相同的对象图像的检测结果是否包含在最近的规定数的检测结果中,当包含的情况下,作为适当的检测而输出该检测结果,另一方面,当不包含的情况下,不输出该检测结果,从而能够防止输出误检测的对象图像的检测结果,因此不仅能够应用于面部检测,还能够应用于球检测、车辆检测等从拍摄图像检测对象图像的任意的设备。

Claims (5)

1.一种对象图像检测设备,从拍摄图像检测作为该拍摄图像的一部分且作为对象物的图像的对象图像,其特征在于,所述对象图像检测设备具有:
存储部,存储信息;
取得部件,依次取得构成活动图像的多个所述拍摄图像;
检测部件,若该取得部件取得所述拍摄图像,则检测在所取得的拍摄图像中包含的对象图像,生成检测结果,从而将其作为检测历史而积累于所述存储部;以及
判定部件,参照所述存储部的检测历史,判定对象物相同的对象图像的检出结果是否包含在最近的规定数的检测结果中,包含的情况下,输出该检出结果,而在不包含的情况下,不输出该检出结果,
所述检测部件将用于识别所检测到的对象图像的识别信息与所述检测结果相关联而积累于所述存储部,
当本次检测到的对象图像与过去检测到的对象图像之间对象物相同时,将与该过去检测到的对象图像的识别信息相同的识别信息与本次检测到的对象图像的检测结果相关联而积累于所述存储部,
所述判定部件利用所述对象图像的识别信息进行所述判定。
2.如权利要求1所述的对象图像检测设备,其特征在于,
所述判定部件判定在最近的规定期间中的至少规定数的检测结果中是否包含对象物相同的对象图像的检出结果。
3.一种数字照相机,具有拍摄部,进行被摄体的拍摄,从而生成用于构成活动图像的多个拍摄图像;以及显示部,显示信息,其特征在于,所述数字照相机具有:
从所述拍摄图像检测作为该拍摄图像的一部分且作为对象物的图像的对象图像的权利要求1或2所述的对象图像检测设备;以及
基于来自所述对象图像检测设备的检测结果,将用于表示检测到所述对象图像的检测标记合成于该拍摄图像,并使所述显示部显示所合成的图像的合成部件。
4.一种对象图像检测设备的控制方法,所述对象图像检测设备从拍摄图像检测作为该拍摄图像的一部分且作为对象物的图像的对象图像,其特征在于,所述对象图像检测设备的控制方法包含:
取得步骤,依次取得构成活动图像的多个所述拍摄图像;
检测步骤,检测在该取得步骤中取得的拍摄图像中包含的对象图像,生成检测结果,从而将其作为检测历史而积累于存储部;以及
判定步骤,参照所述存储部的检测历史,判定对象物相同的对象图像的检出结果是否包含在最近的规定数的检测结果中,当包含时输出该检出结果,而在不包含时不输出该检出结果,
在所述检测步骤中,将用于识别所检测到的对象图像的识别信息与所述检测结果相关联而积累于所述存储部,
当本次检测到的对象图像与过去检测到的对象图像之间对象物相同时,将与该过去检测到的对象图像的识别信息相同的识别信息与本次检测到的对象图像的检测结果相关联而积累于所述存储部,
在所述判定步骤中,利用所述对象图像的识别信息进行所述判定。
5.一种计算机可读取的记录介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现以下步骤:
取得步骤,依次取得构成活动图像的多个拍摄图像;
检测步骤,检测在该取得步骤中取得的拍摄图像中包含的对象图像,生成检测结果,从而将其作为检测历史而积累于存储部;以及
判定步骤,参照所述存储部的检测历史,判定对象物相同的对象图像的检出结果是否包含在最近的规定数的检测结果中,当包含时输出该检出结果,而在不包含时不输出该检出结果,
在所述检测步骤中,将用于识别所检测到的对象图像的识别信息与所述检测结果相关联而积累于所述存储部,
当本次检测到的对象图像与过去检测到的对象图像之间对象物相同时,将与该过去检测到的对象图像的识别信息相同的识别信息与本次检测到的对象图像的检测结果相关联而积累于所述存储部,
在所述判定步骤中,利用所述对象图像的识别信息进行所述判定。
CN201410078994.9A 2013-04-15 2014-03-05 对象图像检测设备及其控制方法以及控制程序、记录介质 Active CN104104860B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013085298A JP6136504B2 (ja) 2013-04-15 2013-04-15 対象画像検出デバイス、その制御方法および制御プログラム、記録媒体、並びにデジタルカメラ
JP2013-085298 2013-04-15

Publications (2)

Publication Number Publication Date
CN104104860A CN104104860A (zh) 2014-10-15
CN104104860B true CN104104860B (zh) 2017-11-10

Family

ID=50112739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410078994.9A Active CN104104860B (zh) 2013-04-15 2014-03-05 对象图像检测设备及其控制方法以及控制程序、记录介质

Country Status (4)

Country Link
US (1) US9430710B2 (zh)
EP (1) EP2793166A3 (zh)
JP (1) JP6136504B2 (zh)
CN (1) CN104104860B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10373381B2 (en) * 2016-03-30 2019-08-06 Microsoft Technology Licensing, Llc Virtual object manipulation within physical environment
JP6924413B2 (ja) * 2017-12-25 2021-08-25 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
JP7423325B2 (ja) * 2020-01-29 2024-01-29 キヤノン株式会社 表示制御装置およびその制御方法
CN111798698B (zh) * 2020-06-24 2022-04-08 中国第一汽车股份有限公司 一种前方目标车辆的确定方法、装置及车辆

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1812492A (zh) * 2004-03-31 2006-08-02 富士胶片株式会社 数字相机、图像回放装置、面部图像显示装置及其控制方法
JP2009005239A (ja) * 2007-06-25 2009-01-08 Sony Computer Entertainment Inc 符号化処理装置および符号化処理方法
CN102542251A (zh) * 2010-11-22 2012-07-04 卡西欧计算机株式会社 被摄体检测装置以及被摄体检测方法
JP2013003634A (ja) * 2011-06-13 2013-01-07 Toyota Motor Corp 区画線認識装置、区画線認識方法、プログラム及び媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4350725B2 (ja) * 2005-08-05 2009-10-21 キヤノン株式会社 画像処理方法、画像処理装置、及び、画像処理方法をコンピュータに実行させるためのプログラム
JP5156196B2 (ja) * 2006-03-31 2013-03-06 イーストマン コダック カンパニー 撮像装置
JP2010049148A (ja) * 2008-08-25 2010-03-04 Nikon Corp 画像認識装置及び撮像装置
JP5127692B2 (ja) * 2008-12-25 2013-01-23 キヤノン株式会社 撮像装置及びその追尾方法
JP5317710B2 (ja) * 2009-01-07 2013-10-16 キヤノン株式会社 画像処理装置、その制御方法、プログラム及び記録媒体
JP5272775B2 (ja) * 2009-02-12 2013-08-28 株式会社ニコン 電子スチルカメラ
JP5398341B2 (ja) * 2009-05-11 2014-01-29 キヤノン株式会社 物体認識装置及び物体認識方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1812492A (zh) * 2004-03-31 2006-08-02 富士胶片株式会社 数字相机、图像回放装置、面部图像显示装置及其控制方法
JP2009005239A (ja) * 2007-06-25 2009-01-08 Sony Computer Entertainment Inc 符号化処理装置および符号化処理方法
CN102542251A (zh) * 2010-11-22 2012-07-04 卡西欧计算机株式会社 被摄体检测装置以及被摄体检测方法
JP2013003634A (ja) * 2011-06-13 2013-01-07 Toyota Motor Corp 区画線認識装置、区画線認識方法、プログラム及び媒体

Also Published As

Publication number Publication date
CN104104860A (zh) 2014-10-15
US20140307918A1 (en) 2014-10-16
US9430710B2 (en) 2016-08-30
EP2793166A2 (en) 2014-10-22
EP2793166A3 (en) 2017-01-11
JP2014207622A (ja) 2014-10-30
JP6136504B2 (ja) 2017-05-31

Similar Documents

Publication Publication Date Title
US11074436B1 (en) Method and apparatus for face recognition
EP2357589B1 (en) Image recognition apparatus and method
WO2019071664A1 (zh) 结合深度信息的人脸识别方法、装置及存储介质
JP5450089B2 (ja) 対象検出装置および対象検出方法
CN104104860B (zh) 对象图像检测设备及其控制方法以及控制程序、记录介质
US20130177293A1 (en) Method and apparatus for the assignment of roles for image capturing devices
US9087255B2 (en) Image processor, image processing method and program, and recording medium
US20150213306A1 (en) Apparatus, method and system for automatically detecting questionable persons
KR20210084449A (ko) 목표 대상 인식 시스템, 방법, 장치, 전자 디바이스 및 기록 매체
Wong et al. Invisible geo-location signature in a single image
US20150379333A1 (en) Three-Dimensional Motion Analysis System
CN103999448A (zh) 用于校正视频帧的旋转的方法和设备
JPWO2013157265A1 (ja) 画像処理システム、受信装置、画像送信装置、画像処理方法、受信側画像処理方法、及び、画像送信方法
JP2018036226A (ja) 画像処理プログラム、画像処理方法および画像処理装置
KR20160078964A (ko) 이미지 합성물 생성
CN111783639A (zh) 图像检测方法、装置、电子设备及可读存储介质
US20130286218A1 (en) Image recognition device that recognizes specific object area, method of controlling the device, and storage medium, as well as image pickup apparatus, and display device
JP2010081453A (ja) 付帯情報付加装置及び方法
CN113557546B (zh) 图像中关联对象的检测方法、装置、设备和存储介质
CN106650583A (zh) 人脸检测方法、装置及终端设备
JP2009123150A (ja) 対象物検出装置及び方法、対象物検出システム、プログラム
CN112766065A (zh) 一种移动端考生身份认证方法、装置、终端及存储介质
US10282633B2 (en) Cross-asset media analysis and processing
CN110800313B (zh) 信息处理设备和信息处理方法
JP2013247586A (ja) 位置関係判定プログラム、位置関係判定方法および位置関係判定装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant