CN113452899A - 图像处理装置、图像处理方法以及存储介质 - Google Patents
图像处理装置、图像处理方法以及存储介质 Download PDFInfo
- Publication number
- CN113452899A CN113452899A CN202110283453.XA CN202110283453A CN113452899A CN 113452899 A CN113452899 A CN 113452899A CN 202110283453 A CN202110283453 A CN 202110283453A CN 113452899 A CN113452899 A CN 113452899A
- Authority
- CN
- China
- Prior art keywords
- detection
- detection frame
- image
- frame
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 64
- 238000003672 processing method Methods 0.000 title abstract description 4
- 238000001514 detection method Methods 0.000 claims abstract description 320
- 238000000034 method Methods 0.000 claims description 28
- 208000029152 Small face Diseases 0.000 abstract description 7
- 238000003384 imaging method Methods 0.000 description 35
- 230000008569 process Effects 0.000 description 25
- 230000007717 exclusion Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
提供抑制处理负荷的增加的同时,检测较小的面部图像的图像处理装置、图像处理方法以及存储介质。图像处理装置具备:图像获取部,获取拍摄到的图像V;对象物检测部,根据图像V检测检测对象;检测框设定部,设定检测框,检测框是对象物检测部在图像V内检测所述检测对象的范围;和检测框判断部,每当对象物检测部结束遍及图像V整体的检测对象的检测作业时,判断是否将检测框缩小。对象物检测部在检测框设定部新设定了检测框的情况下,基于新设定的检测框对检测对象进行检测,检测框设定部在检测框判断部判断为将检测框缩小的情况下,设定比检测作业时的检测框小的检测框。
Description
对关联申请的相互参照
本申请主张在2020年3月25日申请的日本专利申请第2020-054105号的优先权以及利益。在本说明书中,将日本专利申请第2020-054105号的说明书、权利要求书、附图整体作为参照而引入。
技术领域
本发明涉及图像处理装置、图像处理方法以及存储介质。
背景技术
在数码相机等中使用的面部检测功能中,即使是具有高像素的拍摄元件的相机,也如日本特开2019-12426号公报那样,一般使用QVGA(Quarter Video Graphics Array(四分之一视频图形阵列),320×240像素)、VGA(Video Graphics Array(视频图形阵列),640×480像素)程度的低分辨率的图像来进行面部检测。
此外,即使是进行确定个人的面部认证等,也使用VGA程度的低分辨率的图像。像这样,通过使用低分辨率的图像来进行检测、识别,由此能够抑制处理速度的下降。
然而,在专利文献1所记载的发明中,由于使用低分辨率的图像,因而难以检测较小的面部图像。
发明内容
本发明是为了解决上述问题而完成的发明,其目的在于,在抑制处理负荷的增加的同时,检测较小的面部图像。
为了达成上述目的,本发明的图像处理装置具备:
图像获取部,获取拍摄到的图像;
对象物检测部,根据所述图像对检测对象进行检测;
检测框设定部,设定检测框,所述检测框是所述对象物检测部在所述图像内检测所述检测对象的范围;和
检测框判断部,每当所述对象物检测部结束遍及所述图像整体的所述检测对象的检测作业时,判断是否将所述检测框缩小,
所述对象物检测部在所述检测框设定部新设定了所述检测框的情况下,基于新设定的检测框来检测所述检测对象,
所述检测框设定部在所述检测框判断部判断为将所述检测框缩小的情况下,设定比所述检测作业时的检测框小的检测框。
根据本发明,能够在抑制处理负荷的增加的同时,检测较小的面部图像。
附图说明
图1是示出本发明的实施方式涉及的面部认证系统的图。
图2A是示出本发明的实施方式涉及的面部认证系统的拍摄装置与拍摄范围的位置关系的侧视图,图2B是面部认证系统的拍摄装置所拍摄到的图像的一个例子。
图3是示出本发明的实施方式涉及的面部认证系统的图像处理流程的概略的图。
图4是本发明的实施方式涉及的图像处理装置的框图。
图5是说明本发明的实施方式涉及的最小面部图像的图。
图6是说明本发明的实施方式涉及的检测框的图。
图7是说明面部图像感测的除外范围的图。
图8是本发明的实施方式涉及的对象物检测处理的流程图。
图9是随时间经过而说明执行对象物检测处理的状况的图。
图10是说明针对每个区域而设定执行对象物检测处理的频率的状态的图。
具体实施方式
以下参照附图对本发明的实施方式涉及的图像处理装置详细地进行说明。
本发明的实施方式涉及的图像处理装置例如为了在办公室、活动的安保等中使用,而生成用于由面部认证系统的面部认证装置进行面部认证的图像数据。另外,关于图像中拍摄到的人物的数量,只要面部图像不会变得过小就没有特别限制,但在以下的说明中,为了使说明容易,设为图像中拍摄到的人物为3人。
[面部认证系统的结构]
如图1所示,面部认证系统1具有图像处理装置10以及面部认证装置80。图像处理装置10对在面部认证系统1的拍摄范围L内存在的作为认证对象区域的人物100(101、102、103)的图像进行拍摄,进行后述的对象物检测处理,并将适于面部认证的图像数据发送到面部认证装置80。如图2A所示,人物101、102、103分别以距图像处理装置10的拍摄部40不同的距离移动或静止。人物101处于距拍摄部40最近处,人物102处于次近处,人物103处于最远处。此外,在本实施方式中,拍摄部40设置在建筑物的入口的天花板。因此,在拍摄部40拍摄到的图像中,如图2B所示,人物101拍摄得最大,人物102拍摄得次大,人物103拍摄得最小。将在图像V中以不同的大小拍摄到的人物101、102、103各自的面部图像认证为存储在存储部30的面部图像。因此,通过图像处理装置10,提供适于进行对象物检测处理等的面部认证的图像数据,以使得面部认证装置80能够进行从处于近处的人物101到处于最远处的人物103的面部认证。
将由面部认证系统1进行的图像处理的概略示于图3,并进行说明。拍摄装置所拍摄到的图像是12比特的拜耳图像,对该图像进行显影、灰阶校正,生成压缩至8比特的YUV图像。生成的图像的面部检测在图像处理装置10中进行,面部核对在面部认证装置80中进行。
(图像处理装置的结构)
如图4所示,图像处理装置10具备控制部20、存储部30、拍摄部40、通信部50、显示部60、输入部70。
控制部20利用CPU(Central Processing Unit,中央处理单元)等构成,通过执行存储在存储部30的程序等,来实现后述的各部(图像获取部21、对象物检测部22、检测框设定部23、检测框判断部24、判别部25、校正部26、图像加工部27、图像发送部28、操作部29)的功能。此外,控制部20具有时钟(未图示),能够进行当前日期时间的获取、经过时间的计时等。
存储部30利用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)等构成,ROM的一部分或全部利用电可擦写存储器(闪速存储器等)构成。存储部30功能性地具有对象物存储部31、检测框存储部32、除外范围存储部33和检测条件存储部34。在ROM中,预先存储有控制部20的CPU执行的程序以及在执行程序方面需要的数据。在RAM中,存储在程序执行中制作、变更的数据。
在本实施方式中,在对象物存储部31中存储根据拍摄部40所拍摄到的图像而检测出的作为对象物的面部图像。此外,在对象物存储部31中,存储有设定的检测框205(在后面叙述)中的作为能够检测的面部的尺寸的最小检测面部Fmin(参照图5)。另外,对于最小检测面部Fmin,设定了略大于能够检测的面部的尺寸的面部的尺寸。
在检测框存储部32中,存储检测框设定部23所设定的后述的检测框205。此外,存储用户任意地设定的用户设定检测框206。此外,预先存储有基准检测框200。由于利用基准检测框200对图像V进行分割,因而图像V的宽度以及高度优选成为基准检测框200的宽度以及高度的整数倍。基准检测框200具有第一次分割时的基准检测框2001、第二次的基准检测框2002、……、第n次的基准检测框200n。基准检测框2001的宽度以及高度与图像V的宽度以及高度相等。此外,基准检测框200的宽度以及高度为基准检测框2001>基准检测框2002>……>基准检测框200n-1>基准检测框200n=最小检测面部Fmin。另外,为了抑制处理负荷的增加,能够将基准检测框200n设定为大于最小检测面部Fmin的任意的尺寸,而不设为基准检测框200n=最小检测面部Fmin。此外,能够通过将基准检测框200n的n的值减小来抑制处理负荷的增加。另外,随着基准检测框200n(以及检测框205n)变小,趋近于原来的图像的分辨率。
在除外范围存储部33中,存储判别部25判别并设定的后述的除外范围210(参照图7)。此外,还存储用户任意地设定的用户设定除外范围211。例如,可以使在拍摄范围L内没有人通行的区域(设置有家具、设备等的区域等)为用户设定除外范围211。
在检测条件存储部34中存储检测条件Z。在检测条件Z中,存储针对每个拍摄区域将检测频率不同的检测条件Z1、不将给定照度以上或以下的范围设为检测对象的检测条件Z2等。
拍摄部40具有拍摄装置41、驱动装置42。
在本实施方式中,拍摄装置41具备CMOS(Complementary Metal OxideSemiconductor,互补金属氧化物半导体)相机。拍摄装置41以帧频30fps对拍摄范围L进行拍摄,并生成图像V。图像V是拜耳图像,以12比特的分辨率被输出。
驱动装置42根据后述的操作部29的指示,使拍摄装置41的位置移动,从而调整拍摄范围L。
通信部50具有通信装置51,通信装置51是用于与面部认证装置80、外部设备等通信的模块。通信装置51在与外部设备通信的情况下是包括天线的无线模块。例如,通信装置51是用于进行基于Bluetooth(蓝牙,注册商标)的近距离无线通信的无线模块。通过使用通信部50,图像处理装置10能够与面部认证装置80、外部设备进行图像数据等的交接。
显示部60具备包括液晶显示面板(LCD:Liquid Crystal Display,液晶显示器)的显示装置61。
作为显示装置61,能够采用薄膜晶体管(TFT:Thin Film Transistor)、液晶、有机EL等。在显示装置61显示图像V、后述的检测框205等。
输入部70是与显示部60接近地设置的或与显示部60一体地设置的电阻膜方式的触摸屏(输入装置71)。触摸屏也可以是红外线操作方式、投影型静电电容方式等,输入部也可以是键盘以及鼠标等,而不是触摸屏。用户能够通过经由输入部70的手动操作,使用显示部60来设定用户设定检测框206、用户设定除外范围211等。
接下来,对图像处理装置10的控制部20的功能性结构进行说明。控制部20实现图像获取部21、对象物检测部22、检测框设定部23、检测框判断部24、判别部25、校正部26、图像加工部27、图像发送部28、操作部29的功能,进行后述的对象物检测处理等。
图像获取部21以预先设定在图像处理装置10的或用户设定的曝光条件使拍摄部40对拍摄范围L进行拍摄,以约33msec获取拍摄为全像素的图像V。图像V的分辨率是QVGA。图像获取部21将获取到的图像V发送到对象物检测部22。
在本实施方式中,对象物检测部22从自图像获取部21发送的图像V之中,检测作为对象物的面部图像。使用由检测框设定部23设定的后述的检测框205,以约11msec从图像V之中检测面部图像。此外,在设定了用户设定检测框206的情况下,使用用户设定检测框206,从图像V之中检测面部图像。对象物检测部22判别是否使用检测框205从图像V中检测出面部图像。对象物检测部22将检测出的面部图像存储在对象物存储部31。
检测框设定部23读入存储在对象物存储部31的图像V中的面部图像,将读入的面部图像之中的最小的面部图像的宽度以及高度设定为在图6中示为斜线的阴影线的基准检测框200的框重复区域的宽度DFmin_w以及高度DFmin_h。检测框设定部23在预先设定的基准检测框200的宽度以及高度上加上框重复区域的宽度以及高度,从而在检测框存储部32设定检测框205(或用户设定检测框206)的宽度detect_w以及高度detect_h,并存储在检测框存储部32。在图像处理装置10获取到图像V之后,检测框设定部23从检测框存储部32读入检测框205,设置框重复区域,并利用检测框205对图像V进行分割。
检测框判断部24每当利用检测框205结束遍及图像V的整体的面部图像的检测作业时,判断是否将检测框205n缩小。检测框判断部24对在检测作业时检测出的面部之中最小的面部和最小检测面部Fmin进行比较,在最小的面部更大的情况下,判断为将检测框205缩小。在检测框判断部24判断为将检测框205缩小的情况下,检测框设定部23将最小的面部的宽度以及高度设定为基准检测框200n+1的框重复区域的宽度DFmin_w以及高度DFmin_h,从而设定检测框205n+1。在最小的面部与最小检测面部Fmin的大小相等的情况下,判断为不使检测框205缩小(检测框设定部23结束将检测框205缩小的作业)。
如图7所示,判别部25在检测框205或用户设定检测框206位于已经由对象物检测部22检测过的检测完毕的面部图像220内的情况下,将该检测框205或用户设定检测框206判别为除外范围210或用户设定除外范围211,并存储在除外范围存储部33。此外,判别部25对已被检测的面部图像的大小(宽度以及高度)和所设定的最小检测面部Fmin的大小(最小的面部检测宽度Fmin_w以及高度Fmin_h,参照图5)进行比较。
校正部26根据图像V中的各区域的面部图像检测频率的设定,进行面部图像检测频率的校正。校正方法在后面描述。
图像加工部27进行存储在对象物存储部31的面部图像的加工。在后述的对象物检测处理结束后,根据图像V中的坐标将存储在对象物存储部31的面部图像配置在面部认证装置80能够进行面部识别的图像MAP上。或者,将图像V上的坐标数据与面部图像关联。
图像发送部28将获取到的图像V、图像MAP等发送到面部认证装置80。
操作部29将用于使拍摄部40的拍摄范围L移动的指示发送到驱动装置42。
以上,对控制部20的功能的结构进行了说明。以下,以根据拍摄到的图像而获取到的面部图像是图2B的情况为例,对由图像处理装置10进行的对象物检测处理具体地进行说明。
小于人物102的面部图像且大于人物103的面部图像的最小检测面部Fmin(参照图5)被预先设定在对象物存储部31。在对象物检测部22一次性地对图像V整体进行检测的情况下,不能检测小于最小检测面部Fmin的面部图像。图像获取部21使拍摄部40对拍摄范围L进行拍摄,获取拍摄到的图像V。对象物检测部22从自图像获取部21发送的图像V整体之中检测人物101、102的面部图像。对象物检测部22将检测到的人物101、102的面部图像存储在对象物存储部31。另外,由于这一次人物103小于最小检测面部Fmin,因而不被检测出。
检测框设定部23读入存储在对象物存储部31的人物101、102的面部图像,将作为读入的图像内的最小的面部图像的人物102的面部图像的宽度以及高度设定为基准检测框200(图6的斜线阴影线范围)的框重复区域的宽度以及高度。检测框设定部23在基准检测框200的宽度以及高度上加上框重复区域的宽度以及高度,并在检测框存储部32作为检测框205(或用户设定检测框206)而进行存储。
如图6所示,对象物检测部22利用检测框205(或用户设定检测框206)使框重复区域的宽度以及高度重复,从而对图像V进行分割,之后,在分割出的各个区域进行面部图像的检测。在分割出的区域内,人物103的面部图像大于最小检测面部Fmin。对象物检测部22检测人物103的面部图像,并将检测出的人物103的面部图像存储在对象物存储部31。对象物检测部22在分割出的所有区域进行检测作业,并使遍及图像V的整体的检测作业结束。
检测框判断部24对在检测作业时检测出的面部之中最小的面部和最小检测面部Fmin进行比较。由于从分割出的区域中检测出的是人物103的面部图像,因而检测框判断部24对人物103的面部图像和最小检测面部Fmin进行比较,并判断为人物103的面部图像大于最小检测面部Fmin,判断为将检测框205缩小。检测框设定部23计算作为最小的面部图像的人物103的面部图像的宽度以及高度。检测框设定部23在基准检测框200的宽度以及高度上加上框重复区域的宽度以及高度,并作为检测框205(或用户设定检测框206)而存储在检测框存储部32。
对象物检测部22利用检测框205(或用户设定检测框206)使框重复区域的宽度以及高度重复,从而对图像V进行分割,之后,在分割出的各个区域中进行面部图像的检测。
之后,重复图像V的分割和面部图像的检测直到框重复区域的宽度以及高度变小到最小检测面部的宽度以及高度为止,并结束检测,生成图6所示的那样的图像V整体中的面部图像MAP。
(面部认证装置)
面部认证装置80例如是将使用主成分分析的固有面部设为面部识别的算法的装置。面部认证装置80使用从图像处理装置10发送的图像数据进行面部认证(二维面部认证)。
[由图像处理装置进行的处理]
接下来,使用流程图对由图像处理装置10进行的对象物检测处理进行说明。
(对象物检测处理)
参照图8,说明由图像处理装置10进行的对象物检测处理的流程。通过对象物检测处理,能够在降低对图像处理装置10的负荷的同时执行图像内的较小的面部的检测。由此,即使对于小于最小面部图像Fmin的面部图像的人物103,面部认证装置80也能够进行面部认证。
首先,在图像处理装置10设定最小面部图像Fmin(步骤S1)。用户能够从输入部70任意地进行设定。此外,还设定拍摄范围L。
接下来,设定第n=1次的对象物检测处理中使用的检测框2051。由于第1次是一次性地对图像V整体进行面部图像检测,因而检测框2051与图像V是相同尺寸。检测框设定部23设定与图像V相同尺寸的检测框2051,并存储在检测框存储部32(步骤S2)。
图像获取部21使拍摄部40对拍摄范围L进行拍摄,获取拍摄到的图像V,并将获取到的图像V发送到对象物检测部22(步骤S3)。
在图像处理装置10获取到图像V之后,检测框设定部23从检测框存储部32读入检测框2051,并利用检测框2051对图像V进行分割。第1次分割利用与图像V相同尺寸的检测框2051对图像V整体进行分割(步骤S4)。
判别部25判别是否有在上一次分割时位于被检测的面部图像内的检测框2051或用户设定检测框2061(步骤S5)。将在上一次分割中位于被检测出的面部图像内的检测框2051或用户设定检测框2061判别为除外范围210或用户设定除外范围211,并存储在除外范围存储部33。另外,本次是第1次分割,因而不存在在上一次分割中被检测出的面部图像(步骤S5;否),前进到步骤S7。对象物检测部22使用由检测框设定部23设定的检测框2051,从图像V之中检测面部图像(步骤S7)。之后,前进到步骤S8。
在第2次之后的分割中,有在上一次分割时被检测出的面部图像,在有位于该面部图像的内部的检测框205的情况下,将该检测框205判别为除外范围210或用户设定除外范围211,并存储在除外范围存储部33(步骤S5;是)。前进到步骤S6,对象物检测部22将除外范围210的检测框2051除外,并使用由检测框设定部23设定的检测框2051,从图像V之中检测面部图像。之后,前进到步骤S8。
在步骤S8中,对象物检测部22判别是否利用紧前的步骤S6或步骤S7的检测框2051检测出面部图像。
在未检测出面部图像的情况下(步骤S8;否),检测框判断部24判别最小检测面部是否被设定为框重复区域的宽度以及高度(步骤S9)。在最小检测面部未被设定为框重复区域的宽度以及高度的情况下(步骤S9;否),设为n=n+1=2,检测框设定部23将最小检测面部Fmin作为框重复区域的宽度以及高度而与基准检测框2002相加,设定小于检测框2052的检测框2052(步骤S10)。之后,返回步骤S4,针对图像V进行第2次分割。在最小检测面部已被设定为框重复区域的宽度以及高度的情况下(步骤S9;是),向步骤S15前进。
在对象物检测部22利用紧前的步骤S6或步骤S7的检测框2051检测出面部图像的情况下(步骤S8;是),向步骤S11前进。
在步骤S11中,对象物检测部22将检测出的面部图像存储在对象物存储部31,向步骤S12前进。
检测框判断部24对在检测出的面部图像之中作为最小的人物的人物102的面部图像的大小和设定的最小检测面部Fmin的大小进行比较(步骤S12)。在人物102的面部图像的大小大于所设定的最小检测面部的大小的情况下(步骤S12;是),检测框判断部24判断为将检测框205缩小。设为n=n+1=2(步骤S13),并向步骤S14前进。
检测框设定部23读入存储在对象物存储部31的图像V中的面部图像,将作为读入的图像内的最小的面部图像的人物102的面部图像的宽度以及高度(参照图5)设定为基准检测框200的框重复区域的宽度以及高度。检测框设定部23在预先设定的基准检测框2002的宽度以及高度上加上框重复区域的宽度以及高度,在检测框存储部32设定第n=2次用的检测框2052,并存储在检测框存储部32(步骤S14)。之后,返回步骤S4,针对图像V进行第n=2次分割。
在人物102的面部图像的大小与设定的最小检测面部的大小相等的情况下(步骤S12;否),检测框判断部24判断将检测框205缩小,并向步骤S15前进。在结束处理的情况下(步骤S15;是)结束,在不结束处理的情况下(步骤S15;否),返回步骤S2。
以上,通过对象物检测处理,图像处理装置10在作为图像V整体进行面部检测之后,对图像V进行分割,并进一步按照分割出的每个检测框205,检索面部图像,因而能够检测小于最小检测面部Fmin的面部图像。此外,在作为图像V整体进行面部检测之后,在对图像V进行分割时,在检测出的面部图像之内,以最小的面部图像的宽度以及高度为框重复区域对图像V进行分割,能够防止图像V中拍摄到的面部图像未被顺利检测的情形(还未被检测出的面部图像分别在相邻的检测框205、205中,仅面部图像的一部分被拍摄到,面部图像的整体未被容纳在检测框205中的任一者中,因而未被检测出的情形)。而且,由于通过QVGA按照每个检测框进行面部检测,因而能够在抑制处理负荷的增加的同时,检测较小的面部图像。
(变形例)
在上述实施方式中,作为对象物检测部22的检测对象的对象物是面部图像,但对象物也可以是用于人物检测、物体感测(车辆等)的人物、物体等。
在上述实施方式中,如图9所示,拍摄装置41以帧频30fps进行拍摄,图像获取部21以约33msec通过全像素而获取图像。对象物检测部22按照分割出的区域以约11msec进行QVGA的面部图像的检测。因此,在每100msec获取1次图像V的情况下,能够进行检测作业的检测框205的数量为9,在每66msec获取1次图像V的情况下,能够进行检测作业的检测框205的数量变为6。因此,除上述除外范围210等的设定以外,还可以采取减少进行检测作业的检测框的数量的手法。例如,如图10所示,可以设为在图像V中的上部的区域I中15fps、在中间的区域II中30fps、在下部的区域III中60fps的帧频。拍摄装置41(拍摄部40)设置在天花板,因而图像V的上部的区域I拍摄到远离拍摄装置41的范围,对象物的移动量(变化量)较小,即使帧频抑制为较低问题也较少。另一方面,下部的区域III拍摄到靠近拍摄装置41的范围,因而对象物的移动量(变化量)较大,优选为将帧频保持为较高。校正部26将像这样校正的检测条件Z存储在检测条件存储部34。如果是VGA、4K而不是QVGA的情况,则需要更多的处理时间,因而钻研检测方法是有用的。
此外,图10的区域III接近拍摄装置41,因而也可以设定不进行较小的面部图像的检测,仅在远离拍摄装置41的区域I中进行较小的面部图像的检测的检测条件。
在上述实施方式中,在图8的对象物检测处理的步骤S9以及S10中,将最小检测面部Fmin设为框重复区域的宽度以及高度,但也可以通过用户任意地设定的、或者预先设定在检测框存储部32等的数值、数学式等,决定框重复区域的宽度以及高度。
此外,在上述实施方式中,图像处理装置10具备拍摄部40,但图像处理装置也可以不具备拍摄部,而与能够经由通信部50控制的外部的拍摄装置连接。
在上述实施方式中,图像处理装置10生成用于进行二维面部认证的面部认证装置80的图像,但也可以生成用于进行三维面部认证的面部队证装置的图像。
本发明的图像处理装置10的各功能能够通过通常的PC(Personal Computer,个人计算机)等计算机来实施。具体地,在上述实施方式中,图像处理装置10进行的曝光校正处理以及图像处理的程序作为预先存储在存储部30的ROM的程序进行说明。然而,也可以将程序保存在软盘、CD-ROM(Compact Disc Read Only Memory,小型只读式光盘)、DVD(DigitalVersatile Disc,数字通用光盘)以及MO(Magneto-Optical Disc、磁光盘)等计算机可读存储介质,并进行分发,将该程序读入计算机,并进行安装,由此构成能够实现上述的各功能的计算机。
以上,对本发明的优选的实施方式进行了说明,但本发明不限定于相关的特定的实施方式,在本发明中包括专利权利要求书所记载的发明和其均等的范围。
Claims (9)
1.一种图像处理装置,具备:
图像获取部,获取拍摄到的图像;
对象物检测部,根据所述图像对检测对象进行检测;
检测框设定部,设定检测框,所述检测框是所述对象物检测部在所述图像内对所述检测对象进行检测的范围;
检测框判断部,每当所述对象物检测部结束遍及所述图像整体的所述检测对象的检测作业时,判断是否将所述检测框缩小,
所述对象物检测部在所述检测框设定部新设定了所述检测框的情况下,基于新设定的检测框来检测所述检测对象,
所述检测框设定部在所述检测框判断部判断为将所述检测框缩小的情况下,设定比所述检测作业时的检测框小的检测框。
2.根据权利要求1所述的图像处理装置,其中,
在所述检测框变小时,该检测框具有与邻接的检测框重复的范围,
所述重复的范围基于所述检测对象的大小而设定。
3.根据权利要求1或2所述的图像处理装置,其中,
所述检测框设定部在开始所述图像的所述检测作业时,将所述检测框的大小设定为与所述图像的大小相等。
4.根据权利要求2所述的图像处理装置,其中,
在所述检测框变为最小时,能够检测的最小的所述检测对象的宽度以及高度与所述重复的范围的宽度以及高度相等。
5.根据权利要求1至4中任一项所述的图像处理装置,其中,
在所述检测框判断部判断为所述检测框的大小与能够检测的最小的所述检测对象的大小相等的情况下,所述检测框设定部结束设定比所述检测作业时的检测框小的检测框的操作。
6.根据权利要求1至5中任一项所述的图像处理装置,其中,
所述对象物检测部将位于所述检测对象的内部的所述检测框从检测所述检测对象的范围中除外。
7.根据权利要求1至6中任一项所述的图像处理装置,其中,
在所述图像的给定区域中,使所述检测作业的频率高于或低于其他区域。
8.一种图像处理方法,
获取拍摄到的图像;
设定检测框,所述检测框是在所述图像内对检测对象进行检测的范围;
每当结束遍及所述图像整体的所述检测对象的检测作业时,判断是否将所述检测框缩小;
在新设定了所述检测框的情况下,基于新设定的检测框来检测所述检测对象;和
在判断为将所述检测框缩小的情况下,设定比所述检测作业时的检测框小的检测框。
9.一种存储介质,用于使计算机如以下所述地发挥功能:
获取拍摄到的图像;
设定检测框,所述检测框是在所述图像内对检测对象进行检测的范围;
每当结束遍及所述图像整体的所述检测对象的检测作业时,判断是否将所述检测框缩小;
在新设定了所述检测框的情况下,基于新设定的检测框来检测所述检测对象;和
在判断为将所述检测框缩小的情况下,设定比所述检测作业时的检测框小的检测框。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020054105A JP7200965B2 (ja) | 2020-03-25 | 2020-03-25 | 画像処理装置、画像処理方法及びプログラム |
JP2020-054105 | 2020-03-25 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113452899A true CN113452899A (zh) | 2021-09-28 |
CN113452899B CN113452899B (zh) | 2023-05-05 |
Family
ID=77809087
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110283453.XA Active CN113452899B (zh) | 2020-03-25 | 2021-03-16 | 图像处理装置、图像处理方法以及存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210306556A1 (zh) |
JP (2) | JP7200965B2 (zh) |
CN (1) | CN113452899B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101510956A (zh) * | 2008-02-15 | 2009-08-19 | 索尼株式会社 | 图像处理设备、照相机设备、图像处理方法和程序 |
US20090316016A1 (en) * | 2008-06-24 | 2009-12-24 | Casio Computer Co., Ltd. | Image pickup apparatus, control method of image pickup apparatus and image pickup apparatus having function to detect specific subject |
JP2010041255A (ja) * | 2008-08-01 | 2010-02-18 | Sony Corp | 撮像装置、撮像方法およびプログラム |
JP2010092353A (ja) * | 2008-10-09 | 2010-04-22 | Sumitomo Electric Ind Ltd | 画像処理装置及び画像処理方法 |
JP2010178158A (ja) * | 2009-01-30 | 2010-08-12 | Nikon Corp | 電子カメラ |
CN105744179A (zh) * | 2014-12-29 | 2016-07-06 | 卡西欧计算机株式会社 | 摄像装置、摄像控制方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8184157B2 (en) * | 2005-12-16 | 2012-05-22 | Siemens Corporation | Generalized multi-sensor planning and systems |
US7693301B2 (en) * | 2006-10-11 | 2010-04-06 | Arcsoft, Inc. | Known face guided imaging method |
JP4315215B2 (ja) * | 2007-05-18 | 2009-08-19 | カシオ計算機株式会社 | 撮像装置、及び顔検出方法、顔検出制御プログラム |
JP5523343B2 (ja) * | 2008-12-05 | 2014-06-18 | パナソニック株式会社 | 顔検出装置 |
JP5923746B2 (ja) * | 2011-06-10 | 2016-05-25 | パナソニックIpマネジメント株式会社 | 物体検出枠表示装置及び物体検出枠表示方法 |
KR101494874B1 (ko) * | 2014-05-12 | 2015-02-23 | 김호 | 사용자 인증 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체 |
KR20210024859A (ko) * | 2019-08-26 | 2021-03-08 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
JP2022120681A (ja) * | 2021-02-05 | 2022-08-18 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
-
2020
- 2020-03-25 JP JP2020054105A patent/JP7200965B2/ja active Active
-
2021
- 2021-03-16 CN CN202110283453.XA patent/CN113452899B/zh active Active
- 2021-03-24 US US17/211,651 patent/US20210306556A1/en active Pending
-
2022
- 2022-12-20 JP JP2022203125A patent/JP2023029396A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101510956A (zh) * | 2008-02-15 | 2009-08-19 | 索尼株式会社 | 图像处理设备、照相机设备、图像处理方法和程序 |
JP2009193421A (ja) * | 2008-02-15 | 2009-08-27 | Sony Corp | 画像処理装置、カメラ装置、画像処理方法、およびプログラム |
US20090316016A1 (en) * | 2008-06-24 | 2009-12-24 | Casio Computer Co., Ltd. | Image pickup apparatus, control method of image pickup apparatus and image pickup apparatus having function to detect specific subject |
JP2010041255A (ja) * | 2008-08-01 | 2010-02-18 | Sony Corp | 撮像装置、撮像方法およびプログラム |
JP2010092353A (ja) * | 2008-10-09 | 2010-04-22 | Sumitomo Electric Ind Ltd | 画像処理装置及び画像処理方法 |
JP2010178158A (ja) * | 2009-01-30 | 2010-08-12 | Nikon Corp | 電子カメラ |
CN105744179A (zh) * | 2014-12-29 | 2016-07-06 | 卡西欧计算机株式会社 | 摄像装置、摄像控制方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2023029396A (ja) | 2023-03-03 |
JP7200965B2 (ja) | 2023-01-10 |
US20210306556A1 (en) | 2021-09-30 |
CN113452899B (zh) | 2023-05-05 |
JP2021158417A (ja) | 2021-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6106921B2 (ja) | 撮像装置、撮像方法および撮像プログラム | |
US10614293B2 (en) | Facial recognition apparatus, recognition method and program therefor, and information device | |
US20110019016A1 (en) | Image processing apparatus, image pickup apparatus, and image processing method | |
US20050212913A1 (en) | Method and arrangement for recording regions of interest of moving objects | |
US20180196221A1 (en) | Detection apparatus, detection method, detection program, and imaging apparatus | |
KR20170112763A (ko) | 전자 장치 및 그의 동작 방법 | |
US9811909B2 (en) | Image processing apparatus, distance measuring apparatus, imaging apparatus, and image processing method | |
US20090141367A1 (en) | Zooming system and method | |
US20090207260A1 (en) | Image pickup apparatus and image pickup method | |
US9729798B2 (en) | Image-capturing apparatus which controls image-capturing direction | |
WO2021168804A1 (zh) | 图像处理方法、图像处理装置和图像处理系统 | |
JP2016123044A (ja) | 被写体追跡装置、その制御方法およびプログラム | |
US10455144B2 (en) | Information processing apparatus, information processing method, system, and non-transitory computer-readable storage medium | |
US8310551B2 (en) | Digital photographing apparatuses for controlling hand shake correction and methods of controlling the digital photographing apparatus | |
US20170069104A1 (en) | Image processing apparatus and image processing method | |
CN113784875B (zh) | 相机位置检测装置和方法、相机单元以及存储介质 | |
US10832070B2 (en) | Mobile terminal, image processing method, and computer-readable recording medium | |
CN113452899A (zh) | 图像处理装置、图像处理方法以及存储介质 | |
US12008773B2 (en) | Object tracking apparatus and control method thereof using weight map based on motion vectors | |
US20220262031A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP5451364B2 (ja) | 被写体追跡装置及びその制御方法 | |
US10742883B2 (en) | Data processing method for generating composite image data indicating positional changes of an object | |
CN103581538A (zh) | 数字拍摄设备和控制所述数字拍摄设备的方法 | |
JP5380833B2 (ja) | 撮像装置、被写体検出方法及びプログラム | |
CN112637511B (zh) | 图像处理装置,图像处理方法以及记录介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |