CN101542523B - 检测装置、检测方法及检测用集成电路 - Google Patents

检测装置、检测方法及检测用集成电路 Download PDF

Info

Publication number
CN101542523B
CN101542523B CN2008800005366A CN200880000536A CN101542523B CN 101542523 B CN101542523 B CN 101542523B CN 2008800005366 A CN2008800005366 A CN 2008800005366A CN 200880000536 A CN200880000536 A CN 200880000536A CN 101542523 B CN101542523 B CN 101542523B
Authority
CN
China
Prior art keywords
contrast
image
mentioned
unit
zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008800005366A
Other languages
English (en)
Other versions
CN101542523A (zh
Inventor
富田裕人
渊上郁雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101542523A publication Critical patent/CN101542523A/zh
Application granted granted Critical
Publication of CN101542523B publication Critical patent/CN101542523B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)

Abstract

从输入图像检测出特定图像的检测装置,具有:区域确定单元,在上述输入图像中,确定上述特定图像能够存在的检测对象区域;设定单元,以用分别为一定尺寸的多个对照对象范围覆盖上述区域确定单元所确定的检测对象区域的方式,并且以各个对照对象范围与其他对照对象范围重叠规定宽度量的方式,来设定各对照对象范围的位置;以及对照单元,对于每个上述设定单元所设定的对照对象范围,对照该对照对象范围的图像和对照用图像,由此检测出上述特定图像。

Description

检测装置、检测方法及检测用集成电路
技术领域
本发明涉及一种图像处理技术,特别是涉及一种从输入图像检测出规定图像的技术。
背景技术
作为从输入图像检测出比输入图像小的特定图像(例如脸部图像)的方法,已知有通过对照作为特定图像检测用模板的对照用图像与输入图像而检测出特定图像的方法。在该方法中,从矩形输入图像的左上的像素至右下的像素,一边挪动比输入图像小的一定尺寸的对照用图像,一边与输入图像进行对照,因此,如果想在短时间内检测出特定图像,就存在需要处理能力比较高的处理器和存储容量比较大的存储器等的问题。
作为解决该问题的方法,考虑有如下方法,即,仅将输入图像中的一部分区域作为用于检测特定图像的区域(以下称为“检测对象区域”),并仅在该检测对象区域内与对照用图像进行对照。作为使用该方法的技术,例如有专利文献1。
图14是专利文献1的图像处理装置的功能框图。
该图像处理装置能够利用于一般道路的车辆检测等,切出单元从由高析像度照相机输出的高析像度图像中的检测对象区域的图像生成低析像度图像,检测单元使用该低析像度图像检测车辆等。
并且,图15是表示专利文献1的图像处理装置的检测对象区域的图。
该图表示高析像度照相机的图像(高析像度图像)的检测对象区域,该高析像度照相机以拍摄纵方向上相同行进方向的2个车线的方式设置,该图像处理装置中,对于由高析像度照相机依次输出的各高析像度图像,交替地选择检测对象区域二等分后的各范围(以下,将该范围称作“对照对象区域”),使用所选择的对照对象区域的图像(部分图像)进行车辆的检测等。据此,即使在输入图像(高析像度图像)的尺寸比较大的情况下,由于仅在检测对象区域内进行车辆的检测等,因此能够抑制用于检测的处理量,而由处理能力比较低的处理器等进行处理。
并且,作为对照输入图像和对照用图像来检测特定图像时的一般技术,例如有专利文献2。
图16是专利文献2的脸部检测装置的功能框图。
该脸部检测装置具有模板尺寸输入图像标度变换确定部,在将输入图像变换(扩大或缩小)为缩小率不同的多个图像之后进行各图像与对照用图像的对照。据此,即使在包含于输入图像的特定图像的大小和包含于对照用图像的特定图像的大小不同的情况下,也能够从输入图像检测出特定图像。
专利文献1:日本特开2005-173787号公报
专利文献2:日本特开2004-30629号公报
但是,一般的移动物体不仅限于如一般道路上的车辆等那样移动路径固定的物体,还存在在横跨图15表示的检测对象区域中的各对照对象区域的位置移动的情况。在该情况下,存在以下问题:即使组合专利文献1和专利文献2的技术,由于对照对象区域的图像(部分图像)中不包含移动物体整体,所以不能够通过与对照用图像对照来检测出该移动物体。
为了解决该问题,虽然也可以考虑使对照对象区域的尺寸可变,但是与使对照对象区域的尺寸恒定的情况相比较,造成硬件资源的浪费,因此不能说是优选方法。对照对象区域的尺寸恒定的情况下,在检测对象区域的尺寸比对照对象区域的尺寸大时,需要将检测对象区域划分为对照对象区域的尺寸来进行处理。
发明内容
因此,本发明是鉴于以上问题而做出的,目的是提供一种即使在对照对象区域的尺寸恒定的情况下,也能够可靠地检测出检测对象区域所包含的特定图像的检测装置。
为了解决上述课题,本发明的检测装置是从输入图像检测出特定图像的检测装置,其特征在于,具有:区域确定单元,在上述输入图像中,确定上述特定图像能够存在的检测对象区域;设定单元,以用分别为一定尺寸的多个对照对象范围覆盖上述区域确定单元所确定的检测对象区域的方式,并且以各个对照对象范围与其他对照对象范围重叠规定宽度量的方式,来设定各对照对象范围的位置;以及对照单元,对于每个上述设定单元所设定的对照对象范围,对照该对照对象范围的图像和对照用图像,由此检测出上述特定图像。
为了解决上述课题,本发明的检测方法是使用从输入图像检测出特定图像的检测装置的检测方法,其特征在于,具有:区域确定步骤,在上述输入图像中,确定上述特定图像能够存在的检测对象区域;设定步骤,以用分别为一定尺寸的多个对照对象范围覆盖上述区域确定单元所确定的检测对象区域的方式,并且以各个对照对象范围与其他对照对象范围重叠规定宽度量的方式,来设定各对照对象范围的位置;以及对照步骤,对于每个上述设定单元所设定的对照对象范围,对照该对照对象范围的图像与对照用图像,由此检测出上述特定图像。
并且,为了解决上述课题,本发明的检测用集成电路是使用从输入图像检测出特定图像的检测装置的检测用集成电路,其特征在于,具有:区域确定单元,在上述输入图像中,确定上述特定图像能够存在的检测对象区域;设定单元,以用分别为一定尺寸的多个对照对象范围覆盖上述区域确定单元所确定的检测对象区域的方式,并且以各个对照对象范围与其他对照对象范围重叠规定宽度量的方式,来设定各对照对象范围的位置;以及对照单元,对于每个上述设定单元所设定的对照对象范围,对照该对照对象范围的图像与对照用图像,由此检测出上述特定图像。
这里,所谓以用分别为一定尺寸的多个对照对象范围覆盖检测对象区域的方式,是指检测对象区域的整个区域包含于任意一个对照对象范围。并且,所谓对照用图像是指用于检测特定图像的模板图像。
发明效果
具有上述结构的本发明的检测装置,由于以各个对照对象范围与其他对照对象范围重叠规定宽度量的方式来设定各对照对象范围的位置,所以,能够提高对假设在如下情况下不能被检测出的分散包含于多个对照对象范围的特定图像得以检测的可能性,所述情况是指以各个对照对象范围与其他对照对象范围不重叠的方式来设定各对照对象范围的位置的情况。
并且,上述检测装置也可以为,还具有倍率确定单元,该倍率确定单元确定关于各对照对象范围的图像的倍率,由上述设定单元进行的各对照对象范围的位置的设定,以与其它对照对象范围重叠如下宽度量的方式进行,该宽度量与上述倍率确定单元所确定的倍率对应,由上述对照单元进行的各对照对象范围的图像与对照用图像的对照,对以如下倍率改变了各对照对象范围的图像的尺寸的各图像进行,该倍率是上述倍率确定单元所确定的倍率。
据此,本发明的检测装置由于各对照对象范围与其它对照对象范围重叠与倍率确定单元所确定的倍率相对应的宽度,因此,与重叠宽度为任意宽度的情况比较,能够更高效地检测出特定图像。
并且,也可以为,上述检测对象区域是上述输入图像的一部分的矩形区域,上述对照对象范围是上述检测对象区域的一部分的矩形区域,上述倍率是多个缩小率,上述检测装置还具有存储单元,该存储单元对于每个缩小率存储各对照对象范围的与其它对照对象范围重叠的宽度,由上述倍率确定单元进行的倍率确定以及由上述设定单元进行的各对照对象范围的设定,基于上述存储单元存储的信息而进行,上述对照单元包含缩小单元,该缩小单元对于每个上述倍率确定单元所确定的缩小率,以该缩小率缩小各对照对象范围的图像。
据此,本发明的检测装置,对于每个缩小率,存储各对照对象范围的与其它的对照对象范围的重叠宽度,基于此设定对照对象范围的位置,所以,与每次都算出对照对象范围的位置的情况相比,能够高速地进行处理。
并且,本发明的检测装置,对于每个倍率确定单元所确定的缩小率,对以该缩小率缩小后的各图像与对照用图像进行对照,所以,能够不使用多个对照用图像而检测出与对照用图像的尺寸不同尺寸的特定图像。
并且,上述检测装置也可以为,还具有第2缩小单元,将输入图像缩小到与上述对照对象范围的尺寸相同的尺寸;以及第2对照单元,通过对照由上述第2缩小单元缩小的输入图像与上述对照用图像而检测出上述特定图像
据此,本发明的检测装置由于能够通过对照将输入图像缩小至与对照对象范围的尺寸相同的尺寸的图像与对照用图像而检测出特定图像,所以,即使对于完全占据并包含于输入图像的特定图像也能够进行检测。
并且,上述检测装置也可以为,还具有检测单元,该检测单元从上述输入图像检测出表示移动物体的区域,由上述区域确定单元进行的检测对象区域的确定,基于上述检测单元所检测出的区域而进行。
据此,本发明的检测装置由于将检测出输入图像中的移动物体的区域,即,将包含特定图像的可能性高的区域确定为检测对象区域,所以,能够更高效地检测出特定图像。
并且,上述检测装置也可以为,还具有图像输入单元,该图像输入单元按照拍摄顺序取得外部照相机装置依次拍摄的多个输入图像,上述区域确定单元,以上述图像输入单元所取得的规定数量的输入图像作为一个单位,在每个单位中,对于取得顺序为最先的输入图像,将整个区域确定为上述检测对象区域,在上述对照单元对该输入图像检测出上述特定图像的情况下,以包含与含有该特定图像的区域位置相同的区域的方式确定后续于该输入图像的输入图像的检测对象区域。
据此,在将输入图像的整个区域确定为检测对象区域并检测出特定图像的情况下,将与包含该特定图像的输入图像上的位置相同位置的区域确定为后续输入图像的检测对象区域,所以,能够由包含特定图像的可能性高的区域更高效地检测出特定图像。
附图说明
图1是图像处理装置100的功能框图。
图2是用于说明通过脸部检测装置160进行的脸部检测方法的附图。
图3是表示缩小ID与缩小率等之对应的一个例子的附图。
图4是用于说明检测对象区域的确定方法的附图。
图5是用于说明对照对象区域的设定方法的附图。
图6是表示各对照对象区域的重叠量与移动量的一个例子的附图。
图7是用于说明高析像度图像数据1000在图像存储器130上的配置的附图。
图8是表示图像处理装置100的动作的流程图。
图9是表示通过处理器150进行的对照对象区域的设定处理得流程图。
图10是图像处理装置200的功能框图。
图11是表示图像处理装置200的动作的流程图。
图12是用于说明脸部检测装置210能够检测的脸部图像的大小的附图。
图13是表示包含实施方式1说明的脸部检测装置160的半导体集成电路300的结构例的附图。
图14是专利文献1的图像处理装置的功能框图。
图15是表示专利文献1的图像处理装置的检测对象区域的附图。
图16是专利文献2的脸部检测装置的功能框图。
符号说明
100、200图像处理装置
101处理器总线
102存储器总线
110照相机
120照相机输入电路
130图像存储器
140移动物体检测电路
150传感器
160、210脸部检测装置
161、211析像度变换电路
162脸部检测电路
300半导体集成电路
具体实施方式
下面,对作为本发明的检测装置的实施方式的脸部检测装置进行说明。
《实施方式1》
<概要>
实施方式1的脸部检测装置是以预定尺寸(例如,QVGA(320×240像素)尺寸)单位对作为输入图像中的一部分区域的检测对象区域进行处理,并检测出预定尺寸以下的大小的脸部图像的装置。该检测对象区域是假想存在脸部图像的区域。
以预定尺寸单位通过该脸部检测装置进行的处理如下述进行。即,以用各自为预定尺寸的多个范围(对照对象区域)覆盖检测对象区域的方式,即,以用多个对照对象区域填满的方式,使各对照对象区域的位置与其它的对照对象区域重叠(overlap)规定宽度量来进行设定,每当设定对照对象区域时,通过对照该对照对象区域的图像缩小后的图像(以下称作“缩小图像”)与脸部图像的模板(以下称为“对照用图像”),从而检测出脸部图像。
假如将对于每个预订尺寸单纯地分割检测对象区域后得到的区域设定为各对照对象区域,则无法检测出分开包含于多个对照对象区域的脸部图像。这是由于各对照对象区域中仅包含脸部图像的一部分,不能与对照用图像取得一致。
但是,由于这里说明的该脸部检测装置以在对照对象区域间产生重叠的区域(以下称为“重叠区域”)的方式设定各对照对象区域,所以也能够检测出这样的脸部图像。另外,关于重叠的程度,即,关于重叠多少宽度,之后进行详细说明。
并且,由于该脸部检测装置阶段性改变缩小率而生成上述缩小图像,所以不用分别准备不同尺寸的对照用图像,就能够检测出包含于对照对象区域的、与对照用图像中的脸部图像不同尺寸的脸部图像。
<结构>
首先,对包含本实施方式的脸部检测装置160的图像处理装置100的结构进行说明。
图1是图像处理装置100的功能框图。
如该图所示,图像处理装置100具有照相机110、照相机输入电路120、图像存储器130、移动物体检测电路140、处理器150、以及脸部检测装置160。处理器150与其它构成要素之间的数据收发经由处理器总线101进行,并且,从除去照相机110的其它构成要素向图像存储器130的访问,经由存储器总线102进行。
移动物体检测电路140相当于本发明的检测单元,处理器150相当于本发明的区域确定单元、设定单元、以及倍率确定单元,脸部检测装置160相当于本发明的对照单元。
这里,照相机110以一定的帧滞后进行拍摄,并具有将依次生成的4VGA(1280×960像素)尺寸的图像数据(以下称为“高析像度图像数据”)送出到照相机输入电路120的功能。
照相机输入电路120具有对从照相机110取得(取り込む)的高析像度图像数据实施高画质化的各种滤波处理,并使其存储于图像存储器130的功能。当向图像存储器130存储滤波处理后的高析像度图像数据时,照相机输入电路120将存储高析像度图像数据的情况通知给处理器150。
图像存储器130是用于存储高析像度图像数据的连续的存储区域。
移动物体检测电路140具有以下功能,即,根据来自处理器150的指示而读出存储于图像存储器130的高析像度图像数据,并进行移动物体的检测处理,将检测结果送出到处理器150的功能。在检测出移动物体的情况下,该检测结果中包含表示检测出的移动物体的区域的坐标值。并且,移动物体的检测,例如通过以下方式进行,即,比较未拍摄移动物体状态的高析像度图像数据与存储于图像存储器130的高析像度图像数据的边缘检测结果。
处理器150具有如下功能,即,通过执行存储于未图示的内部存储器的控制程序,来进行图像处理装置100整体的控制和对装置内各区块(block)的指示(例如,向移动物体检测电路140指示开始检测移动物体)。
并且,处理器150具有如下功能,即,基于从移动物体检测电路140接收的检测结果所包含的坐标值而确定检测对象区域,并且,设定检测对象区域内的对照对象区域的功能。当设定对照对象区域时,处理器150将所设定的对照对象区域指定给脸部检测装置160。关于检测对象区域的确定方法以及对照对象区域的设定方法,在后面进行说明。并且,处理器150还具有将缩小所设定的对照对象区域时的缩小率指定给脸部检测装置160的功能。
脸部检测装置160具有以下功能,即,将缩小图像与对照用图像进行对照而检测出脸部图像的功能,该缩小图像是将由处理器150所指定的对照对象区域的图像以所指定的缩小率缩小后的图像,并且,该脸部检测装置160具有析像度变换电路161和脸部检测电路162。之所以将缩小图像用于对照,是为了能够检测出与对照用图像中的脸部图像不同大小的脸部图像。另外,对由处理器150指定的缩小率将在后面进行说明,但也存在指定的缩小率为1倍的情况,以下将包含缩小率为1倍(即,缩小图像就是对照对象区域的图像本身)的情况也称为缩小图像。并且,析像度变换电路161相当于本发明的缩小单元。
这里,析像度变换电路161具有如下功能,即,从图像存储器130读出由处理器指定的对照对象区域的图像,以所指定的缩小率缩小,并将缩小后的缩小图像发送至脸部检测电路162的功能。
脸部检测电路162是将与对照对象区域相同尺寸(例如QVGA尺寸)以下的图像与对照用图像进行对照,而检测出脸部图像的电路。
更详细来说,在从析像度变换电路161接收的缩小图像中,从左上的像素到右下的像素,一边每次以规定像素逐渐移动对照用图像,一边与对照用图像进行对照,并将对照结果发送至处理器150。以下,将该规定像素的量称为“间拔量”。如果使该间拔量(thinning amount)为1,则能够无间隙地将对照对象区域与对照用图像进行对照,如果使间拔量大于1,则由于仅隔开间隔量这部分的间隙进行对照,所以能够减少处理量。以下,作为一个例子,对水平方向以及垂直方向的间拔量分别为“2”的情况进行说明。
<脸部检测>
接下来,对脸部检测装置160的脸部检测方法进行说明。
图2是用于说明脸部检测装置160的脸部检测方法的附图。
在该图中,对照对象区域1021和对照对象区域1022分别包含脸部图像,包含于对照对象区域1021的脸部图像比包含于对照对象区域1022的脸部图像大。
为了对照对照对象区域1021和一定尺寸(例如24×24像素)的对照用图像并检测出脸部图像,需要将包含于该区域的脸部图像的大小缩小至与对照用图像的脸部图像的大小相同的程度。缩小图像1031表示该缩小后的图像。
脸部检测电路162,在缩小图像1031中,从左上的像素到右下的像素,一边每次以2像素(间拔量)逐渐移动对照用图像一边进行对照,由此来检测出脸部图像。
从对照对象区域1022检测出脸部图像的情况也相同,脸部检测电路162对将对照对象区域1022缩小后的缩小图像1032和对照用图像进行对照。
这里,可知缩小图像1032的尺寸比缩小图像1031的尺寸大,即,缩小图像1032与缩小图像1031相比缩小的程度低。由于包含于对照对象区域1022的脸部图像的大小比包含于对照对象区域1021的脸部图像小,所以,能够以更低缩小程度缩小至与对照用图像的脸部图像的大小相同的程度。
这样,为了从对照对象区域检测出脸部图像,需要对照如下缩小图像与对照用图像,该缩小图像是以对应于对照对象区域所包含的脸部图像的大小的缩小率缩小后的图像。但是,在实际进行检测时,由于包含于对照对象区域的脸部图像的大小不明,所以,脸部检测电路162通过对照阶段性改变缩小率后的各缩小图像与对照用图像而检测出脸部图像。
各缩小图像的缩小率,例如如图3所示,可以确定为以1/1.22倍阶段性改变。
图3是表示缩小ID与缩小率等之对应的一个例子的附图。
这里,所谓缩小ID,是指处理器150对脸部检测装置160指定对照对象区域的缩小率时使用的数据。另外,该图中的缩小率表示扩大的倍率,即,缩小率的值越小,表示缩小的程度越高。并且,在该图中,“(1/1.22)^n”的记载表示(1/1.22)的n次方。
该图表示,例如,缩小ID为“0”的情况的缩小率为“(1/1.22)^0,即1倍”,以对应的缩小率缩小对照对象区域的图像后的情况的缩小图像的水平方向尺寸为“320像素”,垂直方向尺寸为“240像素”的情况。此外,表示缩小ID为“11”的情况的缩小率为“(1/1.22)^11倍”,缩小图像的水平尺寸为“33像素”,垂直方向尺寸为“25像素”的情况。
另外,当缩小图像的尺寸比对照用图像的尺寸(上述例子中的24×24像素)小时,不能够对照,所以,在本例中,缩小ID为“11”的情况的缩小率最小,即,该情况的缩小程度最高。
<检测对象区域的确定>
接下来,对处理器150的检测对象区域的确定方法进行说明。
图4是用于说明检测对象区域的确定方法的附图。
在某时点高析像度图像数据1000是存储于图像存储器130的高清晰度图像数据,区域1010是移动物体检测电路140检测到移动物体的区域。
在该图中,表示将高析像度图像数据1000在水平方向以及垂直方向上逻辑地4分割而成的16区间,区间内的数字表示用于识别各区间的信息(以下称为“SearchIndex”(查找指数))。并且,由于各区间是对4VGA尺寸的高析像度图像数据1000进行16分割后的区间,所以其尺寸为QVGA尺寸。
处理器150将包含区域1010的区间(SearchIndex为7、8、11、12的区间)确定为检测对象区域1020。
当处理器150确定检测对象区域时,为了指定所确定的检测对象区域,将对应于检测对象区域的SearchIndex发送至脸部检测装置160。
<对照对象区域的设定>
接下来,对处理器150的对照对象区域的设定方法进行说明。
图5是用于说明对照对象区域的设定方法的附图。
在该图中,区域1023~1025表示检测对象区域1020中的各对照对象区域,各对照对象区域的尺寸是与上述各区间的尺寸相同的QVGA尺寸。
并且,在该图中,区域1026表示对照对象区域1023与1024之间的重叠区域,区域1027表示对照对象区域1023与1025之间的重叠区域。
处理器150,一边在所确定的检测对象区域1020中从左上到右下设置重叠区域,一边设定各对照对象区域。即,在该图中,以对照对象区域1023、1024、1025的顺序设定各对照对象区域。
之所以设定重叠区域,是为了能够检测出分开包含于多个区间的脸部图像。为此,需要根据作为检测对象的脸部图像的大小而确定重叠区域的尺寸,即重叠的像素数(以下称为“重叠量”),并以下面的公式计算。
【式1】
水平重叠量=对照用图像的水平方向尺寸×1.22n-k×1.22n
【式2】
垂直重叠量=对照用图像的垂直方向尺寸×1.22n-m×1.22n
这里,n表示图3所示的缩小ID的值,k和m分别表示水平方向、垂直方向的间拔量。并且,在本实施方式的例子中,对照用图像的水平方向尺寸以及垂直方向尺寸分别为24像素。
并且,图5所示的各对照对象区域的水平方向移动量(像素数)以及垂直方向移动量(像素数)由以下公式分别计算。
【式3】
水平方向移动量=对照对象区域的水平方向尺寸-水平重叠量
【式4】
垂直方向移动量=对照对象区域的垂直方向尺寸-垂直重叠量
这里,在本实施方式的例子中,对照对象区域的水平方向尺寸为320像素,对照对象区域的垂直方向尺寸为240像素。
在K=m=2的情况下,对照对象区域的重叠量以及移动量的计算结果如图6所示。
图6是表示各对照对象区域的重叠量与移动量的一个例子的附图。
例如,该图表示缩小ID为“0”的情况的各对照对象区域的重叠量为“22像素”,水平方向移动量为“298像素”,水平方向移动量为“218像素”的情况。并且,表示缩小ID为“11”的情况的各对照对象区域的重叠量为“218像素”,水平方向移动量为“102像素”,水平方向移动量为“22像素”的情况。
在脸部检测电路162通过对照缩小图像与对照用图像而能够检测出脸部图像的情况下,该缩小图像的缩小程度越高(缩小率越小),包含于对照对象区域的脸部图像越大,所以,可知缩小的程度越高,即,缩小ID越大,重叠量变得越大。
并且,由于重叠量成为与脸部检测电路162通过对照缩小图像和对照用图像而能够检测出的脸部图像的大小相对应的尺寸,所以,能够不进行无用的重叠而高效地进行对照。
<数据>
接下来,对高析像度图像数据1000的图像存储器130上的配置进行说明。
图7是用于说明高析像度图像数据1000的图像存储器130上的配置的附图。
高析像度图像数据1000是上述4VGA(1280×960像素)尺寸的图像数据,构成高析像度图像数据1000的各像素的像素值数据连续存储于图像存储器130上的连续区域。即,以该图中所示的像素1002、…、1003、1004、…、1005、1006、…、1007的顺序存储于连续区域。
这里,当存储像素1002的图像存储器130上的区域的地址值显示为BASE时,存储各像素数据的区域的地址值由以下公式算出。另外,公式中的水平方向尺寸是指高析像度图像数据1000的水平方向尺寸,即1280,所谓基准像素是指检测对象区域的左上的像素。并且,在这里,将1个地址作为表示如下区域的地址而进行说明,该区域是存储1像素量的像素数据的图像存储器130上的区域。
【式5】
地址值=BASE+水平方向尺寸×(基准像素的Y坐标+自基准像素起的相对Y坐标)+(基准像素的X坐标+自基准像素起的相对X坐标)。
例如,当将像素1005作为基准像素时,存储作为其右侧相邻的像素的像素1006的图像存储器130上的区域的地址值为“BASE+1280×(240+0)+(640+1)”。这样,通过自基准像素起的相对坐标,能够计算出存储该像素的图像存储器130上的区域的地址值。
处理器150通过将关于所设定的对照对象区域的左上的像素(以下称为“起点”)的、自基准像素起的相对坐标值发送至脸部检测装置160而指定对照对象区域,脸部检测装置160的析像度变换电路161使用由接收到的坐标值算出的地址值,能够从图像存储器130读出对照对象区域的图像。
<动作>
接下来,对具有上述结构,处理上述数据的图像处理装置100的动作进行说明。
图8是表示图像处理装置100的动作的流程图。
当从移动物体检测电路140接收到的检测结果中包含有表示检测出的移动物体的区域的坐标值时,处理器150基于该座标值,将包含移动物体的各区间确定为检测对象区域,将对应于所确定的检测对象区域的区间的SearchIndex指定给脸部检测装置160(步骤S1)。
并且,处理器150设定缩小ID,并将设定的缩小ID发送至脸部检测装置160(步骤S2)。更详细来说,在步骤S1的处理后最初的步骤S2的处理中,将缩小ID设定为初始值(以下设为“11”),之后,每当进行步骤S2的处理时,缩小ID的值设定为逐次减小1直至变为0。
并且,处理器150,在步骤S1确定的检测对象区域中,设定1个对照对象区域,将设定的对照对象区域的起点的坐标值(自基准像素起的相对坐标值)指定给脸部检测装置160(步骤S3)。对照对象区域的设定处理的详细内容,使用图9所示的流程图而在下面进行说明。
脸部检测装置160的析像度变换电路161,基于步骤S1中指定的SearchIndex以及步骤S3中指定的起点的坐标值,根据式5所示的公式计算出存储有对照对象区域的图像的图像存储器130上的地址值,并从图像存储器130读出对照对象区域的图像(步骤S4)。
并且,析像度变换电路161生成缩小图像,该缩小图像是以与步骤S2中指定的缩小ID相对应的缩小率将所读出的对照对象区域的图像缩小后的缩小图像,并且发送至脸部检测电路162(步骤S5)。
脸部检测电路162,在从析像度变换电路161接收到的缩小图像中,从左上的像素到右下的像素,一边每次以2像素(间拔量)逐渐移动对照用图像一边进行对照,并将对照结果发送至处理器150(步骤S6)。另外,在检测出脸部图像的情况下,对照结果中包含检测出缩小图像中的脸部图像的区域的坐标值而发送。
处理器150,对步骤S1中确定的检测对象区域整体,判定步骤S6的对照是否结束(步骤S7)。
在步骤S7中,在对照没有结束的情况下(步骤S7:否),返回步骤S3的处理,在对照结束的情况下(步骤S7:是),对全部的缩小ID判定步骤S6的对照是否结束(步骤S8)。
在步骤S8中,在对照没有结束的情况下(步骤S8:否),为了改变缩小ID并进行对照处理而返回到步骤S2的处理,在对照结束的情况下(步骤S8:是),处理器150综合步骤S6中从脸部检测电路162送出的各对照结果并在高析像度图像中特别指定存在脸部图像的区域(步骤S9),并且结束脸部检测处理。作为存在脸部图像的区域的特别指定方法,例如,通过以下方式特别指定,即,将包含于各对照结果的各坐标值变换为高析像度图像数据上的坐标值后取平均值。
处理器150,将该特定结果利用于以下情况,例如,为了对焦于存在脸部图像的区域而在照相机110上进行自动调焦控制的情况,或者将照相机110拍摄的高析像度图像数据显示在显示器上(未图示),在存在脸部图像的区域显示边框的情况等。
接下来,对上述步骤S3的处理进行详细说明。
图9是表示处理器150的对照对象区域的设定处理的流程图。
处理器150,在步骤S2确定缩小ID后,判定是否是最初的对照对象区域的设定(步骤S11),在是最初的设定的情况下(步骤S11:是),将关于对照对象区域的起点的、自脸部对象区域的基准像素起的相对坐标值(Ox,Oy)设定为(0,0)(步骤S12)。
处理器150根据式3、式4所示的公式计算出与步骤S2中设定的缩小ID相对应的移动量(OFFSETX,OFFSETY)(步骤S13)。
并且,处理器150计算出检测对象区域的尺寸(AREAW,AREAH)(步骤S14),并进入步骤S18的处理。
并且,在步骤S11中,在不是最初的设定的情况下(步骤S11:否),处理器150使对照对象区域的起点的x坐标(Ox)移动步骤S13中算出的OFFSETX的量(步骤S15),并判定对照对象区域的起点的x坐标(Ox)是否大于步骤S13中算出的检测对象区域的水平方向尺寸(AREAW)(步骤S16)。
在步骤S16中,在对照对象区域的起点的x坐标(Ox)为检测对象区域的水平方向尺寸(AREAW)以下的情况下(步骤S16:否),进入步骤S18的处理,在比检测对象区域的水平方向尺寸(AREAW)大的情况下(步骤S16:是),使作为对照对象区域的起点的x坐标(Ox)为“0”,并使y坐标(Oy)移动步骤S13算出的OFFSETY的量(步骤S17),并进入步骤S18的处理。
在步骤S18中,处理器150将步骤S12、步骤S15、步骤S17的任意一个的处理中设定的对照对象区域的起点的相对坐标值(Ox,Oy)发送至脸部检测装置160(步骤S18),并结束对照对象区域的设定处理。
<具体例子>
关于上述图像处理装置100的动作,结合图8与图9所示的流程图进行具体说明。
下面,以图4所示的高析像度图像1000存储于图像存储器130的情况为例进行说明。
在本例中,由于从移动物体检测电路140接收到的检测结果中包含表示检测出的移动物体的区域(区域1010)的坐标值,所以,处理器150基于该坐标值,将包含移动物体的各区间(SearchIndex为7、8、11、12的区间)并将确定为检测对象区域,并将与所确定的检测对象区域相对应的区间的SearchIndex(7、8、11、12)指定给脸部检测装置160(图8的步骤S1)。
并且,处理器150设定缩小ID(11),并将所设定的缩小ID发送至脸部检测装置160(步骤S2),并进入步骤S3的处理。
下面,结合图9所示的流程图说明步骤S3的处理。
在步骤S2确定缩小ID之后,处理器150判定是否是最初的对照对象区域的设定(步骤S11),在本例中,由于是最初的设定(步骤S11:是),将关于对照对象区域的起点的、自脸部对象区域的基准像素起的相对坐标值(Ox,Oy)设定为(0,0)(步骤S12)。
处理器150根据式3、式4所示的公式计算出与步骤S2中设定的缩小ID(11)相对应的移动量(OFFSETX=102像素,OFFSETY=22像素)(步骤S13)。
并且,处理器150计算出检测对象区域(SearchIndex为7、8、11、12的各区间的区域)的尺寸(AREAW=320×2=640,AREAH=240×2=480)(步骤S14),并将步骤S12的处理中设定的对照对象区域的起点的坐标值(Ox=0,Oy=0)发送至脸部检测装置160(步骤S18),并结束图8的步骤S3的处理。
脸部检测装置160的析像度变换电路161,基于步骤S1中指定的SearchIndex(7、8、11、12)以及步骤S3中指定的起点坐标值(Ox=0,Oy=0),根据式5所示的公式计算出存储对照对象区域的图像的图像存储器130上的地址值,并从图像存储器130读出对照对象区域(对应于SearchIndex为7的区间)的图像(步骤S4)。
并且,析像度变换电路161生成缩小图像并发送至脸部检测电路162(步骤S5),该缩小图像是将读出的对照对象区域的图像以与步骤S2中指定的缩小ID(11)相对应的缩小率((1/1.22)^11)缩小后的缩小图像。
脸部检测电路162,在从析像度变换电路161接收到的缩小图像中,从左上的像素到右下的像素,一边每次以2像素(间拔量)逐渐移动对照用图像一边进行对照,并将对照结果发送至处理器150(步骤S6)。
处理器150,对步骤S1中确定的检测对象区域整体,判定步骤S6的对照是否结束(步骤S7)。在本例中,由于对照没有结束(步骤S7:否),所以返回步骤S3的处理。
下面,对步骤S3的处理进行说明。
处理器150,在步骤S2确定缩小ID后,判定是否是最初的对照对象区域的设定(图9的步骤S11),由于不是最初的设定(步骤S11:否),处理器150使对照对象区域的起点的x坐标(Ox)移动步骤S13中算出的OFFSETX(102像素)的量(步骤S15),并判定对照对象区域的起点的x坐标(Ox)是否大于步骤S13中算出的检测对象区域的水平方向尺寸(AREAW=640)(步骤S16)。
在步骤S16中,由于在本例中对照对象区域的起点的x坐标(Ox)为检测对象区域的水平方向尺寸(AREAW)以下(步骤S16:否),所以处理器150将步骤S15的处理中设定的对照对象区域的起点的相对坐标值(Ox=102,Oy=0)发送至脸部检测装置160(步骤S18),并结束图8的步骤S3的处理。
之后,对于对照对象区域进行与上述步骤S4~S7的处理相同的处理,该对照对象区域将从检测对象区域的基准像素在水平方向上偏离102像素的位置作为起点,在步骤S7中,由于在本例中对照没有结束(步骤S7:否),所以返回到步骤S3的处理。
之后,反复步骤S3(对应于步骤S11、S15、S16、S18的各处理)~S7的处理,在步骤S16中,当对照对象区域的起点的x坐标(Ox=714)大于检测对象区域的水平方向尺寸(AREAW=640)时(步骤S16:是),将对照对象区域的起点的x坐标(Ox)设为“0”,并使y坐标(Oy)移动在步骤S13中算出的OFFSETY的量(OFFSETY=22像素)(步骤S17),处理器150将由步骤S17的处理所设定的对照对象区域的起点的坐标值(Ox=0,Oy=22)发送到脸部检测装置160(步骤S18),并结束图8的步骤S3的处理。
之后,对于将从检测对象区域的基准像素在垂直方向上偏移22像素后的位置作为起点的对照对象区域,进行与上述步骤S4~S7的处理相同的处理,在本例中由于对照未结束(步骤S7:否),所以返回到步骤S3的处理。
之后,反复步骤S3~S7的处理,在步骤S7中,当判定对照结束时(步骤S7:是),对全部的缩小ID判定步骤S6的对照是否结束(步骤S8),在本例中,由于判定对全部的缩小ID的对照结束(步骤S8:否),所以返回步骤S2的处理。
步骤S2中,处理器150设定缩小ID(11)减1后的值(10),并将设定的缩小ID发送至脸部检测装置160(步骤S2),并进入步骤S3的处理。
下面,对步骤S3的处理进行说明。
处理器150,在步骤S2确定缩小ID后,判定是否是最初的对照对象区域的设定(步骤S11),在本例中,由于是最初的设定(步骤S11:是),所以将关于对照对象区域的起点的、自检测对象区域的基准像素起的相对坐标值(Ox,Oy)设定为(0,0)(步骤S12)。
处理器150根据式3、式4表示的公式计算出与步骤S2中设定的缩小ID(10)相对应的移动量(OFFSETX=142像素,OFFSETY=62像素)(步骤S13)。
并且,处理器150计算出检测对象区域(SearchIndex为7、8、11、12的各区间的区域)的尺寸(AREAW=640,AREAH=480)(步骤S14),并将步骤S12的处理中设定的检测对象区域的起点的坐标值(Ox=0,Oy=0)发送至脸部检测装置160(步骤S18),并结束图8的步骤S3的处理。
之后,进行与上述相同的处理,在步骤S8中,当判定为对全部的缩小ID的对照结束时(步骤S8:是),处理器150综合步骤S6中从脸部检测电路162送出的各对照结果并在高析像度图像中特别指定存在脸部图像的区域(步骤S9),并且结束脸部检测处理。
《实施方式2》
<概要>
在实施方式1中,对移动物体检测电路140作为进行移动物体的检测处理的装置进行了说明,下面,对脸部检测装置进行移动物体的检测处理的例子进行说明。
本实施方式的脸部检测装置是在实施方式1的脸部检测装置160的功能的基础上,对于依次存储于图像存储器130的各高析像度图像数据,以规定数间隔,将该高析像度图像数据整体作为检测对象区域而检测脸部图像的装置。
下面,将高析像度图像数据整体作为检测对象区域而检测脸部图像的情况称为“整体检测”,而将如实施方式1说明的那样,将高析像度图像数据中的一部分区域作为检测对象区域而检测脸部图像的情况称为“部分检测”。
当通过全体检测而检测脸部图像时,该脸部检测装置将包含该检测出的脸部图像的区域作为检测对象区域,到接下来进行全体检测时为止的期间,进行部分检测。据此,即使不设置移动物体检测电路140,也能够不大量增加处理量而通过部分检测进行检测。
并且,在全体检测时,该脸部检测装置另外还进行如下处理,即,将缩小4VGA尺寸的高析像度图像数据至QVGA尺寸的图像整体作为对照对象区域而与对照用图像进行对照的处理。据此,能够检测出脸部图像完全占据并包含于高析像度图像数据的、比QVGA尺寸更大的脸部图像。
<结构>
首先,对包含本实施方式的脸部检测装置210的图像处理装置200的结构进行说明。
图10是图像处理装置200的功能框图。
如该图中所示,图像处理装置200从实施方式1中说明的图像处理装置100的结构中除去移动物体检测电路140,另外替代脸部检测装置160而具有脸部检测装置210。脸部检测装置210相当于本发明的对照单元以及第2对照单元。
下面,以与实施方式1不同的部分为中心进行说明。
脸部检测装置210改变实施方式1的析像度变换电路161而具有析像度变换电路211,析像度变换电路211,除了析像度变换电路161的功能之外,另外具有根据来自处理器的指示而缩小高析像度图像数据整体,并生成QVGA尺寸图像的功能。并且,析像度变换电路211相当于本发明的缩小单元以及第2缩小单元。
关于脸部检测电路162,由于与实施方式1相同,所以省略其说明
<动作>
对图像处理装置200的动作进行说明。
图11是表示图像处理装置200的动作的流程图。
另外,以下,将进行整体检测的高析像度图像数据数(帧数)的间隔表示为“NthFrame”(N帧),对该图中的i的初始值以及NthFrame分别为15的装置进行说明。
当从照相机输入电路120接收到将高析像度图像数据存储于图像存储器130的内容通知时,处理器150为了判断是进行整体检测还是进行部分检测,而判定i的值与NthFrame(本例中为15)是否相等(步骤S30),在相等的情况下(步骤S30:是),作为进行整体检测的数值而将i的值设定为1(步骤S31)。
处理器150,对析像度变换电路211进行QVGA尺寸的图像的生成指示,析像度变换电路211根据该指示,读出存储于图像存储器130的高析像度图像数据,并缩小至QVGA尺寸(步骤S32)。
处理器150将步骤S32中生成的QVGA尺寸的图像数据整体确定为检测对象区域(步骤S33)。另外,作为该检测对象区域的指定方法,例如,通过指定与实施方式1中说明的SearchIndex(1~16)不同的值(例如0),从而将QVGA尺寸的图像数据整体指定为检测对象区域。
处理器150以及脸部检测装置210进行实施方式1中说明的图8、图9所示的流程图的步骤S2、S3、S5、S6~S8的处理(图11的步骤S34)。该处理相当于对照各缩小图像和对照用图像并检测脸部图像的处理,其中,上述各缩小图像是以各缩小ID将步骤S32中生成的QVGA尺寸的图像缩小后的缩小图像。
接下来,处理器150将高析像度图像数据整体确定为检测对象区域,将对应于所确定的检测对象区域的区间的SearchIndex(1~16)指定给脸部检测装置210(步骤S35)。
处理器150以及脸部检测装置210进行如实施方式1中说明的图8、图9所示的流程图的步骤S2~S8的处理(图11的步骤S36)。该处理将高析像度图像数据整体作为检测对象区域,相当于与实施方式1中的说明相同地进行部分检测的处理。
处理器150综合步骤S34以及步骤S36的处理结果并在高析像度图像数据中特别指定存在脸部图像的区域(步骤S37),并且结束处理。另外,作为存在脸部图像的区域的特别指定方法,例如,通过以下方式特别指定,即,在将包含于各对照结果的各坐标值变换为高析像度图像数据上的坐标值之后取平均值。
并且,在步骤S30中,在i的值与NthFrame(本例中为15)不相等的情况下(步骤S30:否),作为进行部分检测的数值而使i的值增加1(步骤S38)。
当处理器150通过最近执行的步骤S37的处理而特别指定存在脸部图像的区域时,将包含特别指定的该区域的各区间确定为检测对象区域,并且将对应于所确定的检测对象区域的区间的SearchIndex指定给脸部检测装置210(步骤S39)。
处理器150以及脸部检测装置210进行实施方式1中说明的图8、图9所示的流程图的步骤S2~S8的处理(图11的步骤S40)。该处理将最近进行的整体检测中包含与检测出脸部图像的区域相同位置的区域的各区间作为检测对象区域,相当于与实施方式1中的说明相同地进行部分检测的处理。
处理器150与图8所示的流程图的步骤S9的处理相同,综合图11的步骤S40的处理结果并在高析像度图像数据中特别指定存在脸部图像的区域(步骤S41),并且结束脸部检测处理。
<具体例>
结合图11所示的流程图,对上述图像处理装置200的动作进行具体说明。
下面,以图4所示的高析像度图像数据1000存储于图像存储器130的情况为例进行说明。另外,对以下装置进行说明,即,以该图中的区域1010的图像作为脸部图像,以下说明的开始时点的i为15(初始值),并且,如上所述,NthFrame为15。
<第一帧的处理>
当从照相机输入电路120接收到将高析像度图像数据存储于图像存储器130的内容通知时,处理器150为了判断是进行整体检测还是进行部分检测,而判定i的值与NthFrame(本例中为15)是否相等(步骤S30),由于在本例中相等(步骤S30:是),所以作为进行整体检测的数值而将i的值设定为1(步骤S31)。
处理器150,对析像度变换电路211进行QVGA尺寸的图像的生成指示,析像度变换电路211根据该指示,读出存储于图像存储器130的高析像度图像数据1000,并缩小至QVGA尺寸(步骤S32)。
处理器150将步骤S32中生成的QVGA尺寸的图像数据整体确定为检测对象区域(步骤S33),并为了确定该检测对象区域而指定SearchIndex=0。
处理器150以及脸部检测装置210进行实施方式1中说明的图8、图9所示的流程图的步骤S2、S3、S5、S6~S8的处理(图11的步骤S34)。
具体为,处理器150设定缩小ID(11),将设定的缩小ID发送至脸部检测装置210(图8的步骤S2)、并前进到步骤S3的处理。下面,说明步骤S3的处理。
处理器150,在步骤S2确定缩小ID后,判定是否是最初的对照对象区域的设定(图9的步骤S11),由于在本例中为最初的设定(步骤S11:是),所以,将关于对照对象区域的起点的、自脸部对象区域的基准像素起的相对坐标值(Ox,Oy)设定为(0,0)(步骤S12)。
处理器150根据式3、式4所示的公式计算出与步骤S2中设定的缩小ID(11)相对应的移动量(OFFSETX=102像素,OFFSETY=22像素)(步骤S13)。
并且,处理器150计算出检测对象区域(SearchIndex为0,即,步骤S32中生成的QVGA尺寸的图像数据整体)的尺寸(AREAW=320,AREAH=240)(步骤S14),并将步骤S12的处理中设定的对照对象区域的起点的坐标值(Ox=0,Oy=0)发送至脸部检测装置210(步骤S18),并结束图8的步骤S3的处理。
并且,析像度变换电路211生成缩小图像,该缩小图像是以与步骤S2中指定的缩小ID(11)相对应的缩小率((1/1.22)^11)将对照对象区域(对应于SearchIndex为7的区间)的图像缩小后的缩小图像,并且发送至脸部检测电路162(步骤S5)。
脸部检测电路162,在从析像度变换电路211接收到的缩小图像中,从左上的像素到右下的像素,一边每次以2像素(间拔量)逐渐移动对照用图像一边进行对照,并将对照结果发送至处理器150(步骤S6)。另外,在检测出脸部图像的情况下,对照结果中包含检测出缩小图像中的脸部图像的区域的坐标值并发送。
处理器150,对步骤S1中确定的检测对象区域整体,判定步骤S6的对照是否结束(步骤S7)。在本例中,由于对照结束(步骤S7:是),所以,判定对于全部的缩小ID步骤S6的对照是否结束(步骤S8),在本例中,由于对全部的缩小ID的对照没有结束(步骤S8:否),所以返回步骤S2的处理,使缩小ID为10。进行与上述相同的处理。
一边使缩小ID逐次减1一边重复上述处理,当对全部的缩小ID的对照结束时(步骤S8:是),结束图11的步骤S34的处理,并进入步骤S35。
处理器150将高析像度图像数据整体确定为检测对象区域,将对应于确定的检测对象区域的区间的SearchIndex(1~16)指定给脸部检测装置210(步骤S35)。
处理器150以及脸部检测装置210进行如实施方式1中说明的图8、图9所示的流程图的步骤S2~S8的处理(图11的步骤S36)。由于该处理与实施方式1中说明的相同,所以省略其说明。
处理器150综合步骤S34以及步骤S36的处理结果并在高析像度图像数据1000中特别指定存在脸部图像的区域(区域1010)(步骤S37),并且结束处理。
<第2帧的处理>
接下来,当从照相机输入电路120接收到将高析像度图像数据存储于图像存储器130的内容通知时,并且,由于处理器150在步骤S30中,在i的值(1)与NthFrame(15)不相等(步骤S30:否),所以作为进行部分检测的数值而使i的值增加1(步骤S38)。
由于处理器150通过最近执行的步骤S37的处理而特别指定存在脸部图像的区域(区域1010),将包含特别指定的该区域的各区间(SearchIndex为7、8、11、12的区间)确定为检测对象区域,并且将对应于确定的检测对象区域的区间的SearchIndex(7、8、11、12)指定给脸部检测装置210(步骤S39)。
处理器150以及脸部检测装置210进行实施方式1中说明的图8、图9所示的流程图的步骤S2~S8的处理(图11的步骤S40)。该处理与实施方式1中的说明相同,所以省略说明。
处理器150与图8所示的流程图的步骤S9的处理相同,综合图11的步骤S40的处理结果并在高析像度图像数据中特别指定存在脸部图像的区域(步骤S41),并且结束脸部检测处理。
<考察>
图12是用于说明脸部检测装置210能够检测出的脸部图像的大小的附图。
在该图中,(A)表示,在以缩小高析像度图像数据(4VGA尺寸)至QVGA尺寸的图像整体作为对照对象区域的情况下,能够检测的脸部图像的大小,(B)表示,在将高析像度图像数据中的QVGA尺寸的区域作为对照对象区域的情况下,能够检测的脸部图像的大小。并且,该图中ID0~11的记载表示图3中说明的各缩小ID。
在以高析像度图像数据中的QVGA尺寸(320×240像素)的区域作为对照对象区域的情况下,由于不能够检测出QVGA尺寸以上的脸部图像,所以,如图(B)所示,能够检测出的脸部图像的尺寸为240×240像素以下。
另一方面,在以缩小高析像度图像数据(4VGA尺寸(1280×960像素))至QVGA尺寸的图像整体作为对照对象区域的情况下,如该图(A)所示,能够检测出的脸部图像的尺寸为960×960像素以下。
即,通过实施方式1的脸部检测装置160,由于仅以该图(B)的方法检测脸部图像,所以不能够检测出比240×240像素大的脸部图像,但是通过实施方式2的脸部检测装置210,能够检测出比其大的脸部图像。
并且,如上所述,在以缩小高析像度图像数据(4VGA尺寸)至QVGA尺寸的图像作为对照对象区域的情况下,为了进一步对照根据各缩小ID而缩小的各缩小图像与对照用图像,能够检测出该对照对象区域的尺寸至100像素×100像素左右的脸部图像。即,如该图中所示,为了通过(A)的方法或通过(B)的方法都能够检测出约100×100~240×240像素的脸部图像,所以,在以缩小高析像度图像数据(4VGA尺寸)至QVGA尺寸的图像作为对照对象区域的情况下(对应于图11的步骤S34的处理),在缩小ID为5~11的范围内检测即可。据此,能够进一步抑制用于脸部图像检测的处理量。
<补充>
(1)各实施方式中说明的各组成要素中,可以通过电脑程序实现其全部或一部分,也可以通过1个芯片或多个芯片的集成电路实现。
图13是表示半导体集成电路300的结构例的附图,该半导体集成电路300包含与实施方式1中说明的脸部检测装置160对应的半导体集成电路。
如该图所示,半导体集成电路300包含与脸部检测装置160对应的半导体集成电路,根据使用半导体集成电路300的装置的用途,另外,还包含图像符号化电路、声音处理部、以及ROM等。
半导体集成电路300一般由CMOS等MOS晶体管构成,根据MOS晶体管的连接结构,实现特定的逻辑电路。近年来,由于半导体集成电路的集成度提高,能够通过一个至多个半导体集成电路实现非常复杂的逻辑电路,所以,能够使脸部检测装置160小型化,并且,能够降低电力消耗。
另外,虽然对半导体集成电路300包含与实施方式1的脸部检测装置160相对应的半导体集成电路的装置进行了说明,但是也可以包含与实施方式2的脸部检测装置210相对应的半导体集成电路。
(2)在各实施方式中,虽然对高析像度图像数据中包含1个脸部图像数据的情况,即,对检测对象区域为1的情况举例进行了说明,但是也可以对多个检测对象区域进行检测脸部图像的处理。
(3)在各实施方式中,虽然说明了使对照对象区域的尺寸为QVGA尺寸,并且使对照用图像的尺寸为24×24像素,但是不仅限定于此,也可以分别为任意的尺寸。并且,在对照对象区域的尺寸为任意尺寸的情况下,1区间的尺寸也可以为与对照对象区域的尺寸相匹配的任意尺寸。
并且,虽然对高析像度图像数据的尺寸为4VGA尺寸的装置进行了说明,但是并不仅限定于此,可以为任意尺寸。
(4)虽然对各实施方式中对照用图像为1个种类的装置进行了说明,但是也可以在应检测的脸部图像的脸部的每个方向上准备多个对照用图像,通过与各个对照用图像对照而检测出脸部图像。
(5)在各实施方式中,虽然对缩小对照对象区域的图像的装置进行了说明,但是在使对照用图像的尺寸比对照对象区域的图像的尺寸大的情况下,也可以放大对照对象区域的图像。
并且,在各实施方式中,虽然对使对照用图像的尺寸一定并缩小对照对象区域的图像的装置进行了说明,但是也可以使对照对象区域的图像的尺寸为一定,并扩大或缩小对照用图像的尺寸。
(6)在各个实施方式中,虽然对无论是否检测出脸部图像,都对照检测对象区域的全部对照对象区域的装置进行了说明,但是,在一定的基准(例如,与对照用图像的一致度为预定的阈值以上)下,在判断为检测出脸部图像的情况下,也可以结束对该高析像度图像数据的检测处理。
(7)在各实施方式中,虽然对检测出脸部图像的装置进行了说明,但是也可以检测脸部图像以外的特定图像。作为特定图像,例如,可以是赋予人或物的识别标签,在该情况下,也可以考虑用于由检测出的识别标签的信息识别个人或物的种类。
(8)在各个实施方式中,虽然对脸部检测电路162,在检测出脸部的情况下,将检测出缩小图像中的脸部图像的区域的坐标值包含于检测结果中并发送至处理器150的装置进行了说明,但是,也可以另外含有缩小ID。并且,处理器150基于坐标值和缩小ID而计算出脸部图像的大小也可,其中,上述坐标值包含于由脸部检测电路162送出的各对照结果。
(9)在实施方式1中,虽然对移动物体检测电路140通过比较没有拍摄移动物体的状态的高析像度图像数据和存储于图像存储器130的高析像度图像数据的边缘检测结果,从而检测出移动物体的装置进行了说明。但是这是一个例子,例如,也可以通过取连续生成的高析像度图像数据的像素值的差分而进行检测。
(10)在实施方式1中,虽然如图3所示,对缩小率逐次变化(1/1.22)^n倍的例子进行了说明,但是这是一个例子,也可以以如下方式设定,即,以最小缩小率缩小时的图像(即,缩小程度最高的图像)的尺寸比对照用图像的尺寸大,例如,也可以每次变化(1/1.25)^n倍。
(11)在实施方式1中,虽然说明了以下例子,即,作为图像处理装置100的动作,如图8所示,设定缩小ID的处理(步骤S2)循环中,存在设定对照对象区域的处理(步骤S3)循环,但是反过来也可以。即,更换步骤S2和步骤S3的处理,并且,也可以更换步骤S7和步骤S8的处理。
(12)在实施方式1中,虽然对如下装置进行了说明,即,如图8所示的步骤S2的处理中,使缩小ID的初始值为“11”,每当执行步骤S2的处理时,缩小ID的值减1直至为0的装置,但是,以下方式也可以,即,如果进行对于全部缩小ID的处理,与处理的顺序无关,例如,使缩小ID的初始值为“0”,每当执行步骤S2的处理时,缩小ID的值增加1直至11。
(13)虽然对实施方式1的脸部检测装置160由析像度变换电路161和脸部检测电路162构成的装置进行了说明,但是,移动物体检测电路140以及处理器150的全部或一部分包含于脸部检测装置160也可。在实施方式2中,也可以将处理器150包含于脸部检测装置210。
(14)在实施方式1中,虽然对以下装置进行了说明,即,在图9所示的步骤S13的处理中,处理器150计算出与缩小ID相对应的移动量(OFFSETX,OFFSETY)的装置,但是也可以预先将对应于缩小ID的移动量存储于内部存储器(未图示),使用对应于所存储的缩小ID的移动量。
(15)在实施方式1中,虽然对处理器150进行如图9所示的对照对象区域的设定处理的装置进行了说明,但是脸部检测电路160进行也可。
(16)在实施方式2中,虽然对以下装置进行了说明,即,作为图像处理装置200的动作,如图11所示,作为检测对象区域而设定高析像度图像数据整体(步骤S35)的装置,但是,也可以在每当整体检测时,顺序地将SearchIndex为1~16的区间中的1个区间作为检测对象区域而选择。即,也可以在第一次整体检测中,将SearchIndex为1的区间确定为检测对象区域,而在第2次整体检测中,将SearchIndex为2的区间确定为检测对象区域。据此,能够进一步抑制处理量。
并且,为了提高检测精度,也可以在第一次整体检测中,将SearchIndex为1和2的区间确定为检测对象区域等,将多个区间确定为检测对象区域。
(17)虽然对如下装置进行了说明,即,实施方式2中说明的图11所示的步骤S39的处理,以通过最近执行的步骤S37的处理而特别指定存在脸部图像的区域的情况为前提,基于特别指定的区域,而确定进行部分检测时的检测对象区域的装置,但是,在步骤S37的处理中不特别指定脸部图像的情况下,即,在步骤S34、S36的处理中没有检测出脸部图像的情况下,不进行步骤S39~S41的部分检测也可。
(18)在实施方式2中,虽然对如下装置进行了说明,即,如图11的流程图所示,在i为15的情况下进行整体检测,在i为1~14的情况下进行部分检测的装置,但是,也可以连续进行整体检测直至通过整体检测检测出脸部图像,在通过整体检测检测出脸部图像的情况下,切换为部分检测,在通过部分检测没有检测出脸部图像的情况下,再次切换为整体检测。
工业实用性
本发明的脸部检测装置能够用于监视照相机等脸部图像的检测。

Claims (7)

1.一种检测装置,从输入图像检测出特定图像,其特征在于,具有:
区域确定单元,在上述输入图像中,确定上述特定图像能够存在的检测对象区域;
设定单元,以用分别为一定尺寸的多个对照对象范围覆盖上述区域确定单元所确定的检测对象区域的方式,并且以各个对照对象范围与其他对照对象范围重叠规定宽度量的方式,来设定各对照对象范围的位置;
对照单元,对于每个由上述设定单元所设定的对照对象范围,对照该对照对象范围的图像和对照用图像,由此检测出上述特定图像;以及
倍率确定单元,该倍率确定单元确定关于各对照对象范围的图像的倍率,
由上述设定单元进行的各对照对象范围的位置的设定,以与其它对照对象范围重叠如下宽度量的方式进行,该宽度量与上述倍率确定单元所确定的倍率对应,
由上述对照单元进行的各对照对象范围的图像与对照用图像的对照,对以如下倍率改变了各对照对象范围的图像的尺寸的各图像进行,该倍率是上述倍率确定单元所确定的倍率。
2.如权利要求1所述的检测装置,其特征在于,
上述检测对象区域是上述输入图像的一部分的矩形区域,
上述对照对象范围是上述检测对象区域的一部分的矩形区域,
上述倍率是多个缩小率,
上述检测装置还具有存储单元,该存储单元对于每个缩小率存储各对照对象范围的与其它对照对象范围重叠的宽度,
由上述倍率确定单元进行的倍率确定以及由上述设定单元进行的各对照对象范围的设定,基于上述存储单元存储的信息而进行,
上述对照单元包含缩小单元,该缩小单元对于每个上述倍率确定单元所确定的缩小率,以该缩小率缩小各对照对象范围的图像。
3.如权利要求2所述的检测装置,其特征在于,上述检测装置还具有:
第2缩小单元,将输入图像缩小到与上述对照对象范围的尺寸相同的 尺寸;以及
第2对照单元,通过对照由上述第2缩小单元缩小的输入图像与上述对照用图像而检测出上述特定图像。
4.如权利要求1所述的检测装置,其特征在于,上述检测装置还具有检测单元,该检测单元从上述输入图像检测出表示移动物体的区域,
由上述区域确定单元进行的检测对象区域的确定,基于上述检测单元所检测出的区域而进行。
5.如权利要求1所述的检测装置,其特征在于,上述检测装置还具有图像输入单元,该图像输入单元按照拍摄顺序取得外部照相机装置依次拍摄的多个输入图像,
上述区域确定单元,以上述图像输入单元所取得的规定数量的输入图像作为一个单位,在每个单位中,对于取得顺序为最先的输入图像,将整个区域确定为上述检测对象区域,在上述对照单元对该输入图像检测出上述特定图像的情况下,以包含与含有该特定图像的区域位置相同的区域的方式确定后续于该输入图像的输入图像的检测对象区域。
6.一种检测方法,用于从输入图像检测出特定图像的检测装置,其特征在于,具有:
区域确定步骤,在上述输入图像中,确定上述特定图像能够存在的检测对象区域;
设定步骤,以用分别为一定尺寸的多个对照对象范围覆盖上述区域确定步骤所确定的检测对象区域的方式,并且以各个对照对象范围与其他对照对象范围重叠规定宽度量的方式,来设定各对照对象范围的位置;
对照步骤,对于每个由上述设定步骤所设定的对照对象范围,对照该对照对象范围的图像与对照用图像,由此检测出上述特定图像;以及
倍率确定步骤,该倍率确定步骤确定关于各对照对象范围的图像的倍率,
由上述设定步骤进行的各对照对象范围的位置的设定,以与其它对照对象范围重叠如下宽度量的方式进行,该宽度量与上述倍率确定步骤所确定的倍率对应,
由上述对照步骤进行的各对照对象范围的图像与对照用图像的对照, 对以如下倍率改变了各对照对象范围的图像的尺寸的各图像进行,该倍率是上述倍率确定步骤所确定的倍率。
7.一种检测用集成电路,用于从输入图像检测出特定图像的检测装置,其特征在于,具有:
区域确定单元,在上述输入图像中,确定上述特定图像能够存在的检测对象区域;
设定单元,以用分别为一定尺寸的多个对照对象范围覆盖上述区域确定单元所确定的检测对象区域的方式,并且以各个对照对象范围与其他对照对象范围重叠规定宽度量的方式,来设定各对照对象范围的位置;
对照单元,对于每个上述设定单元所设定的对照对象范围,对照该对照对象范围的图像与对照用图像,由此检测出上述特定图像;以及
倍率确定单元,该倍率确定单元确定关于各对照对象范围的图像的倍率,
由上述设定单元进行的各对照对象范围的位置的设定,以与其它对照对象范围重叠如下宽度量的方式进行,该宽度量与上述倍率确定单元所确定的倍率对应,
由上述对照单元进行的各对照对象范围的图像与对照用图像的对照,对以如下倍率改变了各对照对象范围的图像的尺寸的各图像进行,该倍率是上述倍率确定单元所确定的倍率。
CN2008800005366A 2007-04-13 2008-04-11 检测装置、检测方法及检测用集成电路 Expired - Fee Related CN101542523B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007105605 2007-04-13
JP105605/2007 2007-04-13
PCT/JP2008/000961 WO2008129875A1 (ja) 2007-04-13 2008-04-11 検出装置、検出方法および検出用集積回路

Publications (2)

Publication Number Publication Date
CN101542523A CN101542523A (zh) 2009-09-23
CN101542523B true CN101542523B (zh) 2012-07-25

Family

ID=39875405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800005366A Expired - Fee Related CN101542523B (zh) 2007-04-13 2008-04-11 检测装置、检测方法及检测用集成电路

Country Status (4)

Country Link
US (1) US8249359B2 (zh)
JP (1) JP4814375B2 (zh)
CN (1) CN101542523B (zh)
WO (1) WO2008129875A1 (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4814375B2 (ja) 2007-04-13 2011-11-16 パナソニック株式会社 検出装置、検出方法および検出用集積回路
CN101690168A (zh) * 2008-04-25 2010-03-31 松下电器产业株式会社 图像处理装置、图像处理方法及图像处理用集成电路
JP2010187142A (ja) * 2009-02-11 2010-08-26 Sanyo Electric Co Ltd 物体探索装置
JP5513490B2 (ja) * 2009-04-10 2014-06-04 パナソニック株式会社 物体検出装置、物体検出システム、物体検出用集積回路、物体検出機能付きカメラおよび物体検出方法
JP2011053915A (ja) * 2009-09-02 2011-03-17 Sony Corp 画像処理装置、画像処理方法、プログラム及び電子機器
JP5517555B2 (ja) * 2009-10-19 2014-06-11 キヤノン株式会社 画像処理装置、物体検出方法及びプログラム
US9151646B2 (en) 2011-12-21 2015-10-06 Deka Products Limited Partnership System, method, and apparatus for monitoring, regulating, or controlling fluid flow
CN102542298A (zh) * 2010-12-30 2012-07-04 富泰华工业(深圳)有限公司 电子装置及其图像相似度比较的方法
JP5777422B2 (ja) * 2011-06-30 2015-09-09 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US8485430B2 (en) 2011-12-06 2013-07-16 Honeywell International, Inc. Hand held bar code readers or mobile computers with cloud computing services
US10228683B2 (en) 2011-12-21 2019-03-12 Deka Products Limited Partnership System, method, and apparatus for monitoring, regulating, or controlling fluid flow
US9746093B2 (en) 2011-12-21 2017-08-29 Deka Products Limited Partnership Flow meter and related system and apparatus
US10488848B2 (en) * 2011-12-21 2019-11-26 Deka Products Limited Partnership System, method, and apparatus for monitoring, regulating, or controlling fluid flow
US9041518B2 (en) 2012-01-26 2015-05-26 Hand Held Products, Inc. Portable RFID reading terminal with visual indication of scan trace
US8881982B2 (en) 2012-04-20 2014-11-11 Honeywell Scanning & Mobility Portable encoded information reading terminal configured to acquire images
US9536219B2 (en) 2012-04-20 2017-01-03 Hand Held Products, Inc. System and method for calibration and mapping of real-time location data
US9443119B2 (en) 2012-04-20 2016-09-13 Hand Held Products, Inc. Portable encoded information reading terminal configured to locate groups of RFID tags
US9013275B2 (en) 2012-04-20 2015-04-21 Hand Held Products, Inc. Portable encoded information reading terminal configured to adjust transmit power level
US8727225B2 (en) 2012-04-20 2014-05-20 Honeywell International Inc. System and method for calibration and mapping of real-time location data
US9558386B2 (en) 2012-05-15 2017-01-31 Honeywell International, Inc. Encoded information reading terminal configured to pre-process images
US9064254B2 (en) 2012-05-17 2015-06-23 Honeywell International Inc. Cloud-based system for reading of decodable indicia
US9092683B2 (en) 2012-07-10 2015-07-28 Honeywell International Inc. Cloud-based system for processing of decodable indicia
US9759343B2 (en) 2012-12-21 2017-09-12 Deka Products Limited Partnership Flow meter using a dynamic background image
JPWO2014203687A1 (ja) * 2013-06-17 2017-02-23 コニカミノルタ株式会社 画像処理方法、画像処理装置、および画像処理プログラム
WO2015005001A1 (ja) * 2013-07-08 2015-01-15 本田技研工業株式会社 物体認識装置
US9582886B2 (en) 2013-07-08 2017-02-28 Honda Motor Co., Ltd. Object recognition device
US9594939B2 (en) 2013-09-09 2017-03-14 Hand Held Products, Inc. Initial point establishment using an image of a portion of an object
US10114532B2 (en) * 2013-12-06 2018-10-30 Google Llc Editing options for image regions
CN103927767B (zh) * 2014-04-18 2018-05-04 北京智谷睿拓技术服务有限公司 图像处理方法及图像处理装置
WO2016079868A1 (ja) * 2014-11-21 2016-05-26 楽天株式会社 情報処理装置、情報処理方法及び情報処理プログラム
EP3040904B1 (en) 2014-12-31 2021-04-21 Hand Held Products, Inc. Portable rfid reading terminal with visual indication of scan trace
US9889859B2 (en) * 2015-12-21 2018-02-13 Intel Corporation Dynamic sensor range in advanced driver assistance systems
SG10202110658VA (en) 2016-01-28 2021-11-29 Deka Products Lp Apparatus for monitoring, regulating, or controlling fluid flow
US9881230B2 (en) * 2016-05-11 2018-01-30 International Business Machines Corporation System and method for automated road identification in distant traffic camera images
USD854145S1 (en) 2016-05-25 2019-07-16 Deka Products Limited Partnership Apparatus to control fluid flow through a tube
CN109165629B (zh) * 2018-09-13 2019-08-23 百度在线网络技术(北京)有限公司 多焦距视觉障碍物感知方法、装置、设备及存储介质
USD964563S1 (en) 2019-07-26 2022-09-20 Deka Products Limited Partnership Medical flow clamp
WO2021021596A1 (en) 2019-07-26 2021-02-04 Deka Products Limited Partnership Apparatus for monitoring, regulating, or controlling fluid flow
US20240069559A1 (en) 2020-12-25 2024-02-29 Thk Co., Ltd. Autonomous moving robot
US20230067659A1 (en) * 2021-08-24 2023-03-02 Ford Global Technologies, Llc Systems and methods for detecting vehicle defects

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06325162A (ja) * 1993-05-11 1994-11-25 Nikon Corp 画像処理装置
US6532301B1 (en) * 1999-06-18 2003-03-11 Microsoft Corporation Object recognition with occurrence histograms
JP3564541B2 (ja) 2001-10-29 2004-09-15 独立行政法人産業技術総合研究所 亜鉛アンチモン化合物焼結体及びその製造法
JP4329398B2 (ja) 2002-05-10 2009-09-09 ソニー株式会社 顔検出装置及び方法、並びにプログラム及び記録媒体
JP2005078376A (ja) 2003-08-29 2005-03-24 Sony Corp 対象物検出装置、対象物方法、及びロボット装置
EP1530156B1 (en) 2003-11-07 2012-03-14 Mitsubishi Electric Information Technology Centre Europe B.V. Visual object detection
JP2005173787A (ja) 2003-12-09 2005-06-30 Fujitsu Ltd 移動物体の検出・認識を行う画像処理装置
JP3977802B2 (ja) * 2003-12-16 2007-09-19 株式会社東芝 障害物検出装置、障害物検出方法および障害物検出プログラム
JP2006048322A (ja) * 2004-08-04 2006-02-16 Seiko Epson Corp オブジェクト画像検出装置、顔画像検出プログラムおよび顔画像検出方法
JP4561380B2 (ja) 2005-01-24 2010-10-13 コニカミノルタホールディングス株式会社 検出装置、検出方法及び検出プログラム
JP2006323779A (ja) 2005-05-20 2006-11-30 Canon Inc 画像処理方法、画像処理装置
JP4626493B2 (ja) 2005-11-14 2011-02-09 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP4814375B2 (ja) 2007-04-13 2011-11-16 パナソニック株式会社 検出装置、検出方法および検出用集積回路

Also Published As

Publication number Publication date
WO2008129875A1 (ja) 2008-10-30
JP4814375B2 (ja) 2011-11-16
JPWO2008129875A1 (ja) 2010-07-22
CN101542523A (zh) 2009-09-23
US8249359B2 (en) 2012-08-21
US20100232712A1 (en) 2010-09-16

Similar Documents

Publication Publication Date Title
CN101542523B (zh) 检测装置、检测方法及检测用集成电路
KR101805090B1 (ko) 영역 인식 방법 및 장치
CN102369549B (zh) 用于估计物体位置的信息创建设备、用于估计物体位置的信息创建方法
CN105051492B (zh) 移动终端装置、记录介质以及修正方法
KR20130025346A (ko) 오브젝트 추적 장치
CN102986208A (zh) 成像装置、图像处理方法和用于在其上记录程序的记录介质
EP2309421A1 (en) Image processing method for locating and recognizing barcodes in image frame, computer readable storage medium, and image processing apparatus
CN104573675B (zh) 作业图像的展示方法和装置
US9489715B2 (en) Image display apparatus and image display method
JP2015176272A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
CN101710427B (zh) 面部检测器和面部检测方法
CN110349216A (zh) 货箱位置检测方法及装置
CN107809560A (zh) 对多目相机进行同步的方法和fpga芯片
US20140369563A1 (en) Image Control Method for Defining Images for Waypoints Along a Trajectory
CN106575193A (zh) 用于深度摄影系统中的图像位置选择
CN110008802B (zh) 从多个脸部中选择目标脸部及脸部识别比对方法、装置
CN108491818A (zh) 目标物体的检测方法、装置及电子设备
CN101690168A (zh) 图像处理装置、图像处理方法及图像处理用集成电路
CN105450921A (zh) 图像获取装置及其自动对焦补偿方法
CN106683113A (zh) 特征点跟踪方法和装置
US20110050549A1 (en) Image Display Device
JP2008005438A (ja) 撮像装置及び撮像方法
US20150271400A1 (en) Handheld electronic device, panoramic image forming method and non-transitory machine readable medium thereof
US9842402B1 (en) Detecting foreground regions in panoramic video frames
US20220283698A1 (en) Method for operating an electronic device in order to browse through photos

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20140929

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140929

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120725

Termination date: 20200411

CF01 Termination of patent right due to non-payment of annual fee