CN104601876B - 路人侦测方法与装置 - Google Patents
路人侦测方法与装置 Download PDFInfo
- Publication number
- CN104601876B CN104601876B CN201310585361.2A CN201310585361A CN104601876B CN 104601876 B CN104601876 B CN 104601876B CN 201310585361 A CN201310585361 A CN 201310585361A CN 104601876 B CN104601876 B CN 104601876B
- Authority
- CN
- China
- Prior art keywords
- face
- passerby
- image
- value
- ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 230000035945 sensitivity Effects 0.000 claims description 18
- 238000009434 installation Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 2
- 241000208340 Araliaceae Species 0.000 claims 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 2
- 235000008434 ginseng Nutrition 0.000 claims 2
- 238000004590 computer program Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 2
- 241001212149 Cathetus Species 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013329 compounding Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/634—Warning indications
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种路人侦测方法与装置,适用于具有影像撷取单元的电子装置。此方法包括利用影像撷取单元撷取影像。侦测出现在影像中的至少一个人脸,并取得各人脸的至少一个特征的位置。根据特征的位置,计算各人脸的特征值。计算特征值中至少其一与参考值的比值,并与门槛值比较。当比值小于门槛值时,判定影像中包含至少一个路人。
Description
技术领域
本发明是有关于一种人脸侦测技术的应用,且特别是有关于一种路人侦测方法与装置。
背景技术
随着影像撷取技术的进步,数字相机、以及具有影像撷取功能的手机、平板计算机等电子装置日益普及,各式各样的新功能被提出以便于用户拍摄影像。
目前许多应用程序都被设计来帮助使用者拍摄出更贴近用户预期的影像。其中,在安卓(Android)操作系统上更有可用于移除影像中路人的应用程序被提出。此应用程序是利用连续拍摄多张照片来侦测移动物体,再由用户手动选择欲移除的对象,并使用影像合成技术来达到移除路人的目的。
然而,虽然上述应用程序能移除影像中的路人,但此技术需要拍摄大量的连续影像,将会耗费系统大量储存空间与运算资源。另一方面,此项技术只能将移动的对象从画面中移除,若拍摄主体有移动或是欲移除的对象没有移动,将可能无法准确地将路人从影像中移除。因此,有必要提供一种更为便利的方式,来侦测影像中的路人并帮助使用者拍摄出无路人的影像。
发明内容
本发明提供一种路人侦测方法、装置与计算机程序产品,可自动侦测影像中是否包含路人,便于使用者直觉地拍摄出无路人的影像。
本发明的路人侦测方法适用于具有影像撷取单元的电子装置。此方法先利用影像撷取单元撷取影像,接着侦测出现在影像中的至少一个人脸,并取得各人脸的至少一个特征的位置。之后,根据所述特征的位置,计算各人脸的特征值。再计算特征值中至少其一与参考值的比值,并与门槛值比较。当比值小于门槛值时,判定影像中包含至少一个路人。
在本发明的一实施例中,在上述计算特征值中的至少其一与参考值的比值的步骤为计算所有特征值中的最小值与参考值的比值。
在本发明的一实施例中,在上述计算特征值中的至少其一与参考值的比值,并与一门槛值比较的步骤为:分别计算每一特征值与参考值的比值,并且分别与一门槛值比较;以及,该当该比值小于该门槛值时,判定该影像中包含至少一路人的步骤为:当有任一比值小于门槛值时,判定影像中包含至少一个路人,并且进一步辨识出比值所对应的特征值所属之人脸为路人。
在本发明的一实施例中,在上述计算特征值中的至少其一与该参考值的比值,并与一门槛值比较的步骤为:随机计算所有特征值与参考值的比值,并且分别与一门槛值比较;以及,该当该比值小于该门槛值时,判定该影像中包含至少一路人的步骤为:只要一有比值小于门槛值时,即判定影像中包含至少一个路人。
在本发明的一实施例中,所述方法更包括当影像撷取单元撷取的影像被判定包含路人时,禁止拍摄影像。
在本发明的一实施例中,所述方法更包括当影像撷取单元撷取的影像被判定不包含路人时,可拍摄影像并记录所拍摄影像为图像文件。
在本发明的一实施例中,上述的特征包括两眼及嘴巴,且上述根据特征的位置,计算各人脸的特征值的步骤包括计算由各人脸的两眼及嘴巴的位置所形成之三角形的面积,以作为人脸的特征值。
在本发明的一实施例中,上述的特征包括包围各人脸的脸部定位框,且上述根据特征的位置,计算各人脸的特征值的步骤包括计算包围各人脸的脸部定位框的面积,以作为人脸的特征值。
在本发明的一实施例中,上述的特征包括两眼,且上述根据特征的位置,计算各人脸的特征值的步骤包括计算各人脸的两眼之间的距离,以作为人脸的特征值。
在本发明的一实施例中,在计算特征值中之至少其一与参考值的比值,并与门槛值比较的步骤之前,所述方法更包括调整影像撷取单元的焦距,使影像撷取单元对焦于所述人脸中的一或多个人脸,并使用影像撷取单元对焦的人脸其特征值的平均值作为特征值中的参考值。
在本发明的一实施例中,上述调整影像撷取单元的焦距,使影像撷取单元对焦于人脸之一的步骤包括接收使用者对于人脸之一的选取操作,据以调整影像撷取单元的焦距,使影像撷取单元对焦于选取操作选取的人脸。
在本发明的一实施例中,在使用影像撷取单元对焦的人脸的特征值作为特征值中的参考值的步骤之后,所述方法更包括分别计算各特征值与参考值的比值,并与门槛值比较。当比值小于门槛值时,判定具有对应之特征值的人脸为路人。
在本发明的一实施例中,在计算特征值中至少其一与参考值的比值,并与门槛值比较的步骤之前,所述方法更包括接收使用者对于路人侦测的多个灵敏度之一的选择操作,据以从多个预设门槛值中选择与灵敏度相对应的预设门槛值,作为与比值比较的门槛值。
在本发明的一实施例中,在计算特征值中至少其一与参考值的比值,并与门槛值比较的步骤之前,所述方法更包括计算特征值的平均值或中位数,或取用特征值中的最大值,以作为参考值。
在本发明的一实施例中,上述当该影像撷取单元撷取的该影像被判定包含所述路人时,更包括发出警示讯息以告知用户有路人存在于影像中。
本发明的路人侦测装置包括影像撷取单元、储存单元以及一或多个处理单元。其中,影像撷取单元用以撷取影像。储存单元用以存储多个模块。处理单元耦接于影像撷取单元及储存单元,以存取并执行储存单元中存储的模块的操作,这些模块包括影像撷取模块、人脸侦测模块、特征值计算模块、比较模块以及判断模块。其中,影像撷取模块用以利用影像撷取单元撷取影像。人脸侦测模块用以侦测出现在影像中的至少一个人脸,并取得各人脸的至少一个特征的位置。特征值计算模块用以根据特征的位置,计算各人脸的特征值。比较模块用以计算特征值中至少其一与参考值的比值,并与门槛值比较。判断模块用以当比值小于门槛值时,判定影像中包含至少一个路人。
基于上述,本发明实施例的路人侦测方法、装置与计算机程序产品藉由计算至少一人脸特征值与参考值的比值,并将比值与对应于路人侦测灵敏度的门槛值相比较,从而判断影像中是否包含路人,并据以决定是否撷取并储存影像。藉此,可便于使用者直觉地拍摄出无路人的影像。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合附图作详细说明如下。
附图说明
图1是依照本发明一实施例所绘示的路人侦测装置的方块图。
图2是依照本发明一实施例所绘示的路人侦测方法的流程图。
图3是依照本发明一实施例所绘示的路人侦测方法的范例。
图4是依照本发明一实施例所绘示的路人侦测方法的范例。
图5是依照本发明一实施例所绘示的路人侦测方法的范例。
图6是依照本发明一实施例所绘示的路人侦测方法的范例。
图7是依照本发明一实施例所绘示的路人侦测方法的流程图。
其中,附图标记说明如下:
100:路人侦测装置
110:影像撷取单元
120:储存单元
130:处理单元
121:影像撷取模块
122:人脸侦测模块
123:特征值计算模块
124:比较模块
125:判断模块
126:快门触发模块
127:影像储存模块
300、400、500、600:影像
310:拍摄主体
312、322、510:方形
320:路人
410:三角形
610:直线
S202~S210、S702~S714:步骤
具体实施方式
观察人像摄影的情境可发现,当使用者拍照时,拍摄主体通常离相机较近,而在所拍摄影像中占据较大面积;相对地,非拍摄主体的路人则通常离相机较远,而在影像中占据较小的面积。由此可知,拍摄主体与路人在影像中占据的面积通常不会相等,而是会具有一定程度的比例差异。据此,本发明即以影像中各人脸的脸部面积或两眼距离的大小为依据,当彼此之间的差距过大时,即判定影像中包含路人,并进而控制相机的快门,以避免使用者拍摄到包含路人的影像。藉此,可实现影像的自动路人侦测,并提供使用者便利地拍摄出无路人的影像。
图1是依照本发明一实施例所绘示的路人侦测装置的方块图。请参照图1,本实施例的路人侦测装置100包括影像撷取单元110、储存单元120以及一或多个处理单元130。本实施例的路人侦测装置100可以是数字相机,或是手机、平板计算机等其他具备影像撷取设备的电子装置,在此并不限制其种类。
影像撷取单元110例如是包含光学定焦镜头或光学变焦镜头,以及电荷耦合组件(Charge Coupled Device;CCD)或互补金氧半导体(Complementary Metal-OxideSemiconductor;CMOS)组件等感光组件的装置,在本实施例中,影像撷取单元110用以撷取影像。
储存单元120可以是行动装置100的主存储器、任何型态的固定或可移动随机存取内存(random access memory;RAM)、只读存储器(read-only memory;ROM)、闪存(flashmemory)或类似组件或上述组件的组合。在本实施例中,储存单元120用以储存影像撷取模块121、人脸侦测模块122、特征值计算模块123、比较模块124以及判断模块125等的软件程序及透过前述影像撷取单元110所撷取的影像数据。本实施例中所述储存单元120并未限制是单一内存组件,上述的各软件模块与影像数据亦可以分开储存在不同的二个或二个以上的相同或不同型态的内存组件中。
处理单元130耦接影像撷取单元110与储存单元120。处理单元130可以是中央处理单元(Central Processing Unit;CPU),或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor;DSP)、可程序化控制器、特殊应用集成电路(Application Specific Integrated Circuit;ASIC)或其他类似组件或上述组件的组合。在本实施例中,处理单元130用以存取并执行上述储存单元120中记录的模块,藉以侦测影像中是否包含路人。本实施例中所述处理单元130并未限制是单一处理组件,也可以是二个或二个以上的处理组件共同执行。
图2是依照本发明一实施例所绘示的路人侦测方法的流程图。请同时参照图1与图2,本实施例的方法适用于上述的路人侦测装置100,以下即搭配图1中路人侦测装置100的各项组件,说明本实施例方法的详细流程。
首先,影像撷取模块121利用影像撷取单元110撷取影像(步骤S202)。接着,由人脸侦测模块122侦测出现在影像中的至少一个人脸,并取得各人脸的至少一个特征的位置(步骤S204)。在本实施例中,路人侦测装置100可以是使用安卓操作系统的电子装置,并可藉由安卓系统所支持的人脸侦测(face detection)功能来取得影像中人脸特征的相关信息。其中,上述的特征可以是人脸的左眼、右眼、嘴巴、脸部轮廓等其中之一或其组合,在此并不对特征的选择加以限制。
具体而言,图3是依照本发明一实施例所绘示的路人侦测方法的范例。如图3所示,影像300包括拍摄主体310以及路人320。其中,相较于路人320的人脸面积(即对应于人脸的特征值),拍摄主体310的人脸面积较大。在本实施例中,当影像撷取单元110撷取影像时,路人侦测装置100可透过人脸侦测技术,而在预览(preview)影像时回报影像中所侦测到的人脸信息。藉由上述侦测到的人脸信息,路人侦测装置100可得到对应于各人脸的标识符(face ID),以及对应于各人脸的左眼和右眼的中心坐标位置、嘴巴中心坐标位置、脸部定位框的边界位置等特征的位置。此处的『脸部定位框』为影像撷取单元110通常具备的功能,用以定位出人脸在影像中的位置,如图3中的方形312、322所示。在其他实施例中,路人侦测装置100亦可透过其他人脸侦测算法或相关技术,而从影像中获得上述人脸特征的位置,对此本发明并不限制。
之后,特征值计算模块123根据特征的位置,计算各人脸的特征值(步骤S206)。更明确地说,此处的『特征值』可以对应于人脸在影像中所占的面积,也可以是人脸特征之间在影像中所占的长度,或是其他人脸特征对应于影像中的量值或上述的组合,应用本实施例者可依据其需求提供不同方式来得到上述的特征值,本发明对此不限制。以下将以人脸特征所形成的三角形面积、方形面积以及形成的直线长度作为特征值的方法各举一实施例作为说明。
在一实施例中,人脸的特征值可由两眼及嘴巴所形成的三角形面积来决定。在此实施例中,路人侦测装置藉由人脸侦测技术从影像中获得各人脸对应的人脸信息,并利用人脸信息中的左眼、右眼的中心坐标位置以及嘴巴的中心坐标位置,而可计算上述坐标位置所形成的三角形面积,藉以作为各人脸的特征值。
举例而言,图4是依照本发明一实施例所绘示的路人侦测方法的范例。请参照图4,在此实施例中,人脸的特征值可由两眼及嘴巴所形成的三角形面积来决定。藉由人脸侦测技术所获得的人脸信息,人脸侦测模块122可取得影像400中各人脸对应的两眼及嘴巴在影像中的位置,并由特征值计算模块123根据两眼及嘴巴在影像中的位置,来计算其所形成的三角形面积(如图4中由两眼及嘴巴所形成的三角形410),藉以作为各人脸的特征值。
在一实施例中,人脸的特征值可由包围各人脸的脸部定位框所形成的方形面积来决定。在此实施例中,路人侦测装置藉由人脸侦测技术从影像中获得各人脸对应的人脸信息,并利用人脸信息中的脸部定位框的坐标位置,而可计算脸部定位框所形成的方形面积,藉以作为各人脸的特征值。
举例而言,图5是依照本发明一实施例所绘示的路人侦测方法的范例。在图5的实施例中,人脸的特征值可由包围各人脸的脸部定位框所形成的方形面积来决定。与前一实施例相似,人脸侦测模块122同样可藉由人脸侦测技术所获得的人脸信息,以取得影像500中各人脸对应到的脸部定位框在影像中的位置坐标,并由特征值计算模块123根据脸部定位框的位置坐标,来计算其所形成的方形面积(如图5中由脸部定位框所形成的方形510),藉以作为各人脸的特征值。
在一实施例中,人脸的特征值可由人脸中两眼位置所形成的直线长度,亦即两眼之间的距离来决定。在此实施例中,路人侦测装置藉由人脸侦测技术从影像中获得各人脸对应的人脸信息,并利用人脸信息中的左眼以及右眼的中心坐标位置,而可计算上述坐标位置之间的直线长度,藉以作为各人脸的特征值。
举例而言,图6是依照本发明一实施例所绘示的路人侦测方法的范例。在图6的实施例中,人脸的特征值透过两眼位置之间的距离决定。人脸侦测模块122藉由人脸侦测技术所获得的人脸信息,以取得影像600中各人脸对应的两眼在影像中的位置,并由特征值计算模块123根据两眼在影像中的位置,计算两眼之间的距离(如图6中直线610的长度),以作为各人脸的特征值。
回到图2的流程,在特征值计算模块123计算出影像中各人脸的特征值之后,比较模块124计算特征值中的至少其一与参考值的比值,并与门槛值比较(步骤S208)。当比值小于门槛值时,判断模块125判定影像中包含至少一个路人(步骤S210)。上述的参考值用来对应影像中可能的拍摄主体,而特征值中的至少其一则用来对应影像中可能的路人。此外,上述的门槛值则可对应于路人侦测的灵敏度。换句话说,本实施例即是藉由特征值中的至少其一与参考值的相对大小,并以门槛值的限制作为判断条件,藉此来判断影像中是否包含路人。
在此先以特征值中的最小值作为上述特征值中的至少其一来进行说明。详细来说,在本实施例中,在将最小值与参考值的比值与门槛值比较之前,比较模块124会先藉由各人脸的特征值来决定参考值。上述参考值可以取用所有特征值中的最大值,亦可取用所有特征值的平均值或中位数,在此不限定。另外,参考值也可透过影像撷取单元110所对焦的人脸来决定,也就是以对焦人脸所对应的特征值作为参考值。应用本实施例者可依照其需求而提供获得参考值的不同方式,在此并不加以限制。以下将先对取用所有特征值的最大值、平均值或中位数来作为参考值的方法,各举实施例加以说明。而透过对焦人脸来决定参考值的方法,则在之后的实施例有更详尽的说明,请参阅后述。
具体而言,在一实施例中,比较模块124可直接取用特征值中的最大值来作为参考值。由前述可知,一般情况下,拍摄主体在影像中所对应的特征值会大于路人在影像中所对应的特征值(例如图3中的拍摄主体310的人脸面积即大于路人320的人脸面积)。故在此实施例中,比较模块124直接取用特征值中的最大值来作为参考值。
需说明的是,在一些特定情况,例如当路人从路人侦测装置100与拍摄主体之间经过,将会导致影像中路人所对应的特征值大于拍摄主体。因此,为避免此类状况发生而影响路人侦测的准确度,在一实施例中,比较模块124可计算特征值的平均值来作为参考值。在另一实施例中,比较模块124亦可计算特征值的中位数作为参考值,藉以避免路人所对应的特征值可能大于拍摄主体的特征值的情况。
另一方面,比较模块124在将最小值与参考值的比值与门槛值比较之前,亦可先决定门槛值。在一实施例中,比较模块124可接收用户对于路人侦测的多个灵敏度之一的选择操作,据以从多个预设门槛值中选择与灵敏度相对应的预设门槛值,作为与比值比较的门槛值。也就是说,路人侦测装置100可提供对应于路人侦测灵敏度的选单,以供使用者可依据拍摄环境或主体差异来选择适合的灵敏度,藉以对影像进行路人侦测。
举例而言,路人侦测装置100可提供例如包括低、中、高灵敏度的灵敏度选单,以分别对应25%、50%、75%的门槛值。也就是说,当使用者选择高灵敏度的路人侦测时,影像中的最小人脸特征值与参考值的比值只要小于75%,判断模块125就会判定影像中包含路人;相对地,当使用者选择低灵敏度的路人侦测时,若影像中的最小人脸特征值与参考值的比值则要小于25%,判断模块125才会判定影像中包含路人。在此需说明的是,虽然上述实施例的门槛值采用25%、50%、75%并分别对应低、中、高灵敏度,但本发明并不仅限于此。另外,上述门槛值除了透过使用者手动选择之外,亦可由路人侦测装置100依据环境自动设定,或是依据影像撷取模式而预先设定,本发明对此亦不限制。应用本实施例者可将本发明实施例的精神应用在不同路人侦测的灵敏程度的设定上,只要该侦测方法可依据灵敏程度判定影像中是否存在路人便可符合本实施例的技术范畴。
值得一提的是,在一实施例中,在判断模块125判定影像中包含路人之后,路人侦测装置100会重复上述侦测路人的步骤,持续侦测该影像撷取单元110撷取的下一影像中是否包含所述路人。
上述所公开的实施例在S208的步骤中系该计算特征值中最小值与参考值的比值并与一门槛值作比较,惟在另一实施例中该S208步骤亦可以改变成是分别计算每一特征值与参考值的比值,并且当有任一个比值小于门槛值时,不但可判定影像中包含有至少一个路人,并且还可以进一步地辨识出此比值所对应之特征值所属之人脸为哪一个路人。此外,在又一实施例中,该S208步骤亦可以改变成是系随机计算所有特征值与参考值的比值,并且只要一出现有比值小于门槛值时,即可判定该影像中包含至少一个路人,并且可以不用再计算其它特征值与参考值的比值。
在一实施例中,路人侦测装置100还可透过快门触发模块126接收用户触发的快门讯号,且此快门讯号可以是当用户拍摄影像并按下快门按键时所发出的讯号。当快门触发模块126接收到此快门讯号后,将可据以触发镜头的快门以进行拍摄影像的动作。而当快门触发模块126未接收到此快门讯号时,则不拍摄影像。
需说明的是,此处的『拍摄』指的是用户按下快门按键,并触发镜头的快门而取得影像并可记录为图像文件的动作;而前述的『影像撷取』则是指当路人侦测装置100为开启状态时,影像撷取单元110会每隔一段时间对镜头视野内的画面进行撷取的动作,且所撷取影像会于路人侦测装置100的显示器(未绘示)上显示,以供用户预览影像。
因此,在本实施例中,当判断模块125判定影像撷取单元110所撷取的影像包含路人时,可以透过将快门触发模块126禁能,使得快门触发模块126无法响应用户触发的快门讯号而触发快门(即使用者无法按下快门),从而禁止用户拍摄影像。
在一实施例中,路人侦测装置100还可透过影像储存模块127将影像撷取单元110所拍摄的影像记录为图像文件。具体而言,当判断模块125判定影像撷取单元110所撷取的影像不包含路人(例如路人已被排除的情况)时,快门触发模块126即可响应用户触发的快门讯号而触发快门拍摄影像,而影像储存模块127则可响应于该快门讯号而将所拍摄影像记录为图像文件。
在又一实施例中,当判断模块125判断影像撷取单元110所撷取影像中包含路人时,可以发出一警示讯息以告知用户有路人存在于影像中,而由用户自行决定是否仍要进行拍摄动作。警告讯息可以是显示在一显示器上之警告文字或图像,或是发出警告语音或声响,或是产生震动等等可以让使用者感知之任何方式。
藉此,本发明实施例即可透过影像中各人脸特征值的比较判断出影像中是否包含路人,并可据以禁止或允许用户拍摄影像,让用户能更便利且直觉地拍摄出无路人的影像。
如前所述,在另一实施例中,参考值还可由对焦人脸的特征值来决定,并可进一步透过路人侦测装置100中的对焦模块(未绘示)来实现。以下将详细说明。
当用户拍照时,通常影像撷取单元110可自动对焦于拍摄主体,或可提供使用者藉由在预览画面上点选的方式,控制影像撷取单元110对焦于所点选的拍摄主体。藉由上述概念,在此实施例中,人脸特征值的参考值可由影像撷取单元110所对焦的人脸来决定,也就是以对焦人脸的特征值来作为参考值。
详细来说,图7是依照本发明一实施例所绘示的路人侦测方法的流程图。请同时参照图1与图7,本实施例的方法适用于上述的路人侦测装置100,以下即搭配图1中路人侦测装置100的各项组件,说明本实施例方法的详细流程。
首先,影像撷取模块121利用影像撷取单元110撷取影像(步骤S702)。接着,由人脸侦测模块122侦测出现在影像中的至少一个人脸,并取得各人脸的至少一个特征的位置(步骤S704)。之后,特征值计算模块123根据特征的位置,计算各人脸的特征值(步骤S706)。上述步骤S702~S706的实施方式系与前述实施例中的S202~S206相同或相似,故其详细内容在此不再赘述。
与前述实施例不同的是,在本实施例中,路人侦测装置100还可更包括一对焦模块(未绘示),藉以进一步地透过此对焦模块来调整影像撷取单元110的焦距,使得影像撷取单元110对焦于影像中的一或多个人脸(步骤S708)。其中,在一实施例中,对焦模块可藉由图像处理的方式决定所要对焦的人脸(即自动对焦),而在另一实施例中,对焦模块则可接收用户对于影像中人脸的选取操作,来调整影像撷取单元110的焦距,而使影像撷取单元110对焦于选取操作选取的人脸(即手动对焦)。
接着,比较模块124则可使用这些对焦人脸之特征值的平均值,来作为参考值(步骤S710)。其中,若对焦的人脸只有一个,则直接使用该人脸的特征值来作为参考值。而在决定参考值之后,比较模块124则会分别计算影像中各个人脸之特征值与此参考值的比值,并与门槛值比较(步骤S712)。而在比值小于门槛值时,判断模块125即判定具有对应之特征值的人脸为路人(步骤S714)。需说明的是,在本实施例中,使用者亦可点选所述人脸中的一或多个人脸来决定参考值,本发明对此并不加以限制。
藉此,本发明实施例可透过影像撷取单元自动对焦或手动对焦的人脸,来决定人脸特征值的参考值,而藉由逐一比较各人脸的特征值,则可更精确地判断出影像中出现的每一个人脸是否为路人。再将判断结果与快门结合,则可让使用者更便利且直觉地拍摄出无路人的影像。
另外,本发明实施例的构思亦可与路人删除的技术结合,而有更多元的应用。详细来说,透过本发明实施例提出的路人侦测方式可先判断出影像撷取设备所撷取影像中的哪些人脸是路人,此时再连续拍摄多张影像,并将这些影像中已预先被判定为路人的部分利用影像合成或填补的方式去除,藉此即可省去使用者自行点选以决定删除对象的步骤,从而实现路人的自动删除。
本发明另提供一种计算机程序产品,其是用以执行上述路人侦测方法的各个步骤,此计算机程序产品是由多数个代码段所组成的(例如建立组织结构代码段、签核窗体代码段、设定代码段、以及部署代码段),并且这些代码段在加载电子装置中并执行之后,即可完成上述路人侦测方法的步骤。
综上所述,本发明实施例的路人侦测方法、装置与计算机程序产品可透过侦测影像中人脸特征的位置,来决定各人脸的特征值,并藉由比较这些人脸的特征值,从而自动判断出影像中是否包含路人。当判定影像中包含路人时,本发明可进一步禁止使用者触发快门,或是在使用者触发快门之后,等待影像中的路人消失后才拍摄并记录影像。藉此,透过本发明实施例,可供使用者更便利且直觉地拍摄出无路人的影像。
虽然本发明已以实施例公开如上,然其并非用以限定本发明,任何所属技术领域普通技术人员,在不脱离本发明的构思和范围内,当可作些许的更动与润饰,故本发明的保护范围当视所附的权利要求书所界定者为准。
Claims (24)
1.一种路人侦测方法,适用于具有一影像撷取单元的一电子装置,该方法包括下列步骤:
利用该影像撷取单元撷取一影像;
侦测出现在该影像中的至少一人脸,并取得各所述人脸的至少一特征的位置;
根据所述特征的位置,计算各所述人脸的一特征值;
计算所述特征值的一平均值或一中位数,或取用所述特征值中的一最大值,以作为一参考值;
计算所述特征值中的至少其一与该参考值的一比值,并与一门槛值比较;以及
当该比值小于该门槛值时,判定该影像中包含至少一路人。
2.根据权利要求1所述的路人侦测方法,其中该计算所述特征值中的该至少其一与该参考值的该比值的步骤为:计算所有所述特征值中的最小值与该参考值的该比值。
3.根据权利要求1所述的路人侦测方法,其中该计算所述特征值中的该至少其一与该参考值的该比值,并与一门槛值比较的步骤为:分别计算每一所述特征值与该参考值的该比值,并且分别与一门槛值比较;以及,该当该比值小于该门槛值时,判定该影像中包含至少一路人的步骤为:当有任一该比值小于该门槛值时,判定该影像中包含至少一路人,并且进一步辨识出该比值所对应的该特征值所属的人脸为该路人。
4.根据权利要求1所述的路人侦测方法,其中该计算所述特征值中的该至少其一与该参考值的该比值,并与一门槛值比较的步骤为:随机计算所有所述特征值与该参考值的该比值,并且分别与一门槛值比较;以及,该当该比值小于该门槛值时,判定该影像中包含至少一路人的步骤为:只要一有该比值小于该门槛值时,即判定该影像中包含至少一路人。
5.根据权利要求1所述的路人侦测方法,还包括:
当该影像撷取单元撷取的该影像被判定包含所述路人时,禁止拍摄该影像。
6.根据权利要求1所述的路人侦测方法,还包括:
当该影像撷取单元撷取的该影像被判定不包含所述路人时,该影像可被拍摄并记录所拍摄影像为一图像文件。
7.根据权利要求1所述的路人侦测方法,其中所述特征包括两眼及嘴巴,而该根据所述特征的位置,计算各所述人脸的该特征值的步骤包括:
计算由各所述人脸的所述两眼及嘴巴的位置所形成之一三角形的面积,以作为该人脸的该特征值。
8.根据权利要求1所述的路人侦测方法,其中所述特征包括包围各所述人脸的一脸部定位框,而该根据所述特征的位置,计算各所述人脸的该特征值的步骤包括:
计算包围各所述人脸的该脸部定位框的面积,以作为该人脸的该特征值。
9.根据权利要求1所述的路人侦测方法,其中所述特征包括两眼,而该根据所述特征的位置,计算各所述人脸的该特征值的步骤包括:
计算各所述人脸的所述两眼之间的一距离,以作为该人脸的该特征值。
10.根据权利要求1所述的路人侦测方法,其中在该计算所述特征值中该至少其一与该参考值的该比值,并与该门槛值比较的步骤之前,所述方法还包括:
调整该影像撷取单元的一焦距,使该影像撷取单元对焦于所述人脸之一或多个;以及
使用该影像撷取单元对焦的所述人脸的特征值的一平均值作为所述特征值中的该参考值。
11.根据权利要求10所述的路人侦测方法,其中该调整该影像撷取单元的该焦距,使该影像撷取单元对焦于所述人脸之一的步骤包括:
接收使用者对于所述人脸之一的一选取操作,据以调整该影像撷取单元的该焦距,使该影像撷取单元对焦于该选取操作选取的该人脸。
12.根据权利要求10所述的路人侦测方法,其中该计算所述特征值中的该至少其一与该参考值的该比值,并与一门槛值比较的步骤为:
分别计算各所述特征值与该参考值的该比值,并与该门槛值比较;以及,该当该比值小于该门槛值时,判定该影像中包含至少一路人的步骤为:当该比值小于该门槛值时,判定具有对应之该特征值的该人脸为该路人。
13.根据权利要求1所述的路人侦测方法,其中在计算所述特征值中该至少其一与该参考值的该比值,并与该门槛值比较的步骤之前,所述方法还包括:
接收使用者对于路人侦测之多个灵敏度之一的一选择操作,据以从多个预设门槛值中选择与该灵敏度相对应的该预设门槛值,作为与该比值比较的该门槛值。
14.根据权利要求1所述的路人侦测方法,其中当该影像撷取单元撷取的该影像被判定包含所述路人时,还包含以下步骤:
发出一警示讯息以告知一用户有所述路人存在于影像中。
15.一种路人侦测装置,包括:
一影像撷取单元,以撷取一影像;
一储存单元,存储多个模块;以及
一处理单元,耦接该影像撷取单元及该储存单元,以存取并执行该储存单元存储的所述模块的操作,所述模块包括:
一影像撷取模块,以利用该影像撷取单元撷取一影像;
一人脸侦测模块,以侦测出现在该影像中的至少一人脸,并取得各所述人脸的至少一特征的位置;
一特征值计算模块,以根据所述特征的位置,计算各所述人脸的一特征值;
一比较模块,以计算所述特征值的一平均值或一中位数,或取用所述特征值中的一最大值,以作为一参考值,并计算所述特征值中至少其一与该参考值的一比值,并与一门槛值比较;以及
一判断模块,以当该比值小于该门槛值时,判定该影像中包含至少一路人。
16.根据权利要求15所述的路人侦测装置,其中所述模块还包括:
一快门触发模块,用以接收用户触发的一快门讯号以触发一快门拍摄该影像,并当该判断模块判定该影像中包含所述路人时,该判断模块禁能该快门触发模块,藉以禁止拍摄该影像。
17.根据权利要求15所述的路人侦测装置,其中所述模块还包括:
一快门触发模块,以接收用户触发的一快门讯号以触发一快门拍摄该影像;以及
一影像储存模块,以当该判断模块判定该影像中不包含所述路人时,响应于该快门讯号而记录所拍摄的该影像为一图像文件。
18.根据权利要求15所述的路人侦测装置,其中所述特征包括两眼及嘴巴,而该特征值计算模块计算由各所述人脸的所述两眼及嘴巴的位置所形成之一三角形的面积,以作为该人脸的该特征值。
19.根据权利要求15所述的路人侦测装置,其中所述特征包括包围各所述人脸的一脸部定位框,而该特征值计算模块系计算包围各所述人脸的该脸部定位框的面积,以作为该人脸的该特征值。
20.根据权利要求15所述的路人侦测装置,其中所述特征包括两眼,而该特征值计算模块计算各所述人脸的所述两眼之间的一距离,以作为该人脸的该特征值。
21.根据权利要求15所述的路人侦测装置,其中所述模块还包括:
一对焦模块,以调整该影像撷取单元的一焦距,使该影像撷取单元对焦于所述人脸之一或多个,其中该比较模块使用该影像撷取单元对焦的所述人脸的特征值的一平均值作为所述特征值中的该参考值。
22.根据权利要求21所述的路人侦测装置,其中该对焦模块还用于接收用户对于所述人脸之一的一选取操作,据以调整该影像撷取单元的该焦距,使该影像撷取单元对焦于该选取操作选取的该人脸。
23.根据权利要求21所述的路人侦测装置,其中该比较模块用于分别计算各所述特征值与该参考值的该比值,并与该门槛值比较,而该判断模块在该比值小于该门槛值时,判定具有对应的该特征值的该人脸为该路人。
24.根据权利要求15所述的路人侦测装置,其中该比较模块还用于接收用户对于路人侦测的多个灵敏度之一的一选择操作,据以从多个预设门槛值中选择与该灵敏度相对应的该预设门槛值,作为与该比值比较的该门槛值。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102139349A TWI508001B (zh) | 2013-10-30 | 2013-10-30 | 路人偵測方法、裝置與電腦程式產品 |
TW102139349 | 2013-10-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104601876A CN104601876A (zh) | 2015-05-06 |
CN104601876B true CN104601876B (zh) | 2018-01-05 |
Family
ID=52994942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310585361.2A Active CN104601876B (zh) | 2013-10-30 | 2013-11-19 | 路人侦测方法与装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20150116471A1 (zh) |
CN (1) | CN104601876B (zh) |
TW (1) | TWI508001B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105260732A (zh) * | 2015-11-26 | 2016-01-20 | 小米科技有限责任公司 | 图片处理方法及装置 |
CN105652560B (zh) * | 2016-01-25 | 2018-08-14 | 广东小天才科技有限公司 | 一种自动调节焦距的拍照方法及系统 |
CN105744165A (zh) * | 2016-02-25 | 2016-07-06 | 深圳天珑无线科技有限公司 | 拍照方法、装置及终端 |
US9883097B2 (en) | 2016-06-03 | 2018-01-30 | Google Inc. | Optical flow based auto focus |
CN109427053A (zh) | 2017-08-31 | 2019-03-05 | 丽宝大数据股份有限公司 | 皮肤老化状态评估方法与电子装置 |
JP6974162B2 (ja) * | 2017-12-27 | 2021-12-01 | 富士フイルム株式会社 | 撮影制御システム、撮影制御方法、プログラムおよび記録媒体 |
CN110934591B (zh) * | 2019-09-30 | 2022-12-23 | 宁波华茂优加科技有限公司 | 一种坐姿检测方法及装置 |
US11516386B2 (en) * | 2021-01-22 | 2022-11-29 | Dell Products L.P. | System and method for intelligent imaging sensory classification |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1839410A (zh) * | 2003-07-18 | 2006-09-27 | 佳能株式会社 | 图像处理设备、摄像设备、图像处理方法 |
CN101848337A (zh) * | 2009-03-25 | 2010-09-29 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
CN102111535A (zh) * | 2009-12-23 | 2011-06-29 | 华晶科技股份有限公司 | 提高人脸辨识率的方法 |
CN102300044A (zh) * | 2010-06-22 | 2011-12-28 | 原相科技股份有限公司 | 处理图像的方法与图像处理模块 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0226178D0 (en) * | 2002-11-11 | 2002-12-18 | Johnson Matthey Plc | Desulphurisation |
EP2955662B1 (en) * | 2003-07-18 | 2018-04-04 | Canon Kabushiki Kaisha | Image processing device, imaging device, image processing method |
TW200810558A (en) * | 2006-08-01 | 2008-02-16 | Lin Jin Deng | System and method using a PTZ image-retrieving device to trace a moving object |
US7647831B2 (en) * | 2006-10-20 | 2010-01-19 | Cardiomems, Inc. | Method for measuring pressure inside an anatomical fluid system |
US8817061B2 (en) * | 2007-07-02 | 2014-08-26 | Cisco Technology, Inc. | Recognition of human gestures by a mobile phone |
JP4917509B2 (ja) * | 2007-10-16 | 2012-04-18 | ルネサスエレクトロニクス株式会社 | オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置 |
KR20090093440A (ko) * | 2008-02-29 | 2009-09-02 | 삼성전자주식회사 | 디지털-아날로그 변환기, 소스 드라이버 및 액정디스플레이 장치 |
JP2010028596A (ja) * | 2008-07-23 | 2010-02-04 | Hitachi Ltd | 撮像装置 |
JP5144487B2 (ja) * | 2008-12-15 | 2013-02-13 | キヤノン株式会社 | 主顔選択装置、その制御方法、撮像装置及びプログラム |
WO2011065952A1 (en) * | 2009-11-30 | 2011-06-03 | Hewlett-Packard Development Company, L.P. | Face recognition apparatus and methods |
TWI415010B (zh) * | 2009-12-03 | 2013-11-11 | Chunghwa Telecom Co Ltd | Face recognition method based on individual blocks of human face |
TWI439951B (zh) * | 2010-11-08 | 2014-06-01 | Inst Information Industry | 人臉影像性別辨識系統及其辨識方法及其電腦程式產品 |
CN102004911B (zh) * | 2010-12-31 | 2013-04-03 | 上海全景数字技术有限公司 | 提高人脸识别正确率的方法 |
TW201338516A (zh) * | 2012-03-07 | 2013-09-16 | Altek Corp | 攝像裝置及其攝像方法及人物辨識拍照系統 |
-
2013
- 2013-10-30 TW TW102139349A patent/TWI508001B/zh active
- 2013-11-19 CN CN201310585361.2A patent/CN104601876B/zh active Active
-
2014
- 2014-03-05 US US14/197,222 patent/US20150116471A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1839410A (zh) * | 2003-07-18 | 2006-09-27 | 佳能株式会社 | 图像处理设备、摄像设备、图像处理方法 |
CN101848337A (zh) * | 2009-03-25 | 2010-09-29 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
CN102111535A (zh) * | 2009-12-23 | 2011-06-29 | 华晶科技股份有限公司 | 提高人脸辨识率的方法 |
CN102300044A (zh) * | 2010-06-22 | 2011-12-28 | 原相科技股份有限公司 | 处理图像的方法与图像处理模块 |
Also Published As
Publication number | Publication date |
---|---|
CN104601876A (zh) | 2015-05-06 |
US20150116471A1 (en) | 2015-04-30 |
TWI508001B (zh) | 2015-11-11 |
TW201516890A (zh) | 2015-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104601876B (zh) | 路人侦测方法与装置 | |
CN107258077B (zh) | 用于连续自动聚焦(caf)的系统和方法 | |
CN109671106B (zh) | 一种图像处理方法、装置与设备 | |
KR101560866B1 (ko) | 피부색 영역 및 얼굴 영역에 기초한 뷰포인트 검출기 | |
US10061182B2 (en) | Systems and methods for autofocus trigger | |
CN107950018B (zh) | 图像生成方法和系统、以及计算机可读介质 | |
US8184196B2 (en) | System and method to generate depth data using edge detection | |
CN104333748A (zh) | 获取图像主体对象的方法、装置及终端 | |
CN108632536B (zh) | 一种相机控制方法及装置、终端、存储介质 | |
CN107787463B (zh) | 优化对焦堆栈的捕获 | |
CN108702457B (zh) | 用于自动图像校正的方法、装置和计算机可读存储媒体 | |
CN105227855A (zh) | 一种图像处理方法及终端 | |
CN103402058A (zh) | 一种拍摄图像的处理方法及装置 | |
CN110677580B (zh) | 拍摄方法、装置、存储介质及终端 | |
CN112653835A (zh) | 聚焦状态的判断方法、装置及存储介质 | |
CN105812672A (zh) | 拍照处理方法及装置 | |
CN103424953A (zh) | 自动聚焦方法及装置 | |
CN107155000B (zh) | 一种拍照行为分析方法、装置及移动终端 | |
CN105120153A (zh) | 一种图像拍摄方法及装置 | |
CN110689565B (zh) | 一种深度图确定的方法、装置及电子设备 | |
CN110770786A (zh) | 基于摄像设备的遮挡检测修复装置及其遮挡检测修复方法 | |
JP6645711B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
CN105847700A (zh) | 拍照的方法及装置 | |
CN106101539A (zh) | 一种自拍杆角度调节方法及自拍杆 | |
CN113411505B (zh) | 拍照控制方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |