CN105391922A - 电子装置以及影像撷取方法 - Google Patents

电子装置以及影像撷取方法 Download PDF

Info

Publication number
CN105391922A
CN105391922A CN201510555877.1A CN201510555877A CN105391922A CN 105391922 A CN105391922 A CN 105391922A CN 201510555877 A CN201510555877 A CN 201510555877A CN 105391922 A CN105391922 A CN 105391922A
Authority
CN
China
Prior art keywords
countenance
image
face template
comparison
image acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510555877.1A
Other languages
English (en)
Other versions
CN105391922B (zh
Inventor
郭丁嘉
陈惠萍
山口·尼可·宝琳
林嵩皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN105391922A publication Critical patent/CN105391922A/zh
Application granted granted Critical
Publication of CN105391922B publication Critical patent/CN105391922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/167Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种电子装置以及影像撷取方法。影像撷取方法适用于电子装置其包含影像撷取单元。影像撷取方法包含:利用该影像撷取单元周期性地刷新一第一影像;由该第一影像侦测一脸部表情;判断该脸部表情与一先前脸部表情是否比对相符,其中该先前脸部表情是该至少一处理器先前的侦测结果;以及,当该脸部表情与该先前脸部表情比对不符时,根据该第一影像撷取一目标影像。借此,本发明的一实施例可在不同预览影像之间判断脸部表情是否改变,当脸部表情发生变化时,便自动撷取新的目标影像。

Description

电子装置以及影像撷取方法
技术领域
本发明是有关电子装置,特别是一种可基于脸部表情撷取连续影像的电子装置。
背景技术
近来,由于移动装置与网络科技的发展,人们经常透过网络分享各自的动态与图片。由于上述分享的图片一般而言是透过移动装置(例如手机、平板电脑等)进行拍摄,因此,移动装置的影像撷取应用程序通常必须配置各种拍照功能,例如自拍、滤镜、影像编辑工具等。
然而,目前部分的拍照功能在使用操作上并不直觉。举例来说,当使用者试着进行自拍时,需要将移动装置稳定地保持在离使用者一定距离的位置,并且在尽可能不造成移动装置震动摇晃的情况下按压快门键。否则,撷取到的影像将变得模糊。
因此,目前有发展出几种自动撷取影像的方式。请参阅图1,其绘示一种目前具有相机模块的电子装置其进行的影像撷取方法100的流程图。于步骤S102当中,移动装置进入影像撷取模式,而相机模块用来即时地撷取一预览影像。于步骤S104当中,移动装置的处理单元用以侦测相机模块即时撷取的预览影像中的脸部表情。于步骤S106中,移动装置判断脸部表情是否对应为微笑表情。若脸部表情对应为微笑表情,进入步骤S108。否则回到步骤S104。于步骤S108当中,相机模块用以自动撷取一影像。然而,目前的影像撷取方法100当移动装置进入影像撷取模式后仅提供单张拍照(撷取一张影像)的功能。也就是说,影像撷取方法100并未提供直觉地方式以连续性地撷取影像。
发明内容
本发明内容的一方面是关于一种电子装置,包含至少一处理器。处理器耦接至影像撷取单元,该至少一处理器用以进行下列操作:利用该影像撷取单元周期性地刷新一第一影像;由该第一影像侦测一脸部表情;判断该脸部表情与一先前脸部表情是否比对相符,其中该先前脸部表情是该至少一处理器先前的侦测结果;以及,当该脸部表情与该先前脸部表情比对不符时,根据该第一影像撷取一第二目标影像。
本发明内容的另一方面是关于一种影像撷取方法,适用于一包含一影像撷取单元的电子装置,该影像撷取方法包含:利用该影像撷取单元提供一第一影像;由该第一影像侦测一第一脸部表情;于该第一影像之后,利用该影像撷取单元提供一第二影像;由该第二影像侦测一第二脸部表情;判断该第二脸部表情是否与该第一脸部表情比对相符;以及,当该第二脸部表情与该第一脸部表情比对不符时,自动产生一第二目标影像。
借此,本发明的一实施例可在不同预览影像之间判断人物是否改变了脸部表情,当脸部表情的类型/程度发生变化时,便自动撷取新的目标影像。
附图说明
为让本发明的上述和其他目的、特征、优点与实施例能更明显易懂,所附附图的说明如下:
图1绘示一种目前具有相机模块的电子装置其进行的影像撷取方法的流程图;
图2A绘示根据本发明的一实施例中一种电子装置的示意图;
图2B绘示根据本发明的一实施例中影像撷取方法的流程图;
图2C绘示根据本发明的一实施例中一种影像撷取方法的流程图;
图2D至图2F绘示根据本发明的一实施例中不同脸部表情的示意图;
图3绘示根据本发明的一实施例中一种影像撷取方法的流程图;
图4绘示根据本发明的一实施例中一种影像撷取方法的流程图;以及
图5绘示根据本发明的一实施例中一种影像撷取方法的流程图。
具体实施方式
下文是举实施例配合所附附图作详细说明,但所提供的实施例并非用以限制本发明所涵盖的范围,而结构运作的描述非用以限制其执行的顺序,任何由元件重新组合的结构,所产生具有均等功效的装置,皆为本发明所涵盖的范围。此外,附图仅以说明为目的,并未依照原尺寸作图。
关于本文中所使用的“第一”、“第二”、…等,并非特别指称次序或顺位的意思,亦非用以限定本发明,其仅仅是为了区别以相同技术用语描述的元件或操作而已。其次,在本文中所使用的用词“包含”、“包括”、“具有”、“含有”等等,均为开放性的用语,即意指包含但不限于此。
请参阅图2A,其绘示根据本发明的一实施例中一种电子装置200的示意图。电子装置200包含影像撷取单元202、处理单元204以及储存单元206。其中,处理单元204电性耦接至影像撷取单元202以及储存单元206。
影像撷取单元202用以即时地撷取预览影像并用以撷取至少一目标影像。预览影像周期性地刷新(例如,每秒一张预览影像、每秒24张预览影像等)并传送至处理单元204及/或显示模块(图中未示)。于部分实施例中,预览影像显示于该显示模块上,如此一来使用者可以透过预览影像观察到影像撷取单元202即将拍摄的场景。当使用者操作快门键或是快门按钮时,便触发影像撷取单元202撷取目标影像,其可被储存在储存单元206中。于部分实施例中,影像撷取单元202可为相机模块。
于部分实施例中,目标影像可由处理单元204根据某一特定时间点的预览影像而产生。举例来说,若影像撷取单元202被触发以撷取一特定时间点上的目标影像,则处理单元204可将该特定时间点上的预览影像转储(dump)为目标影像。
于部分实施例中,影像撷取单元202可以是独立设置于电子装置200的外,且与电子装置200以无线方式配对或者与电子装置200透过外接线路电性耦接。
处理单元204包含至少一处理器,其中处理单元204用以执行计算机可执行程序指令。
储存模块206用以储存多个脸部模板以及计算机可执行程序指令,计算机可执行程序指令由处理单元204执行以执行于下列实施例中的影像撷取方法。
于部分实施例中,储存单元206可为非暂态计算机可读取媒体。
参阅图2B,其绘示根据本发明的一实施例中影像撷取方法210的流程图。影像撷取方法210适用于图2A所示的电子装置200。
于步骤S210中,设定处理单元204以及影像撷取单元202进入自动撷取模式。于自动撷取模式中,启动影像撷取单元202并预备撷取一影像。
于自动撷取模式中,执行步骤S212透过影像撷取单元202周期性地刷新即时的预览影像(例如每秒一张预览影像、每秒24张预览影像等)。于部分实施例中,电子装置200(或是影像撷取单元202)的显示模块(图中未示)用以显示步骤S212中得到的预览影像。
于步骤S214中,处理单元204用以侦测影像撷取单元202即时撷取的预览影像中的至少一脸部表情。
于步骤S216中,判断预览影像中的脸部表情与多个先前脸部表情其中一者是否比对相符。若比对相符,则回到步骤S214。上述多个先前脸部表情是先前所侦测到一些脸部表情(也就是在当前预览影像之前所侦测到的脸部表情)并由处理单元204储存/暂存。换句话说,于当前预览影像中所侦测到的脸部表情,会被当作为对应于后续预览影像(在当前预览影像之后所撷取的)的先前脸部表情。
换句话说,若步骤S216中判断侦测到的脸部表情不同于上述先前脸部表情,进入步骤S218。
当自动撷取模式初始启动时(例如当第一次侦测到脸部表情时),此时尚未有任何先前脸部表情被处理单元204所储存/暂存(例如将对应先前脸部表情的数据设定为一空集合)。
于部分实施例中,上述的先前脸部表情为一集合,其包含了在当前预览影像之前一段特定的近期时间区间内(在最近10秒内、在最近一分钟内、在最近五分钟内等)所侦测到的多个脸部表情。
于部分实施例中,上述的先前脸部表情仅包含一个最近脸部表情(例如,在当前影像之前的最近预览影像中所侦测到的最近脸部表情)。于此例子中,在步骤S216中前述预览影像中侦测到的脸部表情仅与最近脸部表情进行比对。最近脸部表情为多个先前脸部表情其中一者。最近脸部表情为影像撷取单元202之前最近一次侦测到的脸部表情。于步骤S216中,若当前预览影像中所侦测的脸部表情不同于最近预览影像中的最近脸部表情,则代表了预览影像中的使用者方才改变了他的表情(由笑脸变为哭脸、由生气转变为笑脸、由笑脸转变为开怀大笑等),于此情况则进入步骤S218。于步骤S218中,影像撷取单元202自动根据预览影像撷取第二目标影像。于部分实施例中,第二目标影像可以是基于预览影像的复制文件。于其他部分实施例中,当预览影像中的人物改变其表情时(即为当前预览影像中所侦测的脸部表情不同于最近脸部表情时),可以触发影像撷取单元202去拍摄第二目标影像。随后,于步骤S219中更新先前脸部表情。于此例中,于当前预览影像中所侦测的脸部表情将被加入到先前脸部表情当中。
另一方面,若步骤S216中,当前预览影像中所侦测的脸部表情并未相异(相同或高度相似)于最近脸部表情,则回到步骤S212。
基于上述实施例,一旦预览影像中的人物变换其表情(改变至不同表情、或是改变至同类型表情的不同程度如微笑至大笑),便启动影像撷取单元202根据表情的变化而自动撷取第二目标影像。
于部分实施例中,在步骤S214中,在预览影像中同步侦测多重脸部表情。在步骤S216中进行判断,若是多重脸部表情其中任何一个相异于先前脸部表情每一者,则进入步骤S218,否则便回到步骤S214。
于部分实施例中,在步骤S214中,在预览影像中同步侦测多重脸部表情。在步骤S216中进行判断,若是多重脸部表情分别相异于各自对应的多个先前脸部表情,则进入步骤S218,否则便回到步骤S214。
于部分实施例中,在步骤S214中,在预览影像中同步侦测多重脸部表情。其中多重脸部表情各自对应到一个对象(例如人物或动物)。在步骤S216中进行判断,若是多重脸部表情相异于各自对应的对象的先前脸部表情,则进入步骤S218。举例来说,步骤S214当中侦测到对应使用者A与使用者B的两个脸部表情。若步骤S216判断目前使用者A的脸部表情相异于对应同一使用者A的各个先前脸部表情,则进入步骤S218。也就是说,只要使用者A与使用者B其中一人改变了脸部表情便进入步骤S218。
于部分实施例中,在步骤S218中,处理单元204将特定时间点(当判断侦测到的脸部表情与各先前脸部表情比对不符时)上的预览影像设定为第二目标影像。
于部分实施例中,在步骤S216中目前侦测脸部表情是采用与最近脸部表情比对的例子中,若是目前侦测脸部表情与最近脸部表情比对不符,则最近脸部表情则由目前侦测脸部表情取代。举例来说,假设“最近脸部表情”与目前的“侦测脸部表情”原本分别为“微笑”与“开怀大笑”。接着,目前的侦测脸部表情“开怀大笑”将取代原本的最近脸部表情,使得最近脸部表情变为“开怀大笑”,并进入步骤S214。
根据上述实施例,每当有表情变化时便能够连续地撷取影像,因此影像撷取方法210并不需要多次进入影像撷取模式便能够连续地撷取多张影像。此外,影像撷取方法210提供了一种直觉的方式让使用者可以在各种不同的脸部表情下撷取影像。
请一并参阅图2C,其绘示根据本发明的一实施例中一种影像撷取方法220的流程图。相较于影像撷取方法210,影像撷取方法220提供有关第一目标影像与第二目标影像被撷取的更多细部作法。于此实施例中,第一目标影像与第二目标影像为电子装置200进入自动撷取模式后所撷取的头两张影像。
步骤S222相似于图2B中的步骤S212。
于步骤S224中,处理单元204用以侦测影像撷取单元202即时撷取的预览影像中的第一脸部表情。于此例子中,此时尚未有任何先前脸部表情被处理单元204所储存/暂存(例如将对应先前脸部表情的数据设定为一空集合)。
于步骤S226中,影像撷取单元202自动撷取第一目标影像。于步骤S224与步骤S226之间,跳过一个比对步骤(或是在图2C中未绘示)因为目前尚未有任何的先前脸部表情,因此,在此情况下预览影像中的第一脸部表情仅将与一个空集合进行比对。
于步骤S228中,预览影像中侦测到的第一脸部表情(对应到第一目标影像)将被储存至储存单元206作为其中一个先前脸部表情。
判断预览影像中的脸部表情与多个先前脸部表情其中一者是否比对相符。若比对相符,则回到步骤S214。上述多个先前脸部表情是先前所侦测到一些脸部表情(也就是在当前预览影像之前所侦测到的脸部表情)并由处理单元204储存/暂存。换句话说,于当前预览影像中所侦测到的脸部表情,会被当作为对应于后续预览影像(在当前预览影像之后所撷取的)的先前脸部表情。
在一定时间之后(基于预览影像的刷新频率而定),于步骤S229中,影像撷取单元202刷新预览影像。换句话说,影像撷取单元202会即时地刷新/更新当前的预览影像(例如每秒一张或每秒24张等)。
于步骤S230中,处理单元204用以侦测影像撷取单元202即时刷新之后的预览影像中的第二脸部表情。
于步骤S232中,处理单元204用以判断第二脸部表情是否与第一脸部表情(先前于步骤S224中所侦测得到)比对相符。若第二脸部表情与第一脸部表情比对相符,则进入步骤S229。另一方面,若第二脸部表情与第一脸部表情比对不符,则进入步骤S234。
于步骤S234中,影像撷取单元202自动撷取第二目标影像,且第二脸部表情则新增至前述的先前脸部表情中,以更新先前脸部表情的集合。此后,对于后续的预览影像其脸部表情的比对,将与多个先前脸部表情逐一比对(或是仅与最新撷取影像的最新脸部表情比对)。而当后续的预览影像中若有人物改变了其表情,便会自动撷取另一影像。
于此实施例中,第一目标影像与第二目标影像实质上均是影像撷取单元202自动撷取的目标影像。其差别在于当电子装置200初始进入自动撷取模式时,因尚未存在任何先前脸部表情的数据,因此,在预览影像中不论侦测到的第一脸部表情为何,均会触发影像撷取单元202自动撷取第一目标影像。当先前脸部表情的数据建立之后,是否撷取第二目标影像则由步骤S232进行判断。
请一并参阅图2D至图2F,其绘示根据本发明的一实施例中不同脸部表情的示意图。于图2D中,预览影像中的人物其被侦测到的脸部表情为微笑,而图2D所示的影像被撷取,并将侦测到的脸部表情储存于先前脸部表情。接着,于图2E中,人物改变了其脸部表情至大笑(其为另一种侦测到的脸部表情)。处理单元204判断此种侦测到的脸部表情(即大笑)是否与先前脸部表情(即微笑)比对相符。因为大笑与微笑两者判断为相异的脸部表情,故影像撷取单元202自动撷取图2E所示的影像。此时,大笑将被新增至先前脸部表情的集合,以更新先前脸部表情。
于图2F中,人物改变了其脸部表情至哭脸,相似于上述描述,由于哭脸相异于先前脸部表情任一者(即微笑以及大笑),影像撷取单元202自动撷取图2F所示的影像,并将哭脸新增至先前脸部表情的集合,以更新先前脸部表情。
于上述实施例中,不同预览影像(在不同时间点下撷取)中的各脸部表情被彼此比对,借此评断使用者在两张预览影像之间是否改变了脸部表情。于实际应用中,利用各脸部表情的原始侦测数据直接进行比对是相对困难的,因为各脸部表情的原始侦测数据通常包含了许多像素、座标、向量及/或脸部特征的各种参数。因为,各脸部表情的原始侦测数据包含的信息量太大将使得彼此之间的比对需要相对较长的运算时间。
请参阅图3,其绘示根据本发明的一实施例中一种影像撷取方法300的流程图。对照图2B中所示的影像撷取方法210,步骤S300,S302与S304近似于步骤S210,S212与S214。图3中的影像撷取方法在步骤S304之后还包含步骤S306,S308,S310以及S312。当步骤S304中侦测到至少一脸部表情时,进入步骤S306。
于影像撷取方法300中,预览影像中所侦测到的脸部表情被映射至多个预设脸部模板。上述预设脸部模板是一般性脸部模版的各种原型态样(例如微笑、大笑、哭脸、害怕、紧张等)。
于步骤S306中,处理单元202用以将侦测到的脸部表情与多个预设脸部模板比较。若侦测到的脸部表情并不符合任何一种预设脸部模板,则回到步骤S302则处理单元202用以继续侦测其他脸部表情。若侦测到的脸部表情符合其中一种预设脸部模板,则进入步骤S308。
于部分实施例中,预设脸部模板包含对应不同程度表情(如微笑与大笑)的脸部模块,举例来说,微笑与大笑的程度可以透过嘴唇的形状加以区别。
于部分实施例中,预设脸部模板包含对应不同表达型态的各种脸部模板,例如不同型态的扮鬼脸表情、不同型态的失望表情。
于部分实施例中,处理模块202判断脸部表情是否符合先前脸部表情其中一者时,是根据一个相似值的比较。当前侦测的脸部表情相对于其中一个先前脸部表情之间的相似值是利用脸部辨识引擎产生。举例来说,若相似值大于预设门槛值时,则判断脸部表情符合预设脸部模板。于部分实施例中,脸部辨识引擎是透过由处理单元所执行的程序码而实现。
于部分实施例中,若相似值持续大于一预定门槛值达一预定时间,则将脸部表情判断为符合预设脸部模板。举例来说,预定时间为两秒钟。若是相似值仅在一秒内持续大于预定门槛值,则判断脸部表情不符合预设脸部模板。
在此先假设,先前操作的过程中,已有脸部表情比对符合预设脸部模板其中一者(称为第一预设脸部模板)。以下为方便说明,将步骤S306当中目前侦测到的脸部表情比对符合的预设脸部模板称为第二预设脸部模板。
于步骤S308中,若第二预设脸部模板(本次比对相符的脸部模板)与第一预设脸部模板(先前操作的过程中相符脸部模板)为相同的话,也就是代表预览影像中的表情并未改变,或是仅有微幅改变但仍属于同一种预设脸部模板的范围内,则回到步骤S302。
上面提到的第一预设脸部模板,是指多个预设脸部模板当中曾经与先前脸部表情比对相符的预设脸部模板。因此,当初次辨识到任何脸部模板时,此时尚未有任何的先前相符脸部模板(也就是先前相符脸部模板为空集合)。
另一方面,若是第二预设脸部模板与第一预设脸部模板为两者不同的话,则进入步骤S310。也就是说,当第二预设脸部模板与第一预设脸部模板相异时(代表预览影像中的表情已明显改变,分别属于不同的预设脸部模板),根据第一影像撷取第二目标影像。
于部分实施例中,在步骤S308中,第二预设脸部模板仅与最新相符脸部模板(第一预设脸部模板)进行比较,最新相符脸部模板为所有先前比对相符的多个脸部模板当中最近一次相符的一组模板(第一预设脸部模板)。若是步骤S308当中,判断第二预设脸部模板并未相异于最新相符脸部模板,则回到步骤S304。
另一方面,若步骤S308判断第二预设脸部模板相异于最新相符脸部模板(第一预设脸部模板),则进入步骤S310,根据第一影像撷取第二目标影像。
于部分实施例中,若画面中同时存在多个脸部表情,在步骤S304中,同时侦测预览影像内的多重脸部表情。如果步骤S306中判断多重脸部表情每一者各自比对符合预设脸部模板其中一者(第二预设脸部模板),则进入步骤S308。若步骤S306中判断多重脸部表情中至少一者比对不符合任何一种预设脸部模板,则回到步骤S302,则处理单元将在每一次预览影像刷新时继续侦测脸部表情。
在步骤S308当中,则将多个脸部表情各自对应的多个第二预设脸部模板,分别与先前纪录中的多个第一预设脸部模板比较。于一实施例中,只要多个脸部表情其中任一个的第二预设脸部模板,不同于先前的第一预设脸部模板,便进入步骤S310,根据第一影像撷取第二目标影像。
于另一实施例中,当多个脸部表情其中每一个第二预设脸部模板,均不同于先前的多个第一预设脸部模板,便进入步骤S310,根据第一影像撷取第二目标影像。
于部分实施例中,在步骤S304中侦测预览影像中的多重脸部表情,其中多重脸部表情各自对应到一个对象(例如人物或动物)。在步骤S306中若是多重脸部其中一者对应到一个第二预设脸部模板,并且在步骤S308当中判断此一第二预设脸部模板相异于先前比对相符的第一预设脸部模板,则进入步骤S310。举例来说,步骤S214当中侦测到对应使用者A与使用者B的两个脸部表情。若步骤S304中侦测对应使用者A以及对应使用者B的两个脸部表情,于步骤S306中每一个脸部表情各自比对到相对应的第二预设脸部模板。若对应使用者A的预设脸部模板不同于对应同一使用者A在先前比对相符的第一预设脸部模板,则进入步骤S310。也就是说,只要使用者A与使用者B其中一人改变了脸部表情便进入步骤S310。
于部分实施例中,在步骤S310中,影像撷取单元202自动撷取一第二目标影像,并将第二目标影像储存在储存单元206中。同时,将本次比对相符的脸部模板(由目前预览影像中取得,也同时是最新的第二目标影像)新增至先前比对相符脸部模板的集合。接着,回到步骤S304。
于部分实施例中,于步骤S308中,先前比对相符脸部模板的集合仅包含最近一次比对相符的脸部模板。也就是说,步骤S308仅将本次比对相符的脸部模板与最近一次比对相符的脸部模板比较。于步骤S310当中,利用当前预览影像(即新的第二目标影像)中取得的本次比对相符的脸部模板取代原本的最近一次比对相符的脸部模板。
如此一来,每当目标人物改变其表情时,影像撷取方法300可用以自动撷取新的影像。
根据上述图2B、图2C以及图3的实施例,当电子装置刚被切换置自动撷取模式时,初始的头一张目标影像(也就是第一目标影像)是根据一开始的预览影像(因为此时还不存在任何的先前脸部表情或先前脸部模板)而产生的。然而,一般来说,最早的第一目标影像通常不会撷取到理想的目标影像,因为这时候预览影像中的人物常常还没有准备好进行拍照,或是摄影者常常还没把电子装置稳定握持(在刚切换到自动撷取模式的第一时间),以至于无法拍出清楚的高品质照片。因此,下列实施例提出一种确认机制,用于在电子装置被切换至自动撷取模式后并在拍摄第一目标影像之前所采用的做法。
请一并参阅图4,图4绘示根据本发明的一实施例中一种影像撷取方法400的流程图。相较于影像撷取方法210,步骤S400,S402相似于步骤S210与S212。
于步骤S404中,处理单元204用以侦测影像撷取模块202所撷取的预览影像中的眼睛位置。接着,处理单元204判断该眼睛位置(或脸部位置)保持稳定达第一预定时长。若眼睛位置(或脸部位置)保持稳定未达第一预定时长,则回到步骤S404。当眼睛位置(或脸部位置)保持稳定达到第一预定时长时,进入步骤S408。换句话说,步骤S404用以侦测预览影像中的人物是否准备好了(根据其眼睛或脸部位置是否稳定),于此实施例中,仅当人物准备完成后才会开始产生第一目标影像。
于步骤S408中,影像撷取单元202撷取一第一目标影像并将其储存在储存模块206中。于此同时,处理单元204用以开始一计时器,借以开始一时间计数(其代表所经过的时间长度)。
于步骤S410中,影像撷取单元202刷新预览影像,即把预览影像更新为目前影像撷取单元202前所呈现的当前场景。
于步骤S411中,处理单元204用以即时性侦测影像撷取单元202所撷取的预览影像中至少一个脸部表情。
于步骤S412中,处理单元204判断计时器的时间计数是否大于预定数值。若计时器的时间计数大于预定时间数值,则进入步骤S420。影像撷取方法400进入步骤S420时结束。若计时器的时间计数尚未大于预定数值,则进入步骤S414。换句话说,影像撷取单元202在预定时间数值的固定时间长度内用以撷取影像。举例来说,假设预定时间数值为十秒,则影像撷取单元202在开始计时的十秒之内持续地撷取影像。
于步骤S414中,处理单元204判断脸部表情是否比对符合预设脸部模板。若脸部表情未符合任何预设脸部模板,则进入步骤S410。若脸部表情符合其中一个预设脸部模板,则进入步骤S416。
于步骤S416当中,处理单元204侦测本次比对相符的脸部模板是否相同于其中一个先前比对相符的脸部模板。若本次比对相符的脸部模板相同于其中一个先前比对相符的脸部模板,则进入步骤S410。若本次比对相符的脸部模板相异于任一个先前比对相符的脸部模板,则进入步骤S418。
于部分实施例中,在步骤S416中,本次比对相符的脸部模板仅与最新相符脸部模板进行比较。最新相符脸部模板为所有先前比对相符的多个脸部模板当中最近一次相符的一组模板。若是步骤S416当中,判断本次比对相符的脸部模板并未相异于最新相符脸部模板,则回到步骤S410。另一方面,若步骤S416判断本次比对相符的脸部模板相异于最新相符脸部模板,则进入步骤S418。
于步骤S418中,影像撷取单元202自动撷取第二目标影像,并将其储存至储存单元206。于此同时,将本次比对相符的脸部模板新增至先前比对相符的脸部模板。接着回到步骤S410。
于部分实施例中,步骤S416中本次比对相符的脸部模板仅与最新相符脸部模板进行比较。因此,在步骤S418中,则由本次比对相符的脸部模板取代原本的最新相符脸部模板。
于部分实施例中,在撷取两个连续的目标影像之间存在一个最小的时间间隔(例如一秒)。这个最小的时间间隔用来避免影像撷取单元202变得过于敏锐。如果预览影像中的脸部表情的侦测结果为非常快速地改变(例如每秒改变十次)时,如此快速变化的表情侦测结果可能是不准确的(因为实际情况下一般人很难在如此短暂的时间内快速且剧烈地改变脸部表情),如此过于敏锐的侦测结果有时会发生在使用者的脸部晃动或是相机本身被移动时。根据上述过于敏锐的侦测结果来拍摄大量的目标影像(例如一秒内十张)是不理想的。根据影像撷取方法400,两张目标影像的产生需要至少相差该最小时间间隔(例如一秒)。
请参阅图5,其绘示根据本发明的一实施例中一种影像撷取方法500的流程图。相对于影像撷取方法400,步骤S500,S502,S504以及S506相似于步骤S400,S402,S404以及S406以判断场景中的人物是否已准备好要进行摄影。
于步骤S508中,影像撷取单元202撷取第一目标影像并储存在储存单元206中。
于步骤S508中,处理单元204用以开始或重置计时器。第一次进行步骤S509时,处理单元204触发计时器开始计时。否则,处理单元204用以重置计时器。
步骤S510,S511,S512,S514,S516与S520相似于图4中的步骤S410,S411,S412,S414,S416以及S420。
于步骤S518中,影像撷取单元202自动撷取第二目标影像,并将其储存至储存单元206。于此同时,将本次比对相符的脸部模板新增至先前比对相符的脸部模板。接着回到步骤S509,如此一来,计时器将被重置。也就是说,当脸部表情在预定时间长度(与时间计数比对的预定数值)内改变时,当前侦测脸部表情比对到另一个不同的脸部模板,处理单元便重置计时器。举例来说,预定数值设定为五秒,当使用者在读数到达三秒时改变表情,使得新的侦测脸部表情比对到另一个脸部模板,如此一来,计时器将被重置,使得计时器的时间计数重新变为零。如此一来,当脸部表情在接下来的五秒内对应到另一个不同的脸部模板时,影像撷取单元202用以撷取另一个第二目标影像。
于部分实施例中,步骤S516中,本次比对相符的脸部表情仅与先前最新相符脸部模板进行比较。据此,于步骤S518中,由本次比对相符的脸部表情取代原本的最新相符脸部模板。
于部分实施例中,两张连续的撷取目标影像之间具有最小的时间间隔为一秒。这个最小的时间间隔用来避免影像撷取方法500变得过于敏锐。根据影像撷取方法500,两张目标影像(第一目标影像与第二目标影像之间,或是两张第二目标影像之间)的产生需要至少相差该最小时间间隔(例如一秒)。
基于上述实施例,影像撷取方法400用以根据表情变化在一段固定的时间长度(例如5秒或10秒)内自动撷取影像。而影像撷取方法500用以根据表情变化在一段可变动的时间长度(每当撷取了新的目标影像便同时延长此一可变动时间长度)内自动撷取影像。
虽然本发明已以实施方式揭露如上,然其并非用以限定本发明,任何本领域具通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰,因此本发明的保护范围当视所附的权利要求书所界定的范围为准。

Claims (10)

1.一种电子装置,其特征在于,包含:
至少一处理器,耦接至一影像撷取单元,该至少一处理器用以进行:
利用该影像撷取单元周期性地刷新一第一影像;
由该第一影像侦测一脸部表情;
判断该脸部表情与一先前脸部表情是否比对相符,其中该先前脸部表情是该至少一处理器先前的侦测结果;以及
当该脸部表情与该先前脸部表情比对不符时,根据该第一影像撷取一第二目标影像。
2.根据权利要求1所述的电子装置,其特征在于,该至少一处理器还用以进行:
利用该第一影像中侦测到的该脸部表情更新该先前脸部表情。
3.根据权利要求1所述的电子装置,其特征在于,电子装置还包含一储存单元,该储存单元还储存至少一预设脸部模板,于判断该脸部表情与该先前脸部表情是否比对相符时,该至少一处理器进一步用以进行:
判断该脸部表情与该至少一预设脸部模板其中一者是否比对相符;
判断该相符的预设脸部模板与一先前相符脸部模板是否比对相符,其中该先前相符脸部模板与该先前脸部表情比对相符;以及
当该相符的预设脸部模板与该先前相符脸部模板比对不符时,根据该第一影像撷取该第二目标影像。
4.根据权利要求1所述的电子装置,其特征在于,该至少一处理器还用以进行:
于该第一影像中侦测一眼睛位置;
判断该眼睛位置是否保持稳定一第一预定时长;以及
当该眼睛位置保持稳定达到该第一预定时长时,根据该第一影像撷取一第一目标影像。
5.根据权利要求4所述的电子装置,其特征在于,该至少一处理器还用以进行:
由该第一目标影像撷取时开始一时间计数;以及
判断该时间计数是否小于一预定数值;
其中,该至少一处理器是于该时间计数小于该预定数值时,侦测该第一影像中的该脸部表情,并于该脸部表情与该先前脸部表情比对不符时,利用该影像撷取单元根据该第一影像撷取该第二目标影像。
6.根据权利要求5所述的电子装置,其特征在于,当该影像撷取单元产生该第一目标影像或该第二目标影像时,该时间计数重置。
7.一种影像撷取方法,其特征在于,适用于一包含一影像撷取单元的电子装置,该影像撷取方法包含:
利用该影像撷取单元提供一第一影像;
由该第一影像侦测一第一脸部表情;
于该第一影像之后,利用该影像撷取单元提供一第二影像;
由该第二影像侦测一第二脸部表情;
判断该第二脸部表情是否与该第一脸部表情比对相符;以及
当该第二脸部表情与该第一脸部表情比对不符时,自动产生一第二目标影像。
8.根据权利要求7所述的影像撷取方法,其特征在于,还包含:
于该第一影像中侦测一眼睛位置;
判断该眼睛位置是否保持稳定一第一预定时长;以及
当该眼睛位置保持稳定达到该第一预定时长时,由该影像撷取单元撷取一第一目标影像。
9.根据权利要求8所述的影像撷取方法,其特征在于,还包含:
由该第一目标影像撷取时开始一时间计数;
判断该时间计数是否小于一预定数值;以及
当该时间计数小于该预定数值时,侦测该第二影像中的该第二脸部表情。
10.根据权利要求7所述的影像撷取方法,其特征在于,该电子装置中储存有多个预设脸部模板,该影像撷取方法还包含:
将该第一脸部表情比对为所述预设脸部模板其中一第一预设脸部模板;以及
将该第二脸部表情比对为所述预设脸部模板其中一第二预设脸部模板;
其中,该判断该第二脸部表情是否与该第一脸部表情比对相符的步骤包含判断该第二预设脸部模板与该第一预设脸部模板是否比对相符;
其中,当该第二预设脸部模板与该第一预设脸部模板比对不符时,产生该第二目标影像。
CN201510555877.1A 2014-09-02 2015-09-02 电子装置以及影像撷取方法 Active CN105391922B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462044431P 2014-09-02 2014-09-02
US62/044,431 2014-09-02
US14/623,526 US9571725B2 (en) 2014-09-02 2015-02-17 Electronic device and image capture method thereof
US14/623,526 2015-02-17

Publications (2)

Publication Number Publication Date
CN105391922A true CN105391922A (zh) 2016-03-09
CN105391922B CN105391922B (zh) 2019-04-26

Family

ID=53016477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510555877.1A Active CN105391922B (zh) 2014-09-02 2015-09-02 电子装置以及影像撷取方法

Country Status (4)

Country Link
US (1) US9571725B2 (zh)
EP (1) EP2993891B1 (zh)
CN (1) CN105391922B (zh)
TW (1) TWI561081B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203332A (zh) * 2016-07-08 2016-12-07 北京光年无限科技有限公司 基于智能机器人视觉识别人脸面部表情变化的方法及系统
CN113518211A (zh) * 2020-04-10 2021-10-19 中强光电股份有限公司 投影系统以及投影操作方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784615A (zh) 2016-03-25 2020-10-16 北京三星通信技术研究有限公司 多媒体信息处理的方法和装置
US10748579B2 (en) * 2016-10-26 2020-08-18 Adobe Inc. Employing live camera feeds to edit facial expressions
JP7156242B2 (ja) * 2019-10-18 2022-10-19 トヨタ自動車株式会社 情報処理装置、プログラム及び制御方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1905629A (zh) * 2005-07-26 2007-01-31 佳能株式会社 摄像装置和摄像方法
US20070195174A1 (en) * 2004-10-15 2007-08-23 Halpern Oren System and a method for improving the captured images of digital still cameras
TW200915854A (en) * 2007-09-28 2009-04-01 Hon Hai Prec Ind Co Ltd System and method for best shooting moment selectable
US20090087099A1 (en) * 2007-09-28 2009-04-02 Fujifilm Corporation Image processing apparatus, image capturing apparatus, image processing method and recording medium
CN101477621A (zh) * 2009-02-20 2009-07-08 深圳华为通信技术有限公司 一种基于人脸识别的图像更新方法及装置
CN101625505A (zh) * 2008-07-10 2010-01-13 华晶科技股份有限公司 脸部辨识的连续拍照方法
JP2012231327A (ja) * 2011-04-26 2012-11-22 Canon Inc 撮像装置、撮像方法及びプログラム
CN103685940A (zh) * 2013-11-25 2014-03-26 上海斐讯数据通信技术有限公司 一种通过表情识别拍摄照片的方法
CN103914150A (zh) * 2014-04-08 2014-07-09 小米科技有限责任公司 摄像头控制方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4197019B2 (ja) * 2006-08-02 2008-12-17 ソニー株式会社 撮像装置および表情評価装置
JP4453721B2 (ja) * 2007-06-13 2010-04-21 ソニー株式会社 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
KR101369752B1 (ko) * 2007-07-06 2014-03-06 삼성전자주식회사 디지털 영상 처리 장치 및 그 제어 방법
CN101388070B (zh) * 2007-09-14 2011-11-30 鸿富锦精密工业(深圳)有限公司 选择最佳时机捕获影像的系统及方法
TW201003537A (en) 2008-07-04 2010-01-16 Altek Corp Continuous photographing method for facial identification
JP2010147808A (ja) * 2008-12-18 2010-07-01 Olympus Imaging Corp 撮像装置および撮像装置における画像処理方法
JP2014164697A (ja) * 2013-02-27 2014-09-08 Canon Inc 画像処理装置および画像処理方法、プログラム、並びに記憶媒体

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070195174A1 (en) * 2004-10-15 2007-08-23 Halpern Oren System and a method for improving the captured images of digital still cameras
CN1905629A (zh) * 2005-07-26 2007-01-31 佳能株式会社 摄像装置和摄像方法
TW200915854A (en) * 2007-09-28 2009-04-01 Hon Hai Prec Ind Co Ltd System and method for best shooting moment selectable
US20090087099A1 (en) * 2007-09-28 2009-04-02 Fujifilm Corporation Image processing apparatus, image capturing apparatus, image processing method and recording medium
CN101625505A (zh) * 2008-07-10 2010-01-13 华晶科技股份有限公司 脸部辨识的连续拍照方法
CN101477621A (zh) * 2009-02-20 2009-07-08 深圳华为通信技术有限公司 一种基于人脸识别的图像更新方法及装置
JP2012231327A (ja) * 2011-04-26 2012-11-22 Canon Inc 撮像装置、撮像方法及びプログラム
CN103685940A (zh) * 2013-11-25 2014-03-26 上海斐讯数据通信技术有限公司 一种通过表情识别拍摄照片的方法
CN103914150A (zh) * 2014-04-08 2014-07-09 小米科技有限责任公司 摄像头控制方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203332A (zh) * 2016-07-08 2016-12-07 北京光年无限科技有限公司 基于智能机器人视觉识别人脸面部表情变化的方法及系统
CN113518211A (zh) * 2020-04-10 2021-10-19 中强光电股份有限公司 投影系统以及投影操作方法

Also Published As

Publication number Publication date
CN105391922B (zh) 2019-04-26
TW201611605A (zh) 2016-03-16
EP2993891A1 (en) 2016-03-09
US9571725B2 (en) 2017-02-14
EP2993891B1 (en) 2022-03-23
TWI561081B (en) 2016-12-01
US20160065841A1 (en) 2016-03-03

Similar Documents

Publication Publication Date Title
CN105391922A (zh) 电子装置以及影像撷取方法
CN113727012B (zh) 一种拍摄方法及终端
US20170032219A1 (en) Methods and devices for picture processing
WO2016058456A1 (zh) 拍照方法及智能终端、云端服务器
US10447940B2 (en) Photographing apparatus using multiple exposure sensor and photographing method thereof
CN107395957B (zh) 拍照方法、装置、存储介质及电子设备
CN107360366B (zh) 拍照方法、装置、存储介质及电子设备
CN103685940A (zh) 一种通过表情识别拍摄照片的方法
CN104683692A (zh) 一种连拍方法及装置
US9743048B2 (en) Imaging apparatus, camera unit, display unit, image-taking method, display method and computer readable recording medium recording program thereon
CN103945109A (zh) 摄像装置及其控制方法、远程控制装置及其控制方法
WO2019214574A1 (zh) 图像拍摄方法、装置及电子终端
US20100188520A1 (en) Imaging device and storage medium storing program
US9706102B1 (en) Enhanced images associated with display devices
CN111800569A (zh) 拍照处理方法、装置、存储介质及电子设备
CN113709368A (zh) 图像显示方法、装置及设备
CN110191324B (zh) 图像处理方法、装置、服务器及存储介质
CN108376243A (zh) 信息处理设备和摄像设备及其控制方法以及记录介质
CN108184056B (zh) 抓拍方法及终端设备
CN103873755A (zh) 跳跃人像拍摄系统及方法
US9088699B2 (en) Image communication method and apparatus which controls the output of a captured image
US20140307918A1 (en) Target-image detecting device, control method and control program thereof, recording medium, and digital camera
CN107301404B (zh) 指纹录入方法及装置
CN111726531B (zh) 图像拍摄方法、处理方法、装置、电子设备及存储介质
TWI611693B (zh) 智能自拍方法及其系統

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant