CN109474785A - 电子装置和电子装置的焦点追踪拍照方法 - Google Patents

电子装置和电子装置的焦点追踪拍照方法 Download PDF

Info

Publication number
CN109474785A
CN109474785A CN201811469213.3A CN201811469213A CN109474785A CN 109474785 A CN109474785 A CN 109474785A CN 201811469213 A CN201811469213 A CN 201811469213A CN 109474785 A CN109474785 A CN 109474785A
Authority
CN
China
Prior art keywords
target person
feature set
image
matched
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811469213.3A
Other languages
English (en)
Inventor
吕璐
李斌
于士鹏
田素刚
杨泗群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN201811469213.3A priority Critical patent/CN109474785A/zh
Publication of CN109474785A publication Critical patent/CN109474785A/zh
Priority to PCT/KR2019/016477 priority patent/WO2020111776A1/en
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

提供了一种电子装置和电子装置的焦点追踪拍照方法。提供了一种电子装置的焦点追踪拍照方法,可包括以下步骤:在预览模式下捕获图像;确定图像中是否出现多个人脸,如果出现多个人脸,则针对每个人脸进行面部特征提取;将提取出的每个面部特征与一个或更多个目标人物特征集分别进行匹配,以确定图像中是否出现匹配的目标人物;根据匹配的结果对匹配的目标人物进行自动聚焦。

Description

电子装置和电子装置的焦点追踪拍照方法
技术领域
本发明的各种实施例总体上涉及拍摄装置和方法,更具体地,涉及一种能够拍照的电子装置以及电子装置的焦点追踪拍照方法。
背景技术
随着科技的发展,带摄像头的智能设备已成为当前时代的主流终端设备,并且已经成为拍照的主要工具。在现有技术中利用移动终端给人物拍照时,当摄像头采集的拍照预览图像中存在多张人脸时,终端设备通常会基于人脸识别对预览图像中的所有人脸进行自动对焦,或者通过手指指点击屏幕选中目标来进行对焦。
综上所述,现有技术中电子装置进行拍照时至少存在以下缺陷:需要用户选择目标并反复对焦,过程比较繁琐,导致操作效率低下。
发明内容
示例性实施例解决以上的缺点和上面没有描述的其他缺点。此外,示例性实施例不需要克服以上描述的缺点,并且示例性实施例可以不克服以上描述的问题中的任意问题。
根据本公开的一方面,提供了一种电子装置的焦点追踪拍照方法,可包括以下步骤:确定预览模式下捕获的图像中是否出现多个人脸,如果出现多个人脸,则针对每个人脸进行面部特征提取;将提取出的每个人脸的面部特征与一个或更多个目标人物特征集分别进行匹配,以确定图像中是否出现匹配的目标人物;根据图像中出现的匹配的目标人物的相关信息对匹配的目标人物进行自动聚焦。
根据本公开的另一方面,提供了一种电子装置,可包括:特征提取单元,被配置为确定预览模式下捕获的图像中是否出现多个人脸,如果出现多个人脸,则针对每个人脸进行面部特征提取;特征匹配单元,被配置为将提取出的每个人脸的面部特征与一个或更多个目标人物特征集分别进行匹配,以确定图像中是否出现匹配的目标人物;聚焦单元,被配置为根据图像中出现的匹配的目标人物的相关信息对匹配的目标人物进行自动聚焦。
在电子装置的焦点追踪模式被激活的时,电子装置可以在人群中快速地识别出电子装置的用户可能感兴趣的人物,并进行自动聚焦,从而避免用户难以调整焦点的弊端。这具有缩短拍摄时间和提高拍摄质量的附加优点。此外,在户外、景点等人多的地方拍照,可有效地降低陌生人的影响。
附图说明
通过参照附图详细地描述本发明的示例性实施例,本发明的以上和其它特征以及优点将变得更清楚,其中:
图1是示出根据本公开的实施例的电子装置的示例构造的示图;
图2是示出根据本公开的实施例的目标人物特征集管理单元建立和更新目标人物特征集的方法的流程图;
图3A至图3E是示出根据本公开的实施例的在焦点追踪模式下聚焦单元的操作;
图4是示出根据本公开的实施例的电子装置的在焦点追踪模式下的焦点追踪拍照方法的流程图。
具体实施方式
在下文中将参照示出本发明的说明性的实施例的附图,更充分地描述本发明。然而,本发明可以以很多形式被实施,并且不应被解释为受限于在此描述的实施例;与之相反,提供这些实施例使得本公开将是彻底的并完整的,并且将发明的范围充分地传达给本领域技术人员。贯穿本公开,相同的标号可被理解为指示相同的部分、组件和结构。
在此使用的术语仅为了描述具体实施例的目的,而非意图限制本发明。
将理解:除非上下文清楚地另有指示,否则单数形式包括复数指代。还将理解:在说明书中使用术语“包括”时,术语“包括”指定声明的特征、整体、步骤、操作、元件和/或组件的存在,但不排除一个或更多个其它特征、整体、步骤、操作、元件、组件和/或其组合的存在或附加。
除非另有定义,否则在此使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员的一般理解相同的含义。还将理解:应该将术语(诸如常用词典中所定义的术语)解释为具有与在相关领域的上下文中的它们的含义一致的含义,并且除非在此被明确地这样定义,否则将不以理想的或过于正式的含义解释所述术语。
以下将参照附图1来详细描述电子装置中的相关元件。
图1是示出根据本发明的实施例的电子装置的示例构造的框图。在此描述的电子装置可以是具有拍照功能的任意电子装置。虽然在本发明的一些实施例中将采用便携式装置作为电子装置的代表性示例,但应理解:可省略或替换电子装置的一些组件。
参照图1,电子装置100可包括实现相机单元110和控制单元120。
控制单元120可包括特征提取单元122和特征匹配单元124。
在一般聚焦模式下,特征提取单元122可确定由相机单元110的图像捕捉单元捕捉的预览图像中是否出现人脸,并根据预先的设置对出现的人脸进行自动聚焦或手动聚焦。例如,人脸具有一定的结构分布特征(诸如,面部的五官(例如,眼睛、鼻子、嘴、眉毛等)的结构特征和位置特征),从这些特征所产生的规律可被用于确定图像中是否包含人脸。在现有技术中,确定图像中包含人脸的方法有很多种,诸如,Adaboost学习算法等。在本公开的实施例中,用于特征提取单元122确定图像中是否包含人脸方法可通过各种已知的手段来实现。此外,在本公开的实施例中,对预览图像中的人脸进行自动聚焦或手动聚焦的操作也可通过各种已知的手段来实现。
在焦点追踪模式下,特征提取单元122可确定由相机单元110的图像捕捉单元112捕捉的预览图像中是否出现多个人脸,如果出现人脸,则可针对每个人脸进行面部特征提取。在一个实施例中,在确定了预览图像中包括多个人脸后,特征提取单元122可针对预览图像中包括的所有的人脸提取面部特征。如上所述,人脸具有一定的结构分布特征,例如,根据面部的五官的形状描述和五官之间的距离特征,可获得能够进行面部识别的特征数据。五官的几何描述和五官之间的结构关系也可被作为用于识别面部识别的特征数据。在本公开的实施例中,用于特征提取单元122提取面部特征的方法可通过各种已知的手段来实现。
特征匹配单元124可将由特征提取单元122提取出的每个人脸的面部特征与一个或更多个目标人物特征集分别进行匹配,以确定图像中包含的多个人脸中是否包含了具有与之对应的目标人物特征集的人脸,从而可以确定图像中是否出现了匹配的目标人物。在一个实施例中,目标人物特征集是分别针对每个人物建立的,每个目标人物特征集包含了与之对应的人物的面部特征。具有匹配的目标人物特征集的人物可以被识别为目标人物。
此外,控制单元120还可包括用于控制电子装置100的整体操作或电子装置100内部的元件的操作的控制电路和其他元件。控制单元120可控制根据预定的设置或响应于用户输入的任意组合来执行电子装置100中的预定的操作或功能。
控制单元120还可包括目标人物特征集管理单元(未示出),以用于对目标人物特征集进行管理。将在下文参照图2详细描述目标人物特征集的建立和更新的方法。
相机单元110可包括图像捕捉单元112和聚焦单元114。
图像捕捉单元112可在相机单元110被驱动时,将通过图像捕捉单元112中的图像传感器单元(未示出)获得的图像转换成预览图像并在电子装置100中的显示单元(未示出)中进行显示,并且可在通过快门按钮产生了用于捕捉图像的请求时,将捕捉的图像存储在电子装置中或在对捕捉的图像进行一系列图像处理之后将其存储在电子装置中。
聚焦单元114可包括能够对包括在图像传感器单元中的镜头系统进行驱动的驱动单元。在一般聚焦模式下,聚焦单元114可根据用户对显示单元的输入来对检测到用户输入的点进行聚焦。此外,聚焦单元114可通过判断不同焦距的下拍摄的图像的清晰度来确定焦距是否合适,并进一步通过控制镜头系统来调节焦距。在焦点追踪模式下,聚焦单元114可控制镜头系统对被确定为拍摄对象的人脸进行单独聚焦或中心点聚焦。可以在预览模式下设置聚焦模式,并且聚焦模式可根据用户的输入随时进行切换。聚焦模式不限于上述聚焦模式,还可包括本领域已知的其他聚焦模式。在下文中,将参照图3详细描述在焦点追踪模式下聚焦单元114的操作。
聚焦单元114可被配置为根据图像中出现的匹配的目标人物的相关信息对匹配的目标人物进行自动聚焦。聚焦单元114还可包括单独的处理单元(未示出),以用于在焦点追踪模式下确定使用单目标聚焦模式和多目标聚焦模式中的至少一个。其中,单目标聚焦模式可表示对单独的人物的面部进行聚焦,或对多个人物的面部分别进行聚焦。多目标聚焦模式是指对多个人物中的每个人物的面部的中心点的连线所构成的多边形的中心点进行聚焦。在本公开的实施例中,在焦点追踪模式下进行拍摄时,可根据多个目标人物的位置的位置选择单目标聚焦模式、多目标聚焦模式或它们二者。
电子装置100还可包括通信单元(未示出),以用于与外部装置进行通信或连接到网络。通信单元还可用于向外部发送数据或从外部接收数据。此外,电子装置100还可包括存储器(未示出),以用于存储本地图像以及由目标人物特征集管理单元建立的目标人物特征集。此外,电子装置100还可包括用于在电子装置100中的元件之间传递通信的内部总线。
图2是示出根据本公开的实施例的目标人物特征集管理单元建立和更新目标人物特征集的方法的流程图。
目标人物特征集管理单元可被配置为基于电子装置100的本地图像针对每个目标人物分别建立目标人物特征集。本地图像可包括电子装置100的相册、通过通信单元从互联网或云服务器下载的图像以及通过通信单元从另一电子装置接收的图像。人物图像可指图像中包含了人物的图像。目标人物特征集管理单元可通过特征提取单元122进行通信,来通过特征提取单元122确定本地图像中的人物图像。通常情况下,目标人物特征集管理单元是在电子装置100处于待机状态下或者在相机单元110处于未激活的状态下在后台进行操作的。
如图2所示,目标人物特征集管理单元建立目标人物特征集的操作可包括以下步骤,首先,在步骤201,目标人物特征集管理单元从本地图像中选择人物图像作为目标图像集。
然后,在步骤202,目标人物特征集管理单元可通过特征提取单元122来识别并提取目标图像集中的所有人物图像中包含的每个人脸的面部特征。
在步骤203,目标人物特征集管理单元可与特征匹配单元124进行通信,来通过特征匹配单元124将提取出的每个人脸的面部特征相互比较,并根据提取出的每个人脸的面部特征的相似程度来针对每个人物分别建立目标人物特征集。面部特征的相似程度大于预定阈值的面部特征将被确定为是同一个人物的面部特征。每个目标人物特征集包含了与之对应的目标人物的面部特征。
目标人物特征集管理单元可对每个目标人物特征集分配权重,所述权重是基于对目标图像集的所有图像中同一人物出现的次数进行计数确定的。具体来说,目标人物特征集管理单元可基于对目标图像集的所有人物图像中同一人物出现的次数进行计数,例如,如果一个人物只出现了一次,则不会针对该人物的面部特征建立目标人物特征集,或者可对该人物对应的目标人物特征集分配最低权重。此外,目标人物特征集管理单元还可以根据不同的目标人物在目标图像集中出现的频率来分别对不同的目标人物特征集分配权重。具体来说,如果一个人在所有人物图像中出现的次数相对较多,则这个人是在目标图像集中出现频率相对较高的人,因此,与这个人对应的目标人物特征集的权重也相对较高。因此,目标人物特征集的权重实际上反映了电子装置的用户对具有该目标人物特征集的人物的感兴趣的程度。具有较高权重的目标人物特征集的人物可能是电子装置的用户感兴趣程度较高的人物。
建立的目标人物特征集可以被存储在电子装置的存储器中。
在一个实施例中,目标人物特征集管理单元还可以根据用户输入的命令对目标人物特征集进行更新。在另外一个实施例中,目标人物特征集管理单元还可以根据由用户预先设置的时间周期或者根据系统默认的时间周期对目标人物特征集进行更新。对目标人物特征集的更新可包括添加新的目标人物特征集、更新目标人物特征集的权重以及删除权重低于阈值的目标人物特征集。
在一个实施例中,在进行更新时,目标人物特征集管理单元可以只对上一次更新之后在本地图像中新添加的图像进行人物图像的选择、人物面部特征的提取和目标人物特征集的建立,并重新对存储器中先前存储的目标人物特征集和新建立的目标人物特征集重新分配权重,删除权重低于阈值的目标人物特征集。
在另一个实施例中,对目标人物特征集的周期性地更新可分为短周期性地更新和长周期性地更新。例如,在短周期是1个星期,长周期是1个月的情况下,目标人物特征集管理单元可以每隔1个星期对上一次更新之后在本地图像中新添加的图像重复上述更新操作,并且,目标人物特征集管理单元可以每隔1个月对本地图像中的所有图像进行更新。
通过对目标人物特征集的更新,使得目标人物特征集可以准确地反映用户当前对不同人物的感兴趣程度。
在下文,将参照图3A至图3E详细在焦点追踪模式下电子装置100的聚焦单元114的操作。
如上所述,聚焦单元114可被配置为根据图像中出现的匹配的目标人物的相关信息对匹配的目标人物进行自动聚焦。其中,图像中出现的匹配的目标人物的相关信息包括以下至少一个:匹配的目标人物的数量、匹配的目标人物的面部的中心之间的距离以及与匹配的目标人物对应的目标人物特征集的权重。具体来说,聚焦单元114可根据匹配的目标人物的数量、匹配的目标人物的面部的中心之间的距离以及与匹配的目标人物对应的目标人物特征集的权重对匹配的目标人物来选择单目标聚焦模式和多目标聚焦模式中的至少一个以对匹配的目标人物进行自动聚焦。
如图3A所示,在特征匹配单元124确定只有1个匹配的目标人物(例如,对象302)的情况下,则通过单目标聚焦模式对匹配的1个目标人物(即,对象302)进行聚焦。其中,单目标聚焦模式包括对匹配的目标人物进行单独聚焦,即,对匹配的目标人物的面部的中心进行聚焦。
在匹配的目标人物数量是两个或更多个的情况下,聚焦单元114可分别确定与匹配的两个或更多个目标人物对应的目标人物特征集的多个权重之间的差异,其中,如果所述多个权重中的最高权重与其他权重之间的差异均大于预定的阈值,则选择单目标聚焦模式对具有最高权重的目标人物特征集的目标人物进行聚焦。仍然如图3A所示,在另一个实施例中,如果对象301至对象304分别具有与之对应的目标人物特征集,即,对象301至对象304均被确定为目标人物。在这情况下,聚焦单元114可确定与对象301至对象304对应的目标人物特征集的权重,如果与对象302对应的目标人物特征集的权重最高,并且与对象302对应的目标人物特征集的权重与对象301、对象303和对象304对应的目标人物特征集的权重的差异均大于预设权重阈值,则,聚焦单元114可将对象302确定为被聚焦的对象,通过单目标聚焦模式对对象302进行聚焦。在上述的示例中,可以理解的是,虽然对象301至对象304均被确定为目标人物,但是用户对对象302的感兴趣程度远远高于对其他三个对象的感兴趣程度,因此,聚焦单元可仅对对象302进行聚焦。
如图3B至图3E所示,在匹配的目标人物数量是两个或更多个的情况下,例如,对象301至对象304均被确定为目标人物。通过确定与对象301至对象304对应的目标人物特征集的权重,并确定与对象301至对象304对应的目标人物特征集的权重中的最高权重与其他权重中之间的差异,则聚焦单元可将具有最高权重的目标人物特征集的对象和具有与最高权重的差异小于预设权重阈值的目标人物特征集的对象确定为将被聚焦的对象。
在对象301至对象304均被确定为目标人物的情况下,如图3B所示,对象302和对象303分别被确定为在对象301至对象304中具有最高权重的目标人物特征集的对象以及具有与最高权重的差异小于预定阈值的权重的目标人物特征集的对象,则聚焦单元114可将对象302和对象303确定为将被聚焦的对象。也就是说,虽然对象301至对象304均被确定为目标人物,但是用户对对象302和对象303的感兴趣程度相近并且远远高于对其他两个对象的感兴趣程度,因此,聚焦单元114可针对对象302和对象303选择聚焦模式。
在对象301至对象304均被确定为目标人物的情况下,如图3C所示,对象302和对象304分别被确定为在对象301至对象304中具有最高权重的目标人物特征集的对象以及具有与最高权重的差异小于预定阈值的权重的目标人物特征集的对象,则聚焦单元114可将对象302和对象304确定为将被聚焦的对象。也就是说,虽然对象301至对象304均被确定为目标人物,但是用户对对象302和对象304的感兴趣程度相近并且远远高于对其他两个对象的感兴趣程度,因此,聚焦单元可针对对象302和对象304选择聚焦模式。
在对象301至对象304均被确定为目标人物的情况下,如图3D所示,对象302至对象304分别被确定为在对象301至对象304中具有最高权重的目标人物特征集的对象以及具有与最高权重的差异小于预定阈值的权重的目标人物特征集的对象,则聚焦单元114可将对象302至对象304确定为将被聚焦的对象。也就是说,虽然对象301至对象304均被确定为目标人物,但是用户对对象302至对象304的感兴趣程度相近并且远远高于对对象301的感兴趣程度,因此,聚焦单元114可针对对象302至对象304选择聚焦模式。
在对象301至对象304均被确定为目标人物的情况下,如图3E所示,对象301和对象303至对象304分别被确定为在对象301至对象304中具有最高权重的目标人物特征集的对象以及具有与最高权重的差异小于预定阈值的权重的目标人物特征集的对象,则聚焦单元114可将对象301和对象303至对象304确定为将被聚焦的对象。也就是说,虽然对象301至对象304均被确定为目标人物,但是用户对对象301和对象303至对象304的感兴趣程度相近并且远远高于对对象302的感兴趣程度,因此,聚焦单元114可针对对象301和对象303至对象304选择聚焦模式。
在图3B至图3E所示的示例中,在匹配的目标人物数量大于或等于2,并且确定了与匹配的目标人物对应的目标人物特征集的多个权重中的最高权重与其他权重中的至少一个权重之间的差异小于第一阈值的情况下,聚焦单元114分别确定具有最高权重的目标人物特征集的目标人物和具有所述至少一个权重的目标人物特征集的目标人物的面部的中心之间的距离。即,在图3B所示的示例中,确定对象302与对象303的面部的中心之间的距离。在图3C所示的示例中,确定图302与对象304的面部的中心之间的距离。在图3D所示的示例中,分别确定对象302至对象304之间的距离。在图3E所示的示例中,分别确定对象301和对象303至对象304的面部的中心之间的距离。
聚焦单元114可仅对距离小于预定阈值的两个或更多个目标人物进行中心点聚焦。如果两个目标人物的面部的中心之间的距离小于预定的阈值,则聚焦单元114可确定这两个目标人物处于相互挨着的状态。例如,图3B中的对象302和对象303的面部的中心之间的距离小于预定的阈值,则确定对象302和对象303处于挨着的状态。例如,图3D中的对象303与对象302和对象304的面部的中心之间的距离分别小于预定的阈值,则确定对象302至对象304处于挨着的状态。再例如,图3E中仅对象303和对象304的面部中心之间的距离小于预定的阈值,则确定对象303和对象304处于挨着的状态。
如上所述的,聚焦单元114可仅对距离小于预定阈值的两个或更多个目标人物进行中心点聚焦,也就是说,聚焦单元114仅对处于挨着的状态的目标人物进行中心点聚焦。中心点聚焦可以指对多个目标人物的面部的中心所构成的直线的中心或多边形的中心进行聚焦。
在图3B所示的示例中,对象302和对象303分别被确定为在对象301至对象304中具有最高权重的目标人物特征集的对象以及具有与最高权重的差异小于预定阈值的权重的目标人物特征集的对象,并且对象302和对象303的面部的中心之间的距离小于预定的阈值,因此,聚焦单元114选择多目标聚焦模式对对象302和对象303进行中心点聚焦。
在图3C所示的示例中,对象302和对象304分别被确定为在对象301至对象304中具有最高权重的目标人物特征集的对象以及具有与最高权重的差异小于预定阈值的权重的目标人物特征集的对象,并且对象302的面部的中心与对象304的面部的中心之间的距离大于预定的阈值,因此,聚焦单元114选择单目标聚焦模式分别对对象302和对象304进行单独聚焦。
在图3D所示的示例中,对象302至对象304分别被确定为在对象301至对象304中具有最高权重的目标人物特征集的对象以及具有与最高权重的差异小于预定阈值的权重的目标人物特征集的对象,并且对象303与对象302和对象304的面部的中心之间的距离分别小于预定的阈值,因此,聚焦单元114选择多目标聚焦模式对对象302至对象304进行中心点聚焦。
在图3E所示的示例中,对象301和对象303至对象304分别被确定为在对象301至对象304中具有最高权重的目标人物特征集的对象以及具有与最高权重的差异小于预定阈值的权重的目标人物特征集的对象,并且仅对象303和对象304的面部中心之间的距离小于预定的阈值,因此,聚焦单元114选择单目标聚焦模式对对象301进行单独聚焦,并且选择多目标聚焦模式对对象303至对象304进行中心点聚焦。
应该注意的是,图3A至图3E所示的情况仅仅示例性实施例,本发明不限于图3A至图3E中所示出的实施例,而是还可以包括上面描述的实施例的各种变形。
图4是示出根据本公开的实施例的电子装置的在焦点追踪模式下的焦点追踪拍照方法的流程图。
在步骤401,确定预览模式下捕获的图像中是否出现多个人脸,如果出现多个人脸,则进行到步骤402。如果没有出现人脸,则进行到步骤404。
在步骤402,针对每个人脸进行面部特征提取。
在步骤403,将提取出的每个人脸的面部特征与一个或更多个目标人物特征集分别进行匹配,以确定图像中是否出现匹配的目标人物。如果图像中没有出现匹配的目标人物,则进行到步骤404。如果出现匹配的目标人物,则进行到步骤405。
在步骤404,即,在预览模式下捕获的图像中未出现人脸或只出现一个人脸情况下,或者在预览模式下捕获的图像中出现人脸、但是没有出现匹配的目标人物的情况下,聚焦模式可被自动切换为一般聚焦模式。
在步骤405,根据图像中出现的匹配的目标人物的相关信息对匹配的目标人物进行自动聚焦。根据本申请的实施例,图像中出现的匹配的目标人物的相关信息可包括以下至少一个:匹配的目标人物的数量、匹配的目标人物的面部的中心之间的距离以及与匹配的目标人物对应的目标人物特征集的权重。根据本申请的实施例,根据图像中出现的匹配的目标人物的相关信息对匹配的目标人物进行自动聚焦的步骤可包括:基于图像中出现的匹配的目标人物的相关信息选择单目标聚焦模式和多目标聚焦模式中的至少一个。根据本申请的实施例,在匹配的目标人物的数量是1的情况下,选择单目标聚焦模式;在匹配的目标人物数量大于或等于2的情况下,确定与匹配的目标人物对应的目标人物特征集的多个权重之间的差异,其中,如果所述多个权重中的最高权重与其他权重之间的差异均大于预设权重阈值,则选择单目标聚焦模式对具有最高权重的目标人物特征集的目标人物进行聚焦,其中,如果所述多个权重中的最高权重与其他权重中的至少一个权重之间的差异小于预设权重阈值,则分别确定具有最高权重的目标人物特征集的目标人物和具有所述至少一个权重的目标人物特征集的目标人物的面部的中心之间的距离,并且仅对具有最高权重的目标人物特征集的目标人物和具有所述至少一个权重的目标人物特征集的目标人物之中所述距离小于预设距离阈值的两个或更多个目标人物选择多目标聚焦模式进行聚焦,对具有最高权重的目标人物特征集的目标人物和具有所述至少一个权重的目标人物特征集的目标人物之中所述距离大于预设距离阈值的单个目标人物选择单目标聚焦模式进行聚焦。
根据本公开的实施例的电子装置可以优选地将电子装置的相册或者其他被下载到电子装置的图像资源作为宏观数据库,并分析宏观数据库中经常出现的人物。经常出现在宏观数据库中的人物一般都是电子装置持有者本人(即,电子装置的用户)以及持有者的家人或亲密的朋友或者持有者感兴趣的人。在电子装置的焦点追踪模式被激活的时,电子装置可以在人群中快速地识别出电子装置的用户可能感兴趣的人物,并进行自动聚焦,从而避免用户难以调整焦点的弊端。这具有缩短拍摄时间和提高拍摄质量的附加优点。此外,在户外、景点等人多的地方拍照,可有效地降低陌生人的影响。
如上所述,可通过可由各种计算机执行并且可存储在可由计算机读取的记录介质中的程序命令来执行本公开的各种实施例。可由计算机读取的记录介质可包括程序命令、数据文件、数据结构及其组合。存储在记录介质中的程序命令可以是针对本公开而特别设计的程序命令或者在计算机软件领域中常用的程序命令。
本公开的特定方面还可以被实现为非暂时性计算机可读记录介质上的计算机可读代码。非暂时性计算机可读记录介质是可存储随后可由计算机系统读取的数据的任何数据存储装置。非暂时性计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、致密盘ROM(CD-ROM)、磁带、软盘和光数据存储装置。还可将非暂时性计算机可读记录介质分布在网络连接的计算机系统上,以便按照分布式方式存储并执行计算机可读代码。此外,本公开所属领域的程序员可容易地解释用于实现本公开的功能程序、代码和代码段。
例如,在用于实现与本公开的上述各种实施例关联的功能的移动装置或者相似或相关的电路中可采用特定电气组件。可选择地,根据存储的指令进行操作的一个或更多个处理器可实现与如上所述的本公开的各种实施例关联的功能。如果是这种情况的话,所述指令可被存储在一个或更多个非暂时性处理器可读介质中在本公开的范围内。处理器可读介质的示例包括ROM、RAM、CD-ROM、磁带、软盘和光数据存储装置。还可将处理器可读介质分布在网络连接的计算机系统上,以便按照分布式方式存储并执行指令。此外,本公开所属领域的程序员可容易地解释用于实现本公开的功能性计算机程序、代码和代码段。
虽然已经参照本公开的各种实施例来示出和描述了本公开,但是本领域的技术人员将理解的是,在不脱离由权利要求及其等同物所限定的本公开的精神和范围的情况下,可在此做出形式和细节上的各种改变。

Claims (12)

1.一种电子装置的焦点追踪拍照方法,包括以下步骤:
确定预览模式下捕获的图像中是否出现多个人脸,如果出现多个人脸,则针对每个人脸进行面部特征提取;
将提取出的每个人脸的面部特征与一个或更多个目标人物特征集分别进行匹配,以确定图像中是否出现匹配的目标人物;
根据图像中出现的匹配的目标人物的相关信息对匹配的目标人物进行自动聚焦。
2.如权利要求1所述的方法,其中,目标人物特征集是基于电子装置的本地图像针对每个目标人物分别建立的,其中,目标人物特征集通过以下处理被建立:
从本地图像中选择人物图像作为目标图像集;
提取目标图像集中的人物图像中包含的每个人脸的面部特征;
将提取出的每个人脸的面部特征相互比较,并根据提取出的每个人脸的面部特征的相似程度来针对每个人物分别建立目标人物特征集。
3.如权利要求2所述的方法,其中,每个目标人物特征集被分别分配有权重,所述权重是基于对目标图像集的所有图像中同一人物出现的次数进行计数确定的。
4.如权利要求1所述的方法,其中,图像中出现的匹配的目标人物的相关信息包括以下至少一个:匹配的目标人物的数量、匹配的目标人物的面部的中心之间的距离以及与匹配的目标人物对应的目标人物特征集的权重。
5.如权利要求4所述的方法,其中,进行自动聚焦的步骤包括:基于图像中出现的匹配的目标人物的相关信息选择单目标聚焦模式和多目标聚焦模式中的至少一个,其中:
在匹配的目标人物的数量是1的情况下,选择单目标聚焦模式;
在匹配的目标人物数量大于或等于2的情况下,确定与匹配的目标人物对应的目标人物特征集的多个权重之间的差异,其中,如果所述多个权重中的最高权重与其他权重之间的差异均大于预设权重阈值,则选择单目标聚焦模式对具有最高权重的目标人物特征集的目标人物进行聚焦,
其中,如果所述多个权重中的最高权重与其他权重中的至少一个权重之间的差异小于预设权重阈值,则分别确定具有最高权重的目标人物特征集的目标人物和具有所述至少一个权重的目标人物特征集的目标人物的面部的中心之间的距离,并且仅对具有最高权重的目标人物特征集的目标人物和具有所述至少一个权重的目标人物特征集的目标人物之中所述距离小于预设距离阈值的两个或更多个目标人物选择多目标聚焦模式进行聚焦,对具有最高权重的目标人物特征集的目标人物和具有所述至少一个权重的目标人物特征集的目标人物之中所述距离大于预设距离阈值的单个目标人物选择单目标聚焦模式进行聚焦。
6.一种电子装置,包括:
特征提取单元,被配置为确定预览模式下捕获的图像中是否出现多个人脸,如果出现多个人脸,则针对每个人脸进行面部特征提取;
特征匹配单元,被配置为将提取出的每个人脸的面部特征与一个或更多个目标人物特征集分别进行匹配,以确定图像中是否出现匹配的目标人物;
聚焦单元,被配置为根据图像中出现的匹配的目标人物的相关信息对匹配的目标人物进行自动聚焦。
7.如权利要求6所述的电子装置,还包括:
目标人物特征集管理单元,被配置为基于电子装置的本地图像针对每个目标人物分别建立目标人物特征集,
其中,建立目标人物特征集的操作包括:
从本地图像中选择人物图像作为目标图像集;
提取目标图像集中的人物图像中包含的每个人脸的面部特征;
将提取出的每个人脸的面部特征相互比较,并根据提取出的每个人脸的面部特征的相似程度来针对每个人物分别建立目标人物特征集。
8.如权利要求7所述的电子装置,其中,目标人物特征集管理单元还被配置为:对每个目标人物特征集分配权重,所述权重是基于对目标图像集的所有图像中同一人物出现的次数进行计数确定的。
9.如权利要求6所述的电子装置,其中,图像中出现的匹配的目标人物的相关信息包括以下至少一个:匹配的目标人物的数量、匹配的目标人物的面部的中心之间的距离以及与匹配的目标人物对应的目标人物特征集的权重。
10.如权利要求9所述的电子装置,其中,聚焦单元进行自动聚焦的步骤包括:基于图像中出现的匹配的目标人物的相关信息选择单目标聚焦模式和多目标聚焦模式中的至少一个,其中:
在匹配的目标人物的数量是1的情况下,选择单目标聚焦模式;
在匹配的目标人物数量大于或等于2的情况下,确定与匹配的目标人物对应的目标人物特征集的多个权重之间的差异,其中,如果所述多个权重中的最高权重与其他权重之间的差异均大于预设权重阈值,则选择单目标聚焦模式对具有最高权重的目标人物特征集的目标人物进行聚焦,
其中,如果所述多个权重中的最高权重与其他权重中的至少一个权重之间的差异小于预设权重阈值,则分别确定具有最高权重的目标人物特征集的目标人物和具有所述至少一个权重的目标人物特征集的目标人物的面部的中心之间的距离,并且仅对具有最高权重的目标人物特征集的目标人物和具有所述至少一个权重的目标人物特征集的目标人物之中所述距离小于预设距离阈值的两个或更多个目标人物选择多目标聚焦模式进行聚焦,对具有最高权重的目标人物特征集的目标人物和具有所述至少一个权重的目标人物特征集的目标人物之中所述距离大于预设距离阈值的单个目标人物选择单目标聚焦模式进行聚焦。
11.一种电子装置,包括:
相机模块;
控制器,被配置为:
确定在预览模式下捕获的图像中是否出现多个人脸,如果出现多个人脸,则针对每个人脸进行面部特征提取;
将提取出的每个人脸的面部特征与一个或更多个目标人物特征集分别进行匹配,以确定图像中是否出现匹配的目标人物;
根据图像中出现的匹配的目标人物的相关信息,控制相机模块对匹配的目标人物进行自动聚焦。
12.一种存储有程序的计算机可读存储介质,其特征在于,所述程序包括用于执行如权利要求1-5中的任一项所述方法的指令。
CN201811469213.3A 2018-11-27 2018-11-27 电子装置和电子装置的焦点追踪拍照方法 Pending CN109474785A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811469213.3A CN109474785A (zh) 2018-11-27 2018-11-27 电子装置和电子装置的焦点追踪拍照方法
PCT/KR2019/016477 WO2020111776A1 (en) 2018-11-27 2019-11-27 Electronic device for focus tracking photographing and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811469213.3A CN109474785A (zh) 2018-11-27 2018-11-27 电子装置和电子装置的焦点追踪拍照方法

Publications (1)

Publication Number Publication Date
CN109474785A true CN109474785A (zh) 2019-03-15

Family

ID=65674916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811469213.3A Pending CN109474785A (zh) 2018-11-27 2018-11-27 电子装置和电子装置的焦点追踪拍照方法

Country Status (2)

Country Link
CN (1) CN109474785A (zh)
WO (1) WO2020111776A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107241618A (zh) * 2017-08-07 2017-10-10 苏州市广播电视总台 收录方法和收录装置
CN110290324A (zh) * 2019-06-28 2019-09-27 Oppo广东移动通信有限公司 设备成像方法、装置、存储介质及电子设备
CN110581954A (zh) * 2019-09-30 2019-12-17 深圳酷派技术有限公司 一种拍摄对焦方法、装置、存储介质及终端
CN110830712A (zh) * 2019-09-16 2020-02-21 幻想动力(上海)文化传播有限公司 一种自主摄影系统和方法
WO2020238380A1 (zh) * 2019-05-31 2020-12-03 维沃移动通信有限公司 全景拍摄方法及终端设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100123790A1 (en) * 2008-11-14 2010-05-20 Yoshijiro Takano Autofocus system
CN103312959A (zh) * 2012-03-15 2013-09-18 欧姆龙株式会社 拍摄装置及拍摄装置控制方法
CN105915782A (zh) * 2016-03-29 2016-08-31 维沃移动通信有限公司 一种基于人脸识别的照片获取方法和移动终端
CN106713734A (zh) * 2015-11-17 2017-05-24 华为技术有限公司 自动对焦方法及装置
CN107395986A (zh) * 2017-08-28 2017-11-24 联想(北京)有限公司 图像获取方法、装置及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002333652A (ja) * 2001-05-10 2002-11-22 Oki Electric Ind Co Ltd 撮影装置及び再生装置
JP4577113B2 (ja) * 2005-06-22 2010-11-10 オムロン株式会社 対象決定装置、撮像装置および監視装置
JP2009017038A (ja) * 2007-07-02 2009-01-22 Fujifilm Corp デジタルカメラ
JP2010028720A (ja) * 2008-07-24 2010-02-04 Sanyo Electric Co Ltd 撮像装置
JP2010124120A (ja) * 2008-11-18 2010-06-03 Fujinon Corp オートフォーカスシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100123790A1 (en) * 2008-11-14 2010-05-20 Yoshijiro Takano Autofocus system
CN103312959A (zh) * 2012-03-15 2013-09-18 欧姆龙株式会社 拍摄装置及拍摄装置控制方法
CN106713734A (zh) * 2015-11-17 2017-05-24 华为技术有限公司 自动对焦方法及装置
CN105915782A (zh) * 2016-03-29 2016-08-31 维沃移动通信有限公司 一种基于人脸识别的照片获取方法和移动终端
CN107395986A (zh) * 2017-08-28 2017-11-24 联想(北京)有限公司 图像获取方法、装置及电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107241618A (zh) * 2017-08-07 2017-10-10 苏州市广播电视总台 收录方法和收录装置
WO2020238380A1 (zh) * 2019-05-31 2020-12-03 维沃移动通信有限公司 全景拍摄方法及终端设备
CN110290324A (zh) * 2019-06-28 2019-09-27 Oppo广东移动通信有限公司 设备成像方法、装置、存储介质及电子设备
CN110290324B (zh) * 2019-06-28 2021-02-02 Oppo广东移动通信有限公司 设备成像方法、装置、存储介质及电子设备
CN110830712A (zh) * 2019-09-16 2020-02-21 幻想动力(上海)文化传播有限公司 一种自主摄影系统和方法
CN110581954A (zh) * 2019-09-30 2019-12-17 深圳酷派技术有限公司 一种拍摄对焦方法、装置、存储介质及终端

Also Published As

Publication number Publication date
WO2020111776A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
CN109474785A (zh) 电子装置和电子装置的焦点追踪拍照方法
Das et al. Toyota smarthome: Real-world activities of daily living
CN105095873B (zh) 照片共享方法、装置
CN109218619A (zh) 图像获取方法、装置和系统
CN108885698A (zh) 人脸识别方法、装置和服务器
WO2019137131A1 (zh) 图像处理方法、装置、存储介质及电子设备
US10679041B2 (en) Hybrid deep learning method for recognizing facial expressions
CN106165386A (zh) 用于照片上传和选择的自动化技术
CN105654033A (zh) 人脸图像验证方法和装置
CN108600632A (zh) 拍照提示方法、智能眼镜及计算机可读存储介质
CN105872363A (zh) 人脸对焦清晰度的调整方法及调整装置
CN108337429A (zh) 图像处理设备和图像处理方法
CN111768478B (zh) 一种图像合成方法、装置、存储介质和电子设备
CN102054165A (zh) 图像处理装置及图像处理方法
CN110166694A (zh) 拍照提示方法及装置
CN110581954A (zh) 一种拍摄对焦方法、装置、存储介质及终端
US11308313B2 (en) Hybrid deep learning method for recognizing facial expressions
CN109451234A (zh) 优化拍照功能的方法、设备及存储介质
CN111164642A (zh) 图像候选确定装置、图像候选确定方法、控制图像候选确定装置的程序以及存储该程序的记录介质
CN108780568A (zh) 一种图像处理方法、装置及飞行器
CN110363814A (zh) 一种视频处理方法、装置、电子装置和存储介质
CN105979331A (zh) 一种智能电视的数据推荐方法和装置
CN113052025A (zh) 图像融合模型的训练方法、图像融合方法及电子设备
CN110472537B (zh) 一种自适应识别方法、装置、设备及介质
CN108234872A (zh) 移动终端及其拍照方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190315