CN107483814A - 拍照模式设置方法、装置及移动设备 - Google Patents

拍照模式设置方法、装置及移动设备 Download PDF

Info

Publication number
CN107483814A
CN107483814A CN201710676894.XA CN201710676894A CN107483814A CN 107483814 A CN107483814 A CN 107483814A CN 201710676894 A CN201710676894 A CN 201710676894A CN 107483814 A CN107483814 A CN 107483814A
Authority
CN
China
Prior art keywords
face
exposal model
models
depth information
mobile device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710676894.XA
Other languages
English (en)
Inventor
蒋国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201710676894.XA priority Critical patent/CN107483814A/zh
Publication of CN107483814A publication Critical patent/CN107483814A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Abstract

本发明提出一种拍照模式设置方法、装置及移动设备,该拍照模式设置方法包括基于投射在人脸的结构光,采集人脸对应的散斑图案;根据散斑图案的深度信息,与至少一个的人脸3D模型的深度信息做比对,得到多个比对结果;根据多个比对结果对移动设备的拍照模式进行设置。通过本发明由于是基于人脸对应的深度信息对拍照模式进行设置,实现拍照模式设置的自动化,并且,使得所设置的拍照模式满足用户的个性化情绪需求。

Description

拍照模式设置方法、装置及移动设备
技术领域
本发明涉及移动设备技术领域,尤其涉及一种拍照模式设置方法、装置及移动设备。
背景技术
随着移动设备的发展,用户有对移动设备的拍照模式进行设置的需求。例如,用户可以在移动设备的照相类应用程序的设置模块中,对拍照模式进行设置,例如,设置为唯美模式。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明提出一种拍照模式设置方法、装置及移动设备,由于是基于人脸对应的深度信息对拍照模式进行设置,实现拍照模式设置的自动化,并且,使得所设置的拍照模式满足用户的个性化情绪需求。
本发明第一方面实施例提出的拍照模式设置方法,包括:基于投射在人脸的结构光,采集所述人脸对应的散斑图案;根据所述散斑图案的深度信息,与至少一个的人脸3D模型的深度信息做比对,得到多个比对结果;根据所述多个比对结果对移动设备的拍照模式进行设置。
本发明第一方面实施例提出的拍照模式设置方法,通过基于投射在人脸的结构光,采集人脸对应的散斑图案,并根据散斑图案的深度信息,与至少一个的人脸3D模型的深度信息做比对,得到多个比对结果,以及根据多个比对结果对移动设备的拍照模式进行设置,由于是基于人脸对应的深度信息对拍照模式进行设置,实现拍照模式设置的自动化,并且,使得所设置的拍照模式满足用户的个性化情绪需求。
本发明第二方面实施例提出的拍照模式设置装置,包括:采集模块,用于基于投射在人脸的结构光,采集所述人脸对应的散斑图案;比对模块,用于根据所述散斑图案的深度信息,与至少一个的人脸3D模型的深度信息做比对,得到多个比对结果;设置模块,用于根据所述多个比对结果对移动设备的拍照模式进行设置。
本发明第二方面实施例提出的拍照模式设置装置,通过基于投射在人脸的结构光,采集人脸对应的散斑图案,并根据散斑图案的深度信息,与至少一个的人脸3D模型的深度信息做比对,得到多个比对结果,以及根据多个比对结果对移动设备的拍照模式进行设置,由于是基于人脸对应的深度信息对拍照模式进行设置,实现拍照模式设置的自动化,并且,使得所设置的拍照模式满足用户的个性化情绪需求。
本发明第三方面实施例提出的拍照模式设置装置,其特征在于,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为:基于投射在人脸的结构光,采集所述人脸对应的散斑图案;根据所述散斑图案的深度信息,与至少一个的人脸3D模型的深度信息做比对,得到多个比对结果;根据所述多个比对结果对移动设备的拍照模式进行设置。
本发明第三方面实施例提出的拍照模式设置装置,通过基于投射在人脸的结构光,采集人脸对应的散斑图案,并根据散斑图案的深度信息,与至少一个的人脸3D模型的深度信息做比对,得到多个比对结果,以及根据多个比对结果对移动设备的拍照模式进行设置,由于是基于人脸对应的深度信息对拍照模式进行设置,实现拍照模式设置的自动化,并且,使得所设置的拍照模式满足用户的个性化情绪需求。
本发明第四方面实施例提出了一种非临时性计算机可读存储介质,当所述存储介质中的指令由终端的处理器执行时,使得终端能够执行一种拍照模式设置方法,所述方法包括:基于投射在人脸的结构光,采集所述人脸对应的散斑图案;根据所述散斑图案的深度信息,与至少一个的人脸3D模型的深度信息做比对,得到多个比对结果;根据所述多个比对结果对移动设备的拍照模式进行设置。
本发明第四方面实施例提出的非临时性计算机可读存储介质,通过基于投射在人脸的结构光,采集人脸对应的散斑图案,并根据散斑图案的深度信息,与至少一个的人脸3D模型的深度信息做比对,得到多个比对结果,以及根据多个比对结果对移动设备的拍照模式进行设置,由于是基于人脸对应的深度信息对拍照模式进行设置,实现拍照模式设置的自动化,并且,使得所设置的拍照模式满足用户的个性化情绪需求。
本发明第五方面还提出一种移动设备,该移动设备包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行如本发明第一方面实施例提出的拍照模式设置方法。
本发明第五方面实施例提出的移动设备,通过基于投射在人脸的结构光,采集人脸对应的散斑图案,并根据散斑图案的深度信息,与至少一个的人脸3D模型的深度信息做比对,得到多个比对结果,以及根据多个比对结果对移动设备的拍照模式进行设置,由于是基于人脸对应的深度信息对拍照模式进行设置,实现拍照模式设置的自动化,并且,使得所设置的拍照模式满足用户的个性化情绪需求。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明一实施例提出的拍照模式设置方法的流程示意图;
图2为相关技术中结构光示意图;
图3为本发明实施例中结构光的投影集合示意图;
图4是本发明另一实施例提出的拍照模式设置方法的流程示意图;
图5为一个投射结构光的装置示意图;
图6是本发明另一实施例提出的拍照模式设置方法的流程示意图;
图7是本发明另一实施例提出的拍照模式设置方法的流程示意图;
图8是本发明一实施例提出的拍照模式设置装置的结构示意图;
图9是本发明另一实施例提出的拍照模式设置装置的结构示意图;
图10为一个实施例中图像处理电路的示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。相反,本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
图1是本发明一实施例提出的拍照模式设置方法的流程示意图。
本发明的实施例可以应用在用户对移动设备中拍照类应用程序的拍照模式进行设置的过程中,对此不作限制。
其中,应用程序可以是指运行在电子设备上的软件程序,电子设备例如为个人电脑(Personal Computer,PC),云端设备或者移动设备,移动设备例如智能手机,或者平板电脑等。终端可以是智能手机、平板电脑、个人数字助理、电子书等具有各种操作系统的硬件设备,对此不作限制。
需要说明的是,本发明实施例的执行主体,在硬件上可以例如为移动设备的中央处理器(Central Processing Unit,CPU),在软件上可以例如为移动设备中的拍照类应用程序的相关服务,对此不作限制。
参见图1,该方法包括:
步骤101:基于投射在人脸的结构光,采集人脸对应的散斑图案。
其中,已知空间方向光束的投影集合称为结构光,如图2所示,图2为相关技术中结构光示意图,生成结构光的设备可以是将光点、线、光栅、格网或斑纹投影到被测物体上的某种投影设备或仪器,也可以是生成激光束的激光器。
可选地,参见图3,图3为本发明实施例中结构光的投影集合示意图。以结构光的投影集合为点的集合进行示例,该点的集合可以被称为散斑集合。
本发明实施例中的结构光对应的投影集合具体为散斑集合,即,该用于投射结构光的装置具体是将光点投射到被测物体上,通过将光点投射到被测物体上,使得生成被测物体在结构光下的散斑集合,而不是将线、光栅、格网或斑纹投影到被测物体上,由于散斑集合所需的存储空间较小,因而,能够避免影响移动设备的运行效率,节约设备的存储空间。
在本发明的实施例中,可以将结构光投射至人脸上,采集基于结构光下人脸相关的一些图像数据。由于结构光的物理特性,通过结构光所采集到的图像数据,能够反映出人脸的深度信息,该深度信息可以例如为人脸的3D信息,由于是基于人脸的深度信息对移动设备的拍照模式进行设置,因而,提升拍照模式设置的灵活性及自动化程度。
可选地,一些实施例中,参见图4,在步骤101之前,还包括:
步骤100:在用户启动移动设备中的拍照类应用程序时,投射结构光。
在本发明的实施例中,可以预先在移动设备中配置能够投射结构光的装置,进而,在用户启动移动设备中的拍照类应用程序时,开启该用于投射结构光的装置,以投射结构光,或者,也可以在用户触发对移动设备进行解锁之后,开启该用于投射结构光的装置,以投射结构光,对此不作限制。
参见图5,图5为一个投射结构光的装置示意图,以结构光的投影集合为线进行示例,对于投影集合为散斑的结构光的原理类似,该装置可以包括投射器和摄像机,其中,投射器将一定模式的结构光投射于被测物体表面,在表面上形成由被测物体表面形状所调制的线的三维图像。该三维图像由处于另一位置的摄像机探测,从而获得线的二维畸变图像。线的畸变程度取决于投射器与摄像机之间的相对位置和被测物体表面轮廓,直观上,沿线显示出的位移(或偏移)与被测物体表面高度成比例,线的扭曲表示了被测物体平面的变化,不连续显示了被测物体表面的物理间隙,当投射器与摄像机之间的相对位置一定时,由线的二维畸变图像坐标便可重现被测物体表面三维轮廓。
通过在用户启动移动设备中的拍照类应用程序时,才投射结构光,能够节约移动设备的能耗。
步骤102:根据散斑图案的深度信息,与至少一个的人脸3D模型的深度信息做比对,得到多个比对结果。
其中,该人脸3D模型的数量可以为一个或者多个。
本发明实施例中,可以将散斑图案的深度信息,与至少一个的人脸3D模型中,每个人脸3D模型的深度信息做比对,得到多个比对结果,每个人脸3D模型分别具有一个对应的比对结果。
可选地,比对结果为:散斑图案的深度信息,与人脸3D模型的深度信息之间的相似度。
在本发明的实施例中,可以提取散斑图案的深度信息的特征值,以及提取一个人脸3D模型的深度信息的特征值,并根据相关技术中的相似度算法计算二者的特征值之间相似度,以此类推,对每一个人脸3D模型的深度信息均作此运算,得到与每个人脸3D模型对应的相似度,对此不作限制。
其中,该深度信息可以具体例如,人脸的轮廓以及人脸的距离,轮廓可以例如为,人脸上的每个点在空间直角坐标系中的坐标值,距离可以例如为人脸上的每个点相对于一个基准位置的距离,该基准位置可以是移动设备上的某个位置,对此不作限制。
具体地,可以根据散斑图像的扭曲获取深度信息。
根据结构光的物理特性,若将其投射在一个立体的被测物体上,则其投影集合的散斑图像会出现散斑扭曲,即,某一些散斑的排布方式与其它散斑出现偏移。
因此,在本发明的实施例中,可以基于这些偏移信息,确定出扭曲的二维散斑图像坐标作为对应的深度信息,并直接根据该深度信息还原出人脸的3D信息。
在本发明的实施例中,该至少一个的人脸3D模型的深度信息是预先确定的,该人脸3D模型为一个基准人脸3D模型,该对应的深度信息为该基准人脸3D模型对应的深度信息,例如,模特的人脸3D模型,或者明星的人脸3D模型,对此不作限制。
在本发明的实施例中,由于该预存人脸3D模型为一个基准人脸3D模型,该对应的深度信息为该基准人脸3D模型对应的深度信息,因此,根据散斑图案的深度信息,与至少一个的人脸3D模型中,每个人脸3D模型的深度信息做比对,得到比对结果,可以支撑后续基于该比对结果对移动设备的拍照模式进行设置,执行具有针对性的模式设置,提升模式设置效率及效果。
步骤103:根据多个比对结果对移动设备的拍照模式进行设置。
其中的拍照模式,可以例如为黑白、唯美、甜蜜、怀旧、童话、阳光、清新等模式,对此不作限制。
本发明的实施例中,可以从多个比对结果中确定出当前最契合于人脸的深度信息所对应的拍照模式,以基于该拍照模式对移动设备当前的拍照模式进行设置。
具体地,可以在比对结果为预设结果时,获取比对结果对应的人脸3D模型作为目标人脸3D模型;根据目标人脸3D模型对应的拍照模式对移动设备的拍照模式进行设置;其中,预设结果为:散斑图案的深度信息,与人脸3D模型的深度信息之间的相似度小于或者等于预设阈值,即,从多个比对结果中筛选出为预设结果的比对结果对应的人脸3D模型,基于该对应的人脸3D模型所对应的拍照模式对移动设备当前的拍照模式进行设置。
例如,可以确定与目标人脸3D模型对应的情绪信息,并确定与情绪信息对应的拍照模式并作为目标拍照模式,直接将移动设备的拍照模式配置为目标拍照模式。
进一步地,可选地,为预设结果的比对结果的数量为多个时,可以将每个比对结果所对应的相似度进行由高到低的排序,将排序最靠前的相似度所对应比对结果所属的人脸3D模型作为该目标人脸3D模型,对此不作限制。
本实施例中,通过基于投射在人脸的结构光,采集人脸对应的散斑图案,并根据散斑图案的深度信息,与至少一个的人脸3D模型的深度信息做比对,得到多个比对结果,以及根据多个比对结果对移动设备的拍照模式进行设置,由于是基于人脸对应的深度信息对拍照模式进行设置,实现拍照模式设置的自动化,并且,使得所设置的拍照模式满足用户的个性化情绪需求。
图6是本发明另一实施例提出的拍照模式设置方法的流程示意图。
参见图6,该方法包括:
步骤601:基于投射在人脸的结构光,采集人脸对应的散斑图案。
在本发明的实施例中,可以将结构光投射至人脸上,采集基于结构光下人脸相关的一些图像数据。由于结构光的物理特性,通过结构光所采集到的图像数据,能够反映出人脸的深度信息,该深度信息可以例如为人脸的3D信息,由于是基于人脸的深度信息对移动设备的拍照模式进行设置,因而,提升拍照模式设置的灵活性及自动化程度。
步骤602:根据散斑图案的深度信息,与至少一个的人脸3D模型的深度信息做比对,得到多个比对结果。
其中,该人脸3D模型的数量可以为一个或者多个。
本发明实施例中,可以将散斑图案的深度信息,与至少一个的人脸3D模型中,每个人脸3D模型的深度信息做比对,得到多个比对结果,每个人脸3D模型分别具有一个对应的比对结果。
可选地,比对结果为:散斑图案的深度信息,与人脸3D模型的深度信息之间的相似度。
在本发明的实施例中,可以提取散斑图案的深度信息的特征值,以及提取一个人脸3D模型的深度信息的特征值,并根据相关技术中的相似度算法计算二者的特征值之间相似度,以此类推,对每一个人脸3D模型的深度信息均作此运算,得到与每个人脸3D模型对应的相似度,对此不作限制。
其中,该深度信息可以具体例如,人脸的轮廓以及人脸的距离,轮廓可以例如为,人脸上的每个点在空间直角坐标系中的坐标值,距离可以例如为人脸上的每个点相对于一个基准位置的距离,该基准位置可以是移动设备上的某个位置,对此不作限制。
具体地,可以根据散斑图像的扭曲获取深度信息。
根据结构光的物理特性,若将其投射在一个立体的被测物体上,则其投影集合的散斑图像会出现散斑扭曲,即,某一些散斑的排布方式与其它散斑出现偏移。
因此,在本发明的实施例中,可以基于这些偏移信息,确定出扭曲的二维散斑图像坐标作为对应的深度信息,并直接根据该深度信息还原出人脸的3D信息。
在本发明的实施例中,该至少一个的人脸3D模型的深度信息是预先确定的,该人脸3D模型为一个基准人脸3D模型,该对应的深度信息为该基准人脸3D模型对应的深度信息,例如,模特的人脸3D模型,或者明星的人脸3D模型,对此不作限制。
在本发明的实施例中,由于该预存人脸3D模型为一个基准人脸3D模型,该对应的深度信息为该基准人脸3D模型对应的深度信息,因此,根据散斑图案的深度信息,与至少一个的人脸3D模型中,每个人脸3D模型的深度信息做比对,得到比对结果,可以支撑后续基于该比对结果对移动设备的拍照模式进行设置,执行具有针对性的模式设置,提升字体设置效率及效果。
步骤603:判断多个比对结果中的每个比对结果是否为预设结果,若否,则执行步骤604,若是,则执行步骤605。
其中,预设结果为:散斑图案的深度信息,与人脸3D模型的深度信息之间的相似度小于或者等于预设阈值。
其中的预设阈值是预先设定的,可以由移动设备的出厂程序预先设定,或者,也可以由用户根据自身需求设定,对此不作限制。
例如,可以将每个比对结果分别与预设结果作比对,以判断多个比对结果中的每个比对结果是否为预设结果。
步骤604:不作任何处理。
在本发明的实施例中,若多个比对结果中的每个比对结果均不为预设结果,则可以不作任何处理,即,不对移动设备的拍照模式进行设置,此时的移动设备为默认的拍照模式。
步骤605:获取比对结果对应的人脸3D模型作为目标人脸3D模型。
而若多个比对结果中的某一个或者多个的比对结果为预设结果时,可以触发根据多个比对结果对移动设备的拍照模式进行设置,例如,若多个比对结果中存在有一个的比对结果为预设结果,则将该一个的比对结果对应的人脸3D模型作为目标人脸3D模型,若为预设结果的比对结果的数量为多个时,可以将每个为预设结果的比对结果所对应的相似度进行由高到低的排序,将排序最靠前的相似度所对应比对结果所属的人脸3D模型作为该目标人脸3D模型,以支撑后续基于人脸的深度信息对移动设备的拍照模式进行设置。
步骤606:根据第一关系表,确定与目标人脸3D模型对应的情绪信息。
其中,该第一关系表是预先配置的,具体的配置过程参见下述实施例。
该第一关系表标记每个人脸3D模型的标识与情绪信息的对应关系,其中的情绪信息可以例如为,中性、喜悦、悲伤、惊讶、厌恶、愤怒、恐惧,其中,可以通过人工标定的方式确定每个人脸3D模型对应的情绪信息,对此不作限制。
在本发明的实施例中,在确定出目标人脸3D模型之后,可以依据目标人脸3D模型的标识,直接从第一关系表中确定与目标人脸3D模型对应的情绪信息,提升拍照模式设置效率。
步骤607:根据第二关系表,确定与情绪信息对应的拍照模式并作为目标拍照模式。
其中,该第二关系表是预先配置的,具体的配置过程参见下述实施例。
该第二关系表标记每个情绪信息与拍照模式之间的对应关系,其中的情绪信息可以例如为,中性、喜悦、悲伤、惊讶、厌恶、愤怒、恐惧,其中,可以通过人工标定的方式确定每个情绪信息对应的拍照模式,对此不作限制。
在本发明的实施例中,在确定出情绪信息之后,可以依据情绪信息,直接从第二关系表中确定与情绪信息对应的拍照模式,提升拍照模式设置效率。
步骤608:直接将移动设备的拍照模式配置为目标拍照模式。
例如,当情绪信息为喜悦时,设置移动设备的拍照模式为阳光模式。
进一步地,本发明实施例中用户可以在设置中根据自己的个性化需求设置匹配的拍照模式。例如,用户可以将喜悦的情绪信息所匹配的拍照模式设置为阳光模式,也可以将喜悦的情绪信息所匹配的拍照模式,设置为甜蜜模式,对此不作限制。
本实施例中,通过基于投射在人脸的结构光,采集人脸对应的散斑图案,并根据散斑图案的深度信息,与至少一个的人脸3D模型的深度信息做比对,得到多个比对结果,以及根据多个比对结果对移动设备的拍照模式进行设置,由于是基于人脸对应的深度信息对拍照模式进行设置,实现拍照模式设置的自动化,并且,使得所设置的拍照模式满足用户的个性化情绪需求。在确定出目标人脸3D模型之后,可以依据目标人脸3D模型的标识,直接从第一关系表中确定与目标人脸3D模型对应的情绪信息,提升拍照模式设置效率。在确定出情绪信息之后,可以依据情绪信息,直接从第二关系表中确定与情绪信息对应的拍照模式,进一步提升拍照模式设置效率。
图7是本发明另一实施例提出的拍照模式设置方法的流程示意图。
参见图7,在上述实施例中步骤601之前,该方法还包括:
步骤701:获取多个人脸3D模型,并基于投射在每个人脸3D模型的结构光,采集每个人脸3D模型对应的散斑图案。
步骤702:将散斑图案的深度信息确定为人脸3D模型的深度信息。
通过将多个人脸3D模型作为基准人脸3D模型,后续直接根据移动设备用户脸部的散斑图案的深度信息,与至少一个的基准人脸3D模型的深度信息做比对,能够实现拍照模式设置的自动化。
其中,可以用网页相关技术如爬虫技术等从网页上得到多个人脸3D模型,以及基于投射在每个人脸3D模型的结构光,采集每个人脸3D模型对应的散斑图案,并确定每个人脸3D模型对应的散斑图案的深度信息,本发明实施例中通过确定多个人脸3D模型,可以满足移动设备用户的个性化情绪需求,提升用户使用黏性。
步骤703:确定每个人脸3D模型对应的情绪信息,并确定与每种情绪信息对应的拍照模式。
其中,可以用户标定的方式确定每个人脸3D模型对应的情绪信息,并确定与每种情绪信息对应的拍照模式,本发明实施例中通过确定每个人脸3D模型对应的情绪信息,并确定与每种情绪信息对应的拍照模式,可以满足移动设备用户的个性化情绪需求,提升用户使用黏性。
步骤704:根据每个人脸3D模型的标识及与其对应的情绪信息生成第一关系表。
步骤705:根据每种情绪信息与其对应的拍照模式生成第二关系表。
步骤706:分别对第一关系表和第二关系表进行存储。
通过预先配置第一关系表和第二关系表,并分别对第一关系表和第二关系表进行存储,例如存储在移动设备的本地存储中,能够便于后续直接从本地存储中调用每种情绪信息,以及与其对应的拍照模式,提升拍照模式配置效率。
在确定出目标人脸3D模型之后,可以依据目标人脸3D模型的标识,直接从第一关系表中确定与目标人脸3D模型对应的情绪信息,提升拍照模式设置效率。在确定出情绪信息之后,可以依据情绪信息,直接从第二关系表中确定与情绪信息对应的拍照模式,进一步提升拍照模式设置效率。
本实施例中,通过获取多个人脸3D模型,并基于投射在每个人脸3D模型的结构光,采集每个人脸3D模型对应的散斑图案,将散斑图案的深度信息确定为人脸3D模型的深度信息,确定每个人脸3D模型对应的情绪信息,并确定与每种情绪信息对应的拍照模式,根据每个人脸3D模型的标识及与其对应的情绪信息生成第一关系表,根据每种情绪信息与其对应的拍照模式生成第二关系表,分别对第一关系表和第二关系表进行存储,能够满足移动设备用户的个性化情绪需求,提升用户使用黏性。通过预先配置第一关系表和第二关系表,并分别对第一关系表和第二关系表进行存储,例如存储在移动设备的本地存储中,能够便于后续直接从本地存储中调用每种情绪信息,以及与其对应的拍照模式,提升拍照模式配置效率。
图8是本发明一实施例提出的拍照模式设置装置的结构示意图。
参见图8,该装置800包括:
采集模块801,用于基于投射在人脸的结构光,采集人脸对应的散斑图案。
比对模块802,用于根据散斑图案的深度信息,与至少一个的人脸3D模型的深度信息做比对,得到多个比对结果。
设置模块803,用于根据多个比对结果对移动设备的拍照模式进行设置。
可选地,一些实施例中,参见图9,设置模块803,包括:
获取子模块8031,用于在比对结果为预设结果时,获取比对结果对应的人脸3D模型作为目标人脸3D模型。
设置子模块8032,用于根据目标人脸3D模型对应的情绪信息对移动设备的拍照模式进行设置。
其中,预设结果为:散斑图案的深度信息,与人脸3D模型的深度信息之间的相似度小于或者等于预设阈值。
可选地,一些实施例中,设置子模块8032,具体用于:
根据第一关系表,确定与目标人脸3D模型对应的情绪信息;
根据第二关系表,确定与情绪信息对应的拍照模式并作为目标拍照模式;
直接将移动设备的拍照模式配置为目标拍照模式。
可选地,一些实施例中,参见图9,该装置800还包括:
获取模块804,用于获取多个人脸3D模型,并基于投射在每个人脸3D模型的结构光,采集每个人脸3D模型对应的散斑图案。
第一确定模块805,用于将散斑图案的深度信息确定为人脸3D模型的深度信息。
第二确定模块806,用于确定每个人脸3D模型对应的情绪信息,并确定与每种情绪信息对应的拍照模式。
第一生成模块807,用于根据每个人脸3D模型的标识及与其对应的情绪信息生成第一关系表。
第二生成模块808,用于根据每种情绪信息与其对应的拍照模式生成第二关系表。
存储模块809,用于分别对第一关系表和第二关系表进行存储。
投射模块810,用于在用户启动移动设备时,投射结构光。
需要说明的是,前述图1-图7实施例中对拍照模式设置方法实施例的解释说明也适用于该实施例的拍照模式设置装置800,其实现原理类似,此处不再赘述。
本实施例中,通过基于投射在人脸的结构光,采集人脸对应的散斑图案,并根据散斑图案的深度信息,与至少一个的人脸3D模型的深度信息做比对,得到多个比对结果,以及根据多个比对结果对移动设备的拍照模式进行设置,由于是基于人脸对应的深度信息对拍照模式进行设置,实现拍照模式设置的自动化,并且,使得所设置的拍照模式满足用户的个性化情绪需求。
本发明实施例还提供一种移动设备。上述移动设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路的示意图。如图10所示,为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。
如图10所示,图像处理电路包括成像设备910、ISP处理器930和控制逻辑器940。成像设备910可包括具有一个或多个透镜912、图像传感器914的照相机和结构光投射器916。结构光投射器916将结构光投影至被测物。其中,该结构光图案可为激光条纹、格雷码、正弦条纹、或者,随机排列的散斑图案等。图像传感器914捕捉投影至被测物形成的结构光图像,并将结构光图像发送至ISP处理器930,由ISP处理器930对结构光图像进行解调获取被测物的深度信息。同时,图像传感器914也可以捕捉被测物的色彩信息。当然,也可以由两个图像传感器914分别捕捉被测物的结构光图像和色彩信息。
其中,以散斑结构光为例,ISP处理器930对结构光图像进行解调,具体包括,从该结构光图像中采集被测物的散斑图像,将被测物的散斑图像与参考散斑图像按照预定算法进行图像数据计算,获取被测物上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值,并根据该深度值得到被测物的深度信息。
当然,还可以通过双目视觉的方法或基于飞行时差TOF的方法来获取该深度图像信息等,在此不做限定,只要能够获取或通过计算得到被测物的深度信息的方法都属于本实施方式包含的范围。
在ISP处理器930接收到图像传感器914捕捉到的被测物的色彩信息之后,可被测物的色彩信息对应的图像数据进行处理。ISP处理器930对图像数据进行分析以获取可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。图像传感器914可包括色彩滤镜阵列(如Bayer滤镜),图像传感器914可获取用图像传感器914的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器930处理的一组原始图像数据。
ISP处理器930按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器930可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器930还可从图像存储器920接收像素数据。图像存储器920可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct MemoryAccess,直接直接存储器存取)特征。
当接收到原始图像数据时,ISP处理器930可进行一个或多个图像处理操作。
在ISP处理器930获取到被测物的色彩信息和深度信息后,可对其进行融合,得到三维图像。其中,可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的被测物的特征。例如通过主动形状模型法ASM、主动外观模型法AAM、主成分分析法PCA、离散余弦变换法DCT等方法,提取被测物的特征,在此不做限定。再将分别从深度信息中提取到被测物的特征以及从色彩信息中提取到被测物的特征进行配准和特征融合处理。这里指的融合处理可以是将深度信息以及色彩信息中提取出的特征直接组合,也可以是将不同图像中相同的特征进行权重设定后组合,也可以有其他融合方式,最终根据融合后的特征,生成三维图像。
三维图像的图像数据可发送给图像存储器920,以便在被显示之前进行另外的处理。ISP处理器930从图像存储器920接收处理数据,并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。三维图像的图像数据可输出给显示器960,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器930的输出还可发送给图像存储器920,且显示器960可从图像存储器920读取图像数据。在一个实施例中,图像存储器920可被配置为实现一个或多个帧缓冲器。此外,ISP处理器930的输出可发送给编码器/解码器950,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器960设备上之前解压缩。编码器/解码器950可由CPU或GPU或协处理器实现。
ISP处理器930确定的图像统计信息可发送给控制逻辑器940单元。控制逻辑器940可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的图像统计信息,确定成像设备910的控制参数。
本发明实施例中,运用图10中图像处理技术实现拍照模式设置方法的步骤可以参见上述实施例,在此不再赘述。
为了实现上述实施例,本发明还提出一种非临时性计算机可读存储介质,当存储介质中的指令由终端的处理器执行时,使得终端能够执行一种拍照模式设置方法,方法包括:基于投射在人脸的结构光,采集人脸对应的散斑图案;根据散斑图案的深度信息,与至少一个的人脸3D模型的深度信息做比对,得到多个比对结果;根据多个比对结果对移动设备的拍照模式进行设置。
本实施例中的非临时性计算机可读存储介质,通过基于投射在人脸的结构光,采集人脸对应的散斑图案,并根据散斑图案的深度信息,与至少一个的人脸3D模型的深度信息做比对,得到多个比对结果,以及根据多个比对结果对移动设备的拍照模式进行设置,由于是基于人脸对应的深度信息对拍照模式进行设置,实现拍照模式设置的自动化,并且,使得所设置的拍照模式满足用户的个性化情绪需求。
为了实现上述实施例,本发明还提出一种计算机程序产品,当计算机程序产品中的指令被处理器执行时,执行一种拍照模式设置方法,方法包括:基于投射在人脸的结构光,采集人脸对应的散斑图案;根据散斑图案的深度信息,与至少一个的人脸3D模型的深度信息做比对,得到多个比对结果;根据多个比对结果对移动设备的拍照模式进行设置。
本实施例中的计算机程序产品,通过基于投射在人脸的结构光,采集人脸对应的散斑图案,并根据散斑图案的深度信息,与至少一个的人脸3D模型的深度信息做比对,得到多个比对结果,以及根据多个比对结果对移动设备的拍照模式进行设置,由于是基于人脸对应的深度信息对拍照模式进行设置,实现拍照模式设置的自动化,并且,使得所设置的拍照模式满足用户的个性化情绪需求。
需要说明的是,在本发明的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种拍照模式设置方法,其特征在于,包括以下步骤:
基于投射在人脸的结构光,采集所述人脸对应的散斑图案;
根据所述散斑图案的深度信息,与至少一个的人脸3D模型的深度信息做比对,得到多个比对结果;
根据所述多个比对结果对移动设备的拍照模式进行设置。
2.如权利要求1所述的拍照模式设置方法,其特征在于,所述根据所述多个比对结果对移动设备的拍照模式进行设置,包括:
在所述比对结果为预设结果时,获取所述比对结果对应的人脸3D模型作为目标人脸3D模型;
根据所述目标人脸3D模型对应的情绪信息对移动设备的拍照模式进行设置;
其中,所述预设结果为:所述散斑图案的深度信息,与所述人脸3D模型的深度信息之间的相似度小于或者等于预设阈值。
3.如权利要求2所述的拍照模式设置方法,其特征在于,所述根据所述目标人脸3D模型对应的情绪信息对移动设备的拍照模式进行设置,包括:
根据第一关系表,确定与所述目标人脸3D模型对应的情绪信息;
根据第二关系表,确定与所述情绪信息对应的拍照模式并作为目标拍照模式;
直接将所述移动设备的拍照模式配置为所述目标拍照模式。
4.如权利要求3所述的拍照模式设置方法,其特征在于,在所述基于投射在人脸的结构光,采集所述人脸对应的散斑图案之前,还包括:
获取多个人脸3D模型,并基于投射在每个人脸3D模型的结构光,采集所述每个人脸3D模型对应的散斑图案;
将所述散斑图案的深度信息确定为所述人脸3D模型的深度信息;
确定每个人脸3D模型对应的情绪信息,并确定与每种情绪信息对应的拍照模式;
根据所述每个人脸3D模型的标识及与其对应的情绪信息生成所述第一关系表;
根据所述每种情绪信息与其对应的拍照模式生成所述第二关系表;
分别对所述第一关系表和所述第二关系表进行存储。
5.如权利要求1-4任一项所述的拍照模式设置方法,其特征在于,在所述基于投射在人脸的结构光,采集所述人脸对应的散斑图案之前,还包括:
在用户启动所述移动设备中的拍照类应用程序时,投射所述结构光。
6.一种拍照模式设置装置,其特征在于,包括:
采集模块,用于基于投射在人脸的结构光,采集所述人脸对应的散斑图案;
比对模块,用于根据所述散斑图案的深度信息,与至少一个的人脸3D模型的深度信息做比对,得到多个比对结果;
设置模块,用于根据所述多个比对结果对移动设备的拍照模式进行设置。
7.如权利要求6所述的拍照模式设置装置,其特征在于,所述设置模块,包括:
获取子模块,用于在所述比对结果为预设结果时,获取所述比对结果对应的人脸3D模型作为目标人脸3D模型;
设置子模块,用于根据所述目标人脸3D模型对应的情绪信息对移动设备的拍照模式进行设置;
其中,所述预设结果为:所述散斑图案的深度信息,与所述人脸3D模型的深度信息之间的相似度小于或者等于预设阈值。
8.如权利要求7所述的拍照模式设置装置,其特征在于,所述设置子模块,具体用于:
根据第一关系表,确定与所述目标人脸3D模型对应的情绪信息;
根据第二关系表,确定与所述情绪信息对应的拍照模式并作为目标拍照模式;
直接将所述移动设备的拍照模式配置为所述目标拍照模式。
9.如权利要求8所述的拍照模式设置装置,其特征在于,还包括:
获取模块,用于获取多个人脸3D模型,并基于投射在每个人脸3D模型的结构光,采集所述每个人脸3D模型对应的散斑图案;
第一确定模块,用于将所述散斑图案的深度信息确定为所述人脸3D模型的深度信息;
第二确定模块,用于确定每个人脸3D模型对应的情绪信息,并确定与每种情绪信息对应的拍照模式;
第一生成模块,用于根据所述每个人脸3D模型的标识及与其对应的情绪信息生成所述第一关系表;
第二生成模块,用于根据所述每种情绪信息与其对应的拍照模式生成所述第二关系表;
存储模块,用于分别对所述第一关系表和所述第二关系表进行存储。
10.如权利要求6-9任一项所述的拍照模式设置装置,其特征在于,还包括:
投射模块,用于在用户启动所述移动设备中的拍照类应用程序时,投射所述结构光。
11.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一项所述的拍照模式设置方法。
12.一种移动设备,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行如权利要求1至5中任一项所述的拍照模式设置方法。
CN201710676894.XA 2017-08-09 2017-08-09 拍照模式设置方法、装置及移动设备 Pending CN107483814A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710676894.XA CN107483814A (zh) 2017-08-09 2017-08-09 拍照模式设置方法、装置及移动设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710676894.XA CN107483814A (zh) 2017-08-09 2017-08-09 拍照模式设置方法、装置及移动设备

Publications (1)

Publication Number Publication Date
CN107483814A true CN107483814A (zh) 2017-12-15

Family

ID=60599240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710676894.XA Pending CN107483814A (zh) 2017-08-09 2017-08-09 拍照模式设置方法、装置及移动设备

Country Status (1)

Country Link
CN (1) CN107483814A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110177205A (zh) * 2019-05-20 2019-08-27 深圳壹账通智能科技有限公司 终端设备、基于微表情的拍照方法及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103716542A (zh) * 2013-12-26 2014-04-09 深圳市金立通信设备有限公司 一种拍照方法、装置及终端
JP2014064175A (ja) * 2012-09-21 2014-04-10 Nec Saitama Ltd 携帯端末装置、携帯端末制御方法および携帯端末制御用プログラム
CN103795932A (zh) * 2014-02-27 2014-05-14 北京百纳威尔科技有限公司 拍摄模式切换处理方法及装置
CN106504751A (zh) * 2016-08-01 2017-03-15 深圳奥比中光科技有限公司 自适应唇语交互方法以及交互装置
CN106713764A (zh) * 2017-01-24 2017-05-24 维沃移动通信有限公司 一种拍照方法及移动终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014064175A (ja) * 2012-09-21 2014-04-10 Nec Saitama Ltd 携帯端末装置、携帯端末制御方法および携帯端末制御用プログラム
CN103716542A (zh) * 2013-12-26 2014-04-09 深圳市金立通信设备有限公司 一种拍照方法、装置及终端
CN103795932A (zh) * 2014-02-27 2014-05-14 北京百纳威尔科技有限公司 拍摄模式切换处理方法及装置
CN106504751A (zh) * 2016-08-01 2017-03-15 深圳奥比中光科技有限公司 自适应唇语交互方法以及交互装置
CN106713764A (zh) * 2017-01-24 2017-05-24 维沃移动通信有限公司 一种拍照方法及移动终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110177205A (zh) * 2019-05-20 2019-08-27 深圳壹账通智能科技有限公司 终端设备、基于微表情的拍照方法及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN108154550B (zh) 基于rgbd相机的人脸实时三维重建方法
CN109118569B (zh) 基于三维模型的渲染方法和装置
EP2824923B1 (en) Apparatus, system and method for projecting images onto predefined portions of objects
CN107209007A (zh) 以深度估计进行图像采集的方法、电路、设备、配件、系统和功能上相关联的计算机可执行代码
CN107481304B (zh) 在游戏场景中构建虚拟形象的方法及其装置
CN107465906B (zh) 场景的全景拍摄方法、装置及终端设备
CN107452034B (zh) 图像处理方法及其装置
CN107517346A (zh) 基于结构光的拍照方法、装置及移动设备
CN107480615A (zh) 美颜处理方法、装置及移动设备
CN107479801A (zh) 基于用户表情的终端显示方法、装置及终端
US9049369B2 (en) Apparatus, system and method for projecting images onto predefined portions of objects
CN107483845B (zh) 拍照方法及其装置
CN107370950B (zh) 对焦处理方法、装置和移动终端
CN107493428A (zh) 拍摄控制方法和装置
CN107392874A (zh) 美颜处理方法、装置及移动设备
CN107481317A (zh) 人脸3d模型的面部调整方法及其装置
CN107592449B (zh) 三维模型建立方法、装置和移动终端
CN107610171B (zh) 图像处理方法及其装置
WO2019047985A1 (zh) 图像处理方法和装置、电子装置和计算机可读存储介质
CN107507269A (zh) 个性化三维模型生成方法、装置和终端设备
CN107480612A (zh) 人物动作的识别方法、装置和终端设备
CN107438161A (zh) 拍摄画面处理方法、装置和终端
CN107820019A (zh) 虚化图像获取方法、装置及设备
CN107705356A (zh) 图像处理方法和装置
CN107705278A (zh) 动态效果的添加方法和终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171215

RJ01 Rejection of invention patent application after publication