CN107517346A - 基于结构光的拍照方法、装置及移动设备 - Google Patents
基于结构光的拍照方法、装置及移动设备 Download PDFInfo
- Publication number
- CN107517346A CN107517346A CN201710641573.6A CN201710641573A CN107517346A CN 107517346 A CN107517346 A CN 107517346A CN 201710641573 A CN201710641573 A CN 201710641573A CN 107517346 A CN107517346 A CN 107517346A
- Authority
- CN
- China
- Prior art keywords
- target object
- structure light
- focusing
- scene
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于结构光的拍照方法、装置及移动设备，该方法包括基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案；基于散斑图案的深度信息，确定每个目标物体的轮廓信息和距离信息；基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照。通过本发明能够提升拍照过程中对焦效果的同时，提升拍照体验。
Description
技术领域
本发明涉及移动设备技术领域，尤其涉及一种基于结构光的拍照方法、装置及移动设备。
背景技术
随着移动设备技术的发展，用户有使用移送设备进行拍照的需求。用户在使用移动设备进行拍照的过程中，会对拍照场景内的物体进行对焦。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明提出一种基于结构光的拍照方法、装置及移动设备，能够提升拍照过程中对焦效果的同时，提升拍照体验。
本发明第一方面实施例提出的基于结构光的拍照方法，包括：基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案；基于所述散斑图案的深度信息，确定所述每个目标物体的轮廓信息和距离信息；基于所述每个目标物体的轮廓信息和距离信息对所述拍照场景进行拍照。
本发明第一方面实施例提出的基于结构光的拍照方法，通过基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案，并基于散斑图案的深度信息，确定每个目标物体的轮廓信息和距离信息，以及基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照，由于是基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照，因而，能够提升拍照过程中对焦效果的同时，提升拍照体验。
本发明第二方面实施例提出的基于结构光的拍照装置，包括：采集模块，用于基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案；第一确定模块，用于基于所述散斑图案的深度信息，确定所述每个目标物体的轮廓信息和距离信息；拍照模块，用于基于所述每个目标物体的轮廓信息和距离信息对所述拍照场景进行拍照。
本发明第二方面实施例提出的基于结构光的拍照装置，通过基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案，并基于散斑图案的深度信息，确定每个目标物体的轮廓信息和距离信息，以及基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照，由于是基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照，因而，能够提升拍照过程中对焦效果的同时，提升拍照体验。
本发明第三方面实施例提出的基于结构光的拍照装置，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案；基于所述散斑图案的深度信息，确定所述每个目标物体的轮廓信息和距离信息；基于所述每个目标物体的轮廓信息和距离信息对所述拍照场景进行拍照。
本发明第三方面实施例提出的基于结构光的拍照装置，通过基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案，并基于散斑图案的深度信息，确定每个目标物体的轮廓信息和距离信息，以及基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照，由于是基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照，因而，能够提升拍照过程中对焦效果的同时，提升拍照体验。
本发明第四方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行一种基于结构光的拍照方法，所述方法包括：基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案；基于所述散斑图案的深度信息，确定所述每个目标物体的轮廓信息和距离信息；基于所述每个目标物体的轮廓信息和距离信息对所述拍照场景进行拍照。
本发明第四方面实施例提出的非临时性计算机可读存储介质，通过基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案，并基于散斑图案的深度信息，确定每个目标物体的轮廓信息和距离信息，以及基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照，由于是基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照，因而，能够提升拍照过程中对焦效果的同时，提升拍照体验。
本发明第五方面还提出一种移动设备，该移动设备包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如本发明第一方面实施例提出的基于结构光的拍照方法。
本发明第五方面实施例提出的移动设备，通过基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案，并基于散斑图案的深度信息，确定每个目标物体的轮廓信息和距离信息，以及基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照，由于是基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照，因而，能够提升拍照过程中对焦效果的同时，提升拍照体验。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一实施例提出的基于结构光的拍照方法的流程示意图；
图2为相关技术中结构光示意图；
图3为本发明实施例中结构光的投影集合示意图；
图4是本发明另一实施例提出的基于结构光的拍照方法的流程示意图；
图5为一个投射结构光的装置示意图；
图6是本发明另一实施例提出的基于结构光的拍照方法的流程示意图；
图7是本发明另一实施例提出的基于结构光的拍照方法的流程示意图；
图8是本发明一实施例提出的基于结构光的拍照装置的结构示意图；
图9是本发明另一实施例提出的基于结构光的拍照装置的结构示意图；
图10为一个实施例中图像处理电路的示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
图1是本发明一实施例提出的基于结构光的拍照方法的流程示意图。
本发明的实施例可以应用在用户使用移动设备进行拍照的过程中，或者，也可以应用在用户使用摄像机设备进行拍照的过程中，对此不作限制。
进一步地，用户可以通过设置在移动设备中的拍照类应用程序在拍照过程中进行美颜处理，对此不作限制。
其中，应用程序可以是指运行在电子设备上的软件程序，电子设备例如为个人电脑(Personal Computer，PC)，云端设备或者移动设备，移动设备例如智能手机，或者平板电脑等。终端可以是智能手机、平板电脑、个人数字助理、电子书等具有各种操作系统的硬件设备，对此不作限制。
需要说明的是，本发明实施例的执行主体，在硬件上可以例如为移动设备的中央处理器(Central Processing Unit，CPU)，在软件上可以例如为移动设备中的拍照类的相关服务，对此不作限制。
参见图1，该方法包括：
步骤101：基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案。
其中，目标物体为拍照场景中需要对其进行对焦拍照的物体，可以理解的是，目标物体为拍照场景中标志性的物体。
可以理解的是，一般情况下，根据拍照场景的空间特征，拍照场景内的物体可以为一个或者多个，并且，每个物体的空间位置、构造特征并不相同，因此，每个物体对应具有不同的深度信息，深度信息可以包括轮廓信息和距离信息，轮廓信息可以例如为，物体上的每个点在空间直角坐标系中的坐标值，距离信息可以例如为物体上的每个点相对于一个基准位置的距离，该基准位置可以是移动设备上的某个位置，对此不作限制。
因此，在本发明的实施例中，可以采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案，实现有针对性的拍照，以支撑后续基于不同的深度信息对每个目标物体的图片进行合成。
其中，已知空间方向光束的投影集合称为结构光，如图2所示，图2为相关技术中结构光示意图，生成结构光的设备可以是将光点、线、光栅、格网或斑纹投影到被测物体上的某种投影设备或仪器，也可以是生成激光束的激光器。
可选地，参见图3，图3为本发明实施例中结构光的投影集合示意图。以结构光的投影集合为点的集合进行示例，该点的集合可以被称为散斑集合。
本发明实施例中的结构光对应的投影集合具体为散斑集合，即，该用于投射结构光的装置具体是将光点投射到被测物体上，通过将光点投射到被测物体上，使得生成被测物体在结构光下的散斑集合，而不是将线、光栅、格网或斑纹投影到被测物体上，由于散斑集合所需的存储空间较小，因而，能够避免影响移动设备的运行效率，节约设备的存储空间。
在本发明的实施例中，可以将结构光投射至拍照场景内，采集基于结构光下拍照场景相关的一些图像数据。由于结构光的物理特性，通过结构光所采集到的图像数据，能够反映出拍照场景的深度信息，该深度信息可以例如为拍照场景中物体的3D信息，由于是基于拍照场景的深度信息进行拍照，因而，提升拍照效果。
可选地，一些实施例中，参见图4，在步骤101之前，还包括：
步骤401：开启摄像头。
其中，该摄像头为配置在移动设备上的摄像头。
步骤402：在基于摄像头从拍照场景内识别出至少一个目标物体时，投射结构光。
在本发明的实施例中，可以预先在移动设备中配置能够投射结构光的装置，进而，在从拍照场景内识别出至少一个目标物体时，开启该用于投射结构光的装置，以投射结构光。
参见图5，图5为一个投射结构光的装置示意图，以结构光的投影集合为线进行示例，对于投影集合为散斑的结构光的原理类似，该装置可以包括投射器和摄像机，其中，投射器将一定模式的结构光投射于被测物体表面，在表面上形成由被测物体表面形状所调制的线的三维图像。该三维图像由处于另一位置的摄像机探测，从而获得线的二维畸变图像。线的畸变程度取决于投射器与摄像机之间的相对位置和被测物体表面轮廓，直观上，沿线显示出的位移(或偏移)与被测物体表面高度成比例，线的扭曲表示了被测物体平面的变化，不连续显示了被测物体表面的物理间隙，当投射器与摄像机之间的相对位置一定时，由线的二维畸变图像坐标便可重现被测物体表面三维轮廓。
其中，通过对拍照场景内的物体进行识别，并在识别出至少一个目标物体时，才触发开启一个投射结构光的装置，以投射结构光，能够节约移动设备的能耗。
步骤102：基于散斑图案的深度信息，确定每个目标物体的轮廓信息和距离信息。
其中，该深度信息可以具体例如，人脸的轮廓以及人脸的距离，轮廓可以例如为，人脸上的每个点在空间直角坐标系中的坐标值，距离可以例如为人脸上的每个点相对于一个基准位置的距离，该基准位置可以是移动设备上的某个位置，对此不作限制。
具体地，可以根据散斑图像的扭曲获取深度信息。
根据结构光的物理特性，若将其投射在一个立体的被测物体上，则其投影集合的散斑图像会出现散斑扭曲，即，某一些散斑的排布方式与其它散斑出现偏移。
因此，在本发明的实施例中，可以基于这些偏移信息，确定出扭曲的二维散斑图像坐标作为对应的深度信息，并直接根据该深度信息确定每个目标物体的轮廓信息和距离信息。
步骤103：基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照。
可选地，基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照，可以包括：控制对焦马达基于轮廓信息确定每个目标物体的对焦主体；获取与距离信息对应的映射值；控制对焦马达基于对应的映射值对对焦主体进行对焦；在对焦后的位置对每个目标物体进行拍照，得到与每个目标物体对应的第一图片；对多个第一图片进行合成处理，得到第二图片，并将第二图片作为对拍照场景进行拍照后得到的图片。
本发明实施例中，可以基于目标物体的轮廓信息和距离信息对对焦马达进行控制，实现精准地、快速地对焦，并且，由于本发明实施例中，是分别对每个目标物体进行对焦及拍照，并对拍照得到的每个目标物体的图片进行合成，由于是对具有不同景深的目标物体的图片进行合成，因而，保障合成后的图片的景深效果。
本实施例中，通过基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案，并基于散斑图案的深度信息，确定每个目标物体的轮廓信息和距离信息，以及基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照，由于是基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照，因而，能够提升拍照过程中对焦效果的同时，提升拍照体验。
图6是本发明另一实施例提出的基于结构光的拍照方法的流程示意图。
参见图6，该方法包括：
步骤601：基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案。
其中，目标物体为拍照场景中需要对其进行对焦拍照的物体，可以理解的是，目标物体为拍照场景中标志性的物体。
可以理解的是，一般情况下，根据拍照场景的空间特征，拍照场景内的物体可以为一个或者多个，并且，每个物体的空间位置、构造特征并不相同，因此，每个物体对应具有不同的深度信息，深度信息可以包括轮廓信息和距离信息，轮廓信息可以例如为，物体上的每个点在空间直角坐标系中的坐标值，距离信息可以例如为物体上的每个点相对于一个基准位置的距离，该基准位置可以是移动设备上的某个位置，对此不作限制。
因此，在本发明的实施例中，可以采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案，实现有针对性的拍照，以支撑后续基于不同的深度信息对每个目标物体的图片进行合成。
步骤602：基于散斑图案的深度信息，确定每个目标物体的轮廓信息和距离信息。
其中，该深度信息可以具体例如，人脸的轮廓以及人脸的距离，轮廓可以例如为，人脸上的每个点在空间直角坐标系中的坐标值，距离可以例如为人脸上的每个点相对于一个基准位置的距离，该基准位置可以是移动设备上的某个位置，对此不作限制。
具体地，可以根据散斑图像的扭曲获取深度信息。
根据结构光的物理特性，若将其投射在一个立体的被测物体上，则其投影集合的散斑图像会出现散斑扭曲，即，某一些散斑的排布方式与其它散斑出现偏移。
因此，在本发明的实施例中，可以基于这些偏移信息，确定出扭曲的二维散斑图像坐标作为对应的深度信息，并直接根据该深度信息确定每个目标物体的轮廓信息和距离信息。
步骤603：控制对焦马达基于轮廓信息确定每个目标物体的对焦主体。
其中，可以控制对焦马达在轮廓信息所标定的轮廓内，确定每个目标物体的对焦主体。
通过控制对焦马达基于轮廓信息确定每个目标物体的对焦主体，保障对焦精准度的同时，提升对焦效率。
步骤604：获取与距离信息对应的映射值。
其中，该映射值具体标定了一个对焦位置，对焦马达基于该对焦位置对物体进行对焦。
其中，可以直接从本地存储中读取与距离信息对应的映射值。
该距离信息与映射值之间的对应关系，是预先确定的，因此，可以快速地获取与距离信息对应的映射值，即其所标定的对焦位置。
步骤605：控制对焦马达基于对应的映射值对对焦主体进行对焦。
可选地，直接控制对焦马达移动至对应的映射值所标定的对焦位置处；在对焦位置处对对焦主体进行对焦。
通过直接控制对焦马达移动至对应的映射值所标定的对焦位置处；在对焦位置处对对焦主体进行对焦，可以使对焦马达直接基于该对焦位置进行对焦，而不是多次拉动对焦马达实现对焦，提升对焦效率。
步骤606：在对焦后的位置对每个目标物体进行拍照，得到与每个目标物体对应的第一图片。
步骤607：对多个第一图片进行合成处理，得到第二图片，并将第二图片作为对拍照场景进行拍照后得到的图片。
其中，对应多个目标物体，相对应的，得到多张第一图片。
可以理解的是，由于每个目标物体对应具有不同的深度信息，深度信息可以包括轮廓信息和距离信息，轮廓信息可以例如为，目标物体上的每个点在空间直角坐标系中的坐标值，距离信息可以例如为目标物体上的每个点相对于一个基准位置的距离，该基准位置可以是移动设备上的某个位置，因此，对每个目标物体分别对焦拍照得到的第一图片中的景深信息不同。
因此，在本发明的实施例中，可以分别对每个目标物体进行对焦及拍照，并对拍照得到的每个目标物体的图片进行合成，由于是对具有不同景深的目标物体的图片进行合成，因而，保障合成后的图片的景深效果。
本实施例中，通过控制对焦马达基于轮廓信息确定每个目标物体的对焦主体，保障对焦精准度的同时，提升对焦效率。该距离信息与映射值之间的对应关系，是预先确定的，因此，可以快速地获取与距离信息对应的映射值，即其所标定的对焦位置。通过直接控制对焦马达移动至对应的映射值所标定的对焦位置处；在对焦位置处对对焦主体进行对焦，可以使对焦马达直接基于该对焦位置进行对焦，而不是多次拉动对焦马达实现对焦，提升对焦效率。通过基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案，并基于散斑图案的深度信息，确定每个目标物体的轮廓信息和距离信息，以及基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照，由于是基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照，因而，能够提升拍照过程中对焦效果的同时，提升拍照体验。
图7是本发明另一实施例提出的基于结构光的拍照方法的流程示意图。
参见图7，在上述实施例中步骤601之前，该方法包括：
步骤701：确定多个距离信息，以及与每个距离信息对应的映射值。
其中，可以根据拍照相关应用的实验数据，或者用网页相关技术如爬虫技术等从网页上得到多个距离信息，以及与每个距离信息对应的映射值，本发明实施例中通过确定多个距离信息，以及与每个距离信息对应的映射值，可以满足拍照用户的个性化对焦需求，提升移动设备拍照功能的灵活性。
步骤702：生成每个距离信息与对应的映射值之间的映射关系表。
步骤703：将映射关系表存储在本地存储中。
进一步地，在确定多个距离信息，以及与每个距离信息对应的映射值，并生成每个距离信息与对应的映射值之间的映射关系表之后，可以将该映射关系表存储至本地存储中，能够便于后续直接从本地存储中调用对应的映射值，提升对焦处理效率。
步骤704：基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案。
其中，目标物体为拍照场景中需要对其进行对焦拍照的物体，可以理解的是，目标物体为拍照场景中标志性的物体。
可以理解的是，一般情况下，根据拍照场景的空间特征，拍照场景内的物体可以为一个或者多个，并且，每个物体的空间位置、构造特征并不相同，因此，每个物体对应具有不同的深度信息，深度信息可以包括轮廓信息和距离信息，轮廓信息可以例如为，物体上的每个点在空间直角坐标系中的坐标值，距离信息可以例如为物体上的每个点相对于一个基准位置的距离，该基准位置可以是移动设备上的某个位置，对此不作限制。
因此，在本发明的实施例中，可以采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案，实现有针对性的拍照，以支撑后续基于不同的深度信息对每个目标物体的图片进行合成。
步骤705：基于散斑图案的深度信息，确定每个目标物体的轮廓信息和距离信息。
其中，该深度信息可以具体例如，人脸的轮廓以及人脸的距离，轮廓可以例如为，人脸上的每个点在空间直角坐标系中的坐标值，距离可以例如为人脸上的每个点相对于一个基准位置的距离，该基准位置可以是移动设备上的某个位置，对此不作限制。
具体地，可以根据散斑图像的扭曲获取深度信息。
根据结构光的物理特性，若将其投射在一个立体的被测物体上，则其投影集合的散斑图像会出现散斑扭曲，即，某一些散斑的排布方式与其它散斑出现偏移。
因此，在本发明的实施例中，可以基于这些偏移信息，确定出扭曲的二维散斑图像坐标作为对应的深度信息，并直接根据该深度信息确定每个目标物体的轮廓信息和距离信息。
步骤706：基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照。
本发明实施例中，可以基于目标物体的轮廓信息和距离信息对对焦马达进行控制，实现精准地、快速地对焦，并且，由于本发明实施例中，是分别对每个目标物体进行对焦及拍照，并对拍照得到的每个目标物体的图片进行合成，由于是对具有不同景深的目标物体的图片进行合成，因而，保障合成后的图片的景深效果。通过基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案，并基于散斑图案的深度信息，确定每个目标物体的轮廓信息和距离信息，以及基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照，由于是基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照，因而，能够提升拍照过程中对焦效果的同时，提升拍照体验。
本实施例中，通过确定多个距离信息，以及与每个距离信息对应的映射值，生成每个距离信息与对应的映射值之间的映射关系表，将映射关系表存储在本地存储中，能够便于后续直接从本地存储中调用对应的映射值，提升对焦处理效率。
图8是本发明一实施例提出的基于结构光的拍照装置的结构示意图。
参见图8，该装置800包括：
采集模块801，用于基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案。
第一确定模块802，用于基于散斑图案的深度信息，确定每个目标物体的轮廓信息和距离信息。
拍照模块803，用于基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照。
可选地，一些实施例中，参见图9，拍照模块803，包括：
控制子模块8031，用于控制对焦马达基于轮廓信息确定每个目标物体的对焦主体。
获取子模块8032，用于获取与距离信息对应的映射值。
可选地，获取子模块8032，具体用于：
从本地存储中的映射关系表，读取与距离信息对应的映射值。
对焦子模块8033，用于控制对焦马达基于对应的映射值对对焦主体进行对焦。
可选地，对焦子模块8033，具体用于：
直接控制对焦马达移动至对应的映射值所标定的对焦位置处；
在对焦位置处对对焦主体进行对焦。
拍照子模块8034，用于在对焦后的位置对每个目标物体进行拍照，得到与每个目标物体对应的第一图片。
合成子模块8035，用于对多个第一图片进行合成处理，得到第二图片，并将第二图片作为对拍照场景进行拍照后得到的图片。
可选地，一些实施例中，参见图9，该装置800还包括：
启动模块804，用于开启摄像头。
投射模块805，用于在基于摄像头从拍照场景内识别出至少一个目标物体时，投射结构光。
第二确定模块806，用于确定多个距离信息，以及与每个距离信息对应的映射值。
生成模块807，用于生成每个距离信息与对应的映射值之间的映射关系表。
存储模块808，用于将映射关系表存储在本地存储中。
需要说明的是，前述图1-图7实施例中对基于结构光的拍照方法实施例的解释说明也适用于该实施例的基于结构光的拍照装置800，其实现原理类似，此处不再赘述。
本实施例中，通过基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案，并基于散斑图案的深度信息，确定每个目标物体的轮廓信息和距离信息，以及基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照，由于是基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照，因而，能够提升拍照过程中对焦效果的同时，提升拍照体验。
本发明实施例还提供一种移动设备。上述移动设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路的示意图。如图10所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。
如图10所示，图像处理电路包括成像设备910、ISP处理器930和控制逻辑器940。成像设备910可包括具有一个或多个透镜912、图像传感器914的照相机和结构光投射器916。结构光投射器916将结构光投影至被测物。其中，该结构光图案可为激光条纹、格雷码、正弦条纹、或者，随机排列的散斑图案等。图像传感器914捕捉投影至被测物形成的结构光图像，并将结构光图像发送至ISP处理器930，由ISP处理器930对结构光图像进行解调获取被测物的深度信息。同时，图像传感器914也可以捕捉被测物的色彩信息。当然，也可以由两个图像传感器914分别捕捉被测物的结构光图像和色彩信息。
其中，以散斑结构光为例，ISP处理器930对结构光图像进行解调，具体包括，从该结构光图像中采集被测物的散斑图像，将被测物的散斑图像与参考散斑图像按照预定算法进行图像数据计算，获取被测物上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值，并根据该深度值得到被测物的深度信息。
当然，还可以通过双目视觉的方法或基于飞行时差TOF的方法来获取该深度图像信息等，在此不做限定，只要能够获取或通过计算得到被测物的深度信息的方法都属于本实施方式包含的范围。
在ISP处理器930接收到图像传感器914捕捉到的被测物的色彩信息之后，可被测物的色彩信息对应的图像数据进行处理。ISP处理器930对图像数据进行分析以获取可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。图像传感器914可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器914可获取用图像传感器914的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器930处理的一组原始图像数据。
ISP处理器930按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器930可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器930还可从图像存储器920接收像素数据。图像存储器920可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct MemoryAccess，直接直接存储器存取)特征。
当接收到原始图像数据时，ISP处理器930可进行一个或多个图像处理操作。
在ISP处理器930获取到被测物的色彩信息和深度信息后，可对其进行融合，得到三维图像。其中，可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的被测物的特征。例如通过主动形状模型法ASM、主动外观模型法AAM、主成分分析法PCA、离散余弦变换法DCT等方法，提取被测物的特征，在此不做限定。再将分别从深度信息中提取到被测物的特征以及从色彩信息中提取到被测物的特征进行配准和特征融合处理。这里指的融合处理可以是将深度信息以及色彩信息中提取出的特征直接组合，也可以是将不同图像中相同的特征进行权重设定后组合，也可以有其他融合方式，最终根据融合后的特征，生成三维图像。
三维图像的图像数据可发送给图像存储器920，以便在被显示之前进行另外的处理。ISP处理器930从图像存储器920接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。三维图像的图像数据可输出给显示器960，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器930的输出还可发送给图像存储器920，且显示器960可从图像存储器920读取图像数据。在一个实施例中，图像存储器920可被配置为实现一个或多个帧缓冲器。此外，ISP处理器930的输出可发送给编码器/解码器950，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器960设备上之前解压缩。编码器/解码器950可由CPU或GPU或协处理器实现。
ISP处理器930确定的图像统计信息可发送给控制逻辑器940单元。控制逻辑器940可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的图像统计信息，确定成像设备910的控制参数。
本发明实施例中，运用图10中图像处理技术实现基于结构光的拍照方法的步骤可以参见上述实施例，在此不再赘述。
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，当存储介质中的指令由终端的处理器执行时，使得终端能够执行一种基于结构光的拍照方法，方法包括：基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案；基于散斑图案的深度信息，确定每个目标物体的轮廓信息和距离信息；基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照。
本实施例中的非临时性计算机可读存储介质，通过基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案，并基于散斑图案的深度信息，确定每个目标物体的轮廓信息和距离信息，以及基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照，由于是基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照，因而，能够提升拍照过程中对焦效果的同时，提升拍照体验。
为了实现上述实施例，本发明还提出一种计算机程序产品，当计算机程序产品中的指令被处理器执行时，执行一种基于结构光的拍照方法，方法包括：基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案；基于散斑图案的深度信息，确定每个目标物体的轮廓信息和距离信息；基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照。
本实施例中的计算机程序产品，通过基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案，并基于散斑图案的深度信息，确定每个目标物体的轮廓信息和距离信息，以及基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照，由于是基于每个目标物体的轮廓信息和距离信息对拍照场景进行拍照，因而，能够提升拍照过程中对焦效果的同时，提升拍照体验。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (12)
1.一种基于结构光的拍照方法，其特征在于，包括以下步骤：
基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案；
基于所述散斑图案的深度信息，确定所述每个目标物体的轮廓信息和距离信息；
基于所述每个目标物体的轮廓信息和距离信息对所述拍照场景进行拍照。
2.如权利要求1所述的基于结构光的拍照方法，其特征在于，在所述基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案之前，还包括：
开启摄像头；
在基于所述摄像头从所述拍照场景内识别出所述至少一个目标物体时，投射所述结构光。
3.如权利要求1所述的基于结构光的拍照方法，其特征在于，所述基于所述每个目标物体的轮廓信息和距离信息对所述拍照场景进行拍照，包括：
控制对焦马达基于所述轮廓信息确定所述每个目标物体的对焦主体；
获取与所述距离信息对应的映射值；
控制所述对焦马达基于所述对应的映射值对所述对焦主体进行对焦；
在对焦后的位置对所述每个目标物体进行拍照，得到与所述每个目标物体对应的第一图片；
对多个第一图片进行合成处理，得到第二图片，并将所述第二图片作为对所述拍照场景进行拍照后得到的图片。
4.如权利要求3所述的基于结构光的拍照方法，其特征在于，所述获取与所述距离信息对应的映射值，包括：
从本地存储中的映射关系表，读取与所述距离信息对应的映射值；
在所述基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案之前，还包括：
确定多个距离信息，以及与每个距离信息对应的映射值；
生成所述每个距离信息与对应的映射值之间的映射关系表；
将所述映射关系表存储在所述本地存储中。
5.如权利要求4所述的基于结构光的拍照方法，其特征在于，所述控制所述对焦马达基于所述对应的映射值对所述对焦主体进行对焦，包括：
直接控制所述对焦马达移动至所述对应的映射值所标定的对焦位置处；
在所述对焦位置处对所述对焦主体进行对焦。
6.一种基于结构光的拍照装置，其特征在于，包括：
采集模块，用于基于结构光，采集拍照场景内至少一个目标物体中，每个目标物体对应的散斑图案；
第一确定模块，用于基于所述散斑图案的深度信息，确定所述每个目标物体的轮廓信息和距离信息；
拍照模块，用于基于所述每个目标物体的轮廓信息和距离信息对所述拍照场景进行拍照。
7.如权利要求6所述的基于结构光的拍照装置，其特征在于，还包括：
启动模块，用于开启摄像头；
投射模块，用于在基于所述摄像头从所述拍照场景内识别出所述至少一个目标物体时，投射所述结构光。
8.如权利要求6所述的基于结构光的拍照装置，其特征在于，所述拍照模块，包括：
控制子模块，用于控制对焦马达基于所述轮廓信息确定所述每个目标物体的对焦主体；
获取子模块，用于获取与所述距离信息对应的映射值；
对焦子模块，用于控制所述对焦马达基于所述对应的映射值对所述对焦主体进行对焦；
拍照子模块，用于在对焦后的位置对所述每个目标物体进行拍照，得到与所述每个目标物体对应的第一图片；
合成子模块，用于对多个第一图片进行合成处理，得到第二图片，并将所述第二图片作为对所述拍照场景进行拍照后得到的图片。
9.如权利要求8所述的基于结构光的拍照装置，其特征在于，所述获取子模块，具体用于：
从本地存储中的映射关系表，读取与所述距离信息对应的映射值；
所述装置还包括：
第二确定模块，用于确定多个距离信息，以及与每个距离信息对应的映射值；
生成模块，用于生成所述每个距离信息与对应的映射值之间的映射关系表；
存储模块，用于将所述映射关系表存储在所述本地存储中。
10.如权利要求9所述的基于结构光的拍照装置，其特征在于，所述对焦子模块，具体用于：
直接控制所述对焦马达移动至所述对应的映射值所标定的对焦位置处；
在所述对焦位置处对所述对焦主体进行对焦。
11.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的基于结构光的拍照方法。
12.一种移动设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述的基于结构光的拍照方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710641573.6A CN107517346B (zh) | 2017-07-31 | 2017-07-31 | 基于结构光的拍照方法、装置及移动设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710641573.6A CN107517346B (zh) | 2017-07-31 | 2017-07-31 | 基于结构光的拍照方法、装置及移动设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107517346A true CN107517346A (zh) | 2017-12-26 |
| CN107517346B CN107517346B (zh) | 2020-08-07 |
Family
ID=60723089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710641573.6A Active CN107517346B (zh) | 2017-07-31 | 2017-07-31 | 基于结构光的拍照方法、装置及移动设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107517346B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108234874A (zh) * | 2018-01-10 | 2018-06-29 | 南京华捷艾米软件科技有限公司 | 体感摄像头的成像精度的调节方法及调节装置 |
| CN110189380A (zh) * | 2019-05-30 | 2019-08-30 | Oppo广东移动通信有限公司 | 标定数据的优化方法、结构光模组及存储介质 |
| TWI672676B (zh) * | 2018-03-27 | 2019-09-21 | 恆景科技股份有限公司 | 動態產生深度圖的結構光系統 |
| CN110361753A (zh) * | 2018-04-10 | 2019-10-22 | 恒景科技股份有限公司 | 动态产生深度图的结构光系统 |
| CN110673346A (zh) * | 2019-10-17 | 2020-01-10 | 马涛 | 一种放射科影像诊断阅片装置 |
| CN111815695A (zh) * | 2020-07-09 | 2020-10-23 | Oppo广东移动通信有限公司 | 深度图像获取方法、装置、移动终端及存储介质 |
| CN112954223A (zh) * | 2021-03-26 | 2021-06-11 | 维沃移动通信（深圳）有限公司 | 对焦方法及装置、电子设备、可读存储介质和芯片 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030071909A1 (en) * | 2001-10-11 | 2003-04-17 | Peters Geoffrey W. | Generating images of objects at different focal lengths |
| CN104680563A (zh) * | 2015-02-15 | 2015-06-03 | 青岛海信移动通信技术股份有限公司 | 一种图像数据的生成方法和装置 |
| CN105120257A (zh) * | 2015-08-18 | 2015-12-02 | 宁波盈芯信息科技有限公司 | 一种基于结构光编码的垂直深度感知装置 |
| CN106412433A (zh) * | 2016-10-09 | 2017-02-15 | 深圳奥比中光科技有限公司 | 基于rgb‑ir深度相机的自动对焦方法及系统 |
| CN106937105A (zh) * | 2015-12-29 | 2017-07-07 | 宁波舜宇光电信息有限公司 | 基于结构光的三维扫描装置及目标物体的3d图像建立方法 |
-
2017
- 2017-07-31 CN CN201710641573.6A patent/CN107517346B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030071909A1 (en) * | 2001-10-11 | 2003-04-17 | Peters Geoffrey W. | Generating images of objects at different focal lengths |
| CN104680563A (zh) * | 2015-02-15 | 2015-06-03 | 青岛海信移动通信技术股份有限公司 | 一种图像数据的生成方法和装置 |
| CN105120257A (zh) * | 2015-08-18 | 2015-12-02 | 宁波盈芯信息科技有限公司 | 一种基于结构光编码的垂直深度感知装置 |
| CN106937105A (zh) * | 2015-12-29 | 2017-07-07 | 宁波舜宇光电信息有限公司 | 基于结构光的三维扫描装置及目标物体的3d图像建立方法 |
| CN106412433A (zh) * | 2016-10-09 | 2017-02-15 | 深圳奥比中光科技有限公司 | 基于rgb‑ir深度相机的自动对焦方法及系统 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108234874A (zh) * | 2018-01-10 | 2018-06-29 | 南京华捷艾米软件科技有限公司 | 体感摄像头的成像精度的调节方法及调节装置 |
| CN108234874B (zh) * | 2018-01-10 | 2020-07-21 | 南京华捷艾米软件科技有限公司 | 体感摄像头的成像精度的调节方法及调节装置 |
| TWI672676B (zh) * | 2018-03-27 | 2019-09-21 | 恆景科技股份有限公司 | 動態產生深度圖的結構光系統 |
| CN110361753A (zh) * | 2018-04-10 | 2019-10-22 | 恒景科技股份有限公司 | 动态产生深度图的结构光系统 |
| CN110189380A (zh) * | 2019-05-30 | 2019-08-30 | Oppo广东移动通信有限公司 | 标定数据的优化方法、结构光模组及存储介质 |
| CN110673346A (zh) * | 2019-10-17 | 2020-01-10 | 马涛 | 一种放射科影像诊断阅片装置 |
| CN111815695A (zh) * | 2020-07-09 | 2020-10-23 | Oppo广东移动通信有限公司 | 深度图像获取方法、装置、移动终端及存储介质 |
| CN111815695B (zh) * | 2020-07-09 | 2024-03-15 | Oppo广东移动通信有限公司 | 深度图像获取方法、装置、移动终端及存储介质 |
| CN112954223A (zh) * | 2021-03-26 | 2021-06-11 | 维沃移动通信（深圳）有限公司 | 对焦方法及装置、电子设备、可读存储介质和芯片 |
| CN112954223B (zh) * | 2021-03-26 | 2022-10-21 | 维沃移动通信（深圳）有限公司 | 对焦方法及装置、电子设备、可读存储介质和芯片 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107517346B (zh) | 2020-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109118569B (zh) | 基于三维模型的渲染方法和装置 | |
| CN107517346A (zh) | 基于结构光的拍照方法、装置及移动设备 | |
| EP2824923B1 (en) | Apparatus, system and method for projecting images onto predefined portions of objects | |
| CN107465906B (zh) | 场景的全景拍摄方法、装置及终端设备 | |
| CN107209007A (zh) | 以深度估计进行图像采集的方法、电路、设备、配件、系统和功能上相关联的计算机可执行代码 | |
| CN107452034B (zh) | 图像处理方法及其装置 | |
| CN113514008B (zh) | 三维扫描方法、三维扫描系统和计算机可读存储介质 | |
| CN107481317A (zh) | 人脸3d模型的面部调整方法及其装置 | |
| CN107483845B (zh) | 拍照方法及其装置 | |
| CN107480615A (zh) | 美颜处理方法、装置及移动设备 | |
| WO2019035155A1 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
| WO2019031259A1 (ja) | 画像処理装置および方法 | |
| US9049369B2 (en) | Apparatus, system and method for projecting images onto predefined portions of objects | |
| CN107370950B (zh) | 对焦处理方法、装置和移动终端 | |
| CN107392874A (zh) | 美颜处理方法、装置及移动设备 | |
| WO2019047985A1 (zh) | 图像处理方法和装置、电子装置和计算机可读存储介质 | |
| JP2016537901A (ja) | ライトフィールド処理方法 | |
| CN107610171B (zh) | 图像处理方法及其装置 | |
| CN107592449B (zh) | 三维模型建立方法、装置和移动终端 | |
| CN107507269A (zh) | 个性化三维模型生成方法、装置和终端设备 | |
| CN107493427A (zh) | 移动终端的对焦方法、装置和移动终端 | |
| US8633926B2 (en) | Mesoscopic geometry modulation | |
| CN107483815A (zh) | 运动物体的拍摄方法和装置 | |
| CN107705278A (zh) | 动态效果的添加方法和终端设备 | |
| CN107330974A (zh) | 商品展示方法、装置及移动设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |