CN107370952B - 图像拍摄方法和装置 - Google Patents

Abstract

本发明公开了一种图像拍摄方法和装置，其中，图像拍摄方法包括：拍摄图像时，通过摄像头获取初始图像，同时利用结构光获取人体三维模型；根据人体三维模型，提取出初始图像中的人物区域；对人物区域进行美颜处理，以生成第一图像；对初始图像中除人物区域外的剩余区域进行HDR处理，以生成第二图像；合并第一图像和第二图像，以获取输出图像。本发明实施例的图像拍摄方法和装置，能够更准确地识别出人物区域，从而对图像进行更精准的处理，获得效果更好的图像。

Description

图像拍摄方法和装置

技术领域

本发明涉及信息处理技术领域，尤其涉及一种图像拍摄方法和装置。

背景技术

随着科技的高速发展，人们可以随时使用手机拍摄照片，拍出的照片效果也越来越好。目前主要采用HDR技术来实现大光比场景的拍摄，如逆光。通过将多张不同曝光的照片进行合成，将曝光不足的区域提高曝光值，过曝的区域降低曝光值，使得最终输出的照片能够更好地反映出真实环境中的视觉效果。然而，现有技术并不能智能地、准确地识别出想要提高曝光值的区域或降低曝光值的区域，导致输出的照片的效果差。

发明内容

本发明提供一种图像拍摄方法和装置，以解决现有技术中，拍摄的图像效果差的问题。

本发明实施例提供一种图像拍摄方法，包括：拍摄图像时，通过摄像头获取初始图像，同时利用结构光获取人体三维模型；根据所述人体三维模型，提取出所述初始图像中的人物区域；对所述人物区域进行美颜处理，以生成第一图像；对所述初始图像中除人物区域外的剩余区域进行HDR处理，以生成第二图像；合并所述第一图像和所述第二图像，以获取输出图像。

本发明另一实施例提供一种图像拍摄装置，包括：获取模块，用于拍摄图像时，通过摄像头获取初始图像，同时利用结构光获取人体三维模型；提取模块，用于根据所述人体三维模型，提取出所述初始图像中的人物区域；美颜模块，用于对所述人物区域进行美颜处理，以生成第一图像；HDR模块，用于对所述初始图像中除人物区域外的剩余区域进行HDR处理，以生成第二图像；输出模块，用于合并所述第一图像和所述第二图像，以获取输出图像。

本发明又一实施例提供一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，本发明第一方面实施例所述的图像拍摄方法。

本发明还一实施例提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述的图像拍摄方法。

本发明实施例提供的技术方案可以包括以下有益效果：

通过在拍摄图像时，利用摄像头获取初始图像，同时利用结构光获取人体三维模型，再根据所述人体三维模型，提取出所述初始图像中的人物区域，然后对所述人物区域进行美颜处理，以生成第一图像，以及对所述初始图像中除人物区域外的剩余区域进行HDR处理，以生成第二图像，最后合并所述第一图像和所述第二图像，以获取输出图像，与相比于现有技术中的二维图像，能够准确地识别出人物区域，从而对图像进行更精准的处理，获得效果更好的图像。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的图像拍摄方法的流程图；

图2是根据本发明一个实施例的结构光测量的场景示意图；

图3是根据本发明一个实施例的图像拍摄装置的结构框图；

图4是根据本发明一个实施例的终端设备的结构示意图；

图5是根据本发明一个实施例的图像处理电路的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的图像拍摄方法和装置。

图1是根据本发明一个实施例的图像拍摄方法的流程图。

如图1所示，该图像拍摄方法包括：

S101，拍摄图像时，通过摄像头获取初始图像，同时利用结构光获取人体三维模型。

为了在拍摄过程中，尤其是逆光场景中，获得效果更好的图像，可将人体区域和其他区域分开进行处理。因此，本发明中，采用结构光来实现精准地提取出人体区域。其中，基于结构光对用户进行人体三维模型的相关信息的采集，比如，激光条纹、格雷码、正弦条纹、或者，非均匀散斑等，由此，由于结构光可以基于人体的轮廓和深度信息对人体三维模型的相关信息的采集，相较于仅仅根据摄像头拍照采集二维图像信息的方式，准确度更高。

为了使得本领域的技术人员更加清楚的了解，如何根据结构光来采集用户的人体三维模型的相关信息，下面以一种应用广泛的条纹投影技术为例来阐述其具体原理，其中，条形投影技术属于广义上的面结构光。

在使用面结构光投影的时候，如图2所示，通过计算机编程产生正弦条纹，将该正弦条纹通过投影设备投影至被测物，利用CCD相机拍摄条纹受物体调制的弯曲程度，解调该弯曲条纹得到相位，再将相位转化为全场的高度。当然其中至关重要的一点就是系统的标定，包括系统几何参数的标定和CCD相机以及投影设备的内部参数标定，否则很可能产生误差或者误差耦合。因为系统外部参数不标定则不可能由相位计算出正确的高度信息。

应当理解的是，在实际应用中，根据具体应用场景的不同，本发明实施例中所采用的结构光除了上述条纹之外，还可是其他任意图案。

在本发明的一个实施例中，可向用户人体投射结构光，并获取经过用户人体的结构光图像，然后根据结构光图像生成用户人体对应的三维模型。

具体地，可解调结构光图像中变形位置像素对应的相位信息，然后将相位信息转化为高度信息，再根据高度信息获取用户人体对应的三维模型。

需要说明的是，根据应用场景的不同，可采用不同的方式基于结构光图像获取人体三维模型，举例如下：解调结构光图像中变形位置像素对应的相位信息，将相位信息转化为高度信息，根据高度信息获取与结构光图像对应的人体三维模型。当然，也可以结合轮廓识别技术，基于人体三维模型，识别出用户人体的轮廓，根据该轮廓可获取更精准的人体三维模型。

S102，根据人体三维模型，提取出初始图像中的人物区域。

具体地，可根据人体三维模型确定用户人体在初始图像中的位置信息，再根据位置信息提取出人物区域。

应当理解的是，获取初始图像以及人体三维模型时，两者可以共用同一个摄像头，也可以使用不同的摄像头。在使用不同的摄像头时，由于两个摄像头具有一定的视角差，因此需要对获取到的初始图像和人体三维模型进行配准，保证用户人体在图像中的位置不出现误差。

S103，对人物区域进行美颜处理，以生成第一图像。

其中，美颜处理可包括提亮、美白、磨皮、祛痘、瘦脸中的至少一种。

同常情况下，人物区域需要进行美颜处理，尤其是人脸区域。而在逆光的情况下，人物区域可能会产生曝光不足的情况，因此可先对人物区域进行提亮，即增加曝光值，然后再进行其他美颜处理。

S104，对初始图像中除人物区域外的剩余区域进行HDR处理，以生成第二图像。

在提取出人物区域后，可利用相关技术对初始图像中除人物区域外的剩余区域进行HDR处理，即通过多帧合成，对曝光不足的区域提高曝光值，对过曝的区域降低曝光值，最终生成第二图像。

其中，本实施例中，并不限定步骤S103和S104的执行顺序，步骤S103可以在S104之前执行，也可以反之，当然两者还可以同时并行执行。

S105，合并第一图像和第二图像，以获取输出图像。

在生成第一图像和第二图像之后，可合并第一图像和第二图像，从而获取输出图像，通过分别处理人物区域和非人物区域，使得输出图像效果更好。

本发明实施例的图像拍摄方法，通过在拍摄图像时，利用摄像头获取初始图像，同时利用结构光获取人体三维模型，再根据人体三维模型，提取出初始图像中的人物区域，然后对人物区域进行美颜处理，以生成第一图像，以及对初始图像中除人物区域外的剩余区域进行HDR处理，以生成第二图像，最后合并第一图像和第二图像，以获取输出图像，与相比于现有技术中的二维图像，能够更准确地识别出人物区域，从而对图像进行更精准的处理，获得效果更好的图像。

为了实现上述实施例，本发明还提出了一种图像拍摄装置，图3是根据本发明一个实施例的图像拍摄装置的结构框图，如图3所示，该装置包括获取模块100、提取模块200、美颜模块300、HDR模块400和输出模块500。

其中，获取模块100，用于拍摄图像时，通过摄像头获取初始图像，同时利用结构光获取人体三维模型；

提取模块200，用于根据人体三维模型，提取出初始图像中的人物区域；

美颜模块300，用于对人物区域进行美颜处理，以生成第一图像；

HDR模块400，用于对初始图像中除人物区域外的剩余区域进行HDR处理，以生成第二图像；

输出模块500，用于合并第一图像和第二图像，以获取输出图像。

需要说明的是，前述对图像拍摄方法的解释说明，也适用于本发明实施例的图像拍摄装置，本发明实施例中未公布的细节，在此不再赘述。

本发明实施例的图像拍摄装置，通过在拍摄图像时，利用摄像头获取初始图像，同时利用结构光获取人体三维模型，再根据人体三维模型，提取出初始图像中的人物区域，然后对人物区域进行美颜处理，以生成第一图像，以及对初始图像中除人物区域外的剩余区域进行HDR处理，以生成第二图像，最后合并第一图像和第二图像，以获取输出图像，与相比于现有技术中的二维图像，能够更准确地识别出人物区域，从而对图像进行更精准的处理，获得效果更好的图像。

为了实现上述实施例，本发明还提出了一种终端设备。

如图4所示，该终端设备包括：处理器41、存储器42、及图像处理电路43。

其中，存储器42用于存储可执行程序代码；处理器41通过读取存储器42中存储的可执行程序代码，及图像处理电路43对图像进行处理，来实现如前述实施例中的图像拍摄方法。

具体的，图像处理电路43可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。

图5为一个实施例中图像处理电路的示意图。如图5所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。

如图5所示，图像处理电路包括成像设备510、ISP处理器530和控制逻辑器540。成像设备510可包括具有一个或多个透镜512、图像传感器514的照相机和结构光投射器516。结构光投射器516将结构光投影至被测物。其中，该结构光图案可为激光条纹、格雷码、正弦条纹、或者，随机排列的散斑图案等。图像传感器514捕捉投影至被测物形成的结构光图像，并将结构光图像发送至ISP处理器530，由ISP处理器530对结构光图像进行解调获取被测物的深度信息。同时，图像传感器514也可以捕捉被测物的色彩信息。当然，也可以由两个图像传感器514分别捕捉被测物的结构光图像和色彩信息。

其中，以散斑结构光为例，ISP处理器530对结构光图像进行解调，具体包括，从该结构光图像中采集被测物的散斑图像，将被测物的散斑图像与参考散斑图像按照预定算法进行图像数据计算，获取被测物上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值，并根据该深度值得到被测物的深度信息。

当然，还可以通过双目视觉的方法或基于飞行时差TOF的方法来获取该深度图像信息等，在此不做限定，只要能够获取或通过计算得到被测物的深度信息的方法都属于本实施方式包含的范围。

在ISP处理器530接收到图像传感器514捕捉到的被测物的色彩信息之后，可被测物的色彩信息对应的图像数据进行处理。ISP处理器530对图像数据进行分析以获取可用于确定和/或成像设备510的一个或多个控制参数的图像统计信息。图像传感器514可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器514可获取用图像传感器514的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器530处理的一组原始图像数据。

ISP处理器530按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器530可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器530还可从图像存储器520接收像素数据。图像存储器520可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct MemoryAccess，直接存储器存取)特征。

当接收到原始图像数据时，ISP处理器530可进行一个或多个图像处理操作。

在ISP处理器530获取到被测物的色彩信息和深度信息后，可对其进行融合，得到三维图像。其中，可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的被测物的特征。例如通过主动形状模型法ASM、主动外观模型法AAM、主成分分析法PCA、离散余弦变换法DCT等方法，提取被测物的特征，在此不做限定。再将分别从深度信息中提取到被测物的特征以及从色彩信息中提取到被测物的特征进行配准和特征融合处理。这里指的融合处理可以是将深度信息以及色彩信息中提取出的特征直接组合，也可以是将不同图像中相同的特征进行权重设定后组合，也可以有其他融合方式，最终根据融合后的特征，生成三维图像。

三维图像的图像数据可发送给图像存储器520，以便在被显示之前进行另外的处理。ISP处理器530从图像存储器520接收处理数据，并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。三维图像的图像数据可输出给显示器560，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器530的输出还可发送给图像存储器520，且显示器560可从图像存储器520读取图像数据。在一个实施例中，图像存储器520可被配置为实现一个或多个帧缓冲器。此外，ISP处理器530的输出可发送给编码器/解码器550，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器560设备上之前解压缩。编码器/解码器550可由CPU或GPU或协处理器实现。

ISP处理器530确定的图像统计信息可发送给控制逻辑器540单元。控制逻辑器540可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的图像统计信息，确定成像设备510的控制参数。

需要说明的是，前述对图像拍摄方法实施例的解释说明也适用于该实施例的终端设备，其实现原理类似，此处不再赘述。

为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，当该计算机程序被处理器执行时能够实现如前述实施例的图像拍摄方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种图像拍摄方法，其特征在于，包括：

拍摄图像时，通过摄像头获取初始图像，同时利用结构光获取人体三维模型；

根据所述人体三维模型，提取出所述初始图像中的人物区域，其中，若使用不同的摄像头获取所述初始图像和所述人体三维模型，则对所述初始图像和所述人体三维模型进行配准后再提取人物区域；

对所述人物区域进行美颜处理，以生成第一图像；

对所述初始图像中除人物区域外的剩余区域进行HDR处理，以生成第二图像，其中，通过多帧合成生成所述第二图像；

合并所述第一图像和所述第二图像，以获取输出图像。

2.如权利要求1所述的方法，其特征在于，利用结构光获取人体三维模型，包括：

向用户人体投射结构光，并获取经过所述用户人体的结构光图像；

根据所述结构光图像生成所述用户人体对应的三维模型。

3.如权利要求2所述的方法，其特征在于，根据所述结构光图像生成所述用户人体对应的三维模型，包括：

解调所述结构光图像中变形位置像素对应的相位信息；

将所述相位信息转化为高度信息；

根据所述高度信息获取所述用户人体对应的三维模型。

4.如权利要求1所述的方法，其特征在于，根据所述人体三维模型，提取出所述初始图像中的人物区域，包括：

根据所述人体三维模型确定用户人体在所述初始图像中的位置信息；

根据所述位置信息提取出所述人物区域。

5.如权利要求1所述的方法，其特征在于，所述美颜处理包括提亮、美白、磨皮、祛痘、瘦脸中的至少一种。

6.一种图像拍摄装置，其特征在于，包括：

获取模块，用于拍摄图像时，通过摄像头获取初始图像，同时利用结构光获取人体三维模型；

提取模块，用于根据所述人体三维模型，提取出所述初始图像中的人物区域，其中，若使用不同的摄像头获取所述初始图像和所述人体三维模型，则对所述初始图像和所述人体三维模型进行配准后再提取人物区域；

美颜模块，用于对所述人物区域进行美颜处理，以生成第一图像；

HDR模块，用于对所述初始图像中除人物区域外的剩余区域进行HDR处理，以生成第二图像，其中，通过多帧合成生成所述第二图像；

输出模块，用于合并所述第一图像和所述第二图像，以获取输出图像。

7.如权利要求6所述的装置，其特征在于，所述获取模块，用于：

向用户人体投射结构光，并获取经过所述用户人体的结构光图像；

根据所述结构光图像生成所述用户人体对应的三维模型。

8.如权利要求7所述的装置，其特征在于，所述获取模块，用于：

解调所述结构光图像中变形位置像素对应的相位信息；

将所述相位信息转化为高度信息；

根据所述高度信息获取所述用户人体对应的三维模型。

9.如权利要求6所述的装置，其特征在于，所述提取模块，用于：

根据所述人体三维模型确定用户人体在所述初始图像中的位置信息；

根据所述位置信息提取出所述人物区域。

10.如权利要求6所述的装置，其特征在于，所述美颜处理包括提亮、美白、磨皮、祛痘、瘦脸中的至少一种。

11.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5任一项所述的图像拍摄方法。

12.一种终端设备，其特征在于，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述的图像拍摄方法。

Images