CN107610171A - 图像处理方法及其装置 - Google Patents

Abstract

本发明提出一种图像处理方法及其装置，其中，方法包括：基于结构光获取用户的人体3D模型，根据用户的操作，从预设3D场景库中，选定目标场景模型，将人体3D模型与目标场景模型进行融合，得到拍摄模型，根据预先确定的拍摄视角，对拍摄模型进行成像，得到所需图像。本实施例中，基于结构光形成人体3D模型，由于人体3D模型和场景模型中都携带各个特征点的深度信息，从而可以根据深度信息将人体3D模型和场景模型进行融合，解决了现有技术中，无法根据用户拍摄需求随意更换场景，而直接更换场景会致使人体与场景融合的很不自然，用户体验差的问题。

Description

图像处理方法及其装置

技术领域

本发明涉及终端设备领域，尤其涉及一种图像处理方法及其装置。

背景技术

随着互联网技术和图像处理技术的发展，不同地域的人与人之间，可以通过开启摄像头进行视频或者直播，以此来进行交流，操作简单，易于实现，通过在移动终端中下载应用软件，即可实现随时随地的直播或视频。

目前，当用户有直播或者是视频需求时，所处的场景有可能并不满足用户的需求，如果再去临时寻找适合的场景，则会比较浪费时间。相关技术中，移动终端的部分应用程序中内置了部分固定的场景，当用户开启摄像头进行视频或者直播时，可以选取该场景，但是这样，获取到的人像和场景是不融合的，过渡非常不自然，用户体验较差。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明提出一种图像处理方法，以实现基于结构光获取人体3D模型和场景模型，人体3D模型和场景模型均携带各个特征点的深度信息，根据深度信息可以使得人体和场景融合的更加自然，从而用户可以根据需要随意更换场景，提升了用户体验。

本发明还提出一种图像处理装置。

本发明还提出一种终端设备。

本发明还提出一种一个或多个包含计算机可执行指令的非易失性计算机可读存储介质。

本发明第一方面实施例提出了一种图像处理方法，包括：

基于结构光获取用户的人体3D模型；

根据用户的操作，从预设3D场景库中，选定目标场景模型；

将所述人体3D模型与所述目标场景模型进行融合，得到拍摄模型；

根据预先确定的拍摄视角，对所述拍摄模型进行成像，得到所需图像。

本实施例的一种图像处理方法中，基于结构光获取用户的人体3D模型，根据用户的操作，从预设3D场景库中，选定目标场景模型，将人体3D模型与目标场景模型进行融合，得到拍摄模型，根据预先确定的拍摄视角，对拍摄模型进行成像，得到所需图像。本实施例中，基于结构光获取人体3D模型，由于人体3D模型携带各个特征点的深度信息，从而可以根据深度信息将人体3D模型和场景模型进行融合，不仅可以使得人体与场景融合的更加自然，而且可以根据用户需要随意更换目标场景，提升了用户体验。

本发明第二方面实施例提出了一种图像处理装置，该装置包括：

建模模块，用于基于结构光获取用户的人体3D模型；

选取模块，用于根据用户的操作，从预设3D场景库中，选定目标场景模型；

融合模块，用于将所述人体3D模型与所述目标场景模型进行融合，得到拍摄模型；

成像模块，用于根据预先确定的拍摄视角，对所述拍摄模型进行成像，得到所需图像。

本实施例的图像处理装置，建模模块用于根据结构光获取用户的人体3D模型，选取模块用于根据用户的操作，从预设3D场景库中，选定目标场景模型，融合模块用于将人体3D模型与目标场景模型进行融合，得到拍摄模型，成像模块用于根据预先确定的拍摄视角，对拍摄模型进行成像，得到所需图像。本实施例中，基于结构光获取人体3D模型，由于人体3D模型携带各个特征点的深度信息，从而可以根据深度信息将人体3D模型和场景模型进行融合，不仅可以使得人体与场景融合的更加自然，而且可以根据用户需要随意更换目标场景，提升了用户体验。

本发明第三方面实施例提出了一种终端设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行第一方面实施例所述的图像处理方法。

本发明第四方面实施例提出了一种一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行如第一方面实施例所述的图像处理方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例所提供的图像处理方法的流程示意图；

图2为不同类型的结构光的示意图；

图3为一个投射结构光的装置组合示意图；

图4为本发明实施例所提供的另一种图像处理方法的流程示意图；

图5为本发明实施例中非均匀的结构光的投影集合示意图；

图6为本发明实施例提供的一种图像处理装置的结构示意图；

图7为本发明实施例所提供的另一种图像处理装置的结构示意图；以及

图8为本发明实施例所提供的图像处理电路900的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的图像处理方法及其装置。

图1为本发明实施例所提供的图像处理方法的流程示意图。

如图1所示，该图像处理方法包括以下步骤：

步骤101，基于结构光获取用户的人体3D模型。

结构光(Structured Light)为投射特定的光到物体表面，由于物体表面是凹凸不平的，物体表面的变化以及可能的间隙会对照射来的光进行调制，再将其发射出去。摄像头采集该物体表面所反射的光，采集的发射光在摄像头中成像，所成图像上会携带光的畸变信息。一般情况下光的畸变程度与物体上各特征点的深度呈正比。进一步地，可以根据图像中携带的畸变信息计算出物体上各个特征点深度信息等，能够完成对物体的三维空间的复原。

作为一种示例，生成结构光的设备可以是将光点、线、光栅、格网或斑纹投影到被测的物体表面上的投影设备或仪器，也可以是生成激光束的激光器。图2为不同类型的结构光的示意图，如图2所示，不同结构光的设备可以形成不同形式的结构光。

本发明实施例提出的图像处理方法，可用于终端设备上，该终端设备可以为智能手机、平板电脑、ipad等。终端设备上可以安装有应用程序，通过应用程序可以调用生成结构光的设备，然后由生成结构光的设备向用户发出结构光。当结构光照射到用户身体上之后，由于用户的身体表面并不是平整的，所以身体在对结构光进行反射时，会造成结构光的畸变。进一步地由终端设备上的摄像头采集反射的结构光，进而在摄像头中的图像传感器上形成携带有畸变信息的二维图像。由于所形成的图像中包括人体上各特征点(面部、躯体以及四肢等)的深度信息，形成人体的深度图像，根据该深度图像重新建立人体的3D模型。

作为一种可能的实现方式，本发明实施例中的摄像头可以为终端的前置摄像头。由此，当用户拿起终端并面对终端的显示屏方向时，可调用终端的投射装置和前置摄像头完成对该用户的人体3D模型的获取。

作为一种可能的实现方式，图3为一个投射结构光的装置组合示意图。图3中仅以结构光的投影集合为线的集合进行示例，对于投影集合为散斑图案的结构光的原理类似。如图3所示，该装置中可以包括光学投射器和摄像机，其中，光学投射器将一定模式的结构光投射于被测物体(用户的身体)所处的空间内，在用户的身体上形成由身体表面的形状所调制的光条的三维图像。该三维图像由处于另一位置的摄像机探测，从而获得畸变的光条二维图像。光条的畸变程度取决于光学投射器与摄像机之间的相对位置和用户身体表面的轮廓，直观上，沿光条显示出的位移(或偏移)与用户身体表面的高度成比例，扭曲表示了平面的变化，不连续显示了用户身体表面的物理间隙，当光学投射器与摄像机之间的相对位置一定时，由畸变的光条二维图像坐标即可重现用户的身体表面的三维轮廓，即获得人体3D模型。

具体地，可以采用公式(1)计算获得人体3D模型，其中，公式(1)如下所示：

其中，(x,y,z)为获取的人体3D模型的坐标，b为投射装置与摄像头之间的基线间距，F为摄像头的焦距，θ为投射装置向用户人体所处的空间投射预设的结构光时的投影角度，(x',y')为带有用户的二维畸变图像的坐标。

步骤102，根据用户的操作，从预设3D场景库中，选定目标场景模型。

具体地，终端设备上的应用程序中可以存储有用于拍摄的场景模型的3D场景库，3D场景库中存储有多个场景模型，例如，场景模型可以是办公室场景，奢华酒店场景等。终端设备上的应用程序也可以实时生成当前所处场景的场景模型，并将生成的场景模型添加到3D场景库中。

步骤103，将人体3D模型与目标场景模型进行融合，得到拍摄模型。

选定好目标场景后，将人体3D模型与目标场景模型进行融合，具体地，选取人体3D模型中的第一参考区域，获取第一参考区域的深度信息，从目标场景模型中，查询第二参考区域，其中，第二参考区域的深度信息与第一参考区域的深度信息匹配，根据深度信息，调整人体3D模型与目标场景模型的相对位置关系，以使第一参考区域和第二参考区域重合，得到拍摄模型。

其中，选取人体3D模型中的第一参考区域，具体地，可以根据人体3D模型中人体的姿态，预测人体与场景的接触区域，接触区域包括臀部区域、脚部区域、手部区域中的至少一个，根据人体与场景的接触区域，从人体3D模型中选取第一参考区域。

选取好人体3D模型中的第一参考区域后，需要获得第一参考区域的深度信息，具体地，获取第一参考区域的中心点以及第一参考区域的各边缘点的深度信息，根据中心点的深度信息和各边缘点的深度信息进行加权平均，形成第一参考区域的深度信息。

需要说明的是，确定中心点的深度信息和各边缘点的深度信息的权重，作为一种可能的实现方式，可以按照中心权重至边缘权重逐步降低的方式，例如高斯型分布。

步骤104，根据预先确定的拍摄视角，对拍摄模型进行成像，得到所需图像。

具体地，通过终端设备采集用户的图像，在图像中会显示用户的场景即为用户选取的场景，而非用户实际所处的场景，用户根据拍摄角度的需要，进行拍摄，得到所需的图像。

举例，当用户需要进行直播时，由于用户当前所处的场景较凌乱，用户即可以从专属自己的模型库中选取一个符合当前直播需求的场景，如，某高档会所，将获取的用户的人体3D模型和该场景进行融合，融合后，根据用户的拍摄视角，在终端设备中的成像即该用户正在某高档会所进行直播，满足了用户拍摄时对场景的变换的需求，同时，因结构光技术，使得人体和场景融合的非常细腻，过渡非常自然，用户的体验度好。

本实施例的图像处理方法，通过结构光获取用户的人体3D模型，根据用户的操作，从预设3D场景库中，选定目标场景模型，将人体3D模型与目标场景模型进行融合，得到拍摄模型，根据预先确定的拍摄视角，对拍摄模型进行成像，得到所需图像。本实施例中，基于结构光获取人体3D模型，由于人体3D模型携带各个特征点的深度信息，从而可以根据深度信息将人体3D模型和场景模型进行融合，不仅可以使得人体与场景融合的更加自然，而且可以根据用户需要随意更换目标场景，提升了用户体验。

本发明是通过结构光技术实现对用户人体3D模型的重建，通过得到的人体3D模型和预存的3D场景进行融合，得到目标拍摄场景，为了进一步清楚的解释通过结构光重建用户人体3D模型的方法，在上述实施例基础上，本发明还提出了一种可能的图像处理方法。

图4为本发明实施例所提供的另一种图像处理方法的流程示意图。如图4所示，该图像处理方法包括以下步骤：

步骤401，向当前场景发射结构光。

具体地，终端设备上可以安装有应用程序，通过应用程序可以调用生成结构光的设备，然后由结构光向当前场景发射结构光。

步骤402，识别场景内的人体。

具体地，终端设备的应用程序开始后，终端设备上的摄像头采集场景的图像，作为一种可能的实现方式，通过人脸识别技术识别出图像中的人脸，并提示用户用手指勾勒出人体的区域，从而识别出场景中的人体。

步骤403，采集结构光在人体上形成的投射光，并根据人体上形成的投射光生成人体的深度图像。

其中，反射光中携带用于人体进行重构的深度信息。

具体地，结构光照射到用户身体上之后，用户身体会对结构光进行反射，可以利用终端设备上的摄像装置，采集由于用户身体反射的反射光。由于身体表面并不是平整的，所以身体在对结构光进行反射时，会造成结构光的畸变，该畸变就会形成对人体进行3D重构的深度信息。进一步地，摄像装置所采集的发射光在图像传感器上形成图像，该图像中还包括人体上各个特征点的位置信息。

步骤404，基于深度图像重构人体3D模型。

具体地，在获取到各特征点的深度信息后，根据各特征点的深度信息，可以重构出各特征点的形状，从而重构出人体3D模型。

需要说明的是，作为一种可能的实现方式，基于步骤401至步骤404，还可以采集场景中人体之外的背景上形成的投射光，根据背景上形成的投射光，获取背景的深度图像，根据深度信息生成场景模型，将生成的场景模型添加到3D场景库中，实现原理和人体3D模型一样，此处不做赘述。

步骤405，根据用户的操作，从预设3D场景库中，选定目标场景模型。

例如，用户当前需要拍摄在花海中的照片或视频时，当前的实际场景并没有符合拍摄要求的花海，而预设的3D场景库中，包含用户需要的花海的场景，进而，从3D场景库中选定花海场景为目标场景模型。

步骤406，将人体3D模型与目标场景模型进行融合，得到拍摄模型。

具体地，根据用户的姿态，预测人体与场景的接触区域，例如，人是坐着的姿态，那么人体和场景接触的区域至少包括：臀部区域和脚部区域。从人体与场景的接触区域，选取人体3D模型中需要和目标场景进行融合的区域，称为第一参考区域，并获取第一参考区域的深度信息。再从目标场景模型中，查询到与第一参考区域深度信息匹配的第二参考区域，进而调整人体3D模型与目标场景模型的相对位置关系，使第一参考区域和第二参考区域重合，得到拍摄模型。

其中，获取第一参考区域的深度信息，具体地，获取第一参考区域的中心点以及第一参考区域的各边缘点的深度信息，根据中心点的深度信息和各边缘点的深度信息进行加权平均，形成第一参考区域的深度信息。

步骤407，根据预先确定的拍摄视角，对拍摄模型进行成像，得到所需图像。

关于步骤407的具体介绍，可参见上述实施例中相关内容的记载，此处不再赘述。

本实施例的图像处理方法，通过结构光获取用户的人体3D模型，根据用户的操作，从预设3D场景库中，选定目标场景模型，将人体3D模型与目标场景模型进行融合，得到拍摄模型，根据预先确定的拍摄视角，对拍摄模型进行成像，得到所需图像。本实施例中，基于结构光获取人体3D模型，由于人体3D模型携带各个特征点的深度信息，从而可以根据深度信息将人体3D模型和场景模型进行融合，不仅可以使得人体与场景融合的更加自然，而且可以根据用户需要随意更换目标场景，提升了用户体验。

此处需要说明的是，作为一种可能的实现方式，上述实施例中采用的结构光可以为非均匀的结构光，非均匀的结构光为多个光斑的集合构成的散斑图案或乱点图案。

图5为本发明实施例中非均匀的结构光的投影集合示意图。如图5所示，本发明实施例中采用的是非均匀的结构光，其中，非均匀的结构光为随机排列非均匀的散斑图案，也就是说，该非均匀的结构光为多个光斑的集合，且多个光斑之间采用不均匀的分散方式排布，进而构成一个散斑图案。由于散斑图案所占的存储空间较小，因而，投射装置运行时不会对终端的运行效率造成太大影响，能够节约终端的存储空间。

此外，本发明实施例中采用的散斑图案，相较于其他现有的结构光类型而言，散列排布能够降低能量消耗，节省电量，提高终端的续航能力。

在本发明实施例中，可以在电脑、手机、掌上电脑等终端中设置投射装置和摄像头。投射装置向用户发射非均匀的结构光即散斑图案。具体地，可以利用投射装置中的衍射光学元件形成散斑图案，其中，该衍射光学元件上设置有一定数量的浮雕，不规则的散斑图案就由衍射光学元件上不规则的浮雕产生。本发明实施例中，浮雕凹槽深度和数量可以通过算法设置。

其中，投射装置可以用于向被测对象所处的空间投射一个预设的散斑图案。摄像头可以用于对已投射散斑图案的被测对象进行采集，以得到带有散斑图案的被测对象的二维畸变图像。

为实现上述实施例，本发明还提出了一种图像处理装置，图6为本发明实施例提供的一种图像处理装置的结构示意图。如图6所示，该图像处理装置包括：建模模块61、选取模块62、融合模块63和成像模块64。

建模模块61，用于基于结构光获取用户的人体3D模型。

选取模块62，用于根据用户的操作，从预设3D场景库中，选定目标场景模型。

融合模块63，用于将人体3D模型与目标场景模型进行融合，得到拍摄模型。

成像模块64，用于根据预先确定的拍摄视角，对拍摄模型进行成像，得到所需图像。

需要说明的是，上述对方法实施例的描述也适用于本实施例的装置，实现原理类似，此处不再赘述。

本实施例的图像处理装置，建模模块用于根据结构光获取用户的人体3D模型，选取模块用于根据用户的操作，从预设3D场景库中，选定目标场景模型，融合模块用于将人体3D模型与目标场景模型进行融合，得到拍摄模型，成像模块用于根据预先确定的拍摄视角，对拍摄模型进行成像，得到所需图像。本实施例中，基于结构光获取人体3D模型，由于人体3D模型携带各个特征点的深度信息，从而可以根据深度信息将人体3D模型和场景模型进行融合，不仅可以使得人体与场景融合的更加自然，而且可以根据用户需要随意更换目标场景，提升了用户体验。

基于上述实施例，本发明还提出了另一种图像处理装置的可能的实现方式，图7为本发明实施例所提供的另一种图像处理装置的结构示意图，如图7所示，建模模块61包括：发射单元611、识别单元612、采集单元613和重构单元614。

发射单元611，用于向当前场景发射结构光。

识别单元612，用于识别场景内的人体。

采集单元613，用于采集结构光在人体上形成的投射光，并根据人体上形成的投射光生成人体的深度图像。

重构单元614，用于基于深度图像重构人体3D模型。

作为一种可能的实现方式，融合模块63还可以包括：选取单元631、获取单元632、查询单元633和调整单元634。

选取单元631，用于选取人体3D模型中的第一参考区域。

获取单元632，用于获取第一参考区域的深度信息。

查询单元633，用于从目标场景模型中，查询第二参考区域，其中，第二参考区域的深度信息与第一参考区域的深度信息匹配。

调整单元634，用于调整人体3D模型与目标场景模型的相对位置关系，以使第一参考区域和第二参考区域重合，得到拍摄模型。

作为一种可能的实现方式，获取单元632，具体用于：

获取第一参考区域的中心点以及第一参考区域的各边缘点的深度信息，根据中心点的深度信息和各边缘点的深度信息进行加权平均，形成第一参考区域的深度信息。

作为一种可能的实现方式，选取单元631，具体用于：

根据人体3D模型中人体的姿态，预测人体与场景的接触区域，接触区域包括臀部区域、脚部区域、手部区域中的至少一个，根据人体与场景的接触区域，从人体3D模型中选取第一参考区域。

需要说明的是，上述对方法实施例的描述也适用于本实施例的装置，实现原理类似，此处不再赘述。

本实施例的图像处理装置，建模模块用于根据结构光获取用户的人体3D模型，选取模块用于根据用户的操作，从预设3D场景库中，选定目标场景模型，融合模块用于将人体3D模型与目标场景模型进行融合，得到拍摄模型，成像模块用于根据预先确定的拍摄视角，对拍摄模型进行成像，得到所需图像。本实施例中，基于结构光获取人体3D模型，由于人体3D模型携带各个特征点的深度信息，从而可以根据深度信息将人体3D模型和场景模型进行融合，不仅可以使得人体与场景融合的更加自然，而且可以根据用户需要随意更换目标场景，提升了用户体验。

上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

为实现上述实施例，本还提出了一种一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行前述实施例所述的图像处理方法。

为了实现上述实施例，本发明实施例还提出一种终端设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行前述实施例中所述的图像处理方法。

上述终端设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图8为本发明实施例所提供的图像处理电路900的示意图。如图8所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。

如图8所示，图像处理电路900包括成像设备910、ISP处理器930和控制逻辑器940。成像设备910可包括具有一个或多个透镜912、图像传感器914的照相机和结构光投射器916。结构光投射器916将结构光投影至被测物。其中，该结构光图案可为激光条纹、格雷码、正弦条纹、或者，随机排列的散斑图案等。图像传感器914捕捉投影至被测物形成的结构光图像，并将结构光图像发送至ISP处理器930，由ISP处理器930对结构光图像进行解调获取被测物的深度信息。同时，图像传感器914也可以捕捉被测物的色彩信息。当然，也可以由两个图像传感器914分别捕捉被测物的结构光图像和色彩信息。

其中，以散斑结构光为例，ISP处理器930对结构光图像进行解调，具体包括，从该结构光图像中采集被测物的散斑图像，将被测物的散斑图像与参考散斑图像按照预定算法进行图像数据计算，获取被测物上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值，并根据该深度值得到被测物的深度信息。

当然，还可以通过双目视觉的方法或基于飞行时差TOF的方法来获取该深度图像信息等，在此不做限定，只要能够获取或通过计算得到被测物的深度信息的方法都属于本实施方式包含的范围。

在ISP处理器930接收到图像传感器914捕捉到的被测物的色彩信息之后，可被测物的色彩信息对应的图像数据进行处理。ISP处理器930对图像数据进行分析以获取可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。图像传感器914可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器914可获取用图像传感器914的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器930处理的一组原始图像数据。

ISP处理器930按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器930可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器930还可从图像存储器920接收像素数据。图像存储器920可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct MemoryAccess，直接直接存储器存取)特征。

当接收到原始图像数据时，ISP处理器930可进行一个或多个图像处理操作。

在ISP处理器930获取到被测物的色彩信息和深度信息后，可对其进行融合，得到三维图像。其中，可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的被测物的特征。例如通过主动形状模型法ASM、主动外观模型法AAM、主成分分析法PCA、离散余弦变换法DCT等方法，提取被测物的特征，在此不做限定。再将分别从深度信息中提取到被测物的特征以及从色彩信息中提取到被测物的特征进行配准和特征融合处理。这里指的融合处理可以是将深度信息以及色彩信息中提取出的特征直接组合，也可以是将不同图像中相同的特征进行权重设定后组合，也可以有其他融合方式，最终根据融合后的特征，生成三维图像。

三维图像的图像数据可发送给图像存储器920，以便在被显示之前进行另外的处理。ISP处理器930从图像存储器920接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。三维图像的图像数据可输出给显示器960，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器930的输出还可发送给图像存储器920，且显示器960可从图像存储器920读取图像数据。在一个实施例中，图像存储器920可被配置为实现一个或多个帧缓冲器。此外，ISP处理器930的输出可发送给编码器/解码器950，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器960设备上之前解压缩。编码器/解码器950可由CPU或GPU或协处理器实现。

ISP处理器930确定的图像统计信息可发送给控制逻辑器940单元。控制逻辑器940可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的图像统计信息，确定成像设备910的控制参数。

以下为运用图8中图像处理技术实现图像处理方法的步骤：

基于结构光获取用户的人体3D模型；

根据用户的操作，从预设3D场景库中，选定目标场景模型；

将人体3D模型与目标场景模型进行融合，得到拍摄模型；

根据预先确定的拍摄视角，对拍摄模型进行成像，得到所需图像。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

基于结构光获取用户的人体3D模型；

根据用户的操作，从预设3D场景库中，选定目标场景模型；

将所述人体3D模型与所述目标场景模型进行融合，得到拍摄模型；

根据预先确定的拍摄视角，对所述拍摄模型进行成像，得到所需图像。

2.根据权利要求1所述的方法，其特征在于，所述将所述人体3D模型与所述目标场景模型进行融合，得到拍摄模型，包括：

选取所述人体3D模型中的第一参考区域；

获取所述第一参考区域的深度信息；

从所述目标场景模型中，查询第二参考区域；所述第二参考区域的深度信息与所述第一参考区域的深度信息匹配；

调整所述人体3D模型与所述目标场景模型的相对位置关系，以使所述第一参考区域和所述第二参考区域重合，得到所述拍摄模型。

3.根据权利要求2所述的方法，其特征在于，所述获取所述第一参考区域的深度信息，包括：

获取所述第一参考区域的中心点以及所述第一参考区域的各边缘点的深度信息；

根据所述中心点的深度信息和所述各边缘点的深度信息进行加权平均，形成第一参考区域的深度信息。

4.根据权利要求2所述的方法，其特征在于，所述选取所述人体3D模型中的第一参考区域，包括：

根据所述人体3D模型中人体的姿态，预测所述人体与场景的接触区域；所述接触区域包括臀部区域、脚部区域、手部区域中的至少一个；

根据所述人体与场景的接触区域，从所述人体3D模型中选取第一参考区域。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述基于结构光获取用户的人体3D模型，包括：

向当前场景发射结构光；

识别所述场景内的人体；

采集所述结构光在所述人体上形成的投射光，并根据所述人体上形成的投射光生成人体的深度图像；

基于所述深度图像重构所述人体3D模型。

6.根据权利要求5所述的方法，其特征在于，所述识别所述场景内的人体之后，还包括：

采集所述场景内除所述人体之外的背景上形成的投射光；

根据所述背景上形成的投射光，生成场景模型；

将生成的场景模型添加到所述3D场景库中。

7.根据权利要求1-4任一项所述的方法，其特征在于，所述结构光为非均匀的结构光，所述非均匀的结构光为多个光斑的集合构成的散斑图案或乱点图案，是由设置在终端上的投射装置中的衍射光学元件形成的，其中，所述衍射光学元件上设置有一定数量的浮雕，所述浮雕的凹槽深度不同。

8.一种图像处理装置，其特征在于，包括：

建模模块，用于基于结构光获取用户的人体3D模型；

选取模块，用于根据用户的操作，从预设3D场景库中，选定目标场景模型；

融合模块，用于将所述人体3D模型与所述目标场景模型进行融合，得到拍摄模型；

成像模块，用于根据预先确定的拍摄视角，对所述拍摄模型进行成像，得到所需图像。

9.一种终端设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的图像处理方法。

10.一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的图像处理方法。