CN105825544B - 一种图像处理方法及移动终端 - Google Patents

一种图像处理方法及移动终端 Download PDF

Info

Publication number
CN105825544B
CN105825544B CN201510834840.2A CN201510834840A CN105825544B CN 105825544 B CN105825544 B CN 105825544B CN 201510834840 A CN201510834840 A CN 201510834840A CN 105825544 B CN105825544 B CN 105825544B
Authority
CN
China
Prior art keywords
scene
rendering
virtual scene
visible light
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510834840.2A
Other languages
English (en)
Other versions
CN105825544A (zh
Inventor
张新远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN201510834840.2A priority Critical patent/CN105825544B/zh
Publication of CN105825544A publication Critical patent/CN105825544A/zh
Application granted granted Critical
Publication of CN105825544B publication Critical patent/CN105825544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种图像处理方法，包括：获取对同一场景拍摄得到的可见光图像及深度信息；根据所述获取的可见光图像及深度信息，通过预设算法计算得到场景三维空间点云数据；根据所述计算得到的场景三维空间点云数据，对所述场景进行三维重建，生成三维几何模型，构建虚拟场景；对所述构建的虚拟场景进行渲染处理。本发明实施例还提供一种相应的移动终端。本发明实施例提供的图像处理方法可以得到不同3D光照生成的光影效果图像，提升了用户体验，解决了现有移动终端无法在不改变物理场景的情况下预览或保存不同3D光照生成的光影效果图像的问题。

Description

一种图像处理方法及移动终端
技术领域
本发明涉及通信领域，并且更具体地，涉及一种图像处理方法及移动终端。
背景技术
目前移动终端上的摄像头成像大都以再现真实场景为基本效果，随着用户对移动终端成像效果的多样化需求，更加符合个性化需求的虚拟光影和物体外观纹理替换技术被开发出来。
当前智能终端中的虚拟光影成像技术依据具体的物体的关键特征点，在二维图像空间上生成阴影，这不仅受限于具体的物体类别，而且无法在3D空间实现不同光源类型、光照颜色和光照方向生成的混合光照效果；当前图像处理技术中对物体外观纹理的替换大多采用基于拍摄时连续视频帧的运动信息进行物体分割，然后对物体区域替换为一个既有的纹理图像，这无法修改物体本身的光照属性，而且无法在3D空间替换物体的外观纹理材质。现有的成像技术对于真实场景的光照效果，无法在不改变物理场景的情况下预览或者保存不同3D光照生成的光影效果图像。
发明内容
本发明实施例提供一种图像处理方法及移动终端，以解决现有移动终端对于真实场景的光照效果，无法在不改变物理场景的情况下预览或者保存不同3D光照生成的光影效果图像的问题。
第一方面，本发明实施例提供一种图像处理方法，包括：
获取对同一场景拍摄得到的可见光图像及深度信息；
根据所述获取的可见光图像及深度信息，通过预设算法计算得到场景三维空间点云数据；
根据所述计算得到的场景三维空间点云数据，对所述场景进行三维重建，生成三维几何模型，构建虚拟场景；
对所述构建的虚拟场景进行渲染处理。
第二方面，本发明实施例还提供一种移动终端，包括：
第一获取模块，用于获取对同一场景拍摄得到的可见光图像及深度信息；
第一计算模块，用于根据所述第一获取模块获取的可见光图像及深度信息，通过预设算法计算得到场景三维空间点云数据；
重建模块，用于根据所述第一计算模块计算得到的场景三维空间点云数据，对所述场景进行三维重建，生成三维几何模型，构建虚拟场景；
第一渲染模块，用于对所述重建模块构建的虚拟场景进行渲染处理。
这样，本发明实施例中，首先获取对同一场景拍摄得到的可见光图像及深度信息；然后根据获取的可见光图像及深度信息，通过预设算法计算得到场景三维空间点云数据；再根据计算得到的场景三维空间点云数据，对场景进行三维重建，生成三维几何模型，构建虚拟场景；最后对构建的虚拟场景进行渲染处理。从而通过可见光图像和深度信息得到三维几何模型，并对构建的虚拟场景进行渲染处理，可以得到不同3D光照生成的光影效果图像，解决了现有移动终端无法在不改变物理场景的情况下预览或保存不同3D光照生成的光影效果图像的问题，提升了用户体验。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明图像处理方法第一实施例的流程图；
图2为本发明图像处理方法第一实施例的步骤102的子步骤的流程图；
图3为本发明图像处理方法两个摄像头成像的示意图；
图4为本发明图像处理方法存在姿态差异的两个摄像头模组的示意图；
图5为本发明图像处理方法不存在姿态差异的两个摄像头模组的示意图；
图6为本发明图像处理方法深度计算的流程图；
图7为本发明图像处理方法第一实施例的步骤104的子步骤的流程图；
图8为本发明图像处理方法第一实施例的另一流程图；
图9为本发明图像处理方法第二实施例的流程图；
图10为本发明移动终端第一实施例的结构示意图；
图11为本发明移动终端第一实施例的另一结构示意图；
图12为本发明移动终端第一实施例的又一结构示意图；
图13为本发明移动终端第二实施例的结构示意图；
图14为本发明移动终端第三实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明图像处理方法第一实施例
如图1所示，本发明实施例的图像处理方法，包括：
步骤101，获取对同一场景拍摄得到的可见光图像及深度信息。
本步骤中，通过获取对同一物理场景拍摄的可见光图像及深度信息，为接下来三维场景的构建提供了数据支持。其中，对于可见光图像中的每一个像素，都应有一个深度数据与其相对应。深度数据实际指拍摄物体与拍摄设备之间的计算距离。
步骤102，根据所述获取的可见光图像及深度信息，通过预设算法计算得到场景三维空间点云数据。
本步骤中，根据可见光图像与深度信息，通过预设算法可获取到场景三维空间点云数据，从而可根据三维空间点云数据进一步构建三维几何模型。
步骤103，根据所述计算得到的场景三维空间点云数据，对所述场景进行三维重建，生成三维几何模型，构建虚拟场景。
本步骤中，通过生成三维几何模型，构建虚拟场景，可在构建的虚拟场景中设置不同的虚拟光照，得到不同虚拟光照对三维几何模型影响而生成的光影效果图像。
步骤104，对所述构建的虚拟场景进行渲染处理。
本步骤中，根据虚拟场景中设置的不同虚拟光照，对构建的虚拟场景进行渲染处理，得到了不同3D光照生成的光影效果图像。
本发明实施例的图像处理方法，通过可见光图像和深度信息得到三维几何模型，并对构建的虚拟场景进行渲染处理，可以得到不同3D光照生成的光影效果图像，解决了现有移动终端无法在不改变物理场景的情况下预览或保存不同3D光照生成的光影效果图像的问题，提升了用户体验。
作为优选，上述步骤101可采用相同结构和参数的双摄像头，通过多视角立体匹配方式获取场景的深度信息；作为可选，上述步骤101也可使用计算性能较高的红外、结构光、TOF(Time of Flight，飞行时差)等获取场景的深度信息。
需要说明的是，上述步骤101也可采用除红外、结构光和TOF外的其他测距设备来获取物理场景的深度图像，在此不一一说明。
优选的，作为另一实施例，上述步骤101之后，可以进一步包括：将所述可见光图像显示给用户。
此时，可使用户先预览到对物理场景拍摄的初始可见光图像，以满足用户的多方面需求。
优选的，如图2所示，上述步骤102的步骤具体可以包括：
步骤1021，根据所述获取的可见光图像及深度信息，通过第一预设算法计算可见光图像中每个像素点对应的深度值。
本步骤中，通过第一预设算法可准确获取到可见光图像中每个像素点对应的深度值。
步骤1022，根据第二预设算法对所述计算得到的每个像素点对应的深度值进行计算，得到可见光图像中每个像素点对应的场景三维空间坐标，所有场景三维空间坐标对应的点组成场景三维空间点云数据。
本步骤中，通过第二预设算法对计算得到的每个像素点对应的深度值进一步进行计算，可准确获取到每个像素点对应的场景三维空间坐标，进而得到场景三维空间坐标对应的点组成的场景三维空间点云数据，为三维几何模型构建提供数据支持。
此时，通过第一预设算法获取可见光图像中每个像素点对应的深度值，并通过第二预设算法获取每个像素点对应的场景三维空间坐标，进而得到了场景三维空间坐标对应的点组成的场景三维空间点云数据，为后续三维几何模型构建提供了数据支持，且提高了准确性。
具体的，若上述步骤101采用相同结构和参数的双摄像头，基于双目立体匹配的方式获取每个像素点的深度值，则双摄像头的安装可采用平行轴同向方式，如图3所示，OR为左摄像头的光心，OT为右摄像头的光心，f为两个摄像头的焦距，b为基线距离(两个摄像头的中心距离)，P为物理空间上的一物点，Z为物点P的深度值，p为POR连线与左摄像头像平面的交点，p’为POT连线与右摄像头像平面的交点，xR为物点P在左摄像头像平面上的横坐标，xT为物点P在右摄像头像平面上的横坐标。基于此，考虑相似三角形Ppp’和POROT的底高比，可得到如下公式：
并可通过上述公式(1)推导出如下公式：
其中，d为双目视差。
本发明实施例中，上述步骤1021可通过上述公式(2)计算可见光图像中每个像素点对应的深度值。
其中，上述公式(2)是理想装配情况下每个像素点对应的深度值的计算公式，但在实际双摄像头装配过程中，如图4所示，两个摄像头模组之间存在姿态差异，并不能严格保证光轴平行、传感器平面在同一个平面上等条件，使同一个物点在两个摄像头中的成像并不在同一行上。因此，为按照上述公式(2)进行深度计算，需要对双目图像进行矫正，如图5所示，使两个摄像头模组之间不存在姿态差异，同一个物点在两个摄像头中的成像在同一行上。
考虑到双摄像头需要进行矫正的情况，本发明实施例的上述步骤1021中，可通过如图6所示的流程计算每个像素点对应的深度值，下面对该流程包含的步骤详细描述如下：
步骤601，对两个摄像头拍摄的图像进行在线矫正。
这里采用在线矫正的方式，考虑到双目没有标定情况，称输出可见光图像的摄像头为主摄像头，另一个摄像头为副摄像头。在图3的视角中，主摄像头在左，副摄像头在右，主摄像头拍摄图像为左图，副摄像头拍摄图像为右图。在线校正有两种方式可以使双目图像达到理想成像约束：对左右两幅图像同时进行变化，或者对副摄像头图像进行变化并保持主摄像头图像不变。
作为优选：对副摄像头图像做仿射变换，主摄像头图像保持不变。右图的矫正变化即是对右图在物理空间做一个旋转变换，使其和左图保证同一个物点在同一行上，变换方式如下：
对右图采用如下公式施加仿射变换：
其中，Kor是校正前的右摄像头内参，Knr是校正后的虚拟右摄 像头内参(设定：Knr＝Kor)，fx和fy为投影焦距(设定：fx＝fy＝α)，cx和cy为主点坐标(设定：cx ＝w/2，cy＝h/2，w为图像宽度，h为图像高度)，Rr为旋转矩阵，包括三个旋转自由度。
则左右两个摄像头满足的极线几何约束为：
其中，和为左图和右图中的特征匹配对，这些特征匹配对可以通过在原始图像中进行局部不变特征匹配的方式获取(如surf特征、sift特征匹配等)。
其中，为理想装配情况下左右摄像头的基础矩阵。
根据上述公式(4)可以得到新的基础矩阵如下公式所示：
这里，设定则上述公式(3)中还有4个未知数：α和Rr的三个旋 转量。
原始左右图中第j个特征匹配对定义的极线约束误差为：
其中，u3＝(0,0,1)。
通过最小二乘法求解即可确定4个未知数：α和Rr的三个旋转量，进而可以通过上述公式(3)对右图进行Hr变换，使得变换后的右图与左图的同一物点在同一行上。
步骤602，对矫正后的两个摄像头拍摄的图像进行立体匹配。
在上述步骤601矫正完成后，根据立体匹配方法，对左图上的每一个点，在同一行内寻找右图上的最相似的点，两点之间的坐标差值记为视差d。
步骤603，根据立体匹配的结果对图像上的像素点进行深度计算。
根据上述公式(2)计算左图上每个像素点的深度值Z。
进一步的，上述步骤1022中，对左图的像素点(x，y)根据变换，可得到虚拟场景中每个像素点(x，y)对应的物理坐标(X，Y)，并结合每个像素点的深度值Z，可得到每个像素点对应的三维坐标(X，Y，Z)。(X，Y，Z)组成了像素点(x，y)对应的场景三维空间坐标，所有场景三维空间坐标对应的点组成场景三维空间点云数据。
优选的，上述步骤103的步骤具体可以包括：
根据所述计算得到的场景三维空间点云数据，以点云中的每个点对应的三维空间坐标为顶点，相邻顶点之间构建三角网格面片；根据所述构建的三角网格面片，对所述场景进行三维重建，生成三维几何模型，并作为虚拟场景中的渲染物体；根据所述生成的三维几何模型，构建虚拟场景。
此时，以每个像素点对应的三维空间坐标(X,Y,Z)为顶点，相邻顶点之间构建三角网格面片，组成图形引擎渲染的基本单元，并根据构建的三角网格面片对场景进行三维重建，重建的结果为三角网格化的几何模型。
优选的，如图7所示，上述步骤104的步骤具体可以包括：
步骤1041，设置所述构建的三角网格面片中每个顶点的法线正方向。
本步骤中，设置三角网格面片中每个顶点的法线正方向，可用于渲染光照效果。具体可先计算每个三角网格面片的法线方向，三角网格面片的法线方向取朝向摄像头方向为正方向，然后每个顶点的法线方向取其所占据三角网格面片法线方向的均值。
步骤1042，根据所述可见光图像，生成纹理对象。
步骤1043，根据所述生成的纹理对象，对所述三维几何模型进行纹理映射，作为虚拟场景的缺省纹理。
本步骤中，根据可见光图像的纹理对象对三维几何模型进行纹理映射，作为虚拟场景的缺省纹理，在不进行调整时，使虚拟场景也能具有较好的纹理效果。具体可对可见光图像数据设置纹理映射坐标，映射到建立的三维几何模型中，并设置模型为单面材质属性。
步骤1044，统计所述可见光图像的亮度信息，根据所述亮度信息，确定所述三维几何模型所在的虚拟场景中的缺省环境光强度。
本步骤中，将统计的可见光图像的亮度信息作为三维几何模型所在虚拟场景的缺省环境光强度，使在不进行调整时，虚拟场景也能具有合理的环境光强度。具体可统计可见光图像的亮度信息，把当前帧所有像素点的平均亮度作为当前虚拟场景中的全局环境光强度。
步骤1045，根据预置的纹理光照属性，设置渲染参数。
本步骤中，可根据预置的纹理光照属性，设置渲染参数，使渲染图像达到预置状态，使用户在此基础上可对图像效果进行调整，也可不进行调整，从而得到了同一物理场景的不同3D光影效果图像。当用户对渲染参数进行修改后，则通过如下步骤进一步获取用户设置的渲染参数。
步骤1046，获取用户设置的渲染参数，所述渲染参数包括材质和光照参数。
本步骤中，当用户修改物体材质和光照后，则获取用户设置的渲染参数，包括材质和光照参数，使渲染图像达到用户的理想状态。
步骤1047，根据所述获取的渲染参数，对所述构建的虚拟场景进行渲染处理，并使渲染视角与所述可见光图像的拍摄视角相同。
本步骤中，根据获取的渲染参数，包括预置的渲染参数和/或用户设置的渲染参数，对构建的虚拟场景进行渲染处理，不仅能够得到不同3D光照生成的光影效果图像，还能够得到不同纹理材质的效果图像，进一步增加了趣味性，提升了用户体验。
此时，通过对虚拟场景进行渲染处理，得到了具有不同3D光照效果和不同纹理材质的图像，增加了趣味性，提升了用户体验。
优选的，作为另一实施例，上述步骤1043之后，可以进一步包括：将所述可见光图像与经过纹理设置的所述三维几何模型进行对应保存。
这里，可采用通用三维模型图像格式(.obj、.3ds、.x等)，同时保存灯光和纹理设置参数。
此时，通过将可见光图像与经过纹理设置的三维几何模型进行对应保存，可在离线情况下直接加载已经拍摄的可见光图像和已经建立的带纹理的三维几何模型，并调整渲染效果，实现了非实时场景下的虚拟光影成像，方便了用户使用，提升了用户体验。
优选的，如图8所示，上述步骤104之后进一步可以包括：
步骤105，获取用户对目标物体区域的选取指令。
本步骤中，通过获取用户对目标物体区域的选取指令，可实现用户对目标物体的单独处理，得到具有突出效果的图像。
步骤106，根据所述获取的虚拟场景中选取的目标物体区域，确定第一渲染物体。
本步骤中，根据选取的目标物体区域，确定第一渲染物体，可实现用户对第一渲染物体渲染效果的单独调整，丰富了调整效果，提升了用户体验。
这里，可通过终端显示界面，实现用户对初始渲染图像的目标物体的选取，并可根据用户的操作方式，采用不同方式实现对目标物体所在区域的提取。例如，在用户点选目标时，可使用基于深度和纹理信息的超像素分割方式进行目标物体区域的提取；在用户划选物体包围边界时，可使用分水岭等算法进行目标物体区域的提取。
步骤107，获取用户选取的材质参数、光源类型以及光源参数，所述材质参数包括顶点材质以及顶点材质的光照属性参数、纹理及顶点材质属性。
本步骤中，通过获取用户选取的材质参数、光源类型以及光源参数，可根据后续步骤实现对目标物体区域覆盖的三维顶点设置新的光照属性，或者设置新的纹理贴图，从而得到具有不同虚拟光照和纹理的图像。
这里，可以调用预定义材质及灯光资源库实现对目标物体的参数调整，当然，也可使用户自己定义新的材质，然后赋予指定物体。预定义材质及灯光资源库中包含有预定义的灯光设置(如电光源、聚光灯、平行光等)以及预定义的纹理对象。灯光设置如可包括对灯光类型、位置、强度、颜色等参数的设置。预定义材质及灯光资源库也可接受用户在线配置的资源，并进行保存。
步骤108，根据所述用户选取的材质参数，对所述第一渲染物体的顶点材质和纹理贴图进行更新，建立新的虚拟场景，并根据所述用户选取的光源类型、光源参数，在虚拟场景中添加新的光源，修改已有光源属性，建立新的光源场景。
本步骤中，根据用户选取的材质参数及光源类型、光源参数，建立新的虚拟场景和新的光源场景，可使用户重新添加或调整光源，还可对光源位置、方向、光照模型、材质属性等进行调整，可设置多个光源，并可对分割的目标物体区域覆盖的三维顶点设置新的光照属性，或者设置新的纹理贴图。
具体的，当屏幕界面展示二维成像时，用户可叠加平面内的虚拟灯光，并渲染生成图像；当屏幕界面展示三维场景时，用户可指定虚拟光源(可多个)在三维空间中的属性，渲染成像。
步骤109，根据所述建立的虚拟场景和光源场景进行渲染处理，并使渲染视角与所述可见光图像的拍摄视角相同。
本步骤中，根据建立的虚拟场景和光源场景进行渲染处理，得到了具有不同3D光照效果和纹理效果的图像，提升了用户体验。具体需要渲染引擎根据三维几何模型、纹理设置、光源属性进行三维图形的光栅化过程。
其中，渲染时，虚拟摄像机的方向和实际用户拍摄时的方向及覆盖的区域都应相同，即渲染视角与可见光图像的拍摄视角相同，从而保证得到同一场景不同效果的图像。
综上，本发明实施例的图像处理方法，在拍摄时，可在3D空间配置光照(光源)方位及其属性；可指定拍摄目标的材质属性；成像效果为真实场景叠加虚拟光源后的渲染效果；可修改已保存图像的3D光影效果。本发明实施例的图像处理方法，解决了现有移动终端无法在不改变物理场景的情况下预览或保存不同3D光照生成的光影效果图像的问题，根据用户选取的参数建立新的虚拟场景和光源场景，得到了具有不同3D光照效果和纹理效果的图像，并通过对目标物体区域进行选取，实现了对目标物体区域的单独调整，增加了照片种类，提升了用户体验。
本发明图像处理方法第二实施例
如图9所示，本发明实施例的图像处理方法，包括：
步骤901，根据对同一场景拍摄得到的可见光图像及深度信息，得到场景三维空间点云数据。
具体的，首先采用相同结构和参数的双摄像头，拍摄得到可见光图像及深度信息；然后根据获取的可见光图像及深度信息，通过第一预设算法计算可见光图像中每个像素点对应的深度值；并根据第二预设算法对计算得到的每个像素点对应的深度值进行计算，得到可见光图像中每个像素点对应的场景三维空间坐标，所有场景三维空间坐标对应的点组成场景三维空间点云数据。
这里，双摄像头的安装采用平行轴同向方式，如图3所示，OR为左摄像头的光心，OT为右摄像头的光心，f为两个摄像头的焦距，b为基线距离(两个摄像头的中心距离)，P为物理空间上的一物点，Z为物点P的深度值，p为POR连线与左摄像头像平面的交点，p’为POT连线与右摄像头像平面的交点，xR为物点P在左摄像头像平面上的横坐标，xT为物点P在右摄像头像平面上的横坐标。第一预设算法包括如下公式：
其中，d为双目视差，通过上述公式(2)计算每个像素点的深度值Z。
第二预设算法包括变换，对可见光图像的像素点(x，y)根据变换，可得到虚拟场景中每个像素点(x，y)对应的物理坐标(X，Y)，并结合每个像素点的深度值Z，可得到每个像素点对应的三维坐标(X，Y，Z)。(X，Y，Z)组成了像素点(x，y)对应的场景三维空间坐标，所有场景三维空间坐标对应的点组成场景三维空间点云数据。
其中，Kor是校正前的右摄像头内参。
步骤902，根据场景三维空间点云数据，构建虚拟场景。
具体的，以点云中的每个点对应的三维空间坐标为顶点，相邻顶点之间构建三角网格面片；根据构建的三角网格面片，对场景进行三维重建，生成三维几何模型，并作为虚拟场景中的渲染物体；根据生成的三维几何模型，构建虚拟场景。
步骤903，设置构建的三角网格面片中每个顶点的法线正方向。
具体的，先计算每个三角网格面片的法线方向，三角网格面片的法线方向取朝向摄像头方向为正方向，然后每个顶点的法线方向取其所占据三角网格面片法线方向的均值。
步骤904，根据可见光图像，映射三维几何模型的纹理。
具体的，对可见光图像数据设置纹理映射坐标，映射到建立的三维几何模型中，并设置模型为单面材质属性。设置纹理后的三维几何模型作为渲染基础。
步骤905，根据可见光图像，设置环境光强度。
具体的，统计可见光图像的亮度信息，把当前帧所有像素点的平均亮度作为当前虚拟场景中的全局环境光强度。
步骤906，获取用户设置的渲染参数。
初始时，虚拟场景中只有全局环境光照，当用户修改物体材质和光照后，则先获取用户设置的材质和光照参数，完成纹理定义、滤波控制、映射方式的确定，并生成纹理对象。
步骤907，获取用户对目标物体区域的选取指令。
通过在终端显示界面上，使用户对当前渲染的二维图像进行选取，根据用户操作的方式，对目标物体进行区域进行分割。点选目标时，使用基于深度和主摄像头图像的颜色梯度信息，以超像素分割方式进行物体区域提取；划选物体包围边界时，使用分水岭算法进行目标物体区域提取。
步骤908，保存用户设置的材质及灯光参数，包括灯光类型、位置、强度、颜色以及可分割物体的纹理和光照属性等。
这里，可调用预定义材质及灯光资源库，也可使用户定义新的材质。预定义材质及灯光资源库中包含有预定义的灯光设置(如电光源、聚光灯、平行光等)以及预定义的纹理对象。
步骤909，根据用户设置的参数对虚拟场景进行渲染。渲染时，虚拟摄像机的方向和实际用户拍摄的方向及覆盖的区域均相同。
具体的，根据用户选取的材质参数，对第一渲染物体的顶点材质和纹理贴图进行更新，建立新的虚拟场景，并根据用户选取的光源类型、光源参数，在虚拟场景中添加新的光源，修改已有光源属性，建立新的光源场景。最后根据建立的虚拟场景和光源场景进行渲染处理，得到具有不同3D光照效果和纹理效果的图像。
步骤910，将渲染的二维图形展示给用户。
步骤911，判断用户是否结束调整，若用户没有结束调整则调整到步骤906，若用户结束调整则跳转到步骤912。
步骤912，保存渲染后的图像到文件。
本发明实施例的图像处理方法，通过深度信息得到三维几何模型，并通过可见光图像的图像信息和用户输入的调整信息，可实时对三维几何模型进行渲染处理，完成对图像的栅格化，得到不同3D光照生成的光影效果图像，解决了现有移动终端无法在不改变物理场景的情况下预览或保存不同3D光照生成的光影效果图像的问题，提升了用户体验。
作为另一种实施例，上述步骤905之后，还可以包括：
将可见光图像与经过纹理映射的三维几何模型进行对应保存。
此时，可直接加载已经拍摄的可见光图像和带纹理的三维几何模型，并通过后续步骤进行渲染操作，得到不同3D光照效果和材质效果的图像。
本发明实施例的图像处理方法，可分在线拍摄和离线渲染两部分，在线拍摄步骤通过深度信息得到三维几何模型，离线渲染部分通过可见光图像的图像信息和用户输入的调整信息，实现对三维几何模型的非实时渲染处理，得到不同3D光照生成的光影效果图像，解决了现有移动终端无法在不改变物理场景的情况下预览或保存不同3D光照生成的光影效果图像的问题，提升了用户体验。
本发明移动终端第一实施例
如图10所示，本发明实施例的移动终端1000，包括：
第一获取模块1001，用于获取对同一场景拍摄得到的可见光图像及深度信息。
该第一获取模块1001，通过获取对同一物理场景拍摄的可见光图像及深度信息，为接下来三维场景的构建提供了数据支持。其中，对于可见光图像中的每一个像素，都应有一个深度数据与其相对应。深度数据实际指拍摄物体与拍摄设备之间的距离。
第一计算模块1002，用于根据所述第一获取模块1001获取的可见光图像及深度信息，通过预设算法计算得到场景三维空间点云数据。
该第一计算模块1002，根据可见光图像与深度信息，通过预设算法可获取到场景三维空间点云数据，从而可根据三维空间点云数据进一步构建三维几何模型。
重建模块1003，用于根据所述第一计算模块1002计算得到的场景三维空间点云数据，对所述场景进行三维重建，生成三维几何模型，构建虚拟场景。
该重建模块1003，通过生成三维几何模型，构建虚拟场景，可在构建的虚拟场景中设置不同的虚拟光照，得到不同虚拟光照对三维几何模型影响而生成的光影效果图像。
第一渲染模块1004，用于对所述重建模块1003构建的虚拟场景进行渲染处理。
该第一渲染模块1004，根据虚拟场景中设置的不同虚拟光照，对构建的虚拟场景进行渲染处理，得到了不同3D光照生成的光影效果图像。
本发明实施例的图像处理方法，通过可见光图像和深度信息得到三维几何模型，并对构建的虚拟场景进行渲染处理，可以得到不同3D光照生成的光影效果图像，解决了现有移动终端无法在不改变物理场景的情况下预览或保存不同3D光照生成的光影效果图像的问题，提升了用户体验。
作为优选，上述第一获取模块1001可采用相同结构和参数的双摄像头，通过多视角立体匹配方式获取场景的深度信息；作为可选，上述第一获取模块1001也可使用计算性能较高的红外、结构光、TOF(Time of Flight，飞行时差)等获取场景的深度信息。
需要说明的是，上述第一获取模块1001也可采用除红外、结构光和TOF外的其他测距设备来获取物理场景的深度图像，在此不一一说明。
优选的，如图11所示，所述第一计算模块1002可以包括：
第一计算单元10021，用于根据所述第一获取模块1001获取的可见光图像及深度信息，通过第一预设算法计算可见光图像中每个像素点对应的深度值。
该第一计算单元10021通过第一预设算法可准确获取到可见光图像中每个像素点对应的深度值。
第二计算单元10022，用于根据第二预设算法对所述第一计算单元10021计算得到的每个像素点对应的深度值进行计算，得到可见光图像中每个像素点对应的场景三维空间坐标，所有场景三维空间坐标对应的点组成场景三维空间点云数据。
该第二计算单元10022，通过第二预设算法对计算得到的每个像素点对应的深度值进一步进行计算，可准确获取到每个像素点对应的场景三维空间坐标，进而得到场景三维空间坐标对应的点组成的场景三维空间点云数据，为三维几何模型构建提供数据支持。
此时，通过第一预设算法获取可见光图像中每个像素点对应的深度值，并通过第二预设算法获取每个像素点对应的场景三维空间坐标，进而得到了场景三维空间坐标对应的点组成的场景三维空间点云数据，为后续三维几何模型构建提供了数据支持，且提高了准确性。
具体的，若上述第一获取模块1001采用相同结构和参数的双摄像头，基于双目立体匹配的方式获取每个像素点的深度值，则双摄像头的安装可采用平行轴同向方式，如图3所示，OR为左摄像头的光心，OT为右摄像头的光心，f为两个摄像头的焦距，b为基线距离(两个摄像头的中心距离)，P为物理空间上的一物点，Z为物点P的深度值，p为POR连线与左摄像头像平面的交点，p’为POT连线与右摄像头像平面的交点，xR为物点P在左摄像头像平面上的横坐标，xT为物点P在右摄像头像平面上的横坐标。基于此，考虑相似三角形Ppp’和POROT的底高比，可得到如下公式：
并可通过上述公式(1)推导出如下公式：
其中，d为双目视差。
本发明实施例中，上述第一计算单元10021可通过上述公式(2)计算可见光图像中每个像素点对应的深度值。
其中，上述公式(2)是理想装配情况下每个像素点对应的深度值的计算公式，但在实际双摄像头装配过程中，如图4所示，两个摄像头模组之间存在姿态差异，并不能严格保证光轴平行、传感器平面在同一个平面上等条件，使同一个物点在两个摄像头中的成像并不在同一行上。因此，为按照上述公式(2)进行深度计算，需要对双目图像进行矫正，如图5所示，使两个摄像头模组之间不存在姿态差异，同一个物点在两个摄像头中的成像在同一行上。
考虑到双摄像头需要进行矫正的情况，本发明实施例的上述第一计算单元10021中，可通过如下模块计算每个像素点对应的深度值：
在线矫正模块，用于对两个摄像头拍摄的图像进行在线矫正。
这里采用在线矫正的方式，考虑到双目没有标定情况，称输出可见光图像的摄像头为主摄像头，另一个摄像头为副摄像头。在图3的视角中，主摄像头在左，副摄像头在右，主摄像头拍摄图像为左图，副摄像头拍摄图像为右图。在线校正有两种方式可以使双目图像达到理想成像约束：对左右两幅图像同时进行变化，或者对副摄像头图像进行变化并保持主摄像头图像不变。
作为优选：对副摄像头图像做仿射变换，主摄像头图像保持不变。右图的矫正变化即是对右图在物理空间做一个旋转变换，使其和左图保证同一个物点在同一行上，变换方式如下：
对右图采用如下公式施加仿射变换：
其中，Kor是校正前的右摄像头内参，Knr是校正后的虚拟右摄 像头内参(设定：Knr＝Kor)，fx和fy为投影焦距(设定：fx＝fy＝α)，cx和cy为主点坐标(设定：cx ＝w/2，cy＝h/2，w为图像宽度，h为图像高度)，Rr为旋转矩阵，包括三个旋转自由度。
则左右两个摄像头满足的极线几何约束为：
其中，和为左图和右图中的特征匹配对，这些特征匹配对可以通过在原始图像中进行局部不变特征匹配的方式获取(如surf特征、sift特征匹配等)。
其中，为理想装配情况下左右摄像头的基础矩阵。
根据上述公式(4)可以得到新的基础矩阵如下公式所示：
这里，设定则上述公式(3)中还有4个未知数：α和Rr的三个旋 转量。
原始左右图中第j个特征匹配对定义的极线约束误差为：
其中，u3＝(0,0,1)。
通过最小二乘法求解即可确定4个未知数：α和Rr的三个旋转量，进而可以通过上述公式(3)对右图进行Hr变换，使得变换后的右图与左图的同一物点在同一行上。
立体匹配模块，用于对矫正后的两个摄像头拍摄的图像进行立体匹配。
在上述在线矫正模块矫正完成后，根据立体匹配方法，对左图上的每一个点，在同一行内寻找右图上的最相似的点，两点之间的坐标差值记为视差d。
深度计算模块，用于根据立体匹配的结果对图像上的像素点进行深度计算。
根据上述公式(2)计算左图上每个像素点的深度值Z。
进一步的，上述第二计算单元10022中，对左图的像素点(x，y)根据变换，可得到虚拟场景中每个像素点(x，y)对应的物理坐标(X，Y)，并结合每个像素点的深度值Z，可得到每个像素点对应的三维坐标(X，Y，Z)。(X，Y，Z)组成了像素点(x，y)对应的场景三维空间坐标，所有场景三维空间坐标对应的点组成场景三维空间点云数据。
优选的，所述重建模块1003可以包括：
第一构建单元10031，用于根据所述第一计算模块1002计算得到的场景三维空间点云数据，以点云中的每个点对应的三维空间坐标为顶点，相邻顶点之间构建三角网格面片；
重建单元10032，用于根据所述第一构建单元10031构建的三角网格面片，对所述场景进行三维重建，生成三维几何模型，并作为虚拟场景中的渲染物体；
第二构建单元10033，用于根据所述重建单元10032生成的三维几何模型，构建虚拟场景。
此时，以每个像素点对应的三维空间坐标(X,Y,Z)为顶点，相邻顶点之间构建三角网格面片，组成图形引擎渲染的基本单元，并根据构建的三角网格面片对场景进行三维重建，重建的结果为三角网格化的几何模型。
优选的，所述第一渲染模块1004可以包括：
第一设置单元10041，用于设置所述重建单元10032构建的三角网格面片中每个顶点的法线正方向。
该第一设置单元10041，设置三角网格面片中每个顶点的法线正方向，可用于渲染光照效果。具体可先计算每个三角网格面片的法线方向，三角网格面片的法线方向取朝向摄像头方向为正方向，然后每个顶点的法线方向取其所占据三角网格面片法线方向的均值。
生成单元10042，用于根据所述可见光图像，生成纹理对象。
映射单元10043，用于根据所述生成单元10042生成的纹理对象，对所述三维几何模型进行纹理映射，作为虚拟场景的缺省纹理。
该生成单元10042和映射单元10043，根据可见光图像的纹理对象对三维几何模型进行纹理映射，作为虚拟场景的缺省纹理，在不进行调整时，使虚拟场景也能具有较好的纹理效果。具体可对可见光图像数据设置纹理映射坐标，映射到建立的三维几何模型中，并设置模型为单面材质属性。
确定单元10044，用于统计所述可见光图像的亮度信息，根据所述亮度信息，确定所述三维几何模型所在的虚拟场景中的缺省环境光强度。
该确定单元10044，将统计的可见光图像的亮度信息作为三维几何模型所在虚拟场景的缺省环境光强度，使在不进行调整时，虚拟场景也能具有合理的环境光强度。具体可统计可见光图像的亮度信息，把当前帧所有像素点的平均亮度作为当前虚拟场景中的全局环境光强度。
第二设置单元10045，用于根据预置的纹理光照属性，设置渲染参数。
该第二设置单元10045，可根据预置的纹理光照属性，设置渲染参数，使渲染图像达到预置状态，使用户在此基础上可对图像效果进行调整，也可不进行调整，从而得到了同一物理场景的不同3D光影效果图像。当用户对渲染参数进行修改后，则通过如下步骤进一步获取用户设置的渲染参数。
获取单元10046，用于获取用户设置的渲染参数，所述渲染参数包括材质和光照参数。
该获取单元10046，当用户修改物体材质和光照后，则获取用户设置的渲染参数，包括材质和光照参数，使渲染图像达到用户的理想状态。
渲染单元10047，用于根据所述获取单元10046获取的渲染参数，对所述构建的虚拟场景进行渲染处理，并使渲染视角与所述可见光图像的拍摄视角相同。
该渲染单元10047，根据获取的渲染参数，包括预置的渲染参数和/或用户设置的渲染参数，对构建的虚拟场景进行渲染处理，不仅能够得到不同3D光照生成的光影效果图像，还能够得到不同纹理材质的效果图像，进一步增加了趣味性，提升了用户体验。
此时，通过对虚拟场景进行渲染处理，得到了具有不同3D光照效果和不同纹理材质的图像，增加了趣味性，提升了用户体验。
优选的，作为另一实施例，上述映射单元10043之后，可以进一步将所述可见光图像与经过纹理设置的所述三维几何模型进行对应保存。
这里，可采用通用三维模型图像格式(.obj、.3ds、.x等)，同时保存灯光和纹理设置参数。
此时，通过将可见光图像与经过纹理设置的三维几何模型进行对应保存，可在离线情况下直接加载已经拍摄的可见光图像和已经建立的带纹理的三维几何模型，并调整渲染效果，实现了非实时场景下的虚拟光影成像，方便了用户使用，提升了用户体验。
优选的，如图12所示，所述移动终端1000进一步可以包括：
第二获取模块1005，用于获取用户对目标物体区域的选取指令。
该第二获取模块1005，通过获取用户对目标物体区域的选取指令，可实现用户对目标物体的单独处理，得到具有突出效果的图像。
确定模块1006，用于根据所述第二获取模块1005获取的虚拟场景中选取的目标物体区域，确定第一渲染物体。
该确定模块1006，根据选取的目标物体区域，确定第一渲染物体，可实现用户对第一渲染物体渲染效果的单独调整，丰富了调整效果，提升了用户体验。
这里，可通过终端显示界面，实现用户对初始渲染图像的目标物体的选取，并可根据用户的操作方式，采用不同方式实现对目标物体所在区域的提取。例如，在用户点选目标时，可使用基于深度和纹理信息的超像素分割方式进行目标物体区域的提取；在用户划选物体包围边界时，可使用分水岭算法进行目标物体区域的提取。
第三获取模块1007，用于获取用户选取的材质参数、光源类型以及光源参数，所述材质参数包括顶点材质以及顶点材质的光照属性参数、纹理及顶点材质属性。
该第三获取模块1007，通过获取用户选取的材质参数、光源类型以及光源参数，可根据后续步骤实现对目标物体区域覆盖的三维顶点设置新的光照属性，或者设置新的纹理贴图，从而得到具有不同虚拟光照和纹理的图像。
这里，可以调用预定义材质及灯光资源库实现对目标物体的参数调整，当然，也可使用户自己定义新的材质，然后赋予指定物体。预定义材质及灯光资源库中包含有预定义的灯光设置(如电光源、聚光灯、平行光等)以及预定义的纹理对象。灯光设置如可包括对灯光类型、位置、强度、颜色等参数的设置。预定义材质及灯光资源库也可接受用户在线配置的资源，并进行保存。
更新模块1008，用于根据所述第三获取模块1007获取的用户选取的材质参数，对所述第一渲染物体的顶点材质和纹理贴图进行更新，建立新的虚拟场景，并根据所述用户选取的光源类型、光源参数，在虚拟场景中添加新的光源，修改已有光源属性，建立新的光源场景。
该更新模块1008，根据用户选取的材质参数及光源类型、光源参数，建立新的虚拟场景和新的光源场景，可使用户重新添加或调整光源，还可对光源位置、方向、光照模型、材质属性等进行调整，可设置多个光源，并可对分割的目标物体区域覆盖的三维顶点设置新的光照属性，或者设置新的纹理贴图。
具体的，当屏幕界面展示二维成像时，用户可叠加平面内的虚拟灯光，并渲染生成图像；当屏幕界面展示三维场景时，用户可指定虚拟光源(可多个)在三维空间中的属性，渲染成像。
第二渲染模块1009，用于根据所述更新模块1008建立的虚拟场景和光源场景进行渲染处理，并使渲染视角与所述可见光图像的拍摄视角相同。
该第二渲染模块1009，根据建立的虚拟场景和光源场景进行渲染处理，得到了具有不同3D光照效果和纹理效果的图像，提升了用户体验。具体需要渲染引擎根据三维几何模型、纹理设置、光源属性进行三维图形的光栅化过程。
其中，渲染时，虚拟摄像机的方向和实际用户拍摄时的方向及覆盖的区域都应相同，即渲染视角与可见光图像的拍摄视角相同，从而保证得到同一场景不同效果的图像。
此时，根据用户选取的参数建立新的虚拟场景和光源场景，得到了具有不同3D光照效果和纹理效果的图像，并通过对目标物体区域进行选取，实现了对目标物体区域的单独调整，增加了照片种类，提升了用户体验。
本发明实施例的移动终端1000还可以包括材质及灯光资源库和显示单元。材质及灯光资源库用于提供预定义的灯光设置(如电光源、聚光灯、平行光等)以及预定义的纹理对象，同时接受在线配置的资源，并进行保存。显示单元用于保存并显示三维渲染单元的渲染结果。
综上，本发明实施例的移动终端1000，在拍摄时，可在3D空间配置光照(光源)方位及其属性；可指定拍摄目标的材质属性；成像效果为真实场景叠加虚拟光源后的渲染效果；可修改已保存图像的3D光影效果。本发明实施例的移动终端1000，解决了现有移动终端无法在不改变物理场景的情况下预览或保存不同3D光照生成的光影效果图像的问题，提升了用户体验。
本发明实施例的移动终端1000能实现图1-9的方法实施例中移动终端实现的各个过程，为避免重复，这里不再赘述。本发明实施例的移动终端1000，通过深度信息得到三维几何模型，并通过可见光图像的图像信息和用户输入的调整信息，可实时或离线对三维几何模型进行渲染处理，完成对图像的栅格化，得到不同3D光照生成的光影效果图像，解决了现有移动终端无法在不改变物理场景的情况下预览或保存不同3D光照生成的光影效果图像的问题，提升了用户体验。
本发明移动终端第二实施例
图13是本发明第二实施例的移动终端的框图。图13所示的移动终端1300包括：至少一个处理器1301、存储器1302、至少一个网络接口1304和其他用户接口1303。移动终端1300中的各个组件通过总线系统1305耦合在一起。可理解，总线系统1305用于实现这些组件之间的连接通信。总线系统1305除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图13中将各种总线都标为总线系统1305。
其中，用户接口1303可以包括显示器、键盘、摄像模组或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
可以理解，本发明实施例中的存储器1302可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(ProgrammableROM，PROM)、可擦除可编程只读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccessMemory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(StaticRAM，SRAM)、动态随机存取存储器(DynamicRAM，DRAM)、同步动态随机存取存储器(SynchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleDataRateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(SynchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambusRAM，DRRAM)。本发明实施例描述的系统和方法的存储器1302旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器1302存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统13021和应用程序13022。
其中，操作系统13021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序13022，包含各种应用程序，例如媒体播放器(MediaPlayer)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序13022中。
在本发明实施例中，通过调用存储器1302存储的程序或指令，具体的，可以是应用程序13022中存储的程序或指令，用户接口1303中的摄像模组用于获取对同一场景拍摄得到的可见光图像及深度信息，处理器1301用于根据所述获取的可见光图像及深度信息，通过预设算法计算得到场景三维空间点云数据，根据所述计算得到的场景三维空间点云数据，对所述场景进行三维重建，生成三维几何模型，构建虚拟场景，并对所述构建的虚拟场景进行渲染处理。
上述本发明实施例揭示的方法可以应用于处理器1301中，或者由处理器1301实现。处理器1301可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1301中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1301可以是通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecific IntegratedCircuit，ASIC)、现成可编程门阵列(FieldProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1302，处理器1301读取存储器1302中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本发明实施例描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecificIntegratedCircuits，ASIC)、数字信号处理器(DigitalSignalProcessing，DSP)、数字信号处理设备(DSPDevice，DSPD)、可编程逻辑设备(ProgrammableLogicDevice，PLD)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本发明实施例所述功能的模块(例如过程、函数等)来实现本发明实施例所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选地，处理器1301具体用于：根据所述获取的可见光图像及深度信息，通过第一预设算法计算可见光图像中每个像素点对应的深度值；根据第二预设算法对所述计算得到的每个像素点对应的深度值进行计算，得到可见光图像中每个像素点对应的场景三维空间坐标，所有场景三维空间坐标对应的点组成场景三维空间点云数据。存储器1302用于存储第一预设算法和第二预设算法。
可选地，处理器1301具体用于：根据所述计算得到的场景三维空间点云数据，以点云中的每个点对应的三维空间坐标为顶点，相邻顶点之间构建三角网格面片；根据所述构建的三角网格面片，对所述场景进行三维重建，生成三维几何模型，并作为虚拟场景中的渲染物体；根据所述生成的三维几何模型，构建虚拟场景。
可选地，处理器1301具体用于：设置所述构建的三角网格面片中每个顶点的法线正方向；根据所述可见光图像，生成纹理对象；根据所述生成的纹理对象，对所述三维几何模型进行纹理映射，作为虚拟场景的缺省纹理；统计所述可见光图像的亮度信息，根据所述亮度信息，确定所述三维几何模型所在的虚拟场景中的缺省环境光强度；根据预置的纹理光照属性，设置渲染参数；获取用户设置的渲染参数，所述渲染参数包括材质和光照参数；根据所述获取的渲染参数，对所述构建的虚拟场景进行渲染处理，并使渲染视角与所述可见光图像的拍摄视角相同。
可选地，作为另一个实施例，用户接口1303还用于：获取用户对目标物体区域的选取指令；获取用户选取的材质参数、光源类型以及光源参数，所述材质参数包括顶点材质以及顶点材质的光照属性参数、纹理及顶点材质属性。处理器1301还用于：根据所述获取的虚拟场景中选取的目标物体区域，确定第一渲染物体；根据所述用户选取的材质参数，对所述第一渲染物体的顶点材质和纹理贴图进行更新，建立新的虚拟场景，并根据所述用户选取的光源类型、光源参数，在虚拟场景中添加新的光源，修改已有光源属性，建立新的光源场景；根据所述建立的虚拟场景和光源场景进行渲染处理，并使渲染视角与所述可见光图像的拍摄视角相同。
移动终端1300能够实现前述实施例中移动终端实现的各个过程，为避免重复，这里不再赘述。移动终端1300通过深度信息得到三维几何模型，并通过可见光图像的图像信息和用户输入的调整信息，可实时或离线对三维几何模型进行渲染处理，完成对图像的栅格化，得到不同3D光照生成的光影效果图像，解决了现有移动终端无法在不改变物理场景的情况下预览或保存不同3D光照生成的光影效果图像的问题，提升了用户体验。
本发明移动终端第三实施例
图14是本发明第三实施例的移动终端的结构示意图。具体地，图14中的移动终端1400可以为手机、平板电脑、个人数字助理(PersonalDigital Assistant，PDA)、或车载电脑等。
图14中的移动终端1400包括射频(RadioFrequency，RF)电路1410、存储器1420、输入单元1430、显示单元1440、摄像模组1450、处理器1460、音频电路1470、WiFi(WirelessFidelity)模块1480和电源1490。
其中，输入单元1430可用于接收用户输入的数字或字符信息，以及产生与移动终端1400的用户设置以及功能控制有关的信号输入。具体地，本发明实施例中，该输入单元1430可以包括触控面板1431。触控面板1431，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1431上的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1431可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给该处理器1460，并能接收处理器1460发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1431。除了触控面板1431，输入单元1430还可以包括其他输入设备1432，其他输入设备1432可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
其中，显示单元1440可用于显示由用户输入的信息或提供给用户的信息以及移动终端1400的各种菜单界面。显示单元1440可包括显示面板1441，可选的，可以采用LCD或有机发光二极管(OrganicLight-EmittingDiode，OLED)等形式来配置显示面板1441。
应注意，触控面板1431可以覆盖显示面板1441，形成触摸显示屏，当该触摸显示屏检测到在其上或附近的触摸操作后，传送给处理器1460以确定触摸事件的类型，随后处理器1460根据触摸事件的类型在触摸显示屏上提供相应的视觉输出。
触摸显示屏包括应用程序界面显示区及常用控件显示区。该应用程序界面显示区及该常用控件显示区的排列方式并不限定，可以为上下排列、左右排列等可以区分两个显示区的排列方式。该应用程序界面显示区可以用于显示应用程序的界面。每一个界面可以包含至少一个应用程序的图标和/或widget桌面控件等界面元素。该应用程序界面显示区也可以为不包含任何内容的空界面。该常用控件显示区用于显示使用率较高的控件，例如，设置按钮、界面编号、滚动条、电话本图标等应用程序图标等。
其中处理器1460是移动终端1400的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在第一存储器1421内的软件程序和/或模块，以及调用存储在第二存储器1422内的数据，执行移动终端1400的各种功能和处理数据，从而对移动终端1400进行整体监控。可选的，处理器1460可包括一个或多个处理单元。
在本发明实施例中，通过调用存储该第一存储器1421内的软件程序和/或模块和/或该第二存储器1422内的数据，摄像模组1450用于获取对同一场景拍摄得到的可见光图像及深度信息，处理器1460用于根据所述获取的可见光图像及深度信息，通过预设算法计算得到场景三维空间点云数据，根据所述计算得到的场景三维空间点云数据，对所述场景进行三维重建，生成三维几何模型，构建虚拟场景，并对所述构建的虚拟场景进行渲染处理。
可选地，处理器1460具体用于：根据所述获取的可见光图像及深度信息，通过第一预设算法计算可见光图像中每个像素点对应的深度值；根据第二预设算法对所述计算得到的每个像素点对应的深度值进行计算，得到可见光图像中每个像素点对应的场景三维空间坐标，所有场景三维空间坐标对应的点组成场景三维空间点云数据。存储器1420用于存储第一预设算法和第二预设算法。
可选地，处理器1460具体用于：根据所述计算得到的场景三维空间点云数据，以点云中的每个点对应的三维空间坐标为顶点，相邻顶点之间构建三角网格面片；根据所述构建的三角网格面片，对所述场景进行三维重建，生成三维几何模型，并作为虚拟场景中的渲染物体；根据所述生成的三维几何模型，构建虚拟场景。
可选地，处理器1460具体用于：设置所述构建的三角网格面片中每个顶点的法线正方向；根据所述可见光图像，生成纹理对象；根据所述生成的纹理对象，对所述三维几何模型进行纹理映射，作为虚拟场景的缺省纹理；统计所述可见光图像的亮度信息，根据所述亮度信息，确定所述三维几何模型所在的虚拟场景中的缺省环境光强度；根据预置的纹理光照属性，设置渲染参数；获取用户设置的渲染参数，所述渲染参数包括材质和光照参数；根据所述获取的渲染参数，对所述构建的虚拟场景进行渲染处理，并使渲染视角与所述可见光图像的拍摄视角相同。
可选地，作为另一个实施例，输入单元1430还用于：获取用户对目标物体区域的选取指令；获取用户选取的材质参数、光源类型以及光源参数，所述材质参数包括顶点材质以及顶点材质的光照属性参数、纹理及顶点材质属性。处理器1460还用于：根据所述获取的虚拟场景中选取的目标物体区域，确定第一渲染物体；根据所述用户选取的材质参数，对所述第一渲染物体的顶点材质和纹理贴图进行更新，建立新的虚拟场景，并根据所述用户选取的光源类型、光源参数，在虚拟场景中添加新的光源，修改已有光源属性，建立新的光源场景；根据所述建立的虚拟场景和光源场景进行渲染处理，并使渲染视角与所述可见光图像的拍摄视角相同。
可见，移动终端1400能够实现前述实施例中移动终端实现的各个过程，为避免重复，这里不再赘述。移动终端1400通过深度信息得到三维几何模型，并通过可见光图像的图像信息和用户输入的调整信息，可实时或离线对三维几何模型进行渲染处理，完成对图像的栅格化，得到不同3D光照生成的光影效果图像，解决了现有移动终端无法在不改变物理场景的情况下预览或保存不同3D光照生成的光影效果图像的问题，提升了用户体验。
本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种图像处理方法，其特征在于，包括：
获取对同一场景拍摄得到的可见光图像及深度信息；
根据所述获取的可见光图像及深度信息，通过预设算法计算得到场景三维空间点云数据；
根据所述计算得到的场景三维空间点云数据，对所述场景进行三维重建，生成三维几何模型，构建虚拟场景，所述虚拟场景为三角网格化的三维几何模型；
对所述构建的虚拟场景进行渲染处理；
其中，在执行所述根据所述获取的可见光图像及深度信息，通过预设算法计算得到场景三维空间点云数据的步骤的过程中，所述方法还包括：在构建的虚拟场景中设置不同的虚拟光照；
所述对所述构建的虚拟场景进行渲染处理的步骤，包括：根据虚拟场景中设置的不同的虚拟光照，对所述构建的虚拟场景进行渲染处理，得到具有不同3D光照效果和不同纹理材质的图像；
所述根据所述计算得到的场景三维空间点云数据，对所述场景进行三维重建，生成三维几何模型，构建虚拟场景的步骤，包括：
根据所述计算得到的场景三维空间点云数据，以点云中的每个点对应的三维空间坐标为顶点，相邻顶点之间构建三角网格面片；
根据所述构建的三角网格面片，对所述场景进行三维重建，生成三维几何模型，并作为虚拟场景中的渲染物体；
根据所述生成的三维几何模型，构建虚拟场景；
所述对所述构建的虚拟场景进行渲染处理的步骤，包括：
设置所述构建的三角网格面片中每个顶点的法线正方向；
根据所述可见光图像，生成纹理对象；
根据所述生成的纹理对象，对所述三维几何模型进行纹理映射，作为虚拟场景的缺省纹理；
统计所述可见光图像的亮度信息，根据所述亮度信息，确定所述三维几何模型所在的虚拟场景中的缺省环境光强度；
根据预置的纹理光照属性，设置渲染参数；
获取用户设置的渲染参数，所述渲染参数包括材质和光照参数；
根据所述获取的渲染参数，对所述构建的虚拟场景进行渲染处理，并使渲染视角与所述可见光图像的拍摄视角相同。
2.根据权利要求1所述的方法，其特征在于，所述根据所述获取的可见光图像及深度信息，通过预设算法计算得到场景三维空间点云数据的步骤，包括：
根据所述获取的可见光图像及深度信息，通过第一预设算法计算可见光图像中每个像素点对应的深度值；
根据第二预设算法对所述计算得到的每个像素点对应的深度值进行计算，得到可见光图像中每个像素点对应的场景三维空间坐标，所有场景三维空间坐标对应的点组成场景三维空间点云数据。
3.根据权利要求1所述的方法，其特征在于，所述对所述构建的虚拟场景进行渲染处理，之后进一步包括：
获取用户对目标物体区域的选取指令；
根据所述获取的虚拟场景中选取的目标物体区域，确定第一渲染物体；
获取用户选取的材质参数、光源类型以及光源参数，所述材质参数包括顶点材质以及顶点材质的光照属性参数、纹理及顶点材质属性；
根据所述用户选取的材质参数，对所述第一渲染物体的顶点材质和纹理贴图进行更新，建立新的虚拟场景，并根据所述用户选取的光源类型、光源参数，在虚拟场景中添加新的光源，修改已有光源属性，建立新的光源场景；
根据所述建立的虚拟场景和光源场景进行渲染处理，并使渲染视角与所述可见光图像的拍摄视角相同。
4.一种移动终端，其特征在于，包括：
第一获取模块，用于获取对同一场景拍摄得到的可见光图像及深度信息；
第一计算模块，用于根据所述第一获取模块获取的可见光图像及深度信息，通过预设算法计算得到场景三维空间点云数据；
重建模块，用于根据所述第一计算模块计算得到的场景三维空间点云数据，对所述场景进行三维重建，生成三维几何模型，构建虚拟场景，所述虚拟场景为三角网格化的三维几何模型；
第一渲染模块，用于对所述重建模块构建的虚拟场景进行渲染处理；
其中，所述装置还包括：
设置模块，用于在构建的虚拟场景中设置不同的虚拟光照；
所述第一渲染模块包括：
渲染子模块，用于根据虚拟场景中设置的不同的虚拟光照，对所述构建的虚拟场景进行渲染处理，得到具有不同3D光照效果和不同纹理材质的图像；
所述重建模块包括：
第一构建单元，用于根据所述第一计算模块计算得到的场景三维空间点云数据，以点云中的每个点对应的三维空间坐标为顶点，相邻顶点之间构建三角网格面片；
重建单元，用于根据所述第一构建单元构建的三角网格面片，对所述场景进行三维重建，生成三维几何模型，并作为虚拟场景中的渲染物体；
第二构建单元，用于根据所述重建单元生成的三维几何模型，构建虚拟场景；
所述第一渲染模块包括：
第一设置单元，用于设置所述重建单元构建的三角网格面片中每个顶点的法线正方向；
生成单元，用于根据所述可见光图像，生成纹理对象；
映射单元，用于根据所述生成单元生成的纹理对象，对所述三维几何模型进行纹理映射，作为虚拟场景的缺省纹理；
确定单元，用于统计所述可见光图像的亮度信息，根据所述亮度信息，确定所述三维几何模型所在的虚拟场景中的缺省环境光强度；
第二设置单元，用于根据预置的纹理光照属性，设置渲染参数；
获取单元，用于获取用户设置的渲染参数，所述渲染参数包括材质和光照参数；
渲染单元，用于根据所述获取单元获取的渲染参数，对所述构建的虚拟场景进行渲染处理，并使渲染视角与所述可见光图像的拍摄视角相同。
5.根据权利要求4所述的移动终端，其特征在于，所述第一计算模块包括：
第一计算单元，用于根据所述第一获取模块获取的可见光图像及深度信息，通过第一预设算法计算可见光图像中每个像素点对应的深度值；
第二计算单元，用于根据第二预设算法对所述第一计算单元计算得到的每个像素点对应的深度值进行计算，得到可见光图像中每个像素点对应的场景三维空间坐标，所有场景三维空间坐标对应的点组成场景三维空间点云数据。
6.根据权利要求4所述的移动终端，其特征在于，所述移动终端进一步包括：
第二获取模块，用于获取用户对目标物体区域的选取指令；
确定模块，用于根据所述第二获取模块获取的虚拟场景中选取的目标物体区域，确定第一渲染物体；
第三获取模块，用于获取用户选取的材质参数、光源类型以及光源参数，所述材质参数包括顶点材质以及顶点材质的光照属性参数、纹理及顶点材质属性；
更新模块，用于根据所述第三获取模块获取的用户选取的材质参数，对所述第一渲染物体的顶点材质和纹理贴图进行更新，建立新的虚拟场景，并根据所述用户选取的光源类型、光源参数，在虚拟场景中添加新的光源，修改已有光源属性，建立新的光源场景；
第二渲染模块，用于根据所述更新模块建立的虚拟场景和光源场景进行渲染处理，并使渲染视角与所述可见光图像的拍摄视角相同。
CN201510834840.2A 2015-11-25 2015-11-25 一种图像处理方法及移动终端 Active CN105825544B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510834840.2A CN105825544B (zh) 2015-11-25 2015-11-25 一种图像处理方法及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510834840.2A CN105825544B (zh) 2015-11-25 2015-11-25 一种图像处理方法及移动终端

Publications (2)

Publication Number Publication Date
CN105825544A CN105825544A (zh) 2016-08-03
CN105825544B true CN105825544B (zh) 2019-08-20

Family

ID=56514574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510834840.2A Active CN105825544B (zh) 2015-11-25 2015-11-25 一种图像处理方法及移动终端

Country Status (1)

Country Link
CN (1) CN105825544B (zh)

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10038894B1 (en) * 2017-01-17 2018-07-31 Facebook, Inc. Three-dimensional scene reconstruction from set of two dimensional images for consumption in virtual reality
CN106844289A (zh) * 2017-01-22 2017-06-13 苏州蜗牛数字科技股份有限公司 基于手机摄像头扫描环境进行建模的方法
CN107066092B (zh) * 2017-03-20 2020-04-03 上海大学 Vr运行空间动态检测与参数化虚拟场景重构系统与方法
CN106933376B (zh) * 2017-03-23 2018-03-13 哈尔滨拓博科技有限公司 一种光投影键盘的标定方法
CN106971418A (zh) * 2017-04-28 2017-07-21 碰海科技（北京）有限公司 手持式家居建材凹凸表面质感重建装置
CN107358610A (zh) * 2017-06-08 2017-11-17 北京农业信息技术研究中心 作物高通量表型检测方法及系统
CN107393017A (zh) * 2017-08-11 2017-11-24 北京铂石空间科技有限公司 图像处理方法、装置、电子设备及存储介质
CN111768496B (zh) * 2017-08-24 2024-02-09 Oppo广东移动通信有限公司 图像处理方法、装置、服务器及计算机可读存储介质
CN109508579B (zh) * 2017-09-15 2022-02-22 百度在线网络技术（北京）有限公司 用于获取虚拟点云数据的方法及装置
EP3467782A1 (en) * 2017-10-06 2019-04-10 Thomson Licensing Method and device for generating points of a 3d scene
CN107885661A (zh) * 2017-11-08 2018-04-06 百度在线网络技术（北京）有限公司 移动应用的终端兼容性测试方法和系统、设备、介质
CN108876891B (zh) * 2017-11-27 2021-12-28 北京旷视科技有限公司 人脸图像数据采集方法及人脸图像数据采集装置
CN107944420B (zh) * 2017-12-07 2020-10-27 北京旷视科技有限公司 人脸图像的光照处理方法和装置
CN108031588A (zh) * 2017-12-29 2018-05-15 深圳海桐防务装备技术有限责任公司 自动喷涂装置及使用其的自动喷涂方法
CN108320330A (zh) * 2018-01-23 2018-07-24 河北中科恒运软件科技股份有限公司 基于深度视频流的实时三维模型重建方法及系统
CN108537870B (zh) * 2018-04-16 2019-09-03 太平洋未来科技（深圳）有限公司 图像处理方法、装置及电子设备
CN108573480B (zh) * 2018-04-20 2020-02-11 太平洋未来科技（深圳）有限公司 基于图像处理的环境光补偿方法、装置及电子设备
CN108805327B (zh) * 2018-04-23 2022-04-26 西安科技大学 基于虚拟现实的机器人路径规划与环境重建的方法和系统
CN110533707B (zh) * 2018-05-24 2023-04-14 微软技术许可有限责任公司 照明估计
CN108765542B (zh) * 2018-05-31 2022-09-09 Oppo广东移动通信有限公司 图像渲染方法、电子设备和计算机可读存储介质
CN108830923B (zh) * 2018-06-08 2022-06-17 网易（杭州）网络有限公司 图像渲染方法、装置及存储介质
US10984587B2 (en) 2018-07-13 2021-04-20 Nvidia Corporation Virtual photogrammetry
WO2020019132A1 (zh) * 2018-07-23 2020-01-30 太平洋未来科技（深圳）有限公司 基于光线信息渲染虚拟对象的方法、装置及电子设备
CN109064536B (zh) * 2018-07-27 2022-12-06 电子科技大学 一种基于双目结构光的书页三维重建方法
CN110798677B (zh) * 2018-08-01 2021-08-31 Oppo广东移动通信有限公司 三维场景建模方法及装置、电子装置、可读存储介质及计算机设备
CN109389631B (zh) * 2018-09-05 2022-09-16 奥比中光科技集团股份有限公司 深度计算系统与方法
WO2020056689A1 (zh) * 2018-09-20 2020-03-26 太平洋未来科技（深圳）有限公司 一种ar成像方法、装置及电子设备
CN109509249B (zh) * 2018-09-29 2023-02-07 北京航空航天大学 一种基于部件的虚拟场景光源智能生成方法
CN109523622B (zh) * 2018-11-15 2023-08-01 奥本未来(北京)科技有限责任公司 一种非结构化的光场渲染方法
CN109584375B (zh) * 2018-11-21 2023-11-17 维沃移动通信有限公司 一种物体信息显示方法及移动终端
CN109828658B (zh) * 2018-12-17 2022-03-08 彭晓东 一种人机共融的远程态势智能感知系统
CN111476834B (zh) * 2019-01-24 2023-08-11 北京地平线机器人技术研发有限公司 生成图像的方法、装置及电子设备
CN110648387B (zh) * 2019-03-04 2024-01-05 完美世界(北京)软件科技发展有限公司 一种用于3d场景中的光源与模型之间的链接管理方法和装置
CN111915713A (zh) * 2019-05-08 2020-11-10 阿里巴巴集团控股有限公司 一种三维动态场景的创建方法、计算机设备、存储介质
CN110335340A (zh) * 2019-05-14 2019-10-15 广东康云科技有限公司 基于超像素的对象三维模型生成方法、系统及存储介质
CN110211218B (zh) * 2019-05-17 2021-09-10 腾讯科技（深圳）有限公司 画面渲染方法和装置、存储介质及电子装置
CN110223589A (zh) * 2019-05-17 2019-09-10 上海蜂雀网络科技有限公司 一种基于3d绘画协议的汽车模型展示方法
CN110378989A (zh) * 2019-05-29 2019-10-25 上海得见计算机科技有限公司 一种能够实现昼夜出图效果的三维场景渲染方法
CN110287431B (zh) * 2019-06-27 2021-08-24 北京金山安全软件有限公司 图像文件的加载方法、装置、电子设备和存储介质
CN110276831B (zh) * 2019-06-28 2022-03-18 Oppo广东移动通信有限公司 三维模型的建构方法和装置、设备、计算机可读存储介质
CN112257731B (zh) * 2019-07-05 2024-06-28 杭州海康威视数字技术股份有限公司 一种虚拟数据集的生成方法及装置
US10916051B2 (en) 2019-07-08 2021-02-09 Google Llc Video lighting using depth and virtual lights
CN110490960B (zh) * 2019-07-11 2023-04-07 创新先进技术有限公司 一种合成图像生成方法及装置
CN110428388B (zh) * 2019-07-11 2023-08-08 创新先进技术有限公司 一种图像数据生成方法及装置
CN112242004B (zh) * 2019-07-16 2023-09-01 华中科技大学 一种基于光照渲染的ar场景的虚拟雕刻方法及系统
CN110717964B (zh) * 2019-09-26 2023-05-02 深圳市名通科技股份有限公司 场景建模方法、终端及可读存储介质
CN112584079A (zh) * 2019-09-30 2021-03-30 华为技术有限公司 视频通话人脸呈现方法、视频通话装置及汽车
US11039113B2 (en) * 2019-09-30 2021-06-15 Snap Inc. Multi-dimensional rendering
CN111223192B (zh) * 2020-01-09 2023-10-03 北京华捷艾米科技有限公司 一种图像处理方法及其应用方法、装置及设备
CN111311757B (zh) * 2020-02-14 2023-07-18 惠州Tcl移动通信有限公司 一种场景合成方法、装置、存储介质及移动终端
CN111383329B (zh) * 2020-03-06 2023-07-21 深圳市工之易科技有限公司 基于浏览器的三维图像显示方法、装置及电子设备
CN111445572B (zh) * 2020-03-24 2024-03-22 网易（杭州）网络有限公司 显示虚拟三维模型的方法和装置
CN111524240A (zh) * 2020-05-11 2020-08-11 维沃移动通信有限公司 场景切换方法、装置及增强现实设备
CN111583375B (zh) * 2020-06-24 2023-04-07 腾讯科技（深圳）有限公司 虚拟画面的显示方法、装置、设备及存储介质
CN111815750A (zh) * 2020-06-30 2020-10-23 深圳市商汤科技有限公司 对图像打光的方法及装置、电子设备和存储介质
CN113890984B (zh) * 2020-07-03 2022-12-27 华为技术有限公司 拍照方法、图像处理方法和电子设备
CN113298924A (zh) * 2020-08-28 2021-08-24 阿里巴巴集团控股有限公司 一种场景的渲染方法、计算设备及存储介质
CN112149578B (zh) * 2020-09-24 2024-05-24 四川川大智胜软件股份有限公司 基于人脸三维模型的人脸皮肤材质计算方法、装置及设备
CN112235556B (zh) * 2020-09-27 2022-10-14 北京灵境世界科技有限公司 一种vr场景构建方法、系统和装置
CN112395101B (zh) * 2020-10-12 2021-07-20 天津航天中为数据系统科技有限公司 一种基于双向数据处理机制的大数据快速渲染的方法
CN112235634A (zh) * 2020-10-16 2021-01-15 广州虎牙科技有限公司 对象渲染方法、装置、电子设备及存储介质
CN112270759B (zh) * 2020-10-30 2022-06-24 北京字跳网络技术有限公司 基于图像的光效处理方法、装置、设备及存储介质
CN112967201B (zh) * 2021-03-05 2024-06-25 厦门美图之家科技有限公司 图像光照调节方法、装置、电子设备及存储介质
CN113205586A (zh) * 2021-04-19 2021-08-03 Oppo广东移动通信有限公司 图像处理方法及装置、电子设备、计算机可读存储介质
CN113409468B (zh) * 2021-05-10 2024-06-21 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN113327316A (zh) * 2021-06-30 2021-08-31 联想(北京)有限公司 一种图像处理方法、装置、设备及存储介质
CN113487662B (zh) * 2021-07-02 2024-06-11 广州博冠信息科技有限公司 画面显示方法、装置、电子设备和存储介质
CN113648655B (zh) * 2021-07-21 2024-06-25 网易（杭州）网络有限公司 虚拟模型的渲染方法、装置、存储介质和电子设备
CN113436325B (zh) * 2021-07-30 2023-07-28 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN113840049A (zh) * 2021-09-17 2021-12-24 阿里巴巴（中国）有限公司 图像处理方法、视频流场景切换方法、装置、设备及介质
CN114067061A (zh) * 2021-12-01 2022-02-18 成都睿铂科技有限责任公司 一种三维重建方法及系统
CN114125310B (zh) * 2022-01-26 2022-07-05 荣耀终端有限公司 拍照方法、终端设备及云端服务器
CN115937299B (zh) * 2022-03-25 2024-01-30 北京字跳网络技术有限公司 在视频中放置虚拟对象的方法及相关设备
CN117745928A (zh) * 2022-09-15 2024-03-22 北京字跳网络技术有限公司 一种图像处理方法、装置、设备及介质
CN116542846B (zh) * 2023-07-05 2024-04-26 深圳兔展智能科技有限公司 用户账号图标生成方法、装置、计算机设备及存储介质
CN117173314B (zh) * 2023-11-02 2024-02-23 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备、介质及程序产品
CN118097070B (zh) * 2023-12-26 2024-09-10 湖南快乐阳光互动娱乐传媒有限公司 一种实拟虚境的实现方法及装置、电子设备、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101082988A (zh) * 2007-06-19 2007-12-05 北京航空航天大学 自动的深度图像配准方法
CN102945565A (zh) * 2012-10-18 2013-02-27 深圳大学 一种物体的三维真实感重建方法、系统及电子设备
CN103413352A (zh) * 2013-07-29 2013-11-27 西北工业大学 基于rgbd多传感器融合的场景三维重建方法
CN104484522A (zh) * 2014-12-11 2015-04-01 西南科技大学 一种基于现实场景的机器人模拟演练系统的构建方法
CN104599314A (zh) * 2014-06-12 2015-05-06 深圳奥比中光科技有限公司 三维模型重建方法与系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101082988A (zh) * 2007-06-19 2007-12-05 北京航空航天大学 自动的深度图像配准方法
CN102945565A (zh) * 2012-10-18 2013-02-27 深圳大学 一种物体的三维真实感重建方法、系统及电子设备
CN103413352A (zh) * 2013-07-29 2013-11-27 西北工业大学 基于rgbd多传感器融合的场景三维重建方法
CN104599314A (zh) * 2014-06-12 2015-05-06 深圳奥比中光科技有限公司 三维模型重建方法与系统
CN104484522A (zh) * 2014-12-11 2015-04-01 西南科技大学 一种基于现实场景的机器人模拟演练系统的构建方法

Also Published As

Publication number Publication date
CN105825544A (zh) 2016-08-03

Similar Documents

Publication Publication Date Title
CN105825544B (zh) 一种图像处理方法及移动终端
US10127722B2 (en) Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
CN109242961B (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
US10878599B2 (en) Soft-occlusion for computer graphics rendering
US8970586B2 (en) Building controllable clairvoyance device in virtual world
US11276244B2 (en) Fixing holes in a computer generated model of a real-world environment
GB2532003A (en) Method for alignment of low-quality noisy depth map to the high-resolution colour image
CN110945868B (zh) 用于生成场景的平铺三维图像表示的装置和方法
JP2016522485A (ja) 再構成からの隠消現実感効果および媒介現実感効果
US9165397B2 (en) Texture blending between view-dependent texture and base texture in a geographic information system
US20170078570A1 (en) Image processing device, image processing method, and image processing program
CN111739167B (zh) 3d人头重建方法、装置、设备和介质
US9025007B1 (en) Configuring stereo cameras
WO2017147909A1 (zh) 目标设备的控制方法和装置
JP2019040229A (ja) 画像処理装置、画像処理方法及びプログラム
CN113110731B (zh) 媒体内容生成的方法和装置
CN112288878A (zh) 增强现实预览方法及预览装置、电子设备及存储介质
WO2014159486A1 (en) Panorama packet
CN114820980A (zh) 三维重建方法、装置、电子设备和可读存储介质
KR102013917B1 (ko) Vr에서의 깊이 계층 이미지 표시장치 및 방법
US20190066366A1 (en) Methods and Apparatus for Decorating User Interface Elements with Environmental Lighting
CN114663632A (zh) 基于空间位置的光照显示虚拟物体的方法及设备
US9767580B2 (en) Apparatuses, methods, and systems for 2-dimensional and 3-dimensional rendering and display of plenoptic images
US10275939B2 (en) Determining two-dimensional images using three-dimensional models
CN116310041A (zh) 内构效果的渲染方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant