CN114155175A - 图像生成方法、装置、电子设备及存储介质 - Google Patents
图像生成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114155175A CN114155175A CN202010929857.7A CN202010929857A CN114155175A CN 114155175 A CN114155175 A CN 114155175A CN 202010929857 A CN202010929857 A CN 202010929857A CN 114155175 A CN114155175 A CN 114155175A
- Authority
- CN
- China
- Prior art keywords
- image
- coordinate
- coordinate system
- sampling
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000005070 sampling Methods 0.000 claims abstract description 110
- 238000012545 processing Methods 0.000 claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims description 57
- 230000009466 transformation Effects 0.000 claims description 56
- 230000006870 function Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 38
- 238000003384 imaging method Methods 0.000 abstract description 10
- 230000000007 visual effect Effects 0.000 abstract description 8
- 239000013598 vector Substances 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000005498 polishing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开关于一种图像生成方法、装置、电子设备及存储介质，属于图像处理技术领域。其中，该方法包括：获取第一图像和第二图像；构建第二图像内的虚拟光源的第一空间坐标系；获取第一图像之中各个像素点的深度信息，并根据深度信息确定各个像素点在第一空间坐标系中的第一位置坐标；根据第一位置坐标采样第一图像，并根据采样得到的像素点的亮度参数和/或色彩参数生成采样图像；以及融合第一图像、采样图像以及第二图像，生成混合图像。实现在混合现实中进行个性化图像融合，并使得将第一图像融合至第二图像时，能够呈现出第一图像的三维视觉效果，更贴合第二图像，提升混合图像的成像效果，从而提升混合现实的呈现效果。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像生成方法、装置、电子设备及存储介质。
背景技术
随着图形学和视觉算法的发展，混合现实技术已经取得了极大进步，混合现实MR(Mixed Reality)是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。基于混合现实技术的应用，可以在电子设备呈现出现实场景和虚拟物体的混合图像。在一个应用混合现实技术的场景中，可以在现实场景中加入虚拟光源，能营造出不同的气氛，而后在加入虚拟光源的基础上，模拟广告投影灯的效果，从而在现实场景中加入虚拟的广告投影成像。
相关技术中，通常是计算现实场景图像基于世界坐标系的坐标，将广告投影的光源投影在对应的世界坐标系内，从而和现实场景图像叠加，产生具有混合现实效果的混合图像。
这种方式下，混合现实中虚拟光源打光图案单一，颜色单调，影响混合图像的成像效果，从而导致混合现实的呈现效果不佳。
发明内容
本公开提供一种图像生成方法、装置、电子设备、存储介质及计算机程序产品，以至少解决相关技术中，混合现实中虚拟光源打光图案单一，颜色单调，影响混合图像的成像效果，从而导致混合现实的呈现效果不佳的技术问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像生成方法，包括：获取第一图像和第二图像，其中，所述第一图像为待融合至所述第二图像中的图像；构建所述第二图像内的虚拟光源的第一空间坐标系；获取所述第一图像之中各个像素点的深度信息，并根据所述深度信息确定所述各个像素点在所述第一空间坐标系中的第一位置坐标；根据所述第一位置坐标采样所述第一图像中部分像素点对应的亮度参数和/或色彩参数，并根据采样得到的所述像素点的亮度参数和/或色彩参数生成采样图像；以及融合所述第一图像、所述采样图像以及所述第二图像，从而生成混合图像。
在本公开的一些实施例中，所述根据所述深度信息确定所述各个像素点在所述第一空间坐标系中的第一位置坐标，包括：
构建从世界坐标系到所述第一空间坐标系的坐标变换矩阵；
根据所述深度信息确定所述各个像素点在所述世界坐标系中的第二位置坐标；
根据所述各个像素点的第二位置坐标和所述坐标变换矩阵，确定所述各个像素点在所述第一空间坐标系中的第一位置坐标。
在本公开的一些实施例中，所述根据所述深度信息确定所述各个像素点在所述世界坐标系中的第二位置坐标的步骤，包括：
获取所述第一图像对应的相机坐标系；
根据所述深度信息和所述第一图像对应的相机参数，确定所述各个像素点在所述相机坐标系中的第三位置坐标；
获取所述第一图像对应的相机坐标系到世界坐标系的变换矩阵；
根据所述第三位置坐标和所述变换矩阵确定所述各个像素点在所述世界坐标系中的第二位置坐标。
在本公开的一些实施例中，所述构建从世界坐标系到所述第一空间坐标系的坐标变换矩阵的步骤，包括：
获取所述虚拟光源在所述世界坐标系中的位置信息和朝向信息；
根据所述位置信息和朝向信息、所述相机坐标系到世界坐标系的变换矩阵，以及所述第一空间坐标系构建所述坐标变换矩阵。
在本公开的一些实施例中，所述根据所述第一位置坐标采样所述第一图像中部分像素点对应的亮度参数和/或色彩参数的步骤，包括：
当所述第一位置坐标的Z坐标值大于零时，确定所述第一位置坐标为目标第一位置坐标；
根据缩放常数对所述目标第一位置坐标的X坐标值和Y坐标值进行归一化处理，得到采样坐标；
当所述采样坐标均小于或者等于1时，采样所述采样坐标所属像素点对应的亮度参数和/或色彩参数；
当所述采样坐标中的任一坐标值大于1时，不对所述采样坐标所属像素点对应的亮度参数和/或色彩参数进行采样。
在本公开的一些实施例中，所述根据所述第一位置坐标采样所述第一图像中部分像素点对应的亮度参数和/或色彩参数的步骤，还包括：
当所述第一位置坐标的Z坐标值小于或者等于零时，不对所述第一位置坐标所属像素点对应的亮度参数和/或色彩参数进行采样。
在本公开的一些实施例中，所述采样所述采样坐标所属像素点对应的亮度参数和/或色彩参数的步骤，包括：
确定标准函数公式对应于所述第一空间坐标系中的标准图形坐标；
根据所述标准图形坐标对所述采样坐标进行相应的调整处理；
采样所述第一图像中所述调整处理后的采样坐标所属像素点对应的亮度参数和/或色彩参数，以生成所述采样图像。
根据本公开实施例的第二方面，提供一种图像生成装置，包括：第一获取模块，被配置为获取第一图像和第二图像，其中，所述第一图像为待融合至所述第二图像中的图像；构建模块，被配置为构建所述第二图像内的虚拟光源的第一空间坐标系；第二获取模块，被配置为获取所述第一图像之中各个像素点的深度信息，并根据所述深度信息确定所述各个像素点在所述第一空间坐标系中的第一位置坐标；采样模块，被配置为根据所述第一位置坐标采样所述第一图像中部分像素点对应的亮度参数和/或色彩参数，并根据采样得到的所述像素点的亮度参数和/或色彩参数生成采样图像；以及融合模块，被配置为融合所述第一图像、所述采样图像以及所述第二图像，从而生成混合图像。
在本公开的一些实施例中，所述第二获取模块，包括：
构建单元，被配置为构建从世界坐标系到所述第一空间坐标系的坐标变换矩阵；
第一确定单元，被配置为根据所述深度信息确定所述各个像素点在所述世界坐标系中的第二位置坐标；
第二确定单元，被配置为根据所述各个像素点的第二位置坐标和所述坐标变换矩阵，确定所述各个像素点在所述第一空间坐标系中的第一位置坐标。
在本公开的一些实施例中，所述第一确定单元，被配置为：
获取所述第一图像对应的相机坐标系；
根据所述深度信息和所述第一图像对应的相机参数，确定所述各个像素点在所述相机坐标系中的第三位置坐标；
获取所述第一图像对应的相机坐标系到世界坐标系的变换矩阵；
根据所述第三位置坐标和所述变换矩阵确定所述各个像素点在所述世界坐标系中的第二位置坐标。
在本公开的一些实施例中，所述构建单元，被配置为：
获取所述虚拟光源在所述世界坐标系中的位置信息和朝向信息；
根据所述位置信息和朝向信息、所述相机坐标系到世界坐标系的变换矩阵，以及所述第一空间坐标系构建所述坐标变换矩阵。
在本公开的一些实施例中，所述采样模块，被配置为：
当所述第一位置坐标的Z坐标值大于零时，确定所述第一位置坐标为目标第一位置坐标；
根据缩放常数对所述目标第一位置坐标的X坐标值和Y坐标值进行归一化处理，得到采样坐标；
当所述采样坐标均小于或者等于1时，采样所述采样坐标所属像素点对应的亮度参数和/或色彩参数；
当所述采样坐标中的任一坐标值大于1时，不对所述采样坐标所属像素点对应的亮度参数和/或色彩参数进行采样。
在本公开的一些实施例中，所述采样模块，被配置为：
当所述第一位置坐标的Z坐标值小于或者等于零时，不对所述第一位置坐标所属像素点对应的亮度参数和/或色彩参数进行采样。
在本公开的一些实施例中，所述采样模块，被配置为：
确定标准函数公式对应于所述第一空间坐标系中的标准图形坐标；
根据所述标准图形坐标对所述采样坐标进行相应的调整处理；
采样所述第一图像中所述调整处理后的采样坐标所属像素点对应的亮度参数和/或色彩参数，以生成所述采样图像。
根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如前所述的图像生成方法。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如前所述的图像生成方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，该计算机程序由电子设备的处理器执行时，使得所述电子设备能够执行如前所述的图像生成方法。
本公开的实施例提供的技术方案至少带来以下有益效果：通过获取第一图像和第二图像，获取第一图像之中各个像素点的深度信息，并根据深度信息确定各个像素点在第一空间坐标系中的第一位置坐标，从而辅助后续图像融合过程中，参考了该第一位置坐标对第一图像中部分像素点对应的亮度参数和/或色彩参数进行采样处理，实现在混合现实中进行个性化图像融合，而不受限制于混合现实中虚拟光源打光图案的形态和颜色，并使得将第一图像融合至第二图像时，能够呈现出第一图像的三维视觉效果，更贴合第二图像，提升混合图像的成像效果，从而提升混合现实的呈现效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像生成方法的流程图。
图2是根据一示例性实施例示出的另一种图像生成方法的流程图。
图3是根据一示例性实施例示出的再一种图像生成方法的流程图。
图4为本公开实施例的混合图像示意图。
图5是根据一示例性实施例示出的一种图像生成装置框图。
图6是根据另一示例性实施例示出的一种图像生成装置框图。
图7是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种图像生成方法的流程图。
本实施例以图像生成方法被配置为图像生成装置中来举例说明。
本实施例中图像生成方法可以被配置在图像生成装置中，图像生成装置可以设置在服务器中，或者也可以设置在电子设备中，本公开实施例对此不作限制。
本实施例以图像生成方法被配置在电子设备中为例。该电子设备可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、相机的硬件设备。
需要说明的是，本公开实施例的执行主体，在硬件上可以例如为服务器或者电子设备中的中央处理器(Central Processing Unit，CPU)，在软件上可以例如为服务器或者电子设备中的相关的后台服务，对此不作限制。
如图1所示，该图像生成方法包括以下步骤：
在步骤S101中，获取第一图像和第二图像，其中，第一图像为待融合至第二图像中的图像。
其中，第一图像为待融合至第二图像中的图像，而第二图像可以例如为捕获现实场景得到的图像。
在一个混合现实的实现场景中，例如，广告投影灯利用光学投影原理，采用高亮度的光源，将广告商标LOGO灯片上的商标图像投射到建筑墙上或者地面上，形成极富视觉冲击力的形象展示和广告效应，当将这种投射商标图像后的建筑墙面或者地面的场景呈现在电子设备中时，建筑墙面或者地面对应的图像，即可以被称为第二图像，相应的，商标图像即可以被称为第一图像。
本公开在实现的过程中，可以采用电子设备自身携带的相机捕获现实场景的视频，并解析各个视频帧，从而得到相应的第二图像，或者，也可以直接采用电子设备的相机对现实场景进行拍摄从而得到第二图像，或者，也可以接收其他设备发送的第二图像，对此不做限制。
上述的第一图像或者第二图像可以为原始图像，其中，原始图像可以例如通过电子设备的相机内的图像传感器采集得到的未做任何处理的RAW格式图像，或者，也可以为经过了一些图像处理步骤得到的图像，对此不做限制。
其中，RAW格式图像就是图像传感器将捕捉到的光源信号转化为数字信号的原始图像。RAW格式图像记录了图像传感器的原始信息，同时记录了由相机拍摄所产生的一些元数据，如感光度的设置、快门速度、光圈值、白平衡等。
在步骤S102中，构建第二图像内的虚拟光源的第一空间坐标系。
上述在获取第一图像和第二图像后，执行构建第二图像内的虚拟光源的第一空间坐标系的步骤，其中，虚拟光源使得第二图像的光源效果更加真实。
其中，以第二图像内的虚拟光源为基准的空间坐标系，可以被称为第一空间坐标系，第一空间坐标系可以例如为空间直角坐标系，或者，也可以为其他任意能够度量空间维度的空间坐标系，例如，球面坐标系等，对此不做限制。
在构建第二图像内的虚拟光源的第一空间坐标系时，可以首先识别第二图像内的光源效果(例如，光源亮度、光照朝向等)，而后，基于识别到的光源效果结合预配置的对应关系，确定虚拟光源的位置信息，从而以虚拟光源的位置信息为坐标原点，构建空间直角坐标系并作为虚拟光源的第一空间坐标系，或者，也可以采用其他任意可能的方法构建第二图像内的虚拟光源的第一空间坐标系，对此不做限制。
上述的对应关系，已学习得到样本光源效果和样本虚拟光源位置信息之间的对应关系，该样本虚拟光源位置信息可以是预先基于电子设备的相机的姿态信息或者相机的内参和外参确定的，或者，上述的对应关系，也可以已学习得到样本光源效果、样本相机的姿态信息、样本相机的内参和外参，以及样本虚拟光源位置信息的对应关系，从而当识别第二图像内的光源效果(例如，光源亮度、光照朝向等)后，可以根据该光源效果结合相机的内参以及外参，从对应关系内识别出对应的虚拟光源位置信息，对此不做限制。
在步骤S103中，获取第一图像之中各个像素点的深度信息，并根据深度信息确定各个像素点在第一空间坐标系中的第一位置坐标。
其中的深度信息，可以用于表征第一图像所呈现的场景对象的表面到视点的距离有关的信息，通过采集第一图像之中各个像素点的深度信息，能够用于第一图像所呈现的场景对象的三维重建，也即是说，该深度信息能够用于表征各个像素点对应于实际场景对象的三维空间位置信息。
由此，当获取第一图像之中各个像素点的深度信息后，可以执行根据深度信息确定各个像素点在第一空间坐标系中的第一位置坐标的步骤。
例如，可以针对第一图像，识别其中各个像素点的深度信息，从而根据深度信息确定各个像素点在第一空间坐标系中的第一位置坐标。
又例如，也可以针对第一图像，将第一图像的基准点与第一空间坐标系的坐标原点相匹配，从而在匹配后，结合各个像素点的深度信息确定各个像素点在第一空间坐标系中的第一位置坐标。
在识别第一图像的深度信息时，可以是向第一图像投射结构光，拍摄经第一图像调制的结构光图像，从而解调结构光图像的各个像素对应的相位信息以得到深度信息，上述的结构光可以例如为散斑结构光，或者，也可以采用其他任意可能的方式获取第一图像的各个像素点的深度信息，比如采用工程学方式、人工智能的方式等等，对此不做限制。
本公开实施例中，根据深度信息确定各个像素点在第一空间坐标系中的第一位置坐标的步骤，可以是根据深度信息，采用并行处理方式确定各个像素点在第一空间坐标系中的第一位置坐标，由此，实现快速地确定各个像素点在第一空间坐标系中的第一位置坐标，从而辅助快速地在第二图像中融合了第一图像。
在步骤S104中，根据第一位置坐标采样第一图像中部分像素点对应的亮度参数和/或色彩参数，并根据采样得到的像素点的亮度参数和/或色彩参数生成采样图像。
上述的第一位置坐标能够表征第一图像的各个像素点在第二图像内的虚拟光源的第一空间坐标系中的空间位置状态情况，由此，本公开实施例中，正是通过结合了该第一位置坐标采样第一图像中部分像素点对应的亮度参数和/或色彩参数，得到采样图像，使得生成的混合图像能够融合针对第一图像采样得到的局部的亮度参数和/或色彩参数，以此实现个性化的图像融合，而不受限制于混合现实中虚拟光源打光图案的形态和颜色。
一些实施例中，可以是分别判断各个像素点的第一位置坐标是否满足预设条件，选取满足预设条件的目标第一位置坐标，并根据缩放常数对目标第一位置坐标进行归一化处理，得到采样坐标，以及根据采样坐标对待处理图像的亮度参数和/或色彩参数进行采样处理，以生成采样图像。
上述的预设条件，可以是根据实际的图像融合需求所动态配置的，该预设条件可以是电子设备的出厂程序预先配置完成的，一种预设条件可以对应一种图像融合需求，当设置电子设备以选取的图像融合需求对应的预设条件去对第一图像进行采样处理时，能够使得生成的混合图像满足该图像融合需求，由此不仅仅实现在混合现实中进行个性化图像融合，还能够辅助实现多种不同的图像融合效果，使得混合现实的实现方式更为灵活，能够适用于多种不同的现实场景需求，提升基于混合现实的图像融合的灵活性。
而本公开实施例中，还可以是在第一位置坐标的Z坐标值大于零时，确定第一位置坐标为目标第一位置坐标，并根据缩放常数对目标第一位置坐标的X坐标值和Y坐标值进行归一化处理，得到采样坐标，以及当采样坐标均小于或者等于1时，采样采样坐标所属像素点对应的亮度参数和/或色彩参数；当采样坐标中的任一坐标值大于1时，不对采样坐标所属像素点对应的亮度参数和/或色彩参数进行采样，当第一位置坐标的Z坐标值小于或者等于零时，不对第一位置坐标所属像素点对应的亮度参数和/或色彩参数进行采样。
由此，由于根据缩放常数对目标第一位置坐标的X坐标值和Y坐标值进行归一化处理，得到采样坐标，由此减少了坐标维度，从而降低了数据量，提升采样效率，并且采样采样坐标所属像素点对应的亮度参数和/或色彩参数，以生成采样图像，该采样图像用于辅助后续生成混合图像，由此实现了根据多种维度的图像特征去合成混合图像，提升了混合图像的表现效果，通过采样被增强的图像参数，并将该图像参数值累加至混合图像中，从而有效地提升混合图像的呈现效果。
上述的缩放常数C是图像处理领域里面模拟聚光灯效果的一个固定的常数，这个常数有数值范围0.1-100，采样坐标为UV(C*x/z,C*y/z)，其中，C*x/z,C*y/z的值和C、x坐标值、y坐标值，以及z坐标值均有相应的数值关系，本公开中同时结合缩放常数C和阈值1确定是否采样的时机，是为了当将第一图像融合到第二图像之后，能够在第二图像中呈现出具有聚光灯效果的放大的或者缩小的第一图像，因此，当缩放常数C选择不同的数值时，表明的是对图像进行放大或者缩小的程度不同，能够满足个性化的图像融合需求。
上述的缩放常数还可以是具体根据用户的图像融合需求去配置的，对此不做限制。
当然，也可以实现其他的图像融合效果，例如，若图像融合效果为实现在混合现实中进行任意几何形状的投影，还可以确定标准函数公式(心形函数公式)对应于第一空间坐标系中的标准图形坐标；根据标准图形坐标对采样坐标进行相应的调整处理；采样第一图像中调整处理后的采样坐标所属像素点对应的亮度参数和/或色彩参数，以生成心形的采样图像，从而在后续混合图像中实现心形图像的融合效果，实现在混合现实中进行个性化图像融合，提升图像融合的灵活性和适用性。
上述的标准图形坐标并不是一个坐标，包含了一系列的坐标，在后续的调整中，可以是采用标准图形坐标中的坐标修正采样坐标的位置，将采样坐标调整为标准图形坐标覆盖的图形范围之内，从而使得采样图像能够呈现出标准函数公式对应的图形，或者，也可以采用其他任意可能的方式进行调整(比如配置权重的方式，将标准图形坐标与采样坐标融合)，从而对采样坐标进行调整，对此不做限制。
在步骤S105中，融合第一图像、采样图像以及第二图像，从而生成混合图像。
上述融合第一图像、采样图像以及第二图像，可以具体是直接对第一图像、采样图像以及第二图像进行合成，从而得到混合图像，或者，也可以首先采用采样图像对第一图像进行相应的渲染，得到渲染图像，而后，将渲染图像合成至第二图像中，或者，也可以是采用其他任意可能的图像合成算法融合第一图像、采样图像以及第二图像，从而得到混合图像，对此不做限制。
本实施例中，通过获取第一图像和第二图像，获取第一图像之中各个像素点的深度信息，并根据深度信息确定各个像素点在第一空间坐标系中的第一位置坐标，从而辅助后续图像融合过程中，参考了该第一位置坐标对第一图像中部分像素点对应的亮度参数和/或色彩参数进行采样处理，实现在混合现实中进行个性化图像融合，而不受限制于混合现实中虚拟光源打光图案的形态和颜色，并使得将第一图像融合至第二图像时，能够呈现出第一图像的三维视觉效果，更贴合第二图像，提升混合图像的成像效果，从而提升混合现实的呈现效果。
图2是根据一示例性实施例示出的另一种图像生成方法的流程图。
如图2所示，该图像生成方法包括以下步骤：
在步骤S201中，获取第一图像和第二图像，其中，第一图像为待融合至第二图像中的图像。
在步骤S202中，构建第二图像内的虚拟光源的第一空间坐标系。
在步骤S203中，获取第一图像之中各个像素点的深度信息。
步骤S201-步骤S203的解释说明可以参见上述实施例，在此不再赘述。
在步骤S204中，构建从世界坐标系到第一空间坐标系的坐标变换矩阵。
可以理解的是，由于捕获第一图像的电子设备可安放在环境中的任意位置，在环境中选择一个基准的坐标系来描述捕获第一图像的电子设备的相机位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系，电子设备的相机相机坐标系与世界坐标系之间的关系可以用旋转矩阵与平移向量来描述。
一些实施例中，可以针对第一图像，将第一图像的基准点与第一空间坐标系的坐标原点相匹配，从而在匹配后，结合各个像素点的深度信息确定各个像素点在第一空间坐标系中的第一位置坐标。
而在本实施例中，为了使得确定的第一图像的各个像素点在第一空间坐标系中的第一位置坐标更为精准，并且保障处理的效率，本实施例中是通过首先构建从世界坐标系到第一空间坐标系的坐标变换矩阵，从而采用该坐标变换矩阵去辅助确定各个像素点在第一空间坐标系中的第一位置坐标。
上述的坐标变换矩阵，能够用于描述世界坐标系和第二图像内的虚拟光源的第一空间坐标系之间的坐标变换关系，从而采用该坐标变换矩阵能够辅助快速地、准确地确定各个像素点在第一空间坐标系中的第一位置坐标。
可选地，一些实施例中，构建从世界坐标系到第一空间坐标系的坐标变换矩阵的步骤，可以是获取虚拟光源在世界坐标系中的位置信息和朝向信息，并根据位置信息和朝向信息、相机坐标系到世界坐标系的变换矩阵，以及第一空间坐标系构建坐标变换矩阵，实现简便，不会带来过多的运算资源消耗，提升处理效率，并且在保障混合现实呈现效果的基础上，还节约了电子设备和硬件和软件上的资源消耗。
需要说明的是，上述的相机坐标系到世界坐标系的变换矩阵可以是根据相机的姿态信息运算得到的，而姿态信息，可以是解析电子设备的陀螺仪传感器的感测信号得到的，该姿态信息能够用于描述电子设备上的相机的朝向、角速度等信息，电子设备的底层处理逻辑可以直接根据陀螺仪感测到的姿态信息自动运算得到相机坐标系到世界坐标系的变换矩阵。
上述的陀螺仪又叫角速度传感器，可以测量物理量偏转、倾斜时的转动角速度，在电子设备中，陀螺仪可以很好的测量转动、偏转的动作，从而可以精确分析判断出使用者的实际动作。
电子设备的陀螺仪传感器的感测信号可以包括电子设备在三维空间中三个维度方向上的运动信息，三维空间的三个维度可以分别表示为X轴、Y轴、Z轴三个方向，其中，X轴、Y轴、Z轴为两两垂直关系。
例如，可以解析电子设备在三维空间中三个维度方向上的运动信息，从而获取虚拟光源在世界坐标系中的位置信息和朝向信息，而后，可以根据位置信息和朝向信息、相机坐标系到世界坐标系的变换矩阵，以及第一空间坐标系构建坐标变换矩阵。
作为一种示例，虚拟光源基于世界坐标系的位置信息可以表示为：位置Po(Ox，Oy，Oz)，虚拟光源基于世界坐标系的朝向信息可以表示为：朝向(法向量，z轴，w)，垂直于法向量的两个互相垂直的向量u和v，从而可以基于u、v、w构建虚拟光源的坐标系，并作为第一空间坐标系，假设法向量的单位向量等于向量n(1.0，0.0，0.0)，则u为(0.0，0.0，-1.0)，v为(0.0，1.0，0.0)，假设法向量的单位向量不等于向量n(1.0，0.0，0.0)，则v＝w×n，u＝v×w，最后得到：u(ux,uy,uz)、v(vx,vy,vz)、w(wx,wy,wz)，由此，在确定了位置信息、朝向信息、第一空间坐标系、相机坐标系到世界坐标系的变换矩阵后，得到坐标变换矩阵如下所示：
在步骤S205中，根据深度信息确定各个像素点在世界坐标系中的第二位置坐标。
其中的深度信息，可以用于表征第一图像所呈现的场景对象的表面到视点的距离有关的信息，通过采集第一图像之中各个像素点的深度信息，能够用于第一图像所呈现的场景对象的三维重建，也即是说，该深度信息能够用于表征各个像素点对应于实际场景对象的三维空间位置信息。
在识别第一图像的深度信息时，可以是向第一图像投射结构光，拍摄经第一图像调制的结构光图像，从而解调结构光图像的各个像素对应的相位信息以得到深度信息，上述的结构光可以例如为散斑结构光，或者，也可以采用其他任意可能的方式获取第一图像之中各个像素点的深度信息，比如采用工程学方式、人工智能的方式等等，对此不做限制。
上述各个像素点在世界坐标系中的位置坐标，可以被称为第二位置坐标，可以理解的时，由于世界坐标系和第一空间坐标系为不同的坐标系，由此，第一位置坐标和第二位置坐标可以是不相同的。
例如，上述在根据深度信息确定各个像素点在世界坐标系中的第二位置坐标时，可以具体是将第一图像的基准点与世界坐标系的坐标原点相匹配，从而在匹配之后，确定各个像素点基于该坐标原点的第二位置坐标。
又例如，由于深度信息，可以用于表征第一图像所呈现的场景对象的表面到视点的距离有关的信息，由此，可以首先确定该视点基于世界坐标系的视点位置坐标，而后结合第一图像所呈现的场景对象的表面到视点的距离有关的信息，去推导出场景对象的表面的各点在世界坐标系中的点位置坐标，从而再基于点位置坐标和视点位置坐标得到上述的第二位置坐标，对此不做限制。
在步骤S206中，根据各个像素点的第二位置坐标和坐标变换矩阵，确定各个像素点在第一空间坐标系中的第一位置坐标。
上述的坐标变换矩阵，由于是描述了世界坐标系和第二图像内的虚拟光源的第一空间坐标系之间的坐标变换关系，由此，当确定了各个像素点在世界坐标系中的第二位置坐标后，可以直接结合该坐标变换矩阵，去确定各个像素点在第一空间坐标系中的第一位置坐标，从而采用该坐标变换矩阵能够辅助快速地确定第一位置坐标。
一些实施例中，可以是由电子设备采用并行处理的方式，针对各个像素点，同时根据其第二位置坐标结合坐标变换矩阵，确定各个像素点在第一空间坐标系中的第一位置坐标，对此不做限制。
在步骤S207中，分别判断各个像素点的第一位置坐标的Z坐标值是否大于零。
举例而言，若存在像素点1、像素点2、像素点3，…，以此类推，像素点1、像素点2、像素点3对应的第一位置坐标分别为第一位置坐标1，第一位置坐标2，第一位置坐标3，则可以分别判断第一位置坐标1，第一位置坐标2，第一位置坐标3的Z坐标值是否大于零，还可以采用并行处理的方式分别判断第一位置坐标1，第一位置坐标2，第一位置坐标3的Z坐标值是否大于零。
在步骤S208中，当第一位置坐标的Z坐标值大于零时，确定第一位置坐标为目标第一位置坐标，并根据缩放常数对目标第一位置坐标的X坐标值和Y坐标值进行归一化处理，得到采样坐标。
而另外一些实施例中，当采样坐标中的任一坐标值大于1时，不对采样坐标所属像素点对应的亮度参数和/或色彩参数进行采样，或者，当第一位置坐标的Z坐标值小于或者等于零时，不对第一位置坐标所属像素点对应的亮度参数和/或色彩参数进行采样。
在步骤S209中，当采样坐标均小于或者等于1时，采样采样坐标所属像素点对应的亮度参数和/或色彩参数。
举例而言，假设各个像素点的第一位置坐标可以表示为P(x,y,z)，当图像融合需求为：使得混合图像能够模拟出聚光灯的效果，可以配置缩放常数C，缩放常数C为大于0的常数，可以根据实际的聚光灯效果的需求动态调整缩放常数C，此时，如果Z坐标值大于0，则采样坐标为UV(C*x/z,C*y/z)，如果C*x/z>1,或者C*y/z>1，则可以不采样，如果Z坐标值小于或者等于0，则不采样(也即不对该第一位置坐标对应的像素点进行采样)。
在步骤S210中，融合第一图像、采样图像以及第二图像，从而生成混合图像。
上述融合第一图像、采样图像以及第二图像，可以具体是直接对第一图像、采样图像以及第二图像进行合成，从而得到混合图像，或者，也可以首先采用采样图像对第一图像进行相应的渲染，得到渲染图像，而后，将渲染图像合成至第二图像中，或者，也可以是采用其他任意可能的图像合成算法融合第一图像、采样图像以及第二图像，从而得到混合图像，对此不做限制。
本实施例中，实现在混合现实中进行个性化图像融合，而不受限制于混合现实中虚拟光源打光图案的形态和颜色，并使得将第一图像融合至第二图像时，能够呈现出第一图像的三维视觉效果，更贴合第二图像，提升混合图像的成像效果，从而提升混合现实的呈现效果。使得确定的第一图像的各个像素点在第一空间坐标系中的第一位置坐标更为精准，并且保障处理的效率。实现简便，不会带来过多的运算资源消耗，提升处理效率，并且在保障混合现实呈现效果的基础上，还节约了电子设备和硬件和软件上的资源消耗。不仅仅实现在混合现实中进行个性化图像融合，还能够辅助实现多种不同的图像融合效果，使得混合现实的实现方式更为灵活，能够适用于多种不同的现实场景需求，提升基于混合现实的图像融合的灵活性。由于根据缩放常数对目标第一位置坐标进行归一化处理，得到采样坐标，由此减少了坐标维度，从而降低了数据量，提升采样效率，并且根据采样坐标对第一图像的亮度参数和/或色彩参数进行采样处理，以生成采样图像，该采样图像用于辅助后续生成混合图像，由此实现了根据多种维度的图像特征去合成混合图像，提升了混合图像的表现效果。
图3是根据一示例性实施例示出的再一种图像生成方法的流程图。
如图3所示，该图像生成方法包括以下步骤：
在步骤S301中，获取第一图像和第二图像，其中，第一图像为待融合至第二图像中的图像。
在步骤S302中，构建第二图像内的虚拟光源的第一空间坐标系。
在步骤S303中，获取第一图像之中各个像素点的深度信息。
在步骤S304中，构建从世界坐标系到第一空间坐标系的坐标变换矩阵。
步骤S301-步骤S304的描述可以参见上述实施例，在此不再赘述。
在步骤S305中，获取第一图像对应的相机坐标系。
其中，以捕获第一图像的电子设备的相机为基准的空间坐标系，可以被称为相机坐标系，相机坐标系可以例如为空间直角坐标系，或者，也可以为其他能够度量空间维度的空间坐标系，例如，球面坐标系等，对此不做限制。
在构建第一图像对应的相机坐标系时，可以是根据相机的投影矩阵，确定相应的逆矩阵Tnp，从而根据该逆矩阵Tnp确定从相机坐标系到世界坐标系的变换矩阵Tcw，从而根据该变换矩阵Tcw对世界坐标系进行坐标变换，得到相机坐标系，当然，也可以采用其他任意可能的方式构建相机坐标系，对此不做限制。
在步骤S306中，根据深度信息和第一图像对应的相机参数，确定各个像素点在相机坐标系中的第三位置坐标。
其中，相机参数可以例如为相机内参和相机外参，该相机内参和相机外参可以是预先标定的，相机内参数是与相机自身特性相关的参数，比如相机的焦距、像素大小等；相机外参是在世界坐标系中的参数，比如相机的位置、旋转方向等。
例如，可以是根据相机的相机参数，判断捕获第一图像各个像素点时，相应的相机的焦距、像素大小等信息，另外，由于深度信息，可以用于表征第一图像所呈现的场景对象的表面到视点的距离有关的信息，由此，可以结合相机的焦距、像素大小等信息和第一图像各个像素点的深度信息确定各个像素点在相机坐标系中的第三位置坐标。
又例如，可以在第一图像中确定一个基准点，根据该基准点的深度信息结合相机的相机内参和相机外参，确定该基准点相对于相机坐标系的基准位置坐标，而后，针对第一图像中的各个像素点，确定其相对于该基准点的相对的深度信息，从而根据该相对的深度信息，结合基准位置坐标确定各个像素点在相机坐标系中的第三位置坐标，对此不做限制。
在步骤S307中，获取第一图像对应的相机坐标系到世界坐标系的变换矩阵。
需要说明的是，上述的相机坐标系到世界坐标系的变换矩阵可以是根据相机的姿态信息运算得到的，而姿态信息，可以是解析电子设备的陀螺仪传感器的感测信号得到的，该姿态信息能够用于描述电子设备上的相机的朝向、角速度等信息，电子设备的底层处理逻辑可以直接根据陀螺仪感测到的姿态信息自动运算得到相机坐标系到世界坐标系的变换矩阵。
在步骤S308中，根据第三位置坐标和变换矩阵确定各个像素点在世界坐标系中的第二位置坐标。
上述由于第三位置坐标，为各个像素点在相机坐标系中的位置坐标，而姿态信息能够用于呈现相机当前基于世界坐标系的坐标原点的位置数据、向量数据、相对角度数据，由此，可以根据第三位置坐标和姿态信息确定各个像素点在世界坐标系中的第二位置坐标。
举例而言，假设各个像素点在相机坐标系中的位置坐标A，并且，相机当前基于世界坐标系的坐标原点的位置数据为B，朝向数据B，则可以结合位置数据B和朝向数据B确定第三空间坐标系的原点位置，相对于世界坐标系的相对位置和相对朝向，而后，针对每个像素点的第三位置坐标，将相对位置和相对朝向累加至各个第三位置坐标上，从而得到各个像素点在世界坐标系中的第二位置坐标，对此不做限制。
一些实施例中，可以是由电子设备采用并行处理的方式，针对各个像素点，根据第三位置坐标和姿态信息确定各个像素点在世界坐标系中的第二位置坐标，对此不做限制。
通过构建相机的相机坐标系，根据深度信息结合相机的相机参数，确定各个像素点在相机坐标系中的第三位置坐标，以及获取相机的姿态信息，并根据第三位置坐标和姿态信息确定各个像素点在世界坐标系中的第二位置坐标，能够使得确定的各个像素点在世界坐标系中的第二位置坐标更为精准，并且采用多层级的坐标转换，以保证整个映射过程的处理效率，不会带来过多的运算资源消耗，有效地辅助后续确定出各个像素点在虚拟光源的第一空间坐标系中的第一位置坐标，从而提升混合现实的处理效率。
在步骤S309中，根据各个像素点的第二位置坐标和坐标变换矩阵，确定各个像素点在第一空间坐标系中的第一位置坐标。
在步骤S310中，根据第一位置坐标采样第一图像中部分像素点对应的亮度参数和/或色彩参数，并根据采样得到的像素点的亮度参数和/或色彩参数生成采样图像。
在步骤S311中，融合第一图像、采样图像以及第二图像，从而生成混合图像。
步骤S309-步骤S311的描述可以参见上述实施例，在此不再赘述。
参见图4，图4为本公开实施例的混合图像示意图。
本实施例中，实现在混合现实中进行个性化图像融合，而不受限制于混合现实中虚拟光源打光图案的形态和颜色，并使得将第一图像融合至第二图像时，能够呈现出第一图像的三维视觉效果，更贴合第二图像，提升混合图像的成像效果，从而提升混合现实的呈现效果。能够使得确定的各个像素点在世界坐标系中的第二位置坐标更为精准，并且采用多层级的坐标转换，以保证整个映射过程的处理效率，不会带来过多的运算资源消耗，有效地辅助后续确定出各个像素点在虚拟光源的第一空间坐标系中的第一位置坐标，从而提升混合现实的处理效率。
图5是根据一示例性实施例示出的一种图像生成装置框图。
参照图5，该图像生成装置50包括：
第一获取模块501，被配置为获取第一图像和第二图像，其中，第一图像为待融合至第二图像中的图像；
构建模块502，被配置为构建第二图像内的虚拟光源的第一空间坐标系；
第二获取模块503，被配置为获取第一图像之中各个像素点的深度信息，并根据深度信息确定各个像素点在第一空间坐标系中的第一位置坐标；
采样模块504，被配置为根据第一位置坐标采样第一图像中部分像素点对应的亮度参数和/或色彩参数，并根据采样得到的像素点的亮度参数和/或色彩参数生成采样图像；以及
融合模块505，被配置为融合第一图像、采样图像以及第二图像，从而生成混合图像。
在本公开的一些实施例中，参见图6，第二获取模块503，包括：
构建单元5031，被配置为构建从世界坐标系到第一空间坐标系的坐标变换矩阵；
第一确定单元5032，被配置为根据深度信息确定各个像素点在世界坐标系中的第二位置坐标；
第二确定单元5033，被配置为根据各个像素点的第二位置坐标和坐标变换矩阵，确定各个像素点在第一空间坐标系中的第一位置坐标。
在本公开的一些实施例中，第一确定单元5032，被配置为：
获取第一图像对应的相机坐标系；
根据深度信息和第一图像对应的相机参数，确定各个像素点在相机坐标系中的第三位置坐标；
获取第一图像对应的相机坐标系到世界坐标系的变换矩阵；
根据第三位置坐标和相机坐标系到世界坐标系的变换矩阵确定各个像素点在世界坐标系中的第二位置坐标。
在本公开的一些实施例中，构建单元5031，被配置为：
获取虚拟光源在世界坐标系中的位置信息和朝向信息；
根据位置信息和朝向信息、相机坐标系到世界坐标系的变换矩阵，以及第一空间坐标系构建坐标变换矩阵。
在本公开的一些实施例中，采样模块504，被配置为：
当第一位置坐标的Z坐标值大于零时，确定第一位置坐标为目标第一位置坐标；
根据缩放常数对目标第一位置坐标的X坐标值和Y坐标值进行归一化处理，得到采样坐标；
当采样坐标均小于或者等于1时，采样采样坐标所属像素点对应的亮度参数和/或色彩参数；
当采样坐标中的任一坐标值大于1时，不对采样坐标所属像素点对应的亮度参数和/或色彩参数进行采样。
在本公开的一些实施例中，采样模块504，被配置为：
当第一位置坐标的Z坐标值小于或者等于零时，不对第一位置坐标所属像素点对应的亮度参数和/或色彩参数进行采样。
在本公开的一些实施例中，采样模块504，被配置为：
确定标准函数公式对应于第一空间坐标系中的标准图形坐标；
根据标准图形坐标对采样坐标进行相应的调整处理；
采样第一图像中调整处理后的采样坐标所属像素点对应的亮度参数和/或色彩参数，以生成采样图像。
关于上述实施例中的图像生成装置，其中各个模块执行操作的具体方式已经在有关该图像生成方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本实施例中，通过获取第一图像和第二图像，获取第一图像之中各个像素点的深度信息，并根据深度信息确定各个像素点在第一空间坐标系中的第一位置坐标，从而辅助后续图像融合过程中，参考了该第一位置坐标对第一图像中部分像素点对应的亮度参数和/或色彩参数进行采样处理，实现在混合现实中进行个性化图像融合，而不受限制于混合现实中虚拟光源打光图案的形态和颜色，并使得将第一图像融合至第二图像时，能够呈现出第一图像的三维视觉效果，更贴合第二图像，提升混合图像的成像效果，从而提升混合现实的呈现效果。
本公开实施例还提供了一种电子设备，图7是根据一示例性实施例示出的一种电子设备的框图。例如，电子设备700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图7，电子设备700可以包括以下一个或多个组件：处理组件702，存储器704，电源组件706，多媒体组件708，音频组件710，输入/输出(I/O)的接口712，传感器组件714，以及通信组件716。
处理组件702通常控制电子设备700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。
存储器704被配置为存储各种类型的数据以支持在电子设备700的操作。这些数据的示例包括用于在电子设备700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件706为电子设备700的各种组件提供电力。电源组件706可以包括电源管理系统，一个或多个电源，及其他与为电子设备700生成、管理和分配电力相关联的组件。
多媒体组件708包括在电子设备700和用户之间的提供一个输出接口的触控显示屏。在一些实施例中，触控显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当电子设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当电子设备700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。
I/O接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件714包括一个或多个传感器，用于为电子设备700提供各个方面的状态评估。例如，传感器组件714可以检测到电子设备700的打开/关闭状态，组件的相对定位，例如组件为电子设备700的显示器和小键盘，传感器组件714还可以检测电子设备700或电子设备700一个组件的位置改变，用户与电子设备700接触的存在或不存在，电子设备700方位或加速/减速和电子设备700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件716被配置为便于电子设备700和其他设备之间有线或无线方式的通信。电子设备700可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图像处理方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由电子设备700的处理器720执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当存储介质中的指令由电子设备700的处理器执行时，使得电子设备700能够执行一种图像处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种图像生成方法，其特征在于，包括：
获取第一图像和第二图像，其中，所述第一图像为待融合至所述第二图像中的图像；
构建所述第二图像内的虚拟光源的第一空间坐标系；
获取所述第一图像之中各个像素点的深度信息，并根据所述深度信息确定所述各个像素点在所述第一空间坐标系中的第一位置坐标；
根据所述第一位置坐标采样所述第一图像中部分像素点对应的亮度参数和/或色彩参数，并根据采样得到的所述像素点的亮度参数和/或色彩参数生成采样图像；以及
融合所述第一图像、所述采样图像以及所述第二图像，从而生成混合图像。
2.根据权利要求1所述的图像生成方法，其特征在于，所述根据所述深度信息确定所述各个像素点在所述第一空间坐标系中的第一位置坐标，包括：
构建从世界坐标系到所述第一空间坐标系的坐标变换矩阵；
根据所述深度信息确定所述各个像素点在所述世界坐标系中的第二位置坐标；
根据所述各个像素点的第二位置坐标和所述坐标变换矩阵，确定所述各个像素点在所述第一空间坐标系中的第一位置坐标。
3.根据权利要求2所述的图像生成方法，其特征在于，所述根据所述深度信息确定所述各个像素点在所述世界坐标系中的第二位置坐标的步骤，包括：
获取所述第一图像对应的相机坐标系；
根据所述深度信息和所述第一图像对应的相机参数，确定所述各个像素点在所述相机坐标系中的第三位置坐标；
获取所述第一图像对应的相机坐标系到世界坐标系的变换矩阵；
根据所述第三位置坐标和所述变换矩阵确定所述各个像素点在所述世界坐标系中的第二位置坐标。
4.根据权利要求3所述的图像生成方法，其特征在于，所述构建从世界坐标系到所述第一空间坐标系的坐标变换矩阵的步骤，包括：
获取所述虚拟光源在所述世界坐标系中的位置信息和朝向信息；
根据所述位置信息和朝向信息、所述相机坐标系到世界坐标系的变换矩阵，以及所述第一空间坐标系构建所述坐标变换矩阵。
5.根据权利要求1所述的图像生成方法，其特征在于，所述根据所述第一位置坐标采样所述第一图像中部分像素点对应的亮度参数和/或色彩参数的步骤，包括：
当所述第一位置坐标的Z坐标值大于零时，确定所述第一位置坐标为目标第一位置坐标；
根据缩放常数对所述目标第一位置坐标的X坐标值和Y坐标值进行归一化处理，得到采样坐标；
当所述采样坐标均小于或者等于1时，采样所述采样坐标所属像素点对应的亮度参数和/或色彩参数；
当所述采样坐标中的任一坐标值大于1时，不对所述采样坐标所属像素点对应的亮度参数和/或色彩参数进行采样。
6.根据权利要求5所述的图像生成方法，其特征在于，所述根据所述第一位置坐标采样所述第一图像中部分像素点对应的亮度参数和/或色彩参数的步骤，还包括：
当所述第一位置坐标的Z坐标值小于或者等于零时，不对所述第一位置坐标所属像素点对应的亮度参数和/或色彩参数进行采样。
7.根据权利要求5所述的图像生成方法，其特征在于，所述采样所述采样坐标所属像素点对应的亮度参数和/或色彩参数的步骤，包括：
确定标准函数公式对应于所述第一空间坐标系中的标准图形坐标；
根据所述标准图形坐标对所述采样坐标进行相应的调整处理；
采样所述第一图像中所述调整处理后的采样坐标所属像素点对应的亮度参数和/或色彩参数，以生成所述采样图像。
8.一种图像生成装置，其特征在于，包括：
第一获取模块，被配置为获取第一图像和第二图像，其中，所述第一图像为待融合至所述第二图像中的图像；
构建模块，被配置为构建所述第二图像内的虚拟光源的第一空间坐标系；
第二获取模块，被配置为获取所述第一图像之中各个像素点的深度信息，并根据所述深度信息确定所述各个像素点在所述第一空间坐标系中的第一位置坐标；
采样模块，被配置为根据所述第一位置坐标采样所述第一图像中部分像素点对应的亮度参数和/或色彩参数，并根据采样得到的所述像素点的亮度参数和/或色彩参数生成采样图像；以及
融合模块，被配置为融合所述第一图像、所述采样图像以及所述第二图像，从而生成混合图像。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的图像生成方法。
10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至7中任一项所述的图像生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010929857.7A CN114155175A (zh) | 2020-09-07 | 2020-09-07 | 图像生成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010929857.7A CN114155175A (zh) | 2020-09-07 | 2020-09-07 | 图像生成方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114155175A true CN114155175A (zh) | 2022-03-08 |
Family
ID=80460926
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010929857.7A Pending CN114155175A (zh) | 2020-09-07 | 2020-09-07 | 图像生成方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114155175A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015123775A1 (en) * | 2014-02-18 | 2015-08-27 | Sulon Technologies Inc. | Systems and methods for incorporating a real image stream in a virtual image stream |
| CN104952063A (zh) * | 2014-03-25 | 2015-09-30 | Metaio有限公司 | 用于在真实环境的视图中表示虚拟对象的方法和系统 |
| CN106803286A (zh) * | 2017-01-17 | 2017-06-06 | 湖南优象科技有限公司 | 基于多视点图像的虚实遮挡实时处理方法 |
| CN107734264A (zh) * | 2017-09-11 | 2018-02-23 | 广东欧珀移动通信有限公司 | 图像处理方法和装置 |
| CN109769109A (zh) * | 2019-03-05 | 2019-05-17 | 东北大学 | 基于虚拟视点合成绘制三维物体的方法和系统 |
| CN109785444A (zh) * | 2019-01-07 | 2019-05-21 | 深圳增强现实技术有限公司 | 图像中现实平面的识别方法、装置及移动终端 |
-
2020
- 2020-09-07 CN CN202010929857.7A patent/CN114155175A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015123775A1 (en) * | 2014-02-18 | 2015-08-27 | Sulon Technologies Inc. | Systems and methods for incorporating a real image stream in a virtual image stream |
| CN104952063A (zh) * | 2014-03-25 | 2015-09-30 | Metaio有限公司 | 用于在真实环境的视图中表示虚拟对象的方法和系统 |
| CN106803286A (zh) * | 2017-01-17 | 2017-06-06 | 湖南优象科技有限公司 | 基于多视点图像的虚实遮挡实时处理方法 |
| CN107734264A (zh) * | 2017-09-11 | 2018-02-23 | 广东欧珀移动通信有限公司 | 图像处理方法和装置 |
| CN109785444A (zh) * | 2019-01-07 | 2019-05-21 | 深圳增强现实技术有限公司 | 图像中现实平面的识别方法、装置及移动终端 |
| CN109769109A (zh) * | 2019-03-05 | 2019-05-17 | 东北大学 | 基于虚拟视点合成绘制三维物体的方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 娄达平;王晓东;富显祖;章联军;: "基于深度图像分割的虚拟视点绘制", 计算机工程, no. 10, 15 October 2016 (2016-10-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102194094B1 (ko) | 가상과 실제 물체의 합성 방법, 장치, 프로그램 및 기록매체 | |
| CN108986199B (zh) | 虚拟模型处理方法、装置、电子设备及存储介质 | |
| CN110427110B (zh) | 一种直播方法、装置以及直播服务器 | |
| CN111464749B (zh) | 进行图像合成的方法、装置、设备及存储介质 | |
| CN112287852B (zh) | 人脸图像的处理方法、显示方法、装置及设备 | |
| CN110599593B (zh) | 数据合成的方法、装置、设备及存储介质 | |
| CN114170302A (zh) | 相机外参标定方法、装置、电子设备及存储介质 | |
| CN110853095B (zh) | 相机定位方法、装置、电子设备及存储介质 | |
| CN113643356B (zh) | 相机位姿确定、虚拟物体显示方法、装置及电子设备 | |
| CN112581571B (zh) | 虚拟形象模型的控制方法、装置、电子设备及存储介质 | |
| CN108965769B (zh) | 视频显示方法及装置 | |
| CN113763228A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN112581358A (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
| CN113384880A (zh) | 虚拟场景显示方法、装置、计算机设备及存储介质 | |
| CN114387445A (zh) | 对象关键点识别方法及装置、电子设备和存储介质 | |
| CN110782532A (zh) | 图像生成方法、生成装置、电子设备及存储介质 | |
| CN112308103B (zh) | 生成训练样本的方法和装置 | |
| CN109218709B (zh) | 全息内容的调整方法及装置和计算机可读存储介质 | |
| CN114140536A (zh) | 位姿数据处理方法、装置、电子设备及存储介质 | |
| CN109934168B (zh) | 人脸图像映射方法及装置 | |
| EP3848894B1 (en) | Method and device for segmenting image, and storage medium | |
| EP3916683A1 (en) | Method and apparatus for displaying an image, electronic device and computer-readable storage medium | |
| CN114155175A (zh) | 图像生成方法、装置、电子设备及存储介质 | |
| CN114093020A (zh) | 动作捕捉方法、装置、电子设备及存储介质 | |
| CN112950535A (zh) | 视频处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |