CN115619989B - 融合效果图生成方法、装置、电子设备及存储介质 - Google Patents

融合效果图生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115619989B
CN115619989B CN202211335957.2A CN202211335957A CN115619989B CN 115619989 B CN115619989 B CN 115619989B CN 202211335957 A CN202211335957 A CN 202211335957A CN 115619989 B CN115619989 B CN 115619989B
Authority
CN
China
Prior art keywords
house
determining
dimensional
model
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211335957.2A
Other languages
English (en)
Other versions
CN115619989A (zh
Inventor
王灵丽
李臻
黄晓艺
潘慈辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
You Can See Beijing Technology Co ltd AS
Original Assignee
You Can See Beijing Technology Co ltd AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by You Can See Beijing Technology Co ltd AS filed Critical You Can See Beijing Technology Co ltd AS
Priority to CN202211335957.2A priority Critical patent/CN115619989B/zh
Publication of CN115619989A publication Critical patent/CN115619989A/zh
Application granted granted Critical
Publication of CN115619989B publication Critical patent/CN115619989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开的实施例公开了一种融合效果图生成方法、装置、电子设备及存储介质。该方法包括：利用针对真实房屋采集的多个点云数据和多帧高动态范围图像，生成三维房屋模型和房屋纹理贴图；确定虚拟物体的三维物体模型在三维房屋模型中的待放置位置；基于三维房屋模型和房屋纹理贴图，确定待放置位置对应的全景光照信息；基于多帧高动态范围图像、三维房屋模型、三维物体模型，以及全景光照信息，生成包括虚拟物体和真实房屋的融合效果图。本公开的实施例中的虚拟物体融合技术，能够较好地保证虚拟物体与真实场景的光照一致性，由此能够较好地保证虚拟物体合成结果的视觉效果。

Description

融合效果图生成方法、装置、电子设备及存储介质
技术领域
本公开涉及混合现实(Mixed Reality，MR)技术领域，尤其涉及一种融合效果图生成方法、装置、电子设备及存储介质。
背景技术
虚拟物体合成技术在混合现实领域发挥着重要作用，虚拟物体合成技术是指：通过计算机技术将虚拟物体叠加到真实场景中，实现内容、空间几何、时间等多个层面的融合，以达到逼真的虚实融合效果。需要说明的是，采用目前的虚拟物体合成技术，虚拟物体与真实场景的光照一致性往往无法保证，从而会对视觉效果产生不良的影响。
发明内容
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种融合效果图生成方法、装置、电子设备及存储介质。
根据本公开实施例的一个方面，提供了一种融合效果图生成方法，包括：
利用针对真实房屋采集的多个点云数据和多帧高动态范围图像，生成三维房屋模型和房屋纹理贴图；
确定虚拟物体的三维物体模型在所述三维房屋模型中的待放置位置；
基于所述三维房屋模型和所述房屋纹理贴图，确定所述待放置位置对应的全景光照信息；
基于所述多帧高动态范围图像、所述三维房屋模型、所述三维物体模型，以及所述全景光照信息，生成包括所述虚拟物体和所述真实房屋的融合效果图。
在一个可选示例中，所述基于所述三维房屋模型和所述房屋纹理贴图，确定所述待放置位置对应的全景光照信息，包括：
确定从所述待放置位置发射的多条射线，所述多条射线的发射角度互异；
确定所述多条射线与所述三维房屋模型的多个相交点；
基于所述多个相交点和所述房屋纹理贴图，确定所述待放置位置对应于所述多个发射角度的多个光照信息；
确定所述待放置位置对应的全景光照信息；其中，所述全景光照信息包括：所述待放置位置对应于所述多个发射角度的多个光照信息。
在一个可选示例中，所述多条射线中的任一射线为第一射线，所述第一射线的发射角度为第一发射角度，所述第一射线与所述三维房屋模型的相交点为第一相交点；
所述基于所述多个相交点和所述房屋纹理贴图，确定所述待放置位置对应于所述多个发射角度的多个光照信息，包括：
从所述三维房屋模型包括的多个三角形网格中，确定所述第一相交点所在的第一三角形网格；
将所述第一三角形网格的三个顶点映射至所述房屋纹理贴图，以确定所述房屋纹理贴图上的三个映射点；
基于所述三个映射点的三个位置信息，确定所述房屋纹理贴图上的目标位置；
将所述目标位置的光照信息作为所述待放置位置对应于所述第一发射角度的光照信息。
在一个可选示例中，所述基于所述三个映射点的三个位置信息，确定所述房屋纹理贴图上的目标位置，包括：
确定所述第一相交点将所述第一三角形网格分割为的三个网格区域的三个面积；
基于所述三个面积，确定所述三个顶点对应的三个权重；
利用所述三个权重，对所述三个映射点的三个位置信息进行加权，以得到加权位置信息；
将所述房屋纹理贴图上所述加权位置信息对应的位置作为目标位置。
在一个可选示例中，所述确定从所述待放置位置发射的多条射线，包括：
将预设水平方向角度均分为第一数量的等份，并确定从所述待放置位置发射的所述第一数量的等份对应的第一数量条射线；
将预设垂直方向角度均分为第二数量的等份，并确定从所述待放置位置发射的所述第二数量的等份对应的第二数量条射线。
在一个可选示例中，所述基于所述多帧高动态范围图像、所述三维房屋模型、所述三维物体模型，以及所述全景光照信息，生成包括所述虚拟物体和所述真实房屋的融合效果图，包括：
基于所述三维房屋模型、所述三维物体模型、所述三维物体模型的模型参数，以及所述全景光照信息，经由渲染引擎生成所述虚拟物体的渲染结果、所述虚拟物体的掩膜，以及所述虚拟物体产生的阴影的渲染结果；
基于所述多帧高动态范围图像，生成真实场景图像；
基于所述虚拟物体的渲染结果、所述虚拟物体的掩膜、所述虚拟物体产生的阴影的渲染结果，以及所述真实场景图像，生成包括所述虚拟物体和所述真实房屋的融合效果图。
在一个可选示例中，所述基于所述多帧高动态范围图像，生成真实场景图像，包括：
将所述多帧高动态范围图像拼接为全景高动态范围图像；
将所述全景高动态范围图像转换为全景低动态范围图像；
将所述全景低动态范围图像作为真实场景图像。
根据本公开实施例的另一个方面，提供了一种融合效果图生成装置，包括：
第一生成模块，用于利用针对真实房屋采集的多个点云数据和多帧高动态范围图像，生成三维房屋模型和房屋纹理贴图；
第一确定模块，用于确定虚拟物体的三维物体模型在所述三维房屋模型中的待放置位置；
第二确定模块，用于基于所述三维房屋模型和所述房屋纹理贴图，确定所述待放置位置对应的全景光照信息；
第二生成模块，用于基于所述多帧高动态范围图像、所述三维房屋模型、所述三维物体模型，以及所述全景光照信息，生成包括所述虚拟物体和所述真实房屋的融合效果图。
在一个可选示例中，所述第二确定模块，包括：
第一确定子模块，用于确定从所述待放置位置发射的多条射线，所述多条射线的发射角度互异；
第二确定子模块，用于确定所述多条射线与所述三维房屋模型的多个相交点；
第三确定子模块，用于基于所述多个相交点和所述房屋纹理贴图，确定所述待放置位置对应于所述多个发射角度的多个光照信息；
第四确定子模块，用于确定所述待放置位置对应的全景光照信息；其中，所述全景光照信息包括：所述待放置位置对应于所述多个发射角度的多个光照信息。
在一个可选示例中，所述多条射线中的任一射线为第一射线，所述第一射线的发射角度为第一发射角度，所述第一射线与所述三维房屋模型的相交点为第一相交点；
所述第三确定子模块，包括：
第一确定单元，用于从所述三维房屋模型包括的多个三角形网格中，确定所述第一相交点所在的第一三角形网格；
第二确定单元，用于将所述第一三角形网格的三个顶点映射至所述房屋纹理贴图，以确定所述房屋纹理贴图上的三个映射点；
第三确定单元，用于基于所述三个映射点的三个位置信息，确定所述房屋纹理贴图上的目标位置；
第四确定单元，用于将所述目标位置的光照信息作为所述待放置位置对应于所述第一发射角度的光照信息。
在一个可选示例中，所述第三确定单元，包括：
第一确定子单元，用于确定所述第一相交点将所述第一三角形网格分割为的三个网格区域的三个面积；
转换子单元，用于基于所述三个面积，确定所述三个顶点对应的三个权重；
加权子单元，用于利用所述三个权重，对所述三个映射点的三个位置信息进行加权，以得到加权位置信息；
第二确定子单元，用于将所述房屋纹理贴图上所述加权位置信息对应的位置作为目标位置。
在一个可选示例中，所述第一确定子模块，包括：
第五确定单元，用于将预设水平方向角度均分为第一数量的等份，并确定从所述待放置位置发射的所述第一数量的等份对应的第一数量条射线；
第六确定单元，用于将预设垂直方向角度均分为第二数量的等份，并确定从所述待放置位置发射的所述第二数量的等份对应的第二数量条射线。
在一个可选示例中，所述第二生成模块，包括：
第一生成子模块，用于基于所述三维房屋模型、所述三维物体模型、所述三维物体模型的模型参数，以及所述全景光照信息，经由渲染引擎生成所述虚拟物体的渲染结果、所述虚拟物体的掩膜，以及所述虚拟物体产生的阴影的渲染结果；
第二生成子模块，用于基于所述多帧高动态范围图像，生成真实场景图像；
第三生成子模块，用于基于基于所述虚拟物体的渲染结果、所述虚拟物体的掩膜、所述虚拟物体产生的阴影的渲染结果，以及所述真实场景图像，生成包括所述虚拟物体和所述真实房屋的融合效果图。
在一个可选示例中，所述第二生成子模块，包括：
拼接单元，用于将所述多帧高动态范围图像拼接为全景高动态范围图像；
转换单元，用于将所述全景高动态范围图像转换为全景低动态范围图像；
第七确定单元，用于将所述全景低动态范围图像作为真实场景图像。
根据本公开实施例的再一个方面，提供了一种电子设备，包括：
存储器，用于存储计算机程序产品；
处理器，用于执行所述存储器中存储的计算机程序产品，且所述计算机程序产品被执行时，实现上述融合效果图生成方法。
根据本公开实施例的又一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时，实现上述融合效果图生成方法。
根据本公开实施例的又一个方面，提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令被处理器执行时实现上述融合效果图生成方法。
本公开的实施例中，可以利用针对真实房屋采集的多个点云数据和多帧高动态范围图像，生成三维房屋模型和房屋纹理贴图，确定虚拟物体的三维物体模型在三维房屋模型中的待放置位置，结合三维房屋模型和房屋纹理贴图，能够高效准确地确定待放置位置对应的全景光照信息，之后，可以基于多帧高动态范围图像、三维房屋模型、三维物体模型，以及全景光照信息，生成虚拟物体和真实房屋的融合效果图，以实现虚拟物体合成，融合效果图可以作为虚拟物体合成结果。这样，采用本公开的实施例中的虚拟物体合成技术，通过对三维房屋模型承载的几何信息的利用，能够较好地保证虚拟物体与真实场景的几何一致性，通过对基于三维房屋模型和房屋纹理贴图得到的全景光照信息的利用，能够较好地保证虚拟物体与真实场景的光照一致性，由此能够较好地保证虚拟物体合成结果的视觉效果。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本公开一示例性实施例提供的融合效果图生成方法的流程示意图。
图2是本公开另一示例性实施例提供的融合效果图生成方法的流程示意图。
图3是本公开一示例性实施例中全景低动态范围图像的示意图。
图4是本公开一示例性实施例中融合效果图的示意图。
图5是本公开再一示例性实施例提供的融合效果图生成方法的流程示意图。
图6是本公开一示例性实施例中第一三角形网格的示意图。
图7是本公开一示例性实施例提供的融合效果图生成装置的结构示意图。
图8是本公开另一示例性实施例提供的融合效果图生成装置的结构示意图。
图9是本公开再一示例性实施例提供的融合效果图生成装置的结构示意图。
图10是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
示例性方法
图1是本公开一示例性实施例提供的融合效果图生成方法的流程示意图。图1所示的方法包括步骤110、步骤120、步骤130和步骤140，下面对各步骤分别进行说明。
步骤110，利用针对真实房屋采集的多个点云数据和多帧高动态范围(HighDynamic Range，HDR)图像，生成三维房屋模型和房屋纹理贴图。
在步骤110之前，可以先确定真实房屋中的多个点位，接下来可以利用三维扫描设备分别在多个点位进行点云数据的采集，以得到与多个点位一一对应的多个点云数据，并利用图像采集设备分别在多个点位进行高动态范围图像的采集，以得到与多个点位一一对应的多帧高动态范围图像；其中，每帧高动态范围图像存储的均可以是线性的光照信息，每帧高动态范围图像均可以存储为float32(32位浮点型)的格式。
在步骤110中，基于与多个点位一一对应的多个点云数据，以及与多个点位一一对应的多帧高动态范围图像，可以通过三维重建实现三维房屋模型的生成，并通过图像纹理信息的利用，实现房屋纹理贴图的生成。
可选地，多帧高动态范围图像承载的信息(例如点特征、线特征等信息)可以为三维重建过程中多个点云数据的拼接提供参考，以保证拼接效果；多个点云数据承载的信息可以为图像纹理信息的利用提供参考，以保证房屋纹理贴图的准确性和可靠性。
可选地，在进行三维重建时，可以将点云数据中心作为原点，竖直向上方向作为Y方向，随机选取或者按照一定规则选取的墙面的法线方向作为X轴建立世界坐标系；三维房屋模型可以按照三角形网格(也可以称为三角面片)的形式进行存储，这样，可以认为三维房屋模型包括多个三角形网格。
可选地，房屋纹理贴图可以为二维图像，房屋纹理贴图可以为JPG格式或者PNG格式；其中，JPG格式与PNG格式为两种常用的图像文件存储格式。
步骤120，确定虚拟物体的三维物体模型在三维房屋模型中的待放置位置。
可选地，虚拟物体包括但不限于家具(例如床、床头柜)、家电(例如灯具、冰箱)等；虚拟物体可以具有对应的几何信息，虚拟物体对应的几何信息可以由虚拟物体的三维物体模型承载，虚拟物体还可以具有对应的材质描述文件，这样，可以认为虚拟物体＝三维物体模型承载的几何信息+材质描述文件。
在步骤120中，可以由用户通过语音输入操作、触控输入操作、键盘输入操作等，指定三维物体模型在三维房屋模型中的待放置位置，例如，用户可以将三维房屋模型中的地板平面上的特定位置指定为待放置位置，再例如，用户可以将三维房屋模型中的天花板平面上的特定位置指定为待放置位置。
步骤130，基于三维房屋模型和房屋纹理贴图，确定待放置位置对应的全景光照信息。
需要说明的是，三维房屋模型能够体现真实房屋的几何信息，房屋纹理贴图能够体现真实房屋的光照情况，结合三维房屋模型和房屋纹理贴图，能够高效可靠地确定出待放置位置对应的全景光照信息。可选地，全景光照信息可以为用于描述由待放置位置向各个方向的光照强度的形式；或者，全景光照信息可以为用于描述待放置位置放置的光源的亮度的形式。
步骤140，基于多帧高动态范围图像、三维房屋模型、三维物体模型，以及全景光照信息，生成包括虚拟物体和真实房屋的融合效果图。
在一种具体实施方式中，如图2所示，步骤140，包括步骤1401、步骤1403和步骤1405。
步骤1401，基于三维房屋模型、三维物体模型、三维物体模型的模型参数，以及全景光照信息，经由渲染引擎生成虚拟物体的渲染结果、虚拟物体的掩膜，以及虚拟物体产生的阴影的渲染结果。
可选地，三维物体模型的模型参数可以包括虚拟物体对应的材质描述文件中的材质信息，材质信息包括但不限于颜色信息、纹理信息、反射率信息等。
在步骤1401中，可以将三维房屋模型、三维物体模型、三维物体模型的模型参数，以及全景光照信息均作为输入提供给渲染引擎，渲染引擎可以根据这些输入进行渲染处理，以实现虚拟物体的渲染结果、虚拟物体的掩膜，以及虚拟物体产生的阴影的渲染结果的生成。
可选地，渲染引擎可以执行两次渲染处理，其中一次渲染处理可以同时利用三维房屋模型、三维物体模型、三维物体模型的模型参数，以及全景光照信息，另外一次渲染处理可以仅利用三维房屋模型和全景光照信息，通过两次渲染处理的处理结果的区别，可以确定三维物体模型产生的阴影的渲染结果。
可选地，虚拟物体的渲染结果、虚拟物体的掩膜，以及虚拟物体产生的阴影的渲染结果均可以呈二维图像的形式；渲染引擎的渲染处理过程中可以利用路径追踪算法。
步骤1403，基于多帧高动态范围图像，生成真实场景图像。
可选地，步骤1403，包括：
将多帧高动态范围图像拼接为全景高动态范围图像；
将全景高动态范围图像转换为全景低动态范围图像(Low Dynamic Range，LDR)；
将全景低动态范围图像作为真实场景图像。
这里，可以先利用图像拼接算法，对多帧高动态范围图像，以得到全景高动态范围图像，接下来，可以对全景高动态范围图像进行曝光融合(Exposure fusion，EF)处理，以得到全景低动态范围图像，全景低动态范围图像可以存储为uint(无符号整型)的格式，全景低动态范围图像具体可以参见图3，之后，可以直接将全景低动态范围图像作为真实场景图像。
这样，结合图像拼接处理，以及全景高动态范围图像与全景低动态范围图像之间的转换处理，能够高效可靠地得到真实场景图像，以便将真实场景图像用于后续的步骤1405，从而实现融合效果图的生成。
步骤1405，基于虚拟物体的渲染结果、虚拟物体的掩膜、虚拟物体产生的阴影的渲染结果，以及真实场景图像，生成包括虚拟物体和真实房屋的融合效果图。
假设虚拟物体的渲染结果表示为Imodel，虚拟物体的掩膜表示为mask，虚拟物体产生的阴影的渲染结果表示为Ishadow，真实场景图像表示为Iscene，包括虚拟物体和真实房屋的融合效果图表示为Ifusion，则Imodel、mask、Ishadow、Iscene、Ifusion可以满足如下公式：
Ifusion＝Imodel·mask+(Ishadow·Iscene)·(1-mask)
这样，在虚拟物体的渲染结果、虚拟物体的掩膜、虚拟物体产生的阴影的渲染结果，以及真实场景图像均已知的情况下，通过利用上述公式进行运算，能够高效可靠地得到包括虚拟物体和真实房屋的融合效果图，融合效果图具体可以参见图4。由图4容易看出，床、床头柜、门等虚拟物体均具有符合真实效果的尺度和透视关系，且具有与真实场景一致的光照信息，床、床头柜、门等虚拟物体在视觉上与真实场景融为一体。
采用这种实施方式，基于多帧高动态范围图像、三维房屋模型、三维物体模型，以及全景光照信息，能够较好地将虚拟物体本身和虚拟物体产生的阴影呈现在真实场景中，保证虚拟物体与真实场景的几何一致性和光照一致性，从而获得较好的虚拟物体融合效果。
当然，步骤1405的具体实施方式并不局限于此，例如，在将全景高动态范围图像转换为全景低动态范围图像之后，可以不直接将全景低动态范围图像作为真实场景图像，而是对全景低动态范围图像进行进一步的优化处理(例如去噪处理等)，并将经优化后的全景低动态范围图像作为真实场景图像以用于融合效果图的生成，再例如，在上述用于计算作为融合效果图的Ifusion的公式的基础上，可以引入一些校正系数，以进一步提升融合效果图的视觉效果。
本公开的实施例中，可以利用针对真实房屋采集的多个点云数据和多帧高动态范围图像，生成三维房屋模型和房屋纹理贴图，确定虚拟物体的三维物体模型在三维房屋模型中的待放置位置，结合三维房屋模型和房屋纹理贴图，能够高效准确地确定待放置位置对应的全景光照信息，之后，可以基于多帧高动态范围图像、三维房屋模型、三维物体模型，以及全景光照信息，生成虚拟物体和真实房屋的融合效果图，以实现虚拟物体合成，融合效果图可以作为虚拟物体合成结果。这样，采用本公开的实施例中的虚拟物体合成技术，通过对三维房屋模型承载的几何信息的利用，能够较好地保证虚拟物体与真实场景的几何一致性，通过对基于三维房屋模型和房屋纹理贴图得到的全景光照信息的利用，能够较好地保证虚拟物体与真实场景的光照一致性，由此能够较好地保证虚拟物体合成结果的视觉效果。
在图1所示实施例的基础上，如图5所示，步骤130，包括步骤1301、步骤1303、步骤1305和步骤1307。
步骤1301，确定从待放置位置发射的多条射线，多条射线的发射角度互异。
在一种具体实施方式中，步骤1301，包括：
将预设水平方向角度均分为第一数量的等份，并确定从待放置位置发射的第一数量的等份对应的第一数量条射线；
将预设垂直方向角度均分为第二数量的等份，并确定从待放置位置发射的第二数量的等份对应的第二数量条射线。
可选地，预设水平方向角度可以为360度，第一数量可以为1600，第一数量的等份中的每一等份的角度为360度/1600；预设垂直方向角度可以为180度，第一数量可以为800，第二数量的等份中的每一等份的角度为180度/800。
具体实施时，可以在水平方向上，从待放置位置以任意发射角度进行射线发射，然后每隔360度/1600进行一次射线发射，由此可以发射1600条射线，类似地，可以在垂直方向上，从待放置位置以任意发射角度进行射线发射，然后每隔180度/800进行一次射线发射，由此可以发射800条射线。
这种实施方式中，通过将预设水平方向角度均分为若干等份，并确定对应数量的若干条射线，以及将预设垂直方向角度均分为若干等份，并确定对应数量的若干条射线，能够保证从待放置位置发射的射线的角度均匀性。
步骤1303，确定多条射线与三维房屋模型的多个相交点。
需要说明的是，针对多条射线中的每条射线，可以确定该射线与三维房屋模型的相交点，由此可以得到与多条射线一一对应的多个相交点。
步骤1305，基于多个相交点和房屋纹理贴图，确定待放置位置对应于多个发射角度的多个光照信息。
可选地，多个发射角度与多个光照信息之间可以为一一对应的关系。
在一种具体实施方式中，多条射线中的任一射线为第一射线，第一射线的发射角度为第一发射角度，第一射线与三维房屋模型的相交点为第一相交点；
步骤1305，包括：
从三维房屋模型包括的多个三角形网格中，确定第一相交点所在的第一三角形网格；
将第一三角形网格的三个顶点映射至房屋纹理贴图，以确定房屋纹理贴图上的三个映射点；
基于三个映射点的三个位置信息，确定房屋纹理贴图上的目标位置；
将目标位置的光照信息作为待放置位置对应于第一发射角度的光照信息。
需要说明的是，由于三维房屋模型与房屋纹理贴图均是基于多个点云数据和多个高动态范围图像生成的，且均对应真实房屋，三维房屋模型与房屋纹理贴图之间存在位置映射关系。在确定第一相交点所在的第一三角形网格之后，可以基于三维房屋模型与房屋纹理贴图之间的位置映射关系，分别将第一三角形网格的三个顶点映射至房屋纹理贴图，以确定房屋纹理贴图上的三个映射点，三个映射点与三个顶点之间可以为一一对应的关系。
接下来，可以基于三个映射点的三个位置信息，确定房屋纹理贴图上的目标位置。可选地，基于三个映射点的三个位置信息，确定房屋纹理贴图上的目标位置，包括：
确定第一相交点将第一三角形网格分割为的三个网格区域的三个面积；
基于三个面积，确定三个顶点对应的三个权重；
利用三个权重，对三个映射点的三个位置信息进行加权，以得到加权位置信息；
将房屋纹理贴图上加权位置信息对应的位置作为目标位置。
在一个例子中，第一三角形网格可以参见图6中的三角形ABC，也即，第一三角形网格的三个顶点分别是点A、点B、点C，假设第一相交点为点D，很明显，点D能够将三角形ABC分割为三个网格区域，这三个网格区域分别对应三角形ABD、三角形ACD、三角形BCD。基于点A、点B、点C、点D四者的位置坐标，能够高效可靠地计算出三角形ABD、三角形ACD、三角形BCD各自的面积，由此得到三个面积，此外，还可以计算三角形ABC的总面积。
接下来，可以基于三个面积，确定三个顶点对应的三个权重，例如，可以将三角形BCD的面积与三角形ABC的总面积的比值作为点A对应的权重，将三角形ACD的面积与三角形ABC的总面积的比值作为点B对应的权重，将角形ABD的面积与三角形ABC的总面积的比值作为点C对应的权重。
假设将点A映射至房屋纹理贴图上时，对应的映射点为点E，将点B映射至房屋纹理贴图上时，对应的映射点为点F，将点C映射至房屋纹理贴图上时，对应的映射点为点G，则可以获取点E的坐标(x1，y1)，点F的坐标(x2，y2)，以及点G的坐标(x3，y3)；其中，x1，y1可以分别表示点E在房屋纹理贴图上的行号和列号，x2，y2可以分别表示点F在房屋纹理贴图上的行号和列号，x3，y3可以分别表示点G在房屋纹理贴图上的行号和列号。
假设点A对应的权重为q1，点B对应的权重为q2，点C对应的权重为q3，则可以利用如下公式计算x4和y4：
x4＝q1·x1+q2·x2+q3·x3
y4＝q1·y1+q2·y2+q3·y3
采用上述公式计算出的x4和y4可以共同组成加权位置信息，基于加权位置信息，后续可以将房屋纹理贴图上行号为x4，列号为y4的位置作为目标位置，目标位置的光照信息可以作为待放置位置对应于第一发射角度的光照信息。
假设多条射线中还包括第二射线，第二射线的发射角度为第二发射角度，第二射线与三维房屋模型的相交点为第二相交点，则可以从三维房屋模型包括的多个三角形网格中，确定第二相交点所在的第二三角形网格，之后可以为第二三角形网格的三个顶点确定对应的三个权重，并结合第二三角形网格的三个顶点向房屋纹理贴图的映射结果，以及加权处理，得到待放置位置对应于第二发射角度的光照信息。按照类似的方式，可以得到待放置位置对应于多个发射角度的多个光照信息。
这种实施方式中，通过将第一三角形网格的三个顶点映射至房屋纹理贴图，可以参考这三个顶点对应的三个映射点的三个位置信息，确定房屋纹理贴图上与待放置位置映射的位置(即目标位置)，由于三维房屋模型和房屋纹理贴图承载的信息可以认为是准确的信息，由此可以保证确定出的目标位置的准确性，这样，在将目标位置的光照信息确定为待放置位置对应于第一发射角度的光照信息时，能够较好地保证后续生成融合效果图时应用的全景光照信息的准确性，由此可以进一步保证虚拟物体融合效果。
可选地，为了保证映射点确定效率，以保证全景光照信息确定效率，可以通过纹理贴图处理，使三维房屋模型带有房屋纹理贴图。
步骤1307，确定待放置位置对应的全景光照信息；其中，全景光照信息包括：待放置位置对应于多个发射角度的多个光照信息。
假设上文中的步骤1301中将预设水平方向角度360度均分为1600等份，将预设垂直方向角度180度均分为800等份，则具体实施时，可以从待放置位置向360度*180度的空间中发射射线，且分辨率设置为水平方向角度分辨率为360度/1600，垂直方向角度分辨率为180度/800，在得到待放置位置对应于各个发射角度的光照信息之后，可以将这些光照信息存储为一张分辨率为1600*800pixel(像素)的全景图，该全景图可以认为承载有待放置位置对应的全景光照信息，全景光照信息可以称为基于图像的光照(Image based lighting，IBL)。
本公开的实施例中，通过确定从待放置位置发射的发射角度互异的多条射线，结合多条射线与三维房屋模型的多个相交点，以及房屋纹理贴图，能够高效可靠地确定出待放置位置对应于多个发射角度的多个光照信息，并据此确定待放置位置对应的全景光照信息，这样，全景光照信息能够有效地表征待放置位置向各个方向的光照强度，后续基于全景光照信息得到的融合效果图能够有效地呈现出与真实场景具有光照一致性的效果。
综上，采用本公开的实施例中的虚拟物体合成技术，能够有效地保证虚拟物体与真实场景的几何一致性和光照一致性，从而保证虚拟物体合成结果的视觉效果。
本公开的实施例提供的任一种融合效果图生成方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种融合效果图生成方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种融合效果图生成方法。下文不再赘述。
示例性装置
图7是本公开一示例性实施例提供的融合效果图生成装置的结构示意图，图7所示的装置包括第一生成模块710、第一确定模块720、第二确定模块730和第二生成模块740。
第一生成模块710，用于利用针对真实房屋采集的多个点云数据和多帧高动态范围图像，生成三维房屋模型和房屋纹理贴图；
第一确定模块720，用于确定虚拟物体的三维物体模型在三维房屋模型中的待放置位置；
第二确定模块730，用于基于三维房屋模型和房屋纹理贴图，确定待放置位置对应的全景光照信息；
第二生成模块740，用于基于多帧高动态范围图像、三维房屋模型、三维物体模型，以及全景光照信息，生成包括虚拟物体和真实房屋的融合效果图。
在一个可选示例中，如图8所示，第二确定模块730，包括：
第一确定子模块7301，用于确定从待放置位置发射的多条射线，多条射线的发射角度互异；
第二确定子模块7303，用于确定多条射线与三维房屋模型的多个相交点；
第三确定子模块7305，用于基于多个相交点和房屋纹理贴图，确定待放置位置对应于多个发射角度的多个光照信息；
第四确定子模块7307，用于确定待放置位置对应的全景光照信息；其中，全景光照信息包括：待放置位置对应于多个发射角度的多个光照信息。
在一个可选示例中，多条射线中的任一射线为第一射线，第一射线的发射角度为第一发射角度，第一射线与三维房屋模型的相交点为第一相交点；
第三确定子模块7305，包括：
第一确定单元，用于从三维房屋模型包括的多个三角形网格中，确定第一相交点所在的第一三角形网格；
第二确定单元，用于将第一三角形网格的三个顶点映射至房屋纹理贴图，以确定房屋纹理贴图上的三个映射点；
第三确定单元，用于基于三个映射点的三个位置信息，确定房屋纹理贴图上的目标位置；
第四确定单元，用于将目标位置的光照信息作为待放置位置对应于第一发射角度的光照信息。
在一个可选示例中，第三确定单元，包括：
第一确定子单元，用于确定第一相交点将第一三角形网格分割为的三个网格区域的三个面积；
转换子单元，用于将三个面积转换为三个顶点对应的三个权重；
加权子单元，用于利用三个权重，对三个映射点的三个位置信息进行加权，以得到加权位置信息；
第二确定子单元，用于将房屋纹理贴图上加权位置信息对应的位置作为目标位置。
在一个可选示例中，第一确定子模块7301，包括：
第五确定单元，用于将预设水平方向角度均分为第一数量的等份，并确定从待放置位置发射的第一数量的等份对应的第一数量条射线；
第六确定单元，用于将预设垂直方向角度均分为第二数量的等份，并确定从待放置位置发射的第二数量的等份对应的第二数量条射线。
在一个可选示例中，如图9所示，第二生成模块740，包括：
第一生成子模块7401，用于基于三维房屋模型、三维物体模型、三维物体模型的模型参数，以及全景光照信息，经由渲染引擎生成虚拟物体的渲染结果、虚拟物体的掩膜，以及虚拟物体产生的阴影的渲染结果；
第二生成子模块7403，用于基于多帧高动态范围图像，生成真实场景图像；
第三生成子模块7405，用于基于虚拟物体的渲染结果、虚拟物体的掩膜、虚拟物体产生的阴影的渲染结果，以及真实场景图像，生成包括虚拟物体和真实房屋的融合效果图。
在一个可选示例中，第二生成子模块7403，包括：
拼接单元，用于将多帧高动态范围图像拼接为全景高动态范围图像；
转换单元，用于将全景高动态范围图像转换为全景低动态范围图像；
第七确定单元，用于将全景低动态范围图像作为真实场景图像。
示例性电子设备
下面，参考图10来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
图10图示了根据本公开实施例的电子设备1000的框图。
如图10所示，电子设备1000包括一个或多个处理器1010和存储器1020。
处理器1010可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备1000中的其他组件以执行期望的功能。
存储器1020可以存储一个或多个计算机程序产品，所述存储器1020可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序产品，处理器1010可以运行所述计算机程序产品，以实现上文所述的本公开的各个实施例的融合效果图生成方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备1000还可以包括：输入装置1030和输出装置1040，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如，在电子设备1000是第一设备或第二设备时，该输入装置1030可以是麦克风或麦克风阵列。在电子设备1000是单机设备时，该输入装置1030可以是通信网络连接器，用于从第一设备和第二设备接收所采集的输入信号。
此外，该输入装置1030还可以包括例如键盘、鼠标等等。
该输出装置1040可以向外部输出各种信息。该输出装置1040可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出装置等等。
当然，为了简化，图10中仅示出了该电子设备1000中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备1000还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的融合效果图生成方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的融合效果图生成方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (8)

1.一种融合效果图生成方法，其特征在于，包括：
利用针对真实房屋采集的多个点云数据和多帧高动态范围图像，生成三维房屋模型和房屋纹理贴图；
确定虚拟物体的三维物体模型在所述三维房屋模型中的待放置位置；
基于所述三维房屋模型和所述房屋纹理贴图，确定所述待放置位置对应的全景光照信息；
基于所述多帧高动态范围图像、所述三维房屋模型、所述三维物体模型，以及所述全景光照信息，生成包括所述虚拟物体和所述真实房屋的融合效果图；
所述基于所述三维房屋模型和所述房屋纹理贴图，确定所述待放置位置对应的全景光照信息，包括：
确定从所述待放置位置发射的多条射线，所述多条射线的发射角度互异；
确定所述多条射线与所述三维房屋模型的多个相交点；
基于所述多个相交点和所述房屋纹理贴图，确定所述待放置位置对应于所述多个发射角度的多个光照信息；
确定所述待放置位置对应的全景光照信息；其中，所述全景光照信息包括：所述待放置位置对应于所述多个发射角度的多个光照信息；
所述多条射线中的任一射线为第一射线，所述第一射线的发射角度为第一发射角度，所述第一射线与所述三维房屋模型的相交点为第一相交点；
所述基于所述多个相交点和所述房屋纹理贴图，确定所述待放置位置对应于所述多个发射角度的多个光照信息，包括：
从所述三维房屋模型包括的多个三角形网格中，确定所述第一相交点所在的第一三角形网格；
将所述第一三角形网格的三个顶点映射至所述房屋纹理贴图，以确定所述房屋纹理贴图上的三个映射点；
基于所述三个映射点的三个位置信息，确定所述房屋纹理贴图上的目标位置；
将所述目标位置的光照信息作为所述待放置位置对应于所述第一发射角度的光照信息。
2.根据权利要求1所述的方法，其特征在于，所述基于所述三个映射点的三个位置信息，确定所述房屋纹理贴图上的目标位置，包括：
确定所述第一相交点将所述第一三角形网格分割为的三个网格区域的三个面积；
基于所述三个面积，确定所述三个顶点对应的三个权重；
利用所述三个权重，对所述三个映射点的三个位置信息进行加权，以得到加权位置信息；
将所述房屋纹理贴图上所述加权位置信息对应的位置作为目标位置。
3.根据权利要求1所述的方法，其特征在于，所述确定从所述待放置位置发射的多条射线，包括：
将预设水平方向角度均分为第一数量的等份，并确定从所述待放置位置发射的所述第一数量的等份对应的第一数量条射线；
将预设垂直方向角度均分为第二数量的等份，并确定从所述待放置位置发射的所述第二数量的等份对应的第二数量条射线。
4.根据权利要求1所述的方法，其特征在于，所述基于所述多帧高动态范围图像、所述三维房屋模型、所述三维物体模型，以及所述全景光照信息，生成包括所述虚拟物体和所述真实房屋的融合效果图，包括：
基于所述三维房屋模型、所述三维物体模型、所述三维物体模型的模型参数，以及所述全景光照信息，经由渲染引擎生成所述虚拟物体的渲染结果、所述虚拟物体的掩膜，以及所述虚拟物体产生的阴影的渲染结果；
基于所述多帧高动态范围图像，生成真实场景图像；
基于所述虚拟物体的渲染结果、所述虚拟物体的掩膜、所述虚拟物体产生的阴影的渲染结果，以及所述真实场景图像，生成包括所述虚拟物体和所述真实房屋的融合效果图。
5.根据权利要求4所述的方法，其特征在于，所述基于所述多帧高动态范围图像，生成真实场景图像，包括：
将所述多帧高动态范围图像拼接为全景高动态范围图像；
将所述全景高动态范围图像转换为全景低动态范围图像；
将所述全景低动态范围图像作为真实场景图像。
6.一种融合效果图生成装置，其特征在于，包括：
第一生成模块，用于利用针对真实房屋采集的多个点云数据和多帧高动态范围图像，生成三维房屋模型和房屋纹理贴图；
第一确定模块，用于确定虚拟物体的三维物体模型在所述三维房屋模型中的待放置位置；
第二确定模块，用于基于所述三维房屋模型和所述房屋纹理贴图，确定所述待放置位置对应的全景光照信息；
第二生成模块，用于基于所述多帧高动态范围图像、所述三维房屋模型、所述三维物体模型，以及所述全景光照信息，生成包括所述虚拟物体和所述真实房屋的融合效果图；
所述第二确定模块，包括：
第一确定子模块，用于确定从所述待放置位置发射的多条射线，所述多条射线的发射角度互异；
第二确定子模块，用于确定所述多条射线与所述三维房屋模型的多个相交点；
第三确定子模块，用于基于所述多个相交点和所述房屋纹理贴图，确定所述待放置位置对应于所述多个发射角度的多个光照信息；
第四确定子模块，用于确定所述待放置位置对应的全景光照信息；其中，所述全景光照信息包括：所述待放置位置对应于所述多个发射角度的多个光照信息；
所述多条射线中的任一射线为第一射线，所述第一射线的发射角度为第一发射角度，所述第一射线与所述三维房屋模型的相交点为第一相交点；
所述第三确定子模块，包括：
第一确定单元，用于从所述三维房屋模型包括的多个三角形网格中，确定所述第一相交点所在的第一三角形网格；
第二确定单元，用于将所述第一三角形网格的三个顶点映射至所述房屋纹理贴图，以确定所述房屋纹理贴图上的三个映射点；
第三确定单元，用于基于所述三个映射点的三个位置信息，确定所述房屋纹理贴图上的目标位置；
第四确定单元，用于将所述目标位置的光照信息作为所述待放置位置对应于所述第一发射角度的光照信息。
7.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序产品；
处理器，用于执行所述存储器中存储的计算机程序产品，且所述计算机程序产品被执行时，实现上述权利要求1至5中任一项所述的融合效果图生成方法。
8.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时，实现上述权利要求1至5中任一项所述的融合效果图生成方法。
CN202211335957.2A 2022-10-28 2022-10-28 融合效果图生成方法、装置、电子设备及存储介质 Active CN115619989B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211335957.2A CN115619989B (zh) 2022-10-28 2022-10-28 融合效果图生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211335957.2A CN115619989B (zh) 2022-10-28 2022-10-28 融合效果图生成方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115619989A CN115619989A (zh) 2023-01-17
CN115619989B true CN115619989B (zh) 2024-04-26

Family

ID=84877087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211335957.2A Active CN115619989B (zh) 2022-10-28 2022-10-28 融合效果图生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115619989B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385612B (zh) * 2023-03-16 2024-02-20 如你所视(北京)科技有限公司 室内场景下全局光照表示方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268924A (zh) * 2014-09-19 2015-01-07 新维畅想数字科技（北京）有限公司 一种基于三维数据扫描提取石碑石刻数字拓片的方法
CN108460841A (zh) * 2018-01-23 2018-08-28 电子科技大学 一种基于单幅图像的室内场景光照环境估计方法
CN108986195A (zh) * 2018-06-26 2018-12-11 东南大学 一种结合环境映射和全局光照渲染的单镜头混合现实实现方法
CN113096228A (zh) * 2021-06-09 2021-07-09 上海影创信息科技有限公司 基于神经网络的实时光照估计与渲染方法及系统
CN114638950A (zh) * 2022-03-28 2022-06-17 海信视像科技股份有限公司 一种绘制虚拟物体阴影的方法及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268924A (zh) * 2014-09-19 2015-01-07 新维畅想数字科技（北京）有限公司 一种基于三维数据扫描提取石碑石刻数字拓片的方法
CN108460841A (zh) * 2018-01-23 2018-08-28 电子科技大学 一种基于单幅图像的室内场景光照环境估计方法
CN108986195A (zh) * 2018-06-26 2018-12-11 东南大学 一种结合环境映射和全局光照渲染的单镜头混合现实实现方法
CN113096228A (zh) * 2021-06-09 2021-07-09 上海影创信息科技有限公司 基于神经网络的实时光照估计与渲染方法及系统
CN114638950A (zh) * 2022-03-28 2022-06-17 海信视像科技股份有限公司 一种绘制虚拟物体阴影的方法及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Material and Lighting Reconstruction for Com- plex Indoor Scenes with Texture-space Differentiable Ren- dering;Merlin Nimier-David et al;In Eurographics Symposium on Rendering;第73-84页 *
基于图像的室外场景虚实融合关键技术研究;何菲菲;中国优秀硕士学位论文全文数据库 信息科技辑;第I138-1365页 *

Also Published As

Publication number Publication date
CN115619989A (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
CN110196746B (zh) 交互界面渲染方法及装置、电子设备、存储介质
CN114399597B (zh) 场景空间模型的构建方法、装置以及存储介质
CN111383355B (zh) 三维点云补全方法、装置和计算机可读存储介质
CN115619989B (zh) 融合效果图生成方法、装置、电子设备及存储介质
JP2024508457A (ja) ３ｄモデリングを強化するために一時的なテクスチャアプリケーションを提供する方法及びシステム
KR102713170B1 (ko) 실시간 깊이 맵을 사용한 지오메트리 인식 증강 현실 효과
CN112950759B (zh) 基于房屋全景图的三维房屋模型构建方法及装置
US20070040832A1 (en) Trapezoidal shadow maps
US20230316640A1 (en) Image processing apparatus, image processing method, and storage medium
US20200183566A1 (en) Hybrid image rendering system
CN115063564B (zh) 用于二维显示图像中的物品标签展示方法、装置及介质
CN115761114B (zh) 视频生成方法、装置及计算机可读存储介质
Boutsi et al. Α pattern-based augmented reality application for the dissemination of cultural heritage
CN116385612B (zh) 室内场景下全局光照表示方法、装置及存储介质
JPWO2019225734A1 (ja) レンダリング装置、学習装置、レンダリング方法及びプログラム
JP2020160756A (ja) 画像生成装置、画像生成方法、及びプログラム
CN116594531A (zh) 物体展示方法、装置、电子设备和存储介质
Zellmann et al. A Practical Guide to Implementing Off-Axis Stereo Projection Using Existing Ray Tracing Libraries
WO2023109582A1 (zh) 处理光线数据的方法、装置、设备和存储介质
CN117635792A (zh) 渲染方法和装置、电子设备和存储介质
CN116630833A (zh) 物体检测方法、装置、电子设备和存储介质
US8462157B2 (en) Computing the irradiance from a disk light source at a receiver point
CN116778059A (zh) 虚拟水面波纹生成方法、装置、存储介质与电子设备
CN117132742A (zh) 用于确定全景图中物体选取状态的方法及装置
CN116612228A (zh) 用于平滑物体边缘的方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant