CN111882675A - 一种模型呈现方法、装置、电子设备及计算机存储介质 - Google Patents
一种模型呈现方法、装置、电子设备及计算机存储介质 Download PDFInfo
- Publication number
- CN111882675A CN111882675A CN202010763368.9A CN202010763368A CN111882675A CN 111882675 A CN111882675 A CN 111882675A CN 202010763368 A CN202010763368 A CN 202010763368A CN 111882675 A CN111882675 A CN 111882675A
- Authority
- CN
- China
- Prior art keywords
- virtual
- model
- scene image
- real scene
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000000694 effects Effects 0.000 claims abstract description 108
- 239000004576 sand Substances 0.000 claims abstract description 93
- 230000003190 augmentative effect Effects 0.000 claims abstract description 45
- 238000009877 rendering Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种模型呈现方法、装置、电子设备及计算机存储介质，所述方法包括：获取沙盘模型的第一真实场景图像，基于所述第一真实场景图像确定所述沙盘模型对应的三维虚拟模型；获取与所述沙盘模型对应的真实世界的第二真实场景图像，基于所述第二真实场景图像确定所述三维虚拟模型的虚拟展示效果；展示所述三维虚拟模型的所述虚拟展示效果与所述第一真实场景图像相叠加的增强现实图像。
Description
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种模型呈现方法、装置、电子设备及计算机存储介质。
背景技术
增强现实(Augmented Reality，AR)技术，通过仿真真实场景使得用户可以沉浸到虚拟的环境中，用户可以在虚拟的环境中体验到真实的感受。如何使得AR设备呈现的虚拟场景更丰富、生动，一直是AR技术追求的目标。
申请内容
本申请实施例提供了一种模型呈现方法、装置、电子设备及计算机存储介质，使得AR设备呈现的虚拟场景更丰富更生动。
本申请实施例提供的模型呈现方法，包括：
获取沙盘模型的第一真实场景图像，基于所述第一真实场景图像确定所述沙盘模型对应的三维虚拟模型；
获取与所述沙盘模型对应的真实世界的第二真实场景图像，基于所述第二真实场景图像确定所述三维虚拟模型的虚拟展示效果；
展示所述三维虚拟模型的所述虚拟展示效果与所述第一真实场景图像相叠加的增强现实图像。
本申请一可选实施方式中，所述获取与所述沙盘模型对应的真实世界的第二真实场景图像，包括：
基于所述第一真实场景图像，确定所述沙盘模型对应于真实世界的地理位置；
获取真实世界中所述地理位置处的第二真实场景图像。
本申请一可选实施方式中，所述基于所述第二真实场景图像确定所述三维虚拟模型的虚拟展示效果，包括：
基于所述第二真实场景图像，确定所述真实世界的路况信息和/或人流密度信息；
基于所述真实世界的路况信息和/或人流密度信息，确定所述三维虚拟模型的虚拟路况效果和/或虚拟人流效果。
本申请一可选实施方式中，所述展示所述三维虚拟模型对应的虚拟展示效果与所述第一真实场景图像相叠加的增强现实图像，包括：
展示所述三维虚拟模型的虚拟路况效果和/或虚拟人流效果与所述第一真实场景图像相叠加的增强现实图像，其中，所述虚拟路况效果和/或虚拟人流效果所在的图层位于所述第一真实场景图像的图层之上。
本申请一可选实施方式中，所述展示所述三维虚拟模型的虚拟路况效果和/或虚拟人流效果与所述第一真实场景图像相叠加的增强现实图像，包括：
获得第一操作，所述第一操作用于触发虚拟展示效果的显示；
响应所述第一操作，展示所述三维虚拟模型的虚拟路况效果和/或虚拟人流效果与所述第一真实场景图像相叠加的增强现实图像。
如此，通过拍摄沙盘模型的第一真实场景图像，确定沙盘模型的三维虚拟模型；并将拍摄的沙盘模型对应的真实世界的真实场景图在三维虚拟模型上的虚拟展示效果与第一真实场景图像叠加展示；丰富了三维虚拟模型的虚拟展示效果，使得增强现实图像具有更生动、更真实的呈现效果。
本申请一可选实施方式中，所述方法还包括：
基于真实世界中的真实摄像头的分布信息，确定所述三维虚拟模型的虚拟摄像头的分布信息；
基于所述虚拟摄像头的分布信息，在所述三维虚拟模型的虚拟展示效果上添加所述虚拟摄像头的展示效果。
本申请一可选实施方式中，所述方法还包括：
获得第二操作，所述第二操作用于选中所述虚拟摄像头；
响应所述第二操作，在所述增强现实图像的第一目标位置处叠加显示所述虚拟摄像头对应的真实摄像头拍摄到的第二真实场景图像，所述第一目标位置基于所述虚拟摄像头在所述增强现实图像中的位置确定。
如此，通过在所述三维虚拟模型的虚拟展示效果上添加所述虚拟摄像头的展示效果，使得在增强现实图像中能够呈现真实摄像头拍摄到的真实场景图像。
本申请一可选实施方式中，所述第一真实场景图像通过终端设备采集，所述终端设备沿特定轨道移动；
所述基于所述第一真实场景图像确定所述沙盘模型对应于虚拟空间下的三维虚拟模型，包括：
所述终端设备沿特定轨道移动至第二目标位置处的情况下，基于所述终端设备在所述第二目标位置处采集到的第一真实场景图像，确定所述终端设备的位置信息；
基于所述终端设备的位置信息，确定所述沙盘模型对应于所述第二目标位置处的三维虚拟模型。
如此，通过能够沿着特定轨道移动的终端设备从不同位姿拍摄沙盘模型，进而能够呈现不同位姿拍摄的沙盘模型对应的三维虚拟效果，丰富了沙盘模型的虚拟呈现效果。
本申请实施例提供的模型呈现装置，包括：
第一获取单元，用于获取沙盘模型的第一真实场景图像，基于所述第一真实场景图像确定所述沙盘模型对应的三维虚拟模型；
第二获取单元，用于获取与所述沙盘模型对应的真实世界的第二真实场景图像，基于所述第二真实场景图像确定所述三维虚拟模型的虚拟展示效果
展示单元，用于展示所述三维虚拟模型的所述虚拟展示效果与所述第一真实场景图像相叠加的增强现实图像。
本申请一可选实施方式中，所述第二获取单元，用于基于所述第一真实场景图像，确定所述沙盘模型对应于真实世界的地理位置；
获取真实世界中所述地理位置处的第二真实场景图像。
本申请一可选实施方式中，所述第二获取单元，用于基于所述第二真实场景图像，确定所述真实世界的路况信息和/或人流密度信息；
基于所述真实世界的路况信息和/或人流密度信息，确定所述三维虚拟模型的虚拟路况效果和/或虚拟人流效果。
本申请一可选实施方式中，所述展示单元，用于展示所述三维虚拟模型的虚拟路况效果和/或虚拟人流效果与所述第一真实场景图像相叠加的增强现实图像，其中，所述虚拟路况效果和/或虚拟人流效果所在的图层位于所述第一真实场景图像的图层之上。
本申请一可选实施方式中，所述展示单元，用于获得第一操作，所述第一操作用于触发虚拟展示效果的显示；
响应所述第一操作，展示所述三维虚拟模型的虚拟路况效果和/或虚拟人流效果与所述第一真实场景图像相叠加的增强现实图像。
本申请一可选实施方式中，所述装置还包括：
处理单元，用于基于真实世界中的真实摄像头的分布信息，确定所述三维虚拟模型的虚拟摄像头的分布信息；
基于所述虚拟摄像头的分布信息，在所述三维虚拟模型的虚拟展示效果上添加所述虚拟摄像头的展示效果。
本申请一可选实施方式中，所述处理单元，还用于获得第二操作，所述第二操作用于选中所述虚拟摄像头；
响应所述第二操作，在所述增强现实图像的第一目标位置处叠加显示所述虚拟摄像头对应的真实摄像头拍摄到的第二真实场景图像，所述第一目标位置基于所述虚拟摄像头在所述增强现实图像中的位置确定。
本申请一可选实施方式中，所述第一真实场景图像通过终端设备采集，所述终端设备沿特定轨道移动；
所述第一获取单元，用于在所述终端设备沿特定轨道移动至第二目标位置处的情况下，基于所述终端设备在所述第二目标位置处采集到的第一真实场景图像，确定所述终端设备的位置信息；
基于所述终端设备的位置信息，确定所述沙盘模型对应于所述第二目标位置处的三维虚拟模型。
本申请实施例提供的计算机存储介质上存储有可执行指令，该可执行指令被处理器执行时实现上述的模型呈现方法。
本申请实施例提供的电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现上述的模型呈现方法。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合附附图，作详细说明如下。
附图说明
图1为本申请实施例提供的模型呈现方法的流程示意图；
图2为本申请实施例提供的终端设备沿轨道移动采集第一真实场景图像的示意图；
图3为本申请实施例提供的一种呈现模型的示意图；
图4为本申请实施例提供的展示所述三维虚拟模型对应的虚拟展示效果与所述第一真实场景图像相叠加的一种增强现实图像
图5为本申请实施例提供的模型呈现装置的结构组成示意图；
图6为本申请实施例的电子设备的结构组成示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本申请可适用于支持AR技术的电子设备(如手机、平板电脑、游戏机、台式机、广告机、一体机、车载终端等等)或服务器，或者其组合，在本申请应用于服务器的情况下，该服务器可以与其他具有通信功能且具有摄像头的电子设备连接，其连接方式可以是有线连接或无线连接，无线连接例如可以为蓝牙连接、无线宽带(Wireless Fidelity，WIFI)连接等。
支持AR技术的电子设备也可以称为AR设备，AR设备可以是移动终端设备，也可以是AR眼镜等穿戴式设备；AR设备中呈现的增强现实场景，即为在AR设备中展示融入到现实场景的虚拟对象，可以是直接将虚拟对象的呈现画面渲染出来，使之与现实场景融合，也可以是将虚拟对象的呈现画面与现实场景图像融合后，展示融合后的显示画面；具体选择何种呈现方式取决于AR设备的设备类型和采用的画面呈现技术，比如，一般地，由于从AR眼镜中可以直接看到现实场景(并非成像后的现实场景图像)，因此AR眼镜可以采用直接将虚拟对象的呈现画面渲染出来的呈现方式；对于手机、平板电脑等移动终端设备，由于在移动终端设备中展示的是对现实场景成像后的画面(即现实场景图像)，因此可以采用将现实场景图像与虚拟对象的呈现画面进行融合处理的方式，来展示增强现实效果。
下面对本申请实施例所涉及的一种模型呈现方法进行详细介绍，本申请实施例所提供的模型呈现方法的执行主体可以为上述AR设备，也可以为其它具有数据处理能力的电子设备，本申请实施例中不作限定。
参见图1所示，为本申请实施例所提供的一种模型呈现方法的流程示意图，包括以下几个步骤：
S101、获取沙盘模型的第一真实场景图像，基于所述第一真实场景图像确定所述沙盘模型对应的三维虚拟模型。
S102、获取与所述沙盘模型对应的真实世界的第二真实场景图像，基于所述第二真实场景图像确定所述三维虚拟模型的虚拟展示效果。
S103、展示所述三维虚拟模型的所述虚拟展示效果与所述第一真实场景图像相叠加的增强现实图像。
下面对上述S101～S103的过程进行具体分析。
针对上述S101，第一真实场景图像是指真实世界真实存在的场景，可以是沙盘模型、建筑物、景物、房屋、汽车、雕塑以及人物等在现实空间中存在的对象。
在一些实施例中，沙盘模型的第一真实场景图像可以通过AR设备内的摄像装置采集得到。以AR设备是终端设备为例，终端设备可以设置于特定的轨道上，如图2所示，终端设备120设置于轨道130上，且终端设备120能够沿着轨道130移动，终端设备120上的摄像装置122能够拍摄到沙盘模型110对应的图像。终端设备120在轨道130上不同的位置能够拍摄到的沙盘模型110的图像是不同的。作为一个示例，如图3所示，终端设备120拍摄到的第一真实场景图像为沙盘模型100的左侧部分，即图3所示的黑色框内的图像为第一真实场景图像。
在终端设备沿特定轨道移动的情况下，基于所述第一真实场景图像确定所述沙盘模型对应于虚拟空间下的三维虚拟模型时，可以执行以下步骤：
1-1)终端设备沿特定轨道移动至第二目标位置处的情况下，基于所述终端设备在所述第二目标位置处采集到的第一真实场景图像，确定所述终端设备的位置信息。
在一些实施例中，根据终端设备采集到的第一真实场景图像，至少可以确定终端设备的实际地理位置信息以及终端设备相对于沙盘模型的角度信息。
1-2)基于终端设备的位置信息，确定所述沙盘模型对应于所述第二目标位置处的三维虚拟模型。
针对上述1-1)，具体可以通过以下方式来实现：
方式一：基于第一真实场景图像和预先存储的用于定位的神经网络模型，确定与第一真实场景图像对应的定位信息。
这里，当获取到终端设备的摄像装置采集到第一真实场景图像后，可以将该第一真实场景图像输入预先训练好的用于定位的神经网络模型中，即可以得到该第一真实场景图像对应的定位信息。
方式二：基于第一真实场图像和对齐后的三维样本图，确定与第一真实场图像对应的定位信息。
在一些实施例中，对齐后的三维样本图为基于预先拍摄沙盘模型得到的样本图库与预存的三维样本图进行特征点对齐后的三维样本图；预存的三维样本图为预存储的表征沙盘模型形貌特征的三维图。
在一些实施例中，预存的三维样本图可以包括提前设置好的能够表征沙盘模型形貌特征、且带有尺寸标注的三维图，比如可以是表征沙盘模型形貌特征的计算机辅助设计(Computer Aided Design，CAD)三维图，比如，可以提前在CAD软件上绘制表征各种沙盘模型形貌特征的三维图，然后将这些三维图与对应的沙盘模型进行关联存储。
在具体实施时，可以根据以下方式得到齐后的三维样本图：以不同的位姿拍摄沙盘模型得到多张样本图片，构成样本图库；针对每张样本图片，提取多个特征点，构成表征沙盘模型的特征点云；将该特征点云与预存储的表征沙盘模型形貌特征的三维图进行对齐，得到对齐后的三维样本图。基于对齐后的三维样本图，确定与沙盘模型的图像中的特征点匹配的三维样本图中的特征点。基于匹配的三维样本图中的特征点在对齐后的三维样本图中的坐标信息，确定样本图库中与沙盘模型匹配的目标样本图片；样本图库包括预先拍摄沙盘模型得到的样本图片，以及每张样本图片对应的位姿数据。将与目标样本图片对应的位姿数据，确定为现实模型的图像对应的位姿数据。其中，位姿可以指终端设备相对于沙盘模型角度。
针对上述1-2)，具体可以通过以下方式来实现：根据终端设备的位置信息确定终端设备的当前位置，基于终端设备的当前位置确定沙盘模型对应的三维虚拟模型。
在一些可选实施例中，可以构建终端设备在不同位置分别对应的三维虚拟模型，并将三维虚拟模型和位置进行绑定。在另一些可选实施例中，可以构建一个整体三维虚拟模型，根据终端设备相对于沙盘模型在当前位置相对于整体三维虚拟模型的不同角度，确定当前位置需要呈现的三维虚拟模型是整体三维虚拟模型的哪一部分。
在一些可选实施例中，三维虚拟模型的生成方式可以是：获取与沙盘模型对应的多张真实场景图像；基于多张真实模型图像，生成三维虚拟模型。这里，在获取与沙盘模型对应的多张真实模型图像时，为了得到准确表征该沙盘模型的三维虚拟模型，可以在该沙盘模型中预设的多个位置上，分别按照不同的拍摄角度对沙盘模型进行拍摄，比如可以通过RGB-D摄像机对沙盘模型进行拍摄，得到能够全面表征该沙盘模型样貌的大量沙盘模型图像，然后基于这些沙盘模型图像，生成三维虚拟模型，其中，RGB-D摄像机能够采集RGB图像以及获取图像的深度信息。具体地，在基于多张沙盘模型图像，生成三维虚拟模型时，具体可以包括以下过程：从获取的多张沙盘模型图像中的每张现实模型图像中提取多个特征点；基于提取的多个特征点，以及预存的与沙盘模型匹配的三维样本图，生成三维虚拟模型；其中，三维样本图为预存储的表征沙盘模型形貌特征的三维图。
在具体实施时，为了得到准确度高的三维虚拟模型，可以从每张沙盘模型图像中提取多个特征点，比如构成能够表征沙盘模型形貌的稠密点云，然后基于该稠密点云，以及预存的与沙盘模型匹配的三维样本图，生成三维虚拟模型，这里与沙盘模型匹配的三维样本图在上文进行过介绍，在此不再赘述。
针对上述S102，第二真实场景图像可以是由真实世界的摄像装置拍摄，终端设备接收其他设备发送的真实世界的摄像装置拍摄得到的第二真实场景图像。其中，真实世界的摄像装置可以是道路监控设备，或临时设置于道路两侧、用于拍摄第二真实场景图像的摄像机等任何具有图像采集功能的设备。
在一些可选实施方式中，获取与所述沙盘模型对应的真实世界的第二真实场景图像的过程可以是：先根据第一真实场景图像，确定所述沙盘模型对应于真实世界的地理位置；再获取真实世界中所述地理位置处的第二真实场景图像。在具体实施时，由于第一真实场景图像是真实世界中真实存在的场景，因此可以将第一真实场景图与真实世界的图像进行匹配，得到与第一真实场景图片匹配的真实世界中的场景；基于真实世界中的场景的地理位置，可以确定沙盘模型对应于真实世界的地理位置。其中，在将第一真实场景图像与真实世界进行匹配时，可以预先存储真实世界不同场景的图像，将第一真实场景图像与预先存储的真实世界的不同场景的图像进行比对，从真实世界的不同场景的图像中确定与第一真实场景图像匹配的图像。根据所匹配的图像中的场景在真实世界的地理位置，可以确定在该地理位置处拍摄得到的真实场景的图像为第二真实场景图像。
在一些可选实施方式中，基于所述第二真实场景图像确定所述三维虚拟模型的虚拟展示效果的过程可以是：基于第二真实场景图像，确定所述真实世界的路况信息和/或人流密度信息；基于真实世界的路况信息和/或人流密度信息，确定三维虚拟模型的虚拟路况效果和/或虚拟人流效果。其中，真实世界的路况信息和/或人流密度信息是指，第二真实场景图像对应的真实世界中的路况信息和/或人流密度信息；在具体实施时，在已明确第二真实场景图像所对应的地理位置的情况下，可通过从第三方服务器中获取交通数据等途径获取该地理位置的路况信息和/或人流密度信息，路况信息例如包括道路的占用率、车流量、车速、拥堵情况、施工占道、施工封闭等至少一种，人流密度信息可包括人流量等信息。三维虚拟模型的虚拟路况效果和/或虚拟人流效果，是指在三维虚拟模型上与第二真实场景图像对应的位置，呈现与真实世界的路况信息和/或人流密度信息对应的虚拟路况效果和/或虚拟人流效果。举例来说，若真实世界的路况信息是在第一道路与第二道路的交汇处施工封闭，则在三维虚拟模型上对应第一道路与第二道路交汇处的位置呈现施工封闭的虚拟效果。若真实世界的路况信息是第三道路车流量大，道路严重拥堵，则在三维虚拟模型上对应第三道路的位置呈现大量的车辆、且车辆拥堵的虚拟效果。若真实世界的路况信息是第四道路人流密度小，则在三维虚拟模型上对应第四道路的位置呈现较少的人流的虚拟效果。
针对上述S103，展示所述三维虚拟模型对应的虚拟展示效果与所述第一真实场景图像相叠加的增强现实图像的过程可以是：AR设备展示所述三维虚拟模型的虚拟路况效果和/或虚拟人流效果与所述第一真实场景图像相叠加的增强现实图像，其中，所述虚拟路况效果和/或虚拟人流效果所在的图层位于所述第一真实场景图像的图层之上。
在具体实施时，获得第一操作，所述第一操作用于触发虚拟展示效果的显示；响应所述第一操作，AR设备展示三维虚拟模型的虚拟路况效果和/或虚拟人流效果与所述第一真实场景图像相叠加的增强现实图像。
其中，所述第一操作可以是点击三维虚拟模型上的一个标识或点击三维虚拟模型上的一个对象。所述三维虚拟模型上的对象可以是三维虚拟模型上的虚拟摄像头，或者三维虚拟模型上的虚拟道路标识牌等；所述三维虚拟模型上的标识可以是根据需要灵活设置的，所述三维虚拟模型上的标识可以是人流密度信息、路况信息、区域规划、地铁站、交通分析以及最优路径等至少一种；其中，“人流密度信息”标识用于触发呈现当前道路的人流密度；“交通分析”标识用于触发呈现道路的拥堵信息、交通故障信息等；“区域规划”标识用于触发呈现当前区域的规划和发展信息；“地铁站”标识用于触发呈现地铁站；“最优路径”标识用于触发呈现从出发地到目的地的距离最短路径或所需时长最短路径。展示所述三维虚拟模型对应的虚拟展示效果与所述第一真实场景图像相叠加的一种增强现实图像时，如图4所示，若用户通过AR设备查看三维虚拟模型时，点击三维虚拟模型上的“人流密度信息”标识，则AR设备展示三维虚拟模型的虚拟人流效果与第一真实场景图像相叠加的增强现实图像；即在第一真实场景图像的每条道路上呈现与真实世界的道路对应的虚拟人流效果。若用户通过AR设备查看三维虚拟模型时，点击三维虚拟模型上的“交通分析”标识，则AR设备在增强现实图像中展示道路的拥堵信息、交通故障信息等。针对用户点击三维虚拟模型上的其他标识与用户点击三维虚拟模型上的“人流密度信息”标识和“交通分析”标识相似，这里不再一一举例说明。
在一些实施方式中，可以将三维虚拟模型的显示状态设置为非透明显示状态，则用户在AR设备上看到的是非透明形态的三维场景模型对应的虚拟展示效果；由于虚拟路况效果和/或虚拟人流效果所在的图层位于所述第一真实场景图像的图层之上，使得虚拟路况效果和/或虚拟人流效果会覆盖部分第一真实场景图像。
在一些实施方式中，本申请实施例所提供的一种模型呈现方法的处理流程除了包括S101-S103之外，还可以包括：
S104，基于真实世界中的真实摄像头的分布信息，确定所述三维虚拟模型的虚拟摄像头的分布信息；基于所述虚拟摄像头的分布信息，在所述三维虚拟模型的虚拟展示效果上添加所述虚拟摄像头的展示效果。
在一些实施方式中，在三维虚拟模型上匹配与真实摄像头的分布位置对应的位置；在三维虚拟模型上与真实摄像头的分布位置所匹配的位置，添加虚拟摄像头；在三维虚拟模型的虚拟展示效果上添加虚拟摄像头的展示效果。举例来说，若在真实世界的第一街道与第二街道的交汇的位置设置有第一真实摄像头，真实世界的第二街道与第三街道的交汇的位置设置有第二真实摄像头，则确定在三维虚拟模型上与真实世界的第一街道与第二街道的交汇的位置对应的位置添加第一虚拟摄像头；在三维虚拟模型上与真实世界的第二街道与第三街道的交汇的位置对应的位置添加第二虚拟摄像头。
S105，获得第二操作，所述第二操作用于选中所述虚拟摄像头；响应所述第二操作，在所述增强现实图像的第一目标位置处叠加显示所述虚拟摄像头对应的真实摄像头拍摄到的第二真实场景图像，所述第一目标位置基于所述虚拟摄像头在所述增强现实图像中的位置确定。
在一些实施方式中，若用户通过AR设备查看沙盘模型时，点击沙盘模型上的第一虚拟摄像头，则在增强现实图像的第一目标位置处叠加显示第一虚拟摄像头对应的真实世界中的第一真实摄像头拍摄到的真实场景图像。其中，所述第一目标位置可以是增强现实图像中，与第一真实摄像头所拍摄到的位置对应的位置。举例来说，若第一真实摄像头拍摄到真实世界中第一街道的图像，则在增强现实图像中与第一街道对应的第一虚拟街道上显示第一街道的图像。
本申请实施例提供的模型呈现方法，能够通过拍摄沙盘模型的第一真实场景图像，确定沙盘模型的三维虚拟模型；并将拍摄的沙盘模型对应的真实世界的真实场景图在三维虚拟模型上的虚拟展示效果与第一真实场景图像叠加展示；如此，丰富了三维虚拟模型的虚拟展示效果，使得增强现实图像具有更生动、更真实的呈现效果。
图5为本申请实施例提供的模型呈现装置的结构组成示意图，如图5所示，所述装置包括：
第一获取单元401，用于获取沙盘模型的第一真实场景图像，基于所述第一真实场景图像确定所述沙盘模型对应的三维虚拟模型；
第二获取单元402，用于获取与所述沙盘模型对应的真实世界的第二真实场景图像，基于所述第二真实场景图像确定所述三维虚拟模型的虚拟展示效果
展示单元403，用于展示所述三维虚拟模型的所述虚拟展示效果与所述第一真实场景图像相叠加的增强现实图像。
本申请一可选实施方式中，所述第二获取单元402，用于基于所述第一真实场景图像，确定所述沙盘模型对应于真实世界的地理位置；
获取真实世界中所述地理位置处的第二真实场景图像。
本申请一可选实施方式中，所述第二获取单元402，用于基于所述第二真实场景图像，确定所述真实世界的路况信息和/或人流密度信息；
基于所述真实世界的路况信息和/或人流密度信息，确定所述三维虚拟模型的虚拟路况效果和/或虚拟人流效果。
本申请一可选实施方式中，所述展示单元403，用于展示所述三维虚拟模型的虚拟路况效果和/或虚拟人流效果与所述第一真实场景图像相叠加的增强现实图像，其中，所述虚拟路况效果和/或虚拟人流效果所在的图层位于所述第一真实场景图像的图层之上。
本申请一可选实施方式中，所述展示单元403，用于获得第一操作，所述第一操作用于触发虚拟展示效果的显示；
响应所述第一操作，展示所述三维虚拟模型的虚拟路况效果和/或虚拟人流效果与所述第一真实场景图像相叠加的增强现实图像。
本申请一可选实施方式中，所述装置还包括：
处理单元404，用于基于真实世界中的真实摄像头的分布信息，确定所述三维虚拟模型的虚拟摄像头的分布信息；
基于所述虚拟摄像头的分布信息，在所述三维虚拟模型的虚拟展示效果上添加所述虚拟摄像头的展示效果。
本申请一可选实施方式中，所述处理单元404，还用于获得第二操作，所述第二操作用于选中所述虚拟摄像头；
响应所述第二操作，在所述增强现实图像的第一目标位置处叠加显示所述虚拟摄像头对应的真实摄像头拍摄到的第二真实场景图像，所述第一目标位置基于所述虚拟摄像头在所述增强现实图像中的位置确定。
本申请一可选实施方式中，所述第一真实场景图像通过终端设备采集，所述终端设备沿特定轨道移动；
所述第一获取单元401，用于在所述终端设备沿特定轨道移动至第二目标位置处的情况下，基于所述终端设备在所述第二目标位置处采集到的第一真实场景图像，确定所述终端设备的位置信息；
基于所述终端设备的位置信息，确定所述沙盘模型对应于所述第二目标位置处的三维虚拟模型。
本领域技术人员应当理解，图4所示的模型呈现装置中的各单元的实现功能可参照前述模型呈现方法的相关描述而理解。图4所示的模型呈现装置中的各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。
本申请实施例上述的模型呈现装置如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
相应地，本申请实施例还提供一种计算机程序产品，其中存储有计算机可执行指令，该计算机可执行指令被执行时能够实现本申请实施例的上述的模型呈现方法。
图6为本申请实施例的电子设备的结构组成示意图，如图6所示，电子设备50可以包括一个或多个(图中仅示出一个)处理器502(处理器502可以包括但不限于微处理器(MCU，Micro Controller Unit)或可编程逻辑器件(FPGA，Field Programmable GateArray)等的处理装置)、用于存储数据的存储器504、以及用于通信功能的传输装置506。本领域普通技术人员可以理解，图6所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，电子设备50还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。
存储器504可用于存储应用软件的软件程序以及模块，如本申请实施例中的方法对应的程序指令/模块，处理器502通过运行存储在存储器504内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器504可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器504可进一步包括相对于处理器502远程设置的存储器，这些远程存储器可以通过网络连接至电子设备50。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置506用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备50的通信供应商提供的无线网络。在一个实例中，传输装置506包括一个网络适配器(NIC，Network Interface Controller)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置506可以为射频(RF，Radio Frequency)模块，其用于通过无线方式与互联网进行通讯。
本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (11)
1.一种模型呈现方法，其特征在于，所述方法包括：
获取沙盘模型的第一真实场景图像，基于所述第一真实场景图像确定所述沙盘模型对应的三维虚拟模型；
获取与所述沙盘模型对应的真实世界的第二真实场景图像，基于所述第二真实场景图像确定所述三维虚拟模型的虚拟展示效果；
展示所述三维虚拟模型的所述虚拟展示效果与所述第一真实场景图像相叠加的增强现实图像。
2.根据权利要求1所述的方法，其特征在于，所述获取与所述沙盘模型对应的真实世界的第二真实场景图像，包括：
基于所述第一真实场景图像，确定所述沙盘模型对应于真实世界的地理位置；
获取真实世界中所述地理位置处的第二真实场景图像。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第二真实场景图像确定所述三维虚拟模型的虚拟展示效果，包括：
基于所述第二真实场景图像，确定所述真实世界的路况信息和/或人流密度信息；
基于所述真实世界的路况信息和/或人流密度信息，确定所述三维虚拟模型的虚拟路况效果和/或虚拟人流效果。
4.根据权利要求3所述的方法，其特征在于，所述展示所述三维虚拟模型对应的虚拟展示效果与所述第一真实场景图像相叠加的增强现实图像，包括：
展示所述三维虚拟模型的虚拟路况效果和/或虚拟人流效果与所述第一真实场景图像相叠加的增强现实图像，其中，所述虚拟路况效果和/或虚拟人流效果所在的图层位于所述第一真实场景图像的图层之上。
5.根据权利要求4所述的方法，其特征在于，所述展示所述三维虚拟模型的虚拟路况效果和/或虚拟人流效果与所述第一真实场景图像相叠加的增强现实图像，包括：
获得第一操作，所述第一操作用于触发虚拟展示效果的显示；
响应所述第一操作，展示所述三维虚拟模型的虚拟路况效果和/或虚拟人流效果与所述第一真实场景图像相叠加的增强现实图像。
6.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：
基于真实世界中的真实摄像头的分布信息，确定所述三维虚拟模型的虚拟摄像头的分布信息；
基于所述虚拟摄像头的分布信息，在所述三维虚拟模型的虚拟展示效果上添加所述虚拟摄像头的展示效果。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
获得第二操作，所述第二操作用于选中所述虚拟摄像头；
响应所述第二操作，在所述增强现实图像的第一目标位置处叠加显示所述虚拟摄像头对应的真实摄像头拍摄到的第二真实场景图像，所述第一目标位置基于所述虚拟摄像头在所述增强现实图像中的位置确定。
8.根据权利要求1至4中任一项所述的方法，其特征在于，所述第一真实场景图像通过终端设备采集，所述终端设备沿特定轨道移动；
所述基于所述第一真实场景图像确定所述沙盘模型对应于虚拟空间下的三维虚拟模型，包括：
所述终端设备沿特定轨道移动至第二目标位置处的情况下，基于所述终端设备在所述第二目标位置处采集到的第一真实场景图像，确定所述终端设备的位置信息；
基于所述终端设备的位置信息，确定所述沙盘模型对应于所述第二目标位置处的三维虚拟模型。
9.一种模型呈现装置，其特征在于，所述装置包括：
第一获取单元，用于获取沙盘模型的第一真实场景图像，基于所述第一真实场景图像确定所述沙盘模型对应的三维虚拟模型；
第二获取单元，用于获取与所述沙盘模型对应的真实世界的第二真实场景图像，基于所述第二真实场景图像确定所述三维虚拟模型的虚拟展示效果
展示单元，用于展示所述三维虚拟模型的所述虚拟展示效果与所述第一真实场景图像相叠加的增强现实图像。
10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有可执行指令，该可执行指令被处理器执行时实现权利要求1至8任一项所述的方法步骤。
11.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时可实现权利要求1至8任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010763368.9A CN111882675A (zh) | 2020-07-31 | 2020-07-31 | 一种模型呈现方法、装置、电子设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010763368.9A CN111882675A (zh) | 2020-07-31 | 2020-07-31 | 一种模型呈现方法、装置、电子设备及计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111882675A true CN111882675A (zh) | 2020-11-03 |
Family
ID=73205056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010763368.9A Pending CN111882675A (zh) | 2020-07-31 | 2020-07-31 | 一种模型呈现方法、装置、电子设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111882675A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113902880A (zh) * | 2021-10-15 | 2022-01-07 | 中建一局集团第五建筑有限公司 | 依托增强现实技术的施工生产辅助方法、装置及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105844714A (zh) * | 2016-04-12 | 2016-08-10 | 广州凡拓数字创意科技股份有限公司 | 基于增强现实的场景显示方法及系统 |
| CN108510592A (zh) * | 2017-02-27 | 2018-09-07 | 亮风台（上海）信息科技有限公司 | 真实物理模型的增强现实展示方法 |
| CN109067822A (zh) * | 2018-06-08 | 2018-12-21 | 珠海欧麦斯通信科技有限公司 | 线上线下融合的实时混合现实城市服务实现方法及系统 |
| CN109685906A (zh) * | 2017-10-18 | 2019-04-26 | 深圳市掌网科技股份有限公司 | 基于增强现实的场景融合方法和装置 |
| CN110738737A (zh) * | 2019-10-15 | 2020-01-31 | 北京市商汤科技开发有限公司 | 一种ar场景图像处理方法、装置、电子设备及存储介质 |
| US20200076878A1 (en) * | 2018-08-31 | 2020-03-05 | Verizon Patent And Licensing Inc. | Cloud-based road segment vehicle and pedestrian trend analysis |
-
2020
- 2020-07-31 CN CN202010763368.9A patent/CN111882675A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105844714A (zh) * | 2016-04-12 | 2016-08-10 | 广州凡拓数字创意科技股份有限公司 | 基于增强现实的场景显示方法及系统 |
| CN108510592A (zh) * | 2017-02-27 | 2018-09-07 | 亮风台（上海）信息科技有限公司 | 真实物理模型的增强现实展示方法 |
| CN109685906A (zh) * | 2017-10-18 | 2019-04-26 | 深圳市掌网科技股份有限公司 | 基于增强现实的场景融合方法和装置 |
| CN109067822A (zh) * | 2018-06-08 | 2018-12-21 | 珠海欧麦斯通信科技有限公司 | 线上线下融合的实时混合现实城市服务实现方法及系统 |
| US20200076878A1 (en) * | 2018-08-31 | 2020-03-05 | Verizon Patent And Licensing Inc. | Cloud-based road segment vehicle and pedestrian trend analysis |
| CN110738737A (zh) * | 2019-10-15 | 2020-01-31 | 北京市商汤科技开发有限公司 | 一种ar场景图像处理方法、装置、电子设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113902880A (zh) * | 2021-10-15 | 2022-01-07 | 中建一局集团第五建筑有限公司 | 依托增强现实技术的施工生产辅助方法、装置及电子设备 |
| CN113902880B (zh) * | 2021-10-15 | 2023-05-30 | 中建一局集团第五建筑有限公司 | 依托增强现实技术的施工生产辅助方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107820593B (zh) | 一种虚拟现实交互方法、装置及系统 | |
| CN109426333B (zh) | 一种基于虚拟空间场景的信息交互方法及装置 | |
| US9324298B2 (en) | Image processing system, image processing apparatus, storage medium having stored therein image processing program, and image processing method | |
| US9558559B2 (en) | Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system | |
| CN103703758B (zh) | 移动增强现实系统 | |
| CN109920055A (zh) | 三维视觉地图的构建方法、装置与电子设备 | |
| Kido et al. | Assessing future landscapes using enhanced mixed reality with semantic segmentation by deep learning | |
| US20140152764A1 (en) | Information processing system, information processing apparatus, storage medium having stored therein information processing program, and information transmission/reception method | |
| CN111833454B (zh) | 展示方法、装置、设备和计算机可读存储介质 | |
| US9529803B2 (en) | Image modification | |
| CN107084740B (zh) | 一种导航方法和装置 | |
| CN110858414A (zh) | 图像处理方法、装置、可读存储介质与增强现实系统 | |
| CN111815785A (zh) | 现实模型的呈现方法、装置、电子设备及存储介质 | |
| CN111833458A (zh) | 图像显示方法及装置、设备、计算机可读存储介质 | |
| CN112637665B (zh) | 增强现实场景下的展示方法、装置、电子设备及存储介质 | |
| CN112308977B (zh) | 视频处理方法、视频处理装置和存储介质 | |
| CN112927349A (zh) | 三维虚拟特效的生成方法、装置、计算机设备及存储介质 | |
| CN112882576A (zh) | Ar交互方法、装置、电子设备及存储介质 | |
| CN112215964A (zh) | 基于ar的场景导览方法和设备 | |
| CN111899349B (zh) | 一种模型呈现方法、装置、电子设备及计算机存储介质 | |
| CN116858215B (zh) | 一种ar导航地图生成方法及装置 | |
| CN111815784A (zh) | 现实模型的呈现方法及装置、电子设备和存储介质 | |
| CN111882675A (zh) | 一种模型呈现方法、装置、电子设备及计算机存储介质 | |
| CN113470190A (zh) | 场景显示方法及装置、设备、车辆、计算机可读存储介质 | |
| TW201126451A (en) | Augmented-reality system having initial orientation in space and time and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201103 |