CN114723923A - 一种传动解决方案模拟展示系统和方法 - Google Patents
一种传动解决方案模拟展示系统和方法 Download PDFInfo
- Publication number
- CN114723923A CN114723923A CN202210196335.XA CN202210196335A CN114723923A CN 114723923 A CN114723923 A CN 114723923A CN 202210196335 A CN202210196335 A CN 202210196335A CN 114723923 A CN114723923 A CN 114723923A
- Authority
- CN
- China
- Prior art keywords
- image
- model
- scene
- cloud server
- solution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000004088 simulation Methods 0.000 title claims abstract description 18
- 238000009877 rendering Methods 0.000 claims abstract description 34
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 37
- 238000013507 mapping Methods 0.000 claims description 26
- 238000010586 diagram Methods 0.000 claims description 13
- 230000001795 light effect Effects 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 239000011521 glass Substances 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000003190 augmentative effect Effects 0.000 abstract description 3
- 239000004984 smart glass Substances 0.000 description 4
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种传动解决方案模拟展示系统和方法。利用AR(增强现实)技术，将解决方案的3D模型和实际场景进行融合，在实地进行观察展示时，可以直接在现场拍摄图像的基础上进行实时的解决方案的展示，方便快捷，显示效果好，逼真度高；将现场采集的图像进行高度的数据精简之后再发送至服务器，然后再服务器中进行高度的数据计算，并将精简的数据发送至展示终端，然后在展示终端内部进行现场的渲染，保证了传输数据的精简，可以大大提高数据传输的速度，降低延迟，可以实现实时拍摄和实时渲染。利用现场的定位模块进行粗定位，然后结合现场拍摄的图像进行配准，得到的配准更加精确，保证现场进行高精度展示。
Description
技术领域
本发明涉及传动解决方案展示领域，尤其涉及传动解决方案模拟展示系统和方法。
背景技术
目前在传动设计领域，需要经常将传动的设计解决方案展示给客户使用；具体的展示方案一般有两种，一种是直接展示3D模型，这种方式比较直观，可以随意调节角度，但是由于建模时虽然可以对产品的模型进行高精度设计，但是一般场景都是粗略的进行建模，在实际展示时，场景的模型精度不高，显示效果不好；另一种是直接全部进行高精度的建模，然后采用图片渲染的方式进行展示，展示的效果好，但是角度不可调，因为模型数据很大，难以实时进行渲染；
AR，即增强现实。它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在，因此颇受大众瞩目。申请号CN201711082881.6公开了一种基于AR的商场商品展示系统，客户能够对商品进行360°的查看。对商品在实际使用时的情况进行虚拟展示，使得购买者全方位了解商品的信息。本发明基于AR技术对传动解决方案模拟展示进行了技术革新。
发明内容
针对上述内容，为解决上述问题，提供一种传动解决方案模拟展示系统，包括云端服务器和展示终端；云端服务器内设置有模型库；该服务器可以租用公共服务器，或者设置服务器放置在云端、企业机房等，用于提供远程的数据保存和实时的图像传输。
展示终端内设置终端处理器、图像处理模块、激光定位模块、陀螺仪、显示屏幕、摄像头、渲染模块和贴图模块；终端可以是手机、平板电脑、移动电脑或者智能眼镜等，只要能够实现拍摄、图像处理等上述功能即可，同时使用智能眼镜会有最好的显示效果。
云端服务器内的模型库内设置有待展示的传动解决方案3D模型和待展示位置的场景3D模型；模型是提前设计人员设计好保存在云端服务器的，需要注意的是在保存模型前需要将场景的3D进行建模，场景模型的精细度可以低于待展示解决方案的3D模型，因为场景的模型仅仅用于图像计算，并不是展示的重点。
终端处理器连接图像处理模块、激光定位模块、显示屏幕、摄像头、渲染模块和贴图模块；
激光定位模块连接陀螺仪；
展示终端拍摄待展示场景的实际图像，并将拍摄的实际图像发送给图像处理模块，图像处理模块对实时拍摄的图像进行特征提取；激光定位模块获取展示终端的位置和拍摄角度；
也即拍摄图像的同时获取拍摄点的位置和拍摄的角度，从而为云端的模型位置选择提供依据。
展示终端将提取特征后的图像数据以及拍摄的位置和角度发送给云端服务器；
解决方案3D模型和待展示位置的场景3D模型已经在云端服务器内进行两个模型的互相装配；装配的方法就是依据客户的要求将解决方案的模型放置到合适的位置上。例如待展示的解决方案是一套传送带系统，解决方案的3D模型就是传送带系统，待展示的场景就是厂房；展示的时候展示终端到实际的厂房内拍摄图像。
云端服务器根据拍摄的位置和角度在场景3D模型中选择对应的位置和角度拍摄多个模型视图图像，并将提取特征后的图像数据与场景3D模型中的模型视图图像进行配准，选取最接近的模型视图图像；
云端服务器根据最接近的模型视图图像的精确位置和精确角度拍摄一个装配好的解决方案3D模型和场景3D模型的联合图像，并将图像发送给展示终端；
展示终端将接收的联合图像在贴图模块中与摄像头拍摄的图像进行图层叠加，并将3D模型的图像展示在最上层，摄像头拍摄的图像展示在中间层，场景3D模型的图像展示在最下层；
贴图完成的图像进行渲染模块的光效渲染，展示在显示屏幕上。这时展示终端内展示的图像就可以看到解决方案，也即可以实时的拍摄现场的实际图像，然后系统可以自动的将解决方案放置到实际拍摄图像中，这样就大大提高了展示的直观效果。
激光定位模块激光定位模块包括旋转激光雷达，旋转激光雷达对环境进行360度扫描，扫描后生成点阵图，激光定位模块将点阵图的点进行连线，得到线图，并将线图进行平滑；扫描方向是水平的，当然也可以根据需求进行其他方向的扫描。
并且激光定位模块计算拍摄坐标点距离线图中线拐点的距离，拐点的数量为5个以上，并将拐点的坐标和拍摄坐标点到拐点的距离发送给终端处理器；陀螺仪获取拍摄角度，拐点的数量越多在进行模型对准的时候也就越精确
云端服务器收到拐点坐标后将其与模型库中的场景模型的拐点进行匹配，确定激光定位模块采集的拐点的坐标与场景模型拐点的对应关系；进一步云端服务器根据拍摄坐标点确定场景模型中的模型视图图像采集点，根据陀螺仪获取的拍摄角度确定场景模型中的模型视图图像采集角度。也就是在模型中确定拍摄点。
图像处理模块将摄像头采集的图像进行物体边缘识别，将边缘识别后的图像进行边缘提取；
将边缘提取后的图像进行二值化处理，然后将二值化处理后的图像进行线形化处理，即将二值化处理后的黑白颜色的图转换成线图；从而得到拍摄图像中物体的边缘线形图；
终端处理器将边缘线形图发送给云端服务器；
云端服务器在模型视图图像采集点在模型视图图像采集角度附近构造多张模型视图图像；
模型视图图像的形式为线形图；云端服务器将每一张模型视图图像和边缘线形图进行配准分析；找到模型视图图像中最接近边缘线形图的一张，将其对应的采集点和采集角度标记为精确位置和精确角度；
云端服务器根据精确位置和精确角度拍摄一个装配好的解决方案3D模型和场景3D模型的联合图像，并将图像发送给展示终端；联合图像为双图层，包括场景图层和解决方案图层；其中解决方案图层仅包括解决方案的设备的图像，其余位置透明；
贴图模块接收到联合图像，将联合图像与摄像头拍摄的原始图像进行图层叠加，并将3D模型解决方案图层的图像展示在最上层，透明度100％，摄像头拍摄的图像展示在中间层，透明度50％-80％，场景3D模型的场景图层展示在最下层，透明度20％-50％；贴图完成的图像进行渲染模块的光效渲染，展示在显示屏幕上。
一种利用上述系统进行传动解决方案模拟展示的方法，包括如下步骤：
步骤1、在云端服务器中进行建模，建模包括待展示位置的场景3D模型；依据场景3D模型进行解决方案设备的3D建模，并且将解决方案设备3D模型和待展示位置的场景3D模型在云端服务器内进行两个模型的互相装配；
步骤2、展示终端拍摄待展示场景的实际图像，并将拍摄的实际图像发送给图像处理模块，图像处理模块对实时拍摄的图像进行特征提取；激光定位模块获取展示终端的位置和拍摄角度；展示终端将提取特征后的图像数据以及拍摄的位置和角度发送给云端服务器；
步骤3、云端服务器根据拍摄的位置和角度在场景3D模型中选择对应的位置和角度拍摄多个模型视图图像，并将提取特征后的图像数据与场景3D模型中的模型视图图像进行配准，选取最接近的模型视图图像；云端服务器根据最接近的模型视图图像的精确位置和精确角度拍摄一个装配好的解决方案3D模型和场景3D模型的联合图像，并将图像发送给展示终端；
步骤4、展示终端将接收的联合图像在贴图模块中与摄像头拍摄的图像进行图层叠加，并将3D模型的图像展示在最上层，摄像头拍摄的图像展示在中间层，场景3D模型的图像展示在最下层；贴图完成的图像进行渲染模块的光效渲染，展示在显示屏幕上。
其中：
展示终端为连接有激光定位装置的智能眼镜、智能手机、移动计算机或者平板电脑。
显示屏幕为展示终端上安装的屏幕或者显示屏幕为智能眼镜的镜片。
将提取特征后的图像数据与场景3D模型中的模型视图图像进行配准的方法为云端服务器将每一张模型视图图像和边缘线形图进行配准分析，配准分析的方法为计算图像相似度。
图像相似度的计算方法为：直方图匹配、马氏距离或欧氏距离计算方法。
本发明的有益效果为：
本发明利用AR(增强现实)技术，将解决方案的3D模型和实际场景进行融合，在实地进行观察展示时，可以直接在现场拍摄图像的基础上进行实时的解决方案的展示，方便快捷，显示效果好，逼真度高；
将现场采集的图像进行高度的数据精简之后再发送至服务器，然后再服务器中进行高度的数据计算，并将精简的数据发送至展示终端，然后在展示终端内部进行现场的渲染，保证了传输数据的精简，可以大大提高数据传输的速度，降低延迟，可以实现实时拍摄和实时渲染。
利用现场的定位模块进行粗定位，然后结合现场拍摄的图像进行配准，得到的配准更加精确，保证现场进行高精度展示。
附图说明
被包括来提供对所公开主题的进一步认识的附图，将被并入此说明书并构成该说明书的一部分。附图也阐明了所公开主题的实现，以及连同详细描述一起用于解释所公开主题的实现原则。没有尝试对所公开主题的基本理解及其多种实践方式展示超过需要的结构细节。
图1为本发明的系统架构示意图。
具体实施方式
本发明的优点、特征以及达成所述目的的方法通过附图及后续的详细说明将会明确。
实施例1：
一种传动解决方案模拟展示系统，包括云端服务器和展示终端；云端服务器内设置有模型库；该服务器可以租用公共服务器，或者设置服务器放置在云端、企业机房等，用于提供远程的数据保存和实时的图像传输。
以客户采购的物流检测站一体解决方案为例，客户厂房已经提前建造好，在进行整体解决方案的安装前，在厂房内实地进行解决方案的展示；这样可以提高实地展示的代入感，更加清晰的展示解决方案的细节；
展示终端内设置终端处理器、图像处理模块、激光定位模块、陀螺仪、显示屏幕、摄像头、渲染模块和贴图模块；终端可以是手机、平板电脑、移动电脑或者智能眼镜等，只要能够实现拍摄、图像处理等上述功能即可，同时使用智能眼镜会有最好的显示效果。
云端服务器内的模型库内设置有待展示的传动解决方案3D模型和待展示位置的场景3D模型；模型是提前设计人员设计好保存在云端服务器的，需要注意的是在保存模型前需要将场景的3D进行建模，场景模型的精细度可以低于待展示解决方案的3D模型，因为场景的模型仅仅用于图像计算，并不是展示的重点。
终端处理器连接图像处理模块、激光定位模块、显示屏幕、摄像头、渲染模块和贴图模块；
激光定位模块连接陀螺仪；
展示终端拍摄待展示场景的实际图像，并将拍摄的实际图像发送给图像处理模块，图像处理模块对实时拍摄的图像进行特征提取；激光定位模块获取展示终端的位置和拍摄角度；
也即拍摄图像的同时获取拍摄点的位置和拍摄的角度，从而为云端的模型位置选择提供依据。
展示终端将提取特征后的图像数据以及拍摄的位置和角度发送给云端服务器；
实际使用时，例如使用手机进行实际场地的拍摄，拍摄的同时就进行了各种环境参数的测量，测量后将测量的数据和拍摄的图像直接进行实时上传。
解决方案3D模型和待展示位置的场景3D模型已经在云端服务器内进行两个模型的互相装配；装配的方法就是依据客户的要求将解决方案的模型放置到合适的位置上。例如待展示的解决方案是一套传送带系统，解决方案的3D模型就是传送带系统，待展示的场景就是厂房；展示的时候展示终端到实际的厂房内拍摄图像。
云端服务器根据拍摄的位置和角度在场景3D模型中选择对应的位置和角度拍摄多个模型视图图像，并将提取特征后的图像数据与场景3D模型中的模型视图图像进行配准，选取最接近的模型视图图像；
云端服务器根据最接近的模型视图图像的精确位置和精确角度拍摄一个装配好的解决方案3D模型和场景3D模型的联合图像，并将图像发送给展示终端；
展示终端将接收的联合图像在贴图模块中与摄像头拍摄的图像进行图层叠加，并将3D模型的图像展示在最上层，摄像头拍摄的图像展示在中间层，场景3D模型的图像展示在最下层；
贴图完成的图像进行渲染模块的光效渲染，展示在显示屏幕上。这时展示终端内展示的图像就可以看到解决方案，也即可以实时的拍摄现场的实际图像，然后系统可以自动的将解决方案放置到实际拍摄图像中，这样就大大提高了展示的直观效果。
由于实际展示时图像和测量参数是实时传输的，理论上基于5G通信技术，可以实现高通量的数据传输。基于此可以实现图像的实时传输，实时分析，实时回传，实时回传的图像和实时拍摄的图像延迟极低，在10ms以下时就可以实现实时视频的演示；也就是直接通过终端的屏幕就可以看到解决方案的实际安装效果；无论需要展示解决方案的整体，还是局部细节的展示，只需要在厂房内进行实地拍摄，实时观察就可以。
激光定位模块激光定位模块包括旋转激光雷达，旋转激光雷达对环境进行360度扫描，扫描后生成点阵图，激光定位模块将点阵图的点进行连线，得到线图，并将线图进行平滑；扫描方向是水平的，当然也可以根据需求进行其他方向的扫描。
并且激光定位模块计算拍摄坐标点距离线图中线拐点的距离，拐点的数量为5个以上，并将拐点的坐标和拍摄坐标点到拐点的距离发送给终端处理器；陀螺仪获取拍摄角度，拐点的数量越多在进行模型对准的时候也就越精确
云端服务器收到拐点坐标后将其与模型库中的场景模型的拐点进行匹配，确定激光定位模块采集的拐点的坐标与场景模型拐点的对应关系；进一步云端服务器根据拍摄坐标点确定场景模型中的模型视图图像采集点，根据陀螺仪获取的拍摄角度确定场景模型中的模型视图图像采集角度。也就是在模型中确定拍摄点。
图像处理模块将摄像头采集的图像进行物体边缘识别，将边缘识别后的图像进行边缘提取；
将边缘提取后的图像进行二值化处理，然后将二值化处理后的图像进行线形化处理，即将二值化处理后的黑白颜色的图转换成线图；从而得到拍摄图像中物体的边缘线形图；
终端处理器将边缘线形图发送给云端服务器；
云端服务器在模型视图图像采集点在模型视图图像采集角度附近构造多张模型视图图像；
模型视图图像的形式为线形图；云端服务器将每一张模型视图图像和边缘线形图进行配准分析；找到模型视图图像中最接近边缘线形图的一张，将其对应的采集点和采集角度标记为精确位置和精确角度；
云端服务器根据精确位置和精确角度拍摄一个装配好的解决方案3D模型和场景3D模型的联合图像，并将图像发送给展示终端；联合图像为双图层，包括场景图层和解决方案图层；其中解决方案图层仅包括解决方案的设备的图像，其余位置透明；
贴图模块接收到联合图像，将联合图像与摄像头拍摄的原始图像进行图层叠加，并将3D模型解决方案图层的图像展示在最上层，透明度100％，摄像头拍摄的图像展示在中间层，透明度50％-80％，场景3D模型的场景图层展示在最下层，透明度20％-50％；贴图完成的图像进行渲染模块的光效渲染，展示在显示屏幕上。
实施例2：
本实施例针对实施例1的装置进行实际展示的步骤进行介绍，具体的一种利用上述系统进行传动解决方案模拟展示的方法，包括如下步骤：
步骤1、在云端服务器中进行建模，建模包括待展示位置的场景3D模型；依据场景3D模型进行解决方案设备的3D建模，并且将解决方案设备3D模型和待展示位置的场景3D模型在云端服务器内进行两个模型的互相装配；
此时工作人员可在云端服务器内进行多种不同组合装配方案的配置，在实际展示时，云端服务器会要求终端预先选择一款方案，同时在选择界面显示方案的预览图；
步骤2、展示终端拍摄待展示场景的实际图像，并将拍摄的实际图像发送给图像处理模块，图像处理模块对实时拍摄的图像进行特征提取；激光定位模块获取展示终端的位置和拍摄角度；展示终端将提取特征后的图像数据以及拍摄的位置和角度发送给云端服务器；
传输方式可以是直接通过wifi传输，或者通过4G、5G的移动网络进行传输。
步骤3、云端服务器根据拍摄的位置和角度在场景3D模型中选择对应的位置和角度拍摄多个模型视图图像，并将提取特征后的图像数据与场景3D模型中的模型视图图像进行配准，选取最接近的模型视图图像；云端服务器根据最接近的模型视图图像的精确位置和精确角度拍摄一个装配好的解决方案3D模型和场景3D模型的联合图像，并将图像发送给展示终端；
步骤4、展示终端将接收的联合图像在贴图模块中与摄像头拍摄的图像进行图层叠加，并将3D模型的图像展示在最上层，摄像头拍摄的图像展示在中间层，场景3D模型的图像展示在最下层；贴图完成的图像进行渲染模块的光效渲染，展示在显示屏幕上。
实施例3：
步骤1、在云端服务器中进行建模，建模包括待展示位置的场景3D模型；依据场景3D模型进行解决方案设备的3D建模，并且将解决方案设备3D模型和待展示位置的场景3D模型在云端服务器内进行两个模型的互相装配；
步骤1.1、在云端服务器内存储多个解决方案和多个场景3D模型；在展示终端进行场景3D模型和解决方案编号的选择；选择之后进行拍摄。
步骤2、展示终端拍摄待展示场景的实际图像，并将拍摄的实际图像发送给图像处理模块，图像处理模块对实时拍摄的图像进行特征提取；激光定位模块获取展示终端的位置和拍摄角度；展示终端将提取特征后的图像数据以及拍摄的位置和角度发送给云端服务器；
步骤3、云端服务器根据拍摄的位置和角度在场景3D模型中选择对应的位置和角度拍摄多个模型视图图像，并将提取特征后的图像数据与场景3D模型中的模型视图图像进行配准，选取最接近的模型视图图像；云端服务器根据最接近的模型视图图像的精确位置和精确角度拍摄一个装配好的解决方案3D模型和场景3D模型的联合图像，并将图像发送给展示终端；
步骤3.1、在展示终端内进行灯光位置的选择和渲染参数的选择。
步骤4、展示终端将接收的联合图像在贴图模块中与摄像头拍摄的图像进行图层叠加，并将3D模型的图像展示在最上层，摄像头拍摄的图像展示在中间层，场景3D模型的图像展示在最下层；贴图完成的图像进行渲染模块的光效渲染，展示在显示屏幕上。
其中：
展示终端为连接有激光定位装置的智能眼镜、智能手机、移动计算机或者平板电脑。
显示屏幕为展示终端上安装的屏幕或者显示屏幕为智能眼镜的镜片。
将提取特征后的图像数据与场景3D模型中的模型视图图像进行配准的方法为云端服务器将每一张模型视图图像和边缘线形图进行配准分析，配准分析的方法为计算图像相似度。
图像相似度的计算方法为：直方图匹配、马氏距离或欧氏距离计算方法。
在实际使用时，为了保证系统的传输速度和反应速度，实现实时视频展示，可以将云端服务器选择为便携式运算工作站；在进行实际展示时，将便携式运算工作站放置到待展示位置的附近，通过无线通信方式与终端相连接；这样就可以避免网络延迟带来的影响；同时携带工作站进行展示还可以方便工作人员直接在工作站上进行展示方案的修改。
以上所述，仅为本发明的优选实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种传动解决方案模拟展示系统，其特征在于包括云端服务器和展示终端；云端服务器内设置有模型库；展示终端内设置终端处理器、图像处理模块、激光定位模块、陀螺仪、显示屏幕、摄像头、渲染模块和贴图模块；
云端服务器内的模型库内设置有待展示的传动解决方案3D模型和待展示位置的场景3D模型；
终端处理器连接图像处理模块、激光定位模块、显示屏幕、摄像头、渲染模块和贴图模块；
激光定位模块连接陀螺仪；
展示终端拍摄待展示场景的实际图像，并将拍摄的实际图像发送给图像处理模块，图像处理模块对实时拍摄的图像进行特征提取；激光定位模块获取展示终端的位置和拍摄角度；
展示终端将提取特征后的图像数据以及拍摄的位置和角度发送给云端服务器；
解决方案3D模型和待展示位置的场景3D模型已经在云端服务器内进行两个模型的互相装配；
云端服务器根据拍摄的位置和角度在场景3D模型中选择对应的位置和角度拍摄多个模型视图图像，并将提取特征后的图像数据与场景3D模型中的模型视图图像进行配准，选取最接近的模型视图图像；
云端服务器根据最接近的模型视图图像的精确位置和精确角度拍摄一个装配好的解决方案3D模型和场景3D模型的联合图像，并将图像发送给展示终端；
展示终端将接收的联合图像在贴图模块中与摄像头拍摄的图像进行图层叠加，并将3D模型的图像展示在最上层，摄像头拍摄的图像展示在中间层，场景3D模型的图像展示在最下层；
贴图完成的图像进行渲染模块的光效渲染，展示在显示屏幕上。
2.根据权利要求1所述的一种传动解决方案模拟展示系统，其特征在于：
激光定位模块激光定位模块包括旋转激光雷达，旋转激光雷达对环境进行360度扫描，扫描后生成点阵图，激光定位模块将点阵图的点进行连线，得到线图，并将线图进行平滑；
并且激光定位模块计算拍摄坐标点距离线图中线拐点的距离，拐点的数量为5个以上，并将拐点的坐标和拍摄坐标点到拐点的距离发送给终端处理器；陀螺仪获取拍摄角度；
云端服务器收到拐点坐标后将其与模型库中的场景模型的拐点进行匹配，确定激光定位模块采集的拐点的坐标与场景模型拐点的对应关系；进一步云端服务器根据拍摄坐标点确定场景模型中的模型视图图像采集点，根据陀螺仪获取的拍摄角度确定场景模型中的模型视图图像采集角度。
3.根据权利要求1所述的一种传动解决方案模拟展示系统，其特征在于：图像处理模块将摄像头采集的图像进行物体边缘识别，将边缘识别后的图像进行边缘提取；
将边缘提取后的图像进行二值化处理，然后将二值化处理后的图像进行线形化处理，即将二值化处理后的黑白颜色的图转换成线图；从而得到拍摄图像中物体的边缘线形图；
终端处理器将边缘线形图发送给云端服务器；
云端服务器在模型视图图像采集点在模型视图图像采集角度附近构造多张模型视图图像；
模型视图图像的形式为线形图；云端服务器将每一张模型视图图像和边缘线形图进行配准分析；找到模型视图图像中最接近边缘线形图的一张，将其对应的采集点和采集角度标记为精确位置和精确角度；
云端服务器根据精确位置和精确角度拍摄一个装配好的解决方案3D模型和场景3D模型的联合图像，并将图像发送给展示终端；联合图像为双图层，包括场景图层和解决方案图层；其中解决方案图层仅包括解决方案的设备的图像，其余位置透明；
贴图模块接收到联合图像，将联合图像与摄像头拍摄的原始图像进行图层叠加，并将3D模型解决方案图层的图像展示在最上层，透明度100％，摄像头拍摄的图像展示在中间层，透明度50％-80％，场景3D模型的场景图层展示在最下层，透明度20％-50％；贴图完成的图像进行渲染模块的光效渲染，展示在显示屏幕上。
4.一种利用权利要求1-3任一项的系统进行传动解决方案模拟展示的方法，其特征在于：包括如下步骤：
步骤1、在云端服务器中进行建模，建模包括待展示位置的场景3D模型；依据场景3D模型进行解决方案设备的3D建模，并且将解决方案设备3D模型和待展示位置的场景3D模型在云端服务器内进行两个模型的互相装配；
步骤2、展示终端拍摄待展示场景的实际图像，并将拍摄的实际图像发送给图像处理模块，图像处理模块对实时拍摄的图像进行特征提取；激光定位模块获取展示终端的位置和拍摄角度；展示终端将提取特征后的图像数据以及拍摄的位置和角度发送给云端服务器；
步骤3、云端服务器根据拍摄的位置和角度在场景3D模型中选择对应的位置和角度拍摄多个模型视图图像，并将提取特征后的图像数据与场景3D模型中的模型视图图像进行配准，选取最接近的模型视图图像；云端服务器根据最接近的模型视图图像的精确位置和精确角度拍摄一个装配好的解决方案3D模型和场景3D模型的联合图像，并将图像发送给展示终端；
步骤4、展示终端将接收的联合图像在贴图模块中与摄像头拍摄的图像进行图层叠加，并将3D模型的图像展示在最上层，摄像头拍摄的图像展示在中间层，场景3D模型的图像展示在最下层；贴图完成的图像进行渲染模块的光效渲染，展示在显示屏幕上。
5.根据权利要求4所述的进行传动解决方案模拟展示的方法，其特征在于：
在步骤2之前还包括：
步骤1.1、在云端服务器内存储多个解决方案和多个场景3D模型；在展示终端进行场景3D模型和解决方案编号的选择；选择之后进行拍摄。
6.根据权利要求4所述的进行传动解决方案模拟展示的方法，其特征在于：
在步骤4之前还包括：
步骤3.1、在展示终端内进行灯光位置的选择和渲染参数的选择。
7.根据权利要求4所述的进行传动解决方案模拟展示的方法，其特征在于：
展示终端为连接有激光定位装置的智能眼镜、智能手机、移动计算机或者平板电脑。
8.根据权利要求4所述的进行传动解决方案模拟展示的方法，其特征在于：
显示屏幕为展示终端上安装的屏幕或者显示屏幕为智能眼镜的镜片。
9.根据权利要求4所述的进行传动解决方案模拟展示的方法，其特征在于：
将提取特征后的图像数据与场景3D模型中的模型视图图像进行配准的方法为云端服务器将每一张模型视图图像和边缘线形图进行配准分析，配准分析的方法为计算图像相似度。
10.根据权利要求9所述的进行传动解决方案模拟展示的方法，其特征在于：
图像相似度的计算方法为：直方图匹配、马氏距离或欧氏距离计算方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210196335.XA CN114723923B (zh) | 2022-03-01 | 2022-03-01 | 一种传动解决方案模拟展示系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210196335.XA CN114723923B (zh) | 2022-03-01 | 2022-03-01 | 一种传动解决方案模拟展示系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114723923A true CN114723923A (zh) | 2022-07-08 |
| CN114723923B CN114723923B (zh) | 2024-05-14 |
Family
ID=82236393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210196335.XA Active CN114723923B (zh) | 2022-03-01 | 2022-03-01 | 一种传动解决方案模拟展示系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114723923B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104134229A (zh) * | 2014-08-08 | 2014-11-05 | 李成 | 实时交互的增强现实系统以及方法 |
| CN105832061A (zh) * | 2015-12-07 | 2016-08-10 | 江苏海事职业技术学院 | 工业设计智能展示系统 |
| US20180088889A1 (en) * | 2016-09-29 | 2018-03-29 | Jiang Chang | Three-dimensional image formation and color correction system and method |
| CN110335292A (zh) * | 2019-07-09 | 2019-10-15 | 北京猫眼视觉科技有限公司 | 一种基于图片跟踪实现模拟场景跟踪的方法及系统 |
-
2022
- 2022-03-01 CN CN202210196335.XA patent/CN114723923B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104134229A (zh) * | 2014-08-08 | 2014-11-05 | 李成 | 实时交互的增强现实系统以及方法 |
| CN105832061A (zh) * | 2015-12-07 | 2016-08-10 | 江苏海事职业技术学院 | 工业设计智能展示系统 |
| US20180088889A1 (en) * | 2016-09-29 | 2018-03-29 | Jiang Chang | Three-dimensional image formation and color correction system and method |
| CN110335292A (zh) * | 2019-07-09 | 2019-10-15 | 北京猫眼视觉科技有限公司 | 一种基于图片跟踪实现模拟场景跟踪的方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 李旭杰;: "基于移动终端, 将增强现实技术应用于博物馆展示的研究――以马王堆汉墓增强现实展示为例", 名家名作, no. 02, 5 April 2018 (2018-04-05) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114723923B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106971403B (zh) | 点云图像处理方法及装置 | |
| US11393173B2 (en) | Mobile augmented reality system | |
| US11763487B2 (en) | Method for augmented reality display, method for determining pose information, and apparatuses | |
| JP4253567B2 (ja) | データオーサリング処理装置 | |
| CN108304075B (zh) | 一种在增强现实设备进行人机交互的方法与设备 | |
| US20190026400A1 (en) | Three-dimensional modeling from point cloud data migration | |
| JP5093053B2 (ja) | 電子カメラ | |
| KR100953931B1 (ko) | 혼합현실 구현 시스템 및 그 방법 | |
| CN109887003A (zh) | 一种用于进行三维跟踪初始化的方法与设备 | |
| CN108154558B (zh) | 一种增强现实方法、装置和系统 | |
| WO2023093217A1 (zh) | 数据标注方法、装置、计算机设备、存储介质和程序 | |
| CN112037314A (zh) | 图像显示方法、装置、显示设备及计算机可读存储介质 | |
| KR20190013384A (ko) | 대지 조건에 따른 공간데이터 기반의 ar 및 vr 건축물 모델링 시스템 | |
| KR101181967B1 (ko) | 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템 | |
| CN112489099B (zh) | 点云配准方法、装置、存储介质及电子设备 | |
| CN113487723B (zh) | 基于可量测全景三维模型的房屋在线展示方法及系统 | |
| CN102647512A (zh) | 一种空间信息全方位的展示方法 | |
| CN113298928A (zh) | 房屋三维重建方法、装置、设备和存储介质 | |
| JP2023546739A (ja) | シーンの３次元モデルを生成するための方法、装置、およびシステム | |
| US11341716B1 (en) | Augmented-reality system and method | |
| CN111899349B (zh) | 一种模型呈现方法、装置、电子设备及计算机存储介质 | |
| CN111207672B (zh) | 一种ar量房方法 | |
| CN114723923B (zh) | 一种传动解决方案模拟展示系统和方法 | |
| CN114245333A (zh) | 室内基站部署方法、装置及计算机可读存储介质 | |
| CN116136408A (zh) | 室内导航方法、服务器、装置和终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Chen Demu Inventor after: Dai Qinya Inventor before: Dai Qinya Inventor before: Chen Demu |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |