CN117011145B - 智慧工地物料的全息图像显示拼接方法及应用其的系统 - Google Patents
智慧工地物料的全息图像显示拼接方法及应用其的系统 Download PDFInfo
- Publication number
- CN117011145B CN117011145B CN202311226588.8A CN202311226588A CN117011145B CN 117011145 B CN117011145 B CN 117011145B CN 202311226588 A CN202311226588 A CN 202311226588A CN 117011145 B CN117011145 B CN 117011145B
- Authority
- CN
- China
- Prior art keywords
- hologram
- spatial light
- light modulator
- diffraction
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000463 material Substances 0.000 title claims abstract description 251
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 230000009467 reduction Effects 0.000 claims abstract description 17
- 230000005856 abnormality Effects 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 3
- 239000013077 target material Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 10
- 238000010276 construction Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 229910000831 Steel Inorganic materials 0.000 description 5
- 239000010959 steel Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- -1 reinforced bars Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Abstract
本申请涉及智慧工地物料的全息图像显示拼接方法及应用其的系统。所述方法包括：采集目标智慧工地中从第一时刻到第二时刻之间的多个初始物料图像；对所述多个初始物料图像进行降噪处理，得到多个降噪后的物料图像；对所述多个降噪后的物料图像按照物料种类进行分类，其中，分类后每种类型的物料图像中包括至少两个不同时刻的物料图像，每个不同时刻的物料图像拍有物料尺寸、物料作业量、物料的吊起位置、物料的放置位置中的至少一项；基于时序计算每种类型的物料图像中每一个降噪后的物料图像对应的全息图，并通过衍射操作将计算结果显示拼接。本申请能得到清晰、真实、完整和立体的拼接效果，从而精准识别出物料中的异常。
Description
技术领域
本申请涉及智慧工地及图像处理技术领域，更为具体来说，本申请涉及智慧工地物料的全息图像显示拼接方法及应用其的系统。
背景技术
近年来，智慧工地技术应用越来越广泛，其智能化程度的确为施工运行节省了成本。但智能工地中的物料多且复杂，特别是如钢筋、混凝土板等大尺寸物料，在采集图像的过程中难以呈现于一个图像上，即使采用广角镜头，也容易出现错位或伪影。可见，现有技术不利于及时识别物料中的异常。
发明内容
基于上述技术问题，本申请旨在提供智慧工地物料的全息图像显示拼接方法，以解决难以及时识别出物料中异常的问题。
本申请第一方面提供了一种智慧工地物料的全息图像显示拼接方法，所述方法包括：
采集目标智慧工地中从第一时刻到第二时刻之间的多个初始物料图像；
对所述多个初始物料图像进行降噪处理，得到多个降噪后的物料图像；
对所述多个降噪后的物料图像按照物料种类进行分类，其中，分类后每种类型的物料图像中包括至少两个不同时刻的物料图像，每个不同时刻的物料图像拍有物料尺寸、物料作业量、物料的吊起位置、物料的放置位置中的至少一项；
基于时序计算每种类型的物料图像中每一个降噪后的物料图像对应的全息图，并通过衍射操作将计算结果显示拼接。
在本申请的一些实施例中，所述对所述多个初始物料图像进行降噪处理，得到多个降噪后的物料图像，包括：
对所述多个初始物料图像进行预处理，对预处理后的图像通过高斯滤波进行降噪，得到多个降噪后的物料图像。
在本申请的一些实施例中，所述基于时序计算每种类型的物料图像中每一个降噪后的物料图像对应的全息图，并通过衍射操作将计算结果显示拼接，包括：
取出任意一组物料图像中的任意两个降噪后的物料图像，分别作为第一待显示拼接图像和第二待显示拼接图像，并将所述第一待显示拼接图像和所述第二待显示拼接图像分别存储于第一空间光调制器和第二空间光调制器；
通过预设编码算法分别计算所述第一待显示拼接图像和所述第二待显示拼接图像对应的全息图，依次得到第一全息图和第二全息图；
基于所述第一空间光调制器、所述第二空间光调制器、所述第一全息图、所述第二全息图进行衍射操作，将所述第一全息图和所述第二全息图合并投影到指定区域，并将所述第一全息图和所述第二全息图显示拼接。
在本申请的一些实施例中，所述基于所述第一空间光调制器、所述第二空间光调制器、所述第一全息图、所述第二全息图进行衍射操作，将所述第一全息图和所述第二全息图合并投影到指定区域，并将所述第一全息图和所述第二全息图显示拼接，包括：
基于所述第一空间光调制器、所述第二空间光调制器构建初始衍射场，其中，所述初始衍射场中设置有三维视场区域和预设观察视窗；
使用所述初始衍射场检测所述第一全息图和所述第二全息图对应的初始衍射操作结果；
根据所述第一全息图和所述第二全息图对应的初始衍射操作结果分别校准所述第一空间光调制器和第二空间光调制器的衍射参数；
利用半透半反镜调整所述校准衍射参数后的初始衍射场，得到目标衍射场；
在所述目标衍射场中将所述第一全息图和所述第二全息图合并投影至所述三维视场区域，并将所述第一全息图和所述第二全息图显示拼接。
在本申请的一些实施例中，所述利用半透半反镜调整所述校准衍射参数后的初始衍射场，包括：
将半透半反镜放置于所述第一空间光调制器和所述第二空间光调制器之间，使所述半透半反镜与所述第一空间光调制器之间的夹角，及所述半透半反镜与所述第二空间光调制器之间的夹角相等且均为预设角度。
在本申请的一些实施例中，所述将所述第一全息图和所述第二全息图显示拼接，包括：
为所述目标衍射场配置预设载频和预设的入射光照明，配置后进行衍射操作；
通过所述第一空间光调制器加载所述第一全息图，通过所述第二空间光调制器加载所述第二全息图，其中，所述第二全息图在时序上晚于所述第一全息图；
在水平方向上拼接所述第一全息图和所述第二全息图；
当所述第一空间光调制器和所述第二空间光调制器均加载完成时，在增大后的所述三维视场区域内显示所述第一全息图和所述第二全息图的拼接结果。
在本申请的一些实施例中，在所述通过衍射操作将计算结果显示拼接之后，还包括：
利用所述预设观察视窗查看所述三维视场区域内显示的拼接结果，以识别目标物料的异常。
本申请第二方面提供了一种智慧工地物料的全息图像显示拼接系统，所述系统包括：
采集模块，用于采集目标智慧工地中从第一时刻到第二时刻之间的多个初始物料图像；
降噪模块，用于对所述多个初始物料图像进行降噪处理，得到多个降噪后的物料图像；
分类模块，用于对所述多个降噪后的物料图像按照物料种类进行分类，其中，分类后每种类型的物料图像中包括至少两个不同时刻的物料图像，每个不同时刻的物料图像拍有物料尺寸、物料作业量、物料的吊起位置、物料的放置位置中的至少一项；
显示拼接模块，用于基于时序计算每种类型的物料图像中每一个降噪后的物料图像对应的全息图，并通过衍射操作将计算结果显示拼接。
本申请第三方面提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行以下步骤：
采集目标智慧工地中从第一时刻到第二时刻之间的多个初始物料图像；
对所述多个初始物料图像进行降噪处理，得到多个降噪后的物料图像；
对所述多个降噪后的物料图像按照物料种类进行分类，其中，分类后每种类型的物料图像中包括至少两个不同时刻的物料图像，每个不同时刻的物料图像拍有物料尺寸、物料作业量、物料的吊起位置、物料的放置位置中的至少一项；
基于时序计算每种类型的物料图像中每一个降噪后的物料图像对应的全息图，并通过衍射操作将计算结果显示拼接。
本申请第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：
采集目标智慧工地中从第一时刻到第二时刻之间的多个初始物料图像；
对所述多个初始物料图像进行降噪处理，得到多个降噪后的物料图像；
对所述多个降噪后的物料图像按照物料种类进行分类，其中，分类后每种类型的物料图像中包括至少两个不同时刻的物料图像，每个不同时刻的物料图像拍有物料尺寸、物料作业量、物料的吊起位置、物料的放置位置中的至少一项；
基于时序计算每种类型的物料图像中每一个降噪后的物料图像对应的全息图，并通过衍射操作将计算结果显示拼接。
本申请实施例中提供的技术方案，至少具有如下技术效果或优点：
本申请提供的智慧工地物料的全息图像显示拼接方法首先采集目标智慧工地中从第一时刻到第二时刻之间的多个初始物料图像，对所述多个初始物料图像进行降噪处理，得到多个降噪后的物料图像，然后对所述多个降噪后的物料图像按照物料种类进行分类，最后基于时序计算每种类型的物料图像中每一个降噪后的物料图像对应的全息图，并通过衍射操作将计算结果显示拼接，如此，可以得到清晰、真实、完整和立体的拼接效果，从而及时而精准地识别出物料中的异常。通过预设观察视窗可以观测到三维视场区域中全息图像拼接后的立体呈现，可以得到不同角度的拼接效果，因为拼接后的立体呈现非常精细，因此也更容易识别出物料中的异常。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过阅读下文优选实施方式的详细描述，各种其它的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本申请一示例性实施例中的一种智慧工地物料的全息图像显示拼接方法步骤示意图；
图2示出了本申请一示例性实施例中采集的初始物料图像示意图；
图3示出了本申请一示例性实施例中的一种三维视场区域和预设观察视窗空间位置关系示意图；
图4示出了本申请一示例性实施例中的一种智慧工地物料的全息图像显示拼接装置结构示意图；
图5示出了本申请一示例性实施例所提供的一种电子设备的结构示意图。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
具体实施方式
下面结合附图和实施例对本申请做进一步的详细说明，可以理解的是，此处所描绘的实施例只用于解释相关发明，而不是对该发明的限定。另外还需说明的是，为了便于描述，附图中只示出了与有关发明相关的部分。
智能工地中的场景较为复杂，例如有各种塔机，每种塔机对应不同的物料特别是钢筋、混凝土板等大尺寸物料，所以在采集图像的过程中难以呈现于一个图像上，即使采用广角镜头，也容易出现错位或伪影，进而不利于及时识别物料中的异常。
因此，在本申请的一些实施例中，提供了一种智慧工地物料的全息图像显示拼接方法，图1示出了本申请的一种智慧工地物料的全息图像显示拼接方法的步骤图，如图1所示，所述方法包括：
S1、采集目标智慧工地中从第一时刻到第二时刻之间的多个初始物料图像；
S2、对所述多个初始物料图像进行降噪处理，得到多个降噪后的物料图像；
S3、对所述多个降噪后的物料图像按照物料种类进行分类，其中，分类后每种类型的物料图像中包括至少两个不同时刻的物料图像，每个不同时刻的物料图像拍有物料尺寸、物料作业量、物料的吊起位置、物料的放置位置中的至少一项；
S4、基于时序计算每种类型的物料图像中每一个降噪后的物料图像对应的全息图，并通过衍射操作将计算结果显示拼接。
在采集物料图像时使用激光全息照相机，所述激光全息照相机是用激光作相干光拍摄全息照片的设备，把物体反射光的全部信息记录下来，包括光的振幅相位波长。在目标智慧工地的多个区域部署激光全息照相机，根据每个区域对应物料场景的不同，调整部署于每一个区域同一水平面和同一垂直面的相邻激光全息照相机间的距离，以清晰地采集到关于物料从T1时刻到T2时刻的多个初始物料图像。图2是采集的初始物料图像示意图，如图2所示，物料为混凝土构件，其提升路径包括路径1和路径2。可以理解的是，图2中的5号驾驶室内配置有智慧工地管理系统，通过智慧工地管理系统，可以对塔机进行自动化操作。系统可以根据设定的路径和任务要求，自动控制塔机的移动和物料的提升。例如，系统可以根据工地进度和物料需求，自动调度塔机的工作顺序和提升路径。不仅如此，采集到的图像中拍摄有物料尺寸、物料作业量、物料的吊起位置、物料的放置位置中的至少一项。可以理解的是，在目标智慧工地还布设有雷达，采集各种环境数据，场景中在操作数据等等。另外，所谓物料场景是从物料的角度而言的，其采集的图像不一定只包括物料本身，例如塔机正在吊运物料（如钢筋），塔机、吊钩、及物料的提升或下降、回转角度、回转速度、前进或后退，在连续时间段内的信息均包括在内。换言之，无论是静止不动的物料，还是处于被操作的动态下的物料均被所布置的激光全息照相机和雷达所覆盖采集得到。
需要说明的是，采用激光全息照相机拍摄的图像是高清的，但还是可能受智慧工地的环境影响，所以需要对所述多个初始物料图像进行降噪处理，得到多个降噪后的物料图像，降噪处理可以采用高斯滤波，高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。通俗地讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。可选地，还可以采用空间域方法，空间域方法主要利用图像中各像素随机噪声之和为零的特点，常用的空间域滤波方法有均值滤波法（也称邻域平均法）、中值滤波法、双边滤波法和维纳滤波法等等。
在一种优选的实现方式中，对多个降噪后的物料图像按照物料种类进行分类，其中，分类后每种类型的物料图像中包括至少两个不同时刻的物料图像，每个不同时刻的物料图像拍有物料尺寸、物料作业量、物料的吊起位置、物料的放置位置中的至少一项。分类之前可以采用深度学习的人工智能技术挖掘多个降噪后的物料图像中隐含的特征分布信息，采用多目标特征提取模型提取物料的多个特征，然后采用分类器根据特征进行分类，识别出每个降噪后的物料图像所属的物料类型。多目标特征提取模型需要预先进行训练，采用训练好的多目标特征提取模型提取物料的多个特征，在迭代次数超过预设次数且多目标特征提取模型达到收敛时停止训练。具体而言，所述多目标特征提取模型为ResNet-50模型。ResNet-50模型是在resnet网络的卷积层后添加一层分类层得到的，而ResNet-50模型属于迁移型模型，精度可达到95%以上。ResNet-50模型包含有Bottleneck结构即瓶颈结构输入维度为64*64*256，其中，256表示通道数，经过几次卷积输出向量。ResNet-50模型还包含有Relu，Relu的全称为 Linear rectification function，表示线性整流函数，又称修正线性单元，是人工神经网络中常用的激活函数。多目标特征提取模型最根本的属性就是对图片（即区域全息图像）像素点对应位置不变，只改变通道数。通过训练好的多目标特征提取模型及分类器得到目标智慧工地中的物料类别，例如钢筋、钢梁、钢柱、钢板、混凝土构件、石材板材、木材梁柱、电线电缆等等。
在一种优选的实现方式中，基于时序计算每种类型的物料图像中每一个降噪后的物料图像对应的全息图，并通过衍射操作将计算结果显示拼接，包括：取出任意一组物料图像中的任意两个降噪后的物料图像，分别作为第一待显示拼接图像和第二待显示拼接图像，并将第一待显示拼接图像和第二待显示拼接图像分别存储于第一空间光调制器和第二空间光调制器；通过预设编码算法分别计算第一待显示拼接图像和第二待显示拼接图像对应的全息图，依次得到第一全息图和第二全息图；基于第一空间光调制器、第二空间光调制器、第一全息图、第二全息图进行衍射操作，将第一全息图和第二全息图合并投影至三维视场区域，并将第一全息图和所述第二全息图显示拼接。需要说明的是，全息图像能够通过光的干涉和衍射效应，以立体的方式呈现物体的形状和深度。空间光调制器（Spatial LightModulator，简称SLM）是一种用于生成和调制光波的装置，用于全息图的计算和显示。这里还需要计算机，通过计算机计算所得的全息图是一系列存储在计算机中的数据，而真正实现全息显示时需将这一系列数据转化为物理量，从而实现对光波的调制。通过预设编码算法可以称为SLM编码，先计算出全息图的相位和振幅分布，相位分布决定了光波的相位延迟，而振幅分布决定了光波的强度，将计算得到的全息图信息编码到空间光调制器中。上述合并投影至三维视场区域即说明将第一全息图和第二全息图投影在同一区域，两个图像的光束被合并在一起，以在观察者的视野中创建一个连续的全息场景，当然这需要用到一些光学系统，例如后续提及的半透半反镜，当然具体实施时该步骤可以包含有光束的交叉、对准及合并。另外可选地，在显示拼接的过程中，还可以利用全息投影设备或全息显示器，将全息图像的信息以三维形式投射或显示出来。当观看全息图像时，人眼会接收到从不同角度和位置反射或散射出来的光线。这些光线经过干涉和衍射后，会在观察者的眼睛中形成一个立体的图像，给人以真实的三维感觉。
在本申请的一些实施例中，基于第一空间光调制器、第二空间光调制器、全息图进行衍射操作，并将第一全息图和第二全息图显示拼接，包括：基于第一空间光调制器、第二空间光调制器构建初始衍射场，其中，初始衍射场中设置有三维视场区域和预设观察视窗；使用初始衍射场检测第一全息图和第二全息图对应的初始衍射操作结果；根据第一全息图和第二全息图对应的初始衍射操作结果分别校准第一空间光调制器和第二空间光调制器的衍射参数；利用半透半反镜调整校准衍射参数后的初始衍射场，得到目标衍射场；在目标衍射场中显示拼接第一全息图和第二全息图。如图3所示，上述三维视场区域介于预设观察视窗与调制器中间，人眼在预设观察视窗即能观测到拼接后的全息图像的三维效果。这里的第一全息图和第二全息图只是做简单的区分，表明是两张全息图的拼接，依据两张全息图的拼接方法，还可以实现更多全息图的拼接。
在本申请的一些实施例中，利用半透半反镜调整校准衍射参数后的初始衍射场，包括：将半透半反镜放置于第一空间光调制器和第二空间光调制器之间，使半透半反镜与第一空间光调制器之间的夹角，及半透半反镜与第二空间光调制器之间的夹角相等且均为预设角度，优选地，预设角度为45度。具体地，在目标衍射场中显示拼接第一全息图和第二全息图，包括：为目标衍射场配置预设载频和预设的入射光照明，配置后进行衍射操作；通过第一空间光调制器加载第一全息图，通过第二空间光调制器加载第二全息图，其中，第二全息图在时序上晚于第一全息图；在水平方向上拼接第一全息图和第二全息图；当第一空间光调制器和第二空间光调制器均加载完成时，在增大后的三维视场区域内显示第一全息图和第二全息图的拼接结果。拼接结果为全息图像的三维效果，观察者从预设观察视窗观察物体，得到清晰、真实和立体的视觉体验，其中，预设观察视窗可以是不同角度和位置的窗口。不仅如此，这里的三维效果扩大了显示尺寸，更便于观察目标物料的精微之处。
在本申请的一些实施例中，在通过衍射操作将计算结果显示拼接之后，还包括：利用预设观察视窗查看三维视场区域内显示的拼接结果，以识别物料的异常。实施例所提供的智慧工地物料的全息图像显示拼接方法首先采集目标智慧工地中从第一时刻到第二时刻之间的多个初始物料图像，对多个初始物料图像进行降噪处理，得到多个降噪后的物料图像，然后对多个降噪后的物料图像按照物料种类进行分类，最后基于时序计算每种类型的物料图像中每一个降噪后的物料图像对应的全息图，并通过衍射操作将计算结果显示拼接，如此，可以得到清晰、真实、完整和立体的拼接效果，从而及时而精准地识别出物料中的异常。通过预设观察视窗可以观测到三维视场区域中全息图像拼接后的立体呈现，可以得到不同角度的拼接效果，因为拼接后的立体呈现非常精细，因此也更容易识别出物料中的异常。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
在本申请的一些实施例中，还提供了一种智慧工地物料的全息图像显示拼接系统，应用各实施例中所述智慧工地物料的全息图像显示拼接方法，如图4所示，所述系统包括：
采集模块401，用于采集目标智慧工地中从第一时刻到第二时刻之间的多个初始物料图像；
降噪模块402，用于对所述多个初始物料图像进行降噪处理，得到多个降噪后的物料图像；
分类模块403，用于对所述多个降噪后的物料图像按照物料种类进行分类，其中，分类后每种类型的物料图像中包括至少两个不同时刻的物料图像，每个不同时刻的物料图像拍有物料尺寸、物料作业量、物料的吊起位置、物料的放置位置中的至少一项；
显示拼接模块404，用于基于时序计算每种类型的物料图像中每一个降噪后的物料图像对应的全息图，并通过衍射操作将计算结果显示拼接。
可以理解的是，本系统还包括空间光调制器、计算机、光学设备等等。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
下面请参考图5，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图5所示，所述电子设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的智慧工地物料的全息图像显示拼接方法。
其中，存储器201可能包含高速随机存取存储器（RAM：Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口203（可以是有线或者无线）实现该系统网元与至少一个其它网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述智慧工地物料的全息图像显示拼接方法 可以应用于处理器200中，或者由处理器200实现。
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
本申请实施方式还提供一种与前述实施方式所提供的智慧工地物料的全息图像显示拼接方法对应的计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的智慧工地物料的全息图像显示拼接方法。
另外，所述计算机可读存储介质的例子还可以包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其它类型的随机存取存储器(RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其它光学、磁性存储介质，在此不再一一赘述。
本申请实施方式还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现前述任意实施方式所提供的智慧工地物料的全息图像显示拼接方法的步骤，所述方法包括：采集目标智慧工地中从第一时刻到第二时刻之间的多个初始物料图像；对所述多个初始物料图像进行降噪处理，得到多个降噪后的物料图像；对所述多个降噪后的物料图像按照物料种类进行分类，其中，分类后每种类型的物料图像中包括至少两个不同时刻的物料图像，每个不同时刻的物料图像拍有物料尺寸、物料作业量、物料的吊起位置、物料的放置位置中的至少一项；基于时序计算每种类型的物料图像中每一个降噪后的物料图像对应的全息图，并通过衍射操作将计算结果显示拼接。
需要说明的是：在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
本领域那些技术人员可以理解，本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器( DSP )来实现根据本申请实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (7)
1.一种智慧工地物料的全息图像显示拼接方法，其特征在于，所述方法包括：
采集目标智慧工地中从第一时刻到第二时刻之间的多个初始物料图像；
对所述多个初始物料图像进行降噪处理，得到多个降噪后的物料图像；
对所述多个降噪后的物料图像按照物料种类进行分类，其中，分类后每种类型的物料图像中包括至少两个不同时刻的物料图像，每个不同时刻的物料图像拍有物料尺寸、物料作业量、物料的吊起位置、物料的放置位置中的至少一项；
基于时序计算每种类型的物料图像中每一个降噪后的物料图像对应的全息图，并通过衍射操作将计算结果显示拼接；
所述基于时序计算每种类型的物料图像中每一个降噪后的物料图像对应的全息图，并通过衍射操作将计算结果显示拼接，包括：
取出任意一组物料图像中的任意两个降噪后的物料图像，分别作为第一待显示拼接图像和第二待显示拼接图像，并将所述第一待显示拼接图像和所述第二待显示拼接图像分别存储于第一空间光调制器和第二空间光调制器；
通过预设编码算法分别计算所述第一待显示拼接图像和所述第二待显示拼接图像对应的全息图，依次得到第一全息图和第二全息图；
基于所述第一空间光调制器、所述第二空间光调制器、所述第一全息图、所述第二全息图进行衍射操作，将所述第一全息图和所述第二全息图合并投影到指定区域，并将所述第一全息图和所述第二全息图显示拼接；
所述基于所述第一空间光调制器、所述第二空间光调制器、所述第一全息图、所述第二全息图进行衍射操作，将所述第一全息图和所述第二全息图合并投影至指定区域，并将所述第一全息图和所述第二全息图显示拼接，包括：
基于所述第一空间光调制器、所述第二空间光调制器构建初始衍射场，其中，所述初始衍射场中设置有三维视场区域和预设观察视窗，所述指定区域为所述三维视场区域；
使用所述初始衍射场检测所述第一全息图和所述第二全息图对应的初始衍射操作结果；
根据所述第一全息图和所述第二全息图对应的初始衍射操作结果分别校准所述第一空间光调制器和第二空间光调制器的衍射参数；
利用半透半反镜调整所述校准衍射参数后的初始衍射场，得到目标衍射场；
在所述目标衍射场中将所述第一全息图和所述第二全息图合并投影至所述三维视场区域，并将所述第一全息图和所述第二全息图显示拼接；
所述利用半透半反镜调整所述校准衍射参数后的初始衍射场，包括：
将半透半反镜放置于所述第一空间光调制器和所述第二空间光调制器之间，使所述半透半反镜与所述第一空间光调制器之间的夹角，及所述半透半反镜与所述第二空间光调制器之间的夹角相等且均为预设角度。
2.根据权利要求1所述的智慧工地物料的全息图像显示拼接方法，其特征在于，所述对所述多个初始物料图像进行降噪处理，得到多个降噪后的物料图像，包括：
对所述多个初始物料图像进行预处理，对预处理后的图像通过高斯滤波进行降噪，得到多个降噪后的物料图像。
3.根据权利要求1所述的智慧工地物料的全息图像显示拼接方法，其特征在于，所述将所述第一全息图和所述第二全息图显示拼接，包括：
为所述目标衍射场配置预设载频和预设的入射光照明，配置后进行衍射操作；
通过所述第一空间光调制器加载所述第一全息图，通过所述第二空间光调制器加载所述第二全息图，其中，所述第二全息图在时序上晚于所述第一全息图；
在水平方向上拼接所述第一全息图和所述第二全息图；
当所述第一空间光调制器和所述第二空间光调制器均加载完成时，在增大后的所述三维视场区域内显示所述第一全息图和所述第二全息图的拼接结果。
4.根据权利要求3所述的智慧工地物料的全息图像显示拼接方法，其特征在于，在所述将所述第一全息图和所述第二全息图显示拼接之后，还包括：
利用所述预设观察视窗查看所述三维视场区域内显示的拼接结果，以识别目标物料的异常。
5.一种智慧工地物料的全息图像显示拼接系统，其特征在于，所述系统包括：
采集模块，用于采集目标智慧工地中从第一时刻到第二时刻之间的多个初始物料图像；
降噪模块，用于对所述多个初始物料图像进行降噪处理，得到多个降噪后的物料图像；
分类模块，用于对所述多个降噪后的物料图像按照物料种类进行分类，其中，分类后每种类型的物料图像中包括至少两个不同时刻的物料图像，每个不同时刻的物料图像拍有物料尺寸、物料作业量、物料的吊起位置、物料的放置位置中的至少一项；
显示拼接模块，用于基于时序计算每种类型的物料图像中每一个降噪后的物料图像对应的全息图，并通过衍射操作将计算结果显示拼接；
所述基于时序计算每种类型的物料图像中每一个降噪后的物料图像对应的全息图，并通过衍射操作将计算结果显示拼接，包括：
取出任意一组物料图像中的任意两个降噪后的物料图像，分别作为第一待显示拼接图像和第二待显示拼接图像，并将所述第一待显示拼接图像和所述第二待显示拼接图像分别存储于第一空间光调制器和第二空间光调制器；
通过预设编码算法分别计算所述第一待显示拼接图像和所述第二待显示拼接图像对应的全息图，依次得到第一全息图和第二全息图；
基于所述第一空间光调制器、所述第二空间光调制器、所述第一全息图、所述第二全息图进行衍射操作，将所述第一全息图和所述第二全息图合并投影到指定区域，并将所述第一全息图和所述第二全息图显示拼接；
所述基于所述第一空间光调制器、所述第二空间光调制器、所述第一全息图、所述第二全息图进行衍射操作，将所述第一全息图和所述第二全息图合并投影至指定区域，并将所述第一全息图和所述第二全息图显示拼接，包括：
基于所述第一空间光调制器、所述第二空间光调制器构建初始衍射场，其中，所述初始衍射场中设置有三维视场区域和预设观察视窗，所述指定区域为所述三维视场区域；
使用所述初始衍射场检测所述第一全息图和所述第二全息图对应的初始衍射操作结果；
根据所述第一全息图和所述第二全息图对应的初始衍射操作结果分别校准所述第一空间光调制器和第二空间光调制器的衍射参数；
利用半透半反镜调整所述校准衍射参数后的初始衍射场，得到目标衍射场；
在所述目标衍射场中将所述第一全息图和所述第二全息图合并投影至所述三维视场区域，并将所述第一全息图和所述第二全息图显示拼接；
所述利用半透半反镜调整所述校准衍射参数后的初始衍射场，包括：
将半透半反镜放置于所述第一空间光调制器和所述第二空间光调制器之间，使所述半透半反镜与所述第一空间光调制器之间的夹角，及所述半透半反镜与所述第二空间光调制器之间的夹角相等且均为预设角度。
6.一种电子设备，包括存储器和处理器，其特征在于，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行如权利要求1-4任一所述方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-4任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311226588.8A CN117011145B (zh) | 2023-09-22 | 2023-09-22 | 智慧工地物料的全息图像显示拼接方法及应用其的系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311226588.8A CN117011145B (zh) | 2023-09-22 | 2023-09-22 | 智慧工地物料的全息图像显示拼接方法及应用其的系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117011145A CN117011145A (zh) | 2023-11-07 |
| CN117011145B true CN117011145B (zh) | 2024-02-23 |
Family
ID=88576536
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311226588.8A Active CN117011145B (zh) | 2023-09-22 | 2023-09-22 | 智慧工地物料的全息图像显示拼接方法及应用其的系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117011145B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111190334A (zh) * | 2019-09-02 | 2020-05-22 | 上海彩丞全息技术有限公司 | 基于空间光调制器拼接阵列的计算全息3d显示系统和方法 |
| CN112102255A (zh) * | 2020-08-21 | 2020-12-18 | 杭州培慕科技有限公司 | 基于工业场景下的x射线成像图像的缺陷智能评级方法 |
| CN113673344A (zh) * | 2021-07-19 | 2021-11-19 | 杭州大杰智能传动科技有限公司 | 一种智能塔吊物料挂载位置识别方法和装置 |
| CN113938647A (zh) * | 2021-09-13 | 2022-01-14 | 杭州大杰智能传动科技有限公司 | 用于智慧工地的智能塔吊作业全景监控还原方法和系统 |
| CN116156090A (zh) * | 2023-04-21 | 2023-05-23 | 厦门视诚科技有限公司 | 显示控制模块、可扩展显示设备和视频显示拼接系统 |
| CN116208855A (zh) * | 2023-04-28 | 2023-06-02 | 杭州未名信科科技有限公司 | 一种多塔机云台全景图像抖动协调抑制方法和系统 |
| CN116665139A (zh) * | 2023-08-02 | 2023-08-29 | 中建八局第一数字科技有限公司 | 堆状物料体积识别方法、装置、电子设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018037077A2 (de) * | 2016-08-24 | 2018-03-01 | Seereal Technologies S.A. | Holographische anzeigevorrichtung |
| US20230162476A1 (en) * | 2021-10-12 | 2023-05-25 | SMARTINSIDE AI Inc. | Method and system for determining risk in construction site based on image analysis |
-
2023
- 2023-09-22 CN CN202311226588.8A patent/CN117011145B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111190334A (zh) * | 2019-09-02 | 2020-05-22 | 上海彩丞全息技术有限公司 | 基于空间光调制器拼接阵列的计算全息3d显示系统和方法 |
| CN112102255A (zh) * | 2020-08-21 | 2020-12-18 | 杭州培慕科技有限公司 | 基于工业场景下的x射线成像图像的缺陷智能评级方法 |
| CN113673344A (zh) * | 2021-07-19 | 2021-11-19 | 杭州大杰智能传动科技有限公司 | 一种智能塔吊物料挂载位置识别方法和装置 |
| CN113938647A (zh) * | 2021-09-13 | 2022-01-14 | 杭州大杰智能传动科技有限公司 | 用于智慧工地的智能塔吊作业全景监控还原方法和系统 |
| CN116156090A (zh) * | 2023-04-21 | 2023-05-23 | 厦门视诚科技有限公司 | 显示控制模块、可扩展显示设备和视频显示拼接系统 |
| CN116208855A (zh) * | 2023-04-28 | 2023-06-02 | 杭州未名信科科技有限公司 | 一种多塔机云台全景图像抖动协调抑制方法和系统 |
| CN116665139A (zh) * | 2023-08-02 | 2023-08-29 | 中建八局第一数字科技有限公司 | 堆状物料体积识别方法、装置、电子设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| High Resolution Multiview Holographic Display Based on the Holographic Optical Element;Qin Xiujuan 等;《Micromachines》;第14卷(第01期);全文 * |
| 基于图像分割与重组的激光全息图像处理方法;周红 等;《激光杂志》(第09期);全文 * |
| 空间光调制器曲面拼接实现全息三维显示视角拓展;曾震湘 等;《中国光学》(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117011145A (zh) | 2023-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102018121019A1 (de) | Erweitern von realen sensoraufzeichnungen mit simulierten sensordaten | |
| EP3657236A1 (de) | Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung | |
| Chaiyasarn et al. | Integrated pixel-level CNN-FCN crack detection via photogrammetric 3D texture mapping of concrete structures | |
| CN111523459B (zh) | 遥感影像裸地识别方法、装置、电子设备及存储介质 | |
| CN114092386A (zh) | 缺陷检测方法和设备 | |
| Borrego et al. | Applying domain randomization to synthetic data for object category detection | |
| CN106908052B (zh) | 用于智能机器人的路径规划方法及装置 | |
| CN111080662A (zh) | 车道线的提取方法、装置及计算机设备 | |
| WO2021249351A1 (zh) | 一种基于rgbd图像的目标检测方法、装置及计算机设备 | |
| Lavrenov et al. | Tool for 3D Gazebo map construction from arbitrary images and laser scans | |
| CN111964606B (zh) | 一种三维信息的处理方法和装置 | |
| Lavrenov et al. | Automatic mapping and filtering tool: From a sensor-based occupancy grid to a 3D Gazebo octomap | |
| CN113689578A (zh) | 一种人体数据集生成方法及装置 | |
| CN114708375B (zh) | 纹理映射方法、系统、计算机及可读存储介质 | |
| CN113487749A (zh) | 基于动态画幅的3d点云处理方法及装置 | |
| Paulin et al. | Review and analysis of synthetic dataset generation methods and techniques for application in computer vision | |
| CN117011145B (zh) | 智慧工地物料的全息图像显示拼接方法及应用其的系统 | |
| CN111488783A (zh) | 基于cnn检测伪3d边界框的方法及其装置 | |
| WO2022177705A1 (en) | Texture based fusion for images with cameras having differing modalities | |
| CN111316324A (zh) | 一种自动驾驶模拟系统、方法、设备及存储介质 | |
| EP0831423B1 (en) | Image generation using a light space | |
| CN116017129A (zh) | 一种补光灯角度调整方法、装置、系统、设备和介质 | |
| CN111368752B (zh) | 车辆损伤的分析方法和装置 | |
| Tschentscher et al. | A simulated car-park environment for the evaluation of video-based on-site parking guidance systems | |
| Jia et al. | Drone-NeRF: Efficient NeRF based 3D scene reconstruction for large-scale drone survey |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |