CN115841557A - 基于数字孪生技术的智能起重机操作环境构建方法 - Google Patents

基于数字孪生技术的智能起重机操作环境构建方法 Download PDF

Info

Publication number
CN115841557A
CN115841557A CN202310157438.XA CN202310157438A CN115841557A CN 115841557 A CN115841557 A CN 115841557A CN 202310157438 A CN202310157438 A CN 202310157438A CN 115841557 A CN115841557 A CN 115841557A
Authority
CN
China
Prior art keywords
color
landmarks
landmark
image
neighborhood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310157438.XA
Other languages
English (en)
Other versions
CN115841557B (zh
Inventor
杨雪娇
景阔
郑松涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Nuclear Xudong Electric Co ltd
Original Assignee
Henan Nuclear Xudong Electric Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Nuclear Xudong Electric Co ltd filed Critical Henan Nuclear Xudong Electric Co ltd
Priority to CN202310157438.XA priority Critical patent/CN115841557B/zh
Publication of CN115841557A publication Critical patent/CN115841557A/zh
Application granted granted Critical
Publication of CN115841557B publication Critical patent/CN115841557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Image Analysis (AREA)

Abstract

本方案提出一种基于数字孪生技术的智能起重机操作环境构建方法，自动对现实环境中地标进行检测，获得地标在现实环境中的物理特征，进而在虚拟环境中重建地标。首先，采用自动化方法对图像中的地标进行检测，是实施地标重建的关键步骤，提出一种基于颜色编码和神经网络模型的自动检测方法，对图像中的地标进行检测。本方案基于颜色编码的地标特征描述方法，利用颜色编码对图像中存在的地标进行定义和描述；基于该特征可以有效识别图像中存在的地标。

Description

基于数字孪生技术的智能起重机操作环境构建方法
技术领域
本发明内容属于机械工程与计算机人工智能技术、机器学习技术与图形学技术的交叉应用，特别地，涉及一种基于数字孪生技术的智能起重机操作环境构建方法。
背景技术
我国工业的建设经历了机械化、自动化、数字化这几个发展阶段，工厂的生产工艺和管理效率都有了突飞猛进的发展，为我国的工业事业和城市发展做出了巨大贡献。近年来，随着智慧城市、智慧工业、数字中国等项目建设的不断推进，社会发展对工厂的管理者提出了更高的要求。目前来说，整个工业总体上仍然是一个劳动密集型的传统产业，产业现代化水平不高，存在建设周期较长、资源能源消耗较高及生产效率、科技含量偏低等问题。在工业4.0的大浪潮下，如何进一步提升工业化和自动化水平，让工厂的运行更加智慧，以做到更加安全、高效、节能成为新的发展研究方向。
通过建设基于数字孪生技术的智能起重机操作教育平台，基于数字信息、自控、设备、通讯传输、AI智能分析模型完善起重机操作教研措施，从而全面提升机械设计制造及其自动化等相关专业的实验教学水平。
在通过虚拟化、抽象化的数字孪生模型建立虚拟培训环境的过程中，需要对真实环境中存在的若干指示性地标进行虚拟化重建，例如地面画线、箭头等，从而在虚拟场景中真实还原现实场景，使操作学员以与真实环境相近的操作体验在虚拟环境中实施起重机操作训练，达到培训目的。
然而，目前在进行将实际场景映射至虚拟场景中时，存在映射不准确，映射响应过慢的问题，从而使得操作的实时性和安全性无法获得保证。
发明内容
为解决上述一个或多个问题，现提出一种基于数字孪生技术的智能起重机操作环境构建方法，自动对现实环境中地标进行检测，获得地标在现实环境中的物理特征，进而在虚拟环境中重建地标。首先，采用自动化方法对图像中的地标进行检测，是实施地标重建的关键步骤，提出一种基于颜色编码和神经网络模型的自动检测方法，对图像中的地标进行检测。进一步的，根据从图像中检测出的地标，在虚拟环境中重建地标。
一种基于数字孪生技术的智能起重机操作环境构建方法，
（1）获得某类地标的颜色标注：
Figure SMS_1
表示图像样本中所有像素按颜色值排序后，按从小到大第50%位置的颜色值；定义/>
Figure SMS_2
表示图像样本中所有像素按颜色值排序后，按从小到大第95%位置的颜色值。
当上述两者差异小于阈值时，认为颜色均值可以代表样本中大多数像素的颜色值，即：
Figure SMS_3
/>
Figure SMS_4
为预设阈值，根据实验经验取/>
Figure SMS_5
为优选，即当满足上式时，取颜色均值/>
Figure SMS_6
为该地标的颜色标注；
否则，如果式2对于
Figure SMS_7
不成立，则取/>
Figure SMS_8
为该地标的颜色标注；
（2）根据不同类地标的颜色标注计算像素的颜色标记；
（3）根据颜色标记生成颜色编码：颜色编码为一向量，根据像素颜色标记图
Figure SMS_9
周围若干像素值生成，记为：
Figure SMS_10
其中，
Figure SMS_11
为一向量，由/>
Figure SMS_12
周围若干像素值组成，即：
Figure SMS_13
w表示邻域窗口大小，
Figure SMS_14
表示邻域内相对于邻域中心的坐标。可知/>
Figure SMS_15
包含
Figure SMS_16
个变量。
Figure SMS_17
为邻域内梯度参数，度量邻域内颜色标记的变化程度，定义为：
Figure SMS_18
其中：
Figure SMS_19
上述两式中
Figure SMS_20
表示邻域内相对于邻域中心的坐标；
（3）建立神经网络模型，以像素邻域的颜色编码为输入，输出该像素的地标分类；其中神经网络模型包括两个隐藏层组成，第一隐藏层用于建立颜色编码中各颜色标记的关系模型，第二隐藏层用于关联颜色标记和颜色标记变化；
第一隐藏层为：
Figure SMS_21
Figure SMS_22
Figure SMS_23
其中
Figure SMS_24
表示颜色编码向量的第/>
Figure SMS_25
个元素，/>
Figure SMS_26
是连接颜色编码向量和第一隐藏层节点/>
Figure SMS_27
的线性权值，/>
Figure SMS_28
；/>
Figure SMS_29
为与其对应的线性偏置量；第一隐藏层共有32个节点，第31、32个节点分别等于前述梯度参数/>
Figure SMS_30
。
还包括根据上述方法，从图像中获得地标的位置坐标。
采用线性摄像机模型建立图像坐标系与摄像机物理坐标系之间的映射模型。
所述映射模型为
Figure SMS_31
/>
上式中，
Figure SMS_33
表示图像坐标系下某个像素的齐次坐标形式，/>
Figure SMS_37
表示摄像机物理坐标系下的齐次坐标形式，s为尺度缩放因子，与/>
Figure SMS_40
,/>
Figure SMS_34
,/>
Figure SMS_36
,/>
Figure SMS_39
一起称为为摄像机内部参数，/>
Figure SMS_41
,/>
Figure SMS_32
与摄像机光学镜头参数有关，/>
Figure SMS_35
,/>
Figure SMS_38
与摄像机感光器件参数有关；R，t为摄像机的外部参数。
Figure SMS_42
。
上述内部参数可以通过标定获得。
采用激光测距仪等设备可获得图像中某像素在现实环境下的深度参数
Figure SMS_43
.
利用图像中获得的位置坐标x,y获得摄像机坐标
Figure SMS_44
,/>
Figure SMS_45
，进而根据/>
Figure SMS_46
在虚拟环境中重建地标。
对真实环境中存在的若干指示性地标进行虚拟化重建，从而利用数字孪生手段在虚拟场景中真实还原现实场景的内容。
当真实场景中的起重机产生位移时，驾驶员的观察点与地标的相对位置发生变化，更新地标位置，并重新绘制虚拟场景中的地标，从而实现真实场景与虚拟场景中的目标联动。
本发明的发明点及技术效果：
1、本发明提出一种基于颜色编码的地标特征描述方法，利用颜色编码对图像中存在的地标进行定义和描述；基于该特征可以有效识别图像中存在的地标。所述颜色编码指图像中局部邻域的颜色描述符，根据邻域内所有像素的颜色标记生成；所述颜色标记指根据不同类地标的颜色标注对像素进行颜色标记；优化了地标的颜色标注方法，根据该类地标图像样本的颜色值分段获得。由此，能够对地标进行快速准确的描述，优化了送入神经网络模型的输入数据内容，从而方便后续神经网络进行特征提取，能够和神经网络相配合实现快速准确检测。
2、优化了神经网络模型结构，以像素邻域的颜色编码为输入，输出该像素的地标分类。具体而言，该网络由两个隐藏层组成，第一隐藏层用于建立颜色编码中各颜色标记的关系模型，第二隐藏层用于关联颜色标记和颜色标记变化。该神经网络模型通过第一隐藏层、第二隐藏层，建立了颜色编码中各颜色标记之间、颜色标记与颜色标记变化之间的关系，特别是第一层充分考虑了像素邻域内的梯度参数，提高了特征提取的有效性和效率，保证能够在实施数字孪生技术时，能够快速准确识别地标，从而快速实现真实场景与虚拟场景中的目标联动。
具体实施方式
步骤1描述了一种基于颜色编码的地标特征描述方法，利用颜色编码对图像中存在的地标进行定义和描述。
对图像中地标实施检测，可以采取图像区域检测分割的方法。经典的图像区域检测分割法包括阈值法、边缘检测法、形态学方法等，在早期的图像处理应用中得到较为广泛的应用；上述算法对背景简单的环境适用性较好，而在复杂现实环境下较易受到噪声干扰，因此检测效果不佳。近年来，基于神经网络的方法逐渐被应用于图像检测的工程应用中，其中基于卷积网络的一类深度网络模型成为代表，该类网络模型具有层数多（即深度网络）、单层参数量小、对噪声不敏感的特点，检测效果具有显著提高。然而卷积网络在本发明所述地标检测的应用中存在一定应用难点。首先大部分地标是人工绘制的，其特征较为简单，不必要采取较深层的网络进行逐层迭代提取特征；其次，卷积网络多是逐像素进行卷积运算，其目的是提取目标的局部特征，而人工地标的局部特征并不明显，会影响卷积网络的检测效果。
为了克服上述问题，本发明提出一种基于颜色编码的地标特征描述方法，并设计神经网络模型对上述特征实施检测，提高了对地标的检测性能。
S1.1基于颜色编码的地标特征描述方法
现实起重机工作环境下的地标通常采用醒目颜色和标记以便观察，这个特点是其区别于其它图像检测任务的关键。表明颜色特征是检测地标的有效特征。
故提出一种基于颜色编码的地标特征描述方法，所述颜色编码指图像中局部邻域的颜色描述符，根据邻域内所有像素的颜色标记生成。
所述颜色标记指根据不同类地标的颜色标注对像素进行颜色标记；地标的颜色标注根据该类地标图像样本的颜色值计算获得。
S1.1.1获得某类地标的颜色标注。
设
Figure SMS_47
是第c类地标的一个图像样本，/>
Figure SMS_48
是其中一个像素的颜色值，定义：
Figure SMS_49
Figure SMS_50
表示图像样本/>
Figure SMS_51
中像素的总个数。/>
Figure SMS_52
表示图像样本的颜色均值，/>
Figure SMS_53
表示图像样本的颜色标准差，这两个值代表图像样本的颜色统计值。
一般情况下认为颜色均值代表样本中大多数像素的颜色值，标准差代表样本中极端像素颜色值与均值的偏差。然而当样本中存在较多极端值时，颜色均值并不能有效代表大多数像素的颜色值。故此处提出一种方法对其进行修正，改进了颜色编码的性能。
定义
Figure SMS_54
表示图像样本中所有像素按颜色值排序后，按从小到大第50%位置的颜色值；定义/>
Figure SMS_55
表示图像样本中所有像素按颜色值排序后，按从小到大第95%位置的颜色值。
当上述两者差异小于阈值时，认为颜色均值可以代表样本中大多数像素的颜色值，即：
Figure SMS_56
Figure SMS_57
为预设阈值，根据实验经验取/>
Figure SMS_58
为优选，即当满足上式时，取颜色均值/>
Figure SMS_59
为该地标的颜色标注。
否则，如果式2对于
Figure SMS_60
不成立，则取/>
Figure SMS_61
为该地标的颜色标注。
S1.1.2根据不同类地标的颜色标注计算像素的颜色标记。
设根据上述S1.1.1获得的第c类地标的颜色标注记为
Figure SMS_62
。/>
记输入检测图像为：
Figure SMS_63
Figure SMS_64
表示图像中像素的坐标。
记：
Figure SMS_65
为与
Figure SMS_66
对应的像素颜色标记图。上式的含义是像素的颜色标记为与其颜色值最接近的地标类别（/>
Figure SMS_67
表示任意一类地标）。如果最接近的颜色值之差大于阈值/>
Figure SMS_68
，则标记为0，表示该像素不属于任何一类地标。
S1.1.3根据颜色标记生成颜色编码。
上述S1.1.2获得颜色标记容易受到噪声干扰，故根据局部邻域的颜色标记生成颜色编码，相比于单一像素更加鲁棒，可用于地标特征描述。
所述颜色编码为一向量，根据像素颜色标记图
Figure SMS_69
周围若干像素值生成，记为：
Figure SMS_70
其中，
Figure SMS_71
为一向量，由/>
Figure SMS_72
周围若干像素值组成，即：
Figure SMS_73
w表示邻域窗口大小，
Figure SMS_74
表示邻域内相对于邻域中心的坐标。可知/>
Figure SMS_75
包含
Figure SMS_76
个变量。
Figure SMS_77
为邻域内梯度参数，度量邻域内颜色标记的变化程度，定义为：
Figure SMS_78
其中：
Figure SMS_79
上述两式中
Figure SMS_80
表示邻域内相对于邻域中心的坐标。
颜色编码构建完成。
S1.2根据颜色编码判断某个像素是否属于某种地标。
提出一种神经网络模型，以像素邻域的颜色编码为输入，输出该像素的地标分类。
该网络由两个隐藏层组成，第一隐藏层用于建立颜色编码中各颜色标记的关系模型，第二隐藏层用于关联颜色标记和颜色标记变化。
第一隐藏层定义如下。
Figure SMS_81
Figure SMS_82
Figure SMS_83
Figure SMS_84
表示颜色编码向量的第/>
Figure SMS_85
个元素，/>
Figure SMS_86
是连接颜色编码向量和第一隐藏层节点/>
Figure SMS_87
的线性权值，/>
Figure SMS_88
为与其对应的线性偏置量。第一隐藏层共有32个节点，第31、32个节点分别等于前述梯度参数/>
Figure SMS_89
。
Figure SMS_90
为非线性的激活函数，定义如下：
Figure SMS_91
上述激活函数采用分段指数函数，以提高神经网络模型对非线性样本分类的鲁棒性。通过优化上述激活函数的具体形式，使得整个神经网络结构更加适合地标的识别，特别是以像素邻域的颜色编码为输入的地标的识别。
第一隐藏层用于建立颜色编码中各颜色标记的关系模型。
第二隐藏层定义如下。
Figure SMS_92
式中
Figure SMS_93
表示第一隐藏层的节点，/>
Figure SMS_94
是连接第二隐藏层和第一隐藏层节点/>
Figure SMS_95
的线性权值，/>
Figure SMS_96
为与其对应的线性偏置量. 第二隐藏层共有32个节点。/>
Figure SMS_97
函数定义同7.
第二隐藏层用于关联颜色标记和颜色标记变化。
通过第一隐藏层、第二隐藏层，建立了颜色编码中各颜色标记之间、颜色标记与颜色标记变化之间的关系，以此作为特征实施像素分类。
输出分类如下。
Figure SMS_98
式中
Figure SMS_99
表示第二隐藏层的节点，/>
Figure SMS_100
是连接输出类别和第二隐藏层节点的线性权值，/>
Figure SMS_101
为与其对应的线性偏置量。
输出
Figure SMS_102
为一向量，其元素数等于待识别地标的类别数。为了进一步规范化输出值，定义：
Figure SMS_103
使输出值之和规范化到1.
通过从现有地标图像样本（根据S1.1步骤所述）建立颜色编码的训练样本，其真实类别c作为神经网络模型的输出真值
Figure SMS_104
，即将/>
Figure SMS_105
中相对应的第c个元素置为1，其余元素置为0.采用后向传播算法可优化上述神经网络模型至收敛，获得模型的线性权值和线性偏置参数。
采用训练后的神经网络模型，对输入图像进行检测，取输出
Figure SMS_106
的最大元素所对应的类别，作为对应像素的分类标记。即可获得输入图像中地标。
步骤2描述了一种根据从图像中检测出的地标，在虚拟环境中重建地标的方法。
根据步骤1所述方法，从图像中获得地标的位置坐标。
采用线性摄像机模型建立图像坐标系与摄像机物理坐标系之间的映射模型。
Figure SMS_107
/>
上式中，
Figure SMS_108
表示图像坐标系下某个像素的齐次坐标形式，/>
Figure SMS_113
表示摄像机物理坐标系下的齐次坐标形式，s为尺度缩放因子，与/>
Figure SMS_115
,/>
Figure SMS_109
,/>
Figure SMS_112
,/>
Figure SMS_116
一起称为为摄像机内部参数，/>
Figure SMS_117
,/>
Figure SMS_110
与摄像机光学镜头参数有关，/>
Figure SMS_111
,/>
Figure SMS_114
与摄像机感光器件参数有关；R，t为摄像机的外部参数，并且：
Figure SMS_118
上述内部参数可以通过标定获得。采用激光测距仪等设备可获得图像中某像素在现实环境下的深度参数
Figure SMS_119
，即可进一步根据式11，利用图像中获得的位置坐标x,y获得摄像机坐标/>
Figure SMS_120
,/>
Figure SMS_121
，进而根据/>
Figure SMS_122
在虚拟环境中重建地标。
通过本发明所述方法对真实环境中存在的若干指示性地标进行虚拟化重建，例如地面画线、箭头等，从而利用数字孪生手段在虚拟场景中真实还原现实场景的内容。
首先，通过本发明步骤1所述方法对图像中地标实施检测，例如地面画线、箭头等，获取图像颜色编码，进一步计算地标在图像中的位置。
进一步的，根据步骤1所述方法，从图像中获得地标的位置坐标，根据步骤2所述方法采用线性摄像机模型建立图像坐标系与摄像机物理坐标系之间的映射模型；并以目标的摄像机物理坐标为参照，在虚拟场景中的相应位置绘制虚拟地标。
当真实场景中的起重机产生位移时，驾驶员的观察点与地标的相对位置发生变化，采取上述方法更新地标位置，并重新绘制虚拟场景中的地标，从而实现真实场景与虚拟场景中的目标联动，使操作学员以与真实环境相近的操作体验在虚拟环境中实施起重机操作训练，达到培训目的。
本发明提出一种基于数字孪生技术的智能起重机操作环境构建方法，采用自动化方法对图像中的地标进行检测，是实施地标重建的关键步骤，提出一种基于颜色编码和神经网络模型的自动检测方法，对图像中的地标进行检测。进一步的，根据从图像中检测出的地标，在虚拟环境中重建地标。下表给出与采用深度卷积神经网络模型的对比测试结果，表面本发明方法检测准确率更高，速度更快。
参考模型 地标识别率 训练至收敛时间 检测时间/帧
VGG-16 92.5% 13.2小时 3.1秒
GoogLeNet 93.3% 27.9小时 4.2秒
本发明 92.7% 1.3小时 0.9秒

Claims (10)

1.基于数字孪生技术的智能起重机操作环境构建方法，其特征在于：
（1）获得某类地标的颜色标注：
Figure QLYQS_1
表示图像样本中所有像素按颜色值排序后，按从小到大第50%位置的颜色值；定义
Figure QLYQS_2
表示图像样本中所有像素按颜色值排序后，按从小到大第95%位置的颜色值；
当上述两者差异小于阈值时，认为颜色均值可以代表样本中大多数像素的颜色值，即：
Figure QLYQS_3
；
Figure QLYQS_4
为预设阈值，根据实验经验取
Figure QLYQS_5
，即当满足上式时，取颜色均值
Figure QLYQS_6
为该地标的颜色标注；
否则，如果式2对于
Figure QLYQS_7
不成立，则取
Figure QLYQS_8
为该地标的颜色标注；
（2）根据不同类地标的颜色标注计算像素的颜色标记；
（3）根据颜色标记生成颜色编码：颜色编码为一向量，根据像素颜色标记图
Figure QLYQS_9
周围若干像素值生成，记为：
Figure QLYQS_10
；
其中，
Figure QLYQS_11
为一向量，由
Figure QLYQS_12
周围若干像素值组成，即：
Figure QLYQS_13
；
w表示邻域窗口大小，
Figure QLYQS_14
表示邻域内相对于邻域中心的坐标，可知
Figure QLYQS_15
包含
Figure QLYQS_16
个变量，
Figure QLYQS_17
为邻域内梯度参数，度量邻域内颜色标记的变化程度，定义为：
Figure QLYQS_18
；
其中：
Figure QLYQS_19
；
上述两式中
Figure QLYQS_20
表示邻域内相对于邻域中心的坐标；
（3）建立神经网络模型，以像素邻域的颜色编码为输入，输出该像素的地标分类；其中神经网络模型包括两个隐藏层组成，第一隐藏层用于建立颜色编码中各颜色标记的关系模型，第二隐藏层用于关联颜色标记和颜色标记变化；
第一隐藏层为：
Figure QLYQS_21
；
Figure QLYQS_22
；
Figure QLYQS_23
；
其中
Figure QLYQS_24
表示颜色编码向量的第
Figure QLYQS_25
个元素，
Figure QLYQS_26
是连接颜色编码向量和第一隐藏层节点
Figure QLYQS_27
的线性权值，
Figure QLYQS_28
；
Figure QLYQS_29
为与其对应的线性偏置量；第一隐藏层共有32个节点，第31、32个节点分别等于前述梯度参数
Figure QLYQS_30
。
2.如权利要求1所述的基于数字孪生技术的智能起重机操作环境构建方法，其特征在于：还包括根据上述方法，从图像中获得地标的位置坐标。
3.如权利要求2所述的基于数字孪生技术的智能起重机操作环境构建方法，其特征在于：采用线性摄像机模型建立图像坐标系与摄像机物理坐标系之间的映射模型。
4.如权利要求3所述的基于数字孪生技术的智能起重机操作环境构建方法，其特征在于：所述映射模型为
Figure QLYQS_31
；
上式中，
Figure QLYQS_33
表示图像坐标系下某个像素的齐次坐标形式，
Figure QLYQS_37
表示摄像机物理坐标系下的齐次坐标形式，s为尺度缩放因子，与
Figure QLYQS_39
,
Figure QLYQS_34
,
Figure QLYQS_36
,
Figure QLYQS_40
一起称为为摄像机内部参数，
Figure QLYQS_41
,
Figure QLYQS_32
与摄像机光学镜头参数有关，
Figure QLYQS_35
,
Figure QLYQS_38
与摄像机感光器件参数有关；R，t为摄像机的外部参数。
5.如权利要求4所述的基于数字孪生技术的智能起重机操作环境构建方法，其特征在于：
Figure QLYQS_42
。
6.如权利要求4所述的基于数字孪生技术的智能起重机操作环境构建方法，其特征在于：上述内部参数可以通过标定获得。
7.如权利要求4所述的基于数字孪生技术的智能起重机操作环境构建方法，其特征在于：采用激光测距仪可获得图像中某像素在现实环境下的深度参数
Figure QLYQS_43
。
8.如权利要求4所述的基于数字孪生技术的智能起重机操作环境构建方法，其特征在于：利用图像中获得的位置坐标x,y获得摄像机坐标
Figure QLYQS_44
,
Figure QLYQS_45
，进而根据
Figure QLYQS_46
在虚拟环境中重建地标。
9.如权利要求1-8所述的任意一项基于数字孪生技术的智能起重机操作环境构建方法，其特征在于：对真实环境中存在的若干指示性地标进行虚拟化重建，从而利用数字孪生手段在虚拟场景中真实还原现实场景的内容。
10.如权利要求1-8所述的任意一项基于数字孪生技术的智能起重机操作环境构建方法，其特征在于：当真实场景中的起重机产生位移时，驾驶员的观察点与地标的相对位置发生变化，采取权利要求2中的方法更新地标位置，并重新绘制虚拟场景中的地标，从而实现真实场景与虚拟场景中的目标联动。
CN202310157438.XA 2023-02-23 2023-02-23 基于数字孪生技术的智能起重机操作环境构建方法 Active CN115841557B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310157438.XA CN115841557B (zh) 2023-02-23 2023-02-23 基于数字孪生技术的智能起重机操作环境构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310157438.XA CN115841557B (zh) 2023-02-23 2023-02-23 基于数字孪生技术的智能起重机操作环境构建方法

Publications (2)

Publication Number Publication Date
CN115841557A true CN115841557A (zh) 2023-03-24
CN115841557B CN115841557B (zh) 2023-05-19

Family

ID=85580140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310157438.XA Active CN115841557B (zh) 2023-02-23 2023-02-23 基于数字孪生技术的智能起重机操作环境构建方法

Country Status (1)

Country Link
CN (1) CN115841557B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309849A (zh) * 2023-05-17 2023-06-23 新乡学院 一种基于视觉雷达的起重机定位方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112297013A (zh) * 2020-11-11 2021-02-02 浙江大学 一种基于数字孪生和深度神经网络的机器人智能抓取方法
CN112905831A (zh) * 2021-04-02 2021-06-04 上海国际汽车城（集团）有限公司 物体在虚拟场景中的坐标获取方法、系统及电子设备
CN114049422A (zh) * 2021-11-11 2022-02-15 上海交通大学 基于数字孪生与图像转换的数据增强方法及系统
CN114444983A (zh) * 2022-04-08 2022-05-06 深圳市城市交通规划设计研究中心股份有限公司 基于车桥耦合和数字孪生的城市桥梁群状态评估方法
CN114782417A (zh) * 2022-06-16 2022-07-22 浙江大学 基于边缘强化图像分割的风机数字孪生特征实时检测方法
CN114815654A (zh) * 2022-03-01 2022-07-29 北京理工大学 一种面向无人车控制的数字孪生系统及其搭建方法
US20220391175A1 (en) * 2021-06-08 2022-12-08 Nvidia Corporation Machine learning application deployment using user-defined pipeline
CN115526990A (zh) * 2022-10-08 2022-12-27 智道网联科技(北京)有限公司 用于数字孪生的目标可视化方法、装置及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112297013A (zh) * 2020-11-11 2021-02-02 浙江大学 一种基于数字孪生和深度神经网络的机器人智能抓取方法
CN112905831A (zh) * 2021-04-02 2021-06-04 上海国际汽车城（集团）有限公司 物体在虚拟场景中的坐标获取方法、系统及电子设备
US20220391175A1 (en) * 2021-06-08 2022-12-08 Nvidia Corporation Machine learning application deployment using user-defined pipeline
CN114049422A (zh) * 2021-11-11 2022-02-15 上海交通大学 基于数字孪生与图像转换的数据增强方法及系统
CN114815654A (zh) * 2022-03-01 2022-07-29 北京理工大学 一种面向无人车控制的数字孪生系统及其搭建方法
CN114444983A (zh) * 2022-04-08 2022-05-06 深圳市城市交通规划设计研究中心股份有限公司 基于车桥耦合和数字孪生的城市桥梁群状态评估方法
CN114782417A (zh) * 2022-06-16 2022-07-22 浙江大学 基于边缘强化图像分割的风机数字孪生特征实时检测方法
CN115526990A (zh) * 2022-10-08 2022-12-27 智道网联科技(北京)有限公司 用于数字孪生的目标可视化方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHIWEI GAO.ETC: "Guest Editorial:Digital Twinning: Integrating AI-ML and Big DataAnalytics for Virtual Representation" *
张旭辉等: "数字孪生驱动的掘进机器人决策控制系统研究" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309849A (zh) * 2023-05-17 2023-06-23 新乡学院 一种基于视觉雷达的起重机定位方法
CN116309849B (zh) * 2023-05-17 2023-08-25 新乡学院 一种基于视觉雷达的起重机定位方法

Also Published As

Publication number Publication date
CN115841557B (zh) 2023-05-19

Similar Documents

Publication Publication Date Title
CN111062282B (zh) 基于改进yolov3模型的变电站指针式仪表识别方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN109255317B (zh) 一种基于双网络的航拍图像差异检测方法
CN108109162B (zh) 一种利用自适应特征融合的多尺度目标跟踪方法
CN108564085B (zh) 一种自动读取指针式仪表读数的方法
CN113111947B (zh) 图像处理方法、装置和计算机可读存储介质
CN112784869B (zh) 一种基于注意力感知与对抗学习的细粒度图像识别方法
CN108710909A (zh) 一种可变形旋转不变装箱物体清点方法
CN117572457B (zh) 一种基于伪标签学习的跨场景多光谱点云分类方法
CN115841557B (zh) 基于数字孪生技术的智能起重机操作环境构建方法
CN115937626A (zh) 基于实例分割的半虚拟数据集自动生成方法
CN115272826A (zh) 一种基于卷积神经网络的图像识别方法、装置及系统
CN111461121A (zh) 一种基于yolov3网络的电表示数识别方法
CN112381730B (zh) 一种遥感影像数据扩增方法
CN113723558A (zh) 基于注意力机制的遥感图像小样本舰船检测方法
CN115849202B (zh) 基于数字孪生技术的智能起重机操作目标识别方法
CN117727046A (zh) 新型山洪前端仪器仪表读数自动识别方法及系统
Xue et al. Automatic identification of butterfly species based on gray-level co-occurrence matrix features of image block
CN117274627A (zh) 一种基于图像转换的多时相积雪遥感图像匹配方法及系统
CN110378307B (zh) 基于深度学习的纹理图像方向场估计方法
CN115497006B (zh) 基于动态混合策略的城区遥感图像变化深度监测方法及系统
Zhang et al. Segmentation of apple point clouds based on ROI in RGB images.
Wang et al. Strawberry ripeness classification method in facility environment based on red color ratio of fruit rind
CN112465821A (zh) 一种基于边界关键点感知的多尺度害虫图像检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant