CN115877993A - 一种基于数字孪生的三维视图展示方法及装置 - Google Patents
一种基于数字孪生的三维视图展示方法及装置 Download PDFInfo
- Publication number
- CN115877993A CN115877993A CN202310138837.1A CN202310138837A CN115877993A CN 115877993 A CN115877993 A CN 115877993A CN 202310138837 A CN202310138837 A CN 202310138837A CN 115877993 A CN115877993 A CN 115877993A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- target monitoring
- image
- equipment
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012544 monitoring process Methods 0.000 claims abstract description 210
- 238000012545 processing Methods 0.000 claims abstract description 60
- 230000005540 biological transmission Effects 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 29
- 238000012806 monitoring device Methods 0.000 claims description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 238000010801 machine learning Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 13
- 239000007788 liquid Substances 0.000 claims description 12
- 208000025274 Lightning injury Diseases 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 4
- 238000007689 inspection Methods 0.000 description 33
- 238000005516 engineering process Methods 0.000 description 10
- 238000012423 maintenance Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000005553 drilling Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Images
Landscapes
- Testing And Monitoring For Control Systems (AREA)
Abstract
一种基于数字孪生的三维视图展示方法及装置，包括：获取包含目标监控设备上目标监控项目的目标监控图像；其中，目标监控设备是监控现场中不具有数据传输接口的设备；目标监控项目是目标监控设备上需要通过监控以获取目标监控设备运行使用情况的项目；将获得的目标监控图像输入至与目标设备上目标监控项目对应的图像处理模型中，由其对目标监控图像上目标监控项目对应的图像内容进行识别，得到与目标监控项目对应的预测运行使用数据；将获得的预测运行使用数据在三维视图与目标监控设备对应的三维模型中进行展示；其中，三维视图基于监控现场构建。本申请实施例实现了不具有数据传输接口的设备的运行数据在三维视图的三维模型中的联动展示。
Description
技术领域
本文涉及数据处理技术，尤指一种基于数字孪生的三维视图展示方法及装置。
背景技术
随着数字孪生技术的发展，采用创新的数字孪生技术来建设新一代机房、改造现有机房已经成为企业发展的主流，旨在能够在虚拟展示中完成对机房的实体设备的映射，从而实现对机房设备的全生命周期业务管理，保障机房资源的调配合理和运营稳定。
然而现有方法只能对具有数据传输接口能够将运行数据传输至三维模型中进行联动展示，对于不具有数据传输接口无法将运行数据传输三维模型中的设备，仍然需要以人工的方式进行巡检并获取设备数据进而展示在对应的三维模型中，因此十分耗费人力成本。
发明内容
本申请提供了一种基于数字孪生的三维视图展示方法及装置，能够在不耗费人力资源成本的前提下，利用图像处理模型得到不具有数据传输接口的设备的运行使用数据，进而展示在三维视图的三维模型中，从而实现了不具有数据传输接口的设备的运行数据的联动展示。
一方面，本申请提供了一种基于数字孪生的三维视图展示方法，包括：
获取包含目标监控设备上目标监控项目的目标监控图像；其中，所述目标监控设备是监控现场中不具有数据传输接口的设备，所述目标监控项目是所述目标监控设备上需要通过监控以获取所述目标监控设备运行使用情况的项目；
将获得的所述目标监控图像输入至与所述目标设备上目标监控项目对应的图像处理模型中，由所述对应的图像处理模型对所述目标监控图像上所述目标监控项目对应的图像内容进行识别，得到与所述目标监控项目对应的预测运行使用数据；
将获得的所述预测运行使用数据在三维视图与所述目标监控设备对应的三维模型中进行展示；其中，所述三维视图基于所述监控现场构建。
另一方面，本申请提供了一种基于数字孪生的三维视图展示装置，包括：存储器和处理器，所述存储器用于保存可执行程序；
所述处理器用于读取执行所述可执行程序，以实现前述的基于数字孪生的三维视图展示方法。
与相关技术相比，本申请包括获取包含不具有数据传输接口的目标监控设备上目标监控项目的目标监控图像，并输入至对应的图像处理模型中，由所述对应的图像处理模型对所述目标监控图像上所述目标监控项目对应的图像内容进行识别，得到与所述目标监控项目对应的预测运行使用数据，并在对应的三维模型中进行展示，因此能够在不耗费人力资源成本的前提下，利用图像处理模型得到不具有数据传输接口的设备的运行使用数据，进而展示在三维视图的三维模型中，从而实现了不具有数据传输接口的设备的运行数据的联动展示。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
附图说明
附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请实施例提供的一种基于数字孪生的三维视图展示方法的流程示意图。
具体实施方式
本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。
本申请实施例提供了一种基于数字孪生的三维视图展示方法，如图1所示，包括：
步骤101、获取包含目标监控设备上目标监控项目的目标监控图像；其中，所述目标监控设备是监控现场中不具有数据传输接口的设备，所述目标监控项目是所述目标监控设备上需要通过监控以获取所述目标监控设备运行使用情况的项目；
步骤102、将获得的所述目标监控图像输入至与所述目标设备上目标监控项目对应的图像处理模型中，由所述对应的图像处理模型对所述目标监控图像上所述目标监控项目对应的图像内容进行识别，得到与所述目标监控项目对应的预测运行使用数据；
步骤103、将获得的所述预测运行使用数据在三维视图与所述目标监控设备对应的三维模型中进行展示；其中，所述三维视图基于所述监控现场构建。
示例性的，获取包含目标监控设备上目标监控项目的目标监控图像具体可以是通过监控设备拍摄获取的，监控设备可以摄像头，悬挂在目标监控设备周围能够拍摄到目标监控设备上目标监控项目的位置，监控设备还可以是具备摄像头的巡检机器人，在监控现场定时巡检目标监控设备并进行目标监控项目的拍摄。
本申请实施例提供的基于数字孪生的三维视图展示方法，获取包含不具有数据传输接口的目标监控设备上目标监控项目的目标监控图像，并输入至对应的图像处理模型中，由所述对应的图像处理模型对所述目标监控图像上所述目标监控项目对应的图像内容进行识别，得到与所述目标监控项目对应的预测运行使用数据，并在对应的三维模型中进行展示，因此能够在不耗费人力资源成本的前提下，利用图像处理模型得到不具有数据传输接口的设备的运行使用数据，进而展示在三维视图的三维模型中，从而实现了不具有数据传输接口的设备的运行数据的联动展示。
在一种示例性实例中，本申请实施例提供的基于数字孪生的三维视图展示方法还包括：
首先，获取所述监控现场中具有数据传输接口的运行设备上指定项目产生的实际运行数据；
其次，将获得的所述实际运行数据在所述三维视图与所述运行设备对应的三维模型中进行展示。
示例性的，实际运行数据具体的接口方式采用restful应用程序编程接口（Restful Application Programming Interface，API）方式，返回数据格式采用轻量级的数据交换格式（JavaScript Object Notation，JSON）格式，Unicode转换格式（UnicodeTransformation Format 8，UTF-8）编码，返回数据的字段主要包含名称（根据监控设备的监控项目确定）、数值、单位、类型（数据类型）、时间等，返回数据将直接通过JavaScript在超文本标记语言（Hyper Text Markup Language，HTML）中实时显示机房3D模型的实际监控指标。
在一种示例性实例中，所述进行展示之前，还包括：
对所述监控现场中每一个设备采用以下两种预设方式至少之一进行建模，得到该设备在所述三维视图中的三维模型；
其中，所述两种预设方式中的一种包括：根据该设备CAD图纸中的尺寸信息构建该设备的框架，并利用预先拍摄好的该设备的外观照片对构建好的框架进行贴图，得到该设备的三维模型；
所述两种预设方式中的另一种包括：利用该设备的SolidWorks模型文件得到该设备的三维模型。
示例性的，利用该设备的SolidWorks模型文件得到该设备的三维模型包括：将该设备的SolidWorks模型文件直接导出为.STEP文件，然后导入到3Dmax进行构建，最后将3Dmax中文件导出为.fbx格式，然后导入到Unity3D进行灯光渲染和后期处理，形成三维模型，即3D可视化模型。
在一种示例性实例中，所述实际运行数据包括：所述实际运行数据对应的指定项目的名称、所述实际运行数据的数据内容，所述实际运行数据的数据单位、所述实际运行数据的数据类型以及所述实际运行数据的数据产生时间。
在一种示例性实例中，所述目标监控设备上目标监控项目包括：压力表上压力显示区，油位表上液面显示区，避雷器上雷击电流显示区和雷击次数数码管显示区，分合指示牌上分合状态指示区，隔离开关上刀闸档位变更区，机柜上指示灯显示区，机柜上设备外观；
相应的，所述图像处理模型包括：所述压力表上压力显示区的图像处理模型，所述油位表上液面显示区的图像处理模型，所述避雷器上雷击电流显示区和雷击次数数码管显示区的图像处理模型，所述分合指示牌上分合状态指示区的图像处理模型，所述隔离开关上刀闸档位变更区的图像处理模型，所述机柜上指示灯显示区的图像处理模型，所述机柜上设备外观的图像处理模型；
所述预测运行使用数据包括：预测压力数值，预测缺油与否信息，预测雷击电流值和预测雷击次数，预测分合状态信息，预测刀闸档位状态信息，预测指示灯显示信息，预设设备外观问题信息。
示例性的，压力表包括：SF6压力表，油位表包括：主变油温油位表、CT/PT油位表，隔离开关包括：三相/两相/单相刀闸开关。
在一种示例性实例中，当所述目标监控设备上目标监控项目为所述压力表上压力显示区，所述将获得的所述目标监控图像输入至与所述目标设备上目标监控项目对应的图像处理模型中之前，还包括：
首先，获取包含所述压力表上压力显示区的多张样本压力表监控图像；
其次，获取每张样本压力表监控图像上与所述压力表上压力显示区的图像内容对应的实际压力数值；
最后，将所述多张样本压力表监控图像、所述每张样本压力表监控图像对应的实际压力数值作为训练样本集训练预设机器学习算法，生成所述压力表上压力显示区的图像处理模型。
在一种示例性实例中，当所述目标监控设备上目标监控项目为所述油位表上液面显示区，所述将获得的所述目标监控图像输入至与所述目标设备上目标监控项目对应的图像处理模型中之前，还包括：
首先，获取包含所述油位表上液面显示区的多张样本油位表监控图像；
其次，获取每张样本油位表监控图像上与所述油位表上液面显示区的图像内容对应的实际缺油与否信息；
最后，将所述多张样本油位表监控图像、所述每张样本油位表监控图像对应的实际缺油与否信息作为训练样本集训练预设机器学习算法，生成所述油位表上液面显示区的图像处理模型。
在一种示例性实例中，当所述目标监控设备上目标监控项目为所述避雷器上雷击电流显示区和雷击次数数码管显示区，所述将获得的所述目标监控图像输入至与所述目标设备上目标监控项目对应的图像处理模型中之前，还包括：
首先，获取包含避雷器上雷击电流显示区和雷击次数数码管显示区的多张样本避雷器监控图像；
其次，获取每张样本避雷器监控图像上与所述避雷器上雷击电流显示区的图像内容对应的实际雷击电流值，并获取每张样本避雷器监控图像上与所述避雷器上雷击次数数码管显示的图像内容对应的实际雷击次数；
最后，将所述多张样本避雷器监控图像、所述每张样本避雷器监控图像对应的实际雷击电流值和实际雷击次数作为训练样本集训练预设机器学习算法，生成所述避雷器上雷击电流显示区和雷击次数数码管显示区的图像处理模型。
在一种示例性实例中，当所述目标监控设备上目标监控项目为分合指示牌上分合指示区，所述将获得的所述目标监控图像输入至与所述目标设备上目标监控项目对应的图像处理模型中之前，还包括：
首先，获取包含所述分合指示牌上分合指示区的多张样本分合指示牌监控图像；
其次，获取每张样本分合指示牌监控图像上与所述分合指示牌上分合指示区的图像内容对应的实际分合状态信息；
最后，将所述多张样本分合指示牌监控图像、所述每张样本分合指示牌监控图像对应的分合状态信息作为训练样本集训练预设机器学习算法，生成所述分合指示牌上分合指示区的图像处理模型。
在一种示例性实例中，当所述目标监控设备上目标监控项目为所述隔离开关上刀闸档位变更区，所述将获得的所述目标监控图像输入至与所述目标设备上目标监控项目对应的图像处理模型中之前，还包括：
首先，获取包含所述隔离开关上刀闸档位变更区的多张样本隔离开关监控图像；
其次，获取每张样本隔离开关监控图像上与所述隔离开关上刀闸档位变更区的图像内容对应的实际刀闸档位状态信息；
最后，将所述多张样本隔离开关监控图像、所述每张样本隔离开关监控图像对应的实际刀闸档位状态信息作为训练样本集训练预设机器学习算法，生成所述隔离开关上刀闸档位变更区的图像处理模型。
在一种示例性实例中，当所述目标监控设备上目标监控项目为所述机柜上指示灯显示区，所述将获得的所述目标监控图像输入至与所述目标设备上目标监控项目对应的图像处理模型中之前，还包括：
首先，获取包含所述机柜上指示灯显示区的多张样本机柜监控图像；
其次，获取每张样本机柜监控图像上与所述机柜上指示灯显示区的图像内容获取对应的实际指示灯显示信息；
最后，将所述多张样本机柜监控图像、所述每张样本机柜监控图像对应的指示灯显示信息作为训练样本集训练预设机器学习算法，生成所述机柜上指示灯显示区的图像处理模型。
在一种示例性实例中，当所述目标监控设备上目标监控项目为所述机柜的设备外观，所述将获得的所述目标监控图像输入至与所述目标设备上目标监控项目对应的图像处理模型中之前，还包括：
首先，获取包含所述机柜上设备外观的多张样本机柜监控图像；
其次，获取每张样本机柜监控图像上与所述机柜上设备外观的图像内容对应的实际设备外观问题信息；
最后，将所述多张样本机柜监控图像、所述每张样本机柜监控图像对应的实际设备外观问题信息作为训练样本集训练预设机器学习算法，生成所述机柜上设备外观的图像处理模型。
本申请实施例还提供了一种基于数字孪生的三维视图展示装置，包括：存储器和处理器，所述存储器用于保存可执行程序；
所述处理器用于读取执行所述可执行程序，以实现如上述任一实施例的基于数字孪生的三维视图展示方法。
随着铁路信息化、智能化、智慧化发展，对铁路设备的安全及运维管理提出了更为严格的要求。铁路里程的不断增加，新系统和设备维护工作量随之增加，同时为提高劳动生产率，各铁路局集团公司均提出了“增线不增人”的要求。因此，为提高职工劳动生产率，一方面实行维修体制改革，撤并铁路沿线的工区为集中修工区，实现劳动力整合，但这样势必会形成大量无人值守机房。另一方面实行修程、修制改革，延长设备维修周期，以节约劳动力，但设备长期不巡检，设备安全无法保证。此外，当前作业人员主要还是依靠最原始的人工巡视作业方式，通过看、触、听、嗅等低效的方法实现巡检设备简单的判断，人工巡检存在劳动强度大、检测质量分散、单一等不足，人工检测数据靠纸质记录，也无法实时接入管理信息系统进行大数据分析。加之，铁路无人值守机房，离工区所在地较远、路况环境差，在当前减员增效的大环境下，无人值守机房的增多，将带来一系列的衍生问题，如交通安全隐患问题、应急处置延时长、偏远无人值守站劳动人身安全问题等。近年来，人工智能技术、机器人技术、传感器技术的高速发展，为无人值守机房智能巡检系统的研制奠定了坚实的基础。为提高电务工作者的劳动效率，电务系统对智能巡检系统的实际应用和性能赋予了较高期望，运用智能巡检系统既能应对大量的无人值守站，节省人工成本，又能延长巡检周期，保证设备质量，真正实现减员增效的目的。
传统无人值守机房巡检系统主要包含动环监控系统、智能巡检机器人两部分，其中动环监控系统部分主要是利用红外温度传感器、放电传感器、风速风向传感器、烟雾传感器等，监测无人值守机房内的环境；智能巡检机器人则是包含走行系统、定位与导航系统、供电系统、采集模块和供电系统，主要是完成无人值守机房内设备的全自主巡检，实现自主检测、监控和远程集控管理。传统智能巡检机器人系统无法实时将动环监控系统和机器人的监测数据进行融合建模分析并通过3D可视化方式展现，同时无法模拟设备故障或环境变化运行情况实现模拟仿真，为机房设备或环境故障实现应急演练和预测维护。
针对上述问题，本申请实施例还提出一种基于数字孪生的铁路无人值守机房巡检系统，以提高无人值守机房巡检的实时监控、仿真演练、预测维护和三维可视化展示，减少现场人工巡检的造成的巨大工作量，实现无人值守机房的智能巡检和分析。本申请实施例提供的基于数字孪生的铁路无人值守机房巡检系统，主要包含动环监控系统、智能巡检机器人和数字孪生系统三部分；
其中，动环监控系统与传统机器人巡检系统相比是增加了数据接口，可以将动环监控系统的数据实时传输给数字孪生系统中；
智能巡检机器人融合激光雷达、超声波雷达、可见光相机等信息，可获得稳定且准确位置姿态信息同时获取三维空间环境信息，具备自主移动、路径规划、场景分析等能力，可对机房设备进行仪表读数、温度测量，外观监测和声音采集，并在电源出现低电量时自主智能充电，保障机器人可连续无干预工作；
基于数字孪生的铁路无人值守机房巡检系统主要利用动环监控系统的环境监测、安全防范、火灾报警、动力照明和在线监测等子系统接口采集到的数据以及智能巡检机器人采集的视频、图像和雷达点云进行数据融合、机房三维建模和智能监控等。其中数据融合主要分为两部分，第一部分是根据实际机房设备名称和标记坐标，根据坐标转换公式，实现视频、图像的坐标和雷达点云数据坐标转换，进而根据坐标实现雷视数据融合，第二部分是根据设备名称、仪表位置等基础信息实现动环监控系统接口数据的直接匹配融合；机房三维建模主要是根据机房本体、设备机柜、板卡等CAD图纸数据，利用3Dmax进行长、宽、高等尺寸构建基础模型，并利用事先拍摄好的正面、背面、左侧面、右侧面、顶面、底面等各角度图片进行贴图，如设备板卡具有SolidWorks模型，则可直接其导出为.STEP文件后导入到3Dmax进行构建，最后将3Dmax中文件导出为.fbx格式，然后导入到Unity3D进行灯光渲染和后期处理；智能监控则是综合利用图像均衡化处理、霍夫直线检测、霍夫圆识别以及YOLOv5目标检测算法模型和方向梯度直方图（Histogram of Oriented Gradient，HOG）+支持向量机（Support Vector Machine, SVM）的图像分类算法模型等，对机器人巡检拍摄到的图片进行分析处理，自动识别出图像中的仪表、数字和开关状态，并针对所涉阈值和异常开关状态进行故障诊断和报警联动，实行无人化巡检。
本申请实施例提供的基于数字孪生的铁路无人值守机房巡检系统有效打破了以往各自独立的监控子系统造成的信息孤岛，实现全范围内各系统间的数据融合和信息共享。数字孪生系统采用浏览器/服务器模式（Browser/Server，B/S）架构，通过交换机、防火墙等网络通信设备布置在机房内，可在调度指挥中心终端显示，实现了虚拟化巡视漫游、仿真演练和设备的集中利用。
基于数字孪生的铁路无人值守机房巡检系统目前可实现SF6压力表、主变油温油位表、电流互感器（Current transformer，CT）/电压互感器（Potential Transformer，PT）油位表、避雷器放电计数等各类仪表刻度/读数自动识别、分合指示牌、隔离开关、开关柜指示灯、设备外观、三相/两相/单相刀闸等数十种仪表设备自动识别等功能。基于数字孪生的铁路无人值守机房巡检系统内置30多种智能图像诊断算法模型，支持巡检点路线自定义设置，可以灵活配置可见光摄像头、热成像仪及拾音器等硬件模块；具有开放的软硬件接口，支持其他子系统接入。智能巡检系统中自主研发的智能图像识别技术在算法上具有先进性，积累了大量图像资源，通过良好的算法和大量反复训练和验证，得到了设备的可靠的图像识别参数，实现了现场图像快速识别，各类仪器仪表识别准确率达到95%，漏检率1%，误检率5%，识别技术行业领先。
本发明通过融合数字孪生和智能巡检机器人系统，实现了物理世界中机房动环监控系统、机器人巡检等数字孪生体，可以通过三维可视化方式实现数据的实时交互，并基于人工智能算法实现模型仿真与预测维护，为铁路无人值守机房的实时虚拟巡检和监控提供了新型手段，可以大幅较少人力成本，并保障机房设备的安全稳定运行。
相应的，基于数字孪生的铁路无人值守机房巡检系统的构建方法包括：
Step1：针对不同的铁路无人值守机房及相关设备，构建3D可视化模型，具体是是根据机房本体、设备机柜、板卡等相关设备CAD图纸数据，利用3Dmax进行长、宽、高等尺寸构建基础模型，并利用事先拍摄好的正面、背面、左侧面、右侧面、顶面、底面等各角度图片进行贴图，如设备板卡具有SolidWorks模型，则可直接其导出为.STEP文件后导入到3Dmax进行构建，最后将3Dmax中文件导出为.fbx格式，然后导入到Unity3D进行灯光渲染和后期处理，形成3D可视化模型，达到以虚映实效果；
Step2：设计铁路无人值守机房中动环监控系统和相关设备接口，实现实际监测数据与Step1中三维可视化无人值守机房模型动态数据交互。具体的接口方式采用RestfulAPI方式，返回数据格式采用JSON格式，UTF-8编码，返回数据的字段主要包含名称（根据监控设备的监控项目确定）、数值、单位、类型（数据类型）、时间等，返回数据将直接通过JavaScript在HTML中实时显示机房3D模型的实际监控指标，达到虚实交互效果；
Step3：根据机房巡检中常见的SF6压力表、主变油温油位表、CT/PT油位表、避雷器等各类仪表以及分合指示牌（指示断开还是合上的）、隔离开关、机柜指示灯、设备外观（磨损、发黑）、三相/两相/单相刀闸等设备历史巡检图像，按照8:1:1，生成训练集、测试集和验证集，综合利用图像均衡化处理、霍夫直线检测、霍夫圆识别以及YOLOv5目标检测算法模型和HOG+SVM的图像分类算法模型等，逐个对巡检设备图片进行模型训练，导出在验证集上准确率达到95%，漏检率1%，误检率5%导的模型权重文件，生成模型库；
Step4：通过预置Step3中基于历史数据训练好的SF6压力表、主变油温油位表、CT/PT油位表、避雷器放电计数等各类仪表刻度/读数自动识别、分合指示牌、隔离开关、开关柜指示灯、设备外观、三相/两相/单相刀闸等30多种智能图像诊断算法模型，根据机房巡检的设备类别选择相应的图像诊断算法模型，进行模型推理和应用，并将模型分析结果再Step1中构建的3D模型中进行展示；
Step5：将Step4中匹配的最优训练模型进行保存，并进行模拟数据输入和预测，为铁路无人值守机房的3D漫游和模拟演练提供支撑，并在发现机房环境隐患或设备隐患时实现预测维护，并根据预测结果实现现场设备的管控，实现以虚控实。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于 RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
Claims (13)
1.一种基于数字孪生的三维视图展示方法，其特征在于，包括：
获取包含目标监控设备上目标监控项目的目标监控图像；其中，所述目标监控设备是监控现场中不具有数据传输接口的设备，所述目标监控项目是所述目标监控设备上需要通过监控以获取所述目标监控设备运行使用情况的项目；
将获得的所述目标监控图像输入至与所述目标设备上目标监控项目对应的图像处理模型中，由所述对应的图像处理模型对所述目标监控图像上所述目标监控项目对应的图像内容进行识别，得到与所述目标监控项目对应的预测运行使用数据；
将获得的所述预测运行使用数据在三维视图与所述目标监控设备对应的三维模型中进行展示；其中，所述三维视图基于所述监控现场构建。
2.根据权利要求1所述的方法，其特征在于，还包括：
获取所述监控现场中具有数据传输接口的运行设备上指定项目产生的实际运行数据；
将获得的所述实际运行数据在所述三维视图与所述运行设备对应的三维模型中进行展示。
3.根据权利要求1或2所述的方法，其特征在于，所述进行展示之前，还包括：
对所述监控现场中每一个设备采用以下两种预设方式至少之一进行建模，得到该设备在所述三维视图中的三维模型；
其中，所述两种预设方式中的一种包括：根据该设备CAD图纸中的尺寸信息构建该设备的框架，并利用预先拍摄好的该设备的外观照片对构建好的框架进行贴图，得到该设备的三维模型；
所述两种预设方式中的另一种包括：利用该设备的SolidWorks模型文件得到该设备的三维模型。
4.根据权利要求2所述的方法，其特征在于，所述实际运行数据包括：所述实际运行数据对应的指定项目的名称、所述实际运行数据的数据内容，所述实际运行数据的数据单位、所述实际运行数据的数据类型以及所述实际运行数据的数据产生时间。
5.根据权利要求1所述的方法，其特征在于，所述目标监控设备上目标监控项目包括：压力表上压力显示区，油位表上液面显示区，避雷器上雷击电流显示区和雷击次数数码管显示区，分合指示牌上分合状态指示区，隔离开关上刀闸档位变更区，机柜上指示灯显示区，机柜上设备外观；
相应的，所述图像处理模型包括：所述压力表上压力显示区的图像处理模型，所述油位表上液面显示区的图像处理模型，所述避雷器上雷击电流显示区和雷击次数数码管显示区的图像处理模型，所述分合指示牌上分合状态指示区的图像处理模型，所述隔离开关上刀闸档位变更区的图像处理模型，所述机柜上指示灯显示区的图像处理模型，所述机柜上设备外观的图像处理模型；
所述预测运行使用数据包括：预测压力数值，预测缺油与否信息，预测雷击电流值和预测雷击次数，预测分合状态信息，预测刀闸档位状态信息，预测指示灯显示信息，预设设备外观问题信息。
6.根据权利要求5所述的方法，其特征在于，当所述目标监控设备上目标监控项目为所述压力表上压力显示区，所述将获得的所述目标监控图像输入至与所述目标设备上目标监控项目对应的图像处理模型中之前，还包括：
获取包含所述压力表上压力显示区的多张样本压力表监控图像；
获取每张样本压力表监控图像上与所述压力表上压力显示区的图像内容对应的实际压力数值；
将所述多张样本压力表监控图像、所述每张样本压力表监控图像对应的实际压力数值作为训练样本集训练预设机器学习算法，生成所述压力表上压力显示区的图像处理模型。
7.根据权利要求5所述的方法，其特征在于，当所述目标监控设备上目标监控项目为所述油位表上液面显示区，所述将获得的所述目标监控图像输入至与所述目标设备上目标监控项目对应的图像处理模型中之前，还包括：
获取包含所述油位表上液面显示区的多张样本油位表监控图像；
获取每张样本油位表监控图像上与所述油位表上液面显示区的图像内容对应的实际缺油与否信息；
将所述多张样本油位表监控图像、所述每张样本油位表监控图像对应的实际缺油与否信息作为训练样本集训练预设机器学习算法，生成所述油位表上液面显示区的图像处理模型。
8.根据权利要求5所述的方法，其特征在于，当所述目标监控设备上目标监控项目为所述避雷器上雷击电流显示区和雷击次数数码管显示区，所述将获得的所述目标监控图像输入至与所述目标设备上目标监控项目对应的图像处理模型中之前，还包括：
获取包含避雷器上雷击电流显示区和雷击次数数码管显示区的多张样本避雷器监控图像；
获取每张样本避雷器监控图像上与所述避雷器上雷击电流显示区的图像内容对应的实际雷击电流值，并获取每张样本避雷器监控图像上与所述避雷器上雷击次数数码管显示的图像内容对应的实际雷击次数；
将所述多张样本避雷器监控图像、所述每张样本避雷器监控图像对应的实际雷击电流值和实际雷击次数作为训练样本集训练预设机器学习算法，生成所述避雷器上雷击电流显示区和雷击次数数码管显示区的图像处理模型。
9.根据权利要求5所述的方法，其特征在于，当所述目标监控设备上目标监控项目为分合指示牌上分合指示区，所述将获得的所述目标监控图像输入至与所述目标设备上目标监控项目对应的图像处理模型中之前，还包括：
获取包含所述分合指示牌上分合指示区的多张样本分合指示牌监控图像；
获取每张样本分合指示牌监控图像上与所述分合指示牌上分合指示区的图像内容对应的实际分合状态信息；
将所述多张样本分合指示牌监控图像、所述每张样本分合指示牌监控图像对应的分合状态信息作为训练样本集训练预设机器学习算法，生成所述分合指示牌上分合指示区的图像处理模型。
10.根据权利要求5所述的方法，其特征在于，当所述目标监控设备上目标监控项目为所述隔离开关上刀闸档位变更区，所述将获得的所述目标监控图像输入至与所述目标设备上目标监控项目对应的图像处理模型中之前，还包括：
获取包含所述隔离开关上刀闸档位变更区的多张样本隔离开关监控图像；
获取每张样本隔离开关监控图像上与所述隔离开关上刀闸档位变更区的图像内容对应的实际刀闸档位状态信息；
将所述多张样本隔离开关监控图像、所述每张样本隔离开关监控图像对应的实际刀闸档位状态信息作为训练样本集训练预设机器学习算法，生成所述隔离开关上刀闸档位变更区的图像处理模型。
11.根据权利要求5所述的方法，其特征在于，当所述目标监控设备上目标监控项目为所述机柜上指示灯显示区，所述将获得的所述目标监控图像输入至与所述目标设备上目标监控项目对应的图像处理模型中之前，还包括：
获取包含所述机柜上指示灯显示区的多张样本机柜监控图像；
获取每张样本机柜监控图像上与所述机柜上指示灯显示区的图像内容获取对应的实际指示灯显示信息；
将所述多张样本机柜监控图像、所述每张样本机柜监控图像对应的指示灯显示信息作为训练样本集训练预设机器学习算法，生成所述机柜上指示灯显示区的图像处理模型。
12.根据权利要求5所述的方法，其特征在于，当所述目标监控设备上目标监控项目为所述机柜的设备外观，所述将获得的所述目标监控图像输入至与所述目标设备上目标监控项目对应的图像处理模型中之前，还包括：
获取包含所述机柜上设备外观的多张样本机柜监控图像；
获取每张样本机柜监控图像上与所述机柜上设备外观的图像内容对应的实际设备外观问题信息；
将所述多张样本机柜监控图像、所述每张样本机柜监控图像对应的实际设备外观问题信息作为训练样本集训练预设机器学习算法，生成所述机柜上设备外观的图像处理模型。
13.一种基于数字孪生的三维视图展示装置，其特征在于，包括：存储器和处理器，所述存储器用于保存可执行程序；
所述处理器用于读取执行所述可执行程序，以实现如权利要求1-12任一项所述的基于数字孪生的三维视图展示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310138837.1A CN115877993A (zh) | 2023-02-21 | 2023-02-21 | 一种基于数字孪生的三维视图展示方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310138837.1A CN115877993A (zh) | 2023-02-21 | 2023-02-21 | 一种基于数字孪生的三维视图展示方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115877993A true CN115877993A (zh) | 2023-03-31 |
Family
ID=85761369
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310138837.1A Pending CN115877993A (zh) | 2023-02-21 | 2023-02-21 | 一种基于数字孪生的三维视图展示方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115877993A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116612223A (zh) * | 2023-07-17 | 2023-08-18 | 金锐同创(北京)科技股份有限公司 | 数字孪生模拟空间的生成方法、装置、计算机设备和介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135042A (zh) * | 2019-05-08 | 2019-08-16 | 国网江苏省电力有限公司信息通信分公司 | 一种信息机房的可视化集成管理方法 |
| CN114155380A (zh) * | 2021-11-30 | 2022-03-08 | 广东电网有限责任公司 | 一种仪表盘图像识别方法、装置、计算机设备和存储介质 |
| WO2022148077A1 (zh) * | 2021-01-07 | 2022-07-14 | 大连理工大学 | 智能挖掘机的结构性能数字孪生体构建方法 |
| CN115272664A (zh) * | 2022-09-05 | 2022-11-01 | 广东电网有限责任公司 | 仪表盘示数展示方法、装置、电子设备和存储介质 |
| CN115395646A (zh) * | 2022-08-08 | 2022-11-25 | 北京中润惠通科技发展有限公司 | 一种数字孪生式牵引变电所智慧运维系统 |
| CN115469594A (zh) * | 2022-09-27 | 2022-12-13 | 北京中佳瑞通科技有限公司 | 一种数字孪生监控系统 |
-
2023
- 2023-02-21 CN CN202310138837.1A patent/CN115877993A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135042A (zh) * | 2019-05-08 | 2019-08-16 | 国网江苏省电力有限公司信息通信分公司 | 一种信息机房的可视化集成管理方法 |
| WO2022148077A1 (zh) * | 2021-01-07 | 2022-07-14 | 大连理工大学 | 智能挖掘机的结构性能数字孪生体构建方法 |
| CN114155380A (zh) * | 2021-11-30 | 2022-03-08 | 广东电网有限责任公司 | 一种仪表盘图像识别方法、装置、计算机设备和存储介质 |
| CN115395646A (zh) * | 2022-08-08 | 2022-11-25 | 北京中润惠通科技发展有限公司 | 一种数字孪生式牵引变电所智慧运维系统 |
| CN115272664A (zh) * | 2022-09-05 | 2022-11-01 | 广东电网有限责任公司 | 仪表盘示数展示方法、装置、电子设备和存储介质 |
| CN115469594A (zh) * | 2022-09-27 | 2022-12-13 | 北京中佳瑞通科技有限公司 | 一种数字孪生监控系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116612223A (zh) * | 2023-07-17 | 2023-08-18 | 金锐同创(北京)科技股份有限公司 | 数字孪生模拟空间的生成方法、装置、计算机设备和介质 |
| CN116612223B (zh) * | 2023-07-17 | 2023-10-17 | 金锐同创(北京)科技股份有限公司 | 数字孪生模拟空间的生成方法、装置、计算机设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106710001B (zh) | 一种基于变电站巡检机器人集中监控仿真系统及其方法 | |
| CN106026393B (zh) | 一种电网线路智能巡线及运行安全风险预测系统及方法 | |
| CN112910094B (zh) | 基于泛在电力物联网的变电站远方自动巡检系统及方法 | |
| CN110047150B (zh) | 一种基于增强现实的复杂设备操作运行在位仿真系统 | |
| CN103268571B (zh) | 电力设备状态显示方法和系统 | |
| CN109242118A (zh) | 一种智能运维可视一体化的管理系统 | |
| CN110400387A (zh) | 一种基于变电站的联合巡检方法、系统和存储介质 | |
| CN105118106A (zh) | 电力巡检手持终端、巡检线路获取方法及线路巡检方法 | |
| CN116298701B (zh) | 一种基于数字孪生系统的配电网故障检测方法及相关装置 | |
| CN112327906A (zh) | 一种基于无人机的智能自动巡检系统 | |
| CN103220500B (zh) | 电网设备监控图像与业务分析图像叠加展示方法 | |
| CN113362487A (zh) | 配电线路无人机智能自主巡检统一管控系统 | |
| CN105005281A (zh) | 基于谷歌眼镜的智能变电站巡检实时数据展示系统及方法 | |
| CN115877993A (zh) | 一种基于数字孪生的三维视图展示方法及装置 | |
| CN214704735U (zh) | 一种综合管廊智慧巡检系统 | |
| CN114744756A (zh) | 一种基于机器视觉的输电线路智能巡检系统 | |
| CN202976181U (zh) | 基于物联网和3d gis的桥梁管理系统 | |
| CN117351521B (zh) | 基于数字孪生的输电线鸟类检测方法、系统、介质及设备 | |
| CN114025148A (zh) | 一种监测方法和监测系统 | |
| CN110263622A (zh) | 列车火情监测方法、装置、终端及存储介质 | |
| CN111384776A (zh) | 一种基于vr的变电站三维全景状态监测方法及系统 | |
| CN109066980A (zh) | 一种特高压输电线路3d通道智能管控系统 | |
| CN107292987A (zh) | 一种线路巡视系统 | |
| CN116363397A (zh) | 设备故障排查方法、装置及巡检系统 | |
| CN113177086B (zh) | 一种应用于变电站智能运维系统的三维可视化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230331 |
|
| RJ01 | Rejection of invention patent application after publication |