CN113658325B - 数字孪生环境下的生产线不确定对象智能识别与预警方法 - Google Patents

数字孪生环境下的生产线不确定对象智能识别与预警方法 Download PDF

Info

Publication number
CN113658325B
CN113658325B CN202110896179.3A CN202110896179A CN113658325B CN 113658325 B CN113658325 B CN 113658325B CN 202110896179 A CN202110896179 A CN 202110896179A CN 113658325 B CN113658325 B CN 113658325B
Authority
CN
China
Prior art keywords
production line
uncertain
objects
model
early warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110896179.3A
Other languages
English (en)
Other versions
CN113658325A (zh
Inventor
王昊琪
李�浩
黄荣杰
刘根
杜鸿钰
李兵
文笑雨
张玉彦
孙春亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University of Light Industry
Original Assignee
Zhengzhou University of Light Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University of Light Industry filed Critical Zhengzhou University of Light Industry
Priority to CN202110896179.3A priority Critical patent/CN113658325B/zh
Publication of CN113658325A publication Critical patent/CN113658325A/zh
Priority to US17/734,113 priority patent/US11829116B2/en
Application granted granted Critical
Publication of CN113658325B publication Critical patent/CN113658325B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4063—Monitoring general control system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/4184—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by fault tolerance, reliability of production system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4069—Simulating machining process on screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31025—PAC production activity controller
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31439—Alarms can be warning, alert or fault
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31464—Select between different models corresponding to diff process control configurations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Abstract

本发明提出一种数字孪生环境下的生产线不确定对象智能识别与预警方法，首先建立非生产线系统不确定物理对象的模型库；其次，附加非生产线系统不确定物理对象的属性数据；将建立的非生产线系统不确定物理对象的模型库及其附加属性数据导入现有生产线数字孪生系统的模型库中；基于YOLO方法对进入生产线系统的不确定物理对象进行自动检测；基于双目视觉对进入生产线系统的不确定物理对象的实际大小进行自动检测；对于不安全对象，综合采用语音提示、系统报警、信息推送等手段进行危险预警；对于安全对象，在所建立的模型库中匹配出对应的三维模型；最终，将匹配到的三维模型加载到生产线数字孪生系统中。

Description

数字孪生环境下的生产线不确定对象智能识别与预警方法
技术领域
本发明涉及生产线调控的数字化，智能化技术领域，特别是指数字孪生环境下的生产线不确定对象智能识别与预警方法。
背景技术
数字孪生(Digital Twin，DT)是实现物理空间和虚拟空间深度融合的有效解决方案之一，最初被定义为一个集成了多物理性、多尺度性、概率性的仿真模型，能够实时反映真实产品或系统的状态。随着数字孪生技术的不断完善，其应用已经扩展到制造、建筑、医疗、城市和电网等十多个行业，不同行业根据自身业务场景定义了不同的数字孪生系统。这些数字孪生系统的共性特征是精准映射、虚实同步、智能反馈和优化迭代。实现这些特征的前提是保证虚拟空间与对应物理空间中的实体在几何、功能和性能上的一致，即虚拟空间是物理空间的数字“镜像”。
本发明的对象是车间生产线，生产线是由人、物料、设备、网络和环境等组成的动态制造系统。生产线是制造业的生产能力载体和主要管理对象，更是每个制造企业分秒必争的重要系统，因为生产线能否正常运行直接关系到企业的利润，由于各种原因导致的生产线停工将给企业带来巨大的经济损失。数字孪生技术是实现传统车间生产线数字化改造和智能化升级的有效途径，生产线数字孪生系统是面向工业产品的生产制造过程，以数字化方式建立全要素、全流程、全业务的虚拟模型，通过物理对象与虚拟模型的双向映射与实时交互，实现工业产品的生产线设计、生产线规划仿真、制造过程优化、生产安全管控等功能。
在生产线数字孪生系统中，非生产线系统的不确定对象的准确识别和快速建模是实现虚实同步和保证生产线正常运行的关键。生产线数字孪生系统中的虚拟模型大多数是在设计阶段构建和确定的，虽然在生产线运行时，通过实时数据的感知和反馈，这些虚拟模型能够随着物理对象的运行而同步动态变化。但是，当非生产线系统的不确定物理对象(如非本工位的操作工人、外来物料、外来运输设备、火情、漏油、漏气等)突然进入正常运行的生产线系统时，不仅可能影响生产线的稳定运行，甚至存在安全隐患。例如，钣金件在汽车白车身焊接生产线运行时，突然有运送钣金件到其他车间的叉车误入生产现场，并没有通知现场工人，现场工人来不及反应就存在与叉车碰撞的风险；另外，叉车工人由于不熟悉该生产现场道路，可能在驾驶叉车过程中破坏正在运行的其他设备，导致生产停工。再如，生产线系统中突然出现明火，监管人员或者现场工人应根据火情大小进行预警，当火情较小时，监管人员可快速将火扑灭；当火情较大无法控制时，监管人员应迅速通知现场工人撤离并停止生产线运行。
根据以上分析，为了保证生产线数字孪生系统的虚实同步与安全生产，系统需要能够准确识别进入生产线系统的不确定物理对象的类型，并快速建立对应的虚拟模型。传统的方法是采用人工视频监控，通过监管人员进行主观判断，这种方法存在漏判和误判的缺陷；另外，即使监管人员及时做出了识别，在数字孪生环境下，也很难实现生产线数字孪生系统的虚实同步，因为监管人员首先要通知技术人员，同时为技术人员提供物理对象的几何和位姿等数据，再由技术人员建立对应的虚拟模型，再将新建立的模型加载到虚拟生产线中，该过程耗时较长。为此，本发明提出了一种数字孪生环境下的生产线不确定对象智能识别与预警方法。当非生产线系统的不确定物理对象进入正常运行的生产线时，本发明能够通过深度学习算法判断其类型、检测其位置和大小，当判断该对象类型属于危险对象时，能够及时进行预警，保证安全生产；当判断该对象类型属于安全对象时，能够通过进一步的模型匹配方法在模型库中匹配相应模型，最终在虚拟生产线中根据检测到的实际位置和大小数据快速建立对应的虚拟模型，并加载到虚拟生产线中，保证虚拟生产线是物理生产线的数字“镜像”。
发明内容
针对上述背景技术中存在的不足，本发明提出了一种数字孪生环境下的生产线不确定对象智能识别与预警方法，解决了现有生产线数字孪生系统难以对非生产线的不确定物理对象的识别和对不安全对象的预警的问题。
本发明的技术方案的实现如下：
一种数字孪生环境下的生产线不确定对象智能识别与预警方法，包括如下步骤：
S1、建立非生产线系统不确定物理对象的模型库：针对具体的车间生产线系统，利用CAD软件建立可能进入该生产线的所有非生产线系统不确定物理对象(非该生产线的员工、设备、物料等安全对象，以及明火、漏油、漏气等危险对象)的三维实体模型，并对模型进行类型划分得到模型族；
S2、附加非生产线系统不确定物理对象的属性数据：根据设计工程师和制造工程师的知识，确定非生产线系统不确定物理对象的属性数据，包括名称、编号(唯一标识)、类型、外形尺寸、安全性(分为安全对象和不安全对象)、危险等级，通过CAD软件的二次开发接口将这些数据直接附加到已经建立的不确定对象的三维实体模型中；
S3、将步骤S1和S2建立的非生产线系统不确定物理对象的模型库及其附加属性数据导入现有生产线数字孪生系统的模型库中；
S4、基于YOLO方法对进入生产线系统的不确定物理对象进行自动检测；
S5、基于双目视觉检测进入生产线系统的不确定物理对象的实际大小；
S6、根据S4和S5的目标检测的结果，实时判断进入生产线系统的物理对象的安全性，如果属于不安全对象，进行步骤S7危险预警，如果属于安全对象，进行步骤S8模型匹配；
S7、危险预警：对于不安全对象，综合采用语音提示、系统报警、信息推送等手段进行危险预警，根据不安全对象的危险等级使用不同的预警内容，例如进入生产线系统的是非本生产线的运输车，通过语音提示现场工人注意安全，并通过信息推送通知车间管理人员进行运输车辆的身份核实；如果是出现较大火情，系统发出危险报警，并语音提示所有人员有序撤离；
S8、对于安全对象，根据检测到的进入生产线的不确定物理对象的类型和大小，在所建立的模型库中匹配出对应的虚拟模型：首先根据S4步骤得到的类型信息，在S1所建立的非生产线系统不确定物理对象的模型库中匹配得到相同类型的模型族，再根据S5步骤得到的实际大小，从模型族中匹配找到具体的三维模型；
S9、生产线数字孪生系统不确定对象同步建模。
进一步地，所述非生产线系统不确定物理对象的模型库是模型自动匹配的对象，不仅需要包括不确定物理对象的三维实体模型，还需要附加对应的属性信息，包括名称、编号、类型、外形尺寸、安全性和危险等级，通过类型可以识别不确定物理对象所属的模型族，通过外形尺寸确定所匹配的具体三维实体模型，通过安全性判断是否需要进行危险预警，通过危险等级，确定危险预警的内容；
进一步地，S4中基于YOLO方法对进入生产线系统的不确定物理对象进行自动检测采用基于深度学习的目标检测方法YOLO V3对进入生产线系统的不确定物理对象进行目标识别，确定其类型、安全性和危险等级，为了提高目标检测的准确率，在训练深度学习模型时需要结合生产线现场监控系统所拍视频的分辨率、光照、检测对象与背景的比例等，对YOLO V3的参数进行调整，目标检测完成后，对于属于不安全对象的，根据危险等级综合采用语音提示、系统报警、信息推送等手段进行危险预警，预警的内容根据危险等级和不安全对象来确定；具体为：将非生产线系统不确定物理对象的图像作为训练图像，分割训练图像成C行*C列的网格单元，对分割后的图像进行标记，确定其边界框、类型、安全性、危险等级，将这C*C个网格单元进行全卷积神经网络计算，获得每个不确定物理对象的损失函数，将被检图像分割成D行*D列的网格单元，并进行全卷积神经网络计算，计算得到(D，D，m)的输出量，其中m＝x*y，x是每个网格的锚框个数，y＝5+z+2，5分别代表对象是否存在于网格中、边界框原点的横坐、边界框原点的纵坐标、边界框高度、便捷框宽度，z代表检测类别的属相，2代表安全属性和危险等级，使用交并比IoU和非极大值抑制NMS去除重叠框格，得到进入生产线系统的不确定物理对象的边界框和类型等信息，对于属于不安全对象的，根据危险等级综合采用采用语音提示、系统报警、信息推送等手段进行危险预警。
进一步地，S5中基于双目视觉检测进入生产线系统的不确定物理对象的实际大小具体为：使用MATLAB对双目相机进行自动标定，得到两个相机的内外参数和畸变参数，分别对两张图像用单应性矩阵变换，把两个不同方向的图像平面重新投影到同一个光轴互相平行的平面上，采用滑动窗口方法对两个图像的像素点进行匹配，计算每个像素的深度，获得深度图，目标检测得到的不确定对象的边界框，计算获得对象的实际大小。
进一步地，S9中生产线数字孪生系统不确定对象同步建模具体为：根据检测到的进入生产线系统的物理对象的位置数据，将匹配到的三维模型加载到生产线数字孪生系统中：将S8匹配得到的不确定对象的三维模型导入3D Max软件进行渲染，然后在基于Unity3D的虚拟生产线中加载渲染后的三维模型，根据S4步骤获得的位置数据调整三维模型的位置数据，完成虚拟生产线的模型更新。
相比于现有技术，本发明的优点在于：
1)基于YOLO的生产线数字孪生系统的不确定物理对象智能识别和预警，借助深度学习技术实现了进入生产线系统的不安全物理对象的快速目标检测，减少了人为主观识别导致的误判和漏判的概率，并根据检测得到的危险等级进行自动且及时的危险预警，减少了车间安全事故，保证了安全生产；
2)设计了非生产线系统不确定物理对象的模型库，通过生产线数字孪生系统不确定物理对象同步建模技术从模型库中快速匹配出三维实体模型，并加载到生产线虚拟模型中，减少了人工建模、渲染的导入数字孪生系统时间，保证了数字孪生系统的精准映射和虚实同步特性。
附图说明
图1为本发明的总体流程图；
图2为本发明的系统运行原理图；
图3为本发明的基于深度学习的不确定物理对象智能识别和预警原理图；
图4为本发明的生产线数字孪生系统不确定对象同步建模原理图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种数字孪生环境下的生产线不确定对象智能识别与预警方法，具体步骤如下：
S1、建立非生产线系统不确定物理对象的模型库：针对具体的车间生产线系统，利用Pro/E三维建模软件建立可能进入该生产线的所有非生产线系统不确定物理对象(非该生产线的员工、设备、物料等安全对象，以及明火、漏油、漏气等危险对象)的三维实体模型，并对模型进行类型划分得到模型族，例如AGV小车类型的模型族、叉车类型的模型族；
S2、附加非生产线系统不确定物理对象的属性数据：根据设计工程师和制造工程师的知识，确定非生产线系统不确定物理对象的属性数据，包括名称、编号(唯一标识)、类型、外形尺寸、安全性(分为安全对象和不安全对象)、危险等级(只针对不安全对象)，通过Pro/E软件的二次开发接口ProToolkit的外部数据API函数将这些数据直接附加到已经建立的不确定对象的三维实体模型中，其中ProExtdataInit()对数据进行初始化，ProExtdataSlotCreate()创建外部数据所需要的空间，最后通过ProExtdataSlotWrite()将数据写入模型；
S3、将步骤S1和S2建立的非生产线系统不确定物理对象的模型库及其附加属性数据导入现有生产线数字孪生系统的模型库中：生产线数字孪生系统的虚拟生产线通过Unity3D搭建，Pro/E软件建立不确定物理对象的三维模型后，使用3D Max建立场景和渲染模型，再将模型和场景要素导出为.FBX格式，最后将场景和模型部件导入Unity 3D中；
S4、基于YOLO方法对进入生产线系统的不确定物理对象进行自动检测：准备非生产线系统不确定物理对象的图片，标记后将图片输入卷积神经网络CNN进行训练，得到训练集，再将生产线现场视频数据传入YOLO V3模型中进行预测，最终使用交并比IoU和非极大值抑制NMS去除重叠框格，得到进入生产线系统的不确定物理对象的边界框和类型等信息；
S5、基于双目视觉方法检测进入生产线系统的不确定物理对象的大小：首先使用两个相机拍摄得到非生产线系统不确定物理对象的两幅数字图像，对两个相机进行标定，得到两个相机的内外参数和相对距离，然后根据标定结果校正原始图像，使得左右图像的成像原点坐标一致，校正后的两张图像位于同一平面，最后对校正后的两张图像进行像素点匹配，从而得到深度信息，结合S4步骤的边界框得到对象的大小；
S6、根据S4和S5的目标检测的结果，实时判断进入生产线系统的物理对象的安全性，如果属于不安全对象，进行步骤S7危险预警，如果属于安全对象，进行步骤S8模型匹配；
S7、危险预警：对于不安全对象，综合采用语音提示、系统报警、信息推送等手段进行危险预警，根据不安全对象的危险等级使用不同的预警内容，例如进入生产线系统的是非本生产线的运输车，通过广播提示现场工人注意安全，并通知车间管理人员进行运输车辆的身份核实；如果是出现较大火情，系统发出危险报警，并广播通知所有人员有序撤离；
S8、对于安全对象，根据检测到的进入生产线的不确定物理对象的类型和大小数据，在所建立的模型库中匹配出对应的虚拟模型：首先根据S4步骤得到的类型信息，在S1所建立的非生产线系统不确定物理对象的模型库中匹配得到相同类型的模型族，再根据S5步骤得到的大小数据，从模型族中匹配找到具体的三维模型；
S9、根据检测到的进入生产线系统的物理对象的位置数据，将匹配到的三维模型加载到生产线数字孪生系统中：将S8匹配得到的不确定对象的Pro/E所创建的三维模型导入3D Max软件进行渲染，然后在基于Unity 3D的虚拟生产线中加载渲染后的三维模型，根据S4步骤获得的位置数据在Unity 3D调整三维模型的位置数据，完成虚拟生产线的模型更新。
如图2所示的数字孪生环境下的生产线不确定对象智能识别与预警方法运行原理，其特征在于，包括非生产线系统不确定物理对象的模型库、基于YOLO的生产线数字孪生系统的不确定物理对象智能识别和预警、基于双目视觉的生产线数字孪生系统不确定物理对象的实际大小自动检测、生产线数字孪生系统不确定对象同步建模组成。
其中，所述非生产线系统不确定物理对象的模型库的构建步骤为：针对具体的车间生产线系统，利用Pro/E三维建模软件建立可能进入该生产线的所有非生产线系统不确定物理对象的三维实体模型，并对模型进行类型划分得到模型族，根据设计工程师和制造工程师的知识，确定这些不确定物理对象的属性数据，包括名称、编号、类型、外形尺寸、安全性、危险等级，通过Pro/E软件的二次开发接口ProToolkit将这些数据直接附加到已经建立的不确定物理对象的三维实体模型中；
所述基于YOLO的生产线数字孪生系统的不确定物理对象智能识别和预警：采用基于深度学习的目标检测方法YOLO V3对进入生产线系统的不确定物理对象进行目标识别，确定其类型、安全性和危险等级，对于属于不安全对象的，根据危险等级综合采用采用语音提示、系统报警、信息推送等手段进行危险预警；
所述基于双目视觉的生产线数字孪生系统不确定物理对象的实际大小自动检测步骤包括：使用双目相机拍摄得到非生产线系统不确定物理对象的两幅数字图像，对两个相机进行标定，得到两个相机的内外参数和相对距离，然后根据标定结果校正原始图像，使得左右图像的成像原点坐标一致，校正后的两张图像位于同一平面，最后对校正后的两张图像进行像素点匹配，从而得到深度信息，结合不确定对象目标检测的边界框得到对象的实际大小；
所述生产线数字孪生系统不确定对象同步建模步骤包括：根据不确定物理对象的类型信息，在所建立的非生产线系统不确定物理对象的模型库中匹配得到相同类型的模型族，再根据不确定物理对象的实际大小数据，从模型族中匹配找到具体的三维模型，并导入Unity 3D所建立的生产线虚拟场景中，最后根据目标检测得到的位置信息更新不确定对象三维模型的位置。
如图3所示的基于深度学习的不确定物理对象智能识别和预警原理：将非生产线系统不确定物理对象的图像作为训练图像，分割训练图像成C行*C列的网格单元，对分割后的图像进行标记，确定其边界框、类型、安全性、危险等级，将这C*C个网格单元进行全卷积神经网络计算，获得每个不确定物理对象的损失函数，将被检图像分割成D行*D列的网格单元，并进行全卷积神经网络计算，计算得到(D，D，m)的输出量，其中m＝x*y，x是每个网格的锚框个数，y＝5+z+2，5分别代表对象是否存在于网格中、边界框原点的横坐、边界框原点的纵坐标、边界框高度、边界框宽度，z代表检测类别的属相，2代表安全属性和危险等级，使用交并比IoU和非极大值抑制NMS去除重叠框格，得到进入生产线系统的不确定物理对象的边界框和类型等信息，对于属于不安全对象的，根据危险等级综合采用语音提示、系统报警、信息推送等手段进行危险预警。
如图4所示的生产线数字孪生系统不确定对象同步建模原理：根据不确定物理对象的类型信息，在所建立的非生产线系统不确定物理对象的模型库中匹配得到相同类型的模型族，再根据不确定物理对象的实际大小数据，从模型族中匹配找到具体的三维模型，并导入Unity 3D所建立的生产线虚拟场景中，最后根据目标检测得到的位置信息在Unity 3D中更新不确定对象三维模型的位置。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (5)

1.一种数字孪生环境下的生产线不确定对象智能识别与预警方法，其特征在于，包括如下步骤：
S1、建立非生产线系统不确定物理对象的模型库：针对具体的车间生产线系统，利用CAD软件建立可能进入该生产线的所有非生产线系统不确定物理对象的三维实体模型，并对模型进行类型划分得到模型族；
S2、附加非生产线系统不确定物理对象的属性数据：根据设计工程师和制造工程师的知识，确定非生产线系统不确定物理对象的属性数据，包括名称、编号、类型、外形尺寸、安全性、危险等级，通过CAD软件的二次开发接口将这些数据直接附加到已经建立的不确定对象的三维实体模型中；
S3、将步骤S1和S2建立的非生产线系统不确定物理对象的模型库及其附加属性数据导入现有生产线数字孪生系统的模型库中；
S4、基于YOLO方法对进入生产线系统的不确定物理对象进行自动检测；
S5、基于双目视觉检测进入生产线系统的不确定物理对象的实际大小；
S6、根据S4和S5的目标检测的结果，实时判断进入生产线系统的物理对象的安全性，如果属于不安全对象，进行步骤S7危险预警，如果属于安全对象，进行步骤S8模型匹配；
S7、危险预警：对于不安全对象，综合采用语音提示、系统报警、信息推送的手段进行危险预警，根据不安全对象的危险等级使用不同的预警内容，如果进入生产线系统的是非本生产线的运输车，通过语音提示现场工人注意安全，并通过信息推送通知车间管理人员进行运输车辆的身份核实；如果是出现火情，系统发出危险报警，并语音提示所有人员有序撤离；
S8、对于安全对象，根据检测到的进入生产线的不确定物理对象的类型和大小，在所建立的模型库中匹配出对应的虚拟模型：首先根据S4步骤得到的类型信息，在S1所建立的非生产线系统不确定物理对象的模型库中匹配得到相同类型的模型族，再根据S5步骤得到的实际大小，从模型族中匹配找到具体的三维模型；
S9、生产线数字孪生系统不确定对象同步建模。
2.如权利要求1所述的一种数字孪生环境下的生产线不确定对象智能识别与预警方法，其特征在于，所述非生产线系统不确定物理对象的模型库是模型自动匹配的对象，不仅需要包括不确定物理对象的三维实体模型，还需要附加对应的属性信息，包括名称、编号、类型、外形尺寸、安全性和危险等级，通过类型可以识别不确定物理对象所属的模型族，通过外形尺寸确定所匹配的具体三维实体模型，通过安全性判断是否需要进行危险预警，通过危险等级，确定危险预警的内容。
3.如权利要求1所述的一种数字孪生环境下的生产线不确定对象智能识别与预警方法，其特征在于，S4中基于YOLO方法对进入生产线系统的不确定物理对象进行自动检测采用基于深度学习的目标检测方法YOLO V3对进入生产线系统的不确定物理对象进行目标识别，确定其类型、安全性和危险等级，为了提高目标检测的准确率，在训练深度学习模型时需要结合生产线现场监控系统所拍视频的分辨率、光照、检测对象与背景的比例，对YOLOV3的参数进行调整，目标检测完成后，对于属于不安全对象的，根据危险等级综合采用语音提示、系统报警、信息推送手段进行危险预警，预警的内容根据危险等级和不安全对象来确定；具体为：将非生产线系统不确定物理对象的图像作为训练图像，分割训练图像成C行*C列的网格单元，对分割后的图像进行标记，确定其边界框、类型、安全性、危险等级，将这C*C个网格单元进行全卷积神经网络计算，获得每个不确定物理对象的损失函数，将被检图像分割成D行*D列的网格单元，并进行全卷积神经网络计算，计算得到(D，D，m)的输出量，其中m＝x*y，x是每个网格的锚框个数，y＝5+z+2，5分别代表对象是否存在于网格中、边界框原点的横坐、边界框原点的纵坐标、边界框高度、便捷框宽度，z代表检测类别的属相，2代表安全属性和危险等级，使用交并比IoU和非极大值抑制NMS去除重叠框格，得到进入生产线系统的不确定物理对象的边界框和类型信息，对于属于不安全对象的，根据危险等级综合采用语音提示、系统报警、信息推送手段进行危险预警。
4.如权利要求1所述的一种数字孪生环境下的生产线不确定对象智能识别与预警方法，其特征在于，S5中基于双目视觉检测进入生产线系统的不确定物理对象的实际大小具体为：使用MATLAB对双目相机进行自动标定，得到两个相机的内外参数和畸变参数，分别对两张图像用单应性矩阵变换，把两个不同方向的图像平面重新投影到同一个光轴互相平行的平面上，采用滑动窗口方法对两个图像的像素点进行匹配，计算每个像素的深度，获得深度图，目标检测得到的不确定对象的边界框，计算获得对象的实际大小。
5.如权利要求1所述的一种数字孪生环境下的生产线不确定对象智能识别与预警方法，其特征在于，S9中生产线数字孪生系统不确定对象同步建模具体为：根据检测到的进入生产线系统的物理对象的位置数据，将匹配到的三维模型加载到生产线数字孪生系统中：将S8匹配得到的不确定对象的三维模型导入3D Max软件进行渲染，然后在基于Unity 3D的虚拟生产线中加载渲染后的三维模型，根据S4步骤获得的位置数据调整三维模型的位置数据，完成虚拟生产线的模型更新。
CN202110896179.3A 2021-08-05 2021-08-05 数字孪生环境下的生产线不确定对象智能识别与预警方法 Active CN113658325B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110896179.3A CN113658325B (zh) 2021-08-05 2021-08-05 数字孪生环境下的生产线不确定对象智能识别与预警方法
US17/734,113 US11829116B2 (en) 2021-08-05 2022-05-02 Intelligent identification and warning method for uncertain object of production line in digital twin environment (DTE)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110896179.3A CN113658325B (zh) 2021-08-05 2021-08-05 数字孪生环境下的生产线不确定对象智能识别与预警方法

Publications (2)

Publication Number Publication Date
CN113658325A CN113658325A (zh) 2021-11-16
CN113658325B true CN113658325B (zh) 2022-11-11

Family

ID=78478438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110896179.3A Active CN113658325B (zh) 2021-08-05 2021-08-05 数字孪生环境下的生产线不确定对象智能识别与预警方法

Country Status (2)

Country Link
US (1) US11829116B2 (zh)
CN (1) CN113658325B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111831337B (zh) * 2019-04-19 2022-11-29 安徽寒武纪信息科技有限公司 数据同步方法及装置以及相关产品
JP2022048017A (ja) * 2020-09-14 2022-03-25 株式会社東芝 作業推定装置、方法およびプログラム
US20220309753A1 (en) * 2021-03-25 2022-09-29 B/E Aerospace, Inc. Virtual reality to assign operation sequencing on an assembly line
CN114282360B (zh) * 2021-12-15 2023-04-18 郑州轻工业大学 数字孪生环境下本体驱动的车间不安全状态语义推理方法
CN114476435B (zh) * 2022-01-21 2022-12-09 郑州轻工业大学 虚实同步的智能垃圾箱多状态三维呈现与异常反馈方法
CN116310148B (zh) * 2023-05-17 2023-09-12 山东捷瑞数字科技股份有限公司 一种数字孪生三维场景构建方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018037392A1 (en) * 2016-08-26 2018-03-01 Outmind, Lda System and method for access control in open restricted areas
CN109359507A (zh) * 2018-08-24 2019-02-19 南京理工大学 一种车间人员数字孪生体模型快速构建方法
CN109872509A (zh) * 2019-04-02 2019-06-11 西安邮电大学 基于数字孪生驱动的山体地质灾害监测与预警系统及方法
WO2020190272A1 (en) * 2019-03-18 2020-09-24 Siemens Aktiengesellschaft Creation of digital twin of the interaction among parts of the physical system
WO2021041755A1 (en) * 2019-08-29 2021-03-04 Siemens Aktiengesellschaft Semantically supported object recognition to provide knowledge transfer
CN112668237A (zh) * 2020-12-25 2021-04-16 深圳华龙讯达信息技术股份有限公司 一种基于工业互联网云平台的数字孪生模型及其构建方法
CN112818446A (zh) * 2021-01-26 2021-05-18 西安交通大学 一种智能车间数字孪生系统的构建方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US9977425B1 (en) * 2017-07-14 2018-05-22 General Electric Company Systems and methods for receiving sensor data for an operating manufacturing machine and producing an alert during manufacture of a part
CN109426212A (zh) * 2017-08-30 2019-03-05 西门子公司 生成数控设备的运行模拟信息的方法、装置、设备和系统
US11493908B2 (en) * 2018-11-13 2022-11-08 Rockwell Automation Technologies, Inc. Industrial safety monitoring configuration using a digital twin
JP2023500378A (ja) 2019-11-05 2023-01-05 ストロング フォース ヴィーシーエヌ ポートフォリオ ２０１９，エルエルシー バリューチェーンネットワークのためのコントロールタワーおよびエンタープライズマネジメントプラットフォーム
EP4055551A4 (en) 2019-11-05 2023-12-06 Strong Force VCN Portfolio 2019, LLC CONTROL TOWER AND BUSINESS MANAGEMENT PLATFORM FOR VALUE CHAIN NETWORKS
CN111161410B (zh) * 2019-12-30 2021-10-12 中国矿业大学(北京) 一种矿井数字孪生模型及其构建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018037392A1 (en) * 2016-08-26 2018-03-01 Outmind, Lda System and method for access control in open restricted areas
CN109359507A (zh) * 2018-08-24 2019-02-19 南京理工大学 一种车间人员数字孪生体模型快速构建方法
WO2020190272A1 (en) * 2019-03-18 2020-09-24 Siemens Aktiengesellschaft Creation of digital twin of the interaction among parts of the physical system
CN109872509A (zh) * 2019-04-02 2019-06-11 西安邮电大学 基于数字孪生驱动的山体地质灾害监测与预警系统及方法
WO2021041755A1 (en) * 2019-08-29 2021-03-04 Siemens Aktiengesellschaft Semantically supported object recognition to provide knowledge transfer
CN112668237A (zh) * 2020-12-25 2021-04-16 深圳华龙讯达信息技术股份有限公司 一种基于工业互联网云平台的数字孪生模型及其构建方法
CN112818446A (zh) * 2021-01-26 2021-05-18 西安交通大学 一种智能车间数字孪生系统的构建方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
基于云制造的生产线虚拟与物理系统互联信息模型的建模方法及应用;高方方等;《制造业自动化》;20200325(第03期);29-34 *
基于数字孪生的生产线三维检测与交互算法研究;陈末然等;《小型微型计算机系统》;20200515(第05期);85-90 *
数字孪生智采工作面技术架构研究;葛世荣等;《煤炭学报》;20200615(第06期);23-34 *
智能交通与大数据;朱弘戈等;《中国公路》;20181116(第22期);22-25 *
面向数字孪生城市的智能化全息测绘;顾建祥等;《测绘通报》;20200625(第06期);137-143 *

Also Published As

Publication number Publication date
US11829116B2 (en) 2023-11-28
CN113658325A (zh) 2021-11-16
US20230039454A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
CN113658325B (zh) 数字孪生环境下的生产线不确定对象智能识别与预警方法
CN110032949A (zh) 一种基于轻量化卷积神经网络的目标检测与定位方法
KR102094341B1 (ko) 인공지능 기반의 도로 노면 불량 객체 정보 분석 시스템 및 방법
CN113345019B (zh) 一种输电线路通道隐患目标测距方法、设备及介质
CA3050966C (en) Automated supervision and inspection of assembly process
CN111221808A (zh) 一种无人值守的高精度地图质检方法和装置
CN110796104A (zh) 目标检测方法、装置、存储介质及无人机
CN116363585A (zh) 一种输电线路在线监测方法及系统
US11455767B1 (en) Intelligent material completeness detection and configuration method based on digital twin and augmented reality (AR)
CN109712197B (zh) 一种机场跑道网格化标定方法及系统
CN113722870B (zh) 一种电网运行全空间监测方法、系统、设备及介质
CN113689569A (zh) 基于实景三维平台建筑物快速设计方法及系统、存储介质
WO2024027082A1 (zh) 一种飞机出入库碰撞预警方法、装置、设备及介质
CN115713237A (zh) 一种建筑施工质量安全风险管理方法、系统及存储介质
CN114022414B (zh) 一种基于双目感知学习的加油加电智能动作的执行方法
CN113674109A (zh) 一种基于gis和bim的地铁防地面施工破坏的方法和装置
EP3611676A1 (en) Automated supervision and inspection of assembly process
CN113409458A (zh) 一种融入bim设计平台的轻量化实景三维模型生产方法
CN112115223A (zh) 用于三维可视化的地理信息系统数据处理方法
CN114627245A (zh) Bim模型生成方法、电子设备及计算机可读存储介质
Lee et al. Geospatial Feature Extraction Based on Multimodal Image Sensor by Implementing a Digital Twin of Underground Utility Tunnel
CN117911700A (zh) 管道站场设备安全监测方法、系统、存储介质和电子设备
CN116416371A (zh) 一种结构病害检测方法及装置
CN116502413A (zh) 大气污染物扩散模拟和能力共享的方法、装置及电子设备
CN117823741A (zh) 一种结合智能机器人的管网非开挖修复方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant