CN109947242A - 一种基于信息融合的工厂虚拟应用系统及使用方法 - Google Patents
一种基于信息融合的工厂虚拟应用系统及使用方法 Download PDFInfo
- Publication number
- CN109947242A CN109947242A CN201910143046.1A CN201910143046A CN109947242A CN 109947242 A CN109947242 A CN 109947242A CN 201910143046 A CN201910143046 A CN 201910143046A CN 109947242 A CN109947242 A CN 109947242A
- Authority
- CN
- China
- Prior art keywords
- factory
- information
- data
- fusion
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于信息融合的工厂虚拟应用系统及使用方法。包括：布置于工厂内的多个数据采集单元；每个所述数据采集单元均设置有一个雷达和摄像头；中央服务器，用于负责整个系统的信息传递与反馈，及用于点云数据和图像数据的融合标定；工厂信息标签数据库，用于汇总工厂内的设备图片，并将设备具体信息与设备图片一一对应，形成工厂设备标签和SAP信息库；神经网络模型，用于根据用户需求识别融合标定的数据表示的设备名称及信息；虚拟现实呈现设备，用于还原融合标定后的数据表示的视觉场景；操作装置，用于控制人眼所见的视觉场景。本发明具有实时性好、准确性高、成本低和改造难度低的特点。
Description
技术领域
本发明涉及虚拟现实应用领域，特别是一种基于信息融合的工厂虚拟应用系统及使用方法。
背景技术
随着工业领域的全球竞争越来越激烈，尤其是生产加工企业面临着产品更新换代快，价格竞争剧烈的局面，因此降低价格、优化资源和提升生产效率等一系列问题需要解决。但是同时随着人们的消费需求升级，个性化和定制化产品越来越多，产品生产也呈现种类多，变化快等新的特征，这无形之中就倒逼企业要提升生产的速度与灵活性，更加注重成本投入和客户体验。同时随着工业4.0概念的提出，计算机等设施在工厂的智能化生产上将起到非常大的辅助作用。目前主要采用的方式是通过数字映射的方式构建智能工厂将“现实制造”和“虚拟呈现”融合在一起，通过“虚拟呈现”的模拟对“现实制造”的工厂进行优化。但目前的智能工厂主要存在下述缺点：目前的智能工厂数字映射方案需要大量的传感器和设备标签，成本高、维护难；同时不能做到实时地虚拟工厂构建，其还原度和实时性差。目前的智能工厂方案，要将传统工厂升级为智能化工厂，成本高，难度大。
发明内容
本发明的目的在于，提供一种基于信息融合的工厂虚拟应用系统及使用方法。本发明具有实时性好、准确性高、成本低和改造难度低的特点。
本发明的技术方案：一种基于信息融合的工厂虚拟应用系统，包括：
布置于工厂内的多个数据采集单元；每个所述数据采集单元均设置有一个雷达和摄像头；所述的雷达用于采集工厂三维信息的点云数据；所述摄像头用于采集工厂的图像数据；
中央服务器，用于负责整个系统的信息传递与反馈，及用于点云数据和图像数据的融合标定；
工厂信息标签数据库，用于汇总工厂内的设备图片，并将设备具体信息与设备图片一一对应，形成工厂设备标签和SAP信息库；同时用于收集巨量工业设备图片形成对神经网络模型进行识别训练的训练库；
神经网络模型，用于根据用户需求识别融合标定的数据表示的设备名称及信息；
虚拟现实呈现设备，用于还原融合标定后的数据表示的视觉场景；
操作装置，用于控制人眼所见的视觉场景。
前述的基于信息融合的工厂虚拟应用系统中，所述的中央服务器还用于系统诊断和故障报警。
前述的基于信息融合的工厂虚拟应用系统中，所述的虚拟现实呈现设备为VR头盔，所述的VR头盔包括：
数据接收模块，用于中央服务器传递来的信号数据；
数据处理模块，用于对接收到的信号数据进行解析并发送给显示模块；
显示模块，用于将接收到的解析数据进行视觉场景还原；
重力感应模块，用于与操作装置协调工作，感应人眼视角偏移情况，以此匹配对应的视觉场景。
前述的基于信息融合的工厂虚拟应用系统中，所述的数据采集单元能沿工厂内设置的轨道移动。
前述的基于信息融合的工厂虚拟应用系统中，所述的雷达为激光雷达。
前述的基于信息融合的工厂虚拟应用系统的使用方法，按下述步骤进行：
a.虚拟现实呈现设备向中央服务器发送用户需求，中央服务器根据用户需求控制数据采集单元的雷达采集工厂三维信息的点云数据和摄像头同步采集工厂的图像数据；
b.采集到的点云数据和图像数据被传送到中央服务器进行融合标定；
c.融合标定后的数据被传送到虚拟现实呈现设备进行视觉场景还原，同时被传送到神经网络模型进行识别得到设备名称及信息；
d.识别得到的设备名称及信息被回传到中央服务器处理后，再传递到虚拟现实呈现设备还原的视觉场景中，并显示在视觉场景中相应的虚拟设备旁。
前述的基于信息融合的工厂虚拟应用系统的使用方法所述的步骤b中，所述的融合包括空间融合和时间融合；
所述的空间融合为：利用基于单张图像的摄像头测距模型，建立摄像、三维空间、雷达间的坐标转换关系，通过坐标转换关系实现点云数据和图像数据在空间上的融合；
所述的时间融合为：采用不同线程及结合雷达采集的点云数据，触发摄像头采集图像数据，以此实现点云数据和图像数据在时间上的融合。
前述的基于信息融合的工厂虚拟应用系统的使用方法所述的步骤c中，神经网络模型的识别具体为：神经网络模型将融合标定后的数据与工厂设备标签和SAP信息库进行对比检索，得到设备名称及信息。
前述的基于信息融合的工厂虚拟应用系统的使用方法所述的步骤c中，所述的神经网络模型采用RCNN算法。
有益效果
与现有技术相比，本发明通过在工厂内布置数据采集单元，实时采集现实生产过程中的所有数据，其中雷达采集点云数据，摄像头采集实时图像数据，并将采集的点云数据和图像数据在时间和空间上融合标定，之后再经神经网络模型识别后还原到虚拟现实呈现设备上；与传统的智能化工厂相比较，本发明不需要再在工厂内布置大量的传感器，节约了成本，也降低了工厂的改造难度。同时本发明采集的数据为实时传输处理，因此能够通过虚拟现实呈现设备(如VR头盔)模拟实时装配工艺，对工艺进行优化，进而提高了概念设计的效率，精简了设计单位和提高了工厂规划的有效性和及时性。除此之外，通过模拟实时装配工艺，本发明还可以在产品生产前进行制造的虚拟评估，解决其在制造早期阶段的问题，还能够结合客户的需求，进行前期的虚拟展示和修正。
本发明的神经网络模型采用RCNN算法，通过该方法能够使其处理误差率控制在3％以内，提高了系统精度及准确性；同时通过神经网络模型的识别，使用户通过虚拟现实呈现设备查看整个工厂时，虚拟视觉场景中的虚拟设备旁能够实时呈现对应的设备名称及信息(如操作规范、注意事项等)，进而使得使用更加方便。
本发明的数据采集单元能沿工厂内设置的轨道移动；通过该结构，能够使数据采集单元获得更广的数据采集区域；在满足时间需求的前提下，该结构能减少雷达及摄像头数量，进一步节约成本。
本发明通过操作装置，能够模拟人在整个工厂内走动时的场景，从而实现不同视角的视觉场景显示，使用更加方便。
附图说明
图1是本发明系统结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。
实施例1。一种基于信息融合的工厂虚拟应用系统,参见图1，按下述步骤进行：
布置于工厂内的多个数据采集单元；每个所述数据采集单元均设置有一个雷达和摄像头；所述的雷达用于采集工厂三维信息的点云数据；所述摄像头用于采集工厂的图像数据；
中央服务器，用于负责整个系统的信息传递与反馈，及用于点云数据和图像数据的融合标定；
工厂信息标签数据库，用于汇总工厂内的设备图片，并将设备具体信息与设备图片一一对应，形成工厂设备标签和SAP信息库；同时用于收集巨量工业设备图片形成对神经网络模型进行识别训练的训练库；
神经网络模型，用于根据用户需求识别融合标定的数据表示的设备名称及信息；
虚拟现实呈现设备，用于还原融合标定后的数据表示的视觉场景；
操作装置，用于控制人眼所见的视觉场景。操作装置通过设置前后左右等方向、暂停等按键，实现模拟人为走动时眼睛所看到的视觉场景变换。其还具有内置警示反馈系统，当操作人员进行操作时，可对操作内容进行反馈，对不当内容进行警示，并发送虚拟现实头盔内现实其不当操作的结果，反馈机制带有评价系统可对操作人员进行评价打分。其优势在于本系统进行工厂规划、工厂内设备巡查、产品的虚拟装配等环节提供一种反馈机制，有利用改进上述环节的不足。
前述的中央服务器还用于系统诊断和故障报警。
前述的虚拟现实呈现设备为VR头盔，所述的VR头盔包括：
数据接收模块，用于中央服务器传递来的信号数据；
数据处理模块，用于对接收到的信号数据进行解析并发送给显示模块；
显示模块，用于将接收到的解析数据(数据中含有视频影像信息)进行视觉场景还原(即根据视频影像将画面进行三维显示)；
重力感应模块，用于与操作装置协调工作，感应人眼视角偏移情况，以此匹配对应的视觉场景。
前述的数据采集单元能沿工厂内设置的轨道移动。
前述的雷达为激光雷达。
前述的基于信息融合的工厂虚拟应用系统的使用方法，按下述步骤进行：
a.虚拟现实呈现设备向中央服务器发送用户需求(如用户需要知道工厂及位置，还有工厂设备的具体信息等都可视为用户需求)，中央服务器根据用户需求控制数据采集单元的雷达采集工厂三维信息的点云数据和摄像头同步采集工厂的图像数据；
b.采集到的点云数据和图像数据被传送到中央服务器进行融合标定；
c.融合标定后的数据被传送到虚拟现实呈现设备进行视觉场景还原，同时被传送到神经网络模型进行识别得到设备名称及信息；
d.识别得到的设备名称及信息被回传到中央服务器处理(该处理是指中央处理器将设备名称及信息与虚拟现实呈现设备中看到的虚拟设备做一一对应处理)后，再传递到虚拟现实呈现设备还原的视觉场景中，并显示在视觉场景中相应的虚拟设备旁。
前述的步骤b中，所述的融合包括空间融合和时间融合；
所述的空间融合为：利用基于单张图像的摄像头测距模型，建立摄像、三维空间、雷达间的坐标转换关系，通过坐标转换关系实现点云数据和图像数据在空间上的融合；
所述的时间融合为：采用不同线程及结合雷达采集的点云数据，触发摄像头采集图像数据，以此实现点云数据和图像数据在时间上的融合。通过时间融合，解决了雷达和摄像头固有频率不一致导致时间差的问题。
前述的步骤c中，神经网络模型的识别具体为：神经网络模型将融合标定后的数据与工厂设备标签和SAP信息库进行对比检索，得到设备名称及信息。
前述的步骤c中，所述的神经网络模型采用RCNN算法。
Claims (9)
1.一种基于信息融合的工厂虚拟应用系统，其特征在于，包括：
布置于工厂内的多个数据采集单元；每个所述数据采集单元均设置有一个雷达和摄像头；所述的雷达用于采集工厂三维信息的点云数据；所述摄像头用于采集工厂的图像数据；
中央服务器，用于负责整个系统的信息传递与反馈，及用于点云数据和图像数据的融合标定；
工厂信息标签数据库，用于汇总工厂内的设备图片，并将设备具体信息与设备图片一一对应，形成工厂设备标签和SAP信息库；同时用于收集巨量工业设备图片形成对神经网络模型进行识别训练的训练库；
神经网络模型，用于根据用户需求识别融合标定的数据表示的设备名称及信息；
虚拟现实呈现设备，用于还原融合标定后的数据表示的视觉场景；
操作装置，用于控制人眼所见的视觉场景。
2.根据权利要求1所述的基于信息融合的工厂虚拟应用系统，其特征在于，所述的中央服务器还用于系统诊断和故障报警。
3.根据权利要求1所述的基于信息融合的工厂虚拟应用系统，其特征在于，所述的虚拟现实呈现设备为VR头盔，所述的VR头盔包括：
数据接收模块，用于中央服务器传递来的信号数据；
数据处理模块，用于对接收到的信号数据进行解析并发送给显示模块；
显示模块，用于将接收到的解析数据进行视觉场景还原；
重力感应模块，用于与操作装置协调工作，感应人眼视角偏移情况，以此匹配对应的视觉场景。
4.根据权利要求1所述的基于信息融合的工厂虚拟应用系统，其特征在于，所述的数据采集单元能沿工厂内设置的轨道移动。
5.根据权利要求1所述的基于信息融合的工厂虚拟应用系统，其特征在于，所述的雷达为激光雷达。
6.一种如权利要求1-4任一项所述的基于信息融合的工厂虚拟应用系统的使用方法，其特征在于，按下述步骤进行：
a.虚拟现实呈现设备向中央服务器发送用户需求，中央服务器根据用户需求控制数据采集单元的雷达采集工厂三维信息的点云数据和摄像头同步采集工厂的图像数据；
b.采集到的点云数据和图像数据被传送到中央服务器进行融合标定；
c.融合标定后的数据被传送到虚拟现实呈现设备进行视觉场景还原，同时被传送到神经网络模型进行识别得到设备名称及信息；
d.识别得到的设备名称及信息被回传到中央服务器处理后，再传递到虚拟现实呈现设备还原的视觉场景中，并显示在视觉场景中相应的虚拟设备旁。
7.根据权利要求6所述的基于信息融合的工厂虚拟应用系统的使用方法，其特征在于，步骤b中，所述的融合包括空间融合和时间融合；
所述的空间融合为：利用基于单张图像的摄像头测距模型，建立摄像、三维空间、雷达间的坐标转换关系，通过坐标转换关系实现点云数据和图像数据在空间上的融合；
所述的时间融合为：采用不同线程及结合雷达采集的点云数据，触发摄像头采集图像数据，以此实现点云数据和图像数据在时间上的融合。
8.根据权利要求6所述的基于信息融合的工厂虚拟应用系统的使用方法，其特征在于，步骤c中，神经网络模型的识别具体为：神经网络模型将融合标定后的数据与工厂设备标签和SAP信息库进行对比检索，得到设备名称及信息。
9.根据权利要求6所述的基于信息融合的工厂虚拟应用系统的使用方法，其特征在于，步骤c中，所述的神经网络模型采用RCNN算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910143046.1A CN109947242B (zh) | 2019-02-26 | 2019-02-26 | 一种基于信息融合的工厂虚拟应用系统及使用方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910143046.1A CN109947242B (zh) | 2019-02-26 | 2019-02-26 | 一种基于信息融合的工厂虚拟应用系统及使用方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109947242A true CN109947242A (zh) | 2019-06-28 |
| CN109947242B CN109947242B (zh) | 2022-06-24 |
Family
ID=67006997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910143046.1A Active CN109947242B (zh) | 2019-02-26 | 2019-02-26 | 一种基于信息融合的工厂虚拟应用系统及使用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109947242B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100207936A1 (en) * | 2009-02-13 | 2010-08-19 | Harris Corporation | Fusion of a 2d electro-optical image and 3d point cloud data for scene interpretation and registration performance assessment |
| CN106896925A (zh) * | 2017-04-14 | 2017-06-27 | 陈柳华 | 一种虚拟现实与真实场景融合的装置 |
| CN106937531A (zh) * | 2014-06-14 | 2017-07-07 | 奇跃公司 | 用于产生虚拟和增强现实的方法和系统 |
| CN107194991A (zh) * | 2017-05-17 | 2017-09-22 | 西南科技大学 | 一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法 |
| US20170277166A1 (en) * | 2016-03-24 | 2017-09-28 | Andrei Popa-Simil | Method and system to increase operator awareness |
| CN107576960A (zh) * | 2017-09-04 | 2018-01-12 | 苏州驾驶宝智能科技有限公司 | 视觉雷达时空信息融合的目标检测方法及系统 |
| WO2018071190A1 (en) * | 2016-10-14 | 2018-04-19 | Google Llc | Virtual reality privacy settings |
| CN207396875U (zh) * | 2017-11-17 | 2018-05-22 | 天津英福科技有限公司 | 一种基于vr技术的环境感知设备 |
| CN108109460A (zh) * | 2017-12-18 | 2018-06-01 | 燕山大学 | 一种具有增强现实功能化工厂的教学参观设备 |
| US20180200185A1 (en) * | 2015-07-23 | 2018-07-19 | Novaflux, Inc | Implants and constructs including hollow fibers |
| US20180259969A1 (en) * | 2017-03-07 | 2018-09-13 | nuTonomy, Inc. | Planning for unknown objects by an autonomous vehicle |
| CN109298685A (zh) * | 2017-07-25 | 2019-02-01 | 西门子（中国）有限公司 | 数字化工厂实现方法、数字化工厂实现系统和数字化工厂 |
| CN109359409A (zh) * | 2018-10-31 | 2019-02-19 | 张维玲 | 一种基于视觉与激光雷达传感器的车辆可通过性检测系统 |
-
2019
- 2019-02-26 CN CN201910143046.1A patent/CN109947242B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100207936A1 (en) * | 2009-02-13 | 2010-08-19 | Harris Corporation | Fusion of a 2d electro-optical image and 3d point cloud data for scene interpretation and registration performance assessment |
| CN106937531A (zh) * | 2014-06-14 | 2017-07-07 | 奇跃公司 | 用于产生虚拟和增强现实的方法和系统 |
| US20180200185A1 (en) * | 2015-07-23 | 2018-07-19 | Novaflux, Inc | Implants and constructs including hollow fibers |
| US20170277166A1 (en) * | 2016-03-24 | 2017-09-28 | Andrei Popa-Simil | Method and system to increase operator awareness |
| WO2018071190A1 (en) * | 2016-10-14 | 2018-04-19 | Google Llc | Virtual reality privacy settings |
| US20180259969A1 (en) * | 2017-03-07 | 2018-09-13 | nuTonomy, Inc. | Planning for unknown objects by an autonomous vehicle |
| CN106896925A (zh) * | 2017-04-14 | 2017-06-27 | 陈柳华 | 一种虚拟现实与真实场景融合的装置 |
| CN107194991A (zh) * | 2017-05-17 | 2017-09-22 | 西南科技大学 | 一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法 |
| CN109298685A (zh) * | 2017-07-25 | 2019-02-01 | 西门子（中国）有限公司 | 数字化工厂实现方法、数字化工厂实现系统和数字化工厂 |
| CN107576960A (zh) * | 2017-09-04 | 2018-01-12 | 苏州驾驶宝智能科技有限公司 | 视觉雷达时空信息融合的目标检测方法及系统 |
| CN207396875U (zh) * | 2017-11-17 | 2018-05-22 | 天津英福科技有限公司 | 一种基于vr技术的环境感知设备 |
| CN108109460A (zh) * | 2017-12-18 | 2018-06-01 | 燕山大学 | 一种具有增强现实功能化工厂的教学参观设备 |
| CN109359409A (zh) * | 2018-10-31 | 2019-02-19 | 张维玲 | 一种基于视觉与激光雷达传感器的车辆可通过性检测系统 |
Non-Patent Citations (2)
| Title |
|---|
| ZSOLT KIRA等: "Multi-modal_pedestrian_detection_on_the_move", 《2012 IEEE INTERNATIONAL CONFERENCE ON TECHNOLOGIES FOR PRACTICAL ROBOT APPLICATIONS (TEPRA)》 * |
| 赵子梁等: "数字化工厂管理系统", 《机械设计与制造工程》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109947242B (zh) | 2022-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10984356B2 (en) | Real-time logistics situational awareness and command in an augmented reality environment | |
| CN109978409B (zh) | 一种多工程企业级智慧工地区块链管理方法 | |
| CN110047150B (zh) | 一种基于增强现实的复杂设备操作运行在位仿真系统 | |
| CN101221621B (zh) | 警告监督用户受监视用户的行为的方法和系统 | |
| CN103761667A (zh) | 虚拟现实电子商务平台系统及其应用方法 | |
| KR102014761B1 (ko) | 공간객체 검색결과 정렬 방법, 시스템 및 컴퓨터 독취가능 저장장치 | |
| CN112929602B (zh) | 基于图像处理的数据监控方法、装置及相关设备 | |
| CN111222190B (zh) | 一种古建筑管理系统 | |
| CN105446474A (zh) | 可穿戴智能设备及其交互的方法、可穿戴智能设备系统 | |
| CN107092314A (zh) | 一种提供驾驶适宜性检测的头戴式显示设备及检测方法 | |
| CN110209285B (zh) | 一种基于手势控制的沙盘展示系统 | |
| CN106257510A (zh) | 基于智能穿戴设备的工作数据处理方法及系统 | |
| CN110471804A (zh) | 设备调试方法、装置及电子设备 | |
| EP3888047A1 (en) | Interactive virtual interface | |
| US20210390321A1 (en) | Method, apparatus, and device for testing traffic flow monitoring system | |
| AU2020270461B2 (en) | Situational Awareness Monitoring | |
| CN115035626A (zh) | 一种基于ar的景区智能巡检系统及方法 | |
| CN109947242A (zh) | 一种基于信息融合的工厂虚拟应用系统及使用方法 | |
| CN107230427A (zh) | 基于激光导航、行为识别的智能展示平台 | |
| CN116543083A (zh) | 一种三维动画制作系统 | |
| CN110174952A (zh) | 一种基于增强现实技术的策划管理系统 | |
| CN116156428A (zh) | 一种基于数字孪生的车间人员信息管控方法及系统 | |
| CN115965769A (zh) | 基于ar场景下的业务处理方法、系统、设备及存储介质 | |
| CN114422583A (zh) | 一种巡检机器人与智能终端间的交互系统 | |
| CN114254929A (zh) | 一种钢结构工程施工管理方法、控制器及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |