CN112001050B - 设备调试管控方法、装置、电子设备及可读存储介质 - Google Patents
设备调试管控方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN112001050B CN112001050B CN202010861692.4A CN202010861692A CN112001050B CN 112001050 B CN112001050 B CN 112001050B CN 202010861692 A CN202010861692 A CN 202010861692A CN 112001050 B CN112001050 B CN 112001050B
- Authority
- CN
- China
- Prior art keywords
- debugging
- dimensional model
- result
- debugged
- simulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000004088 simulation Methods 0.000 claims abstract description 64
- 230000003190 augmentative effect Effects 0.000 claims description 44
- 230000009471 action Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 abstract description 17
- 230000000875 corresponding effect Effects 0.000 description 52
- 238000012545 processing Methods 0.000 description 14
- 238000007726 management method Methods 0.000 description 10
- 239000011521 glass Substances 0.000 description 9
- 230000001276 controlling effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/17—Mechanical parametric or variational design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供一种设备调试管控方法、装置、电子设备及可读存储介质。方法包括：获取预传输至待调试的实体设备的控制数据；根据控制数据中的控制参数，基于三维模型中组件的标识信息与控制数据中的标识信息的对应关系，控制三维模型中与第一标识对应的目标组件执行设定操作，并得到执行设定操作后的操作结果；根据操作结果，确定对三维模型进行调试的调试结果，其中，当操作结果未在与目标组件对应的指定阈值范围内时，得到表征调试不合格的调试结果。在本方案中，通过利用预传输至待调试的实体设备的控制数据，对三维模型进行仿真调试，将实物调试转换为仿真调试，有利于提高仿真调试的准确性与可靠性，缩短试制周期，降低调试成本。
Description
技术领域
本发明涉及计算机仿真调试技术领域，具体而言，涉及一种设备调试管控方法、装置、电子设备及可读存储介质。
背景技术
目前，电机数字化生产线一般采用实物现场调试，针对现场调试中的问题(如机构设计合理性、节拍匹配等)进行修改与优化，然后再次调试与优化直至满足设计要求。这种调试方式需要利用待调试的实体设备进行调试，存在试制周期长、调试成本高等问题。
发明内容
本申请提供一种设备调试管控方法、装置、电子设备及可读存储介质，能够改善在设备调试过程中试制周期长、调试成本高的问题。
为了实现上述目的，本申请实施例所提供的技术方案如下所示：
第一方面，本申请实施例提供一种设备调试管控方法，应用于电子设备，所述电子设备存储有待调试设备基于增强现实仿真得到的三维模型，所述三维模型包括至少一个用于根据控制数据执行设定操作的组件，所述方法包括：
获取预传输至所述待调试设备的控制数据，所述控制数据包括控制参数及第一标识信息；
根据所述控制数据中的所述控制参数，基于所述三维模型中组件的标识信息与所述控制数据中的标识信息的对应关系，控制所述三维模型中与所述第一标识对应的目标组件执行设定操作，并得到执行所述设定操作后的操作结果；
根据所述操作结果，确定对所述三维模型进行调试的调试结果，其中，当所述操作结果未在与所述目标组件对应的指定阈值范围内时，得到表征调试不合格的调试结果。
在上述的实施方式中，通过利用待调试设备基于增强现实仿真得到的三维模型，进行仿真调试，以替换实体设备的调试，在调试过程中，无需实体设备参与到实际车间中。另外，通过利用预传输至待调试的实体设备的控制数据，对三维模型进行仿真调试，将实物调试转换为仿真调试，有利于提高仿真调试的准确性与可靠性，缩短试制周期，降低调试成本。
结合第一方面，在一些可选的实施方式中，在获取预传输至待调试的实体设备的控制数据之前，方法还包括：
根据所述待调试设备的实体组件的结构参数，基于增强现实创建工具，创建与所述实体组件对应的三维组件，以形成所述三维模型。
结合第一方面，在一些可选的实施方式中，根据所述操作结果，确定对所述三维模型进行调试的调试结果，包括：
当所述操作结果包括所述目标组件在执行所述设定操作期间的轨迹信息时，若所述轨迹信息未在设定轨道范围内，得到表征所述三维模型的调试不合格的调试结果；
当所述操作结果包括所述目标组件在执行所述设定操作后的位置信息时，若所述位置信息未在设定位置范围内时，得到表征所述三维模型的调试不合格的调试结果；
当所述操作结果包括根据所述控制参数输出的结果数据时，若所述结果数据未在设定结果范围内时，得到表征所述三维模型的调试不合格的调试结果；
当所述操作结果的每类数据均在与所述目标组件对应的指定阈值范围内时，得到表征调试合格的调试结果。
结合第一方面，在一些可选的实施方式中，所述方法还包括：
通过摄像头采集场景图像；
通过增强现实投影模块，对所述场景图像进行场景仿真，得到仿真场景；
将所述三维模型添加至所述仿真场景中，其中，所述三维模型在所述仿真场景中的位置与所述待调试设备在实际场景中的位置对应；
通过所述增强现实投影模块，显示所述仿真场景。
结合第一方面，在一些可选的实施方式中，所述方法还包括：
在接收到引导指令时，通过所述增强现实投影模块显示与所述引导指令对应引导教程，所述引导教程用于引导用户对所述三维模型执行对应的操作；
在显示所述引导教程期间，根据预设频率获取用户的动作数据；
当所述动作数据未在对应的设定范围内时，发出提示信息。
结合第一方面，在一些可选的实施方式中，所述方法还包括：
在所述场景图像中，当检测到用户的手部移动到第一指定位置，且所述手部在所述第一指定位置的姿态为表征抓取的第一指定姿态时，将预设的虚拟物料与所述手部进行绑定，用于通过所述增强现实投影模块模拟仿真用户移动所述虚拟物料；
在所述场景图像中，当检测到用户的所述手部移动到第二指定位置，且所述手部在所述第二指定位置的姿态为表征松开所述虚拟物料的第二指定姿态时，解除所述虚拟物料与所述手部的绑定。
第二方面，本申请实施还提供一种设备调试管控装置，应用于电子设备，所述电子设备存储有待调试设备基于增强现实仿真得到的三维模型，所述三维模型包括至少一个用于根据控制数据执行设定操作的组件，所述装置包括：
数据获取单元，用于获取预传输至所述待调试设备的控制数据，所述控制数据包括控制参数及第一标识信息；
仿真调试单元，用于根据所述控制数据中的所述控制参数，基于所述三维模型中组件的标识信息与所述控制数据中的标识信息的对应关系，控制所述三维模型中与所述第一标识对应的目标组件执行设定操作，并得到执行所述设定操作后的操作结果；
调试确定单元，用于根据所述操作结果，确定对所述三维模型进行调试的调试结果，其中，当所述操作结果未在与所述目标组件对应的指定阈值范围内时，得到表征调试不合格的调试结果。
结合第二方面，在一些可选的实施方式中，所述装置还包括：
图像采集单元，用于通过摄像头采集场景图像；
仿真单元，用于通过增强现实投影模块，对所述场景图像进行场景仿真，得到仿真场景；
融合单元，用于将所述三维模型添加至所述仿真场景中，其中，所述三维模型在所述仿真场景中的位置与所述待调试设备在实际场景中的位置对应；
显示输出单元，用于通过所述增强现实投影模块，显示所述仿真场景。
第三方面，本申请实施还提供一种电子设备，所述电子设备包括相互耦合的存储器、处理器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行上述的方法。
第四方面，本申请实施还提供一种计算机可读存储介质，所述可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设的结构示意图。
图2为本申请实施例提供的设备调试管控方法的流程示意图。
图3为本申请实施例提供的控制数据的数据类型与数据值对应关系的示意图。
图4为本申请实施例提供的设备调试管控装置的流程示意图。
图标：10-电子设备；11-处理模块；12-存储模块；13-通信模块；14-摄像头；15-增强现实投影模块；100-设备调试管控装置；110-数据获取单元；120-仿真调试单元；130-调试确定单元。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。需要说明的是，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
下面结合附图，对本申请实施例作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，本申请实施例提供一种电子设备10，可以基于增强现实(AugmentedReality，AR)，对待调试设备进行仿真与调试。如此，在调试过程中，待调试设备的实体设备无需参与实际的调试，电子设备10通过对仿真待调试设备得到的三维模型进行调试，便可以作为待调试设备的实际调试过程。
电子设备10可以包括处理模块11、存储模块12及通信模块13。其中，存储模块12内存储有计算机程序，当计算机程序被处理模块11执行时，可以使得电子设备10能够执行下述的设备调试管控方法中的各步骤。
在本实施例中，电子设备10还可以包括其他模块。例如，电子设备10还可以包括摄像头14、增强现实投影模块15、设备调试管控装置100等。
其中，电子设备10可以为佩戴式的设备，可以穿戴在用户身上。摄像头14可以佩戴在用户的头部，用于拍摄或模拟用户的视角下的场景。通信模块13可以用于通过网络与车间中的需要与待调试设备进行交互的实体设备建立通信连接，用于与车间中的实体设备进行数据交互。该待调试设备在车间中实际上可以不存在或未被安装。
增强现实投影模块15可以是，但不限于AR眼镜，或者为AR投影仪等，可以用于以三维(3D)投影的方式，投影显示相应仿真场景，以增强用户的沉浸式体验感。
在本实施例中，待调试设备通常为车间中的其中一台或多台目标设备，该目标设备通常需要和车间中的其他实体设备进行交互，以执行相应的工序。例如，当目标设备安装到车间后，在车间运行期间，其他设备可以将相应的控制数据发送至目标设备，由目标设备根据控制设备来执行相应的设定操作。设定操作可以根据实际情况进行设置。例如，目标设备为机器人，机器人可以包括机械臂、车轮，设定操作可以为控制机器人的车轮转动，以使机器人运动至指定位置，或者设定操作可以是控制机器人的机械臂执行相应的动作。
在本实施例中，生产车间还可以包括用于采集数据的数据采集系统。所采集的数据包括但不限于车间环境数据、PLC(Programmable Logic Controller，可编程逻辑控制器)控制指令以及MES(Manufacturing Execution System,制造执行系统)的生产指令。数据采集系统可以包括用于采集各类数据的采集模块。例如，环境数据包括但不限于场景图像、环境温度、湿度等。采集模块包括但不限于摄像头、温度传感器、湿度传感器、位移传感器、工件感应传感器(例如为电子标签与对应的读卡器)，可以用于采集相应的数据。
在本实施例中，与运动相关的数据(例如目标设备的移动轨迹、位置等)可以采用Modbus协议，采集频率的范围可以为20-50Hz，其他数据可采用ODBC(OpenDataBaseConnectivity,开放数据库互连)等方式，采集频率的范围可以为0.2-0.5Hz。所采集的数据可以通过生产车间的数据收发模块发送至电子设备10，以供电子设备10进行仿真调试。
请参照图2，本申请实施例还提供一种设备调试管控方法，可以应用于上述的电子设备10，由电子设备10执行或实现方法的各步骤。通常而言，在电子设备10中，预先可以存储有待调试设备基于增强现实仿真得到的三维模型。该三维模型包括至少一个用于根据控制数据执行设定操作的组件，可理解为虚拟的待调试设备。方法可以包括以下步骤：
步骤S210，获取预传输至所述待调试设备的控制数据，所述控制数据包括控制参数及第一标识信息；
步骤S220，根据所述控制数据中的所述控制参数，基于所述三维模型中组件的标识信息与所述控制数据中的标识信息的对应关系，控制所述三维模型中与所述第一标识对应的目标组件执行设定操作，并得到执行所述设定操作后的操作结果；
步骤S230，根据所述操作结果，确定对所述三维模型进行调试的调试结果，其中，当所述操作结果未在与所述目标组件对应的指定阈值范围内时，得到表征调试不合格的调试结果。
在上述的实施方式中，通过利用待调试设备基于增强现实仿真得到的三维模型，进行仿真调试，以替换实体设备的调试，在调试过程中，无需实体设备参与到实际车间中。另外，通过利用预传输至待调试的实体设备的控制数据，对三维模型进行仿真调试，将实物调试转换为仿真调试，有利于提高仿真调试的准确性与可靠性，缩短试制周期，降低调试成本。
下面将对方法的各步骤进行详细阐述，如下：
在步骤S210中，电子设备10可以实时地从车间的数据采集系统获取到控制数据，控制数据包括但不限于PLC控制指令、MES的生产指令、温度数据等。通常而言，控制数据包括控制参数及第一标识信息。在实施例中，第一标识信息可以为唯一身份标识(IdentityDocument，ID)，可以根据实际情况进行设置。
请参照图3，在本实施例中，每个控制数据可以包括但不限于数据ID、数据名称、数据类型、单位、该数据设定的最大值、最小值以及产生该数据的所属设备名称。
控制数据可以根据类型进行分类，例如，可以被划分为数据类型1、数据类型2、数据类型3……等，可以根据实际情况进行分类。示例性地，例如，数据类型包括但不限于PLC控制指令、MES的生产指令、温度数据等类型。
每类数据类型对应的实时数据可以设置有相应的标识，以便于区分。例如，一个数据类型可以包括实时数据1、实时数据2、实时数据3等，所包括的实时数据的数量可以根据实际情况进行确定。另外，每个实时数据包括但不限于数据类型的ID、产生时间以及数据值。该数据值可以为控制数据中的控制参数。
其中，控制参数的标识信息通常与三维模型的组件预先建立有对应关系。例如，控制数据的ID通常与三维模型中相应的组件的ID建立有对应关系。建立有对应关系的控制数据的ID与组件的ID通常相同，以便于后续通过控制数据的ID查找到与该ID相同的组件。
在步骤S220中，在得到控制数据后，电子设备10可以基于控制数据与组件的对应关系，从三维模型中查找到与当前的控制数据对应的组件。与该控制数据对应的组件即为目标组件。然后，基于控制参数控制目标组件执行相应的设定操作，以得到操作结果。
例如，ID为001的控制数据与ID为001的组件对应，ID为001的控制数据中的控制参数可以用于控制ID为001的组件执行相应的设定操作，而不会去控制其他ID的组件执行动作。其中，设定操作可以根据实际情况进行确定。例如，三维模型为上述的机器人，设定操作可以为控制机器人的车轮或履带按照设定的轨迹运动，此时，操作结果可以包括机器人运动的实际轨迹。
在步骤S230中，电子设备10在得到操作结果后，可以对操作结果与预期的指定阈值范围进行分析比对，以确定对虚拟的待调试设备的调试是否合格。通常而言，操作结果可以包括多项结果数据，若每项结果数据均在对应的指定阈值范围中，则确定对虚拟的待调试设备调试合格；若存在一项或多项结果数据未在对应的指定阈值范围中时，则确定对虚拟的待调试设备的调试不合格，或者输出表示未在对应的指定阈值范围的结果数据存在异常的提示。
作为一种可选的实施方式，若电子设备10未存储待调试设备的三维模型，在步骤S210之前，方法还可以包括创建待调试设备的三维模型的步骤。例如，在步骤S210之前，方法还可以包括：根据所述待调试设备的实体组件的结构参数，基于增强现实创建工具，创建与所述实体组件对应的三维组件，以形成所述三维模型。
其中，增强现实创建工具为本领域技术人员所熟知，可以根据实际情况进行选择。增强现实创建工具可以根据结构参数，自动形成相应的三维模型。
在本实施例中，待调试设备的实体组件可理解为待调试设备的机械结构与功能单元。例如，待调试设备为上述的机器人时，该机器人的车轮、机械臂等即为实体组件。电子设备10可以基于实体组件的结构参数，对待调试设备的各个实体组件进行仿真，得到相应的虚拟的三维组件，然后形成待调试设备的三维模型。其中，结构参数可以包括实体组件的尺寸数据。仿真得到的三维模型的形状结构与待调试设备相同或类似，如此，可以将对待调试设备的调试操作转换为对三维结构的仿真调试。
作为一种可选的实施方式，步骤S230可以包括：
当所述操作结果包括所述目标组件在执行所述设定操作期间的轨迹信息时，若所述轨迹信息未在设定轨道范围内，得到表征所述三维模型的调试不合格的调试结果；
当所述操作结果包括所述目标组件在执行所述设定操作后的位置信息时，若所述位置信息未在设定位置范围内时，得到表征所述三维模型的调试不合格的调试结果；
当所述操作结果包括根据所述控制参数输出的结果数据时，若所述结果数据未在设定结果范围内时，得到表征所述三维模型的调试不合格的调试结果；
当所述操作结果的每类数据均在与所述目标组件对应的指定阈值范围内时，得到表征调试合格的调试结果。
在本实施例中，电子设备10可以模拟计算出三维模型(虚拟的待调试设备)根据控制参数运动的轨迹信息，然后将轨迹信息与设定的轨道范围进行比对，若轨迹与轨道范围的边线存在交叉，则表示三维模型的运动轨迹超出了设定的轨道范围，此时，可以确定调试不合格。其中，设定轨道范围可以根据实际情况进行确定，这里不作具体限定。
三维模型的虚拟空间中还可以包括其他障碍物(例如，墙壁、设备等)。在根据控制参数，控制虚拟的待调试设备运动时，若检测到虚拟的待调试设备与障碍物发生碰撞，则确定调试不合格。
同样地，若设定操作为控制虚拟的待调试设备移动至指定位置，而实际上虚拟的待调试设备未移动到设定的位置范围内，此时，便确定调试不合格。若虚拟的待调试设备移动至设定的位置范围，则确定该项数据调试合格。设定的位置范围可以根据实际情况进行确定，这里不作具体限定。
在本实施中，若控制参数并不是用于控制虚拟的待调试设备运动，而是供虚拟的待调试设备的功能组件对控制参数进行运算处理时，待调试设备的功能组件可以对控制参数进行处理后，得到结果数据。例如，控制参数为图像数据，用于供功能组件对图像数据进行滤波处理，以降低图像中的噪声信号。若滤波后的图像数据的噪声信号仍然超过设定阈值，则确定滤波的仿真调试不合格。当然，结果数据还可以是其他数据。例如，结果数据可以为环境的温度数据，这里对结果数据不作具体限定。
作为一种可选的实施方式，方法还可以包括：通过摄像头采集场景图像；通过增强现实投影模块15，对所述场景图像进行场景仿真，得到仿真场景；将所述三维模型添加至所述仿真场景中，其中，所述三维模型在所述仿真场景中的位置与所述待调试设备在实际场景中的位置对应；通过所述增强现实投影模块15，显示所述仿真场景。
在本实施例中，电子设备10的重量通常较轻，可以供用户携带。电子设备10可以设置可穿戴的结构，以供用户穿戴。例如，在实际使用时，用户可以通过背携式的方式携带电子设备10，然后佩戴AR眼镜与摄像头，实现待调试设备的虚拟仿真调试。
例如，摄像头可以佩戴在用户的头上，用于采集场景图像，然后通过增强现实投影模块15(AR眼镜)将采集的场景图像进行仿真，得到仿真场景，然后将预先创建的待调试设备的三维模型融入该仿真场景中。通常而言，该场景为需要安装待调试设备并进行调试的车间。用户可以通过佩戴AR眼镜、摄像头，利用电子设备10对现实的车间场景进行增强现实的仿真，将虚拟的待调试设备融合到仿真场景中，然后通过AR眼镜投影成像，便于用户投入到虚拟的调试场景中，以模拟对待调试设备的调试。
其中，在车间的实际场景中不一定存在待调试设备的实体设备，而在车间的仿真场景中，存在虚拟的待调试设备。然后，结合实际车间中其他实体设备输出的实时控制参数，对虚拟的待调试设备进行调试与仿真，有利于提高调试的可靠性与准确性。
其中，对于运动类的控制调试，电子设备10可以加快虚拟的待调试设备运动的速度，以便于快速实现运动的调试。例如，在控制虚拟的待调试设备运动至指定位置时，可以以默认的速度的N倍速进行运动，N可以为大于1的数值。相比于现实中实体设备的调试无法灵活实现倍速运动，虚拟的待调试设备可以灵活地加地快调试过程，以缩短调试周期。
作为一种可选的实施方式，方法还可以包括：
在接收到引导指令时，通过所述增强现实投影模块15显示与所述引导指令对应引导教程，所述引导教程用于引导用户对所述三维模型执行对应的操作；
在显示所述引导教程期间，根据预设频率获取用户的动作数据；
当所述动作数据未在对应的设定范围内时，发出提示信息。
在本实施例中，引导教程可以通过增强现实投影模块15以3D投影的方式，显示调试的操作过程。例如，待调试设备由多个零散的组件组合形成，若引导教程为引导用户将零散的组件组装成待调试设备的操作流程时，用户可以通过增强现实投影模块15显示的教程内容，以直观地了解组装操作。
例如，在投影显示操作内容期间，用户可以按照教程的操作方式，对现实中待调试设备的实体组件进行装配。摄像头可以拍摄用户的组装操作过程的动作数据，若动作数据表征的操作流程与引导教程的操作流程不同，或者超过引导教程对应的设定范围时，便发出提示信息。如此，有利于用户快速正确地组装待调试设备。
作为一种可选的实施方式，方法还可以包括：
在所述场景图像中，当检测到用户的手部移动到第一指定位置，且所述手部在所述第一指定位置的姿态为表征抓取的第一指定姿态时，将预设的虚拟物料与所述手部进行绑定，用于通过所述增强现实投影模块15模拟仿真用户移动所述虚拟物料；
在所述场景图像中，当检测到用户的所述手部移动到第二指定位置，且所述手部在所述第二指定位置的姿态为表征松开所述虚拟物料的第二指定姿态时，解除所述虚拟物料与所述手部的绑定。
在本实施例中，通过摄像头可以拍摄用户的手部动作。第一指定位置、第一指定姿态、第二指定位置及第二指定姿态均可以根据实际情况进行设置。例如，第一指定姿态为手部握拳的姿态，第二指定姿态为手部松开拳头的姿态。虚拟物料可以根据实际情况进行设置，可以为虚拟的待调试设备的组件，或者为需要加工的工件。如此，有利于用户参与到调试过程中，提高调试的趣味性。
在本实施例中，待调试生产线/设备的运动模型可以通过3D投影的方式与实际车间进行融合显示。比如，可以为裸眼3D立体投影显示，AR眼镜3D投影显示、或摄像头提取实际车间的实时视频与待调试生产线/设备运动模型融合后的屏幕或其他可穿戴立体显示。
电子设备10可以根据当前实际车间状态，模拟后续待调试生产线/设备的运动状态，当后续模拟的设备运动状态与调试计划发生偏离时，可以发出预警提示。
以机器人调试为例，当某一随机事件发生或程序BUG，导致机器人的运动轨迹可能发生偏离，电子设备10可以模拟机器人后续的运动轨迹并与当前时刻实际车间(人、已有设备、工件、车间)各对象进行碰撞校核，当后续可能出现碰撞时提示调试存在异常，调试中止。
基于上述设计，本申请实施例提供的方法可以改善人机交互体验。以待调试设备需人工配合完成协同装配动作为例。人手抓取虚拟物料(如螺栓)到指定位置，虚拟的待调试设备接手螺栓，并完成螺栓拧紧工序。以AR眼镜投影显示为例，该调试过程的原理在于通过摄像头识别人手的位置和姿态，当人手移到至AR眼镜投影处虚拟物料的位置，并完成抓握动作，待调试生产线的虚拟物料与人手进行绑定，并随着人手移动至相应的指定位置，人手松开后，虚拟物料与人手解除绑定，待调试生产线的虚拟设备完成相应的拧紧工序，整个过程通过AR眼镜投影显示，实现高沉浸性的人机交互体验。
需要说明的是，电子设备10中的虚拟的待调试设备的功能模型与实际车间环境的数据融合，可以支持数据分析与回放功能，可以通过导入历史数据实现。
请参照图4，本申请实施例还提供一种设备调试管控装置100，可以应用于上述的电子设备10中，用于执行或实现方法的各步骤。设备调试管控装置100包括至少一个可以软件或固件(Firmware)的形式存储于存储模块12中或固化在电子设备10操作系统(Operating System，OS)中的软件功能模块。处理模块11用于执行存储模块12中存储的可执行模块，例如设备调试管控装置100所包括的软件功能模块及计算机程序等。
设备调试管控装置100可以包括数据获取单元110、仿真调试单元120及调试确定单元130，执行的操作步骤可以如下：
数据获取单元110，用于获取预传输至所述待调试设备的控制数据，所述控制数据包括控制参数及第一标识信息；
仿真调试单元120，用于根据所述控制数据中的所述控制参数，基于所述三维模型中组件的标识信息与所述控制数据中的标识信息的对应关系，控制所述三维模型中与所述第一标识对应的目标组件执行设定操作，并得到执行所述设定操作后的操作结果；
调试确定单元130，用于根据所述操作结果，确定对所述三维模型进行调试的调试结果，其中，当所述操作结果未在与所述目标组件对应的指定阈值范围内时，得到表征调试不合格的调试结果。
可选地，设备调试管控装置100还可以包括图像采集单元、仿真单元及融合单元，执行的操作步骤可以如下：
图像采集单元，用于通过摄像头采集场景图像；
仿真单元，用于通过增强现实投影模块15，对所述场景图像进行场景仿真，得到仿真场景；
融合单元，用于将所述三维模型添加至所述仿真场景中，其中，所述三维模型在所述仿真场景中的位置与所述待调试设备在实际场景中的位置对应；
显示输出单元，用于通过所述增强现实投影模块15，显示所述仿真场景。
可选地，在数据获取单元110执行步骤S210之前，设备调试管控装置100中的仿真单元还可以用于：根据所述待调试设备的实体组件的结构参数，基于增强现实创建工具，创建与所述实体组件对应的三维组件，以形成所述三维模型。
可选地，调试确定单元130还可以用于：
当所述操作结果包括所述目标组件在执行所述设定操作期间的轨迹信息时，若所述轨迹信息未在设定轨道范围内，得到表征所述三维模型的调试不合格的调试结果；
当所述操作结果包括所述目标组件在执行所述设定操作后的位置信息时，若所述位置信息未在设定位置范围内时，得到表征所述三维模型的调试不合格的调试结果；
当所述操作结果包括根据所述控制参数输出的结果数据时，若所述结果数据未在设定结果范围内时，得到表征所述三维模型的调试不合格的调试结果；
当所述操作结果的每类数据均在与所述目标组件对应的指定阈值范围内时，得到表征调试合格的调试结果。
可选地，设备调试管控装置100还可以包括引导显示单元、动作数据采集单元及提示单元，执行的操作步骤可以如下：
引导显示单元，用于在接收到引导指令时，通过所述增强现实投影模块15显示与所述引导指令对应引导教程，所述引导教程用于引导用户对所述三维模型执行对应的操作；
动作数据采集单元，用于在显示所述引导教程期间，根据预设频率获取用户的动作数据；
提示单元，用于当所述动作数据未在对应的设定范围内时，发出提示信息。
可选地，设备调试管控装置100还可以包括绑定控制单元，用于：
在所述场景图像中，当检测到用户的手部移动到第一指定位置，且所述手部在所述第一指定位置的姿态为表征抓取的第一指定姿态时，将预设的虚拟物料与所述手部进行绑定，用于通过所述增强现实投影模块15模拟仿真用户移动所述虚拟物料；
在所述场景图像中，当检测到用户的所述手部移动到第二指定位置，且所述手部在所述第二指定位置的姿态为表征松开所述虚拟物料的第二指定姿态时，解除所述虚拟物料与所述手部的绑定。
在本实施例中，处理模块11可以是一种集成电路芯片，具有信号的处理能力。上述处理模块11可以是通用处理器。例如，该处理器可以是中央处理器(Central ProcessingUnit，CPU)、图形处理器(Graphics Processing Unit，GPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。
存储模块12可以是，但不限于，随机存取存储器，只读存储器，可编程只读存储器，可擦除可编程只读存储器，电可擦除可编程只读存储器等。在本实施例中，存储模块12可以用于存储三维模型、数据采集系统传输的控制数据。当然，存储模块12还可以用于存储程序，处理模块11在接收到执行指令后，执行该程序。
可以理解的是，图1所示的结构仅为电子设备10的一种结构示意图，电子设备10还可以包括比图1所示更多的组件。图1中所示的各组件可以采用硬件、软件或其组合实现。
需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备10、设备调试管控装置100的具体工作过程，可以参考前述方法中的各步骤对应过程，在此不再过多赘述。
本申请实施例还提供一种计算机可读存储介质。可读存储介质中存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行如上述实施例中所述的设备调试管控方法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
综上所述，本申请提供一种设备调试管控方法、装置、电子设备及可读存储介质。方法包括：获取预传输至待调试的实体设备的控制数据，控制数据包括控制参数及第一标识信息；根据控制数据中的控制参数，基于三维模型中组件的标识信息与控制数据中的标识信息的对应关系，控制三维模型中与第一标识对应的目标组件执行设定操作，并得到执行设定操作后的操作结果；根据操作结果，确定对三维模型进行调试的调试结果，其中，当操作结果未在与目标组件对应的指定阈值范围内时，得到表征调试不合格的调试结果。在本方案中，通过利用待调试设备基于增强现实仿真得到的三维模型，进行仿真调试，以替换实体设备的调试，在调试过程中，无需实体设备参与到实际车间中。另外，通过利用预传输至待调试的实体设备的控制数据，对三维模型进行仿真调试，将实物调试转换为仿真调试，有利于提高仿真调试的准确性与可靠性，缩短试制周期，降低调试成本。
在本申请所提供的实施例中，应该理解到，所揭露的装置、系统和方法，也可以通过其它的方式实现。以上所描述的装置、系统和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (7)
1.一种设备调试管控方法，其特征在于，应用于电子设备，所述电子设备存储有待调试设备基于增强现实仿真得到的三维模型，所述三维模型包括至少一个用于根据控制数据执行设定操作的组件，所述方法包括：
获取预传输至所述待调试设备的控制数据，所述控制数据包括控制参数及第一标识信息；
根据所述控制数据中的所述控制参数，基于所述三维模型中组件的标识信息与所述控制数据中的标识信息的对应关系，控制所述三维模型中与所述第一标识对应的目标组件执行设定操作，并得到执行所述设定操作后的操作结果；
根据所述操作结果，确定对所述三维模型进行调试的调试结果，其中，当所述操作结果未在与所述目标组件对应的指定阈值范围内时，得到表征调试不合格的调试结果；
所述方法还包括：
通过摄像头采集场景图像；
通过增强现实投影模块，对所述场景图像进行场景仿真，得到仿真场景；
将所述三维模型添加至所述仿真场景中，其中，所述三维模型在所述仿真场景中的位置与所述待调试设备在实际场景中的位置对应；
通过所述增强现实投影模块，显示所述仿真场景；
在接收到引导指令时，通过所述增强现实投影模块显示与所述引导指令对应引导教程，所述引导教程用于引导用户对所述三维模型执行对应的操作；
在显示所述引导教程期间，根据预设频率获取用户的动作数据；其中，所述用户的动作数据通过摄像头获取；
当所述动作数据未在对应的设定范围内时，发出提示信息。
2.根据权利要求1所述的方法，其特征在于，在获取预传输至待调试的实体设备的控制数据之前，方法还包括：
根据所述待调试设备的实体组件的结构参数，基于增强现实创建工具，创建与所述实体组件对应的三维组件，以形成所述三维模型。
3.根据权利要求1所述的方法，其特征在于，根据所述操作结果，确定对所述三维模型进行调试的调试结果，包括：
当所述操作结果包括所述目标组件在执行所述设定操作期间的轨迹信息时，若所述轨迹信息未在设定轨道范围内，得到表征所述三维模型的调试不合格的调试结果；
当所述操作结果包括所述目标组件在执行所述设定操作后的位置信息时，若所述位置信息未在设定位置范围内时，得到表征所述三维模型的调试不合格的调试结果；
当所述操作结果包括根据所述控制参数输出的结果数据时，若所述结果数据未在设定结果范围内时，得到表征所述三维模型的调试不合格的调试结果；
当所述操作结果的每类数据均在与所述目标组件对应的指定阈值范围内时，得到表征调试合格的调试结果。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述场景图像中，当检测到用户的手部移动到第一指定位置，且所述手部在所述第一指定位置的姿态为表征抓取的第一指定姿态时，将预设的虚拟物料与所述手部进行绑定，用于通过所述增强现实投影模块模拟仿真用户移动所述虚拟物料；
在所述场景图像中，当检测到用户的所述手部移动到第二指定位置，且所述手部在所述第二指定位置的姿态为表征松开所述虚拟物料的第二指定姿态时，解除所述虚拟物料与所述手部的绑定。
5.一种设备调试管控装置，其特征在于，应用于电子设备，所述电子设备存储有待调试设备基于增强现实仿真得到的三维模型，所述三维模型包括至少一个用于根据控制数据执行设定操作的组件，所述装置包括：
数据获取单元，用于获取预传输至所述待调试设备的控制数据，所述控制数据包括控制参数及第一标识信息；
仿真调试单元，用于根据所述控制数据中的所述控制参数，基于所述三维模型中组件的标识信息与所述控制数据中的标识信息的对应关系，控制所述三维模型中与所述第一标识对应的目标组件执行设定操作，并得到执行所述设定操作后的操作结果；
调试确定单元，用于根据所述操作结果，确定对所述三维模型进行调试的调试结果，其中，当所述操作结果未在与所述目标组件对应的指定阈值范围内时，得到表征调试不合格的调试结果；
所述装置还包括：
图像采集单元，用于通过摄像头采集场景图像；
仿真单元，用于通过增强现实投影模块，对所述场景图像进行场景仿真，得到仿真场景；
融合单元，用于将所述三维模型添加至所述仿真场景中，其中，所述三维模型在所述仿真场景中的位置与所述待调试设备在实际场景中的位置对应；
显示输出单元，用于通过所述增强现实投影模块，显示所述仿真场景；
引导显示单元，在接收到引导指令时，通过所述增强现实投影模块显示与所述引导指令对应引导教程，所述引导教程用于引导用户对所述三维模型执行对应的操作；
动作数据采集单元，在显示所述引导教程期间，根据预设频率获取用户的动作数据；其中，所述用户的动作数据通过摄像头获取；其中，所述用户的动作数据通过摄像头获取；
提示单元，当所述动作数据未在对应的设定范围内时，发出提示信息。
6.一种电子设备，其特征在于，所述电子设备包括相互耦合的存储器、处理器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行如权利要求1-4中任一项所述的方法。
7.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1-4中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010861692.4A CN112001050B (zh) | 2020-08-24 | 2020-08-24 | 设备调试管控方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010861692.4A CN112001050B (zh) | 2020-08-24 | 2020-08-24 | 设备调试管控方法、装置、电子设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112001050A CN112001050A (zh) | 2020-11-27 |
| CN112001050B true CN112001050B (zh) | 2024-01-09 |
Family
ID=73471678
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010861692.4A Active CN112001050B (zh) | 2020-08-24 | 2020-08-24 | 设备调试管控方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112001050B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112318513A (zh) * | 2020-11-05 | 2021-02-05 | 达闼机器人有限公司 | 一种机器人技能调试方法、装置、存储介质及电子设备 |
| CN114549124B (zh) * | 2022-02-17 | 2023-07-07 | 杭州麦科斯韦网络科技有限公司 | 一种基于仿真和数字样机的供应链系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105824421A (zh) * | 2016-03-21 | 2016-08-03 | 北京上古视觉科技有限公司 | 基于全息投影交互方式的多模态生物识别系统及方法 |
| CN105955455A (zh) * | 2016-04-15 | 2016-09-21 | 北京小鸟看看科技有限公司 | 一种在虚拟场景中添加对象的装置和方法 |
| CN108664722A (zh) * | 2018-05-04 | 2018-10-16 | 北京卫星环境工程研究所 | 基于增强现实的卫星电缆铺设导引系统及导引方法 |
| CN111240476A (zh) * | 2020-01-06 | 2020-06-05 | 腾讯科技（深圳）有限公司 | 基于增强现实的交互方法、装置、存储介质和计算机设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111265843B (zh) * | 2020-03-19 | 2021-09-17 | 龚志 | 一种基于物联网技术的健身环使用方法 |
-
2020
- 2020-08-24 CN CN202010861692.4A patent/CN112001050B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105824421A (zh) * | 2016-03-21 | 2016-08-03 | 北京上古视觉科技有限公司 | 基于全息投影交互方式的多模态生物识别系统及方法 |
| CN105955455A (zh) * | 2016-04-15 | 2016-09-21 | 北京小鸟看看科技有限公司 | 一种在虚拟场景中添加对象的装置和方法 |
| CN108664722A (zh) * | 2018-05-04 | 2018-10-16 | 北京卫星环境工程研究所 | 基于增强现实的卫星电缆铺设导引系统及导引方法 |
| CN111240476A (zh) * | 2020-01-06 | 2020-06-05 | 腾讯科技（深圳）有限公司 | 基于增强现实的交互方法、装置、存储介质和计算机设备 |
Non-Patent Citations (3)
| Title |
|---|
| 禹鑫燚等.面向智能制造加工的虚拟调试系统开发与应用.《计算机测量与控制》.2019,第27卷(第12期),摘要及第1-4节. * |
| 计量装置基本技能三维仿真培训系统的研发;张英等;《自动化与仪器仪表》(第04期);第204-207页 * |
| 面向智能制造加工的虚拟调试系统开发与应用;禹鑫燚等;《计算机测量与控制》;第27卷(第12期);第192-197页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112001050A (zh) | 2020-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111402290B (zh) | 一种基于骨骼关键点的动作还原方法以及装置 | |
| CN112567374A (zh) | 一种仿真交通场景文件生成方法及装置 | |
| CN112001050B (zh) | 设备调试管控方法、装置、电子设备及可读存储介质 | |
| CN106125903B (zh) | 多人交互系统及方法 | |
| KR20160117559A (ko) | 움직이는 객체가 존재하는 경우에 로봇을 제어하는 방법 | |
| CN112652016A (zh) | 点云预测模型的生成方法、位姿估计方法及其装置 | |
| CN110638529B (zh) | 一种手术远程控制方法、装置、存储介质及终端设备 | |
| CN112549034B (zh) | 一种机器人任务部署方法、系统、设备和存储介质 | |
| JP6863927B2 (ja) | ロボットのシミュレーション装置 | |
| WO2020061432A1 (en) | Markerless human movement tracking in virtual simulation | |
| JP6841608B2 (ja) | 振る舞い検知システム | |
| US11529737B2 (en) | System and method for using virtual/augmented reality for interaction with collaborative robots in manufacturing or industrial environment | |
| CN110751728A (zh) | 具有bim建筑模型混合现实功能的虚拟现实设备及方法 | |
| Gonzalez et al. | Deserts: Delay-tolerant semi-autonomous robot teleoperation for surgery | |
| CN110796738A (zh) | 巡检设备状态跟踪的三维可视化方法及装置 | |
| CN111338232A (zh) | 自动驾驶仿真方法及装置 | |
| CN112671487A (zh) | 一种车辆测试的方法、服务器以及测试车辆 | |
| US20220156963A1 (en) | Coordinate system conversion parameter estimating apparatus, method and program | |
| WO2022046227A1 (en) | Mixed reality image capture and smart inspection | |
| CN112847336A (zh) | 动作学习方法、装置、存储介质及电子设备 | |
| CN112580582A (zh) | 动作学习方法、装置、介质及电子设备 | |
| Tsitos et al. | Real-time feasibility of a human intention method evaluated through a competitive human-robot reaching game | |
| Quattrocchi et al. | Put Your PPE on: A Tool for Synthetic Data Generation and Related Benchmark in Construction Site Scenarios. | |
| Guerra et al. | Flightgoggles: A modular framework for photorealistic camera, exteroceptive sensor, and dynamics simulation | |
| CN107391710B (zh) | 机器操作监督系统及服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |