CN114670209B - 环境识别模型和控制决策的获取方法、装置及电子设备 - Google Patents
环境识别模型和控制决策的获取方法、装置及电子设备 Download PDFInfo
- Publication number
- CN114670209B CN114670209B CN202210600685.8A CN202210600685A CN114670209B CN 114670209 B CN114670209 B CN 114670209B CN 202210600685 A CN202210600685 A CN 202210600685A CN 114670209 B CN114670209 B CN 114670209B
- Authority
- CN
- China
- Prior art keywords
- data information
- node
- information set
- environment
- recognition model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Robotics (AREA)
- Software Systems (AREA)
- Mechanical Engineering (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Fuzzy Systems (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Feedback Control In General (AREA)
Abstract
本申请涉及机器人深度学习模型技术领域，提供了一种环境识别模型和控制决策的获取方法、装置及电子设备，环境识别模型的获取方法包括：获取机器人的实际数据信息集和仿真数据信息集；基于OPC UA信息模型，将多个所述实际数据信息转化为多个第一节点、将多个所述仿真数据信息转化为多个第二节点，并通过计算第一节点和第二节点之间的关联度值，将所述实际数据信息集和所述仿真数据信息集进行融合，以获取融合数据信息集；将所述融合数据信息集作为所述环境识别模型的训练集，对所述环境识别模型进行训练。本发明的训练样本大，可靠性高。
Description
技术领域
本申请涉及深度学习模型技术领域，具体而言，涉及一种环境识别模型和控制决策的获取方法、装置及电子设备。
背景技术
现有的机器人环境识别模型是通过现有的自监督模型，单一地对实际数据信息或者仿真数据信息进行自监督训练，其中，实际数据信息是指安装在机器人上的传感器所收集到的数据信息，仿真数据信息是指在仿真平台或者仿真软件上生成模拟机器人实际运行时的数据信息。
但是，当前用于自监督模型学习的数据种类不够完善，自监督模型无法快速适应新环境，可靠性不高；缺少将实际数据信息和仿真数据信息进行融合处理作为训练集的方法。
基于上述问题，目前尚未有有效的解决方法。
发明内容
本申请的目的在于提供一种环境识别模型和控制决策的获取方法、装置及电子设备，能够增大环境识别模型的训练集，提高环境识别模型的可靠性。
第一方面，本申请提供了一种环境识别模型的获取方法，用于获取环境识别模型，包括以下步骤：
S1.获取机器人的实际数据信息集和仿真数据信息集，所述实际数据信息集包含多个实际数据信息,每个所述实际数据信息包括实际环境数据和对应的环境类型标签，所述仿真数据信息集包含多个仿真数据信息，每个所述仿真数据信息包括仿真环境数据和对应的环境类型标签；
S2.将所述实际数据信息集和所述仿真数据信息集进行融合，以获取融合数据信息集，所述融合数据信息集大于所述实际数据信息集和所述仿真数据信息集的并集；
S3.将所述融合数据信息集作为所述环境识别模型的训练集，对所述环境识别模型进行训练；
步骤S2包括：
S201.基于OPC UA信息模型，将多个所述实际数据信息转化为多个第一节点、将多个所述仿真数据信息转化为多个第二节点；
S202.计算所述第一节点和所述第二节点的关联度值；
S203.根据所述关联度值的大小判断所述第一节点对应的所述实际数据信息和所述第二节点对应的所述仿真数据信息是否可以融合；
S204.若可融合，则对所述第一节点对应的所述实际数据信息和所述第二节点对应的所述仿真数据信息进行融合处理，得到对应的拼合数据信息；
S205.以所述实际数据信息集、所述仿真数据信息集和拼合数据信息集的并集作为所述融合数据信息集；所述拼合数据信息集为所有所述拼合数据信息的集合。
本申请的环境识别模型的获取方法，通过获取机器人的实际数据信息集和仿真数据信息集，实际数据信息集包含多个实际数据信息,每个实际数据信息包括实际环境数据和对应的环境类型标签，仿真数据信息集包含多个仿真数据信息，每个仿真数据信息包括仿真环境数据和对应的环境类型标签；将实际数据信息集和仿真数据信息集进行融合，以获取融合数据信息集，融合数据信息集大于实际数据信息集和仿真数据信息集的并集；将融合数据信息集作为环境识别模型的训练集，对环境识别模型进行训练。通过将实际数据信息集和仿真数据信息集进行融合，可以增大环境识别模型的训练样本，提高环境识别模型的可靠性。
进一步地，步骤S202包括：根据以下公式计算所述第一节点和所述第二节点的所述关联度值：
其中，r为所述第一节点和所述第二节点的所述关联度值；n为与所述第一节点相连的节点数；m为与所述第二节点相连的节点数；x为与所述第一节点相连的节点和所述第一节点之间构成的向量集；y为与所述第二节点相连的节点和所述第二节点之间构成的向量集。
进一步地，步骤S203包括：
S2031.根据所述第一节点和所述第二节点的所述关联度值，确定所述第一节点和所述第二节点之间的相关等级；
S2032.根据所述相关等级判断所述第一节点对应的所述实际数据信息和所述第二节点对应的所述仿真数据信息是否可以融合。
通过这种方式，在增大训练样本减少训练样本的错误率，进一步提高环境识别模型的可靠性。
第二方面，本申请提供一种环境识别模型的获取装置，用于获取环境识别模型，包括以下模块：
第一获取模块：用于获取机器人的实际数据信息集和仿真数据信息集，所述实际数据信息集包含多个实际数据信息，所述仿真数据信息集包含多个仿真数据信息；
融合模块：用于将所述实际数据信息集和所述仿真数据信息集进行融合，以获取融合数据信息集，所述融合数据信息集大于所述实际数据信息集和所述仿真数据信息集的并集；
训练模块：用于将所述融合数据信息集作为所述环境识别模型的训练集，对所述环境识别模型进行训练；
所述融合模块在将所述实际数据信息集和所述仿真数据信息集进行融合，以获取融合数据信息集的时候，执行以下步骤：
S201.基于OPC UA信息模型，将多个所述实际数据信息转化为多个第一节点、将多个所述仿真数据信息转化为多个第二节点；
S202.计算所述第一节点和所述第二节点的关联度值；
S203.根据所述关联度值的大小判断所述第一节点对应的所述实际数据信息和所述第二节点对应的所述仿真数据信息是否可以融合；
S204.若可融合，则对所述第一节点对应的所述实际数据信息和所述第二节点对应的所述仿真数据信息进行融合处理，得到对应的拼合数据信息；
S205.以所述实际数据信息集、所述仿真数据信息集和拼合数据信息集的并集作为所述融合数据信息集；所述拼合数据信息集为所有所述拼合数据信息的集合。
进一步地，步骤S202包括：根据以下公式计算所述关联度值：
r为所述第一节点和所述第二节点的所述关联度值；n为与所述第一节点相连的节点数；m为与所述第二节点相连的节点数；x为与所述第一节点相连的节点和所述第一节点之间构成的向量集；y为与所述第二节点相连的节点和所述第二节点之间构成的向量集。
本申请提供的环境识别模型的获取装置，通过第一获取模块获取机器人的实际数据信息集和仿真数据信息集，实际数据信息集包含多个实际数据信息,每个实际数据信息包括实际环境数据和对应的环境类型标签，仿真数据信息集包含多个仿真数据信息，每个仿真数据信息包括仿真环境数据和对应的环境类型标签；融合模块将实际数据信息集和仿真数据信息集进行融合，以获取融合数据信息集，融合数据信息集大于实际数据信息集和仿真数据信息集的并集；训练模块将融合数据信息集作为环境识别模型的训练集，对环境识别模型进行训练。通过将实际数据信息集和仿真数据信息集进行融合，可以增大环境识别模型的训练样本，提高环境识别模型的可靠性。
第三方面，本申请提供一种控制决策的获取方法，用于优化机器人的控制决策，包括以下步骤：
A1.获取机器人当前所处环境的环境数据；
A2.把所述环境数据输入已完成训练的环境识别模型，得到所述环境识别模型输出的环境类型标签；所述环境识别模型为上述第一方面提供的所述环境识别模型的获取方法获取的模型；
A3. 根据所述环境类型标签获取控制决策。
第四方面，本申请提供一种控制决策的获取装置，用于优化机器人的控制决策，包括以下模块：
第二获取模块：用于获取机器人当前所处环境的环境数据；
输入模块：用于把所述环境数据输入已完成训练的环境识别模型，得到所述环境识别模型输出的环境类型标签；所述环境识别模型为上述第一方面提供的所述环境识别模型的获取方法获取的模型；
第三获取模块：用于根据所述环境类型标签获取控制决策。
第五方面，本申请提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面或第三方面提供的所述方法中的步骤。
由上可知，本申请的环境识别模型和控制决策的获取方法、装置及电子设备，通过将实际数据信息集和仿真数据信息集进行融合，可以增大环境识别模型的训练样本，提高环境识别模型的可靠性。
附图说明
图1为本申请提供的环境识别模型的获取方法的一种流程图。
图2为本申请提供的环境识别模型的获取装置的一种结构示意图。
图3为本申请提供的电子设备的结构示意图。
标号说明：
201、第一获取模块；202、融合模块；203、训练模块；301、处理器；302、存储器；303、通信总线。
具体实施方式
下面将结合本申请实施方式中附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。通常在此处附图中描述和示出的本申请实施方式的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施方式的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施方式。基于本申请的实施方式，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施方式，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在实际应用中，本申请的环境识别模型采用的是自监督学习方法，自监督学习方法主要是利用辅助任务（pretext）从大规模的数据信息中挖掘自身的监督信息，通过这种构造的监督信息对环境识别模型进行训练，从而可以识别或者准确预测机器人所处的环境，可以帮助优化后续的机器人动力学模型或者机器人的决策方案。其中，机器人的决策方案可以包括机器人避障、导航等。
请参照图1，图1是本申请一些实施方式中的环境识别模型的获取方法的流程图，用于获取环境识别模型，其中，包括以下步骤：
S1.获取机器人的实际数据信息集和仿真数据信息集，实际数据信息集包含多个实际数据信息,每个实际数据信息包括实际环境数据和对应的环境类型标签，仿真数据信息集包含多个仿真数据信息，每个仿真数据信息包括仿真环境数据和对应的环境类型标签；
S2.将实际数据信息集和仿真数据信息集进行融合，以获取融合数据信息集，融合数据信息集大于实际数据信息集和仿真数据信息集的并集；
S3.将融合数据信息集作为环境识别模型的训练集，对环境识别模型进行训练。
步骤S1中，实际环境数据包括机器人实际获取的图像中的像素点信息、距离信息、灰度值、颜色信息或者光强值等；环境类型标签是指机器人所处的环境，例如水泥地、瓷砖或者草地。其中，机器人可以设置现有的双目相机或者深度相机等。仿真数据信息是指利用现有的仿真平台或者软件自动生成的仿真图像信息，仿真环境数据和实际环境数据近似或者相同。实际数据信息集可以是由多个实际环境数据以及对应的环境类型标签构成的表格，同理，仿真数据信息集可以是由多个仿真环境数据以及对应的环境类型标签构成的表格。
步骤S2中，实际数据信息集和仿真数据信息集的并集为融合数据信息集的子集，融合数据信息集的样本数据量比实际数据信息集和仿真数据信息集的样本数据量之和大。
本申请的环境识别模型的获取方法，通过获取机器人的实际数据信息集和仿真数据信息集，实际数据信息集包含多个实际数据信息,每个实际数据信息包括实际环境数据和对应的环境类型标签，仿真数据信息集包含多个仿真数据信息，每个仿真数据信息包括仿真环境数据和对应的环境类型标签；将实际数据信息集和仿真数据信息集进行融合，以获取融合数据信息集，融合数据信息集大于实际数据信息集和仿真数据信息集的并集；将融合数据信息集作为环境识别模型的训练集，对环境识别模型进行训练。通过将实际数据信息集和仿真数据信息集进行融合，可以增大环境识别模型的训练样本，提高环境识别模型的可靠性。
在一些实施方式中，步骤S2包括：
S201.基于OPC UA信息模型，将多个实际数据信息转化为多个第一节点、将多个仿真数据信息转化为多个第二节点；
S202.计算第一节点和第二节点的关联度值；
S203.根据关联度值的大小判断第一节点对应的实际数据信息和第二节点对应的仿真数据信息是否可以融合；
S204.若可融合，则对第一节点对应的实际数据信息和第二节点对应的仿真数据信息进行融合处理，得到对应的拼合数据信息；
S205.以实际数据信息集、仿真数据信息集和拼合数据信息集的并集作为融合数据信息集；拼合数据信息集为所有拼合数据信息的集合。
步骤S201中，OPC UA全称是Object Linking and Embedding for ProcessControl unified architecture（控制过程的对象连接与嵌入的统一架构）。为了便于自动化行业不同厂家的设备和应用程序能相互交换数据，定义了一个统一的接口函数，就是OPC协议规范。OPC UA信息模型可以描述数据与数据之间的关系，并且将获得数据信息以节点的方式进行表示。
例如实际数据信息中的实际环境数据，例如第一光强值信息经过OPC UA信息模型转化为第一节点a，第一节点b和第一节点c；该第一光强值信息对应的环境类型标签为水泥地。仿真数据信息中的第二光强值信息经过OPC UA信息模型转化为第二节点e，第二节点f和第二节点g；其中，该第二光强值信息由于是由仿真软件生成，该第二光强值对应的环境类型标签为水泥地。
在一些实施方式中，拼合数据信息包括拼合环境数据和拼合环境类型标签，步骤S204包括以下步骤:将第一节点的实际环境数据和第二节点的仿真环境数据的均值作为拼合环境数据；以第一节点的环境类型标签或第二节点的环境类型标签为拼合环境类型标签。一般地，当第一节点对应的实际数据信息和第二节点对应的仿真数据信息可以融合，两者的环境类型标签一般是相同的，若两者的环境类型标签不相同，可终止该第一节点对应的实际数据信息和该第二节点对应的仿真数据信息的融合。
假设获取的数据信息中，第一节点的实际环境数据为灰度值80，对应的环境类型标签为水泥地；第二节点的仿真环境数据为灰度值81，对应的环境类型标签为水泥地；经过融合之后，拼合环境数据为灰度值80.5，对应的拼合环境类型标签为水泥地。通过这种方式，可以使获得的拼合环境数据的数量更加丰富，从而进一步最大训练样本，提高环境识别模型的可靠性。
在进一步的实施方式中，步骤S202包括：根据以下公式计算第一节点和第二节点的关联度值：
其中，r为第一节点和所述第二节点的所述关联度值；n为与第一节点相连的节点数；m为与第二节点相连的节点数；x为与第一节点相连的节点和第一节点之间构成的向量集；y为与第二节点相连的节点和第二节点之间构成的向量集。
在实际应用中，n为与第一节点相连的节点数（例如经过OPC UA信息模型转化的灰度值所产生的节点有5个，但是与第一节点a相连的点数n只有2个），可以假设，第一节点a的坐标（4,5,6），其中第一节点a的坐标可以是多维坐标，为了方便说明，本申请采用三维坐标表示。而经过OPC UA信息模型转化的灰度值所产生的节点中与第一节点相连的节点的坐标只有两个（即与第一节点相连的节点数n），并且坐标分别（4,5,7）和（4,4,6），那么，可以通过现有的方法获取与第一节点相连的节点与第一节点之间构成的向量集x包括（0,0,1）和（0，-1,0）。同理，与第二节点相连的节点数m，以及与第二节点相连的节点与第二节点之间构成的向量集y也可以通过上述方法获得，在此不再赘述。
在进一步的实施方式中，步骤S203包括：
S2031.根据第一节点和第二节点的关联度值，确定第一节点和第二节点之间的相关等级；
S2032.根据相关等级判断第一节点对应的实际数据信息和第二节点对应的仿真数据信息是否可以融合。
在实际应用中，可以根据关联度值的大小设置相关等级，相关等级可以预设为高度相关、中度相关、低度相关和不相关。其中，关联度值r的计算结果取值在0-1之间。因此，高度相关是指关联度值r大于等于0.8、小于1；中度相关是指关联度值r大于等于0.5、小于0.8；低度相关是指关联度值r大于等于0.3、小于0.5；不相关是指关联度值r大于等于0、小于0.3；但不限于此。通过这种方式，可以根据实际情况，当关联度值r处于高度相关时，才将实际数据信息和仿真数据信息融合，通过这种方式，可以避免将一些中度相关或者低度相关的实际数据信息和虚拟数据信息融合成为训练样本，在增大训练样本的同时减少训练样本的错误率，进一步提高环境识别模型的可靠性。
由上可知，本申请的环境识别模型的获取方法，通过获取机器人的实际数据信息集和仿真数据信息集，实际数据信息集包含多个实际数据信息,每个实际数据信息包括实际环境数据和对应的环境类型标签，仿真数据信息集包含多个仿真数据信息，每个仿真数据信息包括仿真环境数据和对应的环境类型标签；将实际数据信息集和仿真数据信息集进行融合，以获取融合数据信息集，融合数据信息集大于实际数据信息集和仿真数据信息集的并集；将融合数据信息集作为环境识别模型的训练集，对环境识别模型进行训练。通过将实际数据信息集和仿真数据信息集进行融合，可以增大环境识别模型的训练样本，提高环境识别模型的可靠性。
请参照图2，图2是本申请一些实施方式中的环境识别模型的获取装置，用于获取环境识别模型，其中，包括以下模块：
第一获取模块201：用于获取机器人的实际数据信息集和仿真数据信息集，实际数据信息集包含多个实际数据信息,每个实际数据信息包括实际环境数据和对应的环境类型标签，仿真数据信息集包含多个仿真数据信息，每个仿真数据信息包括仿真环境数据和对应的环境类型标签；
融合模块202：用于将实际数据信息集和仿真数据信息集进行融合，以获取融合数据信息集，融合数据信息集大于实际数据信息集和仿真数据信息集的并集；
训练模块203：用于将融合数据信息集作为环境识别模型的训练集，对环境识别模型进行训练。
第一获取模块201获取的实际环境数据是指机器人实际获取的图像中的像素点信息、距离信息、灰度值、颜色信息或者光强值等；环境类型标签是指机器人所处的环境，例如水泥地、瓷砖或者草地。其中，机器人可以设置现有的双目相机或者深度相机等。仿真数据信息是指利用现有的仿真平台或者软件自动生成的仿真图像信息，仿真环境数据和实际环境数据近似或者相同。实际数据信息集可以是由多个实际环境数据以及对应的环境类型标签构成的表格，同理，仿真数据信息集可以是由多个仿真环境数据以及对应的环境类型标签构成的表格。
融合模块202中，实际数据信息集和仿真数据信息集的并集为融合数据信息集的子集，融合数据信息集的样本数据量比实际数据信息集和仿真数据信息集的样本数据量之和大。
本申请的环境识别模型的获取装置，通过第一获取模块201获取机器人的实际数据信息集和仿真数据信息集，实际数据信息集包含多个实际数据信息,每个实际数据信息包括实际环境数据和对应的环境类型标签，仿真数据信息集包含多个仿真数据信息，每个仿真数据信息包括仿真环境数据和对应的环境类型标签；融合模块202将实际数据信息集和仿真数据信息集进行融合，以获取融合数据信息集，融合数据信息集大于实际数据信息集和仿真数据信息集的并集；训练模块203将融合数据信息集作为环境识别模型的训练集，对环境识别模型进行训练。通过将实际数据信息集和仿真数据信息集进行融合，可以增大环境识别模型的训练样本，提高环境识别模型的可靠性。
在一些实施方式中，融合模块202在将实际数据信息集和仿真数据信息集进行融合，以获取融合数据信息集，融合数据信息集大于实际数据信息集和仿真数据信息集的并集的时候，执行以下步骤：
S201.基于OPC UA信息模型，将多个实际数据信息转化为多个第一节点、将多个仿真数据信息转化为多个第二节点；
S202.计算第一节点和第二节点的关联度值；
S203.根据关联度值的大小判断第一节点对应的实际数据信息和第二节点对应的仿真数据信息是否可以融合；
S204.若可融合，则对第一节点对应的实际数据信息和第二节点对应的仿真数据信息进行融合处理，得到对应的拼合数据信息；
S205.以实际数据信息集、仿真数据信息集和拼合数据信息集的并集作为融合数据信息集；拼合数据信息集为所有拼合数据信息的集合。
步骤S201中，OPC UA全称是Object Linking and Embedding for ProcessControl unified architecture（控制过程的对象连接与嵌入的统一架构）。为了便于自动化行业不同厂家的设备和应用程序能相互交换数据，定义了一个统一的接口函数，就是OPC协议规范。OPC UA信息模型可以描述数据与数据之间的关系，并且将获得数据信息以节点的方式进行表示。
例如实际数据信息中的实际环境数据，例如第一光强值信息经过OPC UA信息模型转化为第一节点a，第一节点b和第一节点c；该第一光强值信息对应的环境类型标签为水泥地。仿真数据信息中的第二光强值信息经过OPC UA信息模型转化为第二节点e，第二节点f和第二节点g；其中，该第二光强值信息由于是由仿真软件生成，该第二光强值对应的环境类型标签为水泥地。
在一些实施方式中，拼合数据信息包括拼合环境数据和拼合环境类型标签，步骤S204包括以下步骤:将第一节点的实际环境数据和第二节点的仿真环境数据的均值作为拼合环境数据；以第一节点的环境类型标签或第二节点的环境类型标签为拼合环境类型标签。一般地，当第一节点对应的实际数据信息和第二节点对应的仿真数据信息可以融合，两者的环境类型标签一般是相同的，若两者的环境类型标签不相同，可终止该第一节点对应的实际数据信息和该第二节点对应的仿真数据信息的融合。
假设获取的数据信息中，第一节点的实际环境数据为灰度值80，对应的环境类型标签为水泥地；第二节点的仿真环境数据为灰度值81，对应的环境类型标签为水泥地；经过融合之后，拼合环境数据为灰度值80.5，对应的拼合环境类型标签为水泥地。通过这种方式，可以使获得的拼合环境数据的数量更加丰富，从而进一步最大训练样本，提高环境识别模型的可靠性。
在进一步的实施方式中，步骤S202包括：根据以下公式计算第一节点和第二节点的关联度值：
其中，r为第一节点和所述第二节点的所述关联度值；n为与第一节点相连的节点数；m为与第二节点相连的节点数；x为与第一节点相连的节点和第一节点之间构成的向量集；y为与第二节点相连的节点和第二节点之间构成的向量集。
在实际应用中，n为与第一节点相连的节点数（例如经过OPC UA信息模型转化的灰度值所产生的节点有5个，但是与第一节点a相连的点数n只有2个），可以假设，第一节点a的坐标（4,5,6），其中第一节点a的坐标可以是多维坐标，为了方便说明，本申请采用三维坐标表示。而经过OPC UA信息模型转化的灰度值所产生的节点中与第一节点相连的节点的坐标只有两个（即与第一节点相连的节点数n），并且坐标分别（4,5,7）和（4,4,6），那么，可以通过现有的方法获取与第一节点相连的节点与第一节点之间构成的向量集x包括（0,0,1）和（0，-1,0）。同理，与第二节点相连的节点数m，以及与第二节点相连的节点与第二节点之间构成的向量集y也可以通过上述方法获得，在此不再赘述。
在进一步的实施方式中，步骤S203包括：
S2031.根据第一节点和第二节点的关联度值，确定第一节点和第二节点之间的相关等级；
S2032.根据相关等级判断第一节点对应的实际数据信息和第二节点对应的仿真数据信息是否可以融合。
在实际应用中，可以根据关联度值的大小设置相关等级，相关等级可以预设为高度相关、中度相关、低度相关和不相关。其中，关联度值r的计算结果取值在0-1之间。因此，高度相关是指关联度值r大于等于0.8、小于1；中度相关是指关联度值r大于等于0.5、小于0.8；低度相关是指关联度值r大于等于0.3、小于0.5；不相关是指关联度值r大于等于0、小于0.3；但不限于此。通过这种方式，可以根据实际情况，当关联度值r处于高度相关时，才将实际数据信息和仿真数据信息融合，通过这种方式，可以避免将一些中度相关或者低度相关的实际数据信息和虚拟数据信息融合成为训练样本，在增大训练样本的同时减少训练样本的错误率，进一步提高环境识别模型的可靠性。
本申请的环境识别模型的获取装置，通过第一获取模块201获取机器人的实际数据信息集和仿真数据信息集，实际数据信息集包含多个实际数据信息,每个实际数据信息包括实际环境数据和对应的环境类型标签，仿真数据信息集包含多个仿真数据信息，每个仿真数据信息包括仿真环境数据和对应的环境类型标签；融合模块202将实际数据信息集和仿真数据信息集进行融合，以获取融合数据信息集，融合数据信息集大于实际数据信息集和仿真数据信息集的并集；训练模块203将融合数据信息集作为环境识别模型的训练集，对环境识别模型进行训练。通过将实际数据信息集和仿真数据信息集进行融合，可以增大环境识别模型的训练样本，提高环境识别模型的可靠性。
另一方面，本申请还提供一种控制决策的获取方法，用于优化机器人的控制决策，其中，包括以下步骤：
A1.获取机器人当前所处环境的环境数据；
A2.把环境数据输入已完成训练的环境识别模型，得到环境识别模型输出的环境类型标签；环境识别模型为上述环境识别模型的获取方法获取的模型；
A3. 根据环境类型标签获取控制决策。
步骤A1中，获取机器人当前所处环境的环境数据可以通过传感器或者现有的工业相机获取。环境数据包括机器人获取的图像中的像素点信息、距离信息、灰度值、颜色信息或者光强值等。
步骤A3中，控制决策可以包括移动速度调整决策（根据环境类型标签调整机器人的移动速度）、电机力矩调整决策（根据环境类型标签调整机器人的电机力矩）、移动路径调整决策（根据环境类型标签调整机器人的移动路径）等。
假设机器人当前所处环境的环境类型标签为草地，而上一时刻所处环境的环境类型标签为水泥地，一般需要对机器人的移动速度和电机力矩进行调整，控制决策可以为移动速度调整决策和电机力矩调整决策。
以及提供一种控制决策的获取装置，用于优化机器人的控制决策，其中，包括以下模块：
第二获取模块：用于获取机器人当前所处环境的环境数据；
输入模块：用于把环境数据输入已完成训练的环境识别模型，得到环境识别模型输出的环境类型标签；环境识别模型为上述环境识别模型的获取方法获取的模型；
第三获取模块：根据环境类型标签获取控制决策。
第二获取模块获取机器人当前所处环境的环境数据可以通过传感器或者现有的工业相机获取。环境数据包括机器人获取的图像中的像素点信息、距离信息、灰度值、颜色信息或者光强值等。
第三获取模块中，控制决策可以包括移动速度调整决策（根据环境类型标签调整机器人的移动速度）、电机力矩调整决策（根据环境类型标签调整机器人的电机力矩）、移动路径调整决策（根据环境类型标签调整机器人的移动路径）等。
假设机器人当前所处环境的环境类型标签为草地，而上一时刻所处环境的环境类型标签为水泥地，一般需要对机器人的移动速度和电机力矩进行调整，控制决策可以为移动速度调整决策和电机力矩调整决策。
请参照图3，图3为本申请实施方式提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当计算设备运行时，处理器301执行该计算机程序，以在执行时执行上述实施方式的任一可选的实现方式中的方法，以实现以下功能：获取机器人的实际数据信息集和仿真数据信息集，实际数据信息集包含多个实际数据信息,每个实际数据信息包括实际环境数据和对应的环境类型标签，仿真数据信息集包含多个仿真数据信息，每个仿真数据信息包括仿真环境数据和对应的环境类型标签；将实际数据信息集和仿真数据信息集进行融合，以获取融合数据信息集，融合数据信息集大于实际数据信息集和仿真数据信息集的并集；将融合数据信息集作为环境识别模型的训练集，对环境识别模型进行训练；和/或获取机器人当前所处环境的环境数据；把环境数据输入已完成训练的环境识别模型，得到环境识别模型输出的环境类型标签；环境识别模型为上述环境识别模型的获取方法获取的模型；根据环境类型标签获取控制决策。在本申请所提供的实施方式中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施方式仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
再者，在本申请各个实施方式中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施方式而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (8)
1.一种环境识别模型的获取方法，用于获取环境识别模型，其特征在于，包括以下步骤：
S1.获取机器人的实际数据信息集和仿真数据信息集，所述实际数据信息集包含多个实际数据信息,每个所述实际数据信息包括实际环境数据和对应的环境类型标签，所述仿真数据信息集包含多个仿真数据信息，每个所述仿真数据信息包括仿真环境数据和对应的环境类型标签；
S2.将所述实际数据信息集和所述仿真数据信息集进行融合，以获取融合数据信息集，所述融合数据信息集大于所述实际数据信息集和所述仿真数据信息集的并集；
S3.将所述融合数据信息集作为所述环境识别模型的训练集，对所述环境识别模型进行训练；
步骤S2包括：
S201.基于OPC UA信息模型，将多个所述实际数据信息转化为多个第一节点、将多个所述仿真数据信息转化为多个第二节点；
S202.计算所述第一节点和所述第二节点的关联度值；
S203.根据所述关联度值的大小判断所述第一节点对应的所述实际数据信息和所述第二节点对应的所述仿真数据信息是否可以融合；
S204.若可融合，则对所述第一节点对应的所述实际数据信息和所述第二节点对应的所述仿真数据信息进行融合处理，得到对应的拼合数据信息；
S205.以所述实际数据信息集、所述仿真数据信息集和拼合数据信息集的并集作为所述融合数据信息集；所述拼合数据信息集为所有所述拼合数据信息的集合。
2.根据权利要求1所述的环境识别模型的获取方法，其特征在于，步骤S202包括：根据以下公式计算所述第一节点和所述第二节点的所述关联度值：
其中，r为所述第一节点和所述第二节点的所述关联度值；n为与所述第一节点相连的节点数；m为与所述第二节点相连的节点数；x为与所述第一节点相连的节点和所述第一节点之间构成的向量集；y为与所述第二节点相连的节点和所述第二节点之间构成的向量集。
3.根据权利要求1所述的环境识别模型的获取方法，其特征在于，步骤S203包括：
S2031.根据所述第一节点和所述第二节点的所述关联度值，确定所述第一节点和所述第二节点之间的相关等级；
S2032.根据所述相关等级判断所述第一节点对应的所述实际数据信息和所述第二节点对应的所述仿真数据信息是否可以融合。
4.一种环境识别模型的获取装置，用于获取环境识别模型，其特征在于，包括以下模块：
第一获取模块：用于获取机器人的实际数据信息集和仿真数据信息集，所述实际数据信息集包含多个实际数据信息，所述仿真数据信息集包含多个仿真数据信息；
融合模块：用于将所述实际数据信息集和所述仿真数据信息集进行融合，以获取融合数据信息集，所述融合数据信息集大于所述实际数据信息集和所述仿真数据信息集的并集；
训练模块：用于将所述融合数据信息集作为所述环境识别模型的训练集，对所述环境识别模型进行训练；
所述融合模块在将所述实际数据信息集和所述仿真数据信息集进行融合，以获取融合数据信息集的时候，执行以下步骤：
S201.基于OPC UA信息模型，将多个所述实际数据信息转化为多个第一节点、将多个所述仿真数据信息转化为多个第二节点；
S202.计算所述第一节点和所述第二节点的关联度值；
S203.根据所述关联度值的大小判断所述第一节点对应的所述实际数据信息和所述第二节点对应的所述仿真数据信息是否可以融合；
S204.若可融合，则对所述第一节点对应的所述实际数据信息和所述第二节点对应的所述仿真数据信息进行融合处理，得到对应的拼合数据信息；
S205.以所述实际数据信息集、所述仿真数据信息集和拼合数据信息集的并集作为所述融合数据信息集；所述拼合数据信息集为所有所述拼合数据信息的集合。
5.根据权利要求4所述的环境识别模型的获取装置，其特征在于，步骤S202包括：根据以下公式计算所述关联度值：
其中，r为所述第一节点和所述第二节点的所述关联度值；n为与所述第一节点相连的节点数；m为与所述第二节点相连的节点数；x为与所述第一节点相连的节点和所述第一节点之间构成的向量集；y为与所述第二节点相连的节点和所述第二节点之间构成的向量集。
6.一种控制决策的获取方法，用于优化机器人的控制决策，其特征在于，包括以下步骤：
A1.获取机器人当前所处环境的实际环境数据；
A2.把所述实际环境数据输入已完成训练的环境识别模型，得到所述环境识别模型输出的环境类型标签；所述环境识别模型为根据权利要求1-3任一项所述的环境识别模型的获取方法获取的模型；
A3. 根据所述环境类型标签获取控制决策。
7.一种控制决策的获取装置，用于优化机器人的控制决策，其特征在于，包括以下模块：
第二获取模块：用于获取机器人当前所处环境的实际环境数据；
输入模块：用于把所述实际环境数据输入已完成训练的环境识别模型，得到所述环境识别模型输出的环境类型标签；所述环境识别模型为根据权利要求1-3任一项所述的环境识别模型的获取方法获取的模型；
第三获取模块：用于根据所述环境类型标签获取控制决策。
8.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-3任一项所述环境识别模型的获取方法中的步骤，和/或如权利要求6所述控制决策的获取方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210600685.8A CN114670209B (zh) | 2022-05-30 | 2022-05-30 | 环境识别模型和控制决策的获取方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210600685.8A CN114670209B (zh) | 2022-05-30 | 2022-05-30 | 环境识别模型和控制决策的获取方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114670209A CN114670209A (zh) | 2022-06-28 |
| CN114670209B true CN114670209B (zh) | 2022-08-02 |
Family
ID=82081212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210600685.8A Active CN114670209B (zh) | 2022-05-30 | 2022-05-30 | 环境识别模型和控制决策的获取方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114670209B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008023630A (ja) * | 2006-07-19 | 2008-02-07 | Toyota Motor Corp | アームを誘導可能な移動体およびアームを誘導する方法 |
| CN109299781A (zh) * | 2018-11-21 | 2019-02-01 | 安徽工业大学 | 基于动量和剪枝的分布式深度学习系统 |
| CN112906888A (zh) * | 2021-03-02 | 2021-06-04 | 中国人民解放军军事科学院国防科技创新研究院 | 一种任务执行方法及装置、电子设备和存储介质 |
| CN112975989A (zh) * | 2021-04-21 | 2021-06-18 | 炬星科技（深圳）有限公司 | 机器人安全运行方法、设备及存储介质 |
| CN113221338A (zh) * | 2021-04-25 | 2021-08-06 | 南京邮电大学 | 一种基于数字孪生的复杂装备系统模型验证方法及系统 |
| CN114418109A (zh) * | 2021-08-30 | 2022-04-29 | 河南大学 | 微服务架构下联邦学习的节点选择与聚合优化系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210252698A1 (en) * | 2020-02-14 | 2021-08-19 | Nvidia Corporation | Robotic control using deep learning |
-
2022
- 2022-05-30 CN CN202210600685.8A patent/CN114670209B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008023630A (ja) * | 2006-07-19 | 2008-02-07 | Toyota Motor Corp | アームを誘導可能な移動体およびアームを誘導する方法 |
| CN109299781A (zh) * | 2018-11-21 | 2019-02-01 | 安徽工业大学 | 基于动量和剪枝的分布式深度学习系统 |
| CN112906888A (zh) * | 2021-03-02 | 2021-06-04 | 中国人民解放军军事科学院国防科技创新研究院 | 一种任务执行方法及装置、电子设备和存储介质 |
| CN112975989A (zh) * | 2021-04-21 | 2021-06-18 | 炬星科技（深圳）有限公司 | 机器人安全运行方法、设备及存储介质 |
| CN113221338A (zh) * | 2021-04-25 | 2021-08-06 | 南京邮电大学 | 一种基于数字孪生的复杂装备系统模型验证方法及系统 |
| CN114418109A (zh) * | 2021-08-30 | 2022-04-29 | 河南大学 | 微服务架构下联邦学习的节点选择与聚合优化系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114670209A (zh) | 2022-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20210040326A (ko) | 크로스 모달 처리 방법, 장치, 전자 장치 및 컴퓨터 판독 가능 저장 매체 | |
| CN108734210B (zh) | 一种基于跨模态多尺度特征融合的对象检测方法 | |
| KR102557049B1 (ko) | Slam 기반 카메라 추적에서 라벨된 키프레임을 이용한 이미지 특징 매칭 방법 및 장치 | |
| US11928563B2 (en) | Model training, image processing method, device, storage medium, and program product | |
| CN107247952B (zh) | 基于深层监督的循环卷积神经网络的视觉显著性检测方法 | |
| CN110232131A (zh) | 基于创意标签的创意素材搜索方法及装置 | |
| CN112100422A (zh) | 工程图纸处理方法、装置、设备及存储介质 | |
| CN114881129A (zh) | 一种模型训练方法、装置、电子设备及存储介质 | |
| CN114670209B (zh) | 环境识别模型和控制决策的获取方法、装置及电子设备 | |
| CN112990127B (zh) | 目标识别方法、装置、电子设备及存储介质 | |
| CN116776744B (zh) | 一种基于增强现实的装备制造控制方法及电子设备 | |
| CN116309963B (zh) | 一种图像的批量标注方法、装置、电子设备及存储介质 | |
| AU2021106594A4 (en) | Online anomaly detection method and system for streaming data | |
| CN114627365B (zh) | 场景重识别方法、装置、电子设备及存储介质 | |
| CN107291435B (zh) | 一种不确定性环境下混成aadl模型量化分析方法 | |
| CN111143643B (zh) | 元素识别方法、装置、可读存储介质和电子设备 | |
| CN113886547A (zh) | 基于人工智能的客户实时对话转接方法、装置和电子设备 | |
| CN113936141B (zh) | 图像语义分割方法及计算机可读存储介质 | |
| KR102608018B1 (ko) | 가상물리시스템의 이상치 탐지 장치 및 방법 | |
| CN117253286B (zh) | 人体动作预测方法及相关产品 | |
| CN111279279A (zh) | 建立和跟踪自动化工程环境 | |
| CN116468985B (zh) | 模型训练方法、质量检测方法、装置、电子设备及介质 | |
| CN117334186B (zh) | 一种基于机器学习的语音识别方法及nlp平台 | |
| CN114043484A (zh) | 一种基于视觉的工业机器人装配的模仿学习系统及方法 | |
| CN116860777A (zh) | 一种动态数学模型建立方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |