CN114373046B - 辅助机器人运行的方法、装置及存储介质 - Google Patents

辅助机器人运行的方法、装置及存储介质 Download PDF

Info

Publication number
CN114373046B
CN114373046B CN202111619196.9A CN202111619196A CN114373046B CN 114373046 B CN114373046 B CN 114373046B CN 202111619196 A CN202111619196 A CN 202111619196A CN 114373046 B CN114373046 B CN 114373046B
Authority
CN
China
Prior art keywords
target object
attribute information
information corresponding
robot
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111619196.9A
Other languages
English (en)
Other versions
CN114373046A (zh
Inventor
黄晓庆
王秋林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Shanghai Robotics Co Ltd
Original Assignee
Cloudminds Shanghai Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Shanghai Robotics Co Ltd filed Critical Cloudminds Shanghai Robotics Co Ltd
Priority to CN202111619196.9A priority Critical patent/CN114373046B/zh
Publication of CN114373046A publication Critical patent/CN114373046A/zh
Priority to PCT/CN2022/109100 priority patent/WO2023124063A1/zh
Application granted granted Critical
Publication of CN114373046B publication Critical patent/CN114373046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Manipulator (AREA)

Abstract

本申请提供一种辅助机器人运行的方法及相关设备，可以避免对机器人发出不准确的指令。该方法包括：通过虚拟现实装置显示目标对象所对应的三维模型；若接收到所述目标对象所对应的请求操作，则根据所述目标对象所对应的三维模型生成针对所述目标对象的控制指令；将针对所述目标对象的控制指令发送至机器人，以使得所述机器人根据针对所述目标对象的控制指令执行相应的操作。

Description

辅助机器人运行的方法、装置及存储介质
【技术领域】
本申请属于虚拟现实领域，特别涉及一种辅助机器人运行的方法、装置及存储介质。
【背景技术】
机器人是一种能够半自主或全自主工作的智能机器。机器人具有感知、决策、执行等基本特征，可以辅助甚至替代人类完成危险、繁重、复杂的工作，提高工作效率与质量，服务人类生活，扩大或延伸人的活动及能力范围。
目前在对机器人进行远程人工辅助的时候，采用的是由机器人进行视频实时回传，机器人训练师或遥控者基于观察实时回传的视频对机器人发出姿态的控制指令。
但是视频仅能展示出二维画面，机器人训练师或遥控者对目标的观察精度较低，容易出现位置、尺寸等数据的判断偏差，从而导致对机器人发出不准确的指令。
【发明内容】
本申请提供一种辅助机器人运行的方法、装置及存储介质，可以避免对机器人发出不准确的指令。
本申请第一方面提供了一种辅助机器人运行的方法，包括：
通过虚拟现实装置显示目标对象所对应的三维模型；
若接收到所述目标对象所对应的请求操作，则根据所述目标对象所对应的三维模型生成针对所述目标对象的控制指令；
将针对所述目标对象的控制指令发送至机器人，以使得所述机器人根据针对所述目标对象的控制指令执行相应的操作。
一种可能的设计中，所述通过虚拟现实装置显示目标对象所对应的三维模型包括：
获取所述目标对象所对应的三维点云；
根据所述目标对象所对应的三维点云识别所述目标对象所对应的属性信息；
将所述目标对象所对应的属性信息发送至所述虚拟现实装置，以使得所述虚拟现实装置根据所述目标对象所对应的属性信息生成所述三维模型，并将所述三维模型进行显示。
一种可能的设计中，所述方法还包括：
根据所述目标对象所对应的属性信息将所述目标对象在所述三维点云上进行标识，得到所述目标对象所对应的标识信息；
将所述目标对象所对应的标识信息发送至所述虚拟现实装置，以使得所述虚拟现实装置在所述三维模型上显示所述目标对象所对应的标识信息。
一种可能的设计中，所述根据所述目标对象所对应的属性信息将所述目标对象在所述三维点云上进行标识，得到所述目标对象所对应的标识信息包括：
根据所述目标对象所对应的属性信息确定所述目标对象的状态；
根据所述目标对象的状态将所述目标对象在所述三维点云上进行标识，得到所述目标对象所对应的标识信息。
一种可能的设计中，所述方法还包括：
根据所述目标对象的属性信息确定所述目标对象所对应的操作标识；
将所述目标对象所对应的操作标识发送至所述虚拟现实装置，以使得所述虚拟现实装置在所述三维模型上显示所述目标对象所对应的操作标识。
一种可能的设计中，所述根据所述目标对象所对应的属性信息将所述目标对象在所述三维点云上进行标识，得到所述目标对象所对应的标识信息包括：
对所述目标对象所对应的属性信息进行向量化处理；
将向量化处理后的所述目标对象所对应的属性信息输入标识识别模型，以得到所述目标对象所对应的标识信息。
本申请第二方面一种辅助机器人运行装置，包括：
显示单元，用于通过虚拟现实装置显示目标对象所对应的三维模型；
生成单元，用于若接收到所述目标对象所对应的请求操作，则根据所述目标对象所对应的三维模型生成针对所述目标对象的控制指令；
发送单元，用于将针对所述目标对象的控制指令发送至机器人，以使得所述机器人根据针对所述目标对象的控制指令执行相应的操作。
一种可能的设计中，所述显示单元具体用于：
获取所述目标对象所对应的三维点云；
根据所述目标对象所对应的三维点云识别所述目标对象所对应的属性信息；
将所述目标对象所对应的属性信息发送至所述虚拟现实装置，以使得所述虚拟现实装置根据所述目标对象所对应的属性信息生成所述三维模型，并将所述三维模型进行显示。
一种可能的设计中，所述显示单元还用于：
根据所述目标对象所对应的属性信息将所述目标对象在所述三维点云上进行标识，得到所述目标对象所对应的标识信息；
将所述目标对象所对应的标识信息发送至所述虚拟现实装置，以使得所述虚拟现实装置在所述三维模型上显示所述目标对象所对应的标识信息。
一种可能的设计中，所述显示单元根据所述目标对象所对应的属性信息将所述目标对象在所述三维点云上进行标识，得到所述目标对象所对应的标识信息包括：
根据所述目标对象所对应的属性信息确定所述目标对象的状态；
根据所述目标对象的状态将所述目标对象在所述三维点云上进行标识，得到所述目标对象所对应的标识信息。
一种可能的设计中，所述显示单元还用于：
根据所述目标对象的属性信息确定所述目标对象所对应的操作标识；
将所述目标对象所对应的操作标识发送至所述虚拟现实装置，以使得所述虚拟现实装置在所述三维模型上显示所述目标对象所对应的操作标识。
一种可能的设计中，所述显示单元根据所述目标对象所对应的属性信息将所述目标对象在所述三维点云上进行标识，得到所述目标对象所对应的标识信息包括：
对所述目标对象所对应的属性信息进行向量化处理；
将向量化处理后的所述目标对象所对应的属性信息输入标识识别模型，以得到所述目标对象所对应的标识信息。
本申请实施例第三方面提供了一种计算机设备，其包括至少一个连接的处理器、存储器和收发器，其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中的程序代码来执行上述第一方面所述的辅助机器人运行的方法的步骤。
本申请实施例第四方面提供了一种计算机存储介质，其包括指令，当其在计算机上运行时，使得计算机执行上述任一方面所述的辅助机器人运行的方法的步骤。
综上所述，可以看出，本申请提供的实施例中，可以通过虚拟现实装置现实目标对象所对应的三维模型，并在接收到根据目标对象所对应的三维模型生成针对目标对象的控制指令后，将该控制指令发送至机器人，以控制机器人根据控制指令执行相应的操作，避免对机器人发出不准确的控制指令。
【附图说明】
图1为本申请实施例提供的辅助机器人运行系统的网络架构图；
图2为本申请实施例提供的辅助机器人运行的方法的流程示意图；
图3为本申请实施例提供的目标对象所对应的原始图像的示意图；
图4为本申请实施例提供的目标对象所对应的三维点云的示意图；
图5为本申请实施例提供的添加标识信息和操作标识后的三维点云示意图；
图6为本申请实施例提供的辅助机器人运行装置的虚拟结构示意图；
图7为本申请实施例提供的终端设备的硬件结构示意图。
【具体实施方式】
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征向量可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。
请参阅图1，图1为本申请实施例提供的辅助机器人运行系统的网络架构图，包括客户端101、网络102、远端深度相机103以及虚拟现实装置104；
远端深度相机103为机器人自带的摄像头，机器人可以通过远端深度相机103对目标对象进行拍摄，并得到目标对象所对应的三维点云，之后将目标对象所对应的三维点云通过网络102发送至客户端101，客户端101在获取到目标对象所对应的三维点云之后，可以根据该目标对象所对应的三维点云识别目标对象所对应的属性信息，并根据该目标对象所对应的属性信息将目标对象在三维点云上进行标识，得到目标对象所对应的标识信息；并将目标对象所对应的属性信息与目标对象所对应的标识信息发送至虚拟现实装置104，由虚拟现实装置104进行展示给机器人训练师或遥控者查看，若客户端101接收到目标对象所对应的请求操作，则根据虚拟现实装置104显示的目标对象所对应的三维模型生成针对目标对象的控制指令，并将针对目标对象的控制指令发送至机器人，以使得机器人根据针对目标对象的控制指令执行相应的操作。由此，可以在接收到根据目标对象所对应的三维模型生成针对目标对象的控制指令后，将该控制指令发送至机器人，以控制机器人根据控制指令执行相应的操作，避免对机器人发出不准确的控制指令。
下面从辅助机器人运行装置的角度对辅助机器人运行的方法的进行说明，请参阅图2，图2为本申请实施例提供的辅助机器人运行的方法的流程示意图，包括：
201、通过虚拟现实装置显示目标对象所对应的三维模型。
本实施例中，辅助机器人运行装置可以通过虚拟现实装置显示目标对象所对应的三维模型，下面对辅助机器人运行装置通过虚拟现实装置显示目标对象所对应的三维模型进行详细说明：
辅助机器人运行装置通过虚拟现实装置显示目标对象所对应的三维模型包括如下步骤：
步骤A1、获取目标对象所对应的三维点云；
本步骤中，三维点云是指在同一空间参考系下表达目标空间分布和目标表面光谱性的海量点集合，是由物体模型表面上一系列空间采样点构成的模型几何描述，也是三维激光扫描数据的通用表现形式。辅助机器人运行装置可以获取目标对象所对应的三维点云(该三维点云可以是三维彩色点云)。也即辅助机器人运行装置可以发送指令至机器人，由机器人通过深度相机对目标对象进行拍摄并返回，当然也还可以通过其他的方式进行获取，具体不做限定。另外，该目标对象可以为果树上的果实，也可以为待处理的其他对象，例如待机器人切割的木材，待机器人抓取的杯子等等，具体不做限定。下面结合图3和图4进行说明，请参阅图3，图3为本申请实施例提供的目标对象所对应的原始图像300的示意图，目标对象为原始图像300中的301和302，图4为本申请实施例提供的目标对象所对应的三维点云400的示意图，其中，401为目标对象301所对应的三维点云，402为目标对象302所对应的三维点云示意图。
步骤A2、根据目标对象所对应的三维点云识别目标对象所对应的属性信息。
本步骤中，辅助机器人运行装置在获取到目标对象所对应的三维点云之后，可以根据目标对象所对应的三维点云识别目标对象所对应的属性信息，具体的可以通过计算机视觉对三维点云进行识别，得到目标对象所对应的属性信息，该属性信息包括目标对象的位置数据、尺寸数据以及置信度等等，其中，该位置数据例如可以通过坐标进行标识，当然也还可以是以其他的方式进行标识，例如经纬度，该尺寸数据例如可以显示目标对象的长、宽和高，若该目标对象为不规则的形状，则可以通过图像识别的方式确定目标对象实际的尺寸信息；其中，置信度也称为可靠度，或置信水平、置信系数，即在抽样对总体参数作出估计时，由于样本的随机性，其结论总是不确定的。因此，采用一种概率的陈述方法，也就是数理统计中的区间估计法，即估计值与总体参数在一定允许的误差范围以内，其相应的概率有多大，这个相应的概率称作置信度。置信水平是描述GIS中线元素与面元素的位置不确定性的重要指标之一。置信水平表示区间估计的把握程度，置信区间的跨度是置信水平的正函数，即要求的把握程度越大，势必得到一个较宽的置信区间，这就相应降低了估计的准确程度。
需要说明的是，若该目标对象为待采摘类的果实时，该目标对象所对应的属性信息还可以包括成熟度，通过成熟度可以确定待采摘类果实的成熟程度，是否可以采摘。
步骤A3、将目标对象所对应的属性信息发送至虚拟现实装置，以使得虚拟现实装置根据目标对象所对应的属性信息生成三维模型，并将三维模型进行显示。
本步骤中，辅助机器人运行装置在确定目标对象所对应的属性信息之后，可以将目标对象所对应的属性信息发送至虚拟现实装置(例如VR头盔)，以使得该虚拟现实装置根据目标对象所对应的属性信息生成三维模型，并将三维模型进行展示。
需要说明的是，为了便于更加直观的展示目标对象的信息，辅助机器人运行装置在通过虚拟现实装置显示目标对象所对应的三维模型时，还可以在三维模型上显示目标对象的标识信息，具体如下：
辅助机器人运行装置根据目标对象所对应的属性信息将目标对象在三维点云上进行标识，得到目标对象所对应的标识信息，并将目标对象所对应的标识信息发送至虚拟现实装置，以使得虚拟现实装置在三维模型上显示目标对象所对应的表示信息。也即，辅助机器人运行装置在确定目标对象的位置数据和尺寸数据，之后，可以首先根据位置信息确定目标对象在三维点云上的位置，之后根据目标对象在三维点云上的位置以及目标对象的尺寸信息将目标对象进行标识，例如在三维点云上以目标对象的中心为圆心的圆形作为目标对象所对应的标识信息，或者是在三维点云上以框住目标对象的矩形或正方形作为目标对象标识信息，当然也还可以为其他形状的标识信息，例如多边形，只要能使得目标对象处于多边形内部即可，具体不做限定。
一个实施例中，辅助机器人运行装置根据目标对象所对应的属性信息将目标对象在三维点云上进行标识，得到目标对象所对应的标识信息包括：
根据目标对象的所对应的属性信息确定目标对象的状态；
根据目标对象的状态将目标对象在三维点云上进行标识，得到目标对象所对应的标识信息。
本实施例中，辅助机器人运行装置可以根据目标对象的成熟度和/或目标对象的置信度确定目标对象的状态，具体的可以判断该目标对象的成熟度是否达到成熟标准值和/或目标对象的置信度是否达到置信阈值，若该目标对象的成熟度达到成熟标准值，和/或，所述目标对象的置信度达到置信阈值，则将目标对象的状态确定为收割状态；若目标对象的成熟度未达到成熟标准值或所述目标对象的置信度未达到置信阈值，则确定该目标对象的状态为等待状态。可以理解的是，此处可以单独以一个指标对目标对象的状态进行确定，当然也还可以以两个指标对目标对象的状态进行确定，具体不做限定。
辅助机器人运行装置在确定目标对象的状态之后，可以根据目标对象的状态将目标对象在三维点云上进行标识，例如以颜色来标识目标对象所处的状态，可以提前为目标对象设备对应的状态，例如该目标对象为果实，则可以设置该目标对象的状态为未成熟状态以及成熟状态，若该目标对象的状态为成熟状态，则将该目标对象的标示框渲染成黄色，若该目标对象的状态为未成熟状态，则将目标对象的标示框标识为绿色，当然也还可以通过标示框的形状对目标对象所处的状态进行标识，例如若该目标对象的状态为成熟状态，则将目标对象的标示框设置为长方形，若该目标对象的状态为未成熟状态，则将该目标对象的标示框设置为圆形，具体不做限定。
一个实施例中，辅助机器人运行装置根据目标对象所对应的属性信息将目标对象在所述三维点云上进行标识，得到目标对象所对应的标识信息包括：
对目标对象所对应的属性信息进行向量化处理；
将向量化处理后的目标对象所对应的属性信息输入标识识别模型，以得到所述目标对象所对应的标识信息。
本实施例中，辅助机器人运行装置可以提前训练一个标识识别模型，该标识识别模型为确定目标对象所对应的属性信息所对应的标识信息的识别模型，对象虚拟展示装置可以首先对目标对象所对应的属性信息进行向量化处理，之后将向量化处理后的目标对象所对应的属性信息输入标识识别模型，得到目标对象所对应的标识信息。
下面对标识识别模型的训练流程进行说明：
步骤B1、获取训练样本集合。
本实施例中，辅助机器人运行装置可以获取训练样本集合，该训练样本集合包括多个对象的属性信息、多个对象所对应的三维点云以及人为标定的多个对象的标识信息，具体的，可以首先通过深度相机对大量不同种类的对象进行拍摄得到该对象的三维点云，之后确定该对象所对应的属性信息，该属性信息包括但不限于位置数据、尺寸数据、成熟度以及置信度，当然该属性信息也还可以根据对象的类型不同而包括的内容不同，在得到该对象的属性信息之后，可以基于该对象的属性信息通过人工标定的方式确定目标对象的标识信息以及操作标识。
需要说明的是，在得到训练样本集合之后，辅助机器人运行装置可以将训练样本集合按照一定的比例进行划分，得到训练集和验证集，例如按照9:1的比例进行划分，其中的9份作为训练集进行模型的训练，1一种的1份作为验证集对训练好的模型进行验证，当然也还可以是其他的比例，例如按照8:2的比例进行划分。
步骤B2、对训练样本集合进行预处理。
本实施例中，辅助机器人运行装置在获取到训练样本集合字后，可以对训练样本集合进行预处理，该预处理主要指的是数据归一化和白化，其中，数据归一化(DataNormalization)是数据预处理的第一步，可以通过多种方式对数据进行预处理，如常见的高斯归一化、最大最小值归一化等，而在深度学习中常用的是以下几种：
1、简单缩放：
在简单缩放中，是通过对数据的每一个维度的值进行重新调节(这些维度可能是相互独立的)，使得最终的数据向量落在[0，1]或[-1，1]的区间内(根据数据情况而定)，以满足应用需求。例如，在sparse auto-encoder中，由于网络的输出和输入是近似相等的，而隐含层和输出层神经元通常采用的是sigmoid函数作为激活函数，该函数值域为[0，1]，因此为了保证输出等于输入，通常需要将输入缩放至[0，1]这个范围，然后再进行训练。
2、逐样本均值消减：
逐样本均值消减，也称为移除直流分量(remove DC)，当数据时平稳的(stationary)，即数据每一个维度的统计都服从相同分布，可以考虑在每个样本上减去数据的统计平均值(逐样本计算，即分别计算各样本的均值，然后各样本减去其对应的均值)。
3、特征标准化：
特征标准化的目的是使数据集中所有特征都具有零均值和单位方差，即数据的每一个维度具有零均值和单位方差。特征标准化的具体做法是：首先计算每一个维度上数据的均值(使用全体数据计算)，之后在每一个维度上都减去该均值，最后在数据的每一维度上除以该维度上数据的标准差。
步骤B3、通过卷积神经网络对预处理后的训练样本集合进行迭代训练，直至达到预置的迭代终止条件，得到标识识别模型。
本步骤中，在对训练样本集合进行预处理后，可以通过卷积神经网络对训练样本集合进行迭代训练，其中，卷积神经网络主要由这几类层构成：输入层、卷积层，ReLU层、池化(Pooling)层和全连接层(全连接层和常规神经网络中的一样)。通过将这些层叠加起来，就可以构建一个完整的卷积神经网络。在实际应用中往往将卷积层与ReLU层共同称之为卷积层，所以卷积层经过卷积操作也是要经过激活函数的。具体说来，卷积层和全连接层(CONV/FC)对输入执行变换操作的时候，不仅会用到激活函数，还会用到很多参数，即神经元的权值w和偏差b；而ReLU层和池化层则是进行一个固定不变的函数操作。卷积层和全连接层中的参数会随着梯度下降被训练，这样卷积神经网络计算出的分类评分就能和训练集中的每个图像的标签吻合了。
辅助机器人运行装置在每次迭代训练之后，判断是否满足迭代终止条件，也即在迭代计算的过程中，对象虚拟现实显示装置服务器会判断当前是否已经满足预置的迭代终止条件，若是，则停止迭代，将迭代终止时的模型确定为标识识别模型。
也就是说，对象虚拟现实显示装置可以判断迭代次数是否达到预置数值，若迭代次数达到预置数值，则确定满足迭代终止条件；
或者，
对象虚拟现实显示装置服务器可以判断各用户标识识别模型的模型参数的是否收敛，即多次迭代后标识识别模型的模型参数不再发生大的变化，若是，则确定满足预置的迭代终止条件。
在实际应用中，对象虚拟现实显示装置还可以以其他的条件作为迭代终止条件，具体此处不做限定。
最后，将迭代终止时的模型确定为标识识别模型。
还需要说明的是，为了便于控制机器人对目标对象执行操作，辅助机器人运行装置在通过虚拟现实装置显示目标对象所对应的三维模型时，还可以在三维模型上显示目标对象的操作标识，具体如下：
辅助机器人运行装置根据目标对象的属性信息确定目标对象所对应的操作标识，并将目标对象所对应的操作标识发送至虚拟现实装置，以使得虚拟现实装置在三维模型上显示目标对象所对应的操作标识。也即辅助机器人运行装置可以首先根据目标对象的位置数据以及目标对象的尺寸数据确定目标对象所对应的操作标识，例如该目标对象为果实，则可以在标示框的外围，该果实与树枝之间的位置设置操作标识，当然也还可以在其他的位置设置操作标识，只要通过该操作标识可以对该果实进行采摘即可，具体不做限定。下面结合图5对标识信息以及操作标识进行说明，请参阅图5，图5为本申请实施例提供的添加标识信息和操作标识后的三维点云，结合参阅图3、图4以及如图5，其中，辅助机器人运行装置在得到目标对象301的属性信息之后，可以根据该目标对象301的属性信息将目标对象301在三维点云上进行标识，501为目标对象301所对应的标识信息，502为目标对象302所对应的标识信息，此处以矩形框作为标识信息为例进行说明(当然也还可以是其他形状的标识信息，例如圆形，三角形或多边形，具体不限定)，若该目标对象301以及302的成熟度达到预先设置的阈值，则根据目标对象301以及302的位置数据以及目标对象301以及302的尺寸数据确定目标对象301的操作标识，如图5所示，其中，503为目标对象301所对应的操作标识，504为目标对象302所对应的操作标识。
202、若接收到目标对象所对应的请求操作，则根据目标对象所对应的三维模型生成针对目标对象的控制指令。
本实施例中，辅助机器人运行装置还可以执行一个判断，判断是否接收到目标对象所对应的请求操作，若接收到目标对象所对应的请求操作，则根据目标对象所对应的三维模型生成针对目标对象的控制指令，也即虚拟现实装置在将目标对象所对应的三维模型进行显示后，用户在通过虚拟现实装置观看到对象虚拟装置通过虚拟现实装置展示的目标对象所对应三维模型之后，可以确定机器人执行的操作是否规范或者准确，则机器人执行的不规范或不准确时，发出针对目标对象所对应的请求操作；或者是，机器人无法确定目标对象的具体位置或者操作位置时发出一个请求操作，辅助机器人运行装置在接收到目标对象所对应的请求操作时，则根据目标对象所对应的三维模型生成针对目标对象的控制指令，该控制指令为对目标对象进行操作的指令。
203、将针对目标对象的控制指令发送至机器人，以使得机器人根据针对目标对象的控制指令执行相应的操作。
本实施例中，辅助机器人运行装置在生成针对目标对象的控制指令之后，可以将该控制指令发送至机器人，以使得机器人在收到该控制指令后，根据该控制指令执行相应的操作，例如该控制指令为对目标对象的收割指令，此时该控制指令包括目标对象的具体收割位置数据，机器人可以根据该控制指令对目标对象进行收割，当然也还可以是其他的指令，例如调整机器人相对于目标对象的方位指令，此时该控制指令包括具体的方位数据，机器人可以根据具体的方位数据进行调整，具体不做限定。
综上所述，可以看出，本申请提供的实施例中，可以通过虚拟现实装置现实目标对象所对应的三维模型，并在接收到根据目标对象所对应的三维模型生成针对目标对象的控制指令后，将该控制指令发送至机器人，以控制机器人根据控制指令执行相应的操作，避免对机器人发出不准确的控制指令。
上面从辅助机器人运行的方法对本申请进行说明，下面从辅助机器人运行装置的角度对本申请进行说明。
请参阅图6，图6为本申请实施例提供的辅助机器人运行装置的虚拟结构示意图，该辅助机器人运行装置600包括：
显示单元601，用于通过虚拟现实装置显示目标对象所对应的三维模型；
生成单元602，用于若接收到所述目标对象所对应的请求操作，则根据所述目标对象所对应的三维模型生成针对所述目标对象的控制指令；
发送单元603，用于将针对所述目标对象的控制指令发送至机器人，以使得所述机器人根据针对所述目标对象的控制指令执行相应的操作。
一种可能的设计中，所述显示单元601具体用于：
获取所述目标对象所对应的三维点云；
根据所述目标对象所对应的三维点云识别所述目标对象所对应的属性信息；
将所述目标对象所对应的属性信息发送至所述虚拟现实装置，以使得所述虚拟现实装置根据所述目标对象所对应的属性信息生成所述三维模型，并将所述三维模型进行显示。
一种可能的设计中，所述显示单元601还用于：
根据所述目标对象所对应的属性信息将所述目标对象在所述三维点云上进行标识，得到所述目标对象所对应的标识信息；
将所述目标对象所对应的标识信息发送至所述虚拟现实装置，以使得所述虚拟现实装置在所述三维模型上显示所述目标对象所对应的标识信息。
一种可能的设计中，所述显示单元601根据所述目标对象所对应的属性信息将所述目标对象在所述三维点云上进行标识，得到所述目标对象所对应的标识信息包括：
根据所述目标对象所对应的属性信息确定所述目标对象的状态；
根据所述目标对象的状态将所述目标对象在所述三维点云上进行标识，得到所述目标对象所对应的标识信息。
一种可能的设计中，所述显示单元601还用于：
根据所述目标对象的属性信息确定所述目标对象所对应的操作标识；
将所述目标对象所对应的操作标识发送至所述虚拟现实装置，以使得所述虚拟现实装置在所述三维模型上显示所述目标对象所对应的操作标识。
一种可能的设计中，所述显示单元601根据所述目标对象所对应的属性信息将所述目标对象在所述三维点云上进行标识，得到所述目标对象所对应的标识信息包括：
对所述目标对象所对应的属性信息进行向量化处理；
将向量化处理后的所述目标对象所对应的属性信息输入标识识别模型，以得到所述目标对象所对应的标识信息。
接下来介绍本申请提供的另一种辅助机器人运行装置，该辅助机器人运行装置可以为终端设备，请参阅图7所示，终端设备700包括：
参阅图7，图7为本申请实施例提供的一种终端设备700的硬件结构示意图，该终端设备700可以执行上述所述辅助机器人运行的方法方法，并可以应用在图1所示的应用场景下，且对应图1中的规范配置口罩识别装置。终端设备700可以是智能手机、个人电脑、平板电脑(Tablet Personal Computer，Tablet PC)、PAD等。
具体的，如图7所示，所述终端设备700包括：至少一个处理器701，至少一个网络接口704或者其他用户接口703，存储器705，至少一个通信总线702。所述通信总线702用于实现这些组件之间的连接通信。该终端设备700可选的包含用户接口703，包括显示器(例如，触摸屏、LCD、CTR、全息成像(Holographic)或者投影(Projector)等)，键盘或者点击设备(例如，鼠标，轨迹球(trackbal l)，触感板或者触摸屏等)。其中，需要特别说明的是，本申请涉及的终端设备，可以是指向用户提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。终端设备可以经无线接入网(英文全称：Radio Access Network，英文简称：RAN)与一个或多个核心网进行通信，无线终端可以是移动终端，如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语音和/或数据。例如，个人通信业务(英文全称：Personal Communication Service，英文简称：PCS)电话、无绳电话、会话发起协议(SIP)话机、无线本地环路(Wireless Local Loop，英文简称：WLL)站、个人数字助理(英文全称：Personal Digital Assistant，英文简称：PDA)等设备。无线终端也可以称为系统、订户单元(Subscriber Unit)、订户站(SubscriberStation)，移动站(Mobile Station)、移动台(Mobile)、远程站(Remote Station)、接入点(Access Point)、远程终端(Remote Terminal)、接入终端(Access Terminal)、用户终端(User Terminal)、终端设备、用户代理(User Agent)、用户设备(User Device)、或用户装备(User Equipment)。
存储器705可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器705的一部分还可以包括非易失性随机存取存储器(NVRAM)。
在一些实施例中，存储器705存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:
操作系统7051，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
应用程序模块7052，包含各种应用程序，例如桌面(launcher)、媒体播放器(MediaPlayer)、浏览器(Browser)等，用于实现各种应用业务。
在本申请实施例中，通过调用存储器705存储的程序或指令，实现上述由辅助机器人运行装置所执行的所有操作。
本申请实施例还提供一种计算机可读介质，包含计算机执行指令，计算机执行指令能够使服务器执行上述实施例描述的辅助机器人运行的方法，其实现原理和技术效果类似，此处不再赘述。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种辅助机器人运行的方法，其特征在于，包括：
通过虚拟现实装置显示目标对象所对应的三维模型，所述三维模型至少显示所述目标对象所对应的操作标识、反映目标对象的属性信息的标识信息和反映目标对象的状态的标识信息，所述属性信息是对所述目标对象的三维点云进行识别得到的，所述操作标识和所述状态是根据所述目标对象的属性信息得到的，所述操作标识用于指示控制所述机器人对所述目标对象执行对应的操作；
若接收到所述目标对象所对应的请求操作，则根据所述目标对象所对应的三维模型生成针对所述目标对象的控制指令；
将针对所述目标对象的控制指令发送至机器人，以使得所述机器人根据针对所述目标对象的控制指令执行相应的操作。
2.根据权利要求1所述的方法，其特征在于，所述通过虚拟现实装置显示目标对象所对应的三维模型包括：
获取所述目标对象所对应的三维点云；
根据所述目标对象所对应的三维点云识别所述目标对象所对应的属性信息；
将所述目标对象所对应的属性信息发送至所述虚拟现实装置，以使得所述虚拟现实装置根据所述目标对象所对应的属性信息生成所述三维模型，并将所述三维模型进行显示。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据所述目标对象所对应的属性信息将所述目标对象在所述三维点云上进行标识，得到所述目标对象所对应的标识信息；
将所述目标对象所对应的标识信息发送至所述虚拟现实装置，以使得所述虚拟现实装置在所述三维模型上显示所述目标对象所对应的标识信息。
4.根据权利要求3所述的方法，其特征在于，所述根据所述目标对象所对应的属性信息将所述目标对象在所述三维点云上进行标识，得到所述目标对象所对应的标识信息包括：
根据所述目标对象所对应的属性信息确定所述目标对象的状态；
根据所述目标对象的状态将所述目标对象在所述三维点云上进行标识，得到所述目标对象所对应的标识信息。
5.根据权利要求2至4中任一项所述的方法，其特征在于，所述方法还包括：
根据所述目标对象的属性信息确定所述目标对象所对应的操作标识；
将所述目标对象所对应的操作标识发送至所述虚拟现实装置，以使得所述虚拟现实装置在所述三维模型上显示所述目标对象所对应的操作标识。
6.根据权利要求3或4所述的方法，其特征在于，所述根据所述目标对象所对应的属性信息将所述目标对象在所述三维点云上进行标识，得到所述目标对象所对应的标识信息包括：
对所述目标对象所对应的属性信息进行向量化处理；
将向量化处理后的所述目标对象所对应的属性信息输入标识识别模型，以得到所述目标对象所对应的标识信息。
7.一种辅助机器人运行装置，其特征在于，包括：
显示单元，用于通过虚拟现实装置显示目标对象所对应的三维模型，所述三维模型至少显示所述目标对象所对应的操作标识、反映目标对象的属性信息的标识信息和反映目标对象的状态的标识信息，所述属性信息是对所述目标对象的三维点云进行识别得到的，所述操作标识和所述状态是根据所述目标对象的属性信息得到的，所述操作标识用于指示控制所述机器人对所述目标对象执行对应的操作；
生成单元，用于若接收到所述目标对象所对应的请求操作，则根据所述目标对象所对应的三维模型生成针对所述目标对象的控制指令；
发送单元，用于将针对所述目标对象的控制指令发送至机器人，以使得所述机器人根据针对所述目标对象的控制指令执行相应的操作。
8.根据权利要求7所述的装置，其特征在于，所述显示单元具体用于：
获取所述目标对象所对应的三维点云；
根据所述目标对象所对应的三维点云识别所述目标对象所对应的属性信息；
将所述目标对象所对应的属性信息发送至所述虚拟现实装置，以使得所述虚拟现实装置根据所述目标对象所对应的属性信息生成所述三维模型，并将所述三维模型进行显示。
9.一种计算机设备，其特征在于，包括：
至少一个连接的处理器、存储器和收发器，其中，所述存储器用于存储程序代码，所述处理器用于调用所述存储器中的程序代码来执行权利要求1至6中任一项所述的辅助机器人运行的步骤。
10.一种计算机存储介质，其特征在于，包括：
指令，当所述指令在计算机上运行时，使得计算机执行权利要求1至6中任一项所述的辅助机器人运行的方法。
CN202111619196.9A 2021-12-27 2021-12-27 辅助机器人运行的方法、装置及存储介质 Active CN114373046B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111619196.9A CN114373046B (zh) 2021-12-27 2021-12-27 辅助机器人运行的方法、装置及存储介质
PCT/CN2022/109100 WO2023124063A1 (zh) 2021-12-27 2022-07-29 辅助机器人运行的方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111619196.9A CN114373046B (zh) 2021-12-27 2021-12-27 辅助机器人运行的方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN114373046A CN114373046A (zh) 2022-04-19
CN114373046B true CN114373046B (zh) 2023-08-18

Family

ID=81142330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111619196.9A Active CN114373046B (zh) 2021-12-27 2021-12-27 辅助机器人运行的方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN114373046B (zh)
WO (1) WO2023124063A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114373046B (zh) * 2021-12-27 2023-08-18 达闼机器人股份有限公司 辅助机器人运行的方法、装置及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104067781A (zh) * 2014-06-16 2014-10-01 华南农业大学 基于虚拟机器人与真实机器人集成的采摘系统及方法
CN105096376A (zh) * 2014-04-30 2015-11-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN110335300A (zh) * 2019-05-14 2019-10-15 广东康云科技有限公司 基于视频融合的场景动态模拟方法、系统及存储介质
CN110751735A (zh) * 2019-09-30 2020-02-04 亮风台（上海）信息科技有限公司 一种基于增强现实的远程指导的方法与设备
CN111028330A (zh) * 2019-11-15 2020-04-17 腾讯科技（深圳）有限公司 三维表情基的生成方法、装置、设备及存储介质
CN112200907A (zh) * 2020-10-29 2021-01-08 久瓴(江苏)数字智能科技有限公司 扫地机器人地图数据生成方法、装置、计算机设备和介质
CN112634318A (zh) * 2020-12-31 2021-04-09 中国海洋大学 一种水下维修机器人的遥操作系统和方法
CN112914731A (zh) * 2021-03-08 2021-06-08 上海交通大学 基于增强现实的介入机器人无接触遥操系统及标定方法
CN113317877A (zh) * 2020-02-28 2021-08-31 上海微创卜算子医疗科技有限公司 增强现实手术机器人系统及增强现实设备
CN113610953A (zh) * 2021-02-07 2021-11-05 腾讯科技（深圳）有限公司 一种信息处理方法、装置及计算机可读存储介质
CN113642483A (zh) * 2021-08-18 2021-11-12 天津工业大学 一种基于Kinect相机的智能机器人识别跟踪方法
CN113787521A (zh) * 2021-09-24 2021-12-14 上海微电机研究所(中国电子科技集团公司第二十一研究所) 基于深度学习的机器人抓取方法、系统、介质和电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200184196A1 (en) * 2018-12-11 2020-06-11 X Development Llc Volumetric substitution of real world objects
US11727169B2 (en) * 2019-09-11 2023-08-15 Toyota Research Institute, Inc. Systems and methods for inferring simulated data
KR102637417B1 (ko) * 2019-11-11 2024-02-16 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법
CN111459274B (zh) * 2020-03-30 2021-09-21 华南理工大学 一种基于5g+ ar的针对非结构化环境的遥操作方法
CN113103230A (zh) * 2021-03-30 2021-07-13 山东大学 一种基于处置机器人遥操作的人机交互系统及方法
CN114373046B (zh) * 2021-12-27 2023-08-18 达闼机器人股份有限公司 辅助机器人运行的方法、装置及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096376A (zh) * 2014-04-30 2015-11-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN104067781A (zh) * 2014-06-16 2014-10-01 华南农业大学 基于虚拟机器人与真实机器人集成的采摘系统及方法
CN110335300A (zh) * 2019-05-14 2019-10-15 广东康云科技有限公司 基于视频融合的场景动态模拟方法、系统及存储介质
CN110751735A (zh) * 2019-09-30 2020-02-04 亮风台（上海）信息科技有限公司 一种基于增强现实的远程指导的方法与设备
CN111028330A (zh) * 2019-11-15 2020-04-17 腾讯科技（深圳）有限公司 三维表情基的生成方法、装置、设备及存储介质
CN113317877A (zh) * 2020-02-28 2021-08-31 上海微创卜算子医疗科技有限公司 增强现实手术机器人系统及增强现实设备
CN112200907A (zh) * 2020-10-29 2021-01-08 久瓴(江苏)数字智能科技有限公司 扫地机器人地图数据生成方法、装置、计算机设备和介质
CN112634318A (zh) * 2020-12-31 2021-04-09 中国海洋大学 一种水下维修机器人的遥操作系统和方法
CN113610953A (zh) * 2021-02-07 2021-11-05 腾讯科技（深圳）有限公司 一种信息处理方法、装置及计算机可读存储介质
CN112914731A (zh) * 2021-03-08 2021-06-08 上海交通大学 基于增强现实的介入机器人无接触遥操系统及标定方法
CN113642483A (zh) * 2021-08-18 2021-11-12 天津工业大学 一种基于Kinect相机的智能机器人识别跟踪方法
CN113787521A (zh) * 2021-09-24 2021-12-14 上海微电机研究所(中国电子科技集团公司第二十一研究所) 基于深度学习的机器人抓取方法、系统、介质和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Multimedia System for Real-Time Photorealistic Nonground Modeling of 3D Dynamic Environment for Remote Control System;Phuong Minh Chu 等;《Symmetry》;第10卷(第04期);第1-15页 *

Also Published As

Publication number Publication date
WO2023124063A1 (zh) 2023-07-06
CN114373046A (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
US20220147822A1 (en) Training method and apparatus for target detection model, device and storage medium
CN111985265A (zh) 图像处理方法和装置
CN113095336B (zh) 关键点检测模型的训练方法和检测目标对象关键点的方法
CN113674421B (zh) 3d目标检测方法、模型训练方法、相关装置及电子设备
WO2020228181A1 (zh) 手掌图像裁剪方法、装置、计算机设备及存储介质
US20220139061A1 (en) Model training method and apparatus, keypoint positioning method and apparatus, device and medium
CN114186632A (zh) 关键点检测模型的训练方法、装置、设备、存储介质
EP4167194A1 (en) Key point detection method and apparatus, model training method and apparatus, device and storage medium
CN114373046B (zh) 辅助机器人运行的方法、装置及存储介质
CN114119989A (zh) 图像特征提取模型的训练方法、装置及电子设备
CN113362314A (zh) 医学图像识别方法、识别模型训练方法及装置
CN115131437A (zh) 位姿估计方法及相关模型的训练方法、装置、设备、介质
CN113554741B (zh) 一种对象三维重建的方法、装置、电子设备及存储介质
US20220327803A1 (en) Method of recognizing object, electronic device and storage medium
CN111339973A (zh) 一种对象识别方法、装置、设备及存储介质
CN113591709B (zh) 动作识别方法、装置、设备、介质和产品
CN115937950A (zh) 一种多角度人脸数据采集方法、装置、设备及存储介质
CN115082202A (zh) 用于房屋抵押的信息处理方法、装置、设备及存储介质
CN114694263A (zh) 动作识别方法、装置、设备及存储介质
CN116295466A (zh) 地图生成方法、装置、电子设备、存储介质、及车辆
CN113989845A (zh) 姿态分类方法和姿态分类模型的训练方法、装置
CN113610856A (zh) 训练图像分割模型和图像分割的方法和装置
US20210097394A1 (en) Method and apparatus for compressing deep learning model
CN110085237A (zh) 交互过程的恢复方法、装置及设备
CN113807413B (zh) 对象的识别方法、装置、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 200245 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Applicant after: Dayu robot Co.,Ltd.

Address before: 200245 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Applicant before: Dalu Robot Co.,Ltd.

GR01 Patent grant
GR01 Patent grant