CN110298877A - 一种物体三维位姿的确定方法、装置及电子设备 - Google Patents
一种物体三维位姿的确定方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110298877A CN110298877A CN201810235560.3A CN201810235560A CN110298877A CN 110298877 A CN110298877 A CN 110298877A CN 201810235560 A CN201810235560 A CN 201810235560A CN 110298877 A CN110298877 A CN 110298877A
- Authority
- CN
- China
- Prior art keywords
- handle
- coordinate system
- video camera
- dimensional pose
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种物体三维位姿的确定方法、装置及电子设备，所述方法包括：获取第一摄像机采集的包括目标物体的目标图像，将目标图像输入预先训练完成的深度神经网络模型进行检测，获取目标图像中的目标坐标点，根据目标坐标点和把手在世界坐标系中的参数，确定把手相对于第一摄像机坐标系的三维位姿。由于通过深度神经网络模型可以获得目标物体的把手在目标图像中两端的成像坐标点，进而根据该坐标点和把手在世界坐标系中的参数，可以准确确定任意位姿的把手相对于第一摄像机坐标系的三维位姿，而不需要固定卡槽来固定的具有把手的物体，大大提高后续抓取目标物体的灵活性。
Description
技术领域
本发明涉及人工智能技术领域，特别是涉及一种物体三维位姿的确定方法、装置及电子设备。
背景技术
在人工智能技术领域中，通过机械臂对物体进行抓取技术的应用非常广泛，例如，在聊天机器人、服务机器人以及机械臂装载货物等场景，均需要利用机械臂对物体进行抓取的技术。
在机械臂抓取物体过程中，首先需要确定物体的三维位姿，也就是物体的三维位置及三维姿态，进而，根据物体的三维位姿确定抓取方案并进行物体的抓取。在一些应用场景中，机械臂需要对具有把手的物体进行抓取，例如，咖啡杯、奶缸、水壶等物体，进而进行倒水、接奶等后续操作，因此，准确通过把手拿起物体是机械臂的一项至关重要的技能。
目前在机械臂对具有把手的物体进行抓取时，都是通过固定卡槽来固定具有把手的物体，也就是将具有把手的物体放置于固定位置，把手由固定卡槽固定，因此具有把手的物体的三维位姿也就是固定的，进而，机械臂根据把手的固定的三维位姿进行抓取。可见，在上述方式中，物体的三维位姿的确定并没有实现智能性，导致机械臂只能抓取由固定卡槽来固定的具有把手的物体，抓取的灵活性很低。
发明内容
本发明实施例的目的在于提供一种物体三维位姿的确定方法、装置及电子设备，以准确确定物体的三维位姿，提高机械臂抓取物体的灵活性。具体技术方案如下：
第一方面，本发明实施例提供了一种物体三维位姿的确定方法，所述方法包括：
获取第一摄像机采集的包括目标物体的目标图像，其中，所述第一摄像机与放置所述目标物体的平面构成俯视视角，所述目标物体为具有把手的物体；
将所述目标图像输入预先训练完成的深度神经网络模型进行检测，获取所述目标图像中的目标坐标点，其中，所述目标坐标点为：所述目标物体的把手在所述目标图像中两端的成像坐标点；
根据所述目标坐标点和所述把手在世界坐标系中的参数，确定所述把手相对于第一摄像机坐标系的三维位姿。
可选的，所述根据所述目标坐标点和所述把手在世界坐标系中的参数，确定所述把手相对于所述第一摄像机坐标系的三维位姿的步骤，包括：
根据所述把手的几何参数，确定所述把手在目标图像中的两端对应的世界坐标系中的真实坐标点；
根据所述目标坐标点及所述真实坐标点，确定所述把手相对于第一摄像机坐标系的三维位姿。
可选的，所述把手在世界坐标系中的参数为所述第一摄像机相对于所述把手的高度；
所述根据所述目标坐标点和所述把手在世界坐标系中的参数，确定所述把手相对于第一摄像机坐标系的三维位姿的步骤，包括：
根据所述第一摄像机相对于所述把手的高度、所述第一摄像机的焦距及所述目标坐标点，确定所述把手相对于第一摄像机坐标系的三维位姿。
可选的，当所述目标物体为机械臂所要抓取的物体时，所述方法还包括：
根据所述第一摄像机与所述机械臂的相对位置关系，确定所述第一摄像机坐标系与机械臂坐标系的映射关系；
根据所述映射关系及所述把手相对于第一摄像机坐标系的三维位姿，通过坐标变换，确定所述把手相对于所述机械臂坐标系的三维位姿。
可选的，所述方法还包括：
控制所述机械臂根据所述把手相对于所述机械臂坐标系的三维位姿，对所述把手进行抓取。
可选的，所述深度神经网络模型的训练方式，包括：
获取第二摄像机采集的包括训练物体的多个图像样本，其中，所述第二摄像机与放置所述训练物体平面构成俯视视角，所述训练物体具有把手；
标注每个图像样本中训练物体的把手的两端的坐标点；
将标注后的图像样本及其对应的坐标点输入预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。
第二方面，本发明实施例提供了一种物体三维位姿的确定装置，所述装置包括：
目标图像获取模块，用于获取第一摄像机采集的包括目标物体的目标图像，其中，所述第一摄像机与放置所述目标物体的平面构成俯视视角，所述目标物体为具有把手的物体；
模型检测模块，用于将所述目标图像输入通过模型训练模块预先训练完成的深度神经网络模型进行检测，获取所述目标图像中的目标坐标点，其中，所述目标坐标点为：所述目标物体的把手在所述目标图像中两端的成像坐标点；
位姿确定模块，用于根据所述目标坐标点和所述把手在世界坐标系中的参数，确定所述把手相对于第一摄像机坐标系的三维位姿。
可选的，所述位姿确定模块包括：
真实坐标点确定单元，用于根据所述把手的几何参数，确定所述把手在目标图像中的两端对应的世界坐标系中的真实坐标点；
第一位姿确定单元，用于根据所述目标坐标点及所述真实坐标点，确定所述把手相对于第一摄像机坐标系的三维位姿。
可选的，所述把手在世界坐标系中的参数为所述第一摄像机相对于所述把手的高度；
所述位姿确定模块包括：
第二位姿确定单元，用于根据所述第一摄像机相对于所述把手的高度、所述第一摄像机的焦距及所述目标坐标点，确定所述把手相对于第一摄像机坐标系的三维位姿。
可选的，所述装置还包括：
映射关系确定模块，用于当所述目标物体为机械臂所要抓取的物体时，根据所述第一摄像机与所述机械臂的相对位置关系，确定所述第一摄像机坐标系与机械臂坐标系的映射关系；
第三位姿确定模块，用于根据所述映射关系及所述把手相对于第一摄像机坐标系的三维位姿，通过坐标变换，确定所述把手相对于所述机械臂坐标系的三维位姿。
可选的，所述装置还包括：
抓取控制模块，用于控制所述机械臂根据所述把手相对于所述机械臂坐标系的三维位姿，对所述把手进行抓取。
可选的，所述模型训练模块包括：
图像样本获取单元，用于获取第二摄像机采集的包括训练物体的多个图像样本，其中，所述第二摄像机与放置所述训练物体平面构成俯视视角，所述训练物体具有把手；
图像样本标注单元，用于标注每个图像样本中训练物体的把手的两端的坐标点；
模型训练单元，用于将标注后的图像样本及其对应的坐标点输入预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。
第三方面，本发明实施例还提供了一种电子设备，包括处理器、存储器和通信总线，其中，处理器、存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一物体三维位姿的确定方法步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一物体三维位姿的确定方法步骤。
本发明实施例所提供的方案中，首先获取第一摄像机采集的包括目标物体的目标图像，将目标图像输入预先训练完成的深度神经网络模型进行检测，获取目标图像中的目标坐标点，再根据目标坐标点和把手在世界坐标系中的参数，确定把手相对于第一摄像机坐标系的三维位姿。其中，第一摄像机与放置目标物体的平面构成俯视视角，目标物体为具有把手的物体，目标坐标点为目标物体的把手在目标图像中两端的成像坐标点。由于通过深度神经网络模型可以获得目标物体的把手在目标图像中两端的成像坐标点，进而根据该坐标点和把手在世界坐标系中的参数，可以准确确定任意位姿的把手相对于第一摄像机坐标系的三维位姿，而不需要固定卡槽来固定具有把手的物体，大大提高后续抓取目标物体的灵活性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种物体三维位姿的确定方法的流程图；
图2为图1所示实施例中目标图像的一种示意图；
图3为图1所示实施例中步骤S103的具体流程图；
图4为基于图1所示实施例的把手相对于机械臂坐标系的三维位姿的确定方式的流程图；
图5为图1所示实施例中深度神经网络模型的训练方式的流程图；
图6为本发明实施例所提供的一种物体三维位姿的确定装置的结构示意图；
图7为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了准确确定物体的三维位姿，提高机械臂抓取物体的灵活性，本发明实施例提供了一种物体三维位姿的确定方法、装置、电子设备及计算机可读存储介质。
下面首先对本发明实施例所提供的一种物体三维位姿的确定方法进行介绍。
本发明实施例所提供的一种物体三维位姿的确定方法可以应用于任意需要确定物体三维位姿的电子设备，以下简称电子设备，例如，可以为控制器、电脑、平板电脑等电子设备，在此不做具体限定。
如图1所示，一种物体三维位姿的确定方法，所述方法包括：
S101，获取第一摄像机采集的包括目标物体的目标图像；
其中，所述第一摄像机与放置所述目标物体的平面构成俯视视角，所述目标物体为具有把手的物体。
S102，将所述目标图像输入预先训练完成的深度神经网络模型进行检测，获取所述目标图像中的目标坐标点；
其中，所述目标坐标点为：所述目标物体的把手在所述目标图像中两端的成像坐标点。
S103，根据所述目标坐标点和所述把手在世界坐标系中的参数，确定所述把手相对于第一摄像机坐标系的三维位姿。
可见，本发明实施例所提供的方案中，电子设备首先获取第一摄像机采集的包括目标物体的目标图像，将目标图像输入预先训练完成的深度神经网络模型进行检测，获取目标图像中的目标坐标点，再根据目标坐标点和把手在世界坐标系中的参数，确定把手相对于第一摄像机坐标系的三维位姿。其中，第一摄像机与放置目标物体的平面构成俯视视角，目标物体为具有把手的物体，目标坐标点为目标物体的把手在目标图像中两端的成像坐标点。由于通过深度神经网络模型可以获得目标物体的把手在目标图像中两端的成像坐标点，进而根据该坐标点和把手在世界坐标系中的参数，可以准确确定任意位姿的把手相对于第一摄像机坐标系的三维位姿，而不需要固定卡槽来固定具有把手的物体，大大提高后续抓取目标物体的灵活性。
在上述步骤S101中，电子设备可以获取第一摄像机采集的包括目标物体的目标图像。其中，目标物体可以为具有把手的物体，例如，可以为具有把手的杯子、水壶、玩具等，在此不做具体限定。目标图像指代的即为第一摄像机采集的包括目标物体的图像，并不具有其他限定意义。
上述第一摄像机可以与放置目标物体的平面构成俯视视角，也就是说，第一摄像机用于采集目标物体的俯视图。当然，第一摄像机与放置目标物体平面只要构成俯视视角即可，并不必一定垂直于放置目标物体平面，采集的目标图像也不必一定是目标物体的正投影俯视图。
具体来说，第一摄像机的光轴与垂直于放置目标物体平面的方向之间的夹角可以在预设范围内，该预设范围可以根据目标物体形状、大小等因素确定，例如，可以为5度、15度、20度等，在此不做具体限定。如图2所示为目标图像的一种示意图，图2中包括目标物体201为一个杯子，目标物体201具有把手202，可见，图2是目标物体201杯子的俯视视角的图像。
获取上述目标图像后，在上述步骤S102中，电子设备便可以将目标图像输入预先训练完成的深度神经网络模型进行检测，进而，得到目标图像中的目标坐标点。其中，该深度神经网络模型可以为基于通过与放置图像样本中物体的平面构成俯视视角的摄像机采集的多个图像样本，对预先构建的初始深度神经网络进行训练所得到的深度神经网络模型，其包含图像样本中物体的图像特征与图像样本中物体的把手的两端的成像坐标点的对应关系，可以用于根据图像特征确定对应的坐标点。因此，深度神经网络模型输出的目标坐标点即为：目标物体的把手在目标图像中两端的成像坐标点。
由于目标图像是第一摄像机采集的目标物体的俯视视角的图像，而具有把手的物体的把手一般设置于物体主体部分的侧面，便于抓握物体。那么可以理解的是，目标物体的把手在目标图像中一般为一类似于矩形的形状，从图2中可以清楚的看出。需要说明的是，本发明实施中所说的“目标物体的把手在目标图像中两端”则指代的是在目标图像中把手对应的类似于矩形的形状中，靠近目标物体主体部分的一端及远离目标物体主体部分的一端。例如，图2中所示的把手在目标图像中两端即为把手的一端2021及把手的另一端2022。
上述深度神经网络模型可以为Faster RCNN、RFCN、YOLO等深度神经网络模型，只要可以根据图像特征确定对应的成像坐标点即可，对于采用何种深度神经网络模型在此不做具体限定。用于训练该深度神经网络模型的图像样本可以通过第二摄像机采集得到，该第二摄像机采集的图像样本也可以是俯视视角的，第二摄像机与放置训练物体的平面构成俯视视角，该训练物体具有把手。为了方案清楚及布局清晰，后续将会对深度神经网络模型的训练方式进行举例介绍。
进而，确定了上述目标坐标点后，在上述步骤S103中，电子设备便可以根据该目标坐标点和目标物体的把手在世界坐标系中的参数，确定把手相对于第一摄像机坐标系的三维位姿。目标物体的把手在世界坐标系中的参数可以为把手的几何参数或者第一摄像机相对于把手的高度等。其中，把手的几何参数可以为能够表征把手实际大小的参数，例如，把手的长度、宽度、高度等参数。可以理解的是，目标物体是确定的，那么目标物体的把手对应的这些参数便是可以获得的。
确定了上述目标坐标点以及目标物体的把手在世界坐标系中的参数后，根据摄像机成像原理以及坐标系转换关系，电子设备便可以确定把手相对于第一摄像机坐标系的三维位姿。其中，把手相对于第一摄像机坐标系的三维位姿可以通过世界坐标系与第一摄像机坐标系之间的转换矩阵来表示，世界坐标系与第一摄像机坐标系之间的转换矩阵确定，目标物体的把手相对于第一摄像机坐标系的三维位姿也就确定。
作为本发明实施例的一种实施方式，如图3所示，上述根据所述目标坐标点和所述把手在世界坐标系中的参数，确定所述把手相对于所述第一摄像机坐标系的三维位姿的步骤，可以包括：
S301，根据所述把手的几何参数，确定所述把手在目标图像中的两端对应的世界坐标系中的真实坐标点；
目标物体的把手的几何参数是能够表征把手实际大小的参数，在本实施中，电子设备可以获取把手的几何参数，该把手的几何参数可以是能够表征把手在目标图像中的部分对应的实际大小的参数，例如，可以为把手在目标图像中对应的部分的实际长度和宽度。
进而，电子设备便可以根据该把手的几何参数，确定把手在目标图像中的两端对应的世界坐标系中的真实坐标点，其中，真实坐标点仅仅用于指代把手在目标图像中的两端对应的世界坐标系中的坐标点，并不具有其他限定意义。
依然以图2所示目标图像进行举例说明，假设目标物体201的把手在目标图像中的部分对应的把手实际大小为：宽度2厘米，长度4厘米，把手实际高度为6厘米，可以理解的是，世界坐标系可以理解为目标物体本身的坐标系，那么以目标物体的任意一点为坐标原点，建立坐标系，根据把手的几何参数，也就可以确定把手在目标图像中的两端对应的世界坐标系中的真实坐标点。
由于一般把手具有一定宽度，因此电子设备确定的把手在目标图像中的两端对应的世界坐标系中的真实坐标点一般为四个坐标点。
S302，根据所述目标坐标点及所述真实坐标点，确定所述把手相对于第一摄像机坐标系的三维位姿。
目标物体的把手相对于第一摄像机坐标系的三维位姿可以通过目标物体的把手所在的世界坐标系与第一摄像机坐标系之间的转换矩阵来表示，因此电子设备可以确定目标物体的把手所在的世界坐标系与第一摄像机坐标系的转换矩阵即可。
如果目标物体的把手的两端在世界坐标系中的真实坐标点为Y，目标物体的把手的两端在摄像机坐标系中的坐标为Y'，那么Y'＝P*Y，其中，P为世界坐标系与摄像机坐标系的转换矩阵。
摄像机的内参矩阵的作用是在摄像机坐标系和平面成像坐标系这两个坐标系之间进行线性的变化。因此，从摄像机坐标系到目标图像所在的平面成像坐标系的变换可以利用摄像机内参数矩阵来计算，那么如果目标物体的把手的两端在第一摄像机对应的平面成像坐标系中的坐标为Z，则Z＝C*Y'，由于Y'＝P*Y，那么Z＝C*P*Y，其中，C为第一摄像机内参数矩阵。由于第一摄像机一旦确定，其内参矩阵可以预先标定，C也就是已知的。
那么，电子设备在获取目标物体的把手的两端在第一摄像机对应的平面成像坐标系中的坐标Z、目标物体的把手的两端在世界坐标系中的真实坐标点Y及第一摄像机内参数矩阵C时，就可以根据Z＝C*P*Y，确定世界坐标系与第一摄像机坐标系的转换矩阵P，也就确定了目标物体把手相对于第一摄像机坐标系的三维位姿。
可见，在本实施例中，电子设备可以根据目标物体的把手的几何参数，确定把手在目标图像中的两端对应的世界坐标系中的真实坐标点，进而，根据目标坐标点及真实坐标点，确定世界坐标系与第一摄像机坐标系之间的转换矩阵，也就可以确定目标物体的把手相对于第一摄像机坐标系的三维位姿，通过该方式，电子设备可以准确快速确定目标物体的把手相对于第一摄像机坐标系的三维位姿，使后续机械臂等基于该三维位姿对目标物体的抓取更加准确，灵活性更高。
针对上述把手在世界坐标系中的参数为第一摄像机相对于把手的高度的情况下，作为本发明实施例的一种实施方式，上述根据所述目标坐标点和所述把手在世界坐标系中的参数，确定所述把手相对于第一摄像机坐标系的三维位姿的步骤，可以包括：
根据所述第一摄像机相对于所述把手的高度、所述第一摄像机的焦距及所述目标坐标点，确定所述把手相对于第一摄像机坐标系的三维位姿。
在本实施例中，目标物体的把手在世界坐标系中的参数可以为第一摄像机相对于把手的高度。由于第一摄像机与放置目标物体的平面构成俯视视角，那么第一摄像机相对于把手的高度即可以为与放置目标物体的平面垂直方向上第一摄像机相对于把手的距离。
由于第一摄像机是确定的，那么第一摄像机的焦距也就是确定的，进而，根据摄像机成像原理，电子设备可以根据第一摄像机相对于把手的高度、第一摄像机的焦距及上述目标坐标点，也就是目标物体的把手的两端在目标图像中的成像坐标点，确定目标物体的把手相对于第一摄像机坐标系的三维位姿。
可见，在本实施例中，在获知第一摄像机相对于把手的高度的情况下，电子设备可以基于摄像机成像原理，根据第一摄像机相对于目标物体把手的高度、第一摄像机的焦距及上述目标坐标点，确定目标物体的把手相对于第一摄像机坐标系的三维位姿，电子设备可以准确快速确定目标物体的把手相对于第一摄像机坐标系的三维位姿，使后续机械臂等基于该三维位姿对目标物体的抓取更加准确，灵活性更高。
针对上述目标物体为机械臂所要抓取的物体的情况而言，作为本发明实施例的一种实施方式，如图4所示，上述方法还可以包括：
S401，根据所述第一摄像机与所述机械臂的相对位置关系，确定所述第一摄像机坐标系与机械臂坐标系的映射关系；
例如，在机械臂制作咖啡的应用场景下，机械臂在多个工作环节中均需要进行抓取咖啡杯、抓取奶缸等操作，奶缸及咖啡杯一般都是具有把手的杯子，在该场景下，咖啡杯、奶缸等都可以作为目标物体。
可以理解的是，机械臂当前时刻的位姿是确定的，第一摄像机当前时刻的位置也是确定的，因此，电子设备便可以根据机械臂当前时刻的位姿及第一摄像机当前时刻的位置，确定第一摄像机与机械臂的相对位置关系。
进而，电子设备便可以根据第一摄像机与机械臂的相对位置关系，确定第一摄像机坐标系与机械臂坐标系的映射关系，由于根据第一摄像机与机械臂的相对位置关系，确定第一摄像机坐标系与机械臂坐标系的映射关系可以采用任意坐标系之间映射关系的确定方式进行，在此不做具体限定及说明。第一摄像机坐标系与机械臂坐标系的映射关系一般可以通过一个矩阵表示。
S402，根据所述映射关系及所述把手相对于第一摄像机坐标系的三维位姿，通过坐标变换，确定所述把手相对于所述机械臂坐标系的三维位姿。
确定了上述第一摄像机坐标系与机械臂坐标系的映射关系后，电子设备便可以将目标物体的把手相对于第一摄像机坐标系的三维位姿，通过坐标变换，得到目标物体的把手相对于机械臂坐标系的三维位姿。目标物体的把手相对于机械臂坐标系的三维位姿也可以通过一个矩阵来表示。
例如，目标物体的把手相对于第一摄像机坐标系的三维位姿通过矩阵M表示，第一摄像机坐标系与机械臂坐标系的映射关系通过矩阵N表示，那么，目标物体的把手相对于机械臂坐标系的三维位姿即可以通过矩阵L＝M*N表示。
可见，在本实施例中，在目标物体为机械臂所要抓取的物体的情况下，电子设备可以根据第一摄像机与机械臂的相对位置关系，确定第一摄像机坐标系与机械臂坐标系的映射关系，进而，根据该映射关系及把手相对于第一摄像机坐标系的三维位姿，通过坐标变换，确定把手相对于所述机械臂坐标系的三维位姿，可以准确确定把手相对于所述机械臂坐标系的三维位姿，便于后续机械臂对目标物体的进行准确抓取。
针对上述目标物体为机械臂所要抓取的物体的情况而言，作为本发明实施例的一种实施方式，上述方法还可以包括：
控制所述机械臂根据所述把手相对于所述机械臂坐标系的三维位姿，对所述把手进行抓取。
由于机械臂抓取物体一般是通过其末端安装的机械爪进行的，因此，为了准确抓取目标物体，电子设备可以获取机械臂末端的位姿，由于机械臂末端在机械臂坐标系中的位姿是确定的，因此，电子设备便可以根据目标物体的把手相对于机械臂坐标系的三维位姿以及机械臂末端在机械臂坐标系中的位姿，确定机械臂的移动方案。
进而，可以控制机械臂按照所确定的移动方案进行移动，当移动完成时，电子设备便可以控制机械臂通过末端安装的机械爪对目标物体的把手进行抓取操作，以成功抓取目标物体。
例如，在机械臂制作咖啡的场景下，目标物体为咖啡杯，通过第一摄像机采集的目标图像及预先训练完成的深度神经网络模型，电子设备确定了咖啡杯的把手相对于第一摄像机坐标系的三维位姿，进而，通过第一摄像坐标系与机械臂坐标系的映射关系，经过坐标转换，确定咖啡杯的把手相对于机械臂坐标系的三维位姿，电子设备便可以根据把手相对于机械臂坐标系的三维位姿以及机械臂末端在机械臂坐标系中的位姿，确定机械臂的移动方案，控制机械臂移动，并完成对咖啡杯的把手的抓取。
可见，在本实施例中，电子设备可以控制机械臂根据把手相对于机械臂坐标系的三维位姿，对目标物体的把手进行抓取，可以实现机械臂基于视觉对放置于任意位置的目标物体进行准确抓取，灵活性非常高。
作为本发明实施例的一种实施方式，如图5所示，上述深度神经网络模型的训练方式，包括：
S501，获取第二摄像机采集的包括训练物体的多个图像样本；
其中，第二摄像机与放置训练物体平面构成俯视视角。该训练物体为上述目标物体，这样可以保证深度神经网络模型的检测精度。可以理解的是，每个图像样本中训练物体的位姿可以是不同的，图像样本的背景也可以是不同的，这样可以使训练得到的深度神经网络模型可以对各种位姿及背景下的目标物体进行检测。
例如，上述目标物体为带有把手的杯子，那么图像样本中包括的训练物体即为该杯子。如果目标物体为多个，包括带有把手的杯子A、杯子B、杯子C、杯子D，那么图像样本中包括的训练物体也为带有把手的杯子A、杯子B、杯子C、杯子D。
第二摄像机可以与上述第一摄像机为同一个摄像机，也可以为不同的摄像机，只要与放置该训练物体平面构成俯视视角，能够采集图样样本即可，在此不做具体限定。对于俯视视角的说明已在上述对于第一摄像机与放置目标物体平面构成俯视视角的部分说明，可以参见上述对于第一摄像机与放置目标物体平面构成俯视视角的部分说明，在此不再赘述。
S502，标注每个图像样本中训练物体的把手的两端的坐标点；
获取上述图像样本后，为了使训练得到的深度神经网络模型可以学习到训练物体的把手的图像特征，电子设备可以标注每个图像样本中训练物体的把手的两端的坐标点。
S503，将标注后的图像样本及其对应的坐标点输入预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。
对图像样本进行标注后，可以将标注后的图像样本及其对应的坐标点输入预先构建的初始深度神经网络模型进行训练。在训练过程中，初始深度神经网络模型可以学习图像样本中包括的训练物体的把手的图像特征，输出图像样本对应的坐标点，经过对大量图像样本的学习，初始深度神经网络模型逐步建立训练物体的把手的图像特征与坐标点的对应关系，进而得到深度神经网络模型。
可见，本实施例中，通过上述训练方式对初始深度神经网络模型进行训练，可以得到包含图像样本中的训练物体的把手的图像特征与坐标点的对应关系的深度神经网络模型，通过该深度神经网络模型可以得到目标图像对应的输出结果，也就是目标物体的把手在目标图像中两端的坐标点，进而电子设备可以根据目标物体的把手在目标图像中两端的坐标点确定目标物体的把手相对于摄像机坐标系的三维位姿，也就是目标物体相对于摄像机坐标系的三维位姿。
相应于上述方法实施例，本发明实施例还提供了一种物体三维位姿的确定装置。
下面对本发明实施例所提供的一种物体三维位姿的确定装置进行介绍。
如图6所示，一种物体三维位姿的确定装置，所述装置包括：
目标图像获取模块610，用于获取第一摄像机采集的包括目标物体的目标图像；
其中，所述第一摄像机与放置所述目标物体的平面构成俯视视角，所述目标物体为具有把手的物体。
模型检测模块620，用于将所述目标图像输入通过模型训练模块(图6中未示出)预先训练完成的深度神经网络模型进行检测，获取所述目标图像中的目标坐标点；
其中，所述目标坐标点为：所述目标物体的把手在所述目标图像中两端的成像坐标点。
位姿确定模块630，用于根据所述目标坐标点和所述把手在世界坐标系中的参数，确定所述把手相对于第一摄像机坐标系的三维位姿。
可见，本发明实施例所提供的方案中，电子设备首先获取第一摄像机采集的包括目标物体的目标图像，将目标图像输入预先训练完成的深度神经网络模型进行检测，获取目标图像中的目标坐标点，再根据目标坐标点和把手在世界坐标系中的参数，确定把手相对于第一摄像机坐标系的三维位姿。其中，第一摄像机与放置目标物体的平面构成俯视视角，目标物体为具有把手的物体，目标坐标点为目标物体的把手在目标图像中两端的成像坐标点。由于通过深度神经网络模型可以获得目标物体的把手在目标图像中两端的成像坐标点，进而根据该坐标点和把手在世界坐标系中的参数，可以准确确定任意位姿的把手相对于第一摄像机坐标系的三维位姿，而不需要固定卡槽来固定的具有把手的物体，大大提高后续抓取目标物体的灵活性。
作为本发明实施例的一种实施方式，上述位姿确定模块630可以包括：
真实坐标点确定单元(图6中未示出)，用于根据所述把手的几何参数，确定所述把手在目标图像中的两端对应的世界坐标系中的真实坐标点；
第一位姿确定单元(图6中未示出)，用于根据所述目标坐标点及所述真实坐标点，确定所述把手相对于第一摄像机坐标系的三维位姿。
作为本发明实施例的一种实施方式，上述把手在世界坐标系中的参数可以为所述第一摄像机相对于所述把手的高度；
上述位姿确定模块630可以包括：
第二位姿确定单元(图6中未示出)，用于根据所述第一摄像机相对于所述把手的高度、所述第一摄像机的焦距及所述目标坐标点，确定所述把手相对于第一摄像机坐标系的三维位姿。
作为本发明实施例的一种实施方式，上述装置还可以包括：
映射关系确定模块(图6中未示出)，用于当所述目标物体为机械臂所要抓取的物体时，根据所述第一摄像机与所述机械臂的相对位置关系，确定所述第一摄像机坐标系与机械臂坐标系的映射关系；
第三位姿确定模块(图6中未示出)，用于根据所述映射关系及所述把手相对于第一摄像机坐标系的三维位姿，通过坐标变换，确定所述把手相对于所述机械臂坐标系的三维位姿。
作为本发明实施例的一种实施方式，上述装置还可以包括：
抓取控制模块(图6中未示出)，用于控制所述机械臂根据所述把手相对于所述机械臂坐标系的三维位姿，对所述把手进行抓取。
作为本发明实施例的一种实施方式，上述模型训练模块可以包括：
图像样本获取单元(图6中未示出)，用于获取第二摄像机采集的包括训练物体的多个图像样本，其中，所述第二摄像机与放置所述训练物体平面构成俯视视角，所述训练物体具有把手；
图像样本标注单元(图6中未示出)，用于标注每个图像样本中训练物体的把手的两端的坐标点；
模型训练单元(图6中未示出)，用于将标注后的图像样本及其对应的坐标点输入预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。
本发明实施例还提供了一种电子设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现如下步骤：
获取第一摄像机采集的包括目标物体的目标图像，其中，所述第一摄像机与放置所述目标物体的平面构成俯视视角，所述目标物体为具有把手的物体；
将所述目标图像输入预先训练完成的深度神经网络模型进行检测，获取所述目标图像中的目标坐标点，其中，所述目标坐标点为：所述目标物体的把手在所述目标图像中两端的成像坐标点；
根据所述目标坐标点和所述把手在世界坐标系中的参数，确定所述把手相对于第一摄像机坐标系的三维位姿。
可见，本发明实施例所提供的方案中，电子设备首先获取第一摄像机采集的包括目标物体的目标图像，将目标图像输入预先训练完成的深度神经网络模型进行检测，获取目标图像中的目标坐标点，再根据目标坐标点和把手在世界坐标系中的参数，确定把手相对于第一摄像机坐标系的三维位姿。其中，第一摄像机与放置目标物体的平面构成俯视视角，目标物体为具有把手的物体，目标坐标点为目标物体的把手在目标图像中两端的成像坐标点。由于通过深度神经网络模型可以获得目标物体的把手在目标图像中两端的成像坐标点，进而根据该坐标点和把手在世界坐标系中的参数，可以准确确定任意位姿的把手相对于第一摄像机坐标系的三维位姿，而不需要固定卡槽来固定的具有把手的物体，大大提高后续抓取目标物体的灵活性。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
其中，上述根据所述目标坐标点和所述把手在世界坐标系中的参数，确定所述把手相对于所述第一摄像机坐标系的三维位姿的步骤，可以包括：
根据所述把手的几何参数，确定所述把手在目标图像中的两端对应的世界坐标系中的真实坐标点；
根据所述目标坐标点及所述真实坐标点，确定所述把手相对于第一摄像机坐标系的三维位姿。
其中，上述把手在世界坐标系中的参数可以为所述第一摄像机相对于所述把手的高度；
所述根据所述目标坐标点和所述把手在世界坐标系中的参数，确定所述把手相对于第一摄像机坐标系的三维位姿的步骤，包括：
根据所述第一摄像机相对于所述把手的高度、所述第一摄像机的焦距及所述目标坐标点，确定所述把手相对于第一摄像机坐标系的三维位姿。
其中，当上述目标物体为机械臂所要抓取的物体时，上述方法还可以包括：
根据所述第一摄像机与所述机械臂的相对位置关系，确定所述第一摄像机坐标系与机械臂坐标系的映射关系；
根据所述映射关系及所述把手相对于第一摄像机坐标系的三维位姿，通过坐标变换，确定所述把手相对于所述机械臂坐标系的三维位姿。
其中，上述方法还可以包括：
控制所述机械臂根据所述把手相对于所述机械臂坐标系的三维位姿，对所述把手进行抓取。
其中，上述深度神经网络模型的训练方式，可以包括：
获取第二摄像机采集的包括训练物体的多个图像样本，其中，所述第二摄像机与放置所述训练物体平面构成俯视视角，所述训练物体具有把手；
标注每个图像样本中训练物体的把手的两端的坐标点；
将标注后的图像样本及其对应的坐标点输入预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取第一摄像机采集的包括目标物体的目标图像，其中，所述第一摄像机与放置所述目标物体的平面构成俯视视角，所述目标物体为具有把手的物体；
将所述目标图像输入预先训练完成的深度神经网络模型进行检测，获取所述目标图像中的目标坐标点，其中，所述目标坐标点为：所述目标物体的把手在所述目标图像中两端的成像坐标点；
根据所述目标坐标点和所述把手在世界坐标系中的参数，确定所述把手相对于第一摄像机坐标系的三维位姿。
可见，本发明实施例所提供的方案中，计算机程序被处理器执行时，首先获取第一摄像机采集的包括目标物体的目标图像，将目标图像输入预先训练完成的深度神经网络模型进行检测，获取目标图像中的目标坐标点，再根据目标坐标点和把手在世界坐标系中的参数，确定把手相对于第一摄像机坐标系的三维位姿。其中，第一摄像机与放置目标物体的平面构成俯视视角，目标物体为具有把手的物体，目标坐标点为目标物体的把手在目标图像中两端的成像坐标点。由于通过深度神经网络模型可以获得目标物体的把手在目标图像中两端的成像坐标点，进而根据该坐标点和把手在世界坐标系中的参数，可以准确确定任意位姿的把手相对于第一摄像机坐标系的三维位姿，而不需要固定卡槽来固定的具有把手的物体，大大提高后续抓取目标物体的灵活性。
其中，上述根据所述目标坐标点和所述把手在世界坐标系中的参数，确定所述把手相对于所述第一摄像机坐标系的三维位姿的步骤，可以包括：
根据所述把手的几何参数，确定所述把手在目标图像中的两端对应的世界坐标系中的真实坐标点；
根据所述目标坐标点及所述真实坐标点，确定所述把手相对于第一摄像机坐标系的三维位姿。
其中，上述把手在世界坐标系中的参数可以为所述第一摄像机相对于所述把手的高度；
所述根据所述目标坐标点和所述把手在世界坐标系中的参数，确定所述把手相对于第一摄像机坐标系的三维位姿的步骤，包括：
根据所述第一摄像机相对于所述把手的高度、所述第一摄像机的焦距及所述目标坐标点，确定所述把手相对于第一摄像机坐标系的三维位姿。
其中，当上述目标物体为机械臂所要抓取的物体时，上述方法还可以包括：
根据所述第一摄像机与所述机械臂的相对位置关系，确定所述第一摄像机坐标系与机械臂坐标系的映射关系；
根据所述映射关系及所述把手相对于第一摄像机坐标系的三维位姿，通过坐标变换，确定所述把手相对于所述机械臂坐标系的三维位姿。
其中，上述方法还可以包括：
控制所述机械臂根据所述把手相对于所述机械臂坐标系的三维位姿，对所述把手进行抓取。
其中，上述深度神经网络模型的训练方式，可以包括：
获取第二摄像机采集的包括训练物体的多个图像样本，其中，所述第二摄像机与放置所述训练物体平面构成俯视视角，所述训练物体具有把手；
标注每个图像样本中训练物体的把手的两端的坐标点；
将标注后的图像样本及其对应的坐标点输入预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。
需要说明的是，对于上述装置、电子设备及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要进一步说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种物体三维位姿的确定方法，其特征在于，所述方法包括：
获取第一摄像机采集的包括目标物体的目标图像，其中，所述第一摄像机与放置所述目标物体的平面构成俯视视角，所述目标物体为具有把手的物体；
将所述目标图像输入预先训练完成的深度神经网络模型进行检测，获取所述目标图像中的目标坐标点，其中，所述目标坐标点为：所述目标物体的把手在所述目标图像中两端的成像坐标点；
根据所述目标坐标点和所述把手在世界坐标系中的参数，确定所述把手相对于第一摄像机坐标系的三维位姿。
2.如权利要求1所述的方法，其特征在于，所述根据所述目标坐标点和所述把手在世界坐标系中的参数，确定所述把手相对于所述第一摄像机坐标系的三维位姿的步骤，包括：
根据所述把手的几何参数，确定所述把手在目标图像中的两端对应的世界坐标系中的真实坐标点；
根据所述目标坐标点及所述真实坐标点，确定所述把手相对于第一摄像机坐标系的三维位姿。
3.如权利要求1所述的方法，其特征在于，所述把手在世界坐标系中的参数为所述第一摄像机相对于所述把手的高度；
所述根据所述目标坐标点和所述把手在世界坐标系中的参数，确定所述把手相对于第一摄像机坐标系的三维位姿的步骤，包括：
根据所述第一摄像机相对于所述把手的高度、所述第一摄像机的焦距及所述目标坐标点，确定所述把手相对于第一摄像机坐标系的三维位姿。
4.如权利要求1所述的方法，其特征在于，当所述目标物体为机械臂所要抓取的物体时，所述方法还包括：
根据所述第一摄像机与所述机械臂的相对位置关系，确定所述第一摄像机坐标系与机械臂坐标系的映射关系；
根据所述映射关系及所述把手相对于第一摄像机坐标系的三维位姿，通过坐标变换，确定所述把手相对于所述机械臂坐标系的三维位姿。
5.如权利要求4所述的方法，其特征在于，所述方法还包括：
控制所述机械臂根据所述把手相对于所述机械臂坐标系的三维位姿，对所述把手进行抓取。
6.如权利要求1-5任一项所述的方法，其特征在于，所述深度神经网络模型的训练方式，包括：
获取第二摄像机采集的包括训练物体的多个图像样本，其中，所述第二摄像机与放置所述训练物体平面构成俯视视角，所述训练物体具有把手；
标注每个图像样本中训练物体的把手的两端的坐标点；
将标注后的图像样本及其对应的坐标点输入预先构建的初始深度神经网络模型进行训练，得到所述深度神经网络模型。
7.一种物体三维位姿的确定装置，其特征在于，所述装置包括：
目标图像获取模块，用于获取第一摄像机采集的包括目标物体的目标图像，其中，所述第一摄像机与放置所述目标物体的平面构成俯视视角，所述目标物体为具有把手的物体；
模型检测模块，用于将所述目标图像输入通过模型训练模块预先训练完成的深度神经网络模型进行检测，获取所述目标图像中的目标坐标点，其中，所述目标坐标点为：所述目标物体的把手在所述目标图像中两端的成像坐标点；
位姿确定模块，用于根据所述目标坐标点和所述把手在世界坐标系中的参数，确定所述把手相对于第一摄像机坐标系的三维位姿。
8.如权利要求7所述的装置，其特征在于，所述位姿确定模块包括：
真实坐标点确定单元，用于根据所述把手的几何参数，确定所述把手在目标图像中的两端对应的世界坐标系中的真实坐标点；
第一位姿确定单元，用于根据所述目标坐标点及所述真实坐标点，确定所述把手相对于第一摄像机坐标系的三维位姿。
9.一种电子设备，其特征在于，包括处理器、存储器和通信总线，其中，处理器、存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810235560.3A CN110298877A (zh) | 2018-03-21 | 2018-03-21 | 一种物体三维位姿的确定方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810235560.3A CN110298877A (zh) | 2018-03-21 | 2018-03-21 | 一种物体三维位姿的确定方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110298877A true CN110298877A (zh) | 2019-10-01 |
Family
ID=68025424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810235560.3A Pending CN110298877A (zh) | 2018-03-21 | 2018-03-21 | 一种物体三维位姿的确定方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110298877A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111292414A (zh) * | 2020-02-24 | 2020-06-16 | 当家移动绿色互联网技术集团有限公司 | 生成物体三维图像的方法、装置、存储介质及电子设备 |
| CN112258567A (zh) * | 2020-10-10 | 2021-01-22 | 达闼机器人有限公司 | 物体抓取点的视觉定位方法、装置、存储介质及电子设备 |
| CN112258574A (zh) * | 2020-09-21 | 2021-01-22 | 北京沃东天骏信息技术有限公司 | 标注位姿信息的方法、装置及计算机可读存储介质 |
| WO2023025175A1 (zh) * | 2021-08-25 | 2023-03-02 | 优奈柯恩(北京)科技有限公司 | 用于空间定位的方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104626206A (zh) * | 2014-12-17 | 2015-05-20 | 西南科技大学 | 一种非结构环境下机器人作业的位姿信息测量方法 |
| CN104842362A (zh) * | 2015-06-18 | 2015-08-19 | 厦门理工学院 | 一种机器人抓取物料包的方法和机器人抓取装置 |
| CN104924313A (zh) * | 2015-05-13 | 2015-09-23 | 北京工业大学 | 具有模仿学习机制的手把手示教机械臂系统及方法 |
| CN106000904A (zh) * | 2016-05-26 | 2016-10-12 | 北京新长征天高智机科技有限公司 | 一种生活垃圾自动分拣系统 |
| CN106153012A (zh) * | 2015-04-13 | 2016-11-23 | 苏州科沃斯商用机器人有限公司 | 指定目标的空间姿态参数测量方法及其应用 |
| CN106553195A (zh) * | 2016-11-25 | 2017-04-05 | 中国科学技术大学 | 工业机器人抓取过程中的物体6自由度定位方法及系统 |
| CN106737692A (zh) * | 2017-02-10 | 2017-05-31 | 杭州迦智科技有限公司 | 一种基于深度投影的机械手爪抓取规划方法及控制装置 |
| CN106874914A (zh) * | 2017-01-12 | 2017-06-20 | 华南理工大学 | 一种基于深度卷积神经网络的工业机械臂视觉控制方法 |
| CN107138432A (zh) * | 2017-04-05 | 2017-09-08 | 杭州迦智科技有限公司 | 非刚性物体分拣方法和装置 |
-
2018
- 2018-03-21 CN CN201810235560.3A patent/CN110298877A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104626206A (zh) * | 2014-12-17 | 2015-05-20 | 西南科技大学 | 一种非结构环境下机器人作业的位姿信息测量方法 |
| CN106153012A (zh) * | 2015-04-13 | 2016-11-23 | 苏州科沃斯商用机器人有限公司 | 指定目标的空间姿态参数测量方法及其应用 |
| CN104924313A (zh) * | 2015-05-13 | 2015-09-23 | 北京工业大学 | 具有模仿学习机制的手把手示教机械臂系统及方法 |
| CN104842362A (zh) * | 2015-06-18 | 2015-08-19 | 厦门理工学院 | 一种机器人抓取物料包的方法和机器人抓取装置 |
| CN106000904A (zh) * | 2016-05-26 | 2016-10-12 | 北京新长征天高智机科技有限公司 | 一种生活垃圾自动分拣系统 |
| CN106553195A (zh) * | 2016-11-25 | 2017-04-05 | 中国科学技术大学 | 工业机器人抓取过程中的物体6自由度定位方法及系统 |
| CN106874914A (zh) * | 2017-01-12 | 2017-06-20 | 华南理工大学 | 一种基于深度卷积神经网络的工业机械臂视觉控制方法 |
| CN106737692A (zh) * | 2017-02-10 | 2017-05-31 | 杭州迦智科技有限公司 | 一种基于深度投影的机械手爪抓取规划方法及控制装置 |
| CN107138432A (zh) * | 2017-04-05 | 2017-09-08 | 杭州迦智科技有限公司 | 非刚性物体分拣方法和装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111292414A (zh) * | 2020-02-24 | 2020-06-16 | 当家移动绿色互联网技术集团有限公司 | 生成物体三维图像的方法、装置、存储介质及电子设备 |
| CN111292414B (zh) * | 2020-02-24 | 2020-11-13 | 当家移动绿色互联网技术集团有限公司 | 生成物体三维图像的方法、装置、存储介质及电子设备 |
| CN112258574A (zh) * | 2020-09-21 | 2021-01-22 | 北京沃东天骏信息技术有限公司 | 标注位姿信息的方法、装置及计算机可读存储介质 |
| CN112258567A (zh) * | 2020-10-10 | 2021-01-22 | 达闼机器人有限公司 | 物体抓取点的视觉定位方法、装置、存储介质及电子设备 |
| WO2023025175A1 (zh) * | 2021-08-25 | 2023-03-02 | 优奈柯恩(北京)科技有限公司 | 用于空间定位的方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110298877A (zh) | 一种物体三维位姿的确定方法、装置及电子设备 | |
| CN108044627B (zh) | 抓取位置的检测方法、装置及机械臂 | |
| CN112258567B (zh) | 物体抓取点的视觉定位方法、装置、存储介质及电子设备 | |
| KR20180120647A (ko) | 가이드된 어셈블리 환경에서 머신비전 좌표공간과 함께 묶기 위한 시스템 및 방법 | |
| KR100975512B1 (ko) | 인식 처리 방법 및 이 방법을 이용한 화상 처리 장치 | |
| KR100693262B1 (ko) | 화상 처리 장치 | |
| CN110176032B (zh) | 一种三维重建方法及装置 | |
| CN109559341B (zh) | 一种机械臂抓取方案的生成方法及装置 | |
| WO2021043213A1 (zh) | 标定方法、装置、航拍设备和存储介质 | |
| CN110293553A (zh) | 控制机械臂操作物体的方法、装置及模型训练方法、装置 | |
| JP2008087074A (ja) | ワーク取り出し装置 | |
| JP2008506953A5 (zh) | ||
| CN106845354B (zh) | 零件视图库构建方法、零件定位抓取方法及装置 | |
| CN109961471B (zh) | 一种图像中物体位置的标注方法、装置及电子设备 | |
| CN109955244B (zh) | 一种基于视觉伺服的抓取控制方法、装置和机器人 | |
| US10909720B2 (en) | Control device for robot, robot, robot system, and method of confirming abnormality of robot | |
| CN113329179B (zh) | 拍摄对位方法、装置、设备及存储介质 | |
| CN112509036B (zh) | 位姿估计网络训练及定位方法、装置、设备、存储介质 | |
| US20220327721A1 (en) | Size estimation device, size estimation method, and recording medium | |
| CN114952856A (zh) | 机械臂手眼标定方法、系统、计算机及可读存储介质 | |
| CN113172636B (zh) | 一种自动手眼标定方法、装置及存储介质 | |
| CN114998447A (zh) | 多目视觉标定方法及系统 | |
| JP2019109200A (ja) | 校正用データ生成装置、校正用データ生成方法、キャリブレーションシステム、及び制御プログラム | |
| CN110298879B (zh) | 一种待抓取物体位姿的确定方法、装置及电子设备 | |
| CN117173254A (zh) | 一种相机标定方法、系统、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191001 |
|
| RJ01 | Rejection of invention patent application after publication |