CN110276805A - 一种数据处理方法及电子设备 - Google Patents
一种数据处理方法及电子设备 Download PDFInfo
- Publication number
- CN110276805A CN110276805A CN201910575837.1A CN201910575837A CN110276805A CN 110276805 A CN110276805 A CN 110276805A CN 201910575837 A CN201910575837 A CN 201910575837A CN 110276805 A CN110276805 A CN 110276805A
- Authority
- CN
- China
- Prior art keywords
- estimated
- distance
- subject image
- dimensional
- pose information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请公开了一种数据处理方法及电子设备，获取第一位置所在视角的待估计物体的物体图像以及第二位置与待估计物体之间的第一距离，根据物体图像及第一距离通过三维物体模型进行三维物体估计，确定待估计物体的三维姿态信息，三维物体模型是根据训练物体的训练物体图像、训练物体的第一训练位置及训练物体的三维姿态信息进行模型训练得到的。本方案通过获取待估计物体的物体图像、第一距离以及三维物体模型实现对待估计物体的三维姿态的估计，从而得到三维姿态信息，通过第一距离消除用于获取物体图像的相机的内参的影响，提高了三维姿态估计的精确度。
Description
技术领域
本申请涉及控制领域，尤其涉及一种数据处理方法及电子设备。
背景技术
超市商品的三维姿态估计是自动抓取商品的重要前提之一，而商品的自动抓取又是实现仓储和零售自动化、无人化的基础。
而目前，通常通过RGB图像实现对物体的三维姿态估计，然而通过RGB图像进行三维姿态估计会由于图像及相机的自身限制，无法消除相机内参的影响，导致姿态估计并不精确。
发明内容
有鉴于此，本申请提供一种数据处理方法及电子设备，其具体方案如下：
一种数据处理方法，包括：
获取第一位置所在视角的待估计物体的物体图像以及第二位置与所述待估计物体之间的第一距离，其中，所述第一位置与所述第二位置之间的距离小于第一阈值，所述第一阈值是能够保证通过所述物体图像及所述第一距离形成达到预设精度的三维姿态信息的阈值；
根据所述物体图像及所述第一距离通过三维物体模型进行三维物体估计，确定所述待估计物体的三维姿态信息，其中，所述三维物体模型是根据训练物体的训练物体图像、所述训练物体的第一距离及所述训练物体的三维姿态信息进行模型训练得到的。
进一步的，获取第一位置所在视角的待估计物体的物体图像以及第二位置与所述待估计物体之间的第一距离，包括：
通过设置于第一位置的图像采集传感器获取待估计物体的物体图像，以及，通过设置于第二位置的距离传感器确定所述距离传感器与所述待估计物体之间的第一距离。
进一步的，所述根据所述物体图像及所述第一距离通过三维物体模型进行三维物体估计，确定所述待估计物体的三维姿态信息，包括：
根据所述物体图像及三维物体模型确定所述待估计物体在所述物体图像上的二维姿态；
根据所述第一距离、所述二维姿态及所述三维物体模型确定所述待估计物体的三维姿态信息。
进一步的，所述二维姿态包括：所述物体图像中的所述待估计物体与能够包括所述待估计物体外侧的最小长方体的各顶点间的映射关系。
进一步的，所述根据所述物体图像及所述第一距离通过三维物体模型进行三维物体估计，确定所述待估计物体的三维姿态信息，包括：
根据所述物体图像及所述第一距离通过三维物体模型进行三维物体估计，确定所述待估计物体的三维姿态及位置，其中，三维姿态信息包括：三维姿态及位置，所述位置为所述待估计物体相对于用于抓取所述待估计物体的抓取装置之间的相对位置关系。
进一步的，所述根据所述物体图像及所述第一距离通过三维物体模型进行三维物体估计，确定所述待估计物体的三维姿态信息，包括：
根据所述物体图像及所述第一距离通过三维物体模型进行三维物体估计，确定所述待估计物体的三维姿态信息；
依据所述待估计物体的三维姿态信息及所述第一距离确定所述待估计物体的位置，所述位置为所述待估计物体相对于用于抓取所述待估计物体的抓取装置之间的相对位置关系。
一种电子设备，包括：处理器及传感器，其中：
所述传感器用于获取第一位置所在视角的获取待估计物体的物体图像及第二位置与所述待估计物体之间的第一距离，其中，所述第一位置与所述第二位置之间的距离小于第一阈值，所述第一阈值是能够保证通过所述物体图像及所述第一距离形成达到预设精度的三维姿态信息的阈值；
所述处理器用于根据所述物体图像及所述第一距离通过三维物体模型进行三维物体估计，确定所述待估计物体的三维姿态信息，其中，所述三维物体模型是根据训练物体的训练物体图像、所述训练物体的第一距离及所述训练物体的三维姿态信息进行模型训练得到的。
进一步的，所述传感器包括图像采集传感器及距离传感器，其中：
所述图像采集传感器设置于所述第一位置，用于获取所述待估计物体的物体图像；
所述距离传感器设置于所述第二位置，用于确定所述距离传感器与所述待估计物体之间的第一距离。
进一步的，所述处理器根据所述物体图像及所述第一距离通过三维物体模型进行三维物体估计，确定所述待估计物体的三维姿态信息，包括：
所述处理器根据所述物体图像及三维物体模型确定所述待估计物体在所述物体图像上的二维姿态，根据所述第一距离、所述二维姿态及所述三维物体模型确定所述待估计物体的三维姿态信息。
进一步的，所述二维姿态包括：所述物体图像中的所述待估计物体与能够包括所述待估计物体外侧的最小长方体的各顶点间的映射关系。
一种存储介质，用于至少存储一组指令集；
所述指令集用于被调用并至少执行如上任一项的数据处理方法。
一种数据处理装置，包括：获取单元及确定单元，其中：
所述获取单元用于获取第一位置所在视角的待估计物体的物体图像以及第二位置与所述待估计物体之间的第一距离，其中，所述第一位置与所述第二位置之间的距离小于第一阈值，所述第一阈值是能够保证通过所述物体图像及所述第一距离形成达到预设精度的三维姿态信息的阈值；
所述确定单元用于根据所述物体图像及所述第一距离通过三维物体模型进行三维物体估计，确定所述待估计物体的三维姿态信息，其中，所述三维物体模型是根据训练物体的训练物体图像、所述训练物体的第一距离及所述训练物体的三维姿态信息进行模型训练得到的。
从上述技术方案可以看出，本申请公开的数据处理方法及电子设备，获取第一位置所在视角的待估计物体的物体图像以及第二位置与待估计物体之间的第一距离，根据物体图像及第一距离通过三维物体模型进行三维物体估计，确定待估计物体的三维姿态信息，三维物体模型是根据训练物体的训练物体图像、训练物体的第一训练位置及训练物体的三维姿态信息进行模型训练得到的。本方案通过获取待估计物体的物体图像、第一距离以及三维物体模型实现对待估计物体的三维姿态的估计，从而得到三维姿态信息，通过第一距离消除用于获取物体图像的相机的内参的影响，提高了三维姿态估计的精确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种数据处理方法的流程图；
图2为本申请实施例公开的一种数据处理方法的流程图；
图3为本申请实施例公开的一种最小长方形的示意图；
图4为本申请实施例公开的一种数据处理方法的流程图；
图5为本申请实施例公开的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请公开了一种数据处理方法，其流程图如图1所示，包括：
步骤S11、获取第一位置所在视角的待估计物体的物体图像及第二位置与待估计物体之间的第一距离，第一位置与第二位置之间的距离小于第一阈值，第一阈值是能够保证通过物体图像及第一距离形成达到预设精度的三维姿态信息的阈值；
在工厂或超市中，有可能会涉及到对物体的抓取，在通过处理器控制机械臂对物体进行抓取时，要想实现精确抓取，就需要处理器首先明确物体的三维姿态及位置，以便控制机械臂的伸出长度及机械臂抓取结构的大小及角度，实现精确抓取。三维姿态信息即包括三维姿态及位置。
其中，物体的姿态，即物体在不同方向上的自由度及不同方向上的位移，如：物体的形状、大小、线条长度，线条方向，各线条之间的角度关系等。例如：一个奶粉罐，其姿态为：直径为a1，高为a2的圆柱体；一本书的姿态为：长为b1，宽为b2，高为b3的长方体；当然，还有更多的不规则的多面体，就需要通过在不同方向上的角度及长度明确该物体的姿态。
通过传感器获取第一位置所在视角的待估计物体的物体图像，以及第二位置与待估计物体之间的第一距离，其中，第一位置与第二位置之间的距离小于第一阈值，第一阈值是能够保证通过物体图像及第一距离形成达到预设精度的三维姿态信息的阈值。
其中，第一位置与第二位置之间距离较近，第一阈值可以具体为5mm，只有保证这两个位置之间足够近，才能保证在第一位置获取的物体图像与在第二位置获取的第一距离的基础上得到的三维姿态信息是符合该物体的实际姿态的。
当通过第一距离及物体图像得到的三维姿态信息与物体的实际姿态之间的差异低于预设精度，则认为第一位置与第二位置之间的距离过远，需要重新确定第一位置与第二位置，使两者之间的距离小于第一阈值；只要两者之间的距离小于第一阈值，那么，通过第一距离及物体图像得到的三维姿态信息与物体的实际姿态之间的差异必然是大于或等于预设精度的。
进一步的，传感器可具体为图像采集传感器及距离传感器。
其中，图像采集传感器设置于第一位置，用于获取待估计物体的图像，距离传感器设置于第二位置，用于确定距离传感器与待估计物体之间的第一距离。
其中，图像采集传感器与距离传感器之间的距离小于第一阈值，如：5mm，另外，图像采集传感器及距离传感器需要平行且同向设置。
步骤S12、根据物体图像及第一距离通过三维物体模型进行三维物体估计，确定待估计物体的三维姿态信息，三维物体模型是根据训练物体的训练物体图像、训练物体的第一距离及训练物体的三维姿态信息进行模型训练得到的。
预先进行三维物体模型的训练，具体的，可以通过预先选取训练物体，并且需要获取训练物体的物体图像、训练物体的第一距离以及训练物体的三维姿态信息。
其中，预先获取的训练物体的物体图像为：在第一位置获取的物体图像，训练物体的第一距离为：确定的第二位置与训练物体之间的距离，训练物体的物体图像及第一距离均可通过传感器直接采集得到；而训练物体的三维姿态信息也可以通过预先获取得到，即已明确了训练物体的三维姿态信息，已确定了该训练物体的形状、大小、不同线条的长度以及不同线条之间的角度关系。
将预先获取到的所有数据进行训练，可以得到三维物体模型，该三维物体模型可用于根据物体图像及第一距离确定物体的三维姿态信息。并且，在通过三维物体模型确定三维姿态信息的过程中，还可根据物体的实际三维姿态对三维物体模型进行继续训练，以使得三维物体模型得到修正，使其确定的三维姿态信息更精确。
在通过训练物体的相关数据经过模型训练得到三维物体模型后，就需要通过三维物体模型进行物体估计，将待估计物体的物体图像及第一距离输入至三维物体模型，从而确定该待估计物体的三维姿态信息，从而使得处理器根据该三维姿态信息确定机械臂中抓取结构的大小及角度对该待估计物体进行抓取，从而实现了物体抓取的自动化控制。
具体的，本实施实例公开的数据处理方法，可以采用RGB摄像头作为图像采集传感器，用于采集待估计物体的物体图像，采用深度摄像头作为距离传感器，用来确定第二位置与待估计物体之间的第一距离，通过高通845芯片作为处理器，用于根据物体图像及第一距离通过三维物体模型进行三维物体估计，从而确定待估计物体的三维姿态信息，其中，该高通845芯片作为处理器还可用于训练三维物体模型。
进一步的，深度摄像头可具体为TOF距离传感器。
本实施例公开的数据处理方法，获取第一位置所在视角的待估计物体的物体图像以及第二位置与待估计物体之间的第一距离，根据物体图像及第一距离通过三维物体模型进行三维物体估计，确定待估计物体的三维姿态信息，三维物体模型是根据训练物体的训练物体图像、训练物体的第一训练位置及训练物体的三维姿态信息进行模型训练得到的。本方案通过获取待估计物体的物体图像、第一距离以及三维物体模型实现对待估计物体的三维姿态的估计，从而得到三维姿态信息，通过第一距离消除用于获取物体图像的相机的内参的影响，提高了三维姿态估计的精确度。
本实施例公开了一种数据处理方法，其流程图如图2所示，包括：
步骤S21、获取第一位置所在视角的待估计物体的物体图像及第二位置与待估计物体之间的第一距离，第一位置与第二位置之间的距离小于第一阈值，第一阈值是能够保证通过物体图像及第一距离形成达到预设精度的三维姿态信息的阈值；
步骤S22、根据物体图像及三维物体模型确定待估计物体在物体图像上的二维姿态，三维物体模型是根据训练物体的训练物体图像、训练物体的第一距离及训练物体的三维姿态信息进行模型训练得到的；
步骤S23、根据第一距离、二维姿态及三维物体模型确定待估计物体的三维姿态信息。
在通过三维物体模型得到三维姿态信息的过程中，需要首先根据物体图像及三维物体模型确定待估计物体在物体图像上的二维姿态，其中，二维姿态为：物体图像中的待估计物体与能够包括待估计物体外侧的最小长方体的各顶点间的映射关系。
其中，能够包括待估计物体外侧的最小长方体，其中，该最小长方体能够包括该待估计物体，待估计物体位于该最小长方体的内部，并且，该最小长方体的6个面上每个面上都至少有一个该待估计物体的顶点或边，如图3所示，以平面物体为例，该平面物体为多边形，能够包括该多边形的为最小长方形A，最小长方形A的四个边分别为a，b，c，d，其中，a，b，c，d中各边上均至少有一个该多边形的顶点，将其该多边形扩展为待估计物体时，将该长方形也扩展为长方体，由此，最小长方体的6个面上每个面上都至少有一个该待估计物体的顶点或边。
在确定该二维姿态后，再根据第一距离、二维姿态及三维物体模型确定待估计物体的三维姿态信息，即在确定二维姿态后，直接将该二维姿态立体化即可确定该待估计物体的三维姿态，之后再确定其位置，即明确了该待估计物体的三维姿态信息。
本实施例公开的数据处理方法，获取第一位置所在视角的待估计物体的物体图像以及第二位置与待估计物体之间的第一距离，根据物体图像及第一距离通过三维物体模型进行三维物体估计，确定待估计物体的三维姿态信息，三维物体模型是根据训练物体的训练物体图像、训练物体的第一训练位置及训练物体的三维姿态信息进行模型训练得到的。本方案通过获取待估计物体的物体图像、第一距离以及三维物体模型实现对待估计物体的三维姿态的估计，从而得到三维姿态信息，通过第一距离消除用于获取物体图像的相机的内参的影响，提高了三维姿态估计的精确度。
本实施例公开了一种数据处理方法，其流程图如图4所示，包括：
步骤S41、获取第一位置所在视角的待估计物体的物体图像及第二位置与待估计物体之间的第一距离，第一位置与第二位置之间的距离小于第一阈值，第一阈值是能够保证通过物体图像及第一距离形成达到预设精度的三维姿态信息的阈值；
步骤S42、根据物体图像及第一距离通过三维物体模型进行三维物体估计，确定待估计物体的三维姿态及位置，位置为待估计物体相对于用于抓取待估计物体的抓取装置之间的相对位置关系。
其中，抓取装置包括：机械臂及机械臂抓取结构。
待估计物体的三维姿态信息包括：三维姿态及位置，位置为待估计物体相对于用于抓取待估计物体的抓取装置之间的相对位置关系，也可以为待估计物体与包括该图像采集传感器及距离传感器的电子设备之间的距离。
以位置为待估计物体相对于用于抓取待估计物体的抓取装置之间的相对位置关系为例，根据物体图像及第一距离通过三维物体模型进行三维物体估计，在确定待估计物体的三维姿态的同时，还可确定该待估计物体的位置。
具体的，可以为：根据该待估计物体的物体图像通过三维物体模型即可确定待估计物体的三维姿态，同时，通过对第一距离进行处理运算可得到该待估计物体的位置。第一距离为待估计物体与第二位置之间的直线距离，通过第一运算过程可根据第一距离确定待估计物体与第二位置之间的第一空间相对位置关系，由于已预先确定第二位置与抓取装置之间的第二空间相对位置关系，因此，可根据第一空间相对位置关系及第二空间相对位置关系直接确定待估计物体与抓取装置之间的第三空间相对位置关系，即待估计物体的位置。
由此，可根据物体图像及第一距离通过三维物体模型同时确定待估计物体的三维姿态及位置。
另外，还可以为：
根据物体图像及第一距离通过三维物体模型进行三维物体估计，确定待估计物体的三维姿态信息，依据待估计物体的三维姿态信息及第一距离确定待估计物体的位置，位置为待估计物体相对于用于抓取待估计物体的抓取装置之间的相对位置关系。
具体的，第一距离为：待估计物体上与距离传感器最近的直线距离，那么，首先根据物体图像及第一距离通过三维物体模型确定三维姿态信息，其中，三维姿态信息为待估计物体的三维姿态及待估计物体与距离传感器之间的相对位置关系，在确定三维姿态及待估计物体与距离传感器之间的相对位置关系后，可根据三维姿态及该待估计物体与距离传感器之间的相对位置关系确定待估计物体相对于抓取装置之间的相对位置关系。
其中，该待估计物体与距离传感器之间的相对位置关系实际是该待估计物体与距离传感器最近的位置处与距离传感器之间的相对位置关系，而抓取装置其可能并不是与距离传感器及待估计物体处于一条直线上，那么，就需要确定该待估计物体的三维姿态相对于抓取装置之间的相对位置关系，因此，需要在根据三维物体模型确定了三维姿态信息之后，再根据三维姿态信息及第一距离确定该待估计物体的三维姿态相对于抓取装置之间的相对位置关系。
具体的，当确定了待估计物体与距离传感器距离最近的点相对于距离传感器的相对位置关系后，在已确定待估计物体的三维姿态的基础上，可通过运算处理确定待估计物体的各个顶点相对于距离传感器的位置关系，或者，通过运算处理确定能够包括待估计物体的最小长方体的各个顶点相对于距离传感器的位置关系，之后，直接根据该位置关系及已知的距离传感器与抓取装置之间的位置关系确定待估计物体的三维姿态相对于抓取装置之间的相对位置关系即可。
本实施例公开的数据处理方法，获取第一位置所在视角的待估计物体的物体图像以及第二位置与待估计物体之间的第一距离，根据物体图像及第一距离通过三维物体模型进行三维物体估计，确定待估计物体的三维姿态信息，三维物体模型是根据训练物体的训练物体图像、训练物体的第一训练位置及训练物体的三维姿态信息进行模型训练得到的。本方案通过获取待估计物体的物体图像、第一距离以及三维物体模型实现对待估计物体的三维姿态的估计，从而得到三维姿态信息，通过第一距离消除用于获取物体图像的相机的内参的影响，提高了三维姿态估计的精确度。
本实施例公开了一种电子设备，其结构示意图如图5所示，包括：
处理器51及传感器52。
其中，传感器52用于获取第一位置所在视角的获取待估计物体的物体图像及第二位置与待估计物体之间的第一距离，其中，第一位置与第二位置之间的距离小于第一阈值，第一阈值是能够保证通过物体图像及第一距离形成达到预设精度的三维姿态信息的阈值；
处理器用51于根据物体图像及第一距离通过三维物体模型进行三维物体估计，确定待估计物体的三维姿态信息，其中，三维物体模型是根据训练物体的训练物体图像、训练物体的第一距离及训练物体的三维姿态信息进行模型训练得到的。
在工厂或超市中，有可能会涉及到对物体的抓取，在通过处理器控制机械臂对物体进行抓取时，要想实现精确抓取，就需要处理器首先明确物体的三维姿态及位置，以便控制机械臂的伸出长度及机械臂抓取结构的大小及角度，实现精确抓取。三维姿态信息即包括三维姿态及位置。
其中，物体的姿态，即物体在不同方向上的自由度及不同方向上的位移，如：物体的形状、大小、线条长度，线条方向，各线条之间的角度关系等。例如：一个奶粉罐，其姿态为：直径为a1，高为a2的圆柱体；一本书的姿态为：长为b1，宽为b2，高为b3的长方体；当然，还有更多的不规则的多面体，就需要通过在不同方向上的角度及长度明确该物体的姿态。
通过传感器获取第一位置所在视角的待估计物体的物体图像，以及第二位置与待估计物体之间的第一距离，其中，第一位置与第二位置之间的距离小于第一阈值，第一阈值是能够保证通过物体图像及第一距离形成达到预设精度的三维姿态信息的阈值。
其中，第一位置与第二位置之间距离较近，第一阈值可以具体为5mm，只有保证这两个位置之间足够近，才能保证在第一位置获取的物体图像与在第二位置获取的第一距离的基础上得到的三维姿态信息是符合该物体的实际姿态的。
当通过第一距离及物体图像得到的三维姿态信息与物体的实际姿态之间的差异低于预设精度，则认为第一位置与第二位置之间的距离过远，需要重新确定第一位置与第二位置，使两者之间的距离小于第一阈值；只要两者之间的距离小于第一阈值，那么，通过第一距离及物体图像得到的三维姿态信息与物体的实际姿态之间的差异必然是大于或等于预设精度的。
进一步的，传感器可具体为图像采集传感器及距离传感器。
其中，图像采集传感器设置于第一位置，用于获取待估计物体的图像，距离传感器设置于第二位置，用于确定距离传感器与待估计物体之间的第一距离。
其中，图像采集传感器与距离传感器之间的距离小于第一阈值，如：5mm，另外，图像采集传感器及距离传感器需要平行且同向设置。
预先进行三维物体模型的训练，具体的，可以通过预先选取训练物体，并且需要获取训练物体的物体图像、训练物体的第一距离以及训练物体的三维姿态信息。
其中，预先获取的训练物体的物体图像为：在第一位置获取的物体图像，训练物体的第一距离为：确定的第二位置与训练物体之间的距离，训练物体的物体图像及第一距离均可通过传感器直接采集得到；而训练物体的三维姿态信息也可以通过预先获取得到，即已明确了训练物体的三维姿态信息，已确定了该训练物体的形状、大小、不同线条的长度以及不同线条之间的角度关系。
将预先获取到的所有数据进行训练，可以得到三维物体模型，该三维物体模型可用于根据物体图像及第一距离确定物体的三维姿态信息。并且，在通过三维物体模型确定三维姿态信息的过程中，还可根据物体的实际三维姿态对三维物体模型进行继续训练，以使得三维物体模型得到修正，使其确定的三维姿态信息更精确。
在通过训练物体的相关数据经过模型训练得到三维物体模型后，就需要通过三维物体模型进行物体估计，将待估计物体的物体图像及第一距离输入至三维物体模型，从而确定该待估计物体的三维姿态信息，从而使得处理器根据该三维姿态信息确定机械臂中抓取结构的大小及角度对该待估计物体进行抓取，从而实现了物体抓取的自动化控制。
具体的，可以采用RGB摄像头作为图像采集传感器，用于采集待估计物体的物体图像，采用深度摄像头作为距离传感器，用来确定第二位置与待估计物体之间的第一距离，通过高通845芯片作为处理器，用于根据物体图像及第一距离通过三维物体模型进行三维物体估计，从而确定待估计物体的三维姿态信息，其中，该高通845芯片作为处理器还可用于训练三维物体模型。
进一步的，深度摄像头可具体为TOF距离传感器。
进一步的，处理器51根述物体图像及第一距离通过三维物体模型进行三维物体估计，确定待估计物体的三维姿态信息，包括：
根据物体图像及三维物体模型确定待估计物体在物体图像上的二维姿态；根据第一距离、二维姿态及三维物体模型确定待估计物体的三维姿态信息。
在通过三维物体模型得到三维姿态信息的过程中，需要首先根据物体图像及三维物体模型确定待估计物体在物体图像上的二维姿态，其中，二维姿态为：物体图像中的待估计物体与能够包括待估计物体外侧的最小长方体的各顶点间的映射关系。
其中，能够包括待估计物体外侧的最小长方体，其中，该最小长方体能够包括该待估计物体，待估计物体位于该最小长方体的内部，并且，该最小长方体的6个面上每个面上都至少有一个该待估计物体的顶点或边，如图3所示，以平面物体为例，该平面物体为多边形，能够包括该多边形的为最小长方形A，最小长方形A的四个边分别为a，b，c，d，其中，a，b，c，d中各边上均至少有一个该多边形的顶点，将其该多边形扩展为待估计物体时，将该长方形也扩展为长方体，由此，最小长方体的6个面上每个面上都至少有一个该待估计物体的顶点或边。
在确定该二维姿态后，再根据第一距离、二维姿态及三维物体模型确定待估计物体的三维姿态信息，即在确定二维姿态后，直接将该二维姿态立体化即可确定该待估计物体的三维姿态，之后再确定其位置，即明确了该待估计物体的三维姿态信息。
进一步的，处理器51根据物体图像及第一距离通过三维物体模型进行三维物体估计，确定待估计物体的三维姿态信息，包括：
根据物体图像及第一距离通过三维物体模型进行三维物体估计，确定待估计物体的三维姿态及位置，其中，三维姿态信息包括：三维姿态及位置，位置为待估计物体相对于用于抓取待估计物体的抓取装置之间的相对位置关系。
其中，抓取装置包括：机械臂及机械臂抓取结构。
待估计物体的三维姿态信息包括：三维姿态及位置，位置为待估计物体相对于用于抓取待估计物体的抓取装置之间的相对位置关系，也可以为待估计物体与包括该图像采集传感器及距离传感器的电子设备之间的距离。
以位置为待估计物体相对于用于抓取待估计物体的抓取装置之间的相对位置关系为例，根据物体图像及第一距离通过三维物体模型进行三维物体估计，在确定待估计物体的三维姿态的同时，还可确定该待估计物体的位置。
具体的，可以为：根据该待估计物体的物体图像通过三维物体模型即可确定待估计物体的三维姿态，同时，通过对第一距离进行处理运算可得到该待估计物体的位置。第一距离为待估计物体与第二位置之间的直线距离，通过第一运算过程可根据第一距离确定待估计物体与第二位置之间的第一空间相对位置关系，由于已预先确定第二位置与抓取装置之间的第二空间相对位置关系，因此，可根据第一空间相对位置关系及第二空间相对位置关系直接确定待估计物体与抓取装置之间的第三空间相对位置关系，即待估计物体的位置。
由此，可根据物体图像及第一距离通过三维物体模型同时确定待估计物体的三维姿态及位置。
另外，还可以为：
根据物体图像及第一距离通过三维物体模型进行三维物体估计，确定待估计物体的三维姿态信息，依据待估计物体的三维姿态信息及第一距离确定待估计物体的位置，位置为待估计物体相对于用于抓取待估计物体的抓取装置之间的相对位置关系。
具体的，第一距离为：待估计物体上与距离传感器最近的直线距离，那么，首先根据物体图像及第一距离通过三维物体模型确定三维姿态信息，其中，三维姿态信息为待估计物体的三维姿态及待估计物体与距离传感器之间的相对位置关系，在确定三维姿态及待估计物体与距离传感器之间的相对位置关系后，可根据三维姿态及该待估计物体与距离传感器之间的相对位置关系确定待估计物体相对于抓取装置之间的相对位置关系。
其中，该待估计物体与距离传感器之间的相对位置关系实际是该待估计物体与距离传感器最近的位置处与距离传感器之间的相对位置关系，而抓取装置其可能并不是与距离传感器及待估计物体处于一条直线上，那么，就需要确定该待估计物体的三维姿态相对于抓取装置之间的相对位置关系，因此，需要在根据三维物体模型确定了三维姿态信息之后，再根据三维姿态信息及第一距离确定该待估计物体的三维姿态相对于抓取装置之间的相对位置关系。
具体的，当确定了待估计物体与距离传感器距离最近的点相对于距离传感器的相对位置关系后，在已确定待估计物体的三维姿态的基础上，可通过运算处理确定待估计物体的各个顶点相对于距离传感器的位置关系，或者，通过运算处理确定能够包括待估计物体的最小长方体的各个顶点相对于距离传感器的位置关系，之后，直接根据该位置关系及已知的距离传感器与抓取装置之间的位置关系确定待估计物体的三维姿态相对于抓取装置之间的相对位置关系即可。
本实施例公开的电子设备，获取第一位置所在视角的待估计物体的物体图像以及第二位置与待估计物体之间的第一距离，根据物体图像及第一距离通过三维物体模型进行三维物体估计，确定待估计物体的三维姿态信息，三维物体模型是根据训练物体的训练物体图像、训练物体的第一训练位置及训练物体的三维姿态信息进行模型训练得到的。本方案通过获取待估计物体的物体图像、第一距离以及三维物体模型实现对待估计物体的三维姿态的估计，从而得到三维姿态信息，通过第一距离消除用于获取物体图像的相机的内参的影响，提高了三维姿态估计的精确度。
本实施例公开了一种数据处理装置，包括：获取单元及确定单元，其中：
获取单元用于获取第一位置所在视角的待估计物体的物体图像以及第二位置与待估计物体之间的第一距离，其中，第一位置与第二位置之间的距离小于第一阈值，第一阈值是能够保证通过物体图像及第一距离形成达到预设精度的三维姿态信息的阈值；
确定单元用于根据物体图像及第一距离通过三维物体模型进行三维物体估计，确定待估计物体的三维姿态信息，其中，三维物体模型是根据训练物体的训练物体图像、训练物体的第一距离及训练物体的三维姿态信息进行模型训练得到的。
本实施例公开的数据处理装置是根据上述实施例公开的数据处理方法实现的，其具体处理过程在此不再赘述。
本实施例公开了一种存储介质，用于至少存储一组指令集，其中，指令集用于被调用并至少执行如上所述任一项所述的数据处理方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据处理方法，包括：
获取第一位置所在视角的待估计物体的物体图像以及第二位置与所述待估计物体之间的第一距离，其中，所述第一位置与所述第二位置之间的距离小于第一阈值，所述第一阈值是能够保证通过所述物体图像及所述第一距离形成达到预设精度的三维姿态信息的阈值；
根据所述物体图像及所述第一距离通过三维物体模型进行三维物体估计，确定所述待估计物体的三维姿态信息，其中，所述三维物体模型是根据训练物体的训练物体图像、所述训练物体的第一距离及所述训练物体的三维姿态信息进行模型训练得到的。
2.根据权利要求1所述的方法，其中，获取第一位置所在视角的待估计物体的物体图像以及第二位置与所述待估计物体之间的第一距离，包括：
通过设置于第一位置的图像采集传感器获取待估计物体的物体图像，以及，通过设置于第二位置的距离传感器确定所述距离传感器与所述待估计物体之间的第一距离。
3.根据权利要求1所述的方法，其中，所述根据所述物体图像及所述第一距离通过三维物体模型进行三维物体估计，确定所述待估计物体的三维姿态信息，包括：
根据所述物体图像及三维物体模型确定所述待估计物体在所述物体图像上的二维姿态；
根据所述第一距离、所述二维姿态及所述三维物体模型确定所述待估计物体的三维姿态信息。
4.根据权利要求3所述的方法，其中，所述二维姿态包括：所述物体图像中的所述待估计物体与能够包括所述待估计物体外侧的最小长方体的各顶点间的映射关系。
5.根据权利要求1所述的方法，其中，所述根据所述物体图像及所述第一距离通过三维物体模型进行三维物体估计，确定所述待估计物体的三维姿态信息，包括：
根据所述物体图像及所述第一距离通过三维物体模型进行三维物体估计，确定所述待估计物体的三维姿态及位置，其中，三维姿态信息包括：三维姿态及位置，所述位置为所述待估计物体相对于用于抓取所述待估计物体的抓取装置之间的相对位置关系。
6.根据权利要求1所述的方法，其中，所述根据所述物体图像及所述第一距离通过三维物体模型进行三维物体估计，确定所述待估计物体的三维姿态信息，包括：
根据所述物体图像及所述第一距离通过三维物体模型进行三维物体估计，确定所述待估计物体的三维姿态信息；
依据所述待估计物体的三维姿态信息及所述第一距离确定所述待估计物体的位置，所述位置为所述待估计物体相对于用于抓取所述待估计物体的抓取装置之间的相对位置关系。
7.一种电子设备，包括：处理器及传感器，其中：
所述传感器用于获取第一位置所在视角的获取待估计物体的物体图像及第二位置与所述待估计物体之间的第一距离，其中，所述第一位置与所述第二位置之间的距离小于第一阈值，所述第一阈值是能够保证通过所述物体图像及所述第一距离形成达到预设精度的三维姿态信息的阈值；
所述处理器用于根据所述物体图像及所述第一距离通过三维物体模型进行三维物体估计，确定所述待估计物体的三维姿态信息，其中，所述三维物体模型是根据训练物体的训练物体图像、所述训练物体的第一距离及所述训练物体的三维姿态信息进行模型训练得到的。
8.根据权利要求7所述的电子设备，其中，所述传感器包括图像采集传感器及距离传感器，其中：
所述图像采集传感器设置于所述第一位置，用于获取所述待估计物体的物体图像；
所述距离传感器设置于所述第二位置，用于确定所述距离传感器与所述待估计物体之间的第一距离。
9.根据权利要求7所述的电子设备，其中，所述处理器根据所述物体图像及所述第一距离通过三维物体模型进行三维物体估计，确定所述待估计物体的三维姿态信息，包括：
所述处理器根据所述物体图像及三维物体模型确定所述待估计物体在所述物体图像上的二维姿态，根据所述第一距离、所述二维姿态及所述三维物体模型确定所述待估计物体的三维姿态信息。
10.根据权利要求9所述的电子设备，其中，所述二维姿态包括：所述物体图像中的所述待估计物体与能够包括所述待估计物体外侧的最小长方体的各顶点间的映射关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910575837.1A CN110276805A (zh) | 2019-06-28 | 2019-06-28 | 一种数据处理方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910575837.1A CN110276805A (zh) | 2019-06-28 | 2019-06-28 | 一种数据处理方法及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110276805A true CN110276805A (zh) | 2019-09-24 |
Family
ID=67962587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910575837.1A Pending CN110276805A (zh) | 2019-06-28 | 2019-06-28 | 一种数据处理方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110276805A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111259755A (zh) * | 2020-01-10 | 2020-06-09 | 北京百度网讯科技有限公司 | 数据关联方法、装置、设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101388114A (zh) * | 2008-09-03 | 2009-03-18 | 北京中星微电子有限公司 | 一种人体姿态估计的方法和系统 |
| CN103150544A (zh) * | 2011-08-30 | 2013-06-12 | 精工爱普生株式会社 | 用于对象姿态估计的方法和设备 |
| CN104952104A (zh) * | 2014-03-26 | 2015-09-30 | 联想(北京)有限公司 | 一种三维人体姿态估计方法和装置 |
| CN107953329A (zh) * | 2016-10-17 | 2018-04-24 | 中国科学院深圳先进技术研究院 | 物体识别和姿态估计方法、装置及机械臂抓取系统 |
| CN108345843A (zh) * | 2018-01-25 | 2018-07-31 | 电子科技大学 | 一种基于混合深度回归网络的头部姿态估计方法 |
| CN108555908A (zh) * | 2018-04-12 | 2018-09-21 | 同济大学 | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 |
| CN108648233A (zh) * | 2018-03-24 | 2018-10-12 | 北京工业大学 | 一种基于深度学习的目标识别与抓取定位方法 |
| CN109190485A (zh) * | 2018-07-31 | 2019-01-11 | 李明 | 数据处理方法、装置、计算机设备和存储介质 |
| CN109531584A (zh) * | 2019-01-31 | 2019-03-29 | 北京无线电测量研究所 | 一种基于深度学习的机械臂控制方法和装置 |
| CN109903332A (zh) * | 2019-01-08 | 2019-06-18 | 杭州电子科技大学 | 一种基于深度学习的目标姿态估计方法 |
-
2019
- 2019-06-28 CN CN201910575837.1A patent/CN110276805A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101388114A (zh) * | 2008-09-03 | 2009-03-18 | 北京中星微电子有限公司 | 一种人体姿态估计的方法和系统 |
| CN103150544A (zh) * | 2011-08-30 | 2013-06-12 | 精工爱普生株式会社 | 用于对象姿态估计的方法和设备 |
| CN104952104A (zh) * | 2014-03-26 | 2015-09-30 | 联想(北京)有限公司 | 一种三维人体姿态估计方法和装置 |
| CN107953329A (zh) * | 2016-10-17 | 2018-04-24 | 中国科学院深圳先进技术研究院 | 物体识别和姿态估计方法、装置及机械臂抓取系统 |
| CN108345843A (zh) * | 2018-01-25 | 2018-07-31 | 电子科技大学 | 一种基于混合深度回归网络的头部姿态估计方法 |
| CN108648233A (zh) * | 2018-03-24 | 2018-10-12 | 北京工业大学 | 一种基于深度学习的目标识别与抓取定位方法 |
| CN108555908A (zh) * | 2018-04-12 | 2018-09-21 | 同济大学 | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 |
| CN109190485A (zh) * | 2018-07-31 | 2019-01-11 | 李明 | 数据处理方法、装置、计算机设备和存储介质 |
| CN109903332A (zh) * | 2019-01-08 | 2019-06-18 | 杭州电子科技大学 | 一种基于深度学习的目标姿态估计方法 |
| CN109531584A (zh) * | 2019-01-31 | 2019-03-29 | 北京无线电测量研究所 | 一种基于深度学习的机械臂控制方法和装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111259755A (zh) * | 2020-01-10 | 2020-06-09 | 北京百度网讯科技有限公司 | 数据关联方法、装置、设备及存储介质 |
| CN111259755B (zh) * | 2020-01-10 | 2023-07-28 | 北京百度网讯科技有限公司 | 数据关联方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104463108B (zh) | 一种单目实时目标识别及位姿测量方法 | |
| CN110006343B (zh) | 物体几何参数的测量方法、装置和终端 | |
| CN110276317B (zh) | 一种物体尺寸检测方法、物体尺寸检测装置及移动终端 | |
| CN109910016A (zh) | 基于多自由度机械臂的视觉采集标定方法、装置及系统 | |
| CN102968180B (zh) | 基于头部方向的用户界面控制 | |
| CN109559371B (zh) | 一种用于三维重建的方法和装置 | |
| CN108403146A (zh) | 基于多传感器信息融合的三维超声成像方法及装置 | |
| CN112880687B (zh) | 一种室内定位方法、装置、设备和计算机可读存储介质 | |
| CN110568447A (zh) | 视觉定位的方法、装置及计算机可读介质 | |
| EP3551117A1 (en) | Image guided motion scaling for robot control | |
| CN107314778A (zh) | 一种相对姿态的标定方法、装置及系统 | |
| KR20130116910A (ko) | 운동파라미터 확정방법, 장치와 운동지원방법 | |
| CN108805987A (zh) | 基于深度学习的混合跟踪方法及装置 | |
| CN115516508A (zh) | 用于实时多模态图像对准的系统和方法 | |
| JP2015535980A (ja) | 特に装置に係る視覚ベースの位置決めに使用される画像処理方法 | |
| CN206990800U (zh) | 一种定位系统 | |
| ES2626301T3 (es) | Procedimiento y equipo de procesamiento de imágenes para determinar los parámetros de una cámara | |
| CN109508679A (zh) | 实现眼球三维视线跟踪的方法、装置、设备及存储介质 | |
| CN106570482B (zh) | 人体动作识别方法及装置 | |
| CN112509036B (zh) | 位姿估计网络训练及定位方法、装置、设备、存储介质 | |
| CN108875526A (zh) | 视线检测的方法、装置、系统及计算机存储介质 | |
| CN107300382A (zh) | 一种用于水下机器人的单目视觉定位方法 | |
| CN109213202A (zh) | 基于光学伺服的货物摆放方法、装置、设备和存储介质 | |
| CN109961471A (zh) | 一种图像中物体位置的标注方法、装置及电子设备 | |
| CN109955244A (zh) | 一种基于视觉伺服的抓取控制方法、装置和机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |