CN110555878A - 物体空间位置形态的确定方法、装置、存储介质及机器人 - Google Patents
物体空间位置形态的确定方法、装置、存储介质及机器人 Download PDFInfo
- Publication number
- CN110555878A CN110555878A CN201810549518.9A CN201810549518A CN110555878A CN 110555878 A CN110555878 A CN 110555878A CN 201810549518 A CN201810549518 A CN 201810549518A CN 110555878 A CN110555878 A CN 110555878A
- Authority
- CN
- China
- Prior art keywords
- detected
- point cloud
- determining
- cloud data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种物体空间位置形态的确定方法、装置、存储介质及机器人。该物体空间位置形态的确定方法包括：通过双目视觉装置获取待测物品和标准标记的双目视觉图像；对待测物品的双目视觉图像进行校正拟合，得到待测物品在世界坐标系下的深度图像，根据深度图像确定待测物品的点云数据图像；确定上表面点云数据以及上表面中心位置，作为待测物品的位置数据；并根据待测物品的上表面点云数据的拟合面，以及待测物品的上表面中心位置与待测物品的上表面点云数据边界位置的距离，确定待测物品的形态数据。上述技术方案，可以实现通过双目视觉装置获取待测物品的图像后，经过处理和分析，确定待测物品的空间位置和形态的效果。
Description
技术领域
本发明实施例涉及图像识别及图像处理技术领域，尤其涉及一种物体空间位置形态的确定方法、装置、存储介质及机器人。
背景技术
根据图像识别及图像处理手段，来对图像中的物体进行定位和形态的确定，已经成为影响电子科技发展的重要因素之一。
物体的空间位置，即在空间坐标下的具体位置，物体的空间形态，即物体以何种形态处在空间坐标位置处。如在工业生产中，工业机器人或者机器手臂对于一些标准件或者非标准件进行抓取以实现安装或者组装功能时，如果物品的空间位置形态没有被确定，而直接采用机械式的作业方法，很容易造成标准件或者非标准件的脱落，影响工业生产效率，甚至有时会对装配线或者工业机器人带来损害。在生活当中，例如无人机，智能机器人等，如果不能够自动确定待测物体的空间位置形态，就必须需要人为协助才能够实现对物品的承载以及运输等，如果失去人为协助，不仅不能够进行正常的工作，而且很难进行业务的拓展，影响电子科技事业的发展。因此，如何能够对空间物体的位置和形态进行确定，已经成为领域内亟待解决的技术难题。
发明内容
本发明实施例提供一种物体空间位置形态的确定方法、装置、存储介质及机器人，可以实现通过双目视觉装置获取待测物品的图像后，经过处理和分析，确定待测物品的空间位置和形态的效果。
第一方面，本发明实施例提供了一种物体空间位置形态的确定方法，该方法包括：
通过双目视觉装置获取待测物品和标准标记的双目视觉图像；其中，所述双目视觉装置布置在所述待测物品的上方；
根据所述标准标记与所述待测物品的位置关系，以及标准标记的双目视觉图像，对所述待测物品的双目视觉图像进行校正拟合，得到待测物品在世界坐标系下的深度图像，根据所述待测物品在世界坐标系下的深度图像确定所述待测物品的点云数据图像；
利用垂向空间统计方法确定所述待测物品的上表面点云数据；
根据所述待测物品的上表面点云数据确定所述待测物品的上表面中心位置，作为所述待测物品的位置数据；并根据所述待测物品的上表面点云数据的拟合面，以及所述待测物品的上表面中心位置与所述待测物品的上表面点云数据边界位置的距离，确定所述待测物品的形态数据。
进一步的，在确定所述待测物品的位置数据和所述待测物品的形态数据之后，所述方法还包括：
根据所述待测物品的位置数据和所述待测物品的形态数据，确定机器人操作臂的抓取位置和抓取姿态，以控制所述机器人操作臂对所述待测物品进行抓取。
进一步的，在所述通过双目视觉装置获取待测物品和标准标记的双目视觉图像前还包括：
在所述待测物品承载空间内选取一固定结构作为所述标准标记，或在所述待测物品承载空间内安装一标记作为所述标准标记，通过所述双目视觉装置与所述标准标记之间的位置关系，建立所述标准标记的坐标系与所述双目视觉装置的坐标系之间的关系。
进一步的，
所述根据所述标准标记与所述待测物品的位置关系，以及标准标记的双目视觉图像，对所述待测物品的双目视觉图像进行校正拟合，得到待测物品在世界坐标系下的深度图像，包括：
利用所述标准标记，确定双目视觉装置的位置；
根据所述双目视觉装置的位置与所述标准标记之间的位置关系，确定所述待测物品的双目视觉图像的世界坐标系校正参数；
按照所述待测物品的双目视觉图像的世界坐标系校正参数，将所述待测物品的双目视觉图像转换到世界坐标系下，再进行深度图像拟合，得到所述待测物品在世界坐标系下的深度图像。
进一步的，
所述根据所述标准标记与所述待测物品的位置关系，以及标准标记的双目视觉图像，对所述待测物品的双目视觉图像进行校正拟合，得到待测物品在世界坐标系下的深度图像，包括：
对所述标准标记的双目视觉图像和所述待测物品的双目视觉图像进行深度图像拟合，得到各自的初级深度图像；
根据所述双目视觉装置的位置与所述标准标记之间的位置关系，确定所述待测物品的初级深度图像的世界坐标系校正参数；
根据所述待测物品的初级深度图像的世界坐标系校正参数，将所述待测物品的初级深度图像进行世界坐标系校正，得到所述待测物品在世界坐标系下的深度图像。
进一步的，在根据所述待测物品在世界坐标系下的深度图像确定所述待测物品的点云数据图像之后，利用垂向空间统计方法确定所述待测物品的上表面点云数据之前，所述方法还包括：
根据所述待测物品的点云数据图像中点云数据的三色差异度，对背景点云数据进行滤除，得到前景点云数据图像；
相应的，利用垂向空间统计方法确定所述待测物品的上表面点云数据，包括：
利用垂向空间统计方法，从所述前景点云数据图像中确定所述待测物品的上表面点云数据。
进一步的，根据所述待测物品的点云数据图像中点云数据的三色差异度，对背景点云数据进行滤除，得到前景点云数据图像，包括：
采用如下公式确定所述点云数据图像中点云数据的三色差异度值：
T＝|Rpoint-Gpoint|-|Gpoint-Bpoint|；
其中，Rpoint表示点云数据中的RGB颜色中红色的数值；Gpoint表示点云数据中的RGB颜色中绿色的数值；Bpoint表示点云数据中的RGB颜色中蓝色的数值；
其中，T为三色差异度值，所述三色差异度值小于背景滤除阈值时，则确定对应的点云数据为背景点云数据，对所述背景点云数据进行滤除操作。
进一步的，利用垂向空间统计方法，从所述前景点云数据图像中确定所述待测物品的上表面点云数据，包括：
对所有前景点云数据的垂向数据进行统计分布；确定统计分布中每个垂向数据间隔中的前景点云数据个数；
确定所述前景点云数据个数最多的垂向数据间隔的中值；
将垂向数据分布在设定范围内的点云数据，作为所述待测物品的上表面点云数据；所述设定范围是由将所述垂向数据间隔的中值减去预设可控数值得到的第一数值、与将所述垂向数据间隔的中值加上预设可控数值得到的第二数值所形成的数值范围。
进一步的，所述预设可控数值采用如下方式确定：
统计所有前景点云数据图像的垂向数据，确定标准方差；
将所述标准方差的设定倍数作为预设可控数值。
进一步的，根据所述待测物品的上表面点云数据确定待测物品的上表面中心位置，作为所述待测物品的位置数据，包括：
根据所有所述待测物品的上表面点云数据的空间坐标的平均值，确定所述待测物品的上表面中心位置，作为所述待测物品的位置数据；
根据所述待测物品的上表面点云数据的拟合面，以及所述待测物品的上表面中心位置与所述待测物品的上表面点云数据边界位置的距离，确定形态数据，包括：
根据所述待测物品的上表面点云数据的空间坐标，进行平面拟合以确定所述待测物品的上表面；
确定所述待测物品的上表面的法向向量，根据所述法向向量确定所述待测物品在世界坐标系中沿X轴的扭转角度Rx，和沿Y轴的扭转角度Ry；
并且，
对待测物品的上表面点云数据在XOY面上进行投影；
在上表面中心位置的投影位置，与上表面点云数据边界位置的投影位置之间的距离中，确定最小值；
根据所述最小值所在方向确定所述待测物品沿Z轴的扭转角度Rz；
将所述Rx、Ry和Rz确定为所述待测物品的形态数据。
第二方面，本发明实施例还提供了一种物体空间位置形态的确定装置，该装置包括：
双目视觉图像获取模块，用于通过双目视觉装置获取待测物品和标准标记的双目视觉图像；其中，所述双目视觉装置布置在所述待测物品的上方；
点云数据图像确定模块，用于根据所述标准标记与所述待测物品的位置关系，以及标准标记的双目视觉图像，对所述待测物品的双目视觉图像进行校正拟合，得到待测物品在世界坐标系下的深度图像，根据所述待测物品在世界坐标系下的深度图像确定所述待测物品的点云数据图像；
上表面点云数据筛选模块，用于利用垂向空间统计方法确定所述待测物品的上表面点云数据；
位置数据及形态数据确定模块，用于根据所述待测物品的上表面点云数据确定所述待测物品的上表面中心位置，作为所述待测物品的位置数据；并根据所述待测物品的上表面点云数据的拟合面，以及所述待测物品的上表面中心位置与所述待测物品的上表面点云数据边界位置的距离，确定所述待测物品的形态数据。
第三方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所述的物体空间位置形态的确定方法。
第四方面，本发明实施例提供了一种双目视觉机器人，包括双目视觉装置、标准标记、存储器、处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-10中任一项所述的物体空间位置形态的确定方法。
本发明实施例所提供的技术方案，通过双目视觉装置获取待测物品和标准标记的双目视觉图像；其中，所述双目视觉装置布置在所述待测物品的上方；根据所述标准标记与所述待测物品的位置关系，以及标准标记的双目视觉图像，对所述待测物品的双目视觉图像进行校正拟合，得到待测物品在世界坐标系下的深度图像，根据所述待测物品在世界坐标系下的深度图像确定所述待测物品的点云数据图像；利用垂向空间统计方法确定所述待测物品的上表面点云数据；根据所述待测物品的上表面点云数据确定所述待测物品的上表面中心位置，作为所述待测物品的位置数据；并根据所述待测物品的上表面点云数据的拟合面，以及所述待测物品的上表面中心位置与所述待测物品的上表面点云数据边界位置的距离，确定所述待测物品的形态数据，可以实现通过双目视觉装置获取待测物品的图像后，经过处理和分析，确定待测物品的空间位置和形态的效果。
附图说明
图1是本发明实施例一提供的物体空间位置形态的确定方法的流程图；
图2是本发明实施例二提供的物体空间位置形态的确定方法的流程图；
图3是是本发明实施例二提供的点云数据统计分布示意图；
图4是本发明实施例三提供的物体空间位置形态的确定装置的结构示意图；
图5a为本发明实施例五所提供的双目视觉机器人示意图；
图5b为本发明实施例五所提供的双目视觉机器人示意图；
图5c为本发明实施例五所提供的双目视觉机器人示意图；
图6是本发明实施例二提供的物体空间形态数据中Rz的确定方法示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1是本发明实施例一提供的物体空间位置形态的确定方法的流程图，本实施例可适用对于待测物品进行定位和形态确定的情况，该方法可以由本发明实施例所提供的物体空间位置形态的确定装置来执行，该装置可以由软件和/或硬件的方式来实现，并可集成于双目视觉机器人中。
如图1所示，所述物体空间位置形态的确定方法包括：
S110、通过双目视觉装置获取待测物品和标准标记的双目视觉图像；其中，所述双目视觉装置布置在所述待测物品的上方。
其中，双目视觉装置可以用来获取固定范围内的待测物品的空间位置及形态，例如在生产、安装流水线，可以通过在操作台的正上方固定位置安装双目视觉装置，可以另双目视觉装置的中心位置与操作台的中心位置相对应，这样就可以确定通过双目视觉装置采集到的图像是正对着操作台中心的。还可以将其安装在不固定位置，如可以移动机器人的头部，生产、安装流水线的机器人操作臂上，这样可以使得双目视觉装置的设置更加灵活，但是相对于前者，这种方式在图像校正过程中会相对复杂一点。如果双目视觉装置的位置固定，可以对其得到的图像进行位置校正来得到待测物品在世界坐标系中的位置，而对于可移动位置的双目视觉装置来说，必须要在被采集的双目视觉图像中含有标准标记，才能够确定物体在世界坐标系中的位置，或者相对机器人自身或者机器人机械手臂的相对位置。
在本实施例中，可选的，在所述通过双目视觉装置获取待测物品和标准标记的双目视觉图像前还包括：在所述待测物品承载空间内选取一固定结构作为所述标准标记，或在所述待测物品承载空间内安装一标记作为所述标准标记，通过所述双目视觉装置与所述标准标记之间的位置关系，建立所述标准标记的坐标系与所述双目视觉装置的坐标系之间的关系。这样设置的好处是可以根据固定的或者预先设定的标准标记对图像进行校正拟合。
其中，标准标记是设置在固定位置，在双目视觉图像中对双目视觉图像进行校准的标记。如可以是一个交叉指向正北和正东的箭头。
所述双目视觉装置布置在所述待测物品的上方，这样设置是为了能够得到待测物品上表面的图像，因为在通过机器人或者机器人操作臂来抓取一些物品时，往往是通过从上方按照待测物品的形态来确定抓取角度进行抓取。如果机器人可以实现通过横向抓取的方式来抓取物品的话，也可以通过获取待测物品的前表面的位置和形态来确定。
S120、根据所述标准标记与所述待测物品的位置关系，以及标准标记的双目视觉图像，对所述待测物品的双目视觉图像进行校正拟合，得到待测物品在世界坐标系下的深度图像，根据所述待测物品在世界坐标系下的深度图像确定所述待测物品的点云数据图像。
其中，标准标记是设置在固定位置，在双目视觉图像中对双目视觉图像进行校准的标记。如可以是一个交叉指向正北和正东的箭头。深度图像可以是每个像素点带有深度信息的图像，在本实施例中，经过校正的深度图像可以是由上至下的深度信息，可以以双目视觉装置所在的Z轴位置作为起点，深度信息可以是构成图像的每个像素点与双目视觉装置的中心所在的平面的垂向距离(Z轴距离)。点云数据图像可以是将每个像素点以点云的形式显示出来，点云数据图像可以通过深度图像按照特定的算法转变而成。
在本实施例中，可选的，所述根据所述标准标记与所述待测物品的位置关系，以及标准标记的双目视觉图像，对所述待测物品的双目视觉图像进行校正拟合，得到待测物品在世界坐标系下的深度图像，包括：利用所述标准标记，确定双目视觉装置的位置；根据所述双目视觉装置的位置与所述标准标记之间的位置关系，确定所述待测物品的双目视觉图像的世界坐标系校正参数；按照所述待测物品的双目视觉图像的世界坐标系校正参数，将所述待测物品的双目视觉图像转换到世界坐标系下，再进行深度图像拟合，得到所述待测物品在世界坐标系下的深度图像。
在本实施例中，可选的，所述根据所述标准标记与所述待测物品的位置关系，以及标准标记的双目视觉图像，对所述待测物品的双目视觉图像进行校正拟合，得到待测物品在世界坐标系下的深度图像，包括：对所述标准标记的双目视觉图像和所述待测物品的双目视觉图像进行深度图像拟合，得到各自的初级深度图像；根据所述双目视觉装置的位置与所述标准标记之间的位置关系，确定所述待测物品的初级深度图像的世界坐标系校正参数；根据所述待测物品的初级深度图像的世界坐标系校正参数，将所述待测物品的初级深度图像进行世界坐标系校正，得到所述待测物品在世界坐标系下的深度图像。
上述两种方式分别阐述了先将双目视觉装置的两个摄像头获取的图片先进行世界坐标系的校正，再进行拟合的方法，和先进行拟合再进行世界坐标系校正的方法。下面分别介绍世界坐标系的校正和图像拟合的过程：
由于原始的双目图像分别通过左眼相机和右眼相机独立拍摄，由于相机镜头位置不同的关系，两个相机存在一定的畸变。需要对视场范围内所有的像素进行拟合，并根据实测数据将拟合的补偿量赋予相机程序。
此外，还包括，确定空间坐标系中物体点同它在图像平面上像点之间的对应关系。优选的，将左眼相机和右眼相机内部参数调节一致，内部参数包括：相机内部几何、光学参数，外部参数包括：左眼、右眼相机坐标系与世界坐标系的转换。
此处的拟合是用来修正镜头所产生的畸变的。在原始图像中可以看到镜头所带来的这种畸变。例如，场景中的一条直线在原始的左、右眼图像中会变成一条曲线，这种效果在左、右眼图像的边角处尤为明显。拟合就是为了修正这种类型的畸变。
在图像处理过程中，根据物体图像的进行边界提取。可采用的算法包括：拉普拉斯-高斯滤波，边界的特征是识别物体的一个明显和主要的特征，为后续算法奠定基础。此外还包括，在图像预处理和特征提取，预处理：主要包括图像对比度的增强、随机噪声的去除、低通滤波和图像的增强、伪彩色处理等；特征提取：常用的匹配特征，主要有点状特征、线状特征和区域特征等，进行提取。其中，低通滤波为了拟合一幅图像，事先对其进行平滑是非常重要的。所以如果要拟合一幅图像，事先将低通滤波器打开左、右眼图像是很好的方法。当然不使用低通滤波器同样可以校正图像，但校正后的图像可能会出现混淆的现象。如果要提高处理速度，可以将低通滤波器关掉。
边缘检测为任选特性，它使用亮度的变化来匹配特征。当系统中的相机具有自动增益功能时，这项功能是非常有用的。如果每个相机的自动增益的变化是不一致的，那么图像间的绝对亮度是不一致的，而虽然绝对亮度是不一致的，但亮度的变化却是一个常数。因此边缘检测适用于光照有很大变化的环境当中。虽然边缘检测可以改善物品边缘的识别结果，但这相当于又引入了另外的处理步骤，因此要权衡结果的改善状况和速度之间的关系来使用这项功能。
图像处理过程中，根据双目视觉立体成像原理，其中双目立体视觉三维测量是基于视差原理。
基线距B＝两摄像机的投影中心连线的距离；相机焦距为f。设两摄像机在同一时刻观看空间物体的同一特征点在空间坐标系下为P(xc,yc,zc)，分别在“左眼”和“右眼”上获取了点P的图像，它们的图像坐标在像坐标下分别为P左＝(X左,Y左)和P右＝(X右t,Y右)。现两摄像机的图像在同一个平面上，则特征点P的图像坐标Y坐标相同，即Y左＝Y右＝Y，则由三角几何关系得到：
则视差为：D视差＝X左-X右。由此可计算出特征点P在相机坐标系下的三维坐标为：
因此，左眼相机像面上的任意一点只要能在右眼相机像面上找到对应的匹配点，就可以确定出该点的三维坐标。这种方法是完全的点对点运算，像面上所有点只要存在相应的匹配点，就可以参与上述运算，从而获取其对应的三维坐标。
此外在进行图像立体匹配时，根据对所选特征的计算，建立特征之间的对应关系，将同一个空间物理点在不同图像中的映像点对应起来。立体匹配有三个基本的步骤组成：
1)从立体图像对中的一幅图像如左图上选择与实际物理结构相应的图像特征；
2)在另一幅图像如右图中确定出同一物理结构的对应图像特征；
3)确定这两个特征之间的相对位置，得到视差。
其中的步骤2)是实现匹配的关键。
深度确定通过立体匹配得到视差图像之后，便可以确定深度图像，并恢复场景3D信息。立体匹配建立相关性库使用绝对相关偏差和的方法来建立图像间的相关。这种方法的原理如下：
对于图像中的中每一个像素在参照图像中，按照给定的正方形尺寸选择一个邻域，将这个邻域沿着同一行与另一幅图像中的一系列邻域相比较找到最佳的匹配结束。使用绝对方差相关性计算：
其中：dmin和dmax是最小和最大视差(disparity)；m是模板尺寸(mask size)；I左和I右是左边和右边的图像。
图像处理过程中，通过物体双目拟合后图像的进行计算，根据双目视差原理公式和绝对相关偏差和的方法来建立图像间的相关性计算深度，形成深度图或空间点云数据。
S130、利用垂向空间统计方法确定所述待测物品的上表面点云数据。
其中，在得到点云数据图像后，可以确定每个点的纵向(Z轴)数据，根据对纵向数据进行统计，既可以得到当前点云图像中各个高度范围内的点云个数。其中，如果背景为一个平面，如操作台等，则在背景的纵向数据内，点云个数可以是最多的，而且在所有的点云数据中，背景的点云数据的Z轴数据也是最大或者最小的。通过这种统计可以滤除掉背景点云数据，在前景点云数据中通过统计某个范围内点云数据的个数，即可以确定为待测物品的上表面的点云数据。如果上表面水平，则上表面的点云数据范围相对狭窄，如果上表面倾斜，则上表面的点云数据范围相对宽泛。
S140、根据所述待测物品的上表面点云数据确定所述待测物品的上表面中心位置，作为所述待测物品的位置数据；并根据所述待测物品的上表面点云数据的拟合面，以及所述待测物品的上表面中心位置与所述待测物品的上表面点云数据边界位置的距离，确定所述待测物品的形态数据。
其中，上表面中心位置可以通过标准标记确定的世界坐标系来确定，如(X，Y，Z)。如，可以根据上表面的点云数据在XOY面上的投影的几何形状的中心位置来确定上表面的中心位置。
根据所述上表面点云数据的拟合面，以及上表面中心位置与上表面点云数据边界位置的距离，确定形态数据。形态数据可以通过确定待测物品相对X轴、Y轴和Z轴的转角Rx、Ry和Rz三个量来表示。在确定上表面的拟合面之后，其中拟合面可以是平面，也可以是曲面。在确定上表面的法向向量后，可以根据上表面的法向向量与XOZ面的夹角确定Ry，与YOZ面的夹角确定Rx。再通过上表面中心位置与上表面边界点中距离最近的点形成的向量与XOY面的夹角确定Rz。
本发明实施例所提供的技术方案，通过双目视觉装置获取待测物品和标准标记的双目视觉图像；其中，所述双目视觉装置布置在所述待测物品的上方；根据所述标准标记与所述待测物品的位置关系，以及标准标记的双目视觉图像，对所述待测物品的双目视觉图像进行校正拟合，得到待测物品在世界坐标系下的深度图像，根据所述待测物品在世界坐标系下的深度图像确定所述待测物品的点云数据图像；利用垂向空间统计方法确定所述待测物品的上表面点云数据；根据所述待测物品的上表面点云数据确定所述待测物品的上表面中心位置，作为所述待测物品的位置数据；并根据所述待测物品的上表面点云数据的拟合面，以及所述待测物品的上表面中心位置与所述待测物品的上表面点云数据边界位置的距离，确定所述待测物品的形态数据，可以实现通过双目视觉装置获取待测物品的图像后，经过处理和分析，确定待测物品的空间位置和形态的效果。
在上述技术方案的基础上，可选的，在确定所述位置数据和所述形态数据之后，所述方法还包括：根据所述位置数据和所述形态数据，确定机器人操作臂的抓取位置和抓取姿态，以控制所述机器人操作臂对所述待测物品进行抓取。
其中，机器人操作臂的位置可以校正到与待测物品相同的世界坐标系中，从而可以确定操作臂的运动距离、运动方向甚至运动轨迹，当操作臂运动到待测物品位置时，可以控制操作臂的夹爪以与待测物品想适应的形态抓取待测物品。这样设置的好处是可以确定对于待测物品的位置识别后能够顺利的抓取物品，而且抓取更加紧致，避免抓取脱落等事故出现。
实施例二
图2是本发明实施例二提供的物体空间位置形态的确定方法的流程图。本实施例在上述实施例的基础上，优化为：在根据所述待测物品在世界坐标系下的深度图像确定所述待测物品的点云数据图像之后，利用垂向空间统计方法确定所述待测物品的上表面点云数据之前，所述方法还包括：根据所述待测物品的点云数据图像中点云数据的三色差异度，对背景点云数据进行滤除，得到前景点云数据图像；相应的，利用垂向空间统计方法确定所述待测物品的上表面点云数据，包括：利用垂向空间统计方法，从所述前景点云数据图像中确定所述待测物品的上表面点云数据。
如图2所示，所述物体空间位置形态的确定方法包括：
S210、通过双目视觉装置获取待测物品和标准标记的双目视觉图像；其中，所述双目视觉装置布置在所述待测物品的上方。
S220、根据所述标准标记与所述待测物品的位置关系，以及标准标记的双目视觉图像，对所述待测物品的双目视觉图像进行校正拟合，得到待测物品在世界坐标系下的深度图像，根据所述待测物品在世界坐标系下的深度图像确定所述待测物品的点云数据图像。
S230、根据所述待测物品的点云数据图像中点云数据的三色差异度，对背景点云数据进行滤除，得到前景点云数据图像。
其中，三色差异度可以是点云数据图像中每个数据的像素点颜色中红、绿、蓝三原色的数值的相互差异，这样设置主要是可以对于颜色或者接近的背景点云数据进行滤除，就可以得到只有前景点云数据的点云数据图像。
在本实施例中，可选的，根据所述点云数据图像中点云数据的三色差异度，对背景点云数据进行滤除，得到前景点云数据图像，包括：
采用如下公式确定所述点云数据图像中点云数据的三色差异度值：
T＝|Rpoint-Gpoint|-|Gpoint-Bpoint|；
其中，Rpoint表示点云数据中的RGB颜色中红色的数值；Gpoint表示点云数据中的RGB颜色中绿色的数值；Bpoint表示点云数据中的RGB颜色中蓝色的数值；其中，T为三色差异度值，所述三色差异度值小于背景滤除阈值时，则确定对应的点云数据为背景点云数据，进行滤除操作。
这样设置有利于对背景以及其他反光或者个别跳变的噪声点的点云数据进行滤除，提高了对于上表面点云数据确定的准确性。
S240、利用垂向空间统计方法，从所述前景点云数据图像中确定所述待测物品的上表面点云数据。
在本实施例中，可选的，利用垂向空间统计方法确定所述待测物品的上表面点云数据，包括：对所有前景点云数据的垂向数据进行统计分布；确定每个垂向数据间隔中的前景点云数据个数；确定前景点云数据个数最多的垂向数据间隔的中值；将垂向数据分布在设定范围内的点云数据，作为所述待测物品的上表面点云数据；所述设定范围是由将所述垂向数据间隔的中值减去预设可控数值得到的第一数值、与将所述垂向数据间隔的中值加上预设可控数值得到的第二数值所形成的数值范围。
图3是是本发明实施例二提供的点云数据统计分布示意图。如图3所示，横轴为点云数据的纵向数据，可以理解为高度，单位为米，纵坐标为每个数据间隔中点云数据的个数，表示为在当前的纵向数据间隔中点云数据的个数。如，数据间隔采用0.02。在图中，0.414-0.416中的点云个数最多，则可以确定上表面点云数据为以0.415为中心的一定范围内的点云数据。
在本实施例中，可选的，所述预设可控数值采用如下方式确定：统计所有前景点云数据图像的垂向数据，确定标准方差；将所述标准方差的设定倍数作为预设可控数值。
识别目标物体的上平面，所取目标物体有色点，根据Z向垂向进行统计分布，使用点云数据的μ(μ为统计平均值Mean)和统计高频峰值(Peak)所在数值。如图3所示，同时采用σ(σ为标准方差Standard Deviation)控制所选择的范围，实际中在1σ-6σ之间的范围内的点作为目标物体的上平面是典型数据分布效果，如图3所示，粗线代表中值μ，虚线区间代表+/-σ标准方差。并认为这些点构成了目标物体的主成像面或上表面。同时，通过这一方法来移除反光点、离群点、阴影点的点云数据造成的偏差。
S250、根据所述待测物品的上表面点云数据确定所述待测物品的上表面中心位置，作为所述待测物品的位置数据；并根据所述待测物品的上表面点云数据的拟合面，以及所述待测物品的上表面中心位置与所述待测物品的上表面点云数据边界位置的距离，确定所述待测物品的形态数据。
本实施例在上述实施例的基础上，提供了对于前景点云数据的确定方法，通过这种方法，可以移除反光点、离群点、阴影点的点云数据造成的干扰，提高了确定待测物品的上表面点云数据的准确性。
在上述各技术方案的基础上，可选的，根据所述上表面点云数据确定待测物品的上表面中心位置，作为位置数据，包括：根据所有所述上表面点云数据的空间坐标的平均值，确定所述待测物品的上表面中心位置，作为位置数据；根据所述上表面点云数据的拟合面，以及上表面中心位置与上表面点云数据边界位置的距离，确定形态数据，包括：根据所述上表面点云数据的空间坐标，进行平面拟合以确定所述待测物品的上表面；确定所述待测物品的上表面的法向向量，根据所述法向向量确定所述待测物品在世界坐标系中沿X轴的扭转角度Rx，和沿Y轴的扭转角度Ry；并且，对待测物品的上表面点云数据在XOY面上进行投影；在上表面中心位置的投影位置，与上表面点云数据边界位置的投影位置之间的距离中，确定最小值；根据所述最小值所在方向确定所述待测物品沿Z轴的扭转角度Rz；将所述Rx、Ry和Rz确定为所述待测物品的形态数据。这样设置的好处是可以提高对于待测物品空间六参数的确定过程的准确性和简便性，提高本发明实施例所提供的技术方案的准确性。
图6是本发明实施例二提供的物体空间形态数据中Rz的确定方法示意图。如图6所示，在确定待测物品上边面点云数据之后，可以在XOY面上进行投影，其中Z轴与O点重合，未在图中示出，将三维点转换到二维平面中。可以以原来确定的中心点作为投影后的中心点，在确定中心点后，提取该集合中所有的外围点构成一个凸多边形(Convex hull 2D)，构成凸多边形的顶点标记为边界点(如图，仅部分进行了标记)。通过中心点可以和相邻的两个多边形顶点构成三角形，任意相邻的两个顶点构成一个线段。如图6中，H4就是中心点与两个边界点所形成的三角形中，中心点到该部分边界的高度，图中示出了H1、H2、H3、H4和H5五个高度值，其中H4是最小值，H3是最大值。
在任意一个两个顶点构成一个线段中找到，中心点到该线段(Segment)的最短距离(H4)，即上表面点云所围的多边形中，最短边距离为垂足。在知道了上表面中心到边界多边形最短的距离和方向后，将H4向量化，得到向量H4与X轴或者与Y轴形成的角度，即为该待测物品绕着Z轴旋转你的角度Rz，所以向量H4能够表示上表面中心点的Rz方向。根据目标物体的上表面中心点，取中心点距离边界多边形最短的向量(中心距离边界线段的最短距离点)。根据最短边的方向同XOZ平面(或YOZ平面)夹角定位，确定目标物体的Rz的夹角。
实施例三
图4是本发明实施例三提供的物体空间位置形态的确定装置的结构示意图。如图4所示，所述物体空间位置形态的确定装置，包括：
双目视觉图像获取模块410，用于通过双目视觉装置获取待测物品和标准标记的双目视觉图像；其中，所述双目视觉装置布置在所述待测物品的上方；
点云数据图像确定模块420，用于根据所述标准标记与所述待测物品的位置关系，以及标准标记的双目视觉图像，对所述待测物品的双目视觉图像进行校正拟合，得到待测物品在世界坐标系下的深度图像，根据所述待测物品在世界坐标系下的深度图像确定所述待测物品的点云数据图像；
上表面点云数据筛选模块430，用于利用垂向空间统计方法确定所述待测物品的上表面点云数据；
位置数据及形态数据确定模块440，用于根据所述待测物品的上表面点云数据确定所述待测物品的上表面中心位置，作为所述待测物品的位置数据；并根据所述待测物品的上表面点云数据的拟合面，以及所述待测物品的上表面中心位置与所述待测物品的上表面点云数据边界位置的距离，确定所述待测物品的形态数据。
本发明实施例所提供的技术方案，通过双目视觉装置获取待测物品和标准标记的双目视觉图像；其中，所述双目视觉装置布置在所述待测物品的上方；根据所述标准标记与所述待测物品的位置关系，以及标准标记的双目视觉图像，对所述待测物品的双目视觉图像进行校正拟合，得到待测物品在世界坐标系下的深度图像，根据所述待测物品在世界坐标系下的深度图像确定所述待测物品的点云数据图像；利用垂向空间统计方法确定所述待测物品的上表面点云数据；根据所述待测物品的上表面点云数据确定所述待测物品的上表面中心位置，作为所述待测物品的位置数据；并根据所述待测物品的上表面点云数据的拟合面，以及所述待测物品的上表面中心位置与所述待测物品的上表面点云数据边界位置的距离，确定所述待测物品的形态数据，可以实现通过双目视觉装置获取待测物品的图像后，经过处理和分析，确定待测物品的空间位置和形态的效果。
上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
实施例四
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种物体空间位置形态的确定方法，该方法包括：
通过双目视觉装置获取待测物品和标准标记的双目视觉图像；其中，所述双目视觉装置布置在所述待测物品的上方；
根据所述标准标记与所述待测物品的位置关系，以及标准标记的双目视觉图像，对所述待测物品的双目视觉图像进行校正拟合，得到待测物品在世界坐标系下的深度图像，根据所述待测物品在世界坐标系下的深度图像确定所述待测物品的点云数据图像；
利用垂向空间统计方法确定所述待测物品的上表面点云数据；
根据所述待测物品的上表面点云数据确定所述待测物品的上表面中心位置，作为所述待测物品的位置数据；并根据所述待测物品的上表面点云数据的拟合面，以及所述待测物品的上表面中心位置与所述待测物品的上表面点云数据边界位置的距离，确定所述待测物品的形态数据。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的物体空间位置形态的确定操作，还可以执行本发明任意实施例所提供的物体空间位置形态的确定方法中的相关操作。
实施例五
本发明实施例提供了一种双目视觉机器人，包括双目视觉装置，操作台，操作台上的标准标记、机器人操作臂，存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例中任一项的物体空间位置形态的确定方法。
图5a为本发明实施例五所提供的双目视觉机器人示意图。如图5a所示，双目视觉装置10，操作台20，操作台上的标准标记30、机器人操作臂50，存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例中任一项的物体空间位置形态的确定方法。
图5b为本发明实施例五所提供的双目视觉机器人示意图。如图5b所示，相对于上面所述的技术方案而言，将双目视觉装置10设置在卡爪上可以使双目视觉图像获取更加灵活，可以在待测物品较多时，或者经过一侧计算后计算准确率不符合标准或者噪声率过高时，通过控制卡爪的移动，可以从另一个角度进行对待测物品空间六参数的定位。还可以通过多个位置得到的空间六参数结果进行相互比较和确认，从而提高本发明实施例所提供的技术方案对于待测物品的空间位置及形态的确定结果的准确性。
图5c为本发明实施例五所提供的双目视觉机器人示意图。如图5c所示，相对于上述多个技术方案，将双目视觉装置设置在机器人操作臂的机身上，这样可以避免第一种方案中专门为双目视觉装置提供安装支架的情形，同时可以在机器人操作臂移动到另一个操作台时，通过双目视觉装置进行双目视觉图像的获取，无需针对每个操作台都安装双目视觉装置，达到了节省系统成本的效果。
其中，可以将双目视觉装置设置在机器人操作臂的卡爪上，还可以设置在机器人操作臂的固定位置上，只要能够获取到待测物品的上表面的图像以及操作台正面的图像就可以。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (13)
1.一种物体空间位置形态的确定方法，其特征在于，包括：
通过双目视觉装置获取待测物品和标准标记的双目视觉图像；其中，所述双目视觉装置布置在所述待测物品的上方；
根据所述标准标记与所述待测物品的位置关系，以及标准标记的双目视觉图像，对所述待测物品的双目视觉图像进行校正拟合，得到待测物品在世界坐标系下的深度图像，根据所述待测物品在世界坐标系下的深度图像确定所述待测物品的点云数据图像；
利用垂向空间统计方法确定所述待测物品的上表面点云数据；
根据所述待测物品的上表面点云数据确定所述待测物品的上表面中心位置，作为所述待测物品的位置数据；并根据所述待测物品的上表面点云数据的拟合面，以及所述待测物品的上表面中心位置与所述待测物品的上表面点云数据边界位置的距离，确定所述待测物品的形态数据。
2.根据权利要求1所述的物体空间位置形态的确定方法，其特征在于，在确定所述待测物品的位置数据和所述待测物品的形态数据之后，所述方法还包括：
根据所述待测物品的位置数据和所述待测物品的形态数据，确定机器人操作臂的抓取位置和抓取姿态，以控制所述机器人操作臂对所述待测物品进行抓取。
3.根据权利要求1所述的物体空间位置形态的确定方法，其特征在于，在所述通过双目视觉装置获取待测物品和标准标记的双目视觉图像前还包括：
在所述待测物品承载空间内选取一固定结构作为所述标准标记，或在所述待测物品承载空间内安装一标记作为所述标准标记，通过所述双目视觉装置与所述标准标记之间的位置关系，建立所述标准标记的坐标系与所述双目视觉装置的坐标系之间的关系。
4.根据权利要求1所述的物体空间位置形态的确定方法，其特征在于，
所述根据所述标准标记与所述待测物品的位置关系，以及标准标记的双目视觉图像，对所述待测物品的双目视觉图像进行校正拟合，得到待测物品在世界坐标系下的深度图像，包括：
利用所述标准标记，确定双目视觉装置的位置；
根据所述双目视觉装置的位置与所述标准标记之间的位置关系，确定所述待测物品的双目视觉图像的世界坐标系校正参数；
按照所述待测物品的双目视觉图像的世界坐标系校正参数，将所述待测物品的双目视觉图像转换到世界坐标系下，再进行深度图像拟合，得到所述待测物品在世界坐标系下的深度图像。
5.根据权利要求1所述的物体空间位置形态的确定方法，其特征在于，
所述根据所述标准标记与所述待测物品的位置关系，以及标准标记的双目视觉图像，对所述待测物品的双目视觉图像进行校正拟合，得到待测物品在世界坐标系下的深度图像，包括：
对所述标准标记的双目视觉图像和所述待测物品的双目视觉图像进行深度图像拟合，得到各自的初级深度图像；
根据所述双目视觉装置的位置与所述标准标记之间的位置关系，确定所述待测物品的初级深度图像的世界坐标系校正参数；
根据所述待测物品的初级深度图像的世界坐标系校正参数，将所述待测物品的初级深度图像进行世界坐标系校正，得到所述待测物品在世界坐标系下的深度图像。
6.根据权利要求1所述的物体空间位置形态的确定方法，其特征在于，在根据所述待测物品在世界坐标系下的深度图像确定所述待测物品的点云数据图像之后，利用垂向空间统计方法确定所述待测物品的上表面点云数据之前，所述方法还包括：
根据所述待测物品的点云数据图像中点云数据的三色差异度，对背景点云数据进行滤除，得到前景点云数据图像；
相应的，利用垂向空间统计方法确定所述待测物品的上表面点云数据，包括：
利用垂向空间统计方法，从所述前景点云数据图像中确定所述待测物品的上表面点云数据。
7.根据权利要求6所述的物体空间位置形态的确定方法，其特征在于，根据所述待测物品的点云数据图像中点云数据的三色差异度，对背景点云数据进行滤除，得到前景点云数据图像，包括：
采用如下公式确定所述点云数据图像中点云数据的三色差异度值：
T＝|Rpoint-Gpoint|-|Gpoint-Bpoint|；
其中，Rpoint表示点云数据中的RGB颜色中红色的数值；Gpoint表示点云数据中的RGB颜色中绿色的数值；Bpoint表示点云数据中的RGB颜色中蓝色的数值；
其中，T为三色差异度值，所述三色差异度值小于背景滤除阈值时，则确定对应的点云数据为背景点云数据，对所述背景点云数据进行滤除操作。
8.根据权利要求6所述的物体空间位置形态的确定方法，其特征在于，利用垂向空间统计方法，从所述前景点云数据图像中确定所述待测物品的上表面点云数据，包括：
对所有前景点云数据的垂向数据进行统计分布；确定统计分布中每个垂向数据间隔中的前景点云数据个数；
确定所述前景点云数据个数最多的垂向数据间隔的中值；
将垂向数据分布在设定范围内的点云数据，作为所述待测物品的上表面点云数据；所述设定范围是由将所述垂向数据间隔的中值减去预设可控数值得到的第一数值、与将所述垂向数据间隔的中值加上预设可控数值得到的第二数值所形成的数值范围。
9.根据权利要求8所述的物体空间位置形态的确定方法，其特征在于，所述预设可控数值采用如下方式确定：
统计所有前景点云数据图像的垂向数据，确定标准方差；
将所述标准方差的设定倍数作为预设可控数值。
10.根据权利要求1所述的物体空间位置形态的确定方法，其特征在于，根据所述待测物品的上表面点云数据确定待测物品的上表面中心位置，作为所述待测物品的位置数据，包括：
根据所有所述待测物品的上表面点云数据的空间坐标的平均值，确定所述待测物品的上表面中心位置，作为所述待测物品的位置数据；
根据所述待测物品的上表面点云数据的拟合面，以及所述待测物品的上表面中心位置与所述待测物品的上表面点云数据边界位置的距离，确定形态数据，包括：
根据所述待测物品的上表面点云数据的空间坐标，进行平面拟合以确定所述待测物品的上表面；
确定所述待测物品的上表面的法向向量，根据所述法向向量确定所述待测物品在世界坐标系中沿X轴的扭转角度Rx，和沿Y轴的扭转角度Ry；
并且，
对待测物品的上表面点云数据在XOY面上进行投影；
在上表面中心位置的投影位置，与上表面点云数据边界位置的投影位置之间的距离中，确定最小值；
根据所述最小值所在方向确定所述待测物品沿Z轴的扭转角度Rz；
将所述Rx、Ry和Rz确定为所述待测物品的形态数据。
11.一种物体空间位置形态的确定装置，其特征在于，包括：
双目视觉图像获取模块，用于通过双目视觉装置获取待测物品和标准标记的双目视觉图像；其中，所述双目视觉装置布置在所述待测物品的上方；
点云数据图像确定模块，用于根据所述标准标记与所述待测物品的位置关系，以及标准标记的双目视觉图像，对所述待测物品的双目视觉图像进行校正拟合，得到待测物品在世界坐标系下的深度图像，根据所述待测物品在世界坐标系下的深度图像确定所述待测物品的点云数据图像；
上表面点云数据筛选模块，用于利用垂向空间统计方法确定所述待测物品的上表面点云数据；
位置数据及形态数据确定模块，用于根据所述待测物品的上表面点云数据确定所述待测物品的上表面中心位置，作为所述待测物品的位置数据；并根据所述待测物品的上表面点云数据的拟合面，以及所述待测物品的上表面中心位置与所述待测物品的上表面点云数据边界位置的距离，确定所述待测物品的形态数据。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一项所述的物体空间位置形态的确定方法。
13.一种双目视觉机器人，其特征在于，包括双目视觉装置、标准标记、机器人操作臂、存储器、处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-10中任一项所述的物体空间位置形态的确定方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810549518.9A CN110555878B (zh) | 2018-05-31 | 2018-05-31 | 物体空间位置形态的确定方法、装置、存储介质及机器人 |
| PCT/CN2019/089635 WO2019228523A1 (zh) | 2018-05-31 | 2019-05-31 | 物体空间位置形态的确定方法、装置、存储介质及机器人 |
| TW108119050A TW202004671A (zh) | 2018-05-31 | 2019-05-31 | 物體空間位置形態的確定方法及裝置、儲存介質及機器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810549518.9A CN110555878B (zh) | 2018-05-31 | 2018-05-31 | 物体空间位置形态的确定方法、装置、存储介质及机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110555878A true CN110555878A (zh) | 2019-12-10 |
| CN110555878B CN110555878B (zh) | 2021-04-13 |
Family
ID=68697857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810549518.9A Active CN110555878B (zh) | 2018-05-31 | 2018-05-31 | 物体空间位置形态的确定方法、装置、存储介质及机器人 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN110555878B (zh) |
| TW (1) | TW202004671A (zh) |
| WO (1) | WO2019228523A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113146625A (zh) * | 2021-03-28 | 2021-07-23 | 苏州氢旺芯智能科技有限公司 | 双目视觉物料三维空间检测方法 |
| WO2021185036A1 (zh) * | 2020-03-18 | 2021-09-23 | 广州极飞科技有限公司 | 点云数据的生成及实时显示方法、装置、设备及介质 |
| US11232315B2 (en) | 2020-04-28 | 2022-01-25 | NextVPU (Shanghai) Co., Ltd. | Image depth determining method and living body identification method, circuit, device, and medium |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110874854B (zh) * | 2020-01-19 | 2020-06-23 | 立得空间信息技术股份有限公司 | 一种基于小基线条件下的相机双目摄影测量方法 |
| CN111696162B (zh) * | 2020-06-11 | 2022-02-22 | 中国科学院地理科学与资源研究所 | 一种双目立体视觉精细地形测量系统及方法 |
| CN111993420A (zh) * | 2020-08-10 | 2020-11-27 | 广州瑞松北斗汽车装备有限公司 | 一种固定式双目视觉3d引导上件系统 |
| CN112819770B (zh) * | 2021-01-26 | 2022-11-22 | 中国人民解放军陆军军医大学第一附属医院 | 碘对比剂过敏监测方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103959012A (zh) * | 2011-12-06 | 2014-07-30 | 赫克斯冈技术中心 | 6自由度位置和取向确定 |
| CN104317391A (zh) * | 2014-09-24 | 2015-01-28 | 华中科技大学 | 一种基于立体视觉的三维手掌姿态识别交互方法和系统 |
| CN107590832A (zh) * | 2017-09-29 | 2018-01-16 | 西北工业大学 | 基于自然特征的物理对象追踪定位方法 |
| US9895131B2 (en) * | 2015-10-13 | 2018-02-20 | Siemens Healthcare Gmbh | Method and system of scanner automation for X-ray tube with 3D camera |
| CN108010085A (zh) * | 2017-11-30 | 2018-05-08 | 西南科技大学 | 基于双目可见光相机与热红外相机的目标识别方法 |
-
2018
- 2018-05-31 CN CN201810549518.9A patent/CN110555878B/zh active Active
-
2019
- 2019-05-31 WO PCT/CN2019/089635 patent/WO2019228523A1/zh active Application Filing
- 2019-05-31 TW TW108119050A patent/TW202004671A/zh unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103959012A (zh) * | 2011-12-06 | 2014-07-30 | 赫克斯冈技术中心 | 6自由度位置和取向确定 |
| CN104317391A (zh) * | 2014-09-24 | 2015-01-28 | 华中科技大学 | 一种基于立体视觉的三维手掌姿态识别交互方法和系统 |
| US9895131B2 (en) * | 2015-10-13 | 2018-02-20 | Siemens Healthcare Gmbh | Method and system of scanner automation for X-ray tube with 3D camera |
| CN107590832A (zh) * | 2017-09-29 | 2018-01-16 | 西北工业大学 | 基于自然特征的物理对象追踪定位方法 |
| CN108010085A (zh) * | 2017-11-30 | 2018-05-08 | 西南科技大学 | 基于双目可见光相机与热红外相机的目标识别方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021185036A1 (zh) * | 2020-03-18 | 2021-09-23 | 广州极飞科技有限公司 | 点云数据的生成及实时显示方法、装置、设备及介质 |
| US11232315B2 (en) | 2020-04-28 | 2022-01-25 | NextVPU (Shanghai) Co., Ltd. | Image depth determining method and living body identification method, circuit, device, and medium |
| CN113146625A (zh) * | 2021-03-28 | 2021-07-23 | 苏州氢旺芯智能科技有限公司 | 双目视觉物料三维空间检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019228523A1 (zh) | 2019-12-05 |
| CN110555878B (zh) | 2021-04-13 |
| TW202004671A (zh) | 2020-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110555878B (zh) | 物体空间位置形态的确定方法、装置、存储介质及机器人 | |
| CN109767474B (zh) | 一种多目相机标定方法、装置及存储介质 | |
| CN108177143B (zh) | 一种基于激光视觉引导的机器人定位抓取方法及系统 | |
| CN106960454B (zh) | 景深避障方法、设备及无人飞行器 | |
| CN111151463B (zh) | 一种基于3d视觉的机械臂分拣抓取系统及方法 | |
| CN111897349B (zh) | 一种基于双目视觉的水下机器人自主避障方法 | |
| CN111563921B (zh) | 一种基于双目相机的水下点云获取方法 | |
| CN110136211A (zh) | 一种基于主动双目视觉技术的工件定位方法及系统 | |
| CN110288656A (zh) | 一种基于单目摄像头的目标定位方法 | |
| CN109297433A (zh) | 3d视觉引导拆垛测量系统及其控制方法 | |
| JP2022514429A (ja) | 画像収集機器のキャリブレーション方法、装置、システム、機器及び記憶媒体 | |
| CN109345587A (zh) | 一种基于全景与单目视觉的混合视觉定位方法 | |
| CN115861445B (zh) | 一种基于标定板三维点云的手眼标定方法 | |
| CN112348890B (zh) | 一种空间定位方法、装置及计算机可读存储介质 | |
| CN114029946A (zh) | 一种基于3d光栅引导机器人定位抓取的方法、装置及设备 | |
| JPH055041B2 (zh) | ||
| CN110349249B (zh) | 基于rgb-d数据的实时稠密重建方法及系统 | |
| CN113313116A (zh) | 一种基于视觉的水下人工目标准确检测与定位方法 | |
| So et al. | Calibration of a dual-laser triangulation system for assembly line completeness inspection | |
| CN116749198A (zh) | 一种基于双目立体视觉引导机械臂抓取方法 | |
| CN116363226A (zh) | 一种实时的多相机多投影仪3d成像处理方法及装置 | |
| CN115797405A (zh) | 一种基于车辆轴距的多镜头自适应跟踪方法 | |
| CN113034590B (zh) | 基于视觉融合的auv动态对接定位方法 | |
| JPH06259536A (ja) | 撮像位置、姿勢の三次元補正方法およびロボットの三次元位置補正方法 | |
| CN105069781B (zh) | 一种显著目标的空间三维定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |