CN109285190B - 对象定位方法、装置、电子设备和存储介质 - Google Patents
对象定位方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN109285190B CN109285190B CN201811036441.1A CN201811036441A CN109285190B CN 109285190 B CN109285190 B CN 109285190B CN 201811036441 A CN201811036441 A CN 201811036441A CN 109285190 B CN109285190 B CN 109285190B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- coordinates
- actual
- world coordinate
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Abstract
本申请涉及一种对象定位方法、装置、电子设备和存储介质。所述方法通过获取拍摄对象所得到的图像，根据所述图像确定在所述对象上所选取的特征点在图像坐标系中的坐标，将所述特征点在图像坐标系中的坐标进行转换得到所述特征点在世界坐标系中的实际坐标，根据所述特征点在世界坐标系中的实际坐标与所述特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系，根据目标点在世界坐标系中的参考坐标及所述实际坐标与参考坐标之间转换关系获取所述目标点在世界坐标系中的实际坐标。相对于传统技术中单特征点误差明显的问题，这种方法精度更高。
Description
技术领域
本申请涉及机器视觉领域，特别是涉及一种对象定位方法、装置、电子设备和存储介质。
背景技术
在自动化组装工艺中，常需要对产品进行精准定位，常用机器视觉的方法进行定位，指导机构进行组装作业。在机器视觉中需要采用相机标定技术对相机进行标定，在相机标定过程中通过建立相机成像的几何模型，求解几何模型参数，来确定空间物体表面某点的几何位置与其在图像中对应点之间的相互关系。相机参数标定结果的精度影响整体标定的准确性。通过标定后的相机对机器周围的物体进行定位。
然而，传统的定位方法，对单个特征点进行定位的误差明显。
发明内容
基于此，有必要针对上述提出的对单个特征点定位误差明显的技术问题，提供一种能够提高精度的对象定位方法、装置、电子设备和存储介质。
一种对象定位方法，所述方法包括：
获取拍摄对象所得到的图像，根据所述图像确定在所述对象上所选取的特征点在图像坐标系中的坐标；
将所述特征点在图像坐标系中的坐标进行转换得到所述特征点在世界坐标系中的实际坐标；
根据所述特征点在世界坐标系中的实际坐标与所述特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系；
根据目标点在世界坐标系中的参考坐标及所述实际坐标与所述参考坐标之间转换关系获取所述目标点在世界坐标系中的实际坐标。
在其中一个实施例中，还包括：所述特征点为3个以上。
在其中一个实施例中，所述根据所述特征点在世界坐标系中的实际坐标与所述特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系，包括：
采用收敛函数根据所述特征点在世界坐标系中的实际坐标与所述特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系。
在其中一个实施例中，所述收敛函数为最小二乘法或梯度下降法。
在其中一个实施例中，所述将所述特征点在图像坐标系中的坐标进行转换得到所述特征点在世界坐标系中的实际坐标，包括：
将所述特征点在图像坐标系中的坐标经过第一齐次矩阵转换得到所述特征点在世界坐标系中的实际坐标。
在其中一个实施例中，所述根据所述特征点在世界坐标系中的实际坐标与所述特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系，包括：
根据所述特征点在世界坐标系中的实际坐标与所述特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换的第二齐次矩阵。
在其中一个实施例中，所述方法还包括：
根据所述目标点在世界坐标系中的实际坐标控制运行机构作业。
一种对象定位装置，所述装置包括：
图像坐标获取模块，用于获取拍摄对象所得到的图像，根据所述图像确定在所述对象上所选取的特征点在图像坐标系中的坐标；
世界坐标确定模块，用于将所述特征点在图像坐标系中的坐标进行转换得到所述特征点在世界坐标系中的实际坐标；
转换关系确定模块，用于根据所述特征点在世界坐标系中的实际坐标与所述特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系；
目标点确定模块，用于根据目标点在世界坐标系中的参考坐标及所述实际坐标与参考坐标之间转换关系获取所述目标点在世界坐标系中的实际坐标。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述实施例所述的对象定位方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的对象定位方法的步骤。
上述对象定位方法、装置、电子设备和存储介质，通过获取拍摄对象所得到的图像，根据所述图像确定在所述对象上所选取的特征点在图像坐标系中的坐标，将所述特征点在图像坐标系中的坐标进行转换得到所述特征点在世界坐标系中的实际坐标，根据所述特征点在世界坐标系中的实际坐标与所述特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系，根据目标点在世界坐标系中的参考坐标及所述实际坐标与参考坐标之间转换关系获取所述目标点在世界坐标系中的实际坐标。通过利用特征点求取世界坐标系中点的实际坐标与参考坐标之间的实际转换关系，根据实际转换关系再求取目标点的实际坐标，定位精度更高。
附图说明
图1为一个实施例中对象定位方法的应用环境图；
图2为一个实施例中对象定位方法的流程示意图；
图3为一个实施例中相机标定过程中建立的图像坐标系；
图4为一个实施例中相机标定过程中建立的相机坐标系；
图5为一个实施例中相机标定过程中建立的世界坐标系；
图6为另一个实施例中对象定位方法的流程示意图；
图7为一个实施例中对象定位装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的对象定位方法，可以应用于如图1所示的应用环境中。其中，该应用环境包括电子设备100，电子设备100包括左抓取臂102、右抓取臂104、相机106、图像处理器108和移动底座110，左抓取臂102和右抓取臂104用来抓取物体，相机106用来拍摄物体，图像处理器108用来对相机拍摄到的物体的图像进行图像识别处理，移动底座110用来支撑图像处理器108，电子设备100通过移动底座110来实现移动。
在一个实施例中，如图2所示，提供了一种对象定位方法，包括以下步骤：
步骤202，获取拍摄对象所得到的图像，根据该图像确定在该对象上所选取的特征点在图像坐标系中的坐标。
对象是指某个场景中待拍摄的物体。相机对对象进行拍摄得到图像。电子设备获取通过相机拍摄对象所得到的图像。图像坐标系包括图像物理坐标系和图像像素坐标系，特征点在图像坐标系中的坐标指的是特征点在图像像素坐标系中的坐标。
在相机拍摄过程中，由于机构干涉、空间限制等因素，相机常常无法直接拍摄到需要定位以指导电子设备作业的目标点，要拍摄对象上容易拍到的点，这些容易拍摄到的点就是特征点。通过相机的摄像头拍摄物体时，可以先通过摄像头选取几个容易拍摄到的特征点，这些特征点可以是位于镜头中的原点或者两条直线的交点等显著的点，这些特征点的理论坐标可以从设计图纸中得到，设计图纸一般是CAD(Management Software ComputerAided Design,MS-CAD,管理软件计算机辅助设计)工程制图。
在步骤202之前，首先要进行相机的标定工作。
相机标定是指通过建立待拍摄的物体上预先选取的容易被拍摄到的坐标已知的点与该点被相机拍摄所得到的图像点之间的坐标对应关系，利用一定的算法求解相机模型的内外参数的过程。在求解相机模型的内外参数的过程中，可以建立三个坐标系：图像坐标系，相机坐标系，世界坐标系，分别如图3、图4、图5所示。
旋转矩阵R与平移向量t为相机外参数，确定了相机在某个三维空间中的位置和朝向；相机内参数，是对相机物理特性的近似，相机内参数与相机的焦距f、像元单位dx和dy、图像中心(u0,v0)有关。
如图3所示,以图像左上角为原点建立以像素为单位的图像像素坐标系u-v。像素的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数。由于(u,v)只代表像素的列数与行数，而像素在图像中的位置并没有用物理单位表示出来，所以，我们还要建立以物理单位(如毫米)表示的图像物理坐标系x-y。将相机光轴与图像平面的交点(一般位于图像平面的中心处，也称为图像的主点(principal point))定义为该坐标系的原点o1，且x轴与u轴平行，y轴与v轴平行，假设(u0,v0)代表o1在u-v坐标系下的坐标，dx与dy分别表示每个像素在横轴x和纵轴y上的物理尺寸，则图像中的每个像素在u-v坐标系中的坐标和在x-y坐标系中的坐标之间都存在如下的关系：
u＝x/dx+u0，v＝y/dy+v0
为了使用方便，可将上式用齐次坐标与矩阵形式表示为：
即上式为图像坐标系中的图像物理坐标系转换为图像像素坐标系的过程。
可逆的，图像坐标系中的图像像素坐标系转换为图像物理坐标系的过程可以用下式表示：
如图4所示，相机坐标系的原点为相机的光心(投影中心)，相机坐标系的Xc轴，Yc轴分别与图像的x,y轴平行，Zc轴为相机光轴，它与图像平面垂直。光轴与图像平面的交点为图像的主点O1，即为图像坐标系的原点，由点O与Xc,Yc,Zc轴组成的坐标系为相机坐标系。OO1为相机的焦距，用字母f表示，P为图像坐标系中的一个像素点，P(Xc，Yc，Zc)为该像素点在相机坐标系中的坐标。
图像坐标系中的图像物理坐标系中的坐标与相机坐标系中的坐标之间的关系为：
矩阵形式为：
则由上述各式可推导出相机坐标系转换为图像坐标系中的图像像素坐标系的过程：
则上文中提到的相机内参可以用矩阵
表示。
如图5所示，由于相机可安放在环境中的任意位置，在环境中选择一个基准坐标系来描述相机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系。由点O与Xc,Yc,Zc轴组成的坐标系为相机坐标系，P为图像坐标系中的一个像素点，由点O2与Xw,Yw,Zw轴组成的坐标系为世界坐标系。相机坐标系与世界坐标系之间的关系可以用旋转矩阵R与平移向量t来描述，平移向量是坐标原点O与坐标原点O2的偏移量，旋转矩阵是在乘以一个向量的时候改变向量的方向但不改变大小的效果并保持了手性的矩阵。保持手性是指不会把左手坐标系变成右手坐标系或者把右手坐标系变成左手坐标系。
世界坐标系转换为相机坐标系中的过程可以用下式来表示：
则由上述各式推导出世界坐标系转换为图像坐标系中的图像像素坐标系的过程：
则上文中提到的相机外参旋转矩阵R与平移向量t可以用矩阵[R|t]来表示。
步骤204，将该特征点在图像坐标系中的坐标进行转换得到该特征点在世界坐标系中的实际坐标。
特征点在图像坐标系中的坐标指的是特征点在图像像素坐标系中的坐标，特征点在世界坐标系中的实际坐标指的是被相机拍摄的对象的特征点在世界坐标系中的坐标。此处写成该特征点在世界坐标系中的实际坐标是为了与该特征点在世界坐标系中的参考坐标区别，该特征点在世界坐标系中的参考坐标是根据被相机拍摄的对象的设计图纸得到的，设计图纸上是标有尺寸、坐标、技术参数等施工所需细节的被拍摄物体的图示表达，设计图纸上标出了所有特征点和目标点的坐标，这些坐标就分别称为特征点在世界坐标系中的参考坐标和目标点在世界坐标系中的参考坐标。
由上文可知，世界坐标系中的坐标可以通过下列公式转换为图像像素坐标系中的坐标。
由于图像像素坐标系中的坐标转换为世界坐标系中的坐标的过程是上述过程的逆过程，那么图像像素坐标系中的坐标也可以通过上列公式的简单变形转换为世界坐标系中的坐标。
步骤206，根据该特征点在世界坐标系中的实际坐标与该特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系。
特征点在世界坐标系中的实际坐标指的是被相机拍摄的对象的特征点在世界坐标系中的坐标，该特征点在世界坐标系中的参考坐标是根据被相机拍摄的对象的设计图纸得到的，由于产品加工、相机拍摄及图像识别处理过程中存在误差，因此被拍摄对象从设计图纸中得到的特征点在世界坐标系中的坐标(即特征点在世界坐标系中的参考坐标)与被拍摄对象经过图像识别处理后的特征点在世界坐标系中的坐标(即特征点在世界坐标系中的实际坐标)是不同的，根据特征点在世界坐标系中的实际坐标和特征点在世界坐标系中的参考坐标可以得出两者之间的转换关系，而这种转换关系对于被拍摄对象上的任一点都适用。
步骤208，根据目标点在世界坐标系中的参考坐标及实际坐标与参考坐标之间转换关系获取该目标点在世界坐标系中的实际坐标。
由上述步骤206可知，实际坐标和参考坐标之间的转换关系对目标点也适用，由于目标点是相机常常无法直接拍摄到需要定位以指导电子设备作业的点，因此可以间接地通过特征点得出目标点在世界坐标系中的参考坐标和实际坐标之间的关系，而目标点在世界坐标系中的参考坐标可以通过设计图纸得到，因此，就可以得出目标点在世界坐标系中的实际坐标，也就是目标点经过产品加工、相机拍摄及图像识别处理后的坐标。
上述对象定位方法，通过获取拍摄对象所得到的图像，根据该图像确定在该对象上所选取的特征点在图像坐标系中的坐标，将该特征点在图像坐标系中的坐标进行转换得到所述特征点在世界坐标系中的实际坐标，根据该特征点在世界坐标系中的实际坐标与该特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系，根据目标点在世界坐标系中的参考坐标及该实际坐标与参考坐标之间转换关系获取所述目标点在世界坐标系中的实际坐标。通过利用特征点求取世界坐标系中点的实际坐标与参考坐标之间的实际转换关系，根据实际转换关系再求取目标点的实际坐标，相对于传统技术中对单个特征点进行定位误差明显的问题，这种方法精度更高。
在一个实施例中，上述对象定位方法还包括：该特征点为3个以上。
图像坐标到世界坐标的转换是一个仿射变换，包括平移、旋转、缩放、错切，如果使用2个点，则不能计算出错切值。如果是机械动作部分是机械手，其XY是可以保证垂直的，没有错切存在，2个点可以。如果是工厂自己组装的模组同时没有做过精确校准的话则可能存在错切，2个点则不能得到此错切值。因此需要3个以上的特征点。
上述对象定位方法，通过获取拍摄对象所得到的图像，根据该图像确定在该对象上所选取的特征点在图像坐标系中的坐标，将该特征点在图像坐标系中的坐标进行转换得到所述特征点在世界坐标系中的实际坐标，根据该特征点在世界坐标系中的实际坐标与该特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系，根据目标点在世界坐标系中的参考坐标及该实际坐标与参考坐标之间转换关系获取所述目标点在世界坐标系中的实际坐标。通过利用特征点求取世界坐标系中点的实际坐标与参考坐标之间的实际转换关系，根据实际转换关系再求取目标点的实际坐标，使用3个以上的特征点，点越多，误差越小，这种方法精度更高。
在一个实施例中，根据该特征点在世界坐标系中的实际坐标与该特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系，包括：
采用收敛函数根据该特征点在世界坐标系中的实际坐标与该特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系。
收敛函数是指会聚于一点，向某一值靠近的函数，广泛用于近似计算最大值或最小值问题。
在一个实施例中，该收敛函数为最小二乘法或梯度下降法。
最小二乘法和梯度下降法都是用来解决最小二乘问题的方法，最小二乘问题也称最小平方差问题，是用离散平方逼近技术求拟合曲线的问题。
最小二乘法又称最小平方法，是一种数学优化技术，它通过最小化误差的平方和来寻找数据的最佳函数匹配。利用它可以简便地求得未知的数据，并使得求得的数据与实际数据之间误差的平方和为最小。假如特征点在世界坐标系中的实际坐标分别为(x1,y1)、(x2,y2)、(x2,y3)，在世界坐标系中的参考坐标分别为(X1,Y1)、(X2,Y2)、(X3,Y3),假设该实际坐标与该参考坐标的转换关系为M’，则可根据如下公式，通过对误差的平方和进行微分求最小值的方式来得到转换关系M’，minmnum表示误差平方和的最小值。
特征点的个数还可以是4个、5个甚至更多个，特征点的个数越多，得到的转换关系M’越准确。
梯度下降是迭代法的一种，是一个最优化算法，用于递归性地逼近最小偏差模型。递归下降法的计算过程就是沿梯度下降的方向求解极小值，也可以沿梯度上升方向求解极大值。在计算过程中，需要确定梯度方向和梯度方向上的搜索步长，梯度方向可以通过对函数求导得到，步长太大可能会发散，太小收敛速度又太慢，一般步长由线性搜索算法来确定。
上述对象定位方法，通过获取拍摄对象所得到的图像，根据该图像确定在该对象上所选取的特征点在图像坐标系中的坐标，将该特征点在图像坐标系中的坐标进行转换得到所述特征点在世界坐标系中的实际坐标，根据该特征点在世界坐标系中的实际坐标与该特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系，根据目标点在世界坐标系中的参考坐标及该实际坐标与参考坐标之间转换关系获取所述目标点在世界坐标系中的实际坐标。通过利用特征点求取世界坐标系中点的实际坐标与参考坐标之间的实际转换关系，根据实际转换关系再求取目标点的实际坐标，在确定实际坐标和参考坐标的关系的转换关系时使用最小二乘法或者梯度下降法求取世界坐标系中参考坐标和实际坐标的值，这种方法精度更高。
在一个实施例中，将该特征点在图像坐标系中的坐标进行转换得到该特征点在世界坐标系中的实际坐标，包括：
将该特征点在图像坐标系中的坐标经过第一齐次矩阵转换得到该特征点在世界坐标系中的实际坐标。
由上文中可知，在世界坐标系中的坐标可通过下式中的齐次矩阵转换得到在图像坐标系中的坐标，可逆地，也可以将该特征点在图像坐标系中的坐标经过另一齐次矩阵转换得到该特征点在世界坐标系中的实际坐标。将这另一齐次矩阵称为第一齐次矩阵。
上述对象定位方法，通过获取拍摄对象所得到的图像，根据该图像确定在该对象上所选取的特征点在图像坐标系中的坐标，将该特征点在图像坐标系中的坐标进行转换得到所述特征点在世界坐标系中的实际坐标，根据该特征点在世界坐标系中的实际坐标与该特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系，根据目标点在世界坐标系中的参考坐标及该实际坐标与参考坐标之间转换关系获取所述目标点在世界坐标系中的实际坐标。通过利用特征点求取世界坐标系中点的实际坐标与参考坐标之间的实际转换关系，根据实际转换关系再求取目标点的实际坐标，具体地在将图像坐标系中的坐标转换为世界坐标系中的坐标时，采用第一齐次矩阵转换，使得转换更有效，这种方法精度更高。
在一个实施例中，根据该特征点在世界坐标系中的实际坐标与该特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系，包括：
根据该特征点在世界坐标系中的实际坐标与该特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换的第二齐次矩阵。
该特征点在世界坐标系中的参考坐标可以根据设计图纸得到，设计图纸中详细列出了对象上各个特征点和目标点的坐标。则可根据步骤204中得到的该特征点在世界坐标系中的实际坐标与由设计图纸得出的该特征点在世界坐标系中的参考坐标，可得出两者之间的转换关系。假如特征点在世界坐标系中的实际坐标分别为(x1,y1)、(x2,y2)、(x3,y3)，在世界坐标系中的参考坐标分别为(X1,Y1)、(X2,Y2)、(X3,Y3),假设该实际坐标到该参考坐标的转换矩阵为M’，则可根据如下最小二乘公式，通过对误差的平方和进行微分求最小值的方式来得到转换矩阵M’，minmnum表示误差平方和的最小值。区别于图像坐标系中的坐标转换为世界坐标系中的坐标的第一齐次矩阵，将M’称为第二齐次矩阵。
上述对象定位方法，通过获取拍摄对象所得到的图像，根据该图像确定在该对象上所选取的特征点在图像坐标系中的坐标，将该特征点在图像坐标系中的坐标进行转换得到所述特征点在世界坐标系中的实际坐标，根据该特征点在世界坐标系中的实际坐标与该特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系，根据目标点在世界坐标系中的参考坐标及该实际坐标与参考坐标之间转换关系获取所述目标点在世界坐标系中的实际坐标。通过利用特征点求取世界坐标系中点的实际坐标与参考坐标之间的实际转换关系，根据实际转换关系再求取目标点的实际坐标，具体地在求取世界坐标系中点的实际坐标与参考坐标之间的实际转换关系时，采用第二齐次矩阵转换，使得转换更有效，这种方法精度更高。
在一个实施例中，该方法还包括：根据该目标点在世界坐标系中的实际坐标控制运行作业。
具体地，由上述步骤208得出目标点在世界坐标系中的实际坐标，也就是目标点经产品加工、相机拍摄和图像识别处理后的坐标，就可以指导电子设备进行抓取作业，该电子设备通过采用相机拍摄待拍摄物体，再用图像处理器识别处理所拍摄物体的图像，得到所拍摄物体目标点在世界坐标系中的实际坐标，抓取臂定位到目标点的实际坐标以抓取被拍摄物体。
上述对象定位方法，通过获取拍摄对象所得到的图像，根据该图像确定在该对象上所选取的特征点在图像坐标系中的坐标，将该特征点在图像坐标系中的坐标进行转换得到所述特征点在世界坐标系中的实际坐标，根据该特征点在世界坐标系中的实际坐标与该特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系，根据目标点在世界坐标系中的参考坐标及该实际坐标与参考坐标之间转换关系获取所述目标点在世界坐标系中的实际坐标。通过利用特征点求取世界坐标系中点的实际坐标与参考坐标之间的实际转换关系，根据实际转换关系再求取目标点的实际坐标，根据求取到的目标点的实际坐标控制运行作业，相对于传统技术中对单个特征点进行定位误差明显的问题，这种方法精度更高。
在一个实施例中，上述对象定位方法如图6所示，还包括：
步骤602，获取拍摄对象所得到的图像，根据该图像确定在该对象上所选取的特征点在图像坐标系中的坐标。
电子设备获取通过相机拍摄对象所得到的图像，电子设备对拍摄的图像进行图像识别处理识别出在该对象上所选取的特征点在图像坐标系中的坐标。
步骤604，将该特征点在图像坐标系中的坐标进行转换得到该特征点在世界坐标系中的实际坐标。
由于图像像素坐标系中的坐标转换为世界坐标系中的坐标的过程是世界坐标系中的坐标转换为图像像素坐标系中的坐标的逆过程，那么图像像素坐标系中的坐标也可以通过上文中世界坐标系中的坐标转换为图像像素坐标系中的坐标的公式的简单变形转换为世界坐标系中的坐标。
步骤606，根据该特征点在世界坐标系中的实际坐标与该特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系。
其中，该特征点在世界坐标系中的参考坐标可以根据设计图纸得到，设计图纸中详细列出了对象上各个特征点和目标点的坐标。则可根据步骤604中得到的该特征点在世界坐标系中的实际坐标与该特征点根据设计图纸得出的在世界坐标系中的参考坐标，得出两者之间的转换关系。
步骤608，根据目标点在世界坐标系中的参考坐标及实际坐标与参考坐标之间转换关系获取该目标点在世界坐标系中的实际坐标。
具体地，步骤606中得到的特征点的实际坐标和参考坐标之间的关系同样适用于目标点，因此，知道了目标点在世界坐标系中的参考坐标以及实际坐标和参考坐标之间的关系就可以获取到目标点在世界坐标系中的实际坐标。
步骤610，根据该目标点在世界坐标系中的实际坐标控制运行机构作业。
具体地，由上述步骤608得出目标点在世界坐标系中的实际坐标，也就是目标点经产品加工、相机拍摄及图像识别处理后的坐标，就可以指导电子设备进行抓取作业。
上述对象定位方法，通过获取拍摄对象所得到的图像，根据该图像确定在该对象上所选取的特征点在图像坐标系中的坐标，将该特征点在图像坐标系中的坐标进行转换得到所述特征点在世界坐标系中的实际坐标，根据该特征点在世界坐标系中的实际坐标与该特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系，根据目标点在世界坐标系中的参考坐标及该实际坐标与参考坐标之间转换关系获取所述目标点在世界坐标系中的实际坐标，根据求取到的目标点的实际坐标控制运行作业。通过利用特征点求取世界坐标系中点的实际坐标与参考坐标之间的实际转换关系，根据实际转换关系再求取目标点的实际坐标，相对于传统技术中对单个特征点进行定位误差明显的问题，这种方法精度更高。
应该理解的是，虽然图2和图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种对象定位装置，包括：图像坐标获取模块、世界坐标确定模块、转换关系确定模块和目标点确定模块，其中：
图像坐标获取模块702，用于获取拍摄对象所得到的图像，根据该图像确定在该对象上所选取的特征点在图像坐标系中的坐标；
世界坐标确定模块704，用于将该特征点在图像坐标系中的坐标进行转换得到该特征点在世界坐标系中的实际坐标；
转换关系确定模块706，用于根据该特征点在世界坐标系中的实际坐标与该特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系；
目标点确定模块708，用于根据目标点在世界坐标系中的参考坐标及该实际坐标与参考坐标之间转换关系获取该目标点在世界坐标系中的实际坐标。
上述对象定位装置，通过获取拍摄对象所得到的图像，根据该图像确定在该对象上所选取的特征点在图像坐标系中的坐标，将该特征点在图像坐标系中的坐标进行转换得到所述特征点在世界坐标系中的实际坐标，根据该特征点在世界坐标系中的实际坐标与该特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系，根据目标点在世界坐标系中的参考坐标及该实际坐标与参考坐标之间转换关系获取所述目标点在世界坐标系中的实际坐标。通过利用特征点求取世界坐标系中点的实际坐标与参考坐标之间的实际转换关系，根据实际转换关系再求取目标点的实际坐标，相对于传统技术中对单个特征点进行定位误差明显的问题，这种方法精度更高。
在一个实施例中，该特征点为3个以上。
在一个实施例中，转换关系确定模块，还用于采用收敛函数根据该特征点在世界坐标系中的实际坐标与该特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系。
在一个实施例中，该收敛函数为最小二乘法或梯度下降法。
在一个实施例中，世界坐标确定模块，还用于将该特征点在图像坐标系中的坐标经过第一齐次矩阵转换得到该特征点在世界坐标系中的实际坐标。
在一个实施例中，转换关系确定模块，还用于根据该特征点在世界坐标系中的实际坐标与该特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换的第二齐次矩阵。
在一个实施例中，该对象定位装置还包括：控制作业模块，用于根据该目标点在世界坐标系中的实际坐标控制运行机构作业。
关于对象定位装置的具体限定可以参见上文中对于对象定位方法的限定，在此不再赘述。上述对象定位装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种对象定位方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各个实施例中的对象定位方法步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使处理器执行上述各个实施例中的对象定位方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种对象定位方法，所述方法包括：
获取拍摄对象所得到的图像，根据所述图像确定在所述对象上所选取的特征点在图像坐标系中的坐标；
将所述特征点在图像坐标系中的坐标进行转换得到所述特征点在世界坐标系中的实际坐标；所述特征点在世界坐标系中的实际坐标指的是被相机拍摄的对象的特征点在世界坐标系中的坐标；
根据所述特征点在世界坐标系中的实际坐标与所述特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系； 所述特征点在世界坐标系中的参考坐标是根据被相机拍摄的对象的设计图纸得到的；
根据目标点在世界坐标系中的参考坐标及所述实际坐标与参考坐标之间转换关系获取所述目标点在世界坐标系中的实际坐标。
2.根据权利要求1所述的方法，其特征在于，所述特征点为3个以上。
3.根据权利要求1所述的方法，其特征在于，所述根据所述特征点在世界坐标系中的实际坐标与所述特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系，包括：
采用收敛函数根据所述特征点在世界坐标系中的实际坐标与所述特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系。
4.根据权利要求3所述的方法，其特征在于，所述收敛函数为最小二乘法或梯度下降法。
5.根据权利要求1所述的方法，其特征在于，所述将所述特征点在图像坐标系中的坐标进行转换得到所述特征点在世界坐标系中的实际坐标，包括：
将所述特征点在图像坐标系中的坐标经过第一齐次矩阵转换得到所述特征点在世界坐标系中的实际坐标。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据所述特征点在世界坐标系中的实际坐标与所述特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系，包括：
根据所述特征点在世界坐标系中的实际坐标与所述特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换的第二齐次矩阵。
7.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：
根据所述目标点在世界坐标系中的实际坐标控制运行机构作业。
8.一种对象定位装置，其特征在于，所述装置包括：
图像坐标获取模块，用于获取拍摄对象所得到的图像，根据所述图像确定在所述对象上所选取的特征点在图像坐标系中的坐标；
世界坐标确定模块，用于将所述特征点在图像坐标系中的坐标进行转换得到所述特征点在世界坐标系中的实际坐标；所述特征点在世界坐标系中的实际坐标指的是被相机拍摄的对象的特征点在世界坐标系中的坐标；
转换关系确定模块，用于根据所述特征点在世界坐标系中的实际坐标与所述特征点在世界坐标系中的参考坐标确定实际坐标与参考坐标之间转换关系；所述特征点在世界坐标系中的参考坐标是根据被相机拍摄的对象的设计图纸得到的；
目标点确定模块，用于根据目标点在世界坐标系中的参考坐标及所述实际坐标与参考坐标之间转换关系获取所述目标点在世界坐标系中的实际坐标。
9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的对象定位方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的对象定位方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811036441.1A CN109285190B (zh) | 2018-09-06 | 2018-09-06 | 对象定位方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811036441.1A CN109285190B (zh) | 2018-09-06 | 2018-09-06 | 对象定位方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109285190A CN109285190A (zh) | 2019-01-29 |
| CN109285190B true CN109285190B (zh) | 2021-06-04 |
Family
ID=65183641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811036441.1A Active CN109285190B (zh) | 2018-09-06 | 2018-09-06 | 对象定位方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109285190B (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110956069B (zh) * | 2019-05-30 | 2022-06-21 | 魔门塔(苏州)科技有限公司 | 一种行人3d位置的检测方法及装置、车载终端 |
| CN110310332A (zh) * | 2019-06-26 | 2019-10-08 | 珠海格力智能装备有限公司 | 按键的标定方法及装置 |
| CN110517221B (zh) * | 2019-07-05 | 2022-05-03 | 银河水滴科技（北京）有限公司 | 基于现实坐标的缝隙定位方法、装置和存储介质 |
| CN110378898B (zh) * | 2019-07-26 | 2021-07-16 | 金瓜子科技发展（北京）有限公司 | 一种信标定位的方法、装置、存储介质及设备 |
| CN110705433A (zh) * | 2019-09-26 | 2020-01-17 | 杭州鲁尔物联科技有限公司 | 一种基于视觉感知的桥梁变形的监测方法、装置及设备 |
| CN111070180B (zh) * | 2019-12-30 | 2021-07-20 | 上海海事大学 | 基于ros的灾后救援通道检测机器人 |
| CN111199560B (zh) * | 2019-12-31 | 2024-03-19 | 海能达通信股份有限公司 | 一种视频监控的定位方法及视频监控系统 |
| CN111178317A (zh) * | 2020-01-06 | 2020-05-19 | 广东博智林机器人有限公司 | 检测定位方法、系统、装置、电子设备及存储介质 |
| CN111274296B (zh) * | 2020-01-17 | 2024-03-01 | 北京有竹居网络技术有限公司 | 图像数据获取的方法及装置、终端和存储介质 |
| CN113311422A (zh) * | 2020-02-27 | 2021-08-27 | 富士通株式会社 | 坐标转换方法、装置和数据处理设备 |
| CN111445470A (zh) * | 2020-04-24 | 2020-07-24 | Oppo（重庆）智能科技有限公司 | 物料贴装方法、装置、电子设备和存储介质 |
| CN111741214A (zh) * | 2020-05-13 | 2020-10-02 | 北京迈格威科技有限公司 | 图像处理方法、装置及电子设备 |
| CN111862211B (zh) * | 2020-07-22 | 2023-10-27 | 杭州海康威视数字技术股份有限公司 | 定位方法、装置、系统、存储介质和计算机设备 |
| CN113157092B (zh) * | 2021-04-08 | 2023-03-24 | 海信视像科技股份有限公司 | 可视化方法、终端设备和存储介质 |
| CN113112490B (zh) * | 2021-04-23 | 2022-09-30 | 上海卓昕医疗科技有限公司 | 一种三维医学影像标记点提取方法及系统 |
| CN113268063A (zh) * | 2021-06-03 | 2021-08-17 | 北京京东乾石科技有限公司 | 机器人的控制方法、装置和非易失性计算机可读存储介质 |
| CN113658248A (zh) * | 2021-08-09 | 2021-11-16 | 煤炭科学研究总院 | 自移机尾的姿态监测方法、装置及电子设备 |
| CN114157803B (zh) * | 2021-10-22 | 2023-06-27 | 北京注色影视科技有限公司 | 虚拟现实拍摄场景中摄像机的定位方法及摄像机承托设备 |
| CN115802159B (zh) * | 2023-02-01 | 2023-04-28 | 北京蓝色星际科技股份有限公司 | 一种信息显示方法、装置、电子设备及存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101966617B (zh) * | 2010-08-30 | 2012-11-28 | 东南大学 | 用于焊接机器人连续运动的激光视觉焊件特征检测方法 |
| CN101995231B (zh) * | 2010-09-20 | 2012-07-18 | 深圳大学 | 一种大型薄壳物体表面的三维检测系统及其检测方法 |
| CN102288131A (zh) * | 2011-05-12 | 2011-12-21 | 上海大学 | 物体360°轮廓误差的自适应条纹测量装置和方法 |
| CN103170980B (zh) * | 2013-03-11 | 2016-04-20 | 常州铭赛机器人科技股份有限公司 | 一种家用服务机器人的定位系统及定位方法 |
| WO2016065632A1 (zh) * | 2014-10-31 | 2016-05-06 | 华为技术有限公司 | 一种图像处理方法和设备 |
| CN104408269B (zh) * | 2014-12-17 | 2017-09-29 | 上海天华建筑设计有限公司 | 设计图纸拆分方法 |
| CN104596502B (zh) * | 2015-01-23 | 2017-05-17 | 浙江大学 | 一种基于cad模型与单目视觉的物体位姿测量方法 |
| JP6507730B2 (ja) * | 2015-03-10 | 2019-05-08 | 富士通株式会社 | 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム |
-
2018
- 2018-09-06 CN CN201811036441.1A patent/CN109285190B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109285190A (zh) | 2019-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109285190B (zh) | 对象定位方法、装置、电子设备和存储介质 | |
| CN108346165B (zh) | 机器人与三维传感组件联合标定方法与装置 | |
| CN109829953B (zh) | 图像采集装置标定方法、装置、计算机设备和存储介质 | |
| JP2017091079A (ja) | 入力データから検出対象物の像を検出する画像処理装置および方法 | |
| CN111438688B (zh) | 机器人校正方法、装置、计算机设备及存储介质 | |
| CN114012731B (zh) | 手眼标定方法、装置、计算机设备和存储介质 | |
| CN113850807B (zh) | 图像亚像素匹配定位方法、系统、设备及介质 | |
| CN109102524B (zh) | 图像特征点的跟踪方法和跟踪装置 | |
| CN113329179B (zh) | 拍摄对位方法、装置、设备及存储介质 | |
| JP2022515517A (ja) | 画像深度推定方法および装置、電子機器、ならびに記憶媒体 | |
| CN111915681B (zh) | 多组3d相机群的外参标定方法、装置、存储介质及设备 | |
| CN113256735B (zh) | 一种基于双目标定的相机标定方法和系统 | |
| KR100647750B1 (ko) | 화상 처리 장치 | |
| CN112629565A (zh) | 像机与惯性测量单元旋转关系校准方法、装置和设备 | |
| CN113436267A (zh) | 视觉惯导标定方法、装置、计算机设备和存储介质 | |
| CN111179342B (zh) | 物体位姿的估计方法、装置、存储介质和机器人 | |
| CN110176035B (zh) | 标志点的定位方法、装置、计算机设备和存储介质 | |
| CN108846856B (zh) | 图片特征点的跟踪方法和跟踪装置 | |
| CN111445513A (zh) | 基于深度图像的植株冠层体积获取方法、装置、计算机设备和存储介质 | |
| CN111539964B (zh) | 基于深度图像的植株冠层表面积获取方法、装置、计算机设备和存储介质 | |
| CN115567781A (zh) | 基于灵巧摄像头的拍摄方法、装置和计算机设备 | |
| CN115018932A (zh) | 相机标定方法、装置、电子设备和存储介质 | |
| CN113781301A (zh) | 一种3d视觉点云数据拼接方法、系统及存储介质 | |
| CN113066136B (zh) | 自动化标定方法、装置、电子设备及介质 | |
| WO2022208963A1 (ja) | ロボット制御用のキャリブレーション装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 523000 building 3, no.6, West Third Industrial Road, Songshanhu Park, Dongguan City, Guangdong Province Patentee after: Guangdong Tianji Intelligent System Co.,Ltd. Address before: 523000 1st floor, building 1, No.7, Gongye North Road, Songshanhu high tech Industrial Development Zone, Dongguan City, Guangdong Province Patentee before: GUANGDONG TIANJI INDUSTRIAL INTELLIGENT SYSTEM Co.,Ltd. |
|
| CP03 | Change of name, title or address | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20190129 Assignee: Shanghai Fuxi Technology Co.,Ltd. Assignor: Guangdong Tianji Intelligent System Co.,Ltd. Contract record no.: X2023980037937 Denomination of invention: Object positioning methods, devices, electronic devices, and storage media Granted publication date: 20210604 License type: Common License Record date: 20230713 |
|
| EE01 | Entry into force of recordation of patent licensing contract |