CN117036489B - 基于人工标识和四目全景相机的机器人定位方法及设备 - Google Patents

基于人工标识和四目全景相机的机器人定位方法及设备 Download PDF

Info

Publication number
CN117036489B
CN117036489B CN202311301779.6A CN202311301779A CN117036489B CN 117036489 B CN117036489 B CN 117036489B CN 202311301779 A CN202311301779 A CN 202311301779A CN 117036489 B CN117036489 B CN 117036489B
Authority
CN
China
Prior art keywords
camera
image
panoramic camera
manual identification
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311301779.6A
Other languages
English (en)
Other versions
CN117036489A (zh
Inventor
孙波
程凯
王春普
申思康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanzhou Institute of Equipment Manufacturing
Original Assignee
Quanzhou Institute of Equipment Manufacturing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanzhou Institute of Equipment Manufacturing filed Critical Quanzhou Institute of Equipment Manufacturing
Priority to CN202311301779.6A priority Critical patent/CN117036489B/zh
Publication of CN117036489A publication Critical patent/CN117036489A/zh
Application granted granted Critical
Publication of CN117036489B publication Critical patent/CN117036489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及智能机器人识别技术领域，尤其涉及基于人工标识和四目全景相机的机器人定位方法及设备。该定位方法包括：S1、全景相机预先标定；S2、人工标识贴附；S3、机器人运行；S4、人工标识识别；S5、四目相机协同工作。本发明通过对全景相机进行内外参标定，运行定位程序后，开始进行人工标识图像的检测，首先对相机拍摄的图像进行线段检测和四边形检测，建立人工标识候选区域，由于图像存在仿射变换，需要通过单应变换对图像进行矫正，得到正常的矩形图像，最后对图像进行解码，从而得到全景相机的位姿信息。

Description

基于人工标识和四目全景相机的机器人定位方法及设备
技术领域
本发明涉及智能机器人识别技术领域，尤其是涉及的是基于人工标识和四目全景相机的机器人定位方法及设备。
背景技术
随着人工智能与机器人技术的快速发展，移动机器人的实时定位问题是移动机器人研究的一个核心问题，精确的位姿信息对于移动机器人的定位、地图生成、路径规划和运动控制、目标检测和跟踪等具有重要意义。
尤其在走廊、隧道这种退化环境中，随着机器人深入行进，常见激光雷达采集到的点云信息变化微乎其微，容易出现激光雷达失效的情况，而许多研究工作表明，视觉相机定位优于传统激光雷达，在结合人工标识的情况下，它获得的图像信息量更加丰富，经过图像处理后得到的机器人的当前位姿较为精确，所以相机便成了在这种退化环境中最优的选择。
利用人工标识实现机器人定位跟踪的种类很多，常见的比如ARtag、Aruco、Apriltag等，移动机器人根据相机识别到的这些人工标识可以精确得到当前的位姿信息，但是现有的这些人工标识定位系统都有一个共同的缺陷：仅仅支持单个数量的相机；由于相机数量的限制，从而也将机器人的视野限制在了一定范围内，并不能保证机器人视野中时时刻刻都存在人工标识，从而丢失移动机器人的位姿信息。
发明内容
本发明的其他特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及其他说明书附图中所特别指出的结构来实现和获得。
本发明的目的在于克服上述不足，提供基于人工标识和四目全景相机的机器人定位方法及设备，该方法通过对全景相机进行内外参标定，运行定位程序后，开始进行人工标识图像的检测，首先对相机拍摄的图像进行线段检测和四边形检测，建立标识标识候选区域，由于图像存在仿射变换，需要通过单应变换对图像进行矫正，得到正常的矩形图像，最后对图像进行解码，从而得到全景相机的位姿信息。
本发明提供一种基于人工标识和四目全景相机的机器人定位方法，包括:
S1、全景相机预先标定：利用标定板，令机器人上的四目全景相机预先识别该标定板，对全景相机的内部参数与外部参数进行估计；
S2、人工标识贴附：将具有特定图像的多个人工标识贴至室内的指定位置，使机器人在识别出该人工标识时可得出当下机器人的位姿；
S3、机器人运行：在全景相机预先标定完成后，机器人开启常规移动并运行定位程序，不断检测视野内存在的人工标识；
S4、人工标识识别：在检测到视野内存在的人工标识后，对人工标识上的图像进行识别，具体包括图像检测、单应变换、外参估计和有效载荷解码，转换得出单目相机视野内的人工标识图像，根据人工标识图像得出该相机的具体位姿信息；
S5、四目相机协同工作：当四目全景相机中的一个相机识别到具有位姿信息的人工标识，推算出该相机的位姿之后，即可通过坐标变换，推算出其他相机的位姿信息，实现四目全景相机协同工作的效果。
在一些实施例中，在该S2步骤中，一张具有特定图像的人工标识具体为多个正方形的排列组合，即单张人工标识内的图像为多个正方形的排列组合，该正方形即为图像中的特征点，该正方形具有黑白两色。
在一些实施例中，在S4步骤中，具体人工标识识别步骤如下：
S41、线段检测：计算图像中每个像素点的梯度方向和大小，将相似梯度方向和大小的像素点进行聚合，对相邻的像素点添加边，而对于每条边，判断被该边相连的像素点是否应该连结在一起；
S42、四边形检测：经过线段检测，图像中有一组有向线段已经计算得出，而后使用基于递归的深度优先搜索算法，寻找形成四边形状的线段序列，在四条线均被找到的情况下，一个候选四边形区域会被创建；
S43、单应变换：经S42步骤后检测出的人工标识图像若存在仿射变换，即拍摄时的人工标识图像不是正对全景相机，正方形的特征点会产生畸变，因此需要将检测出的人工标识图像特征点投影成为正方形，投影过程涉及单应变换，单应变换后产生一单应性矩阵，该单应性矩阵通过直接线性变换DLT计算得到；
S44、外参估计：在得到单应性矩阵后，人工标识图像有关位置与方向的计算还需要全景相机焦距和人工标识物理尺寸的辅助，根据相机的焦距和人工标识的物理尺寸，辅以相机成像模型，即可得出人工标识和该全景相机的相对位置关系及位姿；
S45、有效载荷解码：通过计算每个特征点的相对坐标，使用单应变换将其转换为图像坐标，而后对结果像素进行阈值化来实现解码。
在一些实施例中，在S41的线段检测步骤中，涉及聚类算法,具体算法如下：
A(n∪m)≤min(A(n),A(m))+KA/|n∪m|
B(n∪m)≤min(B(n),B(m))+KB/|n∪m|
其中，n、m表示不同像素点集，A(n)表示集合n的梯度方向范围，B(n)表示集合n的梯度大小范围，A(m)和B(m)同理，对于给定的两个点集n和m，如果满足上述两个条件，则将它们合并在一起，KA为衡量梯度方向变化的参数，KB为衡量梯度大小变化的参数，KA和KB可手动设置，通过更改KA和KB可以适度增加集合内的变化；|n∪m|表示区块n和区块m的并集中的像素数量；
一旦聚类操作完成，使用传统的最小二乘法将线段拟合到每个连接的区块，并根据其梯度大小对每个点进行加权，区块即图像中的一组像素，这些像素具有相似的梯度方向和梯度大小。
在一些实施例中，在S42的四边形检测步骤中，使用的深度优先搜索算法，深度为4，搜索树的每个层级都向四边形添加一条边，在深度1处，考虑所有线段，在深度2到4处，考虑所有线段中开始的位置足够接近前一线段结束的位置，并且服从逆时针绕线顺序。
在一些实施例中，在S43及S44步骤中，单应性矩阵为相机投影矩阵F3x4和外参矩阵E4x3的乘积，外参矩阵为4x4的矩阵，但人工标识上的每一个特征点在坐标系中都是z＝0，因此可将每个特征点坐标重写为z隐式为零的二维齐次点，并删除外参矩阵的第三列，形成截断的外参矩阵，将F的旋转分量表示为Rij，将平移分量表示为Tk，单应性矩阵计算如下：
其中，α是缩放尺度因子。展开以上公式：
h00＝αR00fx
h01＝αR01fx
h02＝αTxfx
...
在一些实施例中，在S45步骤中，阈值化解码通过建立黑色像素的空间灰度模型实现，灰度模型具体如下：
P(x,y)＝Ax+Bxy+Cy+D
其中，使用人工标识的边界，其同时包含白色和黑色像素，该模型有四个参数(A，B，C，D)，采用最小二乘法计算上述参数，建立两个模型，一个用于计算黑色，一个用于计算白色，解码阈值采用黑色和白色模型的预测值的平均值；
A为函数在x方向上的线性部分参数，在模型中，A用于考虑与x的线性相关性；B为函数中x和y之间交互项的参数，可用于捕捉像素强度在x和y方向上的复杂变化；C为函数在y方向上的线性部分参数，在模型中，C用于考虑与y的线性相关性；D为函数的常数项参数，即与x和y无关的常数，用于表示像素的基准强度。
在一些实施例中，在S5步骤中，选择其中一个全景相机的坐标系为参考坐标系，所有其他全景相机的坐标将相对于该全景相机进行变换,转换公式如下：
Pc0＝RPi+T
其中，Pc0为参考坐标系，R为4x4的旋转矩阵，Pi表示除参考坐标系之外的相机坐标系，T表示Pi坐标系的原点与参考坐标系原点之间的偏移量，R和T可以通过相机的外参标定得到。
在一些实施例中，在S1的预先标定步骤中，标定方法使用的是Kalibr多摄像机标定中的标定板标定,标定过程中需将标定板围绕四目全景相机旋转。
本发明还提供一种基于人工标识和四目全景相机的机器人定位方法的设备，包括可以实现全方位移动的移动机器人、设置于该移动机器人上的四目全景相机以及接收来自该四目全景相机的信号并对实时位姿进行计算与处理的控制中心。
通过采用上述的技术方案，本发明的有益效果是：
本发明通过对全景相机进行内外参标定，运行定位程序后，开始进行人工标识图像的检测，首先对相机拍摄的图像进行线段检测和四边形检测，建立标识标识候选区域，由于图像存在仿射变换，需要通过单应变换对图像进行矫正，得到正常的矩形图像，最后对图像进行解码，从而得到全景相机的位姿信息。
本发明采用人工标识进行移动机器人的定位，相比于依靠自然地标的视觉定位系统而言，定位精度更高，更容易实现轨迹闭环，并且在退化环境中具有更好的鲁棒性，适用范围也更广泛；通过将四目全景相机与人工标识结合使用，相比于单个相机的视觉相机定位系统，四目全景相机的加入，充分利用四个相机互补的优势，可以使机器人实时监测周围环境的变化，确保四目相机中至少有一个相机可以观察到人工标识，当其中一个相机传输的图像数据中包含人工标识的信息，就足以确定机器人当前的位姿。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
无疑的，本发明的此类目的与其他目的在下文以多种附图与绘图来描述的较佳实施例细节说明后将变为更加显见。
为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举一个或数个较佳实施例，并配合所示附图，作详细说明如下。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。
在附图中，相同的部件使用相同的附图标记，并且附图是示意性的，并不一定按照实际的比例绘制。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一个或数个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据此类附图获得其他的附图。
图1为本发明一些实施例中的机器人实时定位流程示意图；
图2为本发明一些实施例中的全景相机预先标定示意图；
图3为本发明一些实施例中的机器人运行与人工标识位置示意图；
图4为本发明一些实施例中的线段检测结果示意图；
图5为本发明一些实施例中的四边形检测结果示意图；
图6为本发明一些实施例中的解码检测结果示意图；
图7为本发明一些实施例中的单应变换原理示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施方式对本发明进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，但并不用于限定本发明。
另外，在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。但注明直接连接则说明连接地两个主体之间并不通过过渡结构构建连接关系，只通过连接结构相连形成一个整体。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。
参照图1-7，图1为本发明一些实施例中的机器人实时定位流程示意图；图2为本发明一些实施例中的全景相机预先标定示意图；图3为本发明一些实施例中的机器人运行与人工标识位置示意图；图4为本发明一些实施例中的线段检测结果示意图；图5为本发明一些实施例中的四边形检测结果示意图；图6为本发明一些实施例中的解码检测结果示意图；图7为本发明一些实施例中的单应变换原理示意图。
根据本发明的一些实施例，本发明提供了一种基于人工标识和四目全景相机的机器人定位方法，包括:
S1、全景相机预先标定：利用标定板，令机器人上的四目全景相机预先识别该标定板，对全景相机的内部参数与外部参数进行估计；
全景相机与常规针孔投影成像的相机不同，由于视野更大，生成的图像会产生畸变，因此需要进行标定步骤，对畸变图像进行矫正，将图像转换成人们容易观看的针孔投影成像图片，另一方面，预先标定可以将现实世界的三维点与图片中的二维点相对应，求出相机的内参数与外参数，寻找对象与现实世界之间的数学转换关系；如图2所示，本发明的标定方法使用的是Kalibr多摄像机标定中的标定板标定，标定过程中需将标定板围绕四目全景相机旋转。
相机内部参数标定的目标是通过拍摄已知的标定板或特征点图像，最小化观测点的图像坐标和校准模型预测的图像坐标之间的误差，从而估计焦距、图像中心、畸变系数等内部参数；这些参数通常通过优化算法，如最小二乘法或非线性最小二乘法，在已知的标定图像数据上进行估计，上述内外参的标定方法均为现有技术，为辅助理解，下面展开描述。
具体的，相机内部参数包括焦距、图像中心和畸变系数，焦距表示相机的焦点距离，通常用fx和fy表示，其中fx和fy分别表示在图像的水平和垂直方向上的焦距；图像中心表示图像坐标系中的原点，通常用(cx,cy)表示；畸变系数用于描述镜头畸变，通常有径向畸变和切向畸变两种；
相机内部参数标定通常使用针孔相机模型，该模型假定光线从世界中的某个点穿过相机的针孔，并在成像平面上产生图像，这个过程可以用以下公式表示：
s×[u,v,1]T＝K×[X,Y,Z,1]T
其中，(u,v)是图像平面上的点坐标，(X,Y,Z)是世界坐标系中的点坐标；
K是相机内部参数矩阵，通常表示为：
S是一个尺度因子，通常设置为1，用于表示相机坐标系和图像坐标系之间的比例关系；
畸变模型用于修正相机镜头的畸变，通常分为径向畸变和切向畸变，径向畸变可用以下公式表示：
x_corrected＝x×(1+k1×r2+k2×r4+k3×r6)
y_corrected＝y×(1+k1×r2+k2×r4+k3×r6)
其中，(x,y)是畸变前的图像坐标，(x_corrected,y_corrected)是畸变校正后的图像坐标；k1,k2,k3是径向畸变系数，用于校正径向畸变；r为(x,y)到图像中心(cx,cy)的距离；切向畸变通常用p1和p2系数表示，但对于更复杂的相机模型，也可能包括更多畸变系数。
全景相机的外部参数标定涉及相机之间的坐标系，在多相机系统中，每个相机都有自己的坐标系，为了标定它们之间的外部参数，需要建立一个共同的世界坐标系，以便将它们的位置和方向关联起来；
相机之间的外部参数通常使用旋转矩阵和平移向量来表示，对于两个相机，如相机1和相机2，它们之间的变换可以表示为：
T12＝[R12|t12]
其中，R12是一个3x3的旋转矩阵，表示从相机1到相机2的旋转变换；t12是一个3x1的平移向量，表示从相机1到相机2的平移变换；
为了标定相机之间的外部参数，需要在它们的图像中检测共同的特征点，并进行特征点匹配，这些特征点可以是标定板的角点、自然场景中的特征点等，通过特征点的匹配，可以建立相机之间的对应关系；
在建立各相机之间的三维关系后，还需建立三维与二维的对应关系，使用特征点的匹配关系，可以建立三维空间中的点与相机图像中的点之间的对应关系，具体公式如下：
s×[u2,v2,1]T＝K2×[R12|t12]×T×[X,Y,Z,1]T
其中，(u2,v2)是相机2图像中的点坐标；K2是相机2的内部参数矩阵；T是世界坐标系到相机1坐标系的变换矩阵；(X,Y,Z)是三维空间中的点坐标，s是一个尺度因子，上述公式描述了从三维空间中的点到相机2图像中的点的映射关系。
在获得外部参数后，使用图优化方法来估计多相机系统的外部参数，在图中，节点表示相机的外部参数和三维点的位置，边表示观测点的图像坐标与估计点之间的误差。
完成优化后，Kalibr通常提供一些评估工具，以评估标定的质量和准确性，这些工具可以用来检查标定结果是否合理，并提供关于相机之间的相对姿态和位置误差的信息。
综上所述，Kalibr的多相机外部参数标定涉及建立相机之间的对应关系，而后使用图优化方法估计它们之间的旋转和平移变换，这些外部参数用于将不同相机的视觉信息统一到一个共享的世界坐标系中，支持多视图立体视觉、SLAM等应用。
S2、人工标识贴附：将具有特定图像的多个人工标识贴至室内的指定位置，使机器人在识别出该人工标识时可得出当下机器人的位姿；
其中，一张具有特定图像的人工标识具体为多个正方形的排列组合，即单张人工标识内的图像为多个正方形的排列组合，该正方形即为图像中的特征点，该正方形具有黑白两色。
S3、机器人运行：在全景相机预先标定完成后，机器人开启常规移动并运行定位程序，不断检测视野内存在的人工标识；
S4、人工标识识别：在检测到视野内存在的人工标识后，对人工标识上的图像进行识别，具体包括图像检测、单应变换、外参估计和有效载荷解码，转换得出单目相机视野内的人工标识图像，根据人工标识图像得出该相机的具体位姿信息；
具体人工标识识别步骤如下：
S41、线段检测：计算图像中每个像素点的梯度方向和大小，将相似梯度方向和大小的像素点进行聚合，对相邻的像素点添加边，而对于每条边，判断被该边相连的像素点是否应该连结在一起；
在上述线段检测步骤中，涉及聚类算法,具体算法如下：
A(n∪m)≤min(A(n),A(m))+KA/|n∪m|
B(n∪m)≤min(B(n),B(m))+KB/|n∪m|
其中，n、m表示不同像素点集，A(n)表示集合n的梯度方向范围，B(n)表示集合n的梯度大小范围，A(m)和B(m)同理，对于给定的两个点集n和m，如果满足上述两个条件，则将它们合并在一起，KA为衡量梯度方向变化的参数，KB为衡量梯度大小变化的参数，KA和KB可手动设置，通过更改KA和KB可以适度增加集合内的变化；|n∪m|表示区块n和区块m的并集中的像素数量；
一旦聚类操作完成，使用传统的最小二乘法将线段拟合到每个连接的区块，并根据其梯度大小对每个点进行加权，区块即图像中的一组像素，这些像素具有相似的梯度方向和梯度大小。
S42、四边形检测：经过线段检测，图像中有一组有向线段已经计算得出，而后使用基于递归的深度优先搜索算法，寻找形成四边形状的线段序列，在四条线均被找到的情况下，一个候选四边形区域会被创建；
在上述四边形检测步骤中，使用的深度优先搜索算法，深度为4，搜索树的每个层级都向四边形添加一条边，在深度1处，考虑所有线段，在深度2到4处，考虑所有线段中开始的位置足够接近前一线段结束的位置，并且服从逆时针绕线顺序。
S43、单应变换：经S42步骤后检测出的人工标识图像若存在仿射变换，即拍摄时的人工标识图像不是正对全景相机，正方形的特征点会产生畸变，因此需要将检测出的人工标识图像特征点投影成为正方形，投影过程涉及单应变换，单应变换后产生一单应性矩阵，该单应性矩阵通过直接线性变换DLT计算得到；
和单应变换类似的方法还有极线矫正和仿射变换，极线校正是一种用于立体视觉的技术，这种方法通常需要额外的计算，并且对于一些应用来说可能不够实用，而仿射变换是一种比单应变换更简单的几何变换，它可以用于校正一些透视畸变，然而它不能处理所有类型的透视畸变，因此在某些情况下可能会出现不足之处，因此单应变换的优势体现在：相对于其他复杂的方法，单应变换是一种相对简单的几何变换，易于实现和理解，具有简单性；单应变换适用于各种不同的程度畸变情况，包括在不同视角下拍摄的情况，可以通过适当的参数调整来适应不同的场景，具有灵活性；单应变换的计算通常较为高效，特别是对于实时或嵌入式应用，它的速度可能更具优势。
S44、外参估计：在得到单应性矩阵后，人工标识图像有关位置与方向的计算还需要全景相机焦距和人工标识物理尺寸的辅助，根据相机的焦距和人工标识的物理尺寸，辅以相机成像模型，利用相似三角形，即可得出人工标识的和该全景相机的相对位置关系，若该全景相机的位姿已知，可推算出人工标识的位置，相反的，若人工标识的位姿已知，即可推算出该全景相机的位姿。
在S43及S44步骤中，单应性矩阵为相机投影矩阵F3x4和外参矩阵E4x3的乘积，外参矩阵为4x4的矩阵，但人工标识上的每一个特征点在坐标系中都是z＝0，因此可将每个特征点坐标重写为z隐式为零的二维齐次点，并删除外参矩阵的第三列，形成截断的外参矩阵，将F的旋转分量表示为Rij，将平移分量表示为Tk，单应性矩阵计算如下：
其中，α是缩放尺度因子，展开以上公式：
h00＝αR00fx
h01＝αR01fx
h02＝αTxfx
...
然而，由于旋转矩阵的列必须都是单位大小，我们可以限制α的大小，我们有旋转矩阵的两列，所以我们计算α作为它们大小的几何平均值，α的符号可以通过要求人工标识出现在摄像机前面来恢复，即Tz<0，旋转矩阵的第三列可以通过计算两个已知列的叉乘来恢复，因为旋转矩阵的列必须是标准正交的。
S45、有效载荷解码：通过计算每个特征点的相对坐标，使用单应变换将其转换为图像坐标，而后对结果像素进行阈值化来实现解码。
在S45步骤中，阈值化解码通过建立黑色像素的空间灰度模型实现，灰度模型具体如下：
P(x,y)＝Ax+Bxy+Cy+D
其中，使用人工标识的边界，其同时包含白色和黑色像素，该模型有四个参数(A，B，C，D)，采用最小二乘法计算上述参数，建立两个模型，一个用于计算黑色，一个用于计算白色，解码阈值采用黑色和白色模型的预测值的平均值；
A为函数在x方向上的线性部分参数，在模型中，A用于考虑与x的线性相关性；B为函数中x和y之间交互项的参数，可用于捕捉像素强度在x和y方向上的复杂变化；C为函数在y方向上的线性部分参数，在模型中，C用于考虑与y的线性相关性；D为函数的常数项参数，即与x和y无关的常数，用于表示像素的基准强度。
S5、四目相机协同工作：当四目全景相机中的一个相机识别到具有位姿信息的人工标识，推算出该相机的位姿之后，即可通过坐标变换，推算出其他相机的位姿信息，实现四目全景相机协同工作的效果；
在S5步骤中，选择其中一个全景相机的坐标系为参考坐标系，所有其他全景相机的坐标将相对于该全景相机进行变换,转换公式如下：
Pc0＝RPi+T
其中，Pc0为参考坐标系，R为4x4的旋转矩阵，Pi表示除参考坐标系之外的相机坐标系，T表示Pi坐标系的原点与参考坐标系原点之间的偏移量，R和T可以通过相机的外参标定得到。
本发明还提供一种基于人工标识和四目全景相机的机器人定位方法的设备，其特征在于，包括可以实现全方位移动的移动机器人、设置于该移动机器人上的四目全景相机以及接收来自该四目全景相机的信号并对实时位姿进行计算与处理的控制中心。
应该理解的是，本发明所公开的实施例不限于此处所公开的特定处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的此类特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。
说明书中提到的“实施例”意指结合实施例描述的特定特征、或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语或“实施例”并不一定均指同一个实施例。
此外，所描述的特征或特性可以任何其他合适的方式结合到一个或多个实施例中。在上面的描述中，提供一些具体的细节，例如厚度、数量等，以提供对本发明的实施例的全面理解。然而，相关领域的技术人员将明白，本发明无需上述一个或多个具体的细节便可实现或者也可采用其他方法、组件、材料等实现。

Claims (6)

1.基于人工标识和四目全景相机的机器人定位方法，其特征在于，包括
S1、全景相机预先标定：利用标定板，令机器人上的四目全景相机预先识别该标定板，对全景相机的内部参数与外部参数进行估计；
S2、人工标识贴附：将具有特定图像的多个人工标识贴至室内的指定位置，使机器人在识别出该人工标识时可得出当下机器人的位姿；
一张具有特定图像的人工标识具体为多个正方形的排列组合，即单张人工标识内的图像为多个正方形的排列组合，该正方形即为图像中的特征点，该正方形具有黑白两色；
S3、机器人运行：在全景相机预先标定完成后，机器人开启常规移动并运行定位程序，不断检测视野内存在的人工标识；
S4、人工标识识别：在检测到视野内存在的人工标识后，对人工标识上的图像进行识别，具体包括图像检测、单应变换、外参估计和有效载荷解码，转换得出单目相机视野内的人工标识图像，根据人工标识图像得出该相机的具体位姿信息，具体人工标识识别步骤如下：
S41、线段检测：计算图像中每个像素点的梯度方向和大小，将相似梯度方向和大小的像素点进行聚合，对相邻的像素点添加边，而对于每条边，判断被该边相连的像素点是否应连结在一起；
在线段检测步骤中，涉及聚类算法,具体算法如下：
其中，n、m表示不同像素点集，A(n)表示集合n的梯度方向范围，B(n)表示集合n的梯度大小范围，同理，对于给定的两个点集/>和/>，如果满足上述两个条件，则将/>和合并在一起，/>为衡量梯度方向变化的参数，/>为衡量梯度大小变化的参数，/>和/>手动设置，通过更改/>和/>增加集合内的变化；|n∪m|表示区块n和区块m并集中的像素数量；
一旦聚类操作完成，使用传统的最小二乘法将线段拟合到每个连接的区块，并根据其梯度大小对每个点进行加权，区块即图像中的一组像素，这些像素具有相似的梯度方向和梯度大小；
S42、四边形检测：经过线段检测，图像中有一组有向线段已经计算得出，而后使用基于递归的深度优先搜索算法，寻找形成四边形状的线段序列，在四条线均被找到的情况下，一个候选四边形区域会被创建；
S43、单应变换：经S42步骤后检测出的人工标识图像若存在仿射变换，即拍摄时的人工标识图像不是正对全景相机，正方形的特征点会产生畸变，则需将检测出的人工标识图像特征点投影成为正方形，投影过程涉及单应变换，单应变换后产生一单应性矩阵，该单应性矩阵通过直接线性变换DLT计算得到；
S44、外参估计：在得到单应性矩阵后，人工标识图像有关位置与方向的计算还需要全景相机焦距和人工标识物理尺寸的辅助，根据相机的焦距和人工标识的物理尺寸，辅以相机成像模型，即可得出人工标识和该全景相机的相对位置关系及位姿；
S45、有效载荷解码：通过计算每个特征点的相对坐标，使用单应变换将其转换为图像坐标，而后对结果像素进行阈值化来实现解码，阈值化解码通过建立黑色像素的空间灰度模型实现，灰度模型具体如下：
其中，使用人工标识的边界，其同时包含白色和黑色像素，该模型有四个参数（A，B，C，D），采用最小二乘法计算参数，建立两个模型，一个用于计算黑色，一个用于计算白色，解码阈值采用黑色和白色模型的预测值的平均值；
A为函数在x方向上的线性部分参数，在模型中，A用于考虑与x的线性相关性；B为函数中x和y之间交互项的参数，用于捕捉像素强度在x和y方向上的复杂变化；C为函数在y方向上的线性部分参数，在模型中，C用于考虑与y的线性相关性；D为函数的常数项参数，即与x和y无关的常数，用于表示像素的基准强度；
S5、四目相机协同工作：当四目全景相机中的一个相机识别到具有位姿信息的人工标识，推算出该相机的位姿之后，即可通过坐标变换，推算出其他相机的位姿信息，实现四目全景相机协同工作的效果。
2.根据权利要求1所述的基于人工标识和四目全景相机的机器人定位方法，其特征在于，在S42的四边形检测步骤中，使用的深度优先搜索算法，深度为4，搜索树的每个层级都向四边形添加一条边，在深度1处，考虑所有线段，在深度2到4处，考虑所有线段中开始的位置足够接近前一线段结束的位置，并且服从逆时针绕线顺序。
3.根据权利要求1所述的基于人工标识和四目全景相机的机器人定位方法，其特征在于，在S43及S44步骤中，单应性矩阵为相机投影矩阵和外参矩阵/>的乘积，外参矩阵为4x4的矩阵，但人工标识上的每一个特征点在坐标系中都是z = 0，因此将每个特征点坐标重写为z隐式为零的二维齐次点，并删除外参矩阵的第三列，形成截断的外参矩阵，将F的旋转分量表示为/>，将平移分量表示为/>，单应性矩阵计算如下：
其中，是缩放尺度因子，展开以上公式：
...
4.根据权利要求1所述的基于人工标识和四目全景相机的机器人定位方法，其特征在于，在S5步骤中，选择其中一个全景相机的坐标系为参考坐标系，所有其他全景相机的坐标将相对于该全景相机进行变换,转换公式如下：
其中，为参考坐标系，R为4x4的旋转矩阵，Pi表示除参考坐标系之外的相机坐标系，T表示Pi坐标系的原点与参考坐标系原点之间的偏移量，R和T通过相机的外参标定得到。
5.根据权利要求1所述的基于人工标识和四目全景相机的机器人定位方法，其特征在于，在S1的预先标定步骤中，标定方法使用的是Kalibr多摄像机标定中的标定板标定,标定过程中需将标定板围绕四目全景相机旋转。
6.基于人工标识和四目全景相机的机器人定位方法的设备，其特征在于，所述设备应用有权利要求1-5中任意一项所述的基于人工标识和四目全景相机的机器人定位方法，所述设备包括可以实现全方位移动的移动机器人、设置于该移动机器人上的四目全景相机以及接收来自该四目全景相机的信号并对实时位姿进行计算与处理的控制中心。
CN202311301779.6A 2023-10-10 2023-10-10 基于人工标识和四目全景相机的机器人定位方法及设备 Active CN117036489B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311301779.6A CN117036489B (zh) 2023-10-10 2023-10-10 基于人工标识和四目全景相机的机器人定位方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311301779.6A CN117036489B (zh) 2023-10-10 2023-10-10 基于人工标识和四目全景相机的机器人定位方法及设备

Publications (2)

Publication Number Publication Date
CN117036489A CN117036489A (zh) 2023-11-10
CN117036489B true CN117036489B (zh) 2024-02-09

Family

ID=88626735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311301779.6A Active CN117036489B (zh) 2023-10-10 2023-10-10 基于人工标识和四目全景相机的机器人定位方法及设备

Country Status (1)

Country Link
CN (1) CN117036489B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108562274A (zh) * 2018-04-20 2018-09-21 南京邮电大学 一种基于标志器的非合作目标位姿测量方法
CN108898634A (zh) * 2018-07-06 2018-11-27 张显磊 基于双目相机视差对绣花机目标针眼进行精确定位的方法
WO2019063146A1 (en) * 2017-09-18 2019-04-04 Abb Schweiz Ag ROBOT ARM AND ITS CONTROL METHOD
CN110827357A (zh) * 2019-09-30 2020-02-21 深圳市安思疆科技有限公司 一种组合图案标定板以及结构光相机参数标定方法
CN111445531A (zh) * 2020-03-24 2020-07-24 云南电网有限责任公司楚雄供电局 一种多目相机导航方法、装置、设备及存储介质
CN112833883A (zh) * 2020-12-31 2021-05-25 杭州普锐视科技有限公司 一种基于多相机的室内移动机器人定位方法
CN113052903A (zh) * 2021-03-17 2021-06-29 浙江大学 一种用于移动机器人的视觉与雷达融合定位方法
US11763485B1 (en) * 2022-04-20 2023-09-19 Anhui University of Engineering Deep learning based robot target recognition and motion detection method, storage medium and apparatus

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7934869B2 (en) * 2009-06-30 2011-05-03 Mitsubishi Electric Research Labs, Inc. Positioning an object based on aligned images of the object
US11112780B2 (en) * 2018-03-07 2021-09-07 Skylla Technologies, Inc. Collaborative determination of a load footprint of a robotic vehicle

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019063146A1 (en) * 2017-09-18 2019-04-04 Abb Schweiz Ag ROBOT ARM AND ITS CONTROL METHOD
CN108562274A (zh) * 2018-04-20 2018-09-21 南京邮电大学 一种基于标志器的非合作目标位姿测量方法
CN108898634A (zh) * 2018-07-06 2018-11-27 张显磊 基于双目相机视差对绣花机目标针眼进行精确定位的方法
CN110827357A (zh) * 2019-09-30 2020-02-21 深圳市安思疆科技有限公司 一种组合图案标定板以及结构光相机参数标定方法
CN111445531A (zh) * 2020-03-24 2020-07-24 云南电网有限责任公司楚雄供电局 一种多目相机导航方法、装置、设备及存储介质
CN112833883A (zh) * 2020-12-31 2021-05-25 杭州普锐视科技有限公司 一种基于多相机的室内移动机器人定位方法
CN113052903A (zh) * 2021-03-17 2021-06-29 浙江大学 一种用于移动机器人的视觉与雷达融合定位方法
US11763485B1 (en) * 2022-04-20 2023-09-19 Anhui University of Engineering Deep learning based robot target recognition and motion detection method, storage medium and apparatus

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
基于单目视觉的移动机器人室内定位;魏焱;符秀辉;;科技风(31);全文 *
基于多目红外相机的手术机器人光学跟踪系统相关技术研究;孙波;《中国优秀硕士论文全文数据库 信息科技辑》(第04期);全文 *
多目全景相机的内外参数标定研究;曹文君;;工业控制计算机(第12期);全文 *
多目视觉下的工业机器人应用研究;李静轩;顾祥;;计算机产品与流通(第02期);全文 *

Also Published As

Publication number Publication date
CN117036489A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN111462135B (zh) 基于视觉slam与二维语义分割的语义建图方法
US7565029B2 (en) Method for determining camera position from two-dimensional images that form a panorama
CN107533763B (zh) 图像处理装置、图像处理方法及程序
CN107843251B (zh) 移动机器人的位姿估计方法
CN110807809B (zh) 基于点线特征和深度滤波器的轻量级单目视觉定位方法
Pizarro et al. Relative Pose Estimation for Instrumented, Calibrated Imaging Platforms.
CN110146099B (zh) 一种基于深度学习的同步定位与地图构建方法
CN111553939B (zh) 一种多目摄像机的图像配准算法
US20170064287A1 (en) Fast algorithm for online calibration of rgb-d camera
JP4132068B2 (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
CN112767546B (zh) 移动机器人基于双目图像的视觉地图生成方法
CN113793266A (zh) 一种多目机器视觉图像拼接方法、系统及存储介质
Huang et al. 360vo: Visual odometry using a single 360 camera
Tsaregorodtsev et al. Extrinsic camera calibration with semantic segmentation
Nirmal et al. Homing with stereovision
Hakeem et al. Estimating geospatial trajectory of a moving camera
CN117036489B (zh) 基于人工标识和四目全景相机的机器人定位方法及设备
Andreasson et al. Vision aided 3D laser scanner based registration
CN109410272B (zh) 一种变压器螺母识别与定位装置及方法
Geiger Monocular road mosaicing for urban environments
KR20240056516A (ko) 카메라 교정을 위한 카메라 모델을 생성하는 방법 및 시스템
CN108955687A (zh) 移动机器人的综合定位方法
Zhao et al. 3D reconstruction of an urban scene from synthetic fish-eye images
CN112258633A (zh) 一种基于slam技术的场景高精度重建方法及装置
Ross et al. Mobile robot mosaic imaging of vehicle undercarriages using catadioptric vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant