CN113192075A - 一种改进的基于ArUco标记的视觉测距方法 - Google Patents
一种改进的基于ArUco标记的视觉测距方法 Download PDFInfo
- Publication number
- CN113192075A CN113192075A CN202110379290.5A CN202110379290A CN113192075A CN 113192075 A CN113192075 A CN 113192075A CN 202110379290 A CN202110379290 A CN 202110379290A CN 113192075 A CN113192075 A CN 113192075A
- Authority
- CN
- China
- Prior art keywords
- aruco
- circle
- characteristic
- mark
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Abstract
本发明公开了一种改进的基于ArUco标记的视觉测距方法,属于相机测距技术领域,该方法包括以下步骤:生成一个ArUco标记,沿其对角线方向在其四个角点外侧放置等间距四个特征圆,相机连续采集到的n帧含有ArUco标记的图像进行平均处理,在平均处理后的ArUco标记图像中找到ArUco标记的基本位置,记录ArUco标记的四个角点坐标,通过圆轮廓及圆轮廓内部区域得到四个特征圆的圆心横纵坐标;通过直线拟合方法如最小二乘法分别将ArUco标记的对应角点及其角点对应的特征圆的圆心形成的一组点,进行直线拟合,利用校正后的四个角点坐标,通过求解P4P问题,得到相机相对ArUco标记的旋转矩阵和平移向量,得到计算相机到ArUco标记之间的距离,该方法相比只是使用ArUco标记,准确性所提高,稳定性明显提升。
Description
技术领域
本发明涉及相机测距技术领域,尤其涉及一种改进的基于ArUco标记的视觉测距方法。
背景技术
随着传感器技术和机器视觉技术的发展,基于视觉的测距技术日趋广泛地应用于智能制造等工业领域。ArUco标记可以被用来进行视觉测距,检测标记的四个角点坐标,通过求解PnP问题得到相机相对于标记的旋转和平移矩阵。而求解ArUco标记角点坐标的方法是求解标记四条边的交点,在高噪声的工业环境中,图像存在顶点抖动的问题,导致所求交点位置不稳定,且未对测量角点坐标进行校正,直接影响距离计算的稳定性,不容易得到准确的测量结果。
发明内容
根据现有技术存在的问题,本发明公开了一种改进的基于ArUco标记的视觉测距方法,包括以下步骤:
生成一个ArUco标记,沿其对角线方向在其四个角点外侧放置等间距四个特征圆,计算由ArUco标记和四个特征圆构成的整个区域与ArUco标记之间的尺寸比例系数k;
相机连续采集到的n帧含有ArUco标记的图像进行平均处理,调用ArUco 库中的标记检测函数,在平均处理后的ArUco标记图像中找到ArUco标记的基本位置,记录ArUco标记的四个角点坐标(xi,yi),i=1,2,3,4,并计算ArUco 标记像素尺寸lm,通过比例系数k计算整个感兴趣区域的像素尺寸lw,通过lw裁剪出包含四个特征圆和ArUco标记的整个感兴趣区域ROI;
在整个感兴趣区域ROI区域中,进行Hough椭圆检测得到特征圆的轮廓,通过圆轮廓及圆轮廓内部区域得到四个特征圆的圆心横纵坐标(Cxi,Cyi);
通过排序方法使ArUco标记角点横纵坐标(xi,yi)与其对应的特征圆的圆心横纵坐标(Cxi,Cyi)排列顺序相一致;通过特征圆圆心筛选的方法判断圆心位置是否正确,是否位于对应角点位置,若检测到的特征圆的圆心位置错误,返回S2,若检测到的特征圆的圆心位置正确,则进行S5;
通过直线拟合方法分别将ArUco标记的对应角点及其角点对应的特征圆的圆心形成的一组点,进行直线拟合,得到直线l1:y=a1x+b1,l2:y=a2x+b2,将直线l1,l2上距离已检测到的ArUco角点(xi,yi)最近的点(xi′,yi′),作为ArUco标记的校正后角点;
利用校正后的四个角点坐标(xi′,yi′),通过求解P4P问题,得到相机相对ArUco 标记的旋转矩阵和平移向量,即可得到计算相机到ArUco标记之间的距离。
进一步地:所述特征圆的圆心通过以下方式获得:
将椭圆区域内的像素通过公式(1)得到椭圆区域的零阶矩和一阶矩:
其中,mp,q代表对象中所有像素的总和,其中每个像素x,y的像素值I都乘以因子xpyq,在m00时,这个因子等于1;
得到圆形区域的零阶矩与一阶矩后,通过公式(2)计算检测到的圆形区域圆心,得到特征圆的圆心坐标(Cxi,Cyi)。
其中,M00为圆形区域零阶矩,M10,M01分别为圆形区域的一阶矩。
进一步地:所述特征圆圆心筛选方法通过以下方式确定:
分别计算特征圆的圆心与其对应角点的距离L1i,通过检测到的尺寸比例系数k计算角点到对应圆心的参考距离L2i,设定误差阈值M,当|L1i-L2i|>M,则判断检测到的特征圆的圆心位置错误,当|L1i-L2i|≤M,则判断检测到的特征圆的圆心位置正确;
进一步地:所述特征圆的大小及位置通过以下方式确定:
所述特征圆的半径为ArUco尺寸的1/5到1/4之间,ArUco标记角点与对应的特征圆圆周之间间隙不小于ArUco内部一个位所占大小。
由于采用了上述技术方案,本发明提供的一种改进的基于ArUco标记的视觉测距方法,1)通过在ArUco标记的对角线方向上增加特征圆的方式,计算特征圆的零阶矩和一阶矩,使用相机采集到的图像中更多的像素信息求得特征点坐标,并对ArUco标记的角点校正,提高了ArUco标记角点坐标检测的准确性和稳定性,在使用校正后的角点求解PnP问题来获取目标距离时,尤其检测目标处于运动和噪声严重导致图像存在顶点抖动问题的情况下,其测量结果相比只是使用ArUco标记,准确性有所提高,稳定性有明显提升;2)通过检测ArUco标记自身,以及特征圆与ArUco标记之间的比例关系k获取包含特征圆的感兴趣区域,简化了ROI提取方法,提高了检测实时性,通过识别ArUco标记的ID,保证了ROI的检测准确性;3)通过对检测到的特征圆圆心坐标排序,将检测到的特征圆圆心与ArUco标记中圆心真实位置对应,并与检测到的ArUco 标记的角点坐标对应,有效避免了ArUco标记在平面内发生角度偏转时,特征点对角点校正不匹配的问题,不局限于ArUco标记只与相机成固定角度,而在测量平面内以任意旋转角度放置,提高了测量的容错性与便携性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明改进的ArUco角点检测方法流程图;
图2为增加特征圆后的ArUco标记图;
图3(a)为原始图像图;
图3(b)为感兴趣区域图;
图3(c)为检测特征圆并对角点进行校正图;
图4为测量相机轴向距离的相对误差图;
图5为测量相机轴向距离的标准差图;
图6为测量相机径向距离的相对误差图;
图7为测量相机径向距离的标准差图。
具体实施方式
为使本发明的技术方案和优点更加清楚,下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚完整的描述:
针对现有研究中存在的问题,本发明提出一种改进的基于ArUco标记的视觉测距方法,方法流程图如图1,具体包括以下步骤:
S1:生成一个ArUco标记,沿其对角线方向在其四个角点外侧放置等间距四个特征圆,如图2所示。计算由ArUco标记和四个特征圆构成的整个区域边长 Lw与ArUco标记边长Lm之间的尺寸比例系数k,其中k=Lw/Lm,就是整个区域的边长除以ArUco的边长得到比例系数;
S2:相机连续采集到的n(n一般取2-3)帧含有ArUco标记的图像进行平均处理,调用ArUco库中的标记检测函数,在平均处理后的ArUco标记图像中找到ArUco标记的基本位置,记录ArUco标记的四个角点坐标(xi,yi),i=1,2,3,4,并计算ArUco标记像素尺寸lm,通过比例系数k计算整个感兴趣区域的像素尺寸lw,lm通过检测出的角点坐标计算,就是ArUco的边长,计算相邻点的横纵坐标的差值,取最大值为lm,lw=lm*k;通过lw裁剪出包含四个特征圆和ArUco 标记的整个感兴趣区域ROI;图3(a)为原始图像,图3(b)为感兴趣区域图。
S3:在整个感兴趣区域ROI区域中,进行Hough椭圆检测得到特征圆的轮廓,通过圆轮廓及圆轮廓内部区域得到四个特征圆的圆心横纵坐标(Cxi,Cyi);
S4:通过排序方法如冒泡排序法,使ArUco标记角点横纵坐标(xi,yi)与其对应的特征圆的圆心横纵坐标(Cxi,Cyi)排列顺序相一致;通过特征圆圆心筛选的方法判断圆心位置是否正确,是否位于对应角点位置,若检测到的特征圆的圆心位置错误,返回S2,若检测到的特征圆的圆心位置正确,则进行S5;
S5:通过直线拟合如最小二乘法分别将ArUco标记的对应角点及其角点对应的特征圆的圆心形成的一组点,共包含两组这样的点,对两组这样的点进行直线拟合,得到直线l1:y=a1x+b1,l2:y=a2x+b2,其中想,x,y为图像中的坐标,a1,b1,a2,b2为拟合得到的直线参数,图3(c)为检测特征圆并对角点进行校正图。将直线l1,l2上距离已检测到的ArUco角点(xi,yi)最近的点(xi′,yi′),作为ArUco标记的校正后角点;
S6:利用校正后的四个角点坐标(xi′,yi′),通过求解P4P问题,得到相机相对ArUco标记的旋转矩阵和平移向量,即可得到相机到ArUco标记之间的距离。
进一步地,所述特征圆的圆心通过以下方式获得:
将椭圆区域内的像素通过公式(1)得到椭圆区域的零阶矩和一阶矩:
其中,mp,q代表对象中所有像素的总和,其中每个像素x,y的像素值I都乘以因子xpyq,在m00时,这个因子等于1;
得到圆形区域的零阶矩与一阶矩后,通过公式(2)计算检测到的圆形区域圆心,得到特征圆的圆心坐标(Cxi,Cyi)。
其中,M00为圆形区域零阶矩,M10,M01分别为圆形区域的一阶矩。
进一步地:所述特征圆圆心筛选方法通过以下方式确定:
分别计算特征圆的圆心与其对应角点的距离L1i,通过检测到的尺寸比例系数k计算角点到对应圆心的参考距离L2i,设定误差阈值M,当|L1i-L2i|>M,则判断检测到的特征圆的圆心位置错误,当|L1i-L2i|≤M,则判断检测到的特征圆的圆心位置正确;
进一步地,所述特征圆的大小及位置通过以下方式确定:
所述特征圆的半径为ArUco尺寸的1/5到1/4之间,ArUco标记角点与对应的特征圆圆周之间间隙不小于ArUco内部一个位所占大小。
进一步地,相机拍摄的图像的透视变换公式可用公式(3)表示,其中s是所需的比例因子,pi是图像中的一个点,qi是在图像上p点对应相机坐标系的 3D坐标,矩阵A代表摄像机的内部参数,[RG|TG]被称为外在参数,表示了摄像机在世界坐标系里的位置和方向。
s*pi=A[RG|TG]qi (3)
利用校正后的四个角点坐标(xi′,yi′),代入公式(3)的展开公式(4),通过求解P4P问题,得到相机相对标记的旋转矩阵和平移向量。
将平移向量中的(t1,t2,t3)代入公式(5)即可得到相机与标记中心之间的距离D。
测量距离在镜头径向和轴向两个方向上的测量相对误差及标准差如图 4到图7所示,图4为测量相机轴向距离的相对误差图;图5为测量相机轴向距离的标准差图;图6为测量相机径向距离的相对误差图;图7为测量相机径向距离的标准差图。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (4)
1.一种改进的基于ArUco标记的视觉测距方法,其特征在于:包括以下步骤:
生成一个ArUco标记,沿其对角线方向在其四个角点外侧放置等间距四个特征圆,计算由ArUco标记和四个特征圆构成的整个区域与ArUco标记之间的尺寸比例系数k;
相机连续采集到的n帧含有ArUco标记的图像进行平均处理,调用ArUco库中的标记检测函数,在平均处理后的ArUco标记图像中找到ArUco标记的基本位置,记录ArUco标记的四个角点坐标(xi,yi),i=1,2,3,4,并计算ArUco标记像素尺寸lm,通过比例系数k计算整个感兴趣区域的像素尺寸lw,通过lw裁剪出包含四个特征圆和ArUco标记的整个感兴趣区域ROI;
在整个感兴趣区域ROI区域中,通过圆轮廓及圆轮廓内部区域得到四个特征圆的圆心横纵坐标(Cxi,Cyi);
通过排序方法使ArUco标记角点横纵坐标(xi,yi)与其对应的特征圆的圆心横纵坐标(Cxi,Cyi)排列顺序相一致;通过特征圆圆心筛选的方法判断圆心位置是否正确,是否位于对应角点位置;
通过直线拟合方法分别将ArUco标记的对应角点及其角点对应的特征圆的圆心形成的一组点,进行直线拟合,得到直线l1:y=a1x+b1,l2:y=a2x+b2,将直线l1,l2上距离已检测到的ArUco角点(xi,yi)最近的点(x′i,y′i),作为ArUco标记的校正后角点;
利用校正后的四个角点坐标(x′i,y′i),通过求解P4P问题,得到相机相对ArUco标记的旋转矩阵和平移向量,即可得到计算相机到ArUco标记之间的距离。
3.根据权利要求1所述的一种改进的基于ArUco标记的视觉测距方法,其特征还在于:所述特征圆的大小及位置通过以下方式确定:
所述特征圆的半径为ArUco尺寸的1/5到1/4之间,ArUco标记角点与对应的特征圆圆周之间间隙不小于ArUco内部一个位所占大小。
4.根据权利要求1所述的一种改进的基于ArUco标记的视觉测距方法,其特征还在于:所述特征圆圆心筛选方法通过以下方式确定:
分别计算特征圆的圆心与其对应角点的距离L1i,通过检测到的尺寸比例系数k计算角点到对应圆心的参考距离L2i,设定误差阈值M,当|L1i-L2i|>M,则判断检测到的特征圆的圆心位置错误,当|L1i-L2i|≤M,则判断检测到的特征圆的圆心位置正确。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110379290.5A CN113192075A (zh) | 2021-04-08 | 2021-04-08 | 一种改进的基于ArUco标记的视觉测距方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110379290.5A CN113192075A (zh) | 2021-04-08 | 2021-04-08 | 一种改进的基于ArUco标记的视觉测距方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113192075A true CN113192075A (zh) | 2021-07-30 |
Family
ID=76975051
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110379290.5A Pending CN113192075A (zh) | 2021-04-08 | 2021-04-08 | 一种改进的基于ArUco标记的视觉测距方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113192075A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114166141A (zh) * | 2021-11-23 | 2022-03-11 | 中国直升机设计研究所 | 一种直升机高速旋转桨叶图像的多圆形标记检测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106774844A (zh) * | 2016-11-23 | 2017-05-31 | 上海创米科技有限公司 | 一种用于虚拟定位的方法及设备 |
US20180116556A1 (en) * | 2016-10-27 | 2018-05-03 | Nanjing Avatarmind Robot Technology Co., Ltd. | Height measurement method based on monocular machine vision |
US20190364206A1 (en) * | 2018-05-25 | 2019-11-28 | Aquifi, Inc. | Systems and methods for multi-camera placement |
US10742969B1 (en) * | 2019-06-28 | 2020-08-11 | GM Cruise Holdings, LLC | Control of dynamic scene motion by vehicle based on vehicle sensor capture |
CN111612846A (zh) * | 2020-04-29 | 2020-09-01 | 南京震坤物联网科技有限公司 | 基于U-net CNN图像识别和像素标定的混凝土裂缝宽度测定方法 |
KR102176729B1 (ko) * | 2020-02-05 | 2020-11-09 | (주)에바 | 이동수단의 위치인식방법 및 위치인식시스템 |
-
2021
- 2021-04-08 CN CN202110379290.5A patent/CN113192075A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180116556A1 (en) * | 2016-10-27 | 2018-05-03 | Nanjing Avatarmind Robot Technology Co., Ltd. | Height measurement method based on monocular machine vision |
CN106774844A (zh) * | 2016-11-23 | 2017-05-31 | 上海创米科技有限公司 | 一种用于虚拟定位的方法及设备 |
US20190364206A1 (en) * | 2018-05-25 | 2019-11-28 | Aquifi, Inc. | Systems and methods for multi-camera placement |
US10742969B1 (en) * | 2019-06-28 | 2020-08-11 | GM Cruise Holdings, LLC | Control of dynamic scene motion by vehicle based on vehicle sensor capture |
KR102176729B1 (ko) * | 2020-02-05 | 2020-11-09 | (주)에바 | 이동수단의 위치인식방법 및 위치인식시스템 |
CN111612846A (zh) * | 2020-04-29 | 2020-09-01 | 南京震坤物联网科技有限公司 | 基于U-net CNN图像识别和像素标定的混凝土裂缝宽度测定方法 |
Non-Patent Citations (1)
Title |
---|
YUTAO WANG: "An Improved ArUco Marker for Monocular Vision Ranging", 《2020 CHINESE CONTROL AND DECISION CONFERENCE (CCDC)》, pages 2916 - 2919 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114166141A (zh) * | 2021-11-23 | 2022-03-11 | 中国直升机设计研究所 | 一种直升机高速旋转桨叶图像的多圆形标记检测方法 |
CN114166141B (zh) * | 2021-11-23 | 2023-05-26 | 中国直升机设计研究所 | 一种直升机高速旋转桨叶图像的多圆形标记检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108053450B (zh) | 一种基于多约束的高精度双目相机标定方法 | |
CN107292927B (zh) | 一种基于双目视觉的对称运动平台位姿测量方法 | |
CN109272574B (zh) | 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法 | |
CN110009682B (zh) | 一种基于单目视觉的目标识别定位方法 | |
CN108613630B (zh) | 基于图像处理技术的两线型管水准器气泡偏移量测量方法 | |
CN110361717B (zh) | 激光雷达-摄像机联合标定靶和联合标定方法 | |
CN111123242B (zh) | 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质 | |
CN109461132B (zh) | 基于特征点几何拓扑关系的sar图像自动配准方法 | |
CN110223355B (zh) | 一种基于双重极线约束的特征标志点匹配方法 | |
CN113256729A (zh) | 激光雷达与相机的外参标定方法、装置、设备及存储介质 | |
Wang et al. | An improved ArUco marker for monocular vision ranging | |
CN111681186A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
CN113192075A (zh) | 一种改进的基于ArUco标记的视觉测距方法 | |
CN115187612A (zh) | 一种基于机器视觉的平面面积测量方法、装置及系统 | |
CN111380503B (zh) | 一种采用激光辅助标定的单目相机测距方法 | |
CN116758142A (zh) | 一种图像地理配准的缺陷组件定位方法及装置 | |
CN105809685A (zh) | 一种基于单幅同心圆图像的摄像机定标方法 | |
CN111968182B (zh) | 一种双目相机非线性模型参数的标定方法 | |
CN115493568A (zh) | 一种基于机器视觉的单目相机室内坐标定位方法 | |
CN115409897A (zh) | 基于背景点云精细化处理的激光雷达与相机联合标定方法 | |
CN112233063B (zh) | 一种大尺寸圆形物体的圆心定位方法 | |
CN109035335B (zh) | 一种基于单目视觉的海底隧道渗水水位识别方法 | |
CN112215240A (zh) | 一种提高2d复杂边缘检测精度的优化方法 | |
CN112509062B (zh) | 一种标定板、标定系统及标定方法 | |
CN115493589B (zh) | 视线角解算方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |