CN109737962B - 一种基于特殊圆环编码的机器视觉自主定位方法和系统 - Google Patents
一种基于特殊圆环编码的机器视觉自主定位方法和系统 Download PDFInfo
- Publication number
- CN109737962B CN109737962B CN201811409842.7A CN201811409842A CN109737962B CN 109737962 B CN109737962 B CN 109737962B CN 201811409842 A CN201811409842 A CN 201811409842A CN 109737962 B CN109737962 B CN 109737962B
- Authority
- CN
- China
- Prior art keywords
- camera
- coding pattern
- ring
- circular ring
- ring coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于特殊圆环编码的机器视觉自主定位方法和系统,利用摄像机拍摄包含圆环编码图案的图像,圆环编码图案设在场地上,由一个两色圆环或多个间隔的两色同心圆环组成并且颜色关于圆环的某一直径反对称;根据从图像上提取的ROI图像区域内圆环编码图案的颜色参数变化规律读取圆环编码图案的编码;根据编码获取圆环编码图案所在的位置和摄像机相对圆环编码图案的朝向;根据圆环编码图案所在的位置和摄像机相对圆环编码图案的朝向、拍摄图像时摄像机与圆环编码图案之间的距离和摄像机正方向与圆环编码图案之间的角度,解算出摄像机的位置。本发明通过对圆环编码图案进行特殊设计,无需惯性导航就可以实现中远距离的机器视觉自主定位。
Description
技术领域
本发明涉及机器视觉定位技术领域,具体涉及一种基于特殊圆环编码的机器视觉自主定位方法和系统。
背景技术
在自动化、科技不断发展的今天,自主定位越来越得到人们的关注,设备的自动化不仅仅是为人们减少了更多的人力,而且还节省了更多的时间。对于自动化运动设备来说,它们具有一定的运动规则,例如运动为直线运动,转向常为停止后九十度转向等,在这些运动规则下,定位必定是其所面临的最关键问题,定位的精确度和快速性决定了其执行命令的合理性和速度。例如快递分发小车在仓库中的运动送货,小车必须知道其所在的环境,所在的位置以及目的地所在的位置,从而才能够将对应的货物投递到对应的位置,再例如餐厅的送餐机器人,它需要了解自身的位置才能够更好的抵达对应的位置,而这一切都需要这些运动设备从环境中获取自己的世界坐标。
目前,自主定位方式主要可分为两大类,基于非视觉定位和基于视觉定位。基于非视觉定位的自主定位技术主要有:RFID、磁性引导线、GPS等方式进行定位,这些定位方式目前发展比较成熟,但是相比基于视觉的自主定位技术,其信息利用率低,系统成本高,同时像RFID、GPS还会出现漂移现象。基于视觉的自主定位技术在这些方面有着明显的优势,其具有成本低,实时性好,信息利用率大等特点,主要分为脉冲编码定位技术,图形编码定位技术,目前的脉冲编码技术主要有可见光编码定位技术,而图形行编码技术主要有二维码编码定位,色块编码定位和路口节点等间隔黑白圆环编码定位等。这些方法都存在着一些自身的不足。可见光编码定位技术在进行二维平面定位时会受到灯功率的影响而产生定位漂移现象;色块标定定位技术中所使用的色块极易受到环境光的影响而出现色彩的偏差,影响色彩的判别,从而很大程度的影响定位,且因为色差的问题,所能使用的颜色种类较少;二维码编码定位和路口节点等间隔黑白圆环编码定位,都需要物体靠近标志物甚至是在标志物的正上方,才能够对位置进行解算,这极大的浪费了空间的利用率且限定了移动载体的运动轨迹。
特别的,现有的一种自主机器人视觉导航中的自定位方法,在路口节点采用间隔黑白圆环编码定位。该方法使用于基于规划路径下的移动载体定位,且需要非常靠近圆环标志物(亦可理解为移动载体就在标志物旁边),再通过采集图像再解算才能够得到自己的具体位置,这极大的限制了物体在空间的运动轨迹,对于空间的利用率存在着极大的浪费。同时这种编码解码方式具有各向同性的性质,无法从单个编码的标记物得到运动物体的具体方向,而需通过惯性导航等方法获取准确的位置朝向,这无疑是增添了系统的复杂程度,而这个问题对于上述所提及的其他基于视觉的定位方法也同样存在。
发明内容
本发明为了克服上述现有技术所述的至少一种缺陷(不足),提供一种基于特殊圆环编码的机器视觉自主定位方法和系统,通过对圆环编码图案进行特殊设计,无需惯性导航就可以实现中远距离的机器视觉自主定位。
为实现本发明的目的,采用以下技术方案予以实现:
一方面,提供一种基于特殊圆环编码的机器视觉自主定位方法,包括:
摄像机拍摄包含圆环编码图案的图像,所述圆环编码图案设在场地上,由一个两色圆环或多个间隔的两色同心圆环组成并且颜色关于圆环的某一直径反对称;
提取所述图像上包含圆环编码图案的ROI图像区域;
根据所述ROI图像区域内圆环编码图案的颜色参数变化规律读取所述圆环编码图案的编码;
根据所述编码获取所述圆环编码图案所在的位置和所述摄像机相对所述圆环编码图案的朝向;
根据所述圆环编码图案所在的位置、所述摄像机相对所述圆环编码图案的朝向、拍摄所述图像时摄像机与圆环编码图案之间的距离和摄像机正方向与圆环编码图案之间的角度,解算出摄像机的位置。
通过对圆环编码图案的颜色进行特殊设计,利用摄像机拍摄包含圆环编码图案的图像,并根据图像读取圆环编码图案的编码,从而定位出摄像机位置和朝向。本方法无需靠近圆环编码图案,也无需正对圆环编码图案,就可以读取到圆环编码图案上的编码,使得摄像机或者搭载摄像机的移动载体可以在中远距离上实现实时定位,无需惯性导航也可以实现机器视觉自主定位的目的,极大地提高了室内空间的利用率,其定位功能更加的灵活。
进一步地,根据所述ROI图像区域内圆环编码图案的颜色参数变化规律读取所述ROI图像区域内圆环编码图案中的编码,具体包括:
选取ROI图像区域中圆环编码图案下半部分距离水平中线一定间距的区域作为解码区域;
从左往右或从右往左提取所述解码区域的颜色参数;
将颜色参数进行二值处理得到所述圆环编码图案的编码。
进一步地,在提取所述图像上包含圆环编码图案的ROI图像区域之前,还包括:
根据摄像机的参数对图像进行畸变校正。
通过对图像进行畸变校正,校正因摄像头畸变引入的误差,便于图像处理模块进行后续的处理,提高编码读取的正确率。
进一步地,所述解码区域平行于摄像机光轴方向的宽度为3个像素以上。
通过控制解码区域的分辨率,可以提高对解码区域内编码读取的准确率。
进一步地,所述圆环编码图案为多个,不同圆环编码图案由数量不同的两色同心圆环组成,多个圆环编码图案以网格的形态铺设在场地上,所述网格的单元大小根据可精确测量的最大距离和摄像机的视场角确定。
当所述场地较大时,可以采用多个圆环编码图案,不同圆环编码图案由数量不同的两色同心圆环组成,多个圆环编码图案以网格的形态铺设在场地上。为了保证摄像机位于所述网格的任一个单元时,都能拍摄到该单元内至少一个圆环编码图案,避免出现无法定位的情况,网格的单元大小需要根据可精确测量的最大距离和摄像机的视场角确定。
另一方面,提供一种基于特殊圆环编码的机器视觉自主定位系统,包括:
摄像机,用于拍摄包含圆环编码图案的图像,所述圆环编码图案设在场地上,由一个两色圆环或多个间隔的两色同心圆环组成并且颜色关于圆环的某一直径反对称;
图像处理模块,用于提取所述图像上包含圆环编码图案的ROI图像区域,根据所述ROI图像区域内圆环编码图案的颜色参数变化规律读取所述圆环编码图案的编码,根据所述编码获取所述圆环编码图案所在的位置和所述摄像机相对所述圆环编码图案的朝向,根据所述圆环编码图案所在的位置、所述摄像机相对所述圆环编码图案的朝向、拍摄所述图像时摄像机与圆环编码图案之间的距离和摄像机正方向与圆环编码图案之间的角度,解算出摄像机的位置。
通过对圆环编码图案的颜色进行特殊设计,利用摄像机拍摄包含圆环编码图案的图像,图像处理模块再根据图像读取圆环编码图案的编码,从而定位出摄像机位置和朝向。本系统无需靠近圆环编码图案,也无需正对圆环编码图案,就可以读取到圆环编码图案上的编码,使得摄像机或者搭载摄像机的移动载体可以在中远距离上实现实时定位,无需惯性导航也可以实现机器视觉自主定位的目的,极大地提高了室内空间的利用率,其定位功能更加的灵活。
进一步地,所述图像处理模块用于根据所述ROI图像区域内圆环编码图案的颜色参数变化规律读取所述ROI图像区域内圆环编码图案中的编码的具体步骤为:
选取ROI图像区域中圆环编码图案下半部分距离水平中线一定间距的区域作为解码区域;
从左往右或从右往左提取所述解码区域的颜色参数;
将颜色参数进行二值处理得到所述圆环编码图案的编码。
进一步地,所述图像处理模块还用于在提取所述图像上包含圆环编码图案的ROI图像区域之前,根据摄像机的参数对图像进行畸变校正。
通过图像处理模块对图像进行畸变校正,校正因摄像头畸变引入的误差,便于图像处理模块进行后续的处理,并且提高编码读取的正确率。
进一步地,所述摄像机的分辨率满足:
所述解码区域平行于摄像机光轴方向的宽度为3个像素以上。
通过控制摄像机的分辨率,从而保证解码区域的分辨率不会过低,可以提高对解码区域内编码读取的准确率。
进一步地,所述圆环编码图案为多个,不同圆环编码图案由数量不同的两色同心圆环组成,多个圆环编码图案以网格的形态铺设在场地上;
所述摄像机的视场角满足:
当所述摄像机位于所述网格的任一个单元时,所述摄像机能拍摄到该单元内至少一个圆环编码图案。
当所述场地较大时,可以采用多个圆环编码图案,不同圆环编码图案由数量不同的两色同心圆环组成,多个圆环编码图案以网格的形态铺设在场地上,此时摄像机的视场角就要满足当所述摄像机位于所述网格的任一个单元时,能拍摄到该单元内至少一个圆环编码图案,否则会出现无法定位的情况。
与现有技术相比,本发明技术方案的有益效果是:
(1)本发明的圆环编码图案编码方式简单,制作方便,操作的可行性高,成本低;
(2)本发明通过特殊设计的圆环编码图案以及特殊的读取编码方式,无需惯性导航便能够全面地得到摄像机或搭载摄像机的载体的具体位置,实现单个圆环编码图案进行定位的可变化性;
(3)本发明无需靠近圆环编码图案进行解码定位,也无需正对圆环编码图案进行解码,这使得在中远距离上也可以实现实时定位,这极大提高室内空间的利用率,使得定位功能更加的灵活。
附图说明
图1是本发明实施例中的方法流程图。
图2是本发明实施例中圆环编码图案(以黑白两种颜色为例)的示意图。
图3是本发明实施例中圆环编码图案设在场地上的示意图。
图4是本发明实施例中的另一方法流程图。
图5是本发明实施例中解码区域的选取示意图。
图6是本发明实施例中从解码区域读取出的灰度值图。
图7是本发明实施例中二值处理后的编码图。
图8a是本发明实施例中圆环编码图案在场地中的摆放示意图。
图8b是本发明实施例中摄像机相对圆环编码图案的不同朝向所能拍摄到的圆环编码图案示意图。
图9是本发明实施例中摄像机相对圆环编码图案的不同朝向所能读取到的编码示意图。
图10是本发明实施例中解算摄像机位置的示意图。
图11a是本发明实施例中当多个圆环编码图案以正方形网格的形态铺设在场地上时的其中一个正方形网格单元示意图。
图11b是本发明实施例中当多个圆环编码图案以正方形网格的形态铺设在场地上时的相邻两个正方形网格单元示意图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
在本发明的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“倾斜”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作。
在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提供一种基于特殊圆环编码的机器视觉自主定位方法,如图1所示,包括:
S100.摄像机拍摄包含圆环编码图案的图像,所述圆环编码图案设在场地上,由一个两色圆环或多个间隔的两色同心圆环组成并且颜色关于圆环的某一直径反对称;
S200.提取所述图像上包含圆环编码图案的ROI图像区域;
S300.根据所述ROI图像区域内圆环编码图案的颜色参数变化规律读取所述圆环编码图案的编码;
S400.根据所述编码获取所述圆环编码图案所在的位置和所述摄像机相对所述圆环编码图案的朝向;
S500.根据所述圆环编码图案所在的位置、所述摄像机相对所述圆环编码图案的朝向、拍摄所述图像时摄像机与圆环编码图案之间的距离和摄像机正方向与圆环编码图案之间的角度,解算出摄像机的位置。
在步骤S100中,通过摄像机可以拍摄包含圆环编码图案的图像,圆环编码图案可以由一个两色圆环组成,也可以由多个间隔的两色同心圆环组成,两种颜色分别代表二进制编码中的“0”和“1”。圆环编码图案的颜色是关于某一直径反对称,也即在该直径的一边是一种颜色,在该直径的另一边则是另一种颜色。
以黑白两种颜色为例,如图2所示为一个由多个间隔的黑白两色圆环组成的圆环编码图案示意图,该圆环编码图案的颜色关于水平的直径呈上下反对称,也即若该水平直径上边的某部分为白色,该水平直径下边对应的部分则为黑色;若该水平直径上边的某部分为黑色,该水平直径下边对应的部分则为白色。黑色代表二进制编码中的“0”,白色代表二进制编码中的“1”。如图3所示为摄像机拍摄设在场地上的某个圆环编码图案的图像。
所述圆环编码图案优选采用表面不光滑(如磨砂面)的材质制作。
在步骤S200中,提取所述图像上包含圆环编码图案的ROI图像区域,具体包括:确定图像中圆环编码图案的位置;在圆环编码图案的位置提取包含该圆环编码图案的ROI图像区域。在具体实施过程中,可以通过神经网络训练出来的识别模型确定图像中圆环编码图案的位置,也可以通过寻找连通域的方法来确定图像中圆环编码图案的位置。在提取ROI图像区域的过程中,可以使圆环编码图案位于ROI图像区域的中部,这样可以更加有利于在步骤S300中读取ROI图像区域内圆环编码图案中的编码。
所述摄像机可以设置在移动载体上,在移动载体移动的过程中,摄像机拍摄包含圆环编码图案的图像,采用动态ROI技术可以提取所拍摄图像上包含圆环编码图案的ROI图像区域。所述移动载体可以是小车或可移动机器人或无人机等。
所述摄像机可以是彩色单目摄像机或黑白单目摄像机或彩色双目摄像机或黑白双目摄像机等。所述摄像机可以是变焦的也可以是定焦的,可以是分辨率可调的也可以是分辨率不可调的。
在步骤S200之前,还包括以下步骤:
S200’.根据摄像机的参数对图像进行畸变校正。
在具体实施过程中,可以采用OPENCV对摄像机进行标定,具体为使用平面棋盘格对摄像机进行标定,得到摄像机的内外参数据,根据内外参数据形成校正数据,根据校正数据可以对摄像机拍摄的包含圆环编码图案的图像进行畸变校正。通过对图像进行畸变校正,校正因摄像头畸变而引入的误差,便于图像处理模块进行后续的处理,提高编码读取的正确率。
在步骤S300中,由于圆环编码图案的两种颜色分别代表二进制编码的“0”和“1”,所以根据ROI图像区域内圆环编码图案的颜色参数变化规律,可以读取到该圆环编码图案的编码。
如图4所示,所述步骤S300,具体包括:
S310.选取ROI图像区域中圆环编码图案下半部分距离水平中线一定间距的区域作为解码区域;
S320.从左往右或从右往左提取所述解码区域的颜色参数;
S330.将颜色参数进行二值处理得到所述圆环编码图案的编码。
在步骤S310中,由于圆环编码图案的颜色是关于某一直径反对称的,在选取解码区域时应避开恰好颜色反转的地方,所以解码区域优选在距离圆环编码图案中线一定间距的位置;而且由于摄像机在拍摄包含圆环编码图案的图像时,所拍摄出来的圆环编码图案下半部分为距离摄像机较近的部分,上半部分为距离摄像机较远的部分,摄像机所拍摄的较近部分会比较远部分更加清晰,所以解码区域优选在圆环编码图案的下半部分。基于上述理由,应优选圆环编码图案的水平中线再向下一定间距后的区域作为解码区域。如图5所示为在步骤S200中所提取到的ROI图像区域,圆环编码图案位于该ROI图像区域的中部,黑色虚线示意了解码区域的位置。
所述一定间距优选为2~3个像素。当所述圆环编码图案由多个间隔的两色同心圆环组成时,各个间隔的两色同心圆环宽度是相同的。这样均有利于对圆环编码图案的编码读取。
在步骤S320中,颜色参数可以是色调,也可以是灰度值。如果圆环编码图案是红绿两色,颜色参数可以选用色调,根据解码区域内某部分的色调是红色调还是绿色调,确定该部分对应的编码是“0”或“1”。如果圆环编码图案是黑白两色,颜色参数可以选用灰度值,根据解码区域内某部分的灰度值大小,确定该部分对应的编码是“0”或“1”。
在步骤S330中,可以采用大律法(OTSU法)计算分割阈值,也可以设定特定的数值作为分割阈值,根据解码区域内某部分的颜色参数是否超过分割阈值,确定该部分对应的二进制编码是“0”或“1”。
以颜色参数为灰度值为例。从左往右提取如图3中黑色虚线所示的解码区域的灰度值,可以得到如图6所示的灰度值图,将灰度值进行二值处理后得到如图7所示的编码图,也即得到圆环编码图案的编码为10101010101010101。
在步骤S400中,圆环编码图案设在场地上会有对应的位置坐标,在步骤S300中读取到圆环编码图案的编码,根据编码就可以识别出对应的圆环编码图案,从而获取该圆环编码图案对应的位置坐标。由于圆环编码图案的颜色是关于某一直径呈反对称的,摄像机从圆环编码图案的前后左右四个方向拍摄,从左往右或从右往左读取到的编码是不同的,所以根据编码除了可以获取该编码图案对应的位置坐标外,还可以获取摄像机相对圆环编码图案的朝向。
如图8a所示,在场地上建立坐标系,在直角坐标系中圆环编码图案在场地上的位置坐标可以记为(X,Y),圆环编码图案四周的1,2,3,4分别表示圆环编码图案的四个方向,也即对应了摄像机相对圆环编码图案的四个朝向A(A的取值为1,2,3,4)。如图8b所示为摄像机相对圆环编码图案的四个不同朝向所能拍摄到的圆环编码图案示意图。如图9所示为摄像机相对圆环编码图案的不同朝向所能读取到的编码示意图,黑色虚线示意不同朝向对应的解码区域位置:当根据圆环编码图案的颜色从左往右读取到的编码为10101010101010101时,表明摄像机相对圆环编码图案的朝向A为“1”方向;当根据圆环编码图案的颜色从左往右读取到的编码为101010101010101010时,表明摄像机相对圆环编码图案的朝向A为“2”方向;当根据圆环编码图案的颜色从左往右读取到的编码为01010101010101010时,表明摄像机相对圆环编码图案的朝向A为“3”方向;当根据圆环编码图案的颜色从左往右读取到的编码为010101010101010101时,表明摄像机相对圆环编码图案的朝向A为“4”方向。
在步骤S500中,拍摄图像时测量摄像机与圆环编码图案中心之间的距离Lc和摄像机正方向与圆环编码图案中心之间的角度β,距离Lc可以通过摄像机进行双目或者单目测量,也可以通过外设的测距仪进行测量。如图10所示,定义摄像机正方向角度为0,顺时针角度为正,在步骤S400中获取的圆环编码图案的位置坐标记为(X,Y),摄像机相对圆环编码图案的朝向记为A(A的取值为1,2,3,4),通过三角形关系可以计算摄像机相对圆环编码图案的横向距离Lcsinβ和纵向距离Lccosβ,继而根据朝向A的取值解算出摄像机的位置坐标,具体为:
A=1,摄像机的位置坐标为(X-Lccosβ,Y+Lcsinβ);
A=2,摄像机的位置坐标为(X-Lcsinβ,Y-Lccosβ);
A=3,摄像机的位置坐标为(X+Lccosβ,Y-Lcsinβ);
A=4,摄像机的位置坐标为(X+Lcsinβ,Y+Lccosβ)。
当摄像机设置在移动载体上时,解算出摄像机的位置坐标,也即可以解算出移动载体的位置坐标。
通过对圆环编码图案的颜色进行特殊设计,利用摄像机拍摄包含圆环编码图案的图像,并根据图像读取圆环编码图案的编码,从而定位出摄像机位置和朝向。本实施例所提供的方法无需靠近圆环编码图案,也无需正对圆环编码图案,就可以读取到圆环编码图案上的编码,使得摄像机或者搭载摄像机的移动载体可以在中远距离上实现实时定位,无需惯性导航也可以实现机器视觉自主定位的目的,极大地提高了室内空间的利用率,其定位功能更加的灵活。
当所述场地较大时,可以采用多个圆环编码图案,不同圆环编码图案由数量不同的两色同心圆环组成,也即不同圆环编码图案的编码是不同的,由此可以区分不同的圆环编码图案。为了保证摄像机位于所述网格的任一个单元时,都能拍摄到该单元内至少一个圆环编码图案,避免出现无法定位的情况,网格的单元大小需要根据可精确测量的最大距离和摄像机的视场角确定。
不同圆环编码图案的最外围圆环的直径是相同的,这样有利于确定摄像机拍摄的图像上圆环编码图案的位置,从而有利于所述图像上包含圆环编码图案的ROI图像区域的提取。
如图11a所示为当多个圆环编码图案以正方形网格的形态铺设在场地上时的其中一个正方形网格单元,该单元的边长L是根据可精确测量的最大距离L测和摄像机的视场角2α确定的,位于正方形网格单元四个端点的圆环编码图案分别由数量不同的间隔两色同心圆环组成,也即位于四个端点的圆环编码图案的编码是不同的。如图11b为当多个圆环编码图案以正方形网格的形态铺设在场地上时的相邻两个正方形网格单元,假设可精确测量的最大距离L测为当摄像机在一个正方形网格单元中的两个圆环编码图案之间的中垂线时,其与相邻的另一个正方向网格单元中远端端点上的圆环编码图案之间的距离,则可以得到可精确测量的最大距离L测、摄像机视场角的半角α、正方形网格单元的边长L之间的关系需要满足下式:
通过该式,就可以根据可精确测量的最大距离L测、摄像机的视场角2α确定正方形网格单元的边长L。
如图11b所示,摄像机的分辨率应该保证当摄像机在其中一个正方形网格单元的中央时,在读取摄像机正方向的另一个相邻正方形网格单元其远端端点上的圆环编码图案(1)和(2)的过程中,解码区域平行于光轴方向宽度可以具有3个像素以上,保证圆环编码图案(1)和(2)的编码可以被准确地读取出来,由此结合摄像机的倾仰角、摄像机所架设的高度可以反推此时摄像机的最低分辨率。
实施例2
基于与实施例1同一个发明构思,本实施例提供一种基于特殊圆环编码的机器视觉自主定位系统,包括:
摄像机,用于拍摄包含圆环编码图案的图像,所述圆环编码图案设在场地上,由一个两色圆环或多个间隔的两色同心圆环组成并且颜色关于圆环的某一直径反对称;
图像处理模块,用于提取所述图像上包含圆环编码图案的ROI图像区域,读取所述ROI图像区域内圆环编码图案中的编码,根据所述编码获取所述圆环编码图案所在的位置和所述摄像机相对所述圆环编码图案的朝向,根据所述圆环编码图案所在的位置、所述摄像机相对所述圆环编码图案的朝向、拍摄所述图像时摄像机与圆环编码图案之间的距离和摄像机正方向与圆环编码图案之间的角度,解算出摄像机的位置。
通过摄像机可以拍摄包含圆环编码图案的图像,圆环编码图案可以由一个两色圆环组成,也可以由多个间隔的两色同心圆环组成,两种颜色分别代表二进制编码中的“0”和“1”。圆环编码图案的颜色是关于某一直径反对称,也即在该直径的一边是一种颜色,在该直径的另一边则是另一种颜色。
以黑白两种颜色为例,如图2所示为一个由多个间隔的黑白两色圆环组成的圆环编码图案示意图,该圆环编码图案的颜色关于水平的直径呈上下反对称,也即若该水平直径上边的某部分为白色,该水平直径下边对应的部分则为黑色;若该水平直径上边的某部分为黑色,该水平直径下边对应的部分则为白色。黑色代表二进制编码中的“0”,白色代表二进制编码中的“1”。如图3所示为摄像机拍摄设在场地上的某个圆环编码图案的图像。
所述圆环编码图案优选采用表面不光滑(如磨砂面)的材质制作。
所述摄像机可以是彩色单目摄像机或黑白单目摄像机或彩色双目摄像机或黑白双目摄像机等。所述摄像机可以是变焦的也可以是定焦的,可以是分辨率可调的也可以是分辨率不可调的。
所述摄像机可以设置在移动载体上,在移动载体移动的过程中,摄像机实时拍摄包含圆环编码图案的图像,图像处理模块可以实时读取圆环编码图案的编码获取摄像机的实时位置,也即获取到移动载体上的实时位置。所述移动载体可以是小车或可移动机器人或无人机等。
所述图像处理模块可以是计算机、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、ARM(Advanced RISC Machine,微处理器)、DSP(Digital SignalProcessor,数字信号处理器)的其中一种。
所述图像处理模块可以是内嵌在摄像机内,也可以是设在摄像机外部,也可以是设在远程服务器上。
所述摄像机与所述图像处理模块之间的通信可以是有线通信,也可以是无线通信。摄像机拍摄的图像通过有线通信或无线通信传递到图像处理模块中,图像处理模块解算出的摄像机位置也通过有线通信或无线通信传递回摄像机或搭载摄像机的移动载体。
在本实施例中,所述图像处理模块用于提取所述图像上包含圆环编码图案的ROI图像区域的具体步骤为:确定图像中圆环编码图案的位置;在圆环编码图案的位置提取包含该圆环编码图案的ROI图像区域。在具体实施过程中,图像处理模块可以通过神经网络训练出来的识别模型确定图像中圆环编码图案的位置,也可以通过寻找连通域的方法来确定图像中圆环编码图案的位置。在图像处理模块提取ROI图像区域的过程中,可以使圆环编码图案位于ROI图像区域的中部,这样可以更加有利于读取ROI图像区域内圆环编码图案中的编码。
当摄像机设置在移动载体上时,在移动载体移动的过程中,摄像机拍摄包含圆环编码图案的图像,采用动态ROI技术可以提取所拍摄图像上包含圆环编码图案的ROI图像区域。
在本实施例中,所述图像处理模块还用于在提取所述图像上包含圆环编码图案的ROI图像区域之前,根据摄像机的参数对图像进行畸变校正。
在具体实施过程中,图像处理模块可以采用OPENCV对摄像机进行标定,具体为使用平面棋盘格对摄像机进行标定,得到摄像机的内外参数据,根据内外参数据形成校正数据,根据校正数据可以对摄像机拍摄的包含圆环编码图案的图像进行畸变校正。通过图像处理模块对图像进行畸变校正,校正因摄像头畸变引入的误差,便于图像处理模块进行后续的处理,提高编码读取的正确率。
在本实施例中,所述图像处理模块用于读取所述ROI图像区域内圆环编码图案中的编码的具体步骤为:选取ROI图像区域中圆环编码图案下半部分距离水平中线一定间距的区域作为解码区域;从左往右或从右往左提取所述解码区域的颜色参数;将颜色参数进行二值处理得到所述圆环编码图案的编码。
由于圆环编码图案的颜色是关于某一直径反对称的,在选取解码区域时应避开恰好颜色反转的地方,所以图像处理模块优选解码区域位于距离圆环编码图案中线一定间距的位置;而且由于摄像机在拍摄包含圆环编码图案的图像时,所拍摄出来的圆环编码图案下半部分为距离摄像机较近的部分,上半部分为距离摄像机较远的部分,摄像机所拍摄的较近部分会比较远部分更加清晰,所以图像处理模块优选解码区域位于圆环编码图案的下半部分。基于上述理由,图像处理模块优选圆环编码图案的水平中线再向下一定间距后的区域作为解码区域。如图5所示为图像处理模块从图像上提取的包含圆环编码图案的ROI图像区域,圆环编码图案位于该ROI图像区域的中部,黑色虚线示意了解码区域的位置。
所述一定间距优选为2~3个像素。当所述圆环编码图案由多个间隔的两色同心圆环组成时,各个间隔的两色同心圆环宽度是相同的。这样均有利于对圆环编码图案的编码读取。
所述颜色参数可以是色调,也可以是灰度值。如果圆环编码图案是红绿两色,颜色参数可以选用色调,根据解码区域内某部分的色调是红色调还是绿色调,确定该部分对应的编码是“0”或“1”。如果圆环编码图案是黑白两色,颜色参数可以选用灰度值,根据解码区域内某部分的灰度值大小,确定该部分对应的编码是“0”或“1”。
图像处理模块在对颜色参数进行二值处理的过程中,可以采用大律法(OTSU法)计算分割阈值,也可以设定特定的数值作为分割阈值,根据解码区域内某部分的颜色参数是否超过分割阈值,确定该部分对应的二进制编码是“0”或“1”。
以颜色参数为灰度值为例。图像处理模块从左往右提取如图3中黑色虚线所示的解码区域的灰度值,可以得到如图6所示的灰度值图,将灰度值进行二值处理后得到如图7所示的编码图,也即得到圆环编码图案的编码为10101010101010101。
圆环编码图案设在场地上会有对应的位置坐标,根据读取到的圆环编码图案的编码就可以识别出对应的圆环编码图案,从而获取该圆环编码图案对应的位置坐标。由于圆环编码图案的颜色是关于某一直径呈反对称的,摄像机从圆环编码图案的前后左右四个方向拍摄,从左往右或从右往左读取到的编码是不同的,所以根据编码除了可以获取该编码图案对应的位置坐标外,还可以获取摄像机相对圆环编码图案的朝向。
如图8a所示,在场地上建立坐标系,在直角坐标系中圆环编码图案在场地上的位置坐标可以记为(X,Y),圆环编码图案四周的1,2,3,4分别表示圆环编码图案的四个方向,也即对应了摄像机相对圆环编码图案的四个朝向A(A的取值为1,2,3,4)。如图8b所示为摄像机相对圆环编码图案的四个不同朝向所能拍摄到的圆环编码图案示意图。如图9所示为摄像机相对圆环编码图案的不同朝向所能读取到的编码示意图,黑色虚线示意不同朝向对应的解码区域位置:当图像处理模块根据圆环编码图案的颜色从左往右读取到的编码为10101010101010101时,表明摄像机相对圆环编码图案的朝向A为“1”方向;当图像处理模块根据圆环编码图案的颜色从左往右读取到的编码为101010101010101010时,表明摄像机相对圆环编码图案的朝向A为“2”方向;当图像处理模块根据圆环编码图案的颜色从左往右读取到的编码为01010101010101010时,表明摄像机相对圆环编码图案的朝向A为“3”方向;当图像处理模块根据圆环编码图案的颜色从左往右读取到的编码为010101010101010101时,表明摄像机相对圆环编码图案的朝向A为“4”方向。
拍摄图像时测量摄像机与圆环编码图案中心之间的距离Lc和摄像机正方向与圆环编码图案中心之间的角度β,距离Lc可以通过摄像机进行双目或者单目测量,也可以通过外设的测距仪进行测量。如图10所示,定义摄像机正方向角度为0,顺时针角度为正,图像处理模块所获取的圆环编码图案的位置坐标记为(X,Y),摄像机相对圆环编码图案的朝向记为A(A的取值为1,2,3,4),通过三角形关系可以计算摄像机相对圆环编码图案的横向距离Lcsinβ和纵向距离Lccosβ,继而根据朝向A的取值解算出摄像机的位置坐标,具体为:
A=1,摄像机的位置坐标为(X-Lccosβ,Y+Lcsinβ);
A=2,摄像机的位置坐标为(X-Lcsinβ,Y-Lccosβ);
A=3,摄像机的位置坐标为(X+Lccosβ,Y-Lcsinβ);
A=4,摄像机的位置坐标为(X+Lcsinβ,Y+Lccosβ)。
当摄像机设置在移动载体上时,解算出摄像机的位置坐标,也即可以解算出移动载体的位置坐标。
通过对圆环编码图案的颜色进行特殊设计,利用摄像机拍摄包含圆环编码图案的图像,图像处理模块再根据图像读取圆环编码图案的编码,从而定位出摄像机位置和朝向。本实施例所提出的系统无需靠近圆环编码图案,也无需正对圆环编码图案,就可以读取到圆环编码图案上的编码,使得摄像机或者搭载摄像机的移动载体可以在中远距离上实现实时定位,无需惯性导航也可以实现机器视觉自主定位的目的,极大地提高了室内空间的利用率,其定位功能更加的灵活。
在本实施例中,所述摄像机的分辨率满足:所述解码区域平行于摄像机光轴方向的宽度为3个像素以上。
摄像机拍摄包含圆环编码图案的图像后,图像处理模块从该图像提取出来的解码区域平行于摄像机光轴方向的宽度保证为3个像素以上,可以提高图像处理模块对解码区域内编码读取的准确率。
在本实施例中,所述圆环编码图案为多个,不同圆环编码图案由数量不同的两色同心圆环组成,多个圆环编码图案以网格的形态铺设在场地上;
所述摄像机的视场角满足:当所述摄像机位于所述网格的任一个单元时,所述摄像机能拍摄到该单元内至少一个圆环编码图案。
当所述场地较大时,可以采用多个圆环编码图案,不同圆环编码图案由数量不同的两色同心圆环组成,也即不同圆环编码图案的编码是不同的,由此可以区分不同的圆环编码图案。多个圆环编码图案以网格的形态铺设在场地上,此时摄像机的视场角就要满足当所述摄像机位于所述网格的任一个单元时,能拍摄到该单元内至少一个圆环编码图案,否则会出现无法定位的情况。
不同圆环编码图案的最外围圆环的直径是相同的,这样有利于确定摄像机拍摄的图像上圆环编码图案的位置,从而有利于所述图像上包含圆环编码图案的ROI图像区域的提取。
如图11a所示为当多个圆环编码图案以正方形网格的形态铺设在场地上时的其中一个正方形网格单元,单元的边长为L,位于正方形网格单元四个端点的圆环编码图案分别由数量不同的间隔两色同心圆环组成,也即位于四个端点的圆环编码图案的编码是不同的。如图11b为当多个圆环编码图案以正方形网格的形态铺设在场地上时的相邻两个正方形网格单元,假设可精确测量的最大距离L测为当摄像机在一个正方形网格单元中的两个圆环编码图案之间的中垂线时,其与相邻的另一个正方向网格单元中远端端点上的圆环编码图案之间的距离,则可精确测量的最大距离L测、摄像机视场角的半角α、正方形网格单元的边长L之间的关系会满足下式:
通过该式,可以根据可精确测量的最大距离L测、网格单元的边长L控制摄像机的视场角2α,使其满足摄像机位于网格的任一个单元时,摄像机都能拍摄到该单元内至少一个圆环编码图案。
如图11b所示,摄像机的分辨率应该保证当摄像机在其中一个正方形网格单元的中央时,在读取摄像机正方向的另一个相邻正方形网格单元其远端端点上的圆环编码图案(1)和(2)的过程中,解码区域平行于光轴方向宽度可以具有3个像素以上,保证圆环编码图案(1)和(2)的编码可以被准确地读取出来,由此结合摄像机的倾仰角、摄像机所架设的高度可以反推此时摄像机的最低分辨率。
因此,在本实施例中的摄像机选取方面,需要考虑分辨率和视场角这两个因素。
相同或相似的标号对应相同或相似的部件;
附图中描述位置关系的仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于特殊圆环编码的机器视觉自主定位方法,其特征在于,包括:
摄像机拍摄包含圆环编码图案的图像,所述圆环编码图案设在场地上,由一个两色圆环或多个间隔的两色同心圆环组成并且颜色关于圆环的某一直径反对称;
提取所述图像上包含圆环编码图案的ROI图像区域;
根据所述ROI图像区域内圆环编码图案的颜色参数变化规律读取所述圆环编码图案的编码;
根据所述编码获取所述圆环编码图案所在的位置和所述摄像机相对所述圆环编码图案的朝向;
根据所述圆环编码图案所在的位置、所述摄像机相对所述圆环编码图案的朝向、拍摄所述图像时摄像机与圆环编码图案之间的距离和摄像机正方向与圆环编码图案之间的角度,解算出摄像机的位置;
多个圆环编码图案以正方形网格的形态铺设在场地上形成正方形网格,正方形网格单元的边长为L,所述正方形网格单元边长L、摄像机精确测量的最大距离L测、摄像机视场角的半角α之间要满足下式:
2.根据权利要求1所述的基于特殊圆环编码的机器视觉自主定位方法,其特征在于,根据所述ROI图像区域内圆环编码图案的颜色参数变化规律读取所述ROI图像区域内圆环编码图案中的编码,具体包括:
选取ROI图像区域中圆环编码图案下半部分距离水平中线一定间距的区域作为解码区域;
从左往右或从右往左提取所述解码区域的颜色参数;
将颜色参数进行二值处理得到所述圆环编码图案的编码。
3.根据权利要求1所述的基于特殊圆环编码的机器视觉自主定位方法,其特征在于,在提取所述图像上包含圆环编码图案的ROI图像区域之前,还包括:
根据摄像机的参数对图像进行畸变校正。
4.根据权利要求2所述的基于特殊圆环编码的机器视觉自主定位方法,其特征在于,所述解码区域平行于摄像机光轴方向的宽度为3个以上像素。
5.根据权利要求1-4任一项所述的基于特殊圆环编码的机器视觉自主定位方法,其特征在于,所述圆环编码图案为多个,不同圆环编码图案由数量不同的两色同心圆环组成,多个圆环编码图案以网格的形态铺设在场地上,所述网格的单元大小根据可精确测量的最大距离和摄像机的视场角确定。
6.一种基于特殊圆环编码的机器视觉自主定位系统,其特征在于,包括:
摄像机,用于拍摄包含圆环编码图案的图像,所述圆环编码图案设在场地上,由一个两色圆环或多个间隔的两色同心圆环组成并且颜色关于圆环的某一直径反对称;
图像处理模块,用于提取所述图像上包含圆环编码图案的ROI图像区域,根据所述ROI图像区域内圆环编码图案的颜色参数变化规律读取所述圆环编码图案的编码,根据所述编码获取所述圆环编码图案所在的位置和所述摄像机相对所述圆环编码图案的朝向,根据所述圆环编码图案所在的位置、所述摄像机相对所述圆环编码图案的朝向、拍摄所述图像时摄像机与圆环编码图案之间的距离和摄像机正方向与圆环编码图案之间的角度,解算出摄像机的位置;
多个圆环编码图案以正方形网格的形态铺设在场地上形成正方形网格,正方形网格单元的边长为L,所述正方形网格单元边长L、摄像机精确测量的最大距离L测、摄像机视场角的半角α之间要满足下式:
7.根据权利要求6所述的基于特殊圆环编码的机器视觉自主定位系统,其特征在于,所述图像处理模块用于根据所述ROI图像区域内圆环编码图案的颜色参数变化规律读取所述ROI图像区域内圆环编码图案中的编码的具体步骤为:
选取ROI图像区域中圆环编码图案下半部分距离水平中线一定间距的区域作为解码区域;
从左往右或从右往左提取所述解码区域的颜色参数;
将颜色参数进行二值处理得到所述圆环编码图案的编码。
8.根据权利要求6所述的基于特殊圆环编码的机器视觉自主定位系统,其特征在于,所述图像处理模块还用于在提取所述图像上包含圆环编码图案的ROI图像区域之前,根据摄像机的参数对图像进行畸变校正。
9.根据权利要求7所述的基于特殊圆环编码的机器视觉自主定位系统,其特征在于,所述摄像机的分辨率满足:
所述解码区域平行于摄像机光轴方向的宽度为3个以上像素。
10.根据权利要求6-9任一项所述的基于特殊圆环编码的机器视觉自主定位系统,其特征在于,所述圆环编码图案为多个,不同圆环编码图案由数量不同的两色同心圆环组成,多个圆环编码图案以网格的形态铺设在场地上;
所述摄像机的视场角满足:
当所述摄像机位于所述网格的任一个单元时,所述摄像机能拍摄到该单元内至少一个圆环编码图案。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811409842.7A CN109737962B (zh) | 2018-11-23 | 2018-11-23 | 一种基于特殊圆环编码的机器视觉自主定位方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811409842.7A CN109737962B (zh) | 2018-11-23 | 2018-11-23 | 一种基于特殊圆环编码的机器视觉自主定位方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109737962A CN109737962A (zh) | 2019-05-10 |
CN109737962B true CN109737962B (zh) | 2022-11-18 |
Family
ID=66358116
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811409842.7A Active CN109737962B (zh) | 2018-11-23 | 2018-11-23 | 一种基于特殊圆环编码的机器视觉自主定位方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109737962B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113255636B (zh) * | 2020-02-13 | 2023-08-04 | 宁波吉利汽车研究开发有限公司 | 一种基于圆环编码的定位方法、装置、设备和存储介质 |
CN113257020B (zh) * | 2020-02-13 | 2022-06-14 | 宁波吉利汽车研究开发有限公司 | 一种驾驶预警方法、装置、系统、设备及存储介质 |
CN113468624B (zh) * | 2021-07-26 | 2024-02-27 | 浙江大学 | 一种基于实例设计圆形图符的分析方法和系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107832661A (zh) * | 2017-09-27 | 2018-03-23 | 南通大学 | 一种基于视觉路标的室内移动机器人定位方法 |
CN107861505A (zh) * | 2017-09-26 | 2018-03-30 | 浠昏开 | Agv小车控制方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6992696B1 (en) * | 2000-10-26 | 2006-01-31 | Lockheed Martin Corporation | Image test target for visual determination of digital image resolution |
CN101216681B (zh) * | 2007-12-28 | 2010-10-20 | 上海微电子装备有限公司 | 机器视觉动态标定方法 |
CN102789234B (zh) * | 2012-08-14 | 2015-07-08 | 广东科学中心 | 基于颜色编码标识的机器人导航方法及系统 |
CN104007760B (zh) * | 2014-04-22 | 2016-05-18 | 济南大学 | 一种自主机器人视觉导航中的自定位方法 |
CN106969766A (zh) * | 2017-03-21 | 2017-07-21 | 北京品创智能科技有限公司 | 一种基于单目视觉和二维码路标的室内自主导航方法 |
CN108664863A (zh) * | 2017-04-02 | 2018-10-16 | 田雪松 | 基于编码图案的图像数据处理系统 |
-
2018
- 2018-11-23 CN CN201811409842.7A patent/CN109737962B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107861505A (zh) * | 2017-09-26 | 2018-03-30 | 浠昏开 | Agv小车控制方法 |
CN107832661A (zh) * | 2017-09-27 | 2018-03-23 | 南通大学 | 一种基于视觉路标的室内移动机器人定位方法 |
Non-Patent Citations (1)
Title |
---|
"基于人工路标的室内机器人导航方法";黄露 等;《信息科技》;20170715;正文第1-9页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109737962A (zh) | 2019-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220292720A1 (en) | Method and system for calibrating multiple cameras | |
US9625912B2 (en) | Methods and systems for mobile-agent navigation | |
CN110108283B (zh) | 一种基于多二维码视觉的高精度定位方法 | |
US9157757B1 (en) | Methods and systems for mobile-agent navigation | |
CN104848858B (zh) | 二维码以及用于机器人的视觉-惯性组合导航系统及方法 | |
CN102773862B (zh) | 用于室内移动机器人的快速精确定位系统及其工作方法 | |
US5911767A (en) | Navigation system for an autonomous mobile robot | |
CN110595476B (zh) | 一种基于gps和图像视觉融合的无人机降落导航方法及装置 | |
US11625851B2 (en) | Geographic object detection apparatus and geographic object detection method | |
CN109737962B (zh) | 一种基于特殊圆环编码的机器视觉自主定位方法和系统 | |
CN106529587B (zh) | 基于目标点识别的视觉航向识别方法 | |
JP7289927B2 (ja) | 二次元コードの認識方法、生成方法、装置、二次元コード及び小車 | |
CN108305264A (zh) | 一种基于图像处理的无人机精确着陆方法 | |
CN104835173A (zh) | 一种基于机器视觉的定位方法 | |
CN109357673A (zh) | 基于图像的视觉导航方法和装置 | |
CN104197899A (zh) | 移动机器人定位方法及系统 | |
CN107592922A (zh) | 用于对地面实施作业的方法 | |
CN113049184B (zh) | 一种质心测量方法、设备及存储介质 | |
WO2019156859A1 (en) | Computer vision system and method for tank calibration using optical reference line method | |
US11029399B2 (en) | System and method for calibrating light intensity | |
CN108286970A (zh) | 基于DataMatrix码带的移动机器人定位系统、方法及装置 | |
Kong et al. | An automatic and accurate method for marking ground control points in unmanned aerial vehicle photogrammetry | |
CN111598097B (zh) | 一种基于机器人视觉的仪表位置、读数识别方法和系统 | |
CN111553342B (zh) | 一种视觉定位方法、装置、计算机设备和存储介质 | |
CN114511620B (zh) | 一种基于Mask R-CNN的结构位移监测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |