CN113066128A - 自识别标识板的视觉检测与恢复方法、装置、设备及介质 - Google Patents
自识别标识板的视觉检测与恢复方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113066128A CN113066128A CN202110369776.0A CN202110369776A CN113066128A CN 113066128 A CN113066128 A CN 113066128A CN 202110369776 A CN202110369776 A CN 202110369776A CN 113066128 A CN113066128 A CN 113066128A
- Authority
- CN
- China
- Prior art keywords
- self
- pixel
- black
- pixels
- white
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及图像处理技术领域,尤其是一种自识别标识板的视觉检测与恢复方法,包括:检测获取自识别标识板中全部可视的交叉点;将获取的交叉点列表组织成一个或多个蕴含相对坐标信息的阵列;以及利用所述蕴含相对坐标信息的阵列,恢复自识别标识板的绝对坐标。本公开还提供一种自识别标识板的视觉检测与恢复装置、电子设备及计算机可读介质。利用本公开,通过采用三步递进的检测方案能够提取出精准的交叉点亚像素坐标,避免了抖动的发生,解决了现存交叉点检测算法存在剧烈抖动的问题,并满足了视觉定位任务中实时性的要求。
Description
技术领域
本公开涉及图像处理技术领域,尤其是一种用于视觉定位导航的自识别标识板的视觉检测与恢复方法、装置、设备及介质。
背景技术
现有视觉导航方案中,大多使用提取图像中不易受光照、旋转、尺度变化所影响的特征点来估计相机或机器人的运动。对于一般的场景,SIFT、FAST、ORB等特征算子是被广泛使用的;而为了更精确的得到定位效果,常使用自主设计的自识别标识板辅助定位,通过将标识板放置于定位场景中明显位置,并提取、恢复标识板构型从而实现定位。
因棋盘格状自识别标识板的特征点多、抗光照能力强、不受旋转影响而被广泛使用,自识别标识板的特征点均为黑白交叉点,对于黑白交叉点,现有的方法主要为Harris检测法与Shi-Tomasi检测法。然而,这两种方法在检测黑白交叉点时均存在结果在交叉点附近剧烈抖动的情况,无法得到精确的交叉点亚像素坐标。
对于棋盘格状自识别标识板的恢复,现今许多算法均可得到较鲁棒的结果,然而其计算开销对于视觉定位而言均过大,无法满足其实时性要求。
发明内容
(一)要解决的技术问题
有鉴于此,本公开的主要目的在于提供一种用于视觉定位导航的自识别标识板的视觉检测与恢复方法、装置、设备及介质。
(二)技术方案
本公开的一方面,提供了一种自识别标识板的视觉检测与恢复方法,包括:检测获取自识别标识板中全部可视的交叉点;将获取的交叉点列表组织成一个或多个蕴含相对坐标信息的阵列;以及利用所述蕴含相对坐标信息的阵列,恢复自识别标识板的绝对坐标。
根据本公开的实施例,所述检测获取自识别标识板中全部可视的交叉点,包括:循环选择当前像素周围八个像素Pi,i=1~8,判断当前像素Pi,i≤4与其对角线像素Pi+4是否在同一棋盘格?如果四组像素均在同一棋盘格,则从此四组像素中确定至少存在两组像素为反色;循环选择当前像素在原图下的周围八个像素,确定位于棋盘格边界的四个交替出现的黑色与白色跳变点,进而得到两条跳变线及这两条跳变线交点的亚像素坐标;将这两条跳变线的斜率作为跳变线参数,根据这两条跳变线交点的亚像素坐标与跳变线参数调用一预处理模板,进行逐像素的差值比较并求和,得到模板响应值,若响应值大于规定阈值则证明当前像素为所求交叉点。
根据本公开的实施例,所述循环选择当前像素周围八个像素Pi,i=1~8,判断当前像素Pi,i≤4与其对角线像素Pi+4是否在同一棋盘格,包括:循环选择当前像素周围八个像素Pi,i=1~8,判断当前像素Pi,i≤4与其对角线像素Pi+4是否满足像素值之差的绝对值小于阈值TmaxInnerGap,若四组像素均满足条件,则四组像素均在同一棋盘格。
根据本公开的实施例,所述从此四组像素中确定至少存在两组像素为反色,包括:将四组像素两两进行比较,若存在两组像素的差值大于规定阈值TmaxGap,则至少存在两组像素为反色。
根据本公开的实施例,所述循环选择当前像素在原图下的周围八个像素,确定位于棋盘格边界的四个黑色与白色跳变点,包括:循环选择当前像素在原图下的周围八个像素,判断是否存在各两个交替出现的黑色与白色跳变点,若存在且仅存在各两个交替出现的黑色与白色跳变点,且黑色、白色跳变点交替出现,则表明这各两个共四个黑色与白色跳变点位于棋盘格边界。
根据本公开的实施例,所述判断是否存在各两个交替出现的黑色与白色跳变点,是通过判断当前像素值Pi相较于上一像素值Pi-1的差值是否大于一设定阈值而实现的,如果当前像素值Pi相较于上一像素值Pi-1的差值大于一设定阈值,则存在各两个黑色与白色跳变点。
根据本公开的实施例,所述得到两条跳变线及这两条跳变线交点的亚像素坐标,包括:确定位于棋盘格边界的四个黑色与白色跳变点后,得到这四个黑色与白色跳变点的亚像素坐标jmpPosi,i=1~4,通过几何学知识得到这四个黑色与白色跳变点对应的两条跳变线,进而得到这两条跳变线的交点resPos及这两条跳变线交点的亚像素坐标。
根据本公开的实施例,所述预处理模板是由36×36个黑白跳变线间隙角度不同的模板组成,间隙由10°~360°每隔10°等间距生成,其中间隙角相同的同一类模板根据间隙角方向的变化,以10°为间隔生成10°~360°共36个模板,共同构成此36×36个模板。
根据本公开的实施例,所述根据这两条跳变线交点的亚像素坐标与跳变线参数调用一预处理模板,进行逐像素的差值比较并求和,得到模板响应值,包括:通过输入间隙角大小与方向这两个参数即可定位提取出最符合当前候选点的预处理模板,然后将该预处理模板中心与当前候选点重合,统计该预处理模板所覆盖区域的匹配度Covar,即得到模板响应值
根据本公开的实施例,所述得到交叉点之后,还包括:存储所述交叉点的亚像素信息。
根据本公开的实施例,所述将获取的交叉点列表组织成一个或多个蕴含相对坐标信息的阵列,包括:根据各交叉点相对于自身的距离和跳变线角度在交叉点之间建立连接,并存储连接成功的信息;为每个连接成功的交叉点分配一个相对坐标值,并存储当前所处的列表编号,形成一个或多个蕴含相对坐标信息的阵列。
根据本公开的实施例,所述利用所述蕴含相对坐标信息的阵列,恢复自识别标识板的绝对坐标,包括:对于每一种3×3棋盘格的区域,其内部均包含至多9个分布于各棋盘格中心的圆形,并且存在中心格底色为黑色或白色两种情况,因此将这十个变量组成一个10位二进制数,最高位置1代表中心格背景为黑色,其余9位分别代表从左上至右下棋盘格中心有无圆形存在,有则置1,无则置0;通过提取的10位二进制数唯一地解码出当前3×3区域在整个标识板中的位置与旋转方向;读取所述蕴含相对坐标信息的阵列,针对每一个阵列,提取出多个3×3棋盘格的圆形斑点与颜色信息,得到10位二进制值,从而得到当前阵列绝对坐标与方向,从而得到相对坐标与绝对坐标的偏置,最终恢复出自识别标识板全部阵列的绝对坐标。
本公开的另一方面,提供了一种自识别标识板的视觉检测与恢复装置,包括:交叉点检测模块,用于检测获取自识别标识板中全部可视的交叉点;相对坐标信息阵列形成模块,用于将获取的交叉点列表组织成一个或多个蕴含相对坐标信息的阵列;以及绝对坐标恢复模块,用于利用所述蕴含相对坐标信息的阵列,恢复自识别标识板的绝对坐标。
本公开的另一方面,还提供了一种电子设备,包括:处理器;存储器,其存储有计算机可执行程序,该程序在被所述处理器执行时,使得所述处理器执行所述的自识别标识板的视觉检测与恢复方法。
本公开的另一方面,还提供了一种计算机可读介质,其上存储有计算机程序,该计算机程序被执行时实现所述的自识别标识板的视觉检测与恢复方法。
本公开的另一方面,还提供了一种计算机程序,包括:计算机可执行指令,所述指令被执行时用于实现所述的自识别标识板的视觉检测与恢复方法。
(三)有益效果
根据本公开的实施例,本公开提供的用于视觉定位导航的自识别标识板的视觉检测与恢复方法、装置、设备及介质,通过采用三步递进的检测方案能够提取出精准的交叉点亚像素坐标,避免了抖动的发生,解决了现存交叉点检测算法存在剧烈抖动的问题。
根据本公开的实施例,本公开提供的用于视觉定位导航的自识别标识板的视觉检测与恢复方法、装置、设备及介质,通过采用综合交叉点信息,极大地降低计算量,解决了棋盘格状标识板恢复算法计算量过大的问题,满足了视觉定位任务中实时性的要求。
根据本公开的实施例,本公开提供的用于视觉定位导航的自识别标识板的视觉检测与恢复方法、装置、设备及介质,通过采用精准、鲁棒的交叉点提取策略,并设计了一种满足实时性的棋盘格恢复算法,从而针对特定自适应棋盘格实现了视觉定位的功能。
根据本公开的实施例,本公开提供的用于视觉定位导航的自识别标识板的视觉检测与恢复方法、装置、设备及介质,是针对一种以棋盘格与圆形斑点为基础的自识别标识板,提出了快速性好、鲁棒性强、精度高的读取与恢复算法,能够应用于口腔手术机器人的视觉定位与导航。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1为依照本公开实施例的用于视觉定位导航的自识别标识板的视觉检测与恢复方法的流程图。
图2为依照本公开实施例的四个黑色与白色跳变点及跳变线交点的示意图。
图3为依照本公开实施例的预处理模板的示意图。
图4为依照本公开实施例的将图3所示的预处理模板中心与当前候选点重合,统计模板所覆盖区域的匹配度的示意图。
图5为依照本公开实施例的检测获取自识别标识板中全部可视的交叉点的示意图。
图6为依照本公开实施例的将获取的交叉点列表组织成一个或多个蕴含相对坐标信息的阵列的示意图。
图7为依照本公开实施例的判断本棋盘格是否存在圆形特征的示意图。
图8为依照本公开实施例的利用所述蕴含相对坐标信息的阵列恢复自识别标识板的绝对坐标的示意图。
图9为依照本公开实施例的用于视觉定位导航的自识别标识板的视觉检测与恢复装置900的框图。
图10为依照本公开实施例的电子设备100的框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
并且图中各部件的形状和尺寸不反映真实大小和比例,而仅示意本公开实施例的内容。另外,在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。
再者,单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。说明书与权利要求书中所使用的序数例如“S1”、“S2”、“S3”等的用词,以修饰权利要求项的步骤,其本身并不意含及代表该请求步骤有任何之前的序数,也不代表某一请求步骤与另一请求步骤的顺序、或是制造方法上的顺序,这些序数的使用仅用来使具有某命名的一请求步骤得以和另一请求步骤能作出清楚区分。
本公开的实施例提供了一种用于视觉定位导航的自识别标识板的视觉检测与恢复方法,如图1所示,图1示意性示出了依照本公开实施例的用于视觉定位导航的自识别标识板的视觉检测与恢复方法的流程图。需要注意的是,图1所示仅为可以应用本公开实施例的应用场景的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他环境或场景。
如图1所示,根据本公开实施例的用于视觉定位导航的自识别标识板的视觉检测与恢复方法,包括如下步骤:
S1:检测获取自识别标识板中全部可视的交叉点;
在本公开实施例中,检测获取自识别标识板中全部可视的交叉点,包括:
S11:循环选择当前像素周围八个像素Pi,i=1~8,判断当前像素Pi,i≤4与其对角线像素Pi+4是否在同一棋盘格?如果四组像素均在同一棋盘格,则从此四组像素中确定至少存在两组像素为反色;
其中,所述循环选择当前像素周围八个像素Pi,i=1~8,判断当前像素Pi,i≤4与其对角线像素Pi+4是否在同一棋盘格,包括:循环选择当前像素周围八个像素Pi,i=1~8,判断当前像素Pi,i≤4与其对角线像素Pi+4是否满足像素值之差的绝对值小于阈值TmaxInnerGap,若四组像素均满足条件,则四组像素均在同一棋盘格;
所述从此四组像素中确定至少存在两组像素为反色,包括:将四组像素两两进行比较,若存在两组像素的差值大于规定阈值TmaxGap,则至少存在两组像素为反色。
S12:循环选择当前像素在原图下的周围八个像素,确定位于棋盘格边界的四个交替出现的黑色与白色跳变点,进而得到两条跳变线及这两条跳变线交点的亚像素坐标;
其中,所述循环选择当前像素在原图下的周围八个像素,确定位于棋盘格边界的四个黑色与白色跳变点,包括:循环选择当前像素在原图下的周围八个像素,判断是否存在各两个交替出现的黑色与白色跳变点,若存在且仅存在各两个交替出现的黑色与白色跳变点,且黑色、白色跳变点交替出现,则表明这各两个共四个黑色与白色跳变点位于棋盘格边界;所述判断是否存在各两个交替出现的黑色与白色跳变点,是通过判断当前像素值Pi相较于上一像素值Pi-1的差值是否大于一设定阈值而实现的,如果当前像素值Pi相较于上一像素值Pi-1的差值大于一设定阈值,则存在各两个黑色与白色跳变点;
其中,所述得到两条跳变线及这两条跳变线交点的亚像素坐标,包括:确定位于棋盘格边界的四个黑色与白色跳变点后,得到这四个黑色与白色跳变点的亚像素坐标jmpPosi,i=1~4,通过几何学知识得到这四个黑色与白色跳变点对应的两条跳变线,进而得到这两条跳变线的交点resPos及这两条跳变线交点的亚像素坐标。
S13:将这两条跳变线的斜率作为跳变线参数,根据这两条跳变线交点的亚像素坐标与跳变线参数调用一预处理模板,进行逐像素的差值比较并求和,得到模板响应值,若响应值大于规定阈值则证明当前像素为所求交叉点;
其中,所述预处理模板是由36×36个黑白跳变线间隙角度不同的模板组成,间隙由10°~360°每隔10°等间距生成,其中间隙角相同的同一类模板根据间隙角方向的变化,以10°为间隔生成10°~360°共36个模板,共同构成此36×36个模板;
所述根据这两条跳变线交点的亚像素坐标与跳变线参数调用一预处理模板,进行逐像素的差值比较并求和,得到模板响应值,包括:通过输入间隙角大小与方向这两个参数即可定位提取出最符合当前候选点的预处理模板,然后将该预处理模板中心与当前候选点重合,统计该预处理模板所覆盖区域的匹配度Covar,即得到模板响应值;
所述得到交叉点之后,还包括:存储所述交叉点的亚像素信息。
S2:将获取的交叉点列表组织成一个或多个蕴含相对坐标信息的阵列;
在本公开实施例中,所述将获取的交叉点列表组织成一个或多个蕴含相对坐标信息的阵列,包括:根据各交叉点相对于自身的距离和跳变线角度在交叉点之间建立连接,并存储连接成功的信息;为每个连接成功的交叉点分配一个相对坐标值,并存储当前所处的列表编号,形成一个或多个蕴含相对坐标信息的阵列。
S3:利用所述蕴含相对坐标信息的阵列,恢复自识别标识板的绝对坐标;
在本公开实施例中,所述利用所述蕴含相对坐标信息的阵列,恢复自识别标识板的绝对坐标,包括:对于每一种3×3棋盘格的区域,其内部均包含至多9个分布于各棋盘格中心的圆形,并且存在中心格底色为黑色或白色两种情况,因此将这十个变量组成一个10位二进制数,最高位置1代表中心格背景为黑色,其余9位分别代表从左上至右下棋盘格中心有无圆形存在,有则置1,无则置0;通过提取的10位二进制数唯一地解码出当前3×3区域在整个标识板中的位置与旋转方向;读取所述蕴含相对坐标信息的阵列,针对每一个阵列,提取出多个3×3棋盘格的圆形斑点与颜色信息,得到10位二进制值,从而得到当前阵列绝对坐标与方向,从而得到相对坐标与绝对坐标的偏置,最终恢复出自识别标识板全部阵列的绝对坐标。
实施例:
本公开的实施例提供了一种用于视觉定位导航的自识别标识板的视觉检测与恢复方法,该方法主要包含三部分,第一部分是检测自识别标识板中全部可视的交叉点;第二部分是针对所获得的交叉点,将获得的交叉点列表组织成一个或多个蕴含相对坐标信息的阵列;第三部分是通过所得阵列,恢复出一个或多个阵列的绝对坐标(自识别标识板所提供)。
第一部分:交叉点检测;
因视觉定位导航需满足较高的实时性,作为耗时最长的交叉点检测,需要提出复杂度尽可能小的算法,本公开将交叉点检测分为三步递进进行。
第一步:循环选择当前像素周围8个像素Pi,i=1~8,首先判断当前像素Pi,i≤4与其对角线像素Pi+4是否满足像素值差值小于阈值TmaxInnerGap,即:
|(Pi-Pi+4)|<TmaxInnerGap
若四组差值均满足条件,则表明当前像素Pi与其对角线像素Pi+4大概率是在同一棋盘格,即全部黑色格子或全部白色格子,当然也有可能存在一些例外情况,还需要进一步筛选;即将四组点对两两进行比较,以筛选当前候选点在棋盘内部的情况,若存在两组点对像素差值大于规定阈值TmaxGap,即:
|(Pi+Pi+4)-(Pj+Pj+4)|>TmaxGap,其中i≠j
则确定至少存在两组必须为反色,然后进入第二步。
第二步:循环选择当前像素在原图下的周围8个像素,判断是否存在交替出现的各两个黑色与白色跳变点(即当前像素值Pi相比于上一像素值Pi-1差值大于设定阈值),若存在且仅存在两组跳变点则表明这两组跳变点位于棋盘格的边界,进行下一步,并处理出四个跳变点的亚像素坐标jmpPosi,i=1~4,通过几何学知识求出跳变点对应的两条跳变线参数,从而得到跳变线交点resPos的亚像素坐标。
图2为依照本公开实施例的四个黑色与白色跳变点及跳变线交点的示意图,图2所示的边界上的4个红圈处为4个跳变点,4个跳变点交叉连线的交叉点所在的绿圈处为所求跳变线交点(即候选交叉点所在位置)。
其中,有:
第三步:通过第二步得到的跳变线交点的亚像素坐标与跳变线参数(两直线斜率),通过寻找与之相对应的预处理模板,进行逐像素的差值比较并求和,得到模板响应值,若响应值大于规定阈值则证明当前像素为所求交叉点,并存储其亚像素信息。
在第三步中,预处理模板是在检测程序前所运行的子程序,其主要功能是生成一个如图3所示的预处理模板并存储为图片共后续算法调用。其是由36组黑白跳变线间隙角度不同(间隙由10°~360°每隔10°等间距生成)的模板组成,其中每一类模板(间隙角相同称为一类)根据间隙角方向的变化,以10°为间隔生成10°~360°共36个模板,共同构成此36×36个模板。例如,下图中左上-右下对角线上的36个模板即为间隙角为10°时,所生成的36个不同间隙角方向的模板。在使用时,只需输入间隙角大小与方向这两个参数即可定位提取出最符合当前候选点的模板,从而进行下一步匹配。
图4为依照本公开实施例的将图3所示的预处理模板中心与当前候选点重合,统计模板所覆盖区域的匹配度的示意图。即图4为根据第二步所得跳变线信息所生成的预处理模板(离线生成,在线调用),将该预处理模板中心与当前候选点重合,统计模板所覆盖区域的匹配度Covar,其中该匹配度对应于第三步中的“进行逐像素的差值比较并求和”。
通过交叉点检测后结果如下图5,图5为依照本公开实施例的检测获取自识别标识板中全部可视的交叉点的示意图。
第二部分:将获取的交叉点列表组织成一个或多个蕴含相对坐标信息的阵列;
针对所获得的交叉点,将获得的交叉点列表组织成一个或多个蕴含相对坐标信息的阵列,其包括交叉点连接器和列表组织器两个步骤,其中,交叉点连接器根据各交叉点相对于自身的距离和跳变线角度在交叉点之间建立连接,连接成功的信息存储于计算机中;列表组织器为每个连接成功的交叉点分配一个相对坐标值(定义具有最小y值的交叉点相对坐标为(10,10)),并存储当前所处的列表编号。图6为依照本公开实施例的将获取的交叉点列表组织成一个或多个蕴含相对坐标信息的阵列的示意图。
第三部分:利用所述蕴含相对坐标信息的阵列,恢复自识别标识板的绝对坐标;
对于每一种3×3棋盘格的区域,其内部均包含至多9个分布于各棋盘格中心的圆形,并且存在中心格底色为黑色或白色两种情况。因此,可将这十个变量组成一个10位二进制数(例如,最高位置1代表中心格背景为黑色,其余9位分别代表从左上至右下棋盘格中心有无圆形存在,有则置1)。因此,可通过提取到的10位二进制数唯一地解码出当前3×3区域在整个标识板中的位置与旋转方向。通过读取上一步中所组织的列表信息,针对每一个阵列,提取出多个3×3棋盘格的圆形斑点与颜色信息,得到10位二进制值,从而得到当前阵列绝对坐标与方向,从而得到相对坐标与绝对坐标的偏置,最终恢复出全部阵列的绝对坐标,完成视觉定位与导航任务。如下图7所示,蓝色点即为各棋盘格中心点,通过提取蓝色点附近像素值即可判断本棋盘格是否存在圆形特征。
举例说明,如图8所示,蓝色框中可提取出一3×3区域,将其解码后得到一段二进制值0111111101=509(中心格背景色为白色,最高位置0),根据此值可查表得到3×3区域左上角交叉点绝对坐标(7,4)与方向,从而可以再次更新其余交叉点绝对坐标值。
从上述实施例可以看出,本公开提供的用于视觉定位导航的自识别标识板的视觉检测与恢复方法,通过采用三步递进的检测方案能够提取出精准的交叉点亚像素坐标,避免了抖动的发生,解决了现存交叉点检测算法存在剧烈抖动的问题;通过采用综合交叉点信息,极大地降低计算量,解决了棋盘格状标识板恢复算法计算量过大的问题,满足了视觉定位任务中实时性的要求;通过采用精准、鲁棒的交叉点提取策略,并设计了一种满足实时性的棋盘格恢复算法,从而针对特定自适应棋盘格实现了视觉定位的功能。因此,本公开提供的用于视觉定位导航的自识别标识板的视觉检测与恢复方法,是针对一种以棋盘格与圆形斑点为基础的自识别标识板,提出了快速性好、鲁棒性强、精度高的读取与恢复算法,能够应用于口腔手术机器人的视觉定位与导航。
基于图1至图8所示的依照本公开实施例的用于视觉定位导航的自识别标识板的视觉检测与恢复方法,图9示意性示出了根据本公开实施例的用于视觉定位导航的自识别标识板的视觉检测与恢复装置900的框图。
如图9所示,本公开实施例提供的用于视觉定位导航的自识别标识板的视觉检测与恢复装置900包括交叉点检测模块901、相对坐标信息阵列形成模块902和绝对坐标恢复模块903,其中:交叉点检测模块901用于检测获取自识别标识板中全部可视的交叉点,相对坐标信息阵列形成模块902用于将获取的交叉点列表组织成一个或多个蕴含相对坐标信息的阵列,绝对坐标恢复模块903用于利用所述蕴含相对坐标信息的阵列,恢复自识别标识板的绝对坐标。
应当理解,交叉点检测模块901、相对坐标信息阵列形成模块902和绝对坐标恢复模块903可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。
根据本公开的实施例,交叉点检测模块901、相对坐标信息阵列形成模块902和绝对坐标恢复模块903中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式的适当组合来实现。或者,交叉点检测模块901、相对坐标信息阵列形成模块902和绝对坐标恢复模块903中的至少一个可以至少被部分地实现为计算机程序模块,当该程序被计算机运行时,可以执行相应模块的功能。
本公开还提供一种电子设备,如图10所示,图10示意性示出了根据本公开实施例的电子设备100的框图。该电子设备100包括处理器110和存储器120。该电子设备100可以执行根据图1所示的本公开实施例的用于视觉定位导航的自识别标识板的视觉检测与恢复方法。
具体地,处理器110例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器110还可以包括用于缓存用途的板载存储器。处理器110可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
存储器120,例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如,可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;和/或有线/无线通信链路。
存储器120可以包括计算机程序121,该计算机程序121可以包括代码/计算机可执行指令,其在由处理器110执行时使得处理器110执行根据本公开实施例的方法或其任何变形。
计算机程序121可被配置为具有例如包括计算机程序模块的计算机程序代码。例如,在示例实施例中,计算机程序121中的代码可以包括至少一个程序模块,例如包括模块121A、模块121B、……。应当注意,模块的划分方式和个数并不是固定的,本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合,当这些程序模块组合被处理器110执行时,使得处理器110可以执行根据本公开实施例的方法或其任何变形。
本公开还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的用于视觉定位导航的自识别标识板的视觉检测与恢复方法。
根据本公开的实施例,计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线、光缆、射频信号等等,或者上述的任意合适的组合。
本公开还提供了一种计算机程序,该计算机程序包括:计算机可执行指令,所述指令被执行时用于实现根据本公开实施例的用于视觉定位导航的自识别标识板的视觉检测与恢复方法。
至此,已经结合附图对本公开进行了详细描述。依据以上描述,本领域技术人员应当对本公开有了清楚的认识。
需要说明的是,在附图或说明书正文中,未绘示或描述的实现方式,均为所属技术领域中普通技术人员所知的形式,并未进行详细说明。此外,上述对各元件的定义并不仅限于实施例中提到的各种具体结构、形状或方式,本领域普通技术人员可对其进行简单地更改或替换。
当然,根据实际需要,本公开还可以包含其他的部分,由于同本公开的创新之处无关,此处不再赘述。
类似地,应当理解,为了精简本公开并帮助理解各个公开方面中的一个或多个,在上面对本公开的示例性实施例的描述中,本公开的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本公开要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,公开方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本公开的单独实施例。
此外,在附图或说明书描述中,相似或相同的部分都使用相同的图号。说明书中示例的各个实施例中的技术特征在无冲突的前提下可以进行自由组合形成新的方案,另外每个权利要求可以单独作为一个实施例或者各个权利要求中的技术特征可以进行组合作为新的实施例。再者,附图中未绘示或描述的元件或实现方式,为所属技术领域中普通技术人员所知的形式。另外,虽然本文可提供包含特定值的参数的示范,但应了解,参数无需确切等于相应的值,而是可在可接受的误差容限或设计约束内近似于相应的值。
除非存在技术障碍或矛盾,本公开的上述各种实施方式可以自由组合以形成另外的实施例,这些另外的实施例均在本公开的保护范围中。
虽然结合附图对本公开进行了说明,但是附图中公开的实施例旨在对本公开优选实施方式进行示例性说明,而不能理解为对本公开的一种限制。附图中的尺寸比例仅仅是示意性的,并不能理解为对本公开的限制。
虽然本公开总体构思的一些实施例已被显示和说明,本领域普通技术人员将理解,在不背离本总体公开构思的原则和精神的情况下,可对这些实施例做出改变,本公开的范围以权利要求和它们的等同物限定。
以上所述的具体实施例,对本公开的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本公开的具体实施例而已,并不用于限制本公开,凡在本公开的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
Claims (16)
1.一种自识别标识板的视觉检测与恢复方法,其特征在于,包括:
检测获取自识别标识板中全部可视的交叉点;
将获取的交叉点列表组织成一个或多个蕴含相对坐标信息的阵列;以及
利用所述蕴含相对坐标信息的阵列,恢复自识别标识板的绝对坐标。
2.根据权利要求1所述的自识别标识板的视觉检测与恢复方法,其特征在于,所述检测获取自识别标识板中全部可视的交叉点,包括:
循环选择当前像素周围八个像素Pi,i=1~8,判断当前像素Pi,i≤4与其对角线像素Pi+4是否在同一棋盘格?如果四组像素均在同一棋盘格,则从此四组像素中可确定至少存在两组像素为反色;
循环选择当前像素在原图下的周围八个像素,确定位于棋盘格边界的四个交替出现的黑色与白色跳变点,进而得到两条跳变线及这两条跳变线交点的亚像素坐标;
将这两条跳变线的斜率作为跳变线参数,根据这两条跳变线交点的亚像素坐标与跳变线参数调用一预处理模板,进行逐像素的差值比较并求和,得到模板响应值,若响应值大于规定阈值则证明当前像素为所求交叉点。
3.根据权利要求2所述的自识别标识板的视觉检测与恢复方法,其特征在于,所述循环选择当前像素周围八个像素Pi,i=1~8,判断当前像素Pi,i≤4与其对角线像素Pi+4是否在同一棋盘格,包括:
循环选择当前像素周围八个像素Pi,i=1~8,判断当前像素Pi,i≤4与其对角线像素Pi+4是否满足像素值之差的绝对值小于阈值TmaxInnerGap,若四组像素均满足条件,则四组像素均在同一棋盘格。
4.根据权利要求3所述的自识别标识板的视觉检测与恢复方法,其特征在于,所述从此四组像素中确定至少存在两组像素为反色,包括:
将四组像素两两进行比较,若存在两组像素的差值大于规定阈值TmaxGap,则至少存在两组像素为反色。
5.根据权利要求4所述的自识别标识板的视觉检测与恢复方法,其特征在于,所述循环选择当前像素在原图下的周围八个像素,确定位于棋盘格边界的四个黑色与白色跳变点,包括:
循环选择当前像素在原图下的周围八个像素,判断是否存在各两个交替出现的黑色与白色跳变点,若存在且仅存在各两个交替出现的黑色与白色跳变点,且黑色、白色跳变点交替出现,则表明这各两个共四个黑色与白色跳变点位于棋盘格边界。
6.根据权利要求5所述的自识别标识板的视觉检测与恢复方法,其特征在于,所述判断是否存在各两个交替出现的黑色与白色跳变点,是通过判断当前像素值Pi相较于上一像素值Pi-1的差值是否大于一设定阈值而实现的,如果当前像素值Pi相较于上一像素值Pi-1的差值大于一设定阈值,则存在各两个黑色与白色跳变点。
7.根据权利要求6所述的自识别标识板的视觉检测与恢复方法,其特征在于,所述得到两条跳变线及这两条跳变线交点的亚像素坐标,包括:
确定位于棋盘格边界的四个黑色与白色跳变点后,得到这四个黑色与白色跳变点的亚像素坐标jmpPosi,i=1~4,通过几何学知识得到这四个黑色与白色跳变点对应的两条跳变线,进而得到这两条跳变线的交点resPos及这两条跳变线交点的亚像素坐标。
8.根据权利要求7所述的自识别标识板的视觉检测与恢复方法,其特征在于,所述预处理模板是由36×36个黑白跳变线间隙角度不同的模板组成,间隙由10°~360°每隔10°等间距生成,其中间隙角相同的同一类模板根据间隙角方向的变化,以10°为间隔生成10°~360°共36个模板,共同构成此36×36个模板。
9.根据权利要求8所述的自识别标识板的视觉检测与恢复方法,其特征在于,所述根据这两条跳变线交点的亚像素坐标与跳变线参数调用一预处理模板,进行逐像素的差值比较并求和,得到模板响应值,包括:
通过输入间隙角大小与方向这两个参数即可定位提取出最符合当前候选点的预处理模板,然后将该预处理模板中心与当前候选点重合,统计该预处理模板所覆盖区域的匹配度Covar,即得到模板响应值。
10.根据权利要求9所述的自识别标识板的视觉检测与恢复方法,其特征在于,所述得到交叉点之后,还包括:
存储所述交叉点的亚像素信息。
11.根据权利要求1所述的自识别标识板的视觉检测与恢复方法,其特征在于,所述将获取的交叉点列表组织成一个或多个蕴含相对坐标信息的阵列,包括:
根据各交叉点相对于自身的距离和跳变线角度在交叉点之间建立连接,并存储连接成功的信息;
为每个连接成功的交叉点分配一个相对坐标值,并存储当前所处的列表编号,形成一个或多个蕴含相对坐标信息的阵列。
12.根据权利要求1所述的自识别标识板的视觉检测与恢复方法,其特征在于,所述利用所述蕴含相对坐标信息的阵列,恢复自识别标识板的绝对坐标,包括:
对于每一种3×3棋盘格的区域,其内部均包含至多9个分布于各棋盘格中心的圆形,并且存在中心格底色为黑色或白色两种情况,因此将这十个变量组成一个10位二进制数,最高位置1代表中心格背景为黑色,其余9位分别代表从左上至右下棋盘格中心有无圆形存在,有则置1,无则置0;
通过提取的10位二进制数唯一地解码出当前3×3区域在整个标识板中的位置与旋转方向;
读取所述蕴含相对坐标信息的阵列,针对每一个阵列,提取出多个3×3棋盘格的圆形斑点与颜色信息,得到10位二进制值,从而得到当前阵列绝对坐标与方向,从而得到相对坐标与绝对坐标的偏置,最终恢复出自识别标识板全部阵列的绝对坐标。
13.一种自识别标识板的视觉检测与恢复装置,其特征在于,包括:
交叉点检测模块,用于检测获取自识别标识板中全部可视的交叉点;
相对坐标信息阵列形成模块,用于将获取的交叉点列表组织成一个或多个蕴含相对坐标信息的阵列;以及
绝对坐标恢复模块,用于利用所述蕴含相对坐标信息的阵列,恢复自识别标识板的绝对坐标。
14.一种电子设备,包括:
处理器;
存储器,其存储有计算机可执行程序,该程序在被所述处理器执行时,使得所述处理器执行权利要求1-12中任一项所述的自识别标识板的视觉检测与恢复方法。
15.一种计算机可读介质,其上存储有计算机程序,该计算机程序被执行时实现权利要求1-12中任一项所述的自识别标识板的视觉检测与恢复方法。
16.一种计算机程序,包括:计算机可执行指令,所述指令被执行时用于实现权利要求1-12中任一项所述的自识别标识板的视觉检测与恢复方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110369776.0A CN113066128B (zh) | 2021-04-06 | 2021-04-06 | 自识别标识板的视觉检测与恢复方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110369776.0A CN113066128B (zh) | 2021-04-06 | 2021-04-06 | 自识别标识板的视觉检测与恢复方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113066128A true CN113066128A (zh) | 2021-07-02 |
CN113066128B CN113066128B (zh) | 2023-08-08 |
Family
ID=76565956
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110369776.0A Active CN113066128B (zh) | 2021-04-06 | 2021-04-06 | 自识别标识板的视觉检测与恢复方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113066128B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113673410A (zh) * | 2021-08-16 | 2021-11-19 | 北京大学 | 人工标记的生成方法、识别方法、装置、设备、介质和程序 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108895959A (zh) * | 2018-04-27 | 2018-11-27 | 电子科技大学 | 一种基于亚像素的相机标定板角点计算方法 |
CN109883533A (zh) * | 2019-01-21 | 2019-06-14 | 哈尔滨工业大学(深圳) | 基于机器视觉的低频振动测量方法 |
CN111179360A (zh) * | 2020-04-13 | 2020-05-19 | 杭州利珀科技有限公司 | 一种高精度自动化标定板和标定方法 |
-
2021
- 2021-04-06 CN CN202110369776.0A patent/CN113066128B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108895959A (zh) * | 2018-04-27 | 2018-11-27 | 电子科技大学 | 一种基于亚像素的相机标定板角点计算方法 |
CN109883533A (zh) * | 2019-01-21 | 2019-06-14 | 哈尔滨工业大学(深圳) | 基于机器视觉的低频振动测量方法 |
CN111179360A (zh) * | 2020-04-13 | 2020-05-19 | 杭州利珀科技有限公司 | 一种高精度自动化标定板和标定方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113673410A (zh) * | 2021-08-16 | 2021-11-19 | 北京大学 | 人工标记的生成方法、识别方法、装置、设备、介质和程序 |
Also Published As
Publication number | Publication date |
---|---|
CN113066128B (zh) | 2023-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11113819B2 (en) | Graphical fiducial marker identification suitable for augmented reality, virtual reality, and robotics | |
CN112348815B (zh) | 图像处理方法、图像处理装置以及非瞬时性存储介质 | |
JP6936306B2 (ja) | 2次元コードの位置情報を認識する方法及びシステム | |
EP3836003B1 (en) | Qr code positioning method and apparatus | |
JP5908113B2 (ja) | 二次元コード | |
US7942340B2 (en) | Two-dimensional code, and method and apparatus for detecting two-dimensional code | |
CN102243704B (zh) | 用于二维码的定位系统、二维码的识别方法及设备 | |
US20150260505A1 (en) | Image processing device, image processing method, and program | |
CN110163025A (zh) | 二维码定位方法及装置 | |
CN110264523B (zh) | 一种确定测试图像中的目标图像的位置信息的方法与设备 | |
CA3045391C (en) | Method for detection and recognition of long-range high-density visual markers | |
KR100702534B1 (ko) | 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디판단 방법 | |
CN111354038A (zh) | 锚定物检测方法及装置、电子设备及存储介质 | |
CN113066128A (zh) | 自识别标识板的视觉检测与恢复方法、装置、设备及介质 | |
CN110751656B (zh) | 一种裂缝参数自动提取方法、装置及存储装置 | |
CN112767487A (zh) | 机器人的定位方法、装置以及系统 | |
CN111523331A (zh) | 一种二维码识别方法及装置 | |
CN113628286B (zh) | 视频色域检测方法、装置、计算设备及计算机存储介质 | |
JP2017102841A (ja) | 二次元コード、二次元コードの解析方法、二次元コードの解析装置及び二次元コードを解析するプログラム | |
CN107369150B (zh) | 一种检测矩形目标的方法及矩形目标检测装置 | |
JPH03192474A (ja) | 3次元形状計測方式 | |
Tybusch et al. | Color-based and recursive fiducial marker for augmented reality | |
US11501511B2 (en) | Method for optical recognition of markers | |
JPH02110305A (ja) | 3次元計測装置 | |
CN117157668A (zh) | 对dvs与相机之间的统一标定板进行角点检测的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |