CN110070625A - 增强现实设备用标识及其识别方法、增强现实设备 - Google Patents

增强现实设备用标识及其识别方法、增强现实设备 Download PDF

Info

Publication number
CN110070625A
CN110070625A CN201910346556.9A CN201910346556A CN110070625A CN 110070625 A CN110070625 A CN 110070625A CN 201910346556 A CN201910346556 A CN 201910346556A CN 110070625 A CN110070625 A CN 110070625A
Authority
CN
China
Prior art keywords
image
identification
representing
feature
vertex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910346556.9A
Other languages
English (en)
Other versions
CN110070625B (zh
Inventor
吕耀宇
马福强
楚明磊
闫桂新
孙建康
李纲
薛亚冲
张硕
赵晨曦
彭项君
陈丽莉
张�浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910346556.9A priority Critical patent/CN110070625B/zh
Publication of CN110070625A publication Critical patent/CN110070625A/zh
Application granted granted Critical
Publication of CN110070625B publication Critical patent/CN110070625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种增强现实设备用标识及其识别方法、增强现实设备,用于增强现实技术中,可以提高增强现实算法的实时性与效率,该标识用于表示唯一的编码序列号,包括:外围边框,设置于外围边框内的多个特征图形,多个特征图形的数量为N×M个。多个特征图形中的一个表示旋转校验位,表示旋转校验位的特征图形的中心不与外围边框的中心重合;多个特征图形中除表示旋转校验位的特征图形外的其余特征图形,按照设定次序分别编号为1~N×M‑1,编号为2x的特征图形表示数据校验位,多个特征图形中除表示旋转校验位和数据校验位的特征图形外的其余特征图形表示数据信息位。上述标识可以表示更多的数据信息,且能提高标识的识别效率。

Description

增强现实设备用标识及其识别方法、增强现实设备
技术领域
本发明涉及增强现实技术领域,尤其涉及一种增强现实设备用标识及其识别方法、计算机可读存储介质、增强现实设备。
背景技术
AR(Augmented Reality、增强现实)技术是一种能将现实世界与虚拟信息相结合的人机交互技术,通过增强现实技术,将虚拟信息应用到现实世界,真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在,使用户感受到超越现实的感官体验。
目前,利用计算机视觉技术实现增强现实是研究的热门领域,其通过在现实世界中设置标识,利用增强现实设备识别该标识,建立标识与增强现实设备屏幕的映射关系,从而建立现实平面与增强现实屏幕的映射关系,通过在标识上叠加虚拟信息,实现将虚拟信息应用到现实世界。AR技术作为人机交互技术,对算法的实时性和准确性有极高的要求,然而现有的增强现实设备用标识设计本身存在缺陷,导致其对应的识别算法的实时性和准确性均较低,导致AR设备所搭载的AR算法的实现无法达到较好的效果。
发明内容
本发明提供一种增强现实设备用标识及其识别方法、计算机可读存储介质、增强现实设备,以提高AR算法的处理效率,达到较好的实时效果。
为达到上述目的,本发明采用如下技术方案:
本发明的第一方面提供了一种增强现实设备用标识,该标识用于表示唯一的编码序列号,所述标识包括:外围边框,设置于外围边框内的多个特征图形,多个特征图形的数量为N×M个;其中,N为多个特征图形排列的列数,M为多个特征图形排列的行数。多个特征图形中的一个表示旋转校验位,表示旋转校验位的特征图形的中心不与外围边框的中心重合;多个特征图形中除表示旋转校验位的特征图形外的其余特征图形,按照设定次序分别编号为1~N×M-1,编号为2x的特征图形表示数据校验位;多个特征图形中除表示旋转校验位和数据校验位的特征图形外的其余特征图形表示数据信息位;其中,x为大于或等于0的正整数。
上述增强现实设备用标识,将表示数据校验位和数据信息位的特征图形按照设定次序编号,将编号为2x的特征图形表示数据校验位,其余特征图形表述数据信息位,这样采用整体编码的方式,在标识所包括的特征图形的数量一定的情况下,可以大大拓展标识所能表示的编码序列号的数量,同样规格的标识可以表示更多的ID(Identity、身份标识)数据信息,有效提高了标识中特征图形的利用率。
并且,通过在标识中设置表示旋转校验位的特征图形,可以确定增强现实设备从任意方位和角度所获取的标识图像的正置视图,不需要考虑0°、90°、180°、270°四种结果,提高了标识的识别效率,降低了标识识别的耗时。
再者,本发明实施例提供的标识包括外围边框和多个特征图形,在对标识进行提取时,可以依据外围边框和多个特征图形的轮廓形状等多个特征,对图像中的标识进行提取,得到标识图像,标识具有的特征更多,可以提高标识识别的准确度,不易出错。
在一些实施例中,多个特征图形中位于外围边框的左上角位置处的特征图形表示旋转校验位。
在一些实施例中,外围边框的颜色为黑色,多个特征图形的背景颜色为白色,表示旋转校验位的特征图形的颜色为黑色,表示数据校验位的特征图形和表示数据信息位的特征图形的颜色为黑色或白色。其中,表示数据校验位的特征图形和表示数据信息位的特征图形的颜色为黑色表示1,为白色表示0。
在一些实施例中,表示旋转校验位的特征图形的形状和表示数据校验位的特征图形的形状为第一形状,表示数据信息位的特征图形的形状为第二形状。
在一些实施例中,第一形状为四边形,第二形状为圆形。或者,第一形状为圆形,第二形状为四边形。
本发明的第二方面提供了一种增强现实设备用标识的识别方法,所述识别方法用于识别如第一方面所述的标识,包括:获取包含标识图像的图像,对所获取的图像进行处理,使处理后的图像为黑白图像。对处理后的图像进行扫描,提取处理后的图像中的标识图像。确定标识图像中表示旋转校验位的特征图形,对标识图像进行旋转校验,得到标识图像的正置视图。按照设定次序读取标识图像中表示数据校验位和表示数据信息位的特征图形的颜色所表示的值,得到标识的编码序列号。根据编码序列号获取标识所对应的信息。
采用上述标识的识别方法,在提取出处理后的图像中的标识图像后,通过标识图像中表示旋转校验位的特征图形对标识图像进行旋转校验,避免了对标识图像进行包括0°、90°、180°、270°这四种结果的讨论及比对过程,只需要进行一次旋转校验就能得到标识图像的正置视图,在读取标识的编码序列号时,基于标识图像的正置视图,按照设定次序读取标识图像中表示数据校验位和表示数据信息位的特征图形的颜色所表示的值,所读取到的值即为编码序列号,实现了将标识的旋转校验和数据校验成功解耦,在保证读取到的数据的准确性的同时,提高了识别速度,提高了算法效率,将上述标识的识别方法应用于增强现实技术中,可提高AR算法的实时性。
在一些实施例中,对处理后的图像进行扫描,提取处理后的图像中的标识图像的步骤,包括:对处理后的图像进行扫描,提取处理后的图像中所包含的图形的轮廓。根据所提取的图形的轮廓,识别相应的图形的形状。
根据所识别的图形的形状,在处理后的图像中搜索准标识图像;准标识图像包括与标识的外围边框形状一致的图形和与标识的多个特征图形形状一致的图形,且准标识图像中,与标识的多个特征图形形状一致的图形位于与标识的外围边框形状一致的图形内部。
判断搜索得到的准标识图像中与标识的外围边框形状一致的图形是否满足如下公式:
其中,M为处理后的图像的宽度,Rdist为设定系数,xi、yi为与标识的外围边框形状一致的图形的内边框的四个顶点的坐标值,xj、yj为与标识的外围边框形状一致的图形的外边框的四个顶点的坐标值。
如果满足,则确定相应的准标识图像为标识图像;如果不满足,则确定相应的准标识图像不是标识图像。
在一些实施例中,对所述处理后的图像进行扫描,提取所述处理后的图像中所包含的图形的轮廓的步骤,包括:从处理后的图像中选取多行像素,所选取的多行像素中每相邻两行像素之间间隔有至少一行未被选取的像素,对所选取的多行像素进行扫描。确定被扫描的每行像素中像素值发生突变的位置,在所确定的位置处选定像素值为1的像素为起始边界像素,并记录所选定的起始边界像素的起始坐标值。在被扫描的每行像素中,按照设定划分规则将所选定的多个起始边界像素进行划分,得到至少一个像素对。沿设定跟踪方向,对所选定的每个起始边界像素同时进行跟踪,记录跟踪得到的边界像素的跟踪坐标值。
在跟踪过程中,若所记录的跟踪坐标值与起始坐标值相同,且该跟踪坐标值所对应的起始边界像素与该起始坐标值所对应的起始边界像素属于不同的像素对,则在相应的多个像素对中选取起始边界像素距离最大的一个像素对,对所选取的像素对继续进行跟踪,停止对相应的多个像素对中的其它像素对的跟踪。当所选取的像素对中,两个起始边界像素互相跟踪到对方时,停止跟踪。将互相跟踪到对方的两个起始边界像素的跟踪过程中所记录的跟踪坐标值,及这两个起始边界像素的起始坐标值组合,作为轮廓坐标点集,得到图形的轮廓。
在一些实施例中,确定标识图像中表示旋转校验位的特征图形,对标识图像进行旋转校验,得到标识图像的正置视图的步骤,包括:
根据表示旋转校验位的特征图形在标识中的位置信息,在标识图像中的相应位置搜索与表示旋转校验位的特征图形的形状一致的图形,确定搜索得到的图形为表示旋转校验位的特征图形;其中,位置信息包括表示旋转校验位的特征图形在标识所确定的整个区域中所处的位置信息,及与表示旋转校验位的特征图形相邻的特征图形的形状信息。
计算搜索得到的表示旋转校验位的特征图形的中心与标识图像的外围边框的四个顶点之间的距离。根据设定编号规则,将四个顶点分别编号为第一顶点~第四顶点;其中,设定编号规则包括距离值与顶点的对应关系和设定编号方向。将所确定的第一顶点~第四顶点的位置一一对应的与参考图像的外围边框的第一顶点~第四顶点的位置进行比对,确定标识图像相对于所述参考图像的旋转角度和旋转方向;其中,参考图像为标识正置时的图像,参考图像的外围边框的第一顶点~第四顶点根据所述设定编号规则编号。将标识图像沿旋转方向的反方向旋转所述旋转角度,得到标识图像的正置视图。
在一些实施例中,标识中的表示旋转校验位的特征图形处于标识的外围边框的左上角位置。确定所述标识图像中表示旋转校验位的特征图形,对标识图像进行旋转校验,得到标识图像的正置视图的步骤,包括:
根据表示旋转校验位的特征图形在标识中的位置信息,在标识图像中的四个顶角位置处搜索与表示旋转校验位的特征图形的形状一致的图形,确定搜索得到的图形为表示旋转校验位的特征图形;其中,位置信息包括表示旋转校验位的特征图形处于标识的外围边框的左上角位置,及与表示旋转校验位的特征图形相邻的特征图形的形状信息。
计算搜索得到的表示旋转校验位的特征图形的中心与标识图像的外围边框的四个顶点之间的距离。根据计算得到的四个距离值,选取所得到的距离中的最小距离值所对应的顶点编号为第一顶点,沿设定编号方向,将其余三个顶点依次分别确定为第二顶点~第四顶点。将所确定的第一顶点~第四顶点的位置一一对应的与参考图像的外围边框的第一顶点~第四顶点的位置进行比对,确定标识图像相对于所述参考图像的旋转角度和旋转方向;其中,参考图像为标识正置时的图像,参考图像的外围边框的第一顶点位于参考图像的外围边框的左上角位置处,参考图像的外围边框的第二顶点~第四顶点依次沿所述设定编号方向编号。将标识图像沿所述旋转方向的反方向旋转所述旋转角度,得到标识图像的正置视图。
在一些实施例中,按照设定次序读取所述标识图像中表示数据校验位和表示数据信息位的特征图形的颜色所表示的值,得到标识的编码序列号的步骤,包括:将标识图像的正置视图进行分割,得到多个栅格区域,使标识图像中的多个特征图形一一对应的落入所述多个栅格区域内。多个栅格区域中,对于除表示旋转校验位的特征图形所在的栅格区域外的每个栅格区域,按照设定次序,依次读取其处于区域中心和区域中心8邻域的像素的像素值,得到所标识的编码序列号。
本发明的第三方面提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令被配置为执行如第二方面中标识的识别方法的一个或多个步骤。
上述计算机可读存储介质所能实现的有益效果与上述标识的识别方法的有益效果相同,此处不再赘述。
本发明的第四方面提供了一种增强现实设备,增强现实设备包括处理器,处理器中存储有计算机指令,计算机指令被配置为执行如第二方面中任一项所述的标识的识别方法的一个或多个步骤。
上述增强现实设备所能实现的有益效果与上述标识的识别方法的有益效果相同,此处不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其它的附图。
图1为相关技术中增强现实设备用标识的第一种示意图;
图2为相关技术中增强现实设备用标识的第二种示意图;
图3为本发明实施例所提供的增强现实设备用标识的第一种示意图;
图4为本发明实施例所提供的增强现实设备用标识的第二种示意图;
图5为本发明实施例所提供的增强现实设备用标识的第三种示意图;
图6为本发明实施例所提供的增强现实设备用标识的识别方法的第一种流程图;
图7为本发明实施例所提供的增强现实设备用标识的识别方法的第二种流程图;
图8为本发明实施例所提供的增强现实设备用标识的识别方法的第三种流程图;
图9为本发明实施例所提供的增强现实设备用标识的识别方法中图形轮廓的提取过程的示意图;
图10为本发明实施例所提供的增强现实设备用标识的识别方法的第四种流程图;
图11为本发明实施例所提供的增强现实设备用标识的识别方法中标识图像的第一种示意图;
图12为本发明实施例所提供的增强现实设备用标识的识别方法的第五种流程图;
图13为本发明实施例所提供的增强现实设备用标识的识别方法中标识图像的第二种示意图;
图14为本发明实施例所提供的增强现实设备用标识的识别方法的第六种流程图;
图15为本发明实施例所提供的增强现实设备用标识的识别方法中标识图像的正置视图的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,所获得的所有其它实施例,均属于本发明保护的范围。
增强现实通过电脑技术,将虚拟的信息应用到真实世界,真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。其不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来,两种信息相互补充、叠加。在将虚拟的信息应用到真实世界的过程中,需要知道真实世界相对于增强现实设备的位置及角度,才能准确地将虚拟信息“放置”到真实环境中,进而借助增强现实设备将虚拟信息与真实世界融为一体,带给用户超越现实的体验,因此对于真实世界的定位显得尤为重要。
在一些相关技术中,利用计算机视觉技术实现增强现实的主要步骤为:将多个增强现实用标识设置于现实平面中,每个标识对应现实平面的一个特定位置,每个标识具有一个ID信息,对应特定的虚拟信息,该标识可被增强现实设备所识别,从而建立标识与增强现实设备屏幕之间的映射关系,也就是说使增强现实设备知道现实平面的特定位置相对于增强现实设备的位置及角度,从而将每个标识所对应的特定虚拟信息一一对应地叠加到每个标识所确定的现实平面的特定位置处,从而在增强现实设备屏幕上显示出虚拟信息与真实世界相融合的场景,进而被用户所感知。
结合增强现实技术的具体应用场景,示例性的,在商场自动导购系统中,将多个标识设置于商场的多个商品上,例如,在每件衣服上设置有一个标识,每个标识对应该件衣服的材质、价格等虚拟信息,通过增强现实设备识别该多个标识,确定识别到的每个标识所对应的ID信息,从而建立标识与增强现实设备屏幕之间的映射关系,也就是说使增强现实设备知道商场中的每件衣服相对于增强现实设备的位置及角度,从而将每个标识所对应的特定虚拟信息一一对应地叠加到每个标识所对应的衣服上,从而在增强现实设备屏幕上显示出虚拟信息与真实世界相融合的场景,用户可以直观地得知衣服的材质、价格等信息,这样可以提高购物体验。
在一些相关技术中,增强现实用标识的识别算法的步骤包括:图像预处理,标识识别,透视变换,解析编码,标识验证,位姿估计等步骤,该识别算法是基于增强现实用标识所实现的,以下结合增强现实用标识的特征对该识别算法进行介绍。
如图1所示,在相关技术中,增强现实用标识100的外围轮廓为正方形,每个标识100包含多个栅格A,多个栅格A的数量为N×N个,排列成N行N列,其中处于中间的(N-1)×(N-1)个栅格A为内部栅格,其余栅格A为外围栅格,每个标识100通过内部栅格的黑白颜色信息表示编码信息,每个标识100对应一个编码序列号,编码序列号对应ID信息,并对应用于实现增强现实的特定的虚拟信息。以下以N=7,栅格A的颜色为黑色,编码为0,栅格A的颜色为白色,编码为1进行说明。需要说明的是,为了进行说明,图1中的标识100将栅格的栅格线条画出,在实际应用中,标识100的示意图为图2所示的标识100’,标识100’中的各栅格A的栅格线可能并不存在。
如图1所示,在相关技术中,增强现实用标识100中,内部栅格的每行栅格从左到右依次编号为1、2、3、4、5,每行栅格包括3个表示数据校验位的栅格A(编号为1、3、5的栅格A)和2个表示数据信息位的栅格A(编号为2、4的栅格A)。采用单行汉明编码,通过2个表示数据校验位的栅格A的颜色表示数据信息,每行可表示00,01,10,11四种结果,这四种结果根据汉明编码规则分别编码为:10000,10111,01001,01110,其中数据校验位和数据信息位之间具有特定的关系,用于增强编码序列号的准确度,因此只有数据信息位表示编码信息。在图1中的标识100中,每行栅格中有两个栅格A表示数据信息位,因此该标识100中一共有10个栅格A表示数据信息位,每个栅格A有黑白两个可能的颜色,分别代表0或1,因此该标识100可以表示210个编码序列号,栅格A的利用率不高,这导致标识100所能对应的信息较少。
采用上述增强现实用标识100,当标识100所包括的栅格A的数量确定时,该标识100可以表示的编码序列号的数量较少,从而编码序列号对应的ID信息较少,造成该标识100可对应的用于实现增强现实的特定的虚拟信息较少。结合到具体应用场景中,例如上文所述的商场自动导购系统中,若商场中的商品的数量大于210,显然采用包含7×7个栅格的标识100所能对应的编码序列号不足,从而该标识100所能对应的衣服的价格、材质等虚拟信息不足,即有一些商品无法设置标识,也就无法被识别,无法呈现对应的虚拟信息。如果要扩展标识100可以表示的编码序列号的数量,就需要增加标识中栅格A的数量,而这样,又会增加标识设计的难度,降低标识识别的速度。
并且,由于上述增强现实用标识100的用于进行识别的特征只包括外围轮廓的形状,为正方形,因此在对标识100进行识别时,只能依靠外围轮廓的形状这一个特征进行识别,导致识别的准确性较低,容易出错。
基于上述增强现实用标识100,相关技术中对上述标识进行识别的方法大致包括图像预处理,标识识别,透视变换,解析编码,标识验证,位姿估计等步骤:
在上述方法中的透视变换步骤中,由于获取到的包含标识的图像为增强现实设备从任意角度任意方位进行拍摄得到的,因此需要对标识图像进行透视变换,得到标识图像的正视图。在此过程中,标识图像的正视图包括标识图像进行0°、90°、180°、270°旋转的四种结果,该四幅标识图像的正视图中有一幅为标识图像的正置视图,接着需要确定哪一幅是标识图像的正置视图。由于标识采用的是单行汉明编码,因此在算法中再用单行汉明校验,对标识图像的正视图中的每一行栅格依次进行编码,将得到的编码号分别与单行可能的四种结果00、01、10、11进行比对,取汉明距离最小的一幅图形确定为标识图像的正置视图。
上述得到标识图像的正置视图的步骤,所需要进行校验的总次数为4×5×4=80次,每幅标识图像的正视图中的五行栅格分别与四种可能的结果进行比对,共需要20次校验,四幅图即需要进行80次校验,过程繁琐,耗时较长。
可见,上述标识的识别方法中,旋转校验与数据校验是耦合的,在得到标识图像的正置视图的步骤中,耗时较长,步骤繁琐,算法的实时性与鲁棒性较低,稳定性差。
此外,从上述标识的识别方法中可以看出,标识100中用于进行识别的特征信息较少,只能通过外围轮廓的形状进行识别,而标识的内部栅格的信息只有在进行数据校验时才会被用到,因此标识识别的准确性较低,容易出错,算法效率较低。
基于上述现状,本发明的实施例提供了一种增强现实设备用标识,每个标识用于表示唯一的编码序列号,该标识包括:外围边框和设置于外围边框内的多个特征图形,多个特征图形的数量为N×M个。其中,N为多个特征图形排列的列数,M为多个特征图形排列的行数。
多个特征图形中的一个表示旋转校验位,表示旋转校验位的特征图形的中心不与外围边框的中心重合。多个特征图形中除表示旋转校验位的特征图形外的其余特征图形,按照设定次序分别编号为1~N×M-1,编号为2x的特征图形表示数据校验位,多个特征图形中除表示旋转校验位和数据校验位的特征图形外的其余特征图形表示数据信息位。其中,x为大于或等于0的正整数。
需要说明的是,表示旋转校验位的特征图形作为标识的一个标记物,使得无论标识在现实平面中如何放置,均能通过该表示旋转校验位的特征图形得知该标识当前的放置方式相对于标识正置时的旋转角度和旋转方向,或者无论增强现实设备从哪个角度获取到标识图像,均能通过表示旋转校验位的特征图形得知获取的标识图像相对于标识正置时的图像的旋转角度和旋转方向,从而得到标识图像的正置视图。
因此,表示旋转校验位的特征图形在标识中的位置有特定要求,其中心与外围边框的四个顶点的之间的距离值需满足一定规律,这样在对获取到的标识图像进行旋转校验得到标识图像的正置视图时,可根据标识图像中表示旋转校验位的特征图形的中心与外围边框的四个顶点的距离,确定标识图像的正置视图。也就是说,表示旋转校验位的特征图形的中心与外围边框的四个顶点之间的距离不能完全相同,否则无法根据距离确定标识图像的正置视图,因此表示旋转校验位的特征图形的中心不与外围边框的中心重合。
此外,多个特征图形中除表示旋转校验位的特征图形外的其余特征图形,按照设定次序分别编号为1~N×M-1,其中设定次序可以根据实际需要进行设定,示例性的,设定次序为从上到下,从左到右的次序,或者,设定次序为从上到下且相邻行首尾相接排列的次序。
如图3所示,为增强现实设备用标识200的一种示意图,标识200包括外围边框A-1和设置于外围边框A-1内的多个特征图形A-2,多个特征图形A-2的数量为25个(以N=5,M=5为例)。其中,处于第二行第二列的特征图形A-2为表示旋转校验位的特征图形A-21;除表示旋转校验位的特征图形A-21外,其余特征图形A-2按照上到下、从左到右的次序依次编号为1~24,编号为20、21、22、23、24,即1、2、4、8、16的特征图形A-2表示数据校验位A-22;除表示旋转校验位和数据校验位的特征图形外的其余特征图形A-2,即编号为3、5、6、7、9、10、11、12、13、14、15、17、18、19、20、21、22、23、24的特征图形A-2表示数据信息位。
在上述实施例中,在标识200中设置表示旋转校验位的特征图形A-21,将除表示旋转校验位的特征图形A-21之外的其他特征图形A-2用于表示数据校验位和数据信息位,且编号为2x的特征图形标识数据校验位,按照设定次序对表示数据信息位和数据校验位的特征图形A-2进行编码,所采用的编码方式为整体汉明编码,通过表示数据信息位的特征图形A-23的颜色表示数据信息,数据校验位和数据信息位的按照设定次序的编码对应唯一的编码序列号。
这样,在整个标识200中,以图3所示的标识为例,在24个表示数据校验位和数据信息位的特征图形A-2中有5个特征图形A-2表述数据校验位,有19个特征图形A-2表示数据信息位,每个特征图形A-2的颜色代表0或1,因此该标识200可以表示219个编码序列号,对应219个ID数据信息。
可见,与相关技术中的标识(标识内部栅格数量为5×5,所表示的编码序列号的数量为210个)相比,在特征图形A-2的数量(相关技术中标识内部栅格的数量)均为25个的情况下,本实施例所提供的标识200,所能表示的编码序列号的数量为219个,从而大大拓展了标识200所能表示的编码序列号的数量,同样规格的标识可以表示更多的ID数据信息,有效提高了标识200中特征图形A-2的利用率。
并且,通过在标识200中设置表示旋转校验位的特征图形A-21,该表示旋转校验位的特征图形A-21的中心与外围边框A-1的第一顶点a、第二顶点b、第三顶点c、第四顶点d之间的距离分别为第一距离d1、第二距离d2、第三距离d3、第四距离d4。在确定表示旋转校验位的特征图形A-21的位置后,这四个距离值就是固定的且已知的,通过外围边框A-1的四个顶点与四个距离值之间的对应关系可以确定增强现实设备从任意方位和角度所获取的标识图像的外围边框的四个顶点分别为第一顶点~第四顶点中的哪一个,从而可以通过相应变换获得标识图像的正置视图。不需要考虑0°、90°、180°、270°四种结果,提高了标识的识别效率,降低了标识识别的耗时。
再者,本发明实施例提供的标识200包括外围边框A-1和多个特征图形A-2,在对标识200进行提取时,可以依据外围边框A-1和多个特征图形A-2的轮廓形状等多个特征,对图像中的标识进行提取,得到标识图像。相比相关技术中的标识100中只包括外围栅格和内部栅格,在标识提取时只能依靠外围栅格的轮廓进行判断,本发明实施例所提供的标识200具有的特征更多,可以提高标识识别的准确度和鲁棒性,不易出错。
在一些实施例中,如图4所示,多个特征图形A-2中位于外围边框A-1的左上角位置处的特征图形A-2表示旋转校验位。
在上述实施例中,在标识200的外围边框A-1所确定的区域的所有位置中,外围边框A-2的左上角位置处的特征图形A-2的中心距离第一顶点a最短,将表示旋转校验位的特征图形A-21的位置设置于外围边框A-2的左上角位置处。这样,表示旋转校验位的特征图形A-21的中心与外围边框A-1的第一顶点a、第二顶点b、第三顶点c、第四顶点d之间的第一距离d1、第二距离d2、第三距离d3、第四距离d4之间的不同更明显,即第一距离d1最短,第三距离d3最长,第二距离d2和第四距离d4相等。在对标识图像进行旋转校验时,只要确定与表示旋转校验位的特征图形A-21的中心的距离最短的顶点的位置,就可以确定该顶点为第一顶点,从而对当前的标识图像进行旋转,得到标识图像的正置视图,提高了标识图像的旋转校验的速率,使得旋转校验的方法更加简化,也更加准确。
在一些实施例中,标识200的外围边框A-1的颜色为第一颜色,多个特征图形A-2的背景颜色为第二颜色,表示旋转校验位的特征图形A-21的颜色为第一颜色,表示数据校验位的特征图形A-22和表示数据信息位的特征图形A-23的颜色为第一颜色或第二颜色,其中,特征图形A-2的颜色为第一颜色表示1,特征图形A-2的颜色为第二颜色表示0。
将标识200设置为只包括两种颜色,可以增强标识200的颜色对比度,在对标识进行识别时,提高识别准确性。
作为一种可能的设计,如图3和图4所示,第一颜色为黑色,第二颜色为白色。也就是说,将外围边框A-1的颜色设置为黑色,多个特征图形A-2的背景颜色为白色,表示旋转校验位的特征图形A-21为黑色,这样,可以进一步增强标识200的颜色对比度,使得在标识的识别过程中读取得到的编码序列号更加准确。
需要说明的是,为了方便说明,图3和图4所示的标识200中,将多个特征图形A-2的轮廓线均示出,在实际应用中,标识200的示意图为图5所示的标识200’,标识200’中的多个特征图形A-2的轮廓线并不存在,当特征图形A-2的颜色为白色时,特征图形A-2与背景融合。
在一些实施例中,请再次参见图3和图4,表示旋转校验位的特征图形A-21的形状和表示数据校验位的特征图形A-22的形状为第一形状,表示数据信息位的特征图形A-23的形状为第二形状。
在上述实施例中,将标识200中的表示旋转校验位的特征图形A-21和表示数据校验位的特征图形A-22的形状与表示数据信息位的特征图形A-23的形状设置为不同的形状,可以直观的区分出哪些特征图形是表示数据校验位的特征图形,哪些是表示数据信息为的特征图形,特征图形A-2的形状可以作为标识识别的依据,从而提高标识识别的准确性。
示例性地,请再次参见图3,第一形状为四边形,例如正方形,第二形状为圆形。或者,第一形状为圆形,第二形状为四边形,例如正方形。
上述实施例提供了第一图形和第二图形的形状的示例,四边形和圆形均有其对应的形状的验证方法,因此在标识的识别过程中能够以四边形和圆形作为标识识别的依据,增强标识识别的准确性。
本发明还提供了一种增强现实设备用标识的识别方法,该识别方法用于识别如上所述的标识200,如图6所示,识别方法包括:
S1、获取包含标识图像的图像,对所获取的图像进行处理,使处理后的图像呈现黑白两种颜色。
在上述步骤中,获取包含标识图像的图像的方式可为相机拍摄得到,对所获取的图像进行处理包括:对所获取的图像进行灰度化处理,再将进行灰度化处理的图像通过自适应阈值进行二值化处理,使处理后的图像呈现出明显的只有黑和白的视觉效果。这样可提高标识图像的对比度,使得对标识的识别更加准确。
示例性地,对进行灰度化处理的图像进行二值化处理,可通过Mean加权或Gaussian加权实现,这样可以减少光照条件和软强度变化带来的影响,使处理后的图像所呈现的效果较好。
S2、对处理后的图像进行扫描,提取处理后的图像中的标识图像。
S3、确定标识图像中表示旋转校验位的特征图形,对标识图像进行旋转校验,得到标识图像的正置视图。
S4、按照设定次序读取标识图像中表示数据校验位和表示数据信息位的特征图形的颜色所表示的值,得到标识的编码序列号。
在上述步骤中,由于本申请实施例提供的标识200是按照设定次序依次编码的,因此在对标识图像中表示数据校验位和表示数据信息位的特征图形的颜色所表示的值进行读取时,也是按照设定次序读取,从而得到标识的编码序列号。
S5、根据编码序列号获取标识所对应的信息。
S6、对标识图像进行位姿估计。
在上述步骤中,采用cornerSubPix原理对标识图像的外围边框的四个顶点进行亚像素化处理,利用PnP(perstective n pond,n点透视法)原理对当前标识图像进行位姿求取,确定标识图像所确定的显示平面与增强现实设备摄像头之间的映射关系,进而确定现实平面与增强现实设备屏幕的映射关系。
上述标识的识别方法与本申请实施例提供的标识200相对应,采用上述标识的识别方法,在提取出处理后的图像中的标识图像后,通过标识图像中表示旋转校验位的特征图形对标识图像进行旋转校验,避免了对标识图像进行包括0°、90°、180°、270°这四种结果的讨论及比对过程,只需要进行一次旋转校验就能得到标识图像的正置视图。在读取标识的编码序列号时,基于标识图像的正置视图,按照设定次序读取标识图像中表示数据校验位和表示数据信息位的特征图形的颜色所表示的值,所读取到的值即为编码序列号,实现了将标识的旋转校验和数据校验成功解耦,在保证读取到的数据的准确性的同时,提高了识别速度,提高了算法效率,将上述标识的识别方法应用于增强现实技术中,可提高AR算法的实时性。
在一些实施例中,在确定标识图像中表示旋转校验位的特征图形,对标识图像进行旋转校验,得到标识图像的正置视图的S3之前,还包括对标识图像进行透视变换,得到标识图像的正视图的步骤。此处得到的标识图像的正视图只有一种情况,为标识图像进行0°、90°、180°、270°旋转的四种结果的任一种。在得到标识图像的正视图后,在S3中,确定标识图像的正视图中表示旋转校验位的特征图形,对标识图像的正视图进行旋转校验,得到标识图像的正置视图。
在一些实施例中,如图7所示,对处理后的图像进行扫描,提取处理后的图像中的标识图像的S2,包括:
S21、对处理后的图像进行扫描,提取处理后的图像中所包含的图形的轮廓。
在上述步骤中,处理后的图像包括标识图像和除标识图像之外的其他一些图像,因此处理后的图像中所包含的图形的轮廓不仅包括标识图像的图形轮廓,还包括其他图像的图形轮廓,对处理后的图像中所包含的图形的轮廓全部进行提取,以提高处理后的标识图像的提取的准确性,保证不遗漏。
S22、根据所提取的图形的轮廓,识别相应的图形的形状。
在上述步骤中,所提取的图形的轮廓为多个,相应的图形的形状为与标识的外围边框形状一致的图形和与标识的多个特征图形形状一致的图形。由于标识包括外围轮廓和特征图形,特征图形的形状包括第一形状和第二形状,因此根据所提取的图形的轮廓,对图形的形状进行识别,以搜索出符合标识所包括的图形的特征的轮廓。以下以第一形状为四边形,第二形状为圆形,对S22进行示例性说明。
在S1中,对处理后的图像中所包含的图形的轮廓进行提取,可得到多个图形的轮廓二维点集。
对多个图形的轮廓二维点集进行椭圆拟合,用于识别多个图形中为形状为椭圆的图形,这些形状为椭圆的图形中的一些图形可能为与标识的形状为圆形的特征图形一致的图形。对所识别出的形状为椭圆的图形利用圆形度进行验证,以识别出与标识的形状为圆形的特征图形形状一致的图形。判断所识别出的形状为椭圆的圆形的圆形度是否满足如下公式:
e=4πS/C2>e0
其中,e为圆形度,S为所识别出的形状为椭圆的图形的面积,C为所识别出的形状为椭圆的图形的周长,e0为设定阈值,示例性的,e0=0.82。
如果是,则判定所识别出的形状为椭圆的图形为与标识的形状为圆形的特征图形形状一致的图形。
如果否,则判定所识别出的形状为椭圆的图形为与标识的形状不是圆形的特征图形形状一致的图形。
对所提取的图形的轮廓中除形状为椭圆的图形轮廓的其他轮廓进行识别,采用道格拉斯-普克算法对轮廓逼近多边形,设定凸点数为4,用于识别多个图形中为形状为四边形的图形。对所识别出的形状为四边形的图形利用等照度曲率进行验证,以识别出与标识的形状为四边形的特征图形形状一致的图形,或者与标识的外围边框形状一致的图形。判断所识别出的形状为四边形的圆形的等照度曲率是否大于设定阈值ρ0,示例性地,ρ0=1.6。
如果是,则判定所识别出的形状为四边形的图形为与标识的形状为四边形的特征图形形状一致或者与标识的外围边框形状一致的图形。
如果否,则判定所识别出的形状为四边形的图形为与标识的形状不是四边形的特征图形形状一致或者不是与标识的外围边框形状一致的图形。
通过以上步骤,可以识别所提取的图形的轮廓中的相应的图形的形状。在识别过程中,先对圆形特征或者四边形特征进行初步识别,再对初步识别得到的图形进行验证,可以提高识别的准确性。
S23、根据所识别的图形的形状,在处理后的图像中搜索准标识图像。
上述准标识图像包括与标识的外围边框形状一致的图形和与标识的多个特征图形形状一致的图形,且准标识图像中,与标识的多个特征图形形状一致的图形位于与标识的外围边框形状一致的图形内部。
需要说明的是,准标识图像为可能为标识图像,准标识图像具有与标识图像相似的特征,因此需要对准标识图像作进一步判定,以得到标识图像。
S24、判断搜索得到的准标识图像中与标识的外围边框形状一致的图形是否满足公式:
其中,M为处理后的图像的宽度,Rdist为设定系数,示例性地,Rdist=0.23,xi、yi为与标识的外围边框形状一致的图形的内边框的四个顶点的坐标值,xj、yj为与标识的外围边框形状一致的图形的外边框的四个顶点的坐标值。
如果满足,则确定相应的准标识图像为标识图像。
如果不满足,则确定相应的准标识图像不是标识图像。
在上述步骤中,判断搜索得到的准标识图像中与标识的外围边框形状一致的图形是否满足上述公式,是为了求得与标识的外围轮廓形状一致的图形的内边框的四个顶点与外边框的四个顶点之间的平均距离是否满足设定值,这样对标识图像的判定做了进一步限定,使得标识图像的识别更加准确。
在上述实施例中,对S2中对处理后的图像进行扫描,提取处理后的图像中的标识图像的步骤进行了细化,在对标识图像进行识别时,由于本发明实施例提供的标识包括外围边框和多个特征图形,标识所具有的特征更多,因此可以依据外围边框和多个特征图形的轮廓等多个特征,对提取的轮廓的形状进行判定,识别出与标识的外围边框的形状和多个特征图形的形状一致的图形,从而识别出标识图像,这样可以提高标识图像识别的准确性,使标识图像的提取不易出错。
在一些实施例中,如图8所示,对处理后的图像进行扫描,提取理后的图像中所包含的图形的轮廓的S21,包括如下步骤:
以下以图9所示的黑白图像300为例,对图形轮廓的提取过程进行说明。
S211、从处理后的图像中选取多行像素,所选取的多行像素中每相邻两行像素之间间隔有至少一行未被选取的像素,对所选取的多行像素进行扫描。
在上述步骤中,对处理后的图像进行扫描的方式为选取多行像素进行扫描,相比逐行扫描速度更快,效率更高,所选取的多行像素中每相邻两行像素之间间隔有至少一行未被选取的像素,示例性地,每隔m行像素选取一行像素,对所选取的一行像素进行扫描。m的值可以依据标识200所包括的多个特征图形A-2之间的最小距离而定,以保证每个特征图形A-2均能被扫描进而被识别其轮廓。
S212、确定被扫描的每行像素中像素值发生突变的位置,在所确定的位置处选定像素值为1的像素为起始边界像素,并记录所选定的起始边界像素的起始坐标值。
如图9所示,黑白图像300呈现黑白两种颜色,因此每个像素的像素值为0或1,其中像素为黑色,则其像素值为1,像素为白色,其像素值为0。在像素值发生突变的位置处,包括一个像素值为0的像素和一个像素值为1的像素,其中像素值为1的像素为图形的轮廓所包括的像素,将其作为起始边界像素,并记录起始边界像素的坐标值。图9中,被扫描的每行像素中标记为白色圆点的位置处的像素即为起始边界像素。
S213、在被扫描的每行像素中,按照设定划分规则将所选定的多个起始边界像素进行划分,得到至少一个像素对。
在上述步骤中,设定划分规则指的是,在被扫描的每行像素中所包括的多个起始边界像素中,以相邻的两个起始边界像素作为一个像素对,且在这两个起始边界像素所对应的像素值发生突变的位置处,像素值为0的两个像素分别位于这两个起始边界像素的相反方向。记一个像素对的两个起始边界像素分别为pi-j和qi-j。如图9所示,p1-1和q1-1、p2-1和q2-1、p3-1和q3-1为得到的三个像素对。
S214、沿设定跟踪方向,对所选定的每个起始边界像素同时进行跟踪,记录跟踪得到的边界像素的跟踪坐标值。
其中,设定跟踪方向为逆时针方向或者为顺时针方向,只要保证所有起始边界像素的跟踪方向一致即可。图9中,箭头所示的方向为设定跟踪方向,以顺时针方向为例,每个起始边界像素同时沿顺时针方向进行跟踪,得到所有像素值发生突变的位置处的像素值为1的像素,作为边界像素,并记录其跟踪坐标值。
S215、在跟踪过程中,若所记录的跟踪坐标值与起始坐标值相同,且该跟踪坐标值所对应的起始边界像素与该起始坐标值所对应的起始边界像素属于不同的像素对,则在相应的多个像素对中选取起始边界像素距离最大的一个像素对,对所选取的像素对继续进行跟踪,停止对相应的多个像素对中的其它像素对的跟踪。
在上述步骤中,在跟踪过程中,若所记录的跟踪坐标值与起始坐标值相同,且该跟踪坐标值所对应的起始边界像素与该起始坐标值所对应的起始边界像素属于不同的像素对,则说明这两个不同的像素对属于同一图形的轮廓。如图9所示,若起始边界像素q1-1沿顺时针方向跟踪到起始边界像素q2-1的位置处,起始边界像素q1-1所记录的跟踪坐标值与起始边界像素q2-1的起始坐标值相同,可认为起始边界像素q1-1与起始边界像素q2-1“相遇”。并且,起始边界像素q1-1和起始边界像素q2-1属于不同的像素对,则说明起始边界像素q1-1和起始边界像素q2-1分别所属的像素对属于统一图形的轮廓,即为图中所示的椭圆的轮廓。同理,起始边界像素q2-1也会与起始边界像素q3-1“相遇”,则起始边界像素q2-1和起始边界像素q3-1分别所属的像素对属于统一图形的轮廓,也即上述三个像素对均属于同一图形的轮廓。
这时,为简化跟踪步骤,避免重复跟踪,只需要选取其中的一个像素对继续进行跟踪即可,选择标准为在相应的多个像素对中选取起始边界像素距离最大的一个像素对,起始边界像素距离为属于同一个像素对的两个起始边界像素之间相隔的距离。在图9中,d1、d2、d3分别为三个像素对的起始边界像素距离。起始边界像素距离最大的一个像素对为d2所对应的像素对(p2-1和q2-1),对所选取的像素对继续进行跟踪,停止对其它像素对(p1-1和q1-1、p3-1和q3-1)的跟踪。
需要说明的是,若相应的多个像素对中所选取起始边界像素距离最大的像素对的数量大于1,也就是有多个像素对的起始边界像素距离相等,且该起始边界像素距离为最大值,则从这几个像素对中任选一个像素对即可。
S216、当所选取的像素对中,两个起始边界像素互相跟踪到对方时,停止跟踪。
所跟踪的像素对为(p2-1和q2-1),起始边界像素p2-1跟踪到起始边界像素q2-1,且起始边界像素q2-1跟踪到起始边界像素p2-1时,证明该图形的轮廓的全部坐标值记录完毕,停止跟踪。
由于所选取的像素对的起始边界像素距离最大,因此该像素对的两个起始边界像素互相跟踪到对方时,所经过的图形的轮廓的距离最短,因此耗时最短,有效节省了轮廓提取过程所需要的时长,加快了轮廓提取的速度,提高了效率。
S217、将互相跟踪到对方的两个起始边界像素的跟踪过程中所记录的跟踪坐标值,及这两个起始边界像素的起始坐标值组合,作为轮廓坐标点集,得到图形的轮廓。
在上述实施例中,对S21的对处理后的图像进行扫描,提取处理后的图像中所包含的图形的轮廓的步骤进行了细化,在对处理后的图像进行扫描时采用选取多行间隔的像素进行扫描的方式,相比逐行扫描提高了效率。对所选定的每个起始边界像素同时进行跟踪,并且在确定多个像素对属于同一轮廓后,选取起始边界像素距离最大的一个像素对继续进行跟踪,同一轮廓的其余像素停止跟踪,这样可以缩短轮廓提取的耗时,加快轮廓提取速度,达到提高效率的效果。
在一些实施例中,如图10所示,确定标识图像中表示旋转校验位的特征图形,对标识图像进行旋转校验,得到标识图像的正置视图的S3,包括:
S31、根据表示旋转校验位的特征图形在标识中的位置信息,在标识图像中的相应位置搜索与表示旋转校验位的特征图形的形状一致的图形,确定搜索得到的图形为表示旋转校验位的特征图形。
其中,所述位置信息包括表示旋转校验位的特征图形在标识所确定的整个区域中所处的位置信息,及与表示旋转校验位的特征图形相邻的特征图形的形状信息。
在上述步骤中,若标识的识别方法所对应的标识200以图3所示的标识为例,则表示旋转校验位的特征图形A-21在标识200中的位置信息为表示旋转校验位的特征图形A-21处于标识200的第二行第二列的位置处,与表示旋转校验位的特征图形A-21相邻的特征图形A-2的形状信息为:表示旋转校验位的特征图形A-21的上下左右侧相邻的特征图形A-2的形状分别为四边形、圆形、圆形和圆形,对角线方向相邻的特征图形A-2的形状为四边形和圆形,以及圆形和圆形。在标识200中,每个特征图形A-2的颜色是根据编码序列号确定的,但是固定位置的特征图形A-2的形状是固定的,因此能够以与表示旋转校验位的特征图形A-21相邻的特征图形A-2的形状信息作为搜索表示旋转校验位的特征图形A-21的依据。
以图11所示的标识图像400为例,在标识图像400中搜索表示旋转校验位的特征图形。由于标识的识别方法所对应的标识200中表示旋转校验位的特征图形处于标识200的第二行第二列的位置处,因此在标识图像400中,相应位置为:标识图像400的第二行第二列的位置处、第二行第四列的位置处、第四行第二列的位置处和第四行第四列的位置处,在这四个位置处搜索与表示旋转校验位的特征图形的形状一致的图形,也就是搜索形状为四边形的图形,搜索结果为处于标识图像400的第二行第四列的位置处和第四行第四列的位置处的图形的形状为四边形。根据与表示旋转校验位的特征图形相邻的特征图形的形状信息,可得知处于标识图像400的第二行第四列的位置处的图形的相邻图形的形状符合该形状信息,可确定处于标识图像400的第二行第四列的位置处的图形为表示旋转校验位的特征图形。
S32、计算搜索得到的表示旋转校验位的特征图形的中心与标识图像的外围边框的四个顶点之间的距离。
如图11所示,计算得到的表示旋转校验位的特征图形的中心与标识图像400的外围边框的四个顶点之间的距离分别为d1、d2、d3、d4
S33、根据设定编号规则,将四个顶点分别编号为第一顶点~第四顶点;其中,设定编号规则包括距离值与顶点的对应关系和设定编号方向。
在上述步骤中,设定编号规则包括距离值与顶点的对应关系和设定编号方向。示例性地,规定表示旋转校验位的特征图形的中心与标识图像的外围边框的四个顶点之间的距离中的最小距离值所对应的顶点为第一顶点a,最大距离值所对应的顶点为第三顶点c,设定编号方向为顺时针方向,则所得到的标识图像400的四个顶点的编号如图11所示,四个距离值d1、d2、d3、d4中的最小距离值为d1,则其所对应的顶点为标识图像400的外围边框的右上角的顶点,将该顶点编号为第一顶点a,沿顺时针方向将其余顶点分别编号为第二顶点b、第三顶点c和第四顶点d。
S34、将所确定的第一顶点~第四顶点的位置一一对应的与参考图像的外围边框的第一顶点~第四顶点的位置进行比对,确定所述标识图像相对于参考图像的旋转角度和旋转方向。
其中,参考图像为标识正置时的图像,所述参考图像的外围边框的第一顶点~第四顶点根据所述设定编号规则编号。参考图像为标识正置时,图像获取装置从标识的正面,且以零视角所获取的图像。
以图3所示的标识200正置时的图像作为参考图像为例,可知参考图像的外围边框的第一顶点位于外围边框的左上角,标识图像400中的外围边框的第一顶点a位于外围边框的右上角,同时结合第二顶点~第四顶点的位置,可以确定标识图像400相对参考图像沿顺时针方向旋转了90°。
S35、将标识图像沿旋转方向的反方向旋转所述旋转角度,得到标识图像的正置视图。
由于确定得到标识图像400相对参考图像沿顺时针方向旋转了90°,因此将标识图像沿逆时针方向旋转90°,可得到标识图像400的正置视图。
在一些实施例中,标识200中的表示旋转校验位的特征图形A-21处于标识200的外围边框A-1的左上角位置,也就是图4所示的标识200。如图12所示,确定标识图像中表示旋转校验位的特征图形,对标识图像进行旋转校验,得到所述标识图像的正置视图的S3,包括:
S31'、根据表示旋转校验位的特征图形在标识中的位置信息,在标识图像中的四个顶角位置处搜索与表示旋转校验位的特征图形的形状一致的图形,确定搜索得到的图形为表示旋转校验位的特征图形。
其中,位置信息包括表示旋转校验位的特征图形处于标识的外围边框的左上角位置,及与表示旋转校验位的特征图形相邻的特征图形的形状信息。
在上述步骤中,如图4所示,标识200中的表示旋转校验位的特征图形A-21处于标识200的外围边框A-1的左上角位置,将该信息作为表示旋转校验位的特征图形A-21在标识200中的位置信息,与表示旋转校验位的特征图形A-21相邻的特征图形A-2的形状信息为:与表示旋转校验位的特征图形A-21的右侧和下方相邻的特征图形A-2的形状分别四边形和圆形,对角线方向相邻的特征图形A-2的形状为圆形。
以图13所示的标识图像400为例,在标识图像400中搜索表示旋转校验位的特征图形。由于标识的识别方法所对应的标识200中表示旋转校验位的特征图形A-21处于标识200的外围边框A-1的左上角位置,因此在标识图像400中,相应位置为:标识图像400的外围边框的左上角位置处、右上角位置处、左下角位置处和右下角位置处,在这四个位置处搜索与表示旋转校验位的特征图形的形状一致的图形,也就是搜索形状为四边形的图形,搜索结果为处于标识图像的外围边框的左上角位置处和左下角位置处的图形的形状为四边形。根据与表示旋转校验位的特征图形相邻的特征图形的形状信息,可得知处于标识图像的外围边框的左下角位置处的图形的相邻图形的形状符合该形状信息,可确定处于标识图像的外围边框的左下角位置处的图形为表示旋转校验位的特征图形。
S32'、计算搜索得到的表示旋转校验位的特征图形的中心与标识图像的外围边框的四个顶点之间的距离。
如图13所示,计算得到的表示旋转校验位的特征图形的中心与标识图像400的外围边框的四个顶点之间的距离分别为d1、d2、d3、d4
S33'、根据计算得到的四个距离值,选取最小距离值所对应的顶点编号为第一顶点,沿设定编号方向,将其余三个顶点依次分别确定为第二顶点~第四顶点。
在上述步骤中,示例性地,设定编号方向为顺时针方向,则所得到的标识图像400的四个顶点的编号如图13所示,四个距离值d1、d2、d3、d4中的最小距离值为d1,则其所对应的顶点为标识图像400的左下角的顶点,将该顶点编号为第一顶点a,沿顺时针方向将其余顶点分别编号为第二顶点b、第三顶点c和第四顶点d。
S34'、将所确定的第一顶点~第四顶点的位置一一对应的与参考图像的外围边框的第一顶点~第四顶点的位置进行比对,确定标识图像相对于参考图像的旋转角度和旋转方向;其中,参考图像为标识正置时的图像,参考图像的外围边框的第一顶点位于参考图像的外围边框的左上角位置处,参考图像的外围边框的第二顶点~第四顶点依次沿设定编号方向编号。
在上述步骤中,参考图像为图4所示的标识200正置时的图像,可知参考图像的外围边框的第一顶点位于外围边框的左上角,标识图像中的外围边框的第一顶点a位于外围边框的左下角,同时结合第二顶点~第四顶点的位置,可以确定标识图像400相对参考图像沿逆时针方向旋转了90°。
S35'、将标识图像沿旋转方向的反方向旋转上面所确定的旋转角度,得到标识图像的正置视图。
由于确定得到标识图像400相对参考图像沿逆时针方向旋转了90°,因此将标识图像沿顺时针方向旋转90°,如图15所示,可得到标识图像的正置视图500。
在一些实施例中,如图14所示,按照设定次序读取标识图像中表示数据校验位和表示数据信息位的特征图形的颜色所表示的值,得到标识的编码序列号的S4,包括:
S41、将标识图像的正置视图进行分割,得到多个栅格区域,使标识图像中的多个特征图形一一对应的落入多个栅格区域内。
如图15所示,将标识图像的正置视图500按照标识图像的实际尺寸和比例进行分割,得到25个栅格区域B,25个特征图形A-2一一对应的落入这25个栅格区域B内。
S42、多个栅格区域中,对于除表示旋转校验位的特征图形所在的栅格区域外的每个栅格区域,按照设定次序,依次读取其处于区域中心和区域中心8邻域的像素的像素值,得到标识的编码序列号。
在图15所示的标识图像的正置视图500中,表示旋转校验位的特征图形位于标识图像的外围边框的左上角位置处,其所在的栅格区域B位于标识图像的左上角,除该栅格区域B之外的其他24个栅格区域B,按照设定次序,依次读取其编码值。读取每个栅格区域B处于区域中心和区域中心8邻域的像素的像素值,可以避免栅格区域B内噪声的影响,使得读取得到的像素值更加准确。示例性地,设定方向为从上到下,从左到右的次序,图15所示的标识图像的正置视图读取得到的编码序列号为101001111101000011101110。
本发明的实施例还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令被配置为执行如上所述的标识的识别方法的一个或多个步骤。
上述计算机可读存储介质可为但不限于磁存储器件(例如,硬盘、软盘或磁带等),只读存储器(ROM,Read-Only Memory),随机存取存储器(RAM,Random Access Memory),可擦写可编程只读存储器(EPROM,Erasable Programmable Read-Only Memory)等各种可以存储程序代码的介质。
上述计算机可读存储介质所实现的有益效果与标识的识别方法所实现的有益效果相同,此处不再赘述。
本发明的实施例还提供了还一种增强现实设备,增强现实设备包括处理器,所述处理器中存储有计算机指令,计算机指令被配置为执行如上所述的标识的识别方法的一个或多个步骤。
在上述增强现实设备中,由于其所包括的处理器存储的计算机指令被配置为执行如上所述的标识的识别方法的一个或多个步骤,因此在实现增强现实的过程中,AR算法的实时性和准确性较高,用户在使用增强现实设备时,能够感受到较高的增强现实体验。
以上所述仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种增强现实设备用标识,所述标识用于表示唯一的编码序列号,其特征在于,所述标识包括:
外围边框;
设置于所述外围边框内的多个特征图形,所述多个特征图形的数量为N×M个;其中,N为所述多个特征图形排列的列数,M为所述多个特征图形排列的行数;
所述多个特征图形中的一个表示旋转校验位,表示旋转校验位的特征图形的中心不与所述外围边框的中心重合;所述多个特征图形中除表示旋转校验位的特征图形外的其余特征图形,按照设定次序分别编号为1~N×M-1,编号为2x的特征图形表示数据校验位;所述多个特征图形中除表示旋转校验位和数据校验位的特征图形外的其余特征图形表示数据信息位;其中,x为大于或等于0的正整数。
2.根据权利要求1所述的标识,其特征在于,所述多个特征图形中位于所述外围边框的左上角位置处的特征图形表示旋转校验位。
3.根据权利要求1所述的标识,其特征在于,所述外围边框的颜色为黑色;
所述多个特征图形的背景颜色为白色;
表示旋转校验位的特征图形的颜色为黑色,表示数据校验位的特征图形和表示数据信息位的特征图形的颜色为黑色或白色;
其中,表示数据校验位的特征图形和表示数据信息位的特征图形的颜色为黑色表示1,为白色表示0。
4.根据权利要求1所述的标识,其特征在于,表示旋转校验位的特征图形的形状和表示数据校验位的特征图形的形状为第一形状,表示数据信息位的特征图形的形状为第二形状。
5.根据权利要求4所述的标识,其特征在于,所述第一形状为四边形,所述第二形状为圆形;或者,
所述第一形状为圆形,所述第二形状为四边形。
6.一种增强现实设备用标识的识别方法,其特征在于,所述识别方法用于识别如权利要求1~5中任一项所述的标识,所述识别方法包括:
获取包含标识图像的图像,对所获取的图像进行处理,使处理后的图像为黑白图像;
对所述处理后的图像进行扫描,提取所述处理后的图像中的标识图像;
确定所述标识图像中表示旋转校验位的特征图形,对所述标识图像进行旋转校验,得到所述标识图像的正置视图;
按照设定次序读取所述标识图像中表示数据校验位和表示数据信息位的特征图形的颜色所表示的值,得到标识的编码序列号;
根据所述编码序列号获取标识所对应的信息。
7.根据权利要求6所述的识别方法,其特征在于,所述对所述处理后的图像进行扫描,提取所述处理后的图像中的标识图像的步骤,包括:
对所述处理后的图像进行扫描,提取所述处理后的图像中所包含的图形的轮廓;
根据所提取的图形的轮廓,识别相应的图形的形状;
根据所识别的图形的形状,在所述处理后的图像中搜索准标识图像;所述准标识图像包括与标识的外围边框形状一致的图形和与标识的多个特征图形形状一致的图形,且所述准标识图像中,与标识的多个特征图形形状一致的图形位于与标识的外围边框形状一致的图形内部;
判断搜索得到的准标识图像中与标识的外围边框形状一致的图形是否满足如下公式:
其中,M为所述处理后的图像的宽度,Rdist为设定系数,xi、yi为与标识的外围边框形状一致的图形的内边框的四个顶点的坐标值,xj、yj为与标识的外围边框形状一致的图形的外边框的四个顶点的坐标值;
如果满足,则确定相应的准标识图像为标识图像;
如果不满足,则确定相应的准标识图像不是标识图像。
8.根据权利要求7所述的识别方法,其特征在于,所述对所述处理后的图像进行扫描,提取所述处理后的图像中所包含的图形的轮廓的步骤,包括:
从所述处理后的图像中选取多行像素,所选取的多行像素中每相邻两行像素之间间隔有至少一行未被选取的像素,对所选取的多行像素进行扫描;
确定被扫描的每行像素中像素值发生突变的位置,在所确定的位置处选定像素值为1的像素为起始边界像素,并记录所选定的起始边界像素的起始坐标值;
在被扫描的每行像素中,按照设定划分规则将所选定的多个起始边界像素进行划分,得到至少一个像素对;
沿设定跟踪方向,对所选定的每个起始边界像素同时进行跟踪,记录跟踪得到的边界像素的跟踪坐标值;
在跟踪过程中,若所记录的跟踪坐标值与起始坐标值相同,且该跟踪坐标值所对应的起始边界像素与该起始坐标值所对应的起始边界像素属于不同的像素对,则在相应的多个像素对中选取起始边界像素距离最大的一个像素对,对所选取的像素对继续进行跟踪,停止对相应的多个像素对中的其它像素对的跟踪;
当所选取的像素对中,两个起始边界像素互相跟踪到对方时,停止跟踪;
将互相跟踪到对方的两个起始边界像素的跟踪过程中所记录的跟踪坐标值,及这两个起始边界像素的起始坐标值组合,作为轮廓坐标点集,得到图形的轮廓。
9.根据权利要求6所述的识别方法,其特征在于,所述确定所述标识图像中表示旋转校验位的特征图形,对所述标识图像进行旋转校验,得到所述标识图像的正置视图的步骤,包括:
根据表示旋转校验位的特征图形在标识中的位置信息,在所述标识图像中的相应位置搜索与表示旋转校验位的特征图形的形状一致的图形,确定搜索得到的图形为表示旋转校验位的特征图形;其中,所述位置信息包括表示旋转校验位的特征图形在标识所确定的整个区域中所处的位置信息,及与表示旋转校验位的特征图形相邻的特征图形的形状信息;
计算搜索得到的表示旋转校验位的特征图形的中心与所述标识图像的外围边框的四个顶点之间的距离;
根据设定编号规则,将四个顶点分别编号为第一顶点~第四顶点;其中,所述设定编号规则包括距离值与顶点的对应关系和设定编号方向;
将所确定的第一顶点~第四顶点的位置一一对应的与参考图像的外围边框的第一顶点~第四顶点的位置进行比对,确定所述标识图像相对于所述参考图像的旋转角度和旋转方向;其中,所述参考图像为标识正置时的图像,所述参考图像的外围边框的第一顶点~第四顶点根据所述设定编号规则编号;
将所述标识图像沿所述旋转方向的反方向旋转所述旋转角度,得到所述标识图像的正置视图。
10.根据权利要求9所述的识别方法,其特征在于,标识中的表示旋转校验位的特征图形处于标识的外围边框的左上角位置;
所述确定所述标识图像中表示旋转校验位的特征图形,对所述标识图像进行旋转校验,得到所述标识图像的正置视图的步骤,包括:
根据表示旋转校验位的特征图形在标识中的位置信息,在所述标识图像中的四个顶角位置处搜索与表示旋转校验位的特征图形的形状一致的图形,确定搜索得到的图形为表示旋转校验位的特征图形;
计算搜索得到的表示旋转校验位的特征图形的中心与所述标识图像的外围边框的四个顶点之间的距离;
根据计算得到的四个距离值,选取所得到的距离中的最小距离值所对应的顶点编号为第一顶点,沿所述设定编号方向,将其余三个顶点依次分别确定为第二顶点~第四顶点;
将所确定的第一顶点~第四顶点的位置一一对应的与参考图像的外围边框的第一顶点~第四顶点的位置进行比对,确定所述标识图像相对于所述参考图像的旋转角度和旋转方向;其中,所述参考图像为标识正置时的图像,所述参考图像的外围边框的第一顶点位于所述参考图像的外围边框的左上角位置处,所述参考图像的外围边框的第二顶点~第四顶点依次沿所述设定编号方向编号;
将所述标识图像沿所述旋转方向的反方向旋转所述旋转角度,得到所述标识图像的正置视图。
11.根据权利要求6所述的识别方法,其特征在于,所述按照设定次序读取所述标识图像中表示数据校验位和表示数据信息位的特征图形的颜色所表示的值,得到标识的编码序列号的步骤,包括:
将所述标识图像的正置视图进行分割,得到多个栅格区域,使所述标识图像中的多个特征图形一一对应的落入所述多个栅格区域内;
所述多个栅格区域中,对于除表示旋转校验位的特征图形所在的栅格区域外的每个栅格区域,按照所述设定次序,依次读取其处于区域中心和区域中心8邻域的像素的像素值,得到所述标识的编码序列号。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令被配置为执行如权利要求6~11中任一项所述的标识的识别方法的一个或多个步骤。
13.一种增强现实设备,其特征在于,所述增强现实设备包括处理器,所述处理器中存储有计算机指令,所述计算机指令被配置为执行如权利要求6~11中任一项所述的标识的识别方法的一个或多个步骤。
CN201910346556.9A 2019-04-26 2019-04-26 增强现实设备用标识及其识别方法、增强现实设备 Active CN110070625B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910346556.9A CN110070625B (zh) 2019-04-26 2019-04-26 增强现实设备用标识及其识别方法、增强现实设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910346556.9A CN110070625B (zh) 2019-04-26 2019-04-26 增强现实设备用标识及其识别方法、增强现实设备

Publications (2)

Publication Number Publication Date
CN110070625A true CN110070625A (zh) 2019-07-30
CN110070625B CN110070625B (zh) 2023-03-17

Family

ID=67369216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910346556.9A Active CN110070625B (zh) 2019-04-26 2019-04-26 增强现实设备用标识及其识别方法、增强现实设备

Country Status (1)

Country Link
CN (1) CN110070625B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111651048A (zh) * 2020-06-08 2020-09-11 浙江商汤科技开发有限公司 多虚拟对象排列展示方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101465934A (zh) * 2007-12-20 2009-06-24 佳能株式会社 星座图检测
CN101551732A (zh) * 2009-03-24 2009-10-07 上海水晶石信息技术有限公司 带有交互功能的增强现实的方法及其系统
US20110157179A1 (en) * 2009-12-29 2011-06-30 National Taiwan University Of Science And Technology Method and system for providing augmented reality based on marker tracking, and computer program product thereof
CN104866859A (zh) * 2015-05-29 2015-08-26 南京信息工程大学 一种高鲁棒性的视觉图形标志及其识别方法
CN105844277A (zh) * 2016-03-22 2016-08-10 江苏木盟智能科技有限公司 标签识别方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101465934A (zh) * 2007-12-20 2009-06-24 佳能株式会社 星座图检测
CN101551732A (zh) * 2009-03-24 2009-10-07 上海水晶石信息技术有限公司 带有交互功能的增强现实的方法及其系统
US20110157179A1 (en) * 2009-12-29 2011-06-30 National Taiwan University Of Science And Technology Method and system for providing augmented reality based on marker tracking, and computer program product thereof
CN104866859A (zh) * 2015-05-29 2015-08-26 南京信息工程大学 一种高鲁棒性的视觉图形标志及其识别方法
CN105844277A (zh) * 2016-03-22 2016-08-10 江苏木盟智能科技有限公司 标签识别方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111651048A (zh) * 2020-06-08 2020-09-11 浙江商汤科技开发有限公司 多虚拟对象排列展示方法、装置、电子设备及存储介质
CN111651048B (zh) * 2020-06-08 2024-01-05 浙江商汤科技开发有限公司 多虚拟对象排列展示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110070625B (zh) 2023-03-17

Similar Documents

Publication Publication Date Title
Uchiyama et al. Random dot markers
CN110232311B (zh) 手部图像的分割方法、装置及计算机设备
US10713528B2 (en) System for determining alignment of a user-marked document and method thereof
Kumar Mishra et al. A review of optical imagery and airborne lidar data registration methods
US9141873B2 (en) Apparatus for measuring three-dimensional position, method thereof, and program
US8805077B2 (en) Subject region detecting apparatus
CN110765992B (zh) 印章鉴别方法、介质、设备及装置
CN104978012B (zh) 一种指向交互方法、装置及系统
CN107346041B (zh) 裸眼3d显示设备的光栅参数的确定方法、装置及电子设备
CN107545223B (zh) 图像识别方法及电子设备
CN106228195B (zh) 一种基于图像处理的七巧板图形识别方法
CN108305291B (zh) 利用包含定位二维码的墙体广告的单目视觉定位定姿方法
CN107577979A (zh) DataMatrix型二维码快速识别方法、装置及电子设备
CN111178355A (zh) 印章识别方法、装置和存储介质
CN104123554A (zh) 基于mmtd的sift图像特征提取方法
CN114240981A (zh) 标记识别方法及装置
CN106407973A (zh) 标在柱面上的ar码的鲁棒识别方法
CN110070625B (zh) 增强现实设备用标识及其识别方法、增强现实设备
CN108256518A (zh) 文字区域检测方法及装置
CN117911668A (zh) 药品信息识别方法及装置
CN113850245A (zh) 图像处理方法、装置、电子设备及存储介质
CN110263597B (zh) 一种快速准确的qr码校正方法及系统
CN113838032A (zh) 棋盘定位方法、装置、设备及存储介质
CN113112546B (zh) 基于三x组合标记的空间目标检测识别与位姿跟踪方法
CN110737364B (zh) 一种安卓系统下触摸书写加速的控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant