CN106097281B - 一种用于投影交互系统的标定图及其标定检测方法 - Google Patents
一种用于投影交互系统的标定图及其标定检测方法 Download PDFInfo
- Publication number
- CN106097281B CN106097281B CN201610496556.3A CN201610496556A CN106097281B CN 106097281 B CN106097281 B CN 106097281B CN 201610496556 A CN201610496556 A CN 201610496556A CN 106097281 B CN106097281 B CN 106097281B
- Authority
- CN
- China
- Prior art keywords
- grid
- calibration
- main
- main grid
- oblique line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 39
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000013507 mapping Methods 0.000 claims description 25
- 238000003708 edge detection Methods 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000009021 linear effect Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 239000012141 concentrate Substances 0.000 claims 1
- 230000007547 defect Effects 0.000 abstract description 2
- 238000005286 illumination Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种用于投影交互系统的标定图及其标定检测方法,与现有技术相比解决了标定图及其标定方法容易受到外界光照干扰的缺陷。本发明的方格集包括横向划定的8条直线、纵向划定的8条直线交叉形成的49个尺寸相同的方格,方格类型分为主方格和辅助方格,主方格为方格内部带有斜线的方格,辅助方格为方格内部空白的方格,方格集中相邻的主方格之间均设有一个辅助方格,主方格为16个,辅助方格为33个。本发明克服了外界光照的干扰,提高了标定成功率,节约了标定时间。
Description
技术领域
本发明涉及计算机视觉处理技术领域,具体来说是一种用于投影交互系统的标定图及其标定检测方法。
背景技术
人机交互技术是计算机科学中至关重要的一个领域,其发展历史基本上代表了计算机的发展历史。从最早的大型机上的笨拙的开关系统,到早期键盘和鼠标的出现,以及当下非常流行的触摸屏,人机交互技术的发展速度日新月异。近年来,由于计算机视觉技术的飞速发展以及新的传感器(比如深度相机Kinect、LeapMotion等)的出现,使得各种便捷式的人机交互方式层出不穷。
Kinect是微软开发的深度传感相机,通过精心设计的算法,能够感知到目标到相机的距离,从而得到目标的深度信息。再结合目标的可见光图像,利用模式识别技术,就能够识别出人体的姿态、手势等信息,从而起到一定的人机交互的作用。利用视觉传感器,与投影仪进行组合,形成投影交互系统,是一种新的交互方式。该方式能够直接将投影区域变成触摸屏,实现与计算机交互的功能。这种新的交互方式,显著提升了在教室和会议室环境中的交互效率,提高了使用者的演讲效果。
标定部分是投影交互系统的核心模块,它能够得到投影平面与计算机之间的坐标映射关系,其质量好坏直接影响到操作的精度。现在最常用的摄像机标定方法,容易受到外界光照的干扰,导致标定成功率不高;或者标定过程费时,步骤复杂,需要人为干预等,降低了用户体验。如何开发出一种新的标定图及其标定方法已经成为急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中标定图及其标定方法容易受到外界光照干扰的缺陷,提供一种用于投影交互系统的标定图及其标定检测方法来解决上述问题。
为了实现上述目的,本发明的技术方案如下:
一种用于投影交互系统的标定图,包括方格集,所述的方格集包括横向划定的8条直线、纵向划定的8条直线交叉形成的49个尺寸相同的方格,方格类型分为主方格和辅助方格,主方格为方格内部带有斜线的方格,辅助方格为方格内部空白的方格,方格集中相邻的主方格之间均设有一个辅助方格,主方格为16个,辅助方格为33个。
所述的主方格包括1个双斜线方格、1个四斜线方格和14个单斜线方格,双斜线方格位于方格集的第一行、第一列,四斜线方格位于方格集的第一行、第三列;任意两个单斜线方格之间,单斜线位于其单斜线方格中的位置存在偏移。
一种用于投影交互系统的标定图的标定检测方法,包括以下步骤:
标定图的投射和场景图像的抓拍,在计算机上显示标定图,将标定图经过投影仪投射到媒介上,调用摄像机模块抓拍当前的标定图;
边缘检测,采用边缘检测方法得到标定图对应的所有边缘,在边缘检测的基础之上提取骨架,保证边缘的线宽为1;
提取格线和斜线,从边缘场景中提取标定图方格中的格线和斜线;
交叉点类型检测,在边缘场景中针对交叉点进行类型检测;
区分主方格和辅助方格,针对标定图中的49个方格判断其方格内部是否存在斜线条;若存在,则为主方格;若不存在,则为辅助方格;
主方格的识别和定位,通过检测主方格内斜线条与格线交点的位置和数目、斜线条的数量、斜线交点的位置,来得到方格的编号,从而进一步得到标定点的编号和对应的坐标;
全局容错性处理,分析所有的主方格,看其周边相邻的主方格的标号是否都能够对应;
初步标定,利用直接线性映射算法对所有能够检测到的标定点对进行映射关系的计算,将该结果保存为初步映射关系,得到初步映射矩阵;
估算格线方向,利用初步映射矩阵,根据标定图中每一个标定点的坐标,估计出场景图中每一个标记点的实际位置以及格线的大致方向;
对断裂边缘进行修补,对于断线裂缝距离较小的情形,将其重新连接;
精确标定,针对线条修补后的主方格再次进行识别定位,重新采集标定点对,利用直接线性映射算法进行映射矩阵的进一步精确计算。
所述的提取格线和斜线包括以下步骤:
利用扫描器提取出格线和斜线,针对边缘检测结果对应的线条连通域进行分析,其具体步骤如下:
设定扫描器,使其沿着骨架像素顺序移动,分析扫描器的轨迹;
当扫描器碰到交叉点之后,选择与之前轨迹能保持同一方向的分支继续前进;扫描器一直移动,直到不能再在同一方向上前进为止,此时停止移动;
对扫描器的轨迹像素进行拟合处理,拟合之后得到直线,观察参与拟合的所有的点到该直线的平均距离,若该误差小于拟合阈值Th_fitting,则认为拟合成功,认为这一段轨迹为直线,将该直线提取;
针对提取出的直线进行判断,判断其是格线或斜线;其判断原则如下:
判断该直线的交叉点数目,若交叉点为2个,则认定为斜线,否则认定为格线。
所述交叉点类型检测包括以下步骤:
沿着扫描器的扫描轨迹进行分析,当扫描到某个像素位置时,若此像素位置是交叉点,且具有大于两个连通像素、或是拐点像素,则在该位置进行分析;
统计该交叉点上的分叉数目,并分析该分叉点是否位于格线上,有几条分支在格线上;
根据分析结果与数据库中存储的交叉点类型信息进行对比,实现该交叉点类型的检测。
所述的主方格的识别和定位的判断原则如下:
若主方格有4个斜线交叉点,并且分别位于主方格的正中间,则是第一行第二列主方格;
若主方格的4个斜线交叉点分别位于主方格的四个角,且主方格内部有两根斜线,斜线交叉点位于主方格内,则为第一行第一列主方格;
其余14个标定块为单斜线方格,对其斜线与格线的交点位置进行查询,与数据库中存储的信息进行对比,得到该主方格的标号;
将相机捕获的当前抓拍图中经确定标号的主方格的四角位置记录下来,结合标定图中的坐标位置,形成点对;记录下主方格中的非四角标记点,与对应的标定图中的位置,形成点对。
所述的全局容错性处理包括以下步骤:
对所有的主方格进行分析,统计该主方格周边所有相邻的主方格,分析其编号是否对应,统计能对应上的主方格的数目,将该数目标记为对应数Ni;
分析N1,N2,...N16中最大的数值,如果该值为0,则进行重新标定;
将最大对应数Nmax对应的标定矩形记录下来,同时记录下其标号正确的邻居主方格;
进一步分析最大对应数Nmax的邻居主方格,循环找到所有能正确对应的主方格,直到没有新的主方格出现为止;
记录下所有标号正确的主方格;
以标号正确的主方格为种子,对其余的标号错误的主方格进行纠错。
所述的对断裂边缘进行修补包括以下步骤:
设当前分析的方格角点为P0;
找到方格角点P0周边的其他方格角点;
遍历P0周边上下左右四个方向的4个方格角点,分析其是否与P0连通;
对于不连通的角点P1,朝着P0方向搜索断线端点,记为Q1;针对P0出发,沿着P1方向搜索端点,记为Q0;
比较Q0与Q1之间的距离和直线P0Q0与直线P1O1的方向是否一致,若Q0与Q1之间的距离小于距离阈值L,且直线P0Q0与直线P1O1的方向一致,则将其连接起来拟合成一条直线。
所述的拟合阈值Th_fitting为5个像素。
所述的距离阈值L为20个像素。
有益效果
本发明的一种用于投影交互系统的标定图及其标定检测方法,与现有技术相比克服了外界光照的干扰,提高了标定成功率,节约了标定时间。
本发明的标定图能够保证任何一个标记点的检测和识别都不依赖于全局或周边其他标记点,即便因为光照的干扰导致检测到的标定图残缺不全,也能够依据其中残存的少量几个标记点完成标定任务。该标定图将外界光照对标定图检测的干扰降低到最低。通过本发明所述的标定块检测方法,使得即便受到光照的干扰,检测到的标定图边缘图发生较大程度的断裂、边缘图残缺不全的情形下,依然能够进行自行修复,将断裂造成的干扰降低到最少,尽可能多的得到标记点,提高了稳定性。
附图说明
图1为本发明中标定图的结构示意图;
图2为本发明的方法流程图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识,用以较佳的实施例及附图配合详细的说明,说明如下:
如图1所示,本发明所述的一种用于投影交互系统的标定图,包括方格集,现有技术中的标定图也多为方格集体,通过方格的颜色区分来进行标定分别判断,但颜色区分在投影使用中容易受到光线照射影响,出现标定不准确的问题。在此,本发明中的方格集包括横向划定的8条直线、纵向划定的8条直线交叉形成的49个尺寸相同的方格,整个标定图共包含纵横各8条直线。理论上,在所有标记点都完整检测到的情形下,可以提供83个标记点坐标。83个标记点分成三种类型:
1、由水平线和垂直线形成的十字交叉点(或者T字交叉点、L型交叉点),总共64个;
2、由斜线与斜线交叉形成的X形交叉点,总共1个(第1个方格内);
3、由斜线与水平线或垂直线交叉形成的交叉点,总共18个。
在这49个方格中,有16个方格的内部是有斜线条的,其余的33个方格内部空白。将这16个内部有斜线的方格称为主方格。每个主方格的四角以及内部或四边上的斜线交叉点,就是标记点,能够用来计算映射关系。因此方格类型分为主方格和辅助方格,主方格为方格内部带有斜线的方格,辅助方格为方格内部空白的方格,方格集中相邻的主方格之间均设有一个辅助方格,主方格为16个,辅助方格为33个。
根据主方格内部斜线条数目的差异,可以将主方格分为以下几种:1个双斜线方格、1个四斜线方格和14个单斜线方格。双斜线方格位于方格集的第一行、第一列,四斜线方格位于方格集的第一行、第三列。
辅助方格为内部空白的方格,其作用是用来将主方格连接在一起,提高标定图的整体检测能力,其本身对标定并没有作用。这样的辅助方格总共有33个。每个主方格的四周,都被这样的辅助方格所包围。
在主方格的识别过程中,由于每个主方格的内容都不一致。双斜线方格、四斜线方格分别包含2条和4条斜线,通过统计斜线条数目,就可以将它们识别出来。
任意两个单斜线方格之间,单斜线位于其单斜线方格中的位置存在偏移。即后面的14个单斜线方格都只包含1条斜线,对他们的区分和识别,主要是通过斜线的两个端点在方格内的位置来完成。这14个主方格,斜线条与方格的两个交叉点各有不同。只需要利用算法检测出方格,然后找到交叉点位置,与存储的信息进行比较,就能识别出每个方格。
如图2所示,在此还提供一种用于投影交互系统的标定图的标定检测方法,其包括以下步骤:
第一步,标定图的投射和场景图像的抓拍。在计算机上显示标定图,将标定图经过投影仪投射到媒介上,调用摄像机模块抓拍当前的标定图,供后续检测使用。
第二步,边缘检测。采用边缘检测方法得到标定图对应的所有边缘,在边缘检测的基础之上提取骨架,保证边缘的线宽为1,边缘检测方法为Canny边缘检测方法。
第三步,提取格线和斜线。从边缘场景中提取标定图方格中的格线和斜线,格线是指方格中构成方格边界的16条水平直线和垂直直线,而斜线则是指主方格内部的短线。对格线和斜线进行提取,可以为后续的交叉点的定位和识别提供信息。其具体步骤如下:
(1)利用扫描器提取出格线和斜线,针对边缘检测结果对应的线条连通域进行分析。其具体步骤如下:
A、设定扫描器,使其沿着骨架像素顺序移动,分析扫描器的轨迹。
B、当扫描器碰到交叉点之后,选择与之前轨迹能保持同一方向的分支继续前进。扫描器一直移动,直到不能再在同一方向上前进为止,此时停止移动。
C、对扫描器的轨迹像素进行拟合处理,拟合之后得到直线,观察参与拟合的所有的点到该直线的平均距离,若该误差小于拟合阈值Th_fitting,则认为拟合成功,认为这一段轨迹为直线,将该直线提取。其中:拟合阈值Th_fitting通常为5个像素。
(2)针对提取出的直线进行判断,判断其是格线或斜线。利用扫描器得到的直线,有可能是距离较长的格线,也有可能仅仅是方格内部的较短的斜线。利用直线的长度和直线经过的交叉点的数目来区分格线和斜线,其判断原则如下:判断该直线的交叉点数目,若交叉点为2个,则认定为斜线,否则认定为格线。斜线的范围不会超出一个方格,不会连续穿越两个以上的交叉点,因此可以通过分析某条直线上交叉点的数目,来区分这是格线还是斜线。
第四步,交叉点类型检测。在边缘场景中针对交叉点进行类型检测,在图1的标定图中,交叉点分为以下类型:
1、无分叉拐角。标定图的右上、右下、左下三个拐角,形状特殊,在全图中都是唯一的。
2、有分叉拐角。标定图的左上拐角。该形状也是全图唯一的。
3、T字形无斜线。标定图四边上的部分交叉点,是T字形的,并且没有斜线与其连接。这种交叉点不是全图唯一的。
4、T字形有斜线。部分T字形上有斜线与其连接,也不是全图唯一。
5、十字形无斜线。标定图内部的标记点,都至少包含纵横两条格线。部分格线交叉点没有斜线连接其上。
6、十字形有斜线。内部格线交叉点,还有斜线连接其上。
7、斜线交叉。这种情形全图中只有一个,就是左上角方格内的X形交叉。
8、斜线与格线交叉。部分内部交叉点不在格线交叉点之上,是由斜线与格线相交形成的。
交叉点类型检测包括以下步骤:
(1)沿着扫描器的扫描轨迹进行分析,当扫描到某个像素位置时,若此像素位置是交叉点,且具有大于两个连通像素、或是拐点像素,则在该位置进行分析。
(2)统计该交叉点上的分叉数目,即与该像素相连的前景像素的数目,并分析该分叉点是否位于格线上,有几条分支在格线上。
(3)根据分析结果与数据库中存储的交叉点类型信息进行对比,实现该交叉点类型的检测。
第五步,区分主方格和辅助方格。标定图总共有49个方格,在此对方格进行区分,分清楚其是主方格还是辅助方格。如果是主方格,则需要在此基础上得到标定点的位置信息,用于后续的标定操作。如果只是辅助方格,则不用进行额外考虑。
对已经检测出来的格线交叉点进行分析,尝试将每四个相邻的格线交叉点(直接存在线条连接)组合成一个方格,用来进行分类。由于光照的干扰,线条未必能完整的检测出来,断裂是线条上常见的情况。线条的断裂会造成两个相邻交叉点,本来属于同一个主方格,但是却不能进行组合。这种情况要等完成初步标定之后,对标定图像检测结果进行后续修补时,才能得到解决。
在此主要针对四个相邻格线交叉点存在直接线条连接的情形,即完整的方格进行分析。判断的方法是看方格内部是否存在斜线条。针对标定图中的49个方格判断其方格内部是否存在斜线条;若存在,则为主方格;若不存在,则为辅助方格。为了提高检测速度,不需要对方格内部进行逐像素扫描,而只需要对格线和斜线条的检测结果进行分析即可。
第六步,主方格的识别和定位,通过检测主方格内斜线条与格线交点的位置和数目、斜线条的数量、斜线交点的位置,来得到方格的编号,从而进一步得到标定点的编号和对应的坐标。
主方格的四角就是标定点位置。为了将场景图像中的每一个标定点与标定图中的坐标位置对应上来,必须知道每个标定点的序号。而这就需要依靠对主方格的识别来完成。由于标定图中的16个主方格各自具有不同的内容,因此可以通过检测斜线条与格线交点的位置和数目,以及斜线条的数目、斜线交点的位置,来得到方格的编号,从而进一步得到标定点的编号和对应的坐标。其具体步骤如下:
(1)若主方格有4个斜线交叉点,并且分别位于主方格的正中间,则是第一行第二列主方格。
(2)若主方格的4个斜线交叉点分别位于主方格的四个角,且主方格内部有两根斜线,斜线交叉点位于主方格内,则为第一行第一列主方格。
(3)其余14个标定块为单斜线方格,对其斜线与格线的交点位置进行查询,与数据库中存储的信息进行对比,得到该主方格的标号。
(4)将相机捕获的当前抓拍图中经确定标号的主方格的四角位置记录下来,结合标定图中的坐标位置,形成点对。记录下主方格中的非四角标记点,与对应的标定图中的位置,形成点对。
第七步,全局容错性处理,分析所有的主方格,看其周边相邻的主方格的标号是否都能够对应。由于在线条的检测过程中,难免出现断裂的现象,因此在主方格识别时,就可能造成错误识别。为了降低这种错误的可能性,需要对所有已经识别的主方格进行全局容错处理。即分析所有的主方格,看其周边相邻的主方格的标号,是否都能够对应得上。其具体步骤如下:
(1)对所有的主方格进行分析,统计该主方格周边所有相邻的主方格,分析其编号是否对应,统计能对应上的主方格的数目,将该数目标记为对应数Ni。
(2)分析N1,N2,...N16中最大的数值,如果该值为0,则进行重新标定。
(3)将最大对应数Nmax对应的标定矩形记录下来,同时记录下其标号正确的邻居主方格。
(4)进一步分析最大对应数Nmax的邻居主方格,循环找到所有能正确对应的主方格,直到没有新的主方格出现为止。
(5)记录下所有标号正确的主方格。
(6)以标号正确的主方格为种子,对其余的标号错误的主方格进行纠错。
第八步,初步标定。利用直接线性映射算法(DLT)对所有能够检测到的标定点对进行映射关系的计算,将该结果保存为初步映射关系,得到初步映射矩阵。
第九步,估算格线方向。在得到初步映射关系之后,就可以根据标定图中每一个标定点的坐标,大致估计出场景图中每一个标记点的实际位置,以及格线的大致方向。场景图像中,每一个交叉点的格线的方向,是根据当前交叉点,以及相邻交叉点的连线来进行估计的。利用初步映射矩阵,根据标定图中每一个标定点的坐标,估计出场景图中每一个标记点的实际位置以及格线的大致方向。
第十步,对断裂边缘进行修补,对于断线裂缝距离较小的情形,将其重新连接。在边缘提取过程中,受到光照的干扰,很容易出现线条断裂的现象。如果能够将断裂的线条修补起来,则能够尽量增加主方格的数量,从而进一步提高映射精度,提高标定模块对光照的抗干扰能力。对于裂缝距离较小的情形,需要将其重新连接起来,将断线的干扰降低到最低,尽可能修复不完整的主方格。即便不能将所有的断线都连接起来,只要能保证主方格上的线条和标记点都位于同一个连通域之上,对标定过程也不再造成干扰了。其具体步骤如下:
(1)设当前分析的方格角点为P0。
(2)找到方格角点P0周边的其他方格角点,可以根据标记点的大致估计位置得出。
(3)遍历P0周边上下左右四个方向的4个方格角点,分析其是否与P0连通。
(4)对于不连通的角点P1,朝着P0方向搜索断线端点,记为Q1;针对P0出发,沿着P1方向搜索端点,记为Q0。
(5)比较Q0与Q1之间的距离和直线P0Q0与直线P1O1的方向是否一致,若Q0与Q1之间的距离小于距离阈值L,且直线P0Q0与直线P1O1的方向一致,则将其连接起来拟合成一条直线,在此距离阈值L可以为20个像素。
第十一步,精确标定。在完成所有线条的修补之后,进一步对主方格进行识别和定位。即针对线条修补后的主方格再次进行识别定位,重新采集标定点对,利用直接线性映射算法进行映射矩阵的进一步精确计算。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (10)
1.一种用于投影交互系统的标定图,包括方格集,其特征在于:所述的方格集包括横向划定的8条直线、纵向划定的8条直线交叉形成的49个尺寸相同的方格,方格类型分为主方格和辅助方格,主方格为方格内部带有斜线的方格,辅助方格为方格内部空白的方格,方格集中相邻的主方格之间均设有一个辅助方格,主方格为16个,辅助方格为33个。
2.根据权利要求1所述的一种用于投影交互系统的标定图,其特征在于:所述的主方格包括1个双斜线方格、1个四斜线方格和14个单斜线方格,双斜线方格位于方格集的第一行、第一列,四斜线方格位于方格集的第一行、第三列;任意两个单斜线方格之间,单斜线位于其单斜线方格中的位置存在偏移。
3.根据权利要求1所述的一种用于投影交互系统的标定图的标定检测方法,其特征在于,包括以下步骤:
31)标定图的投射和场景图像的抓拍,在计算机上显示标定图,将标定图经过投影仪投射到媒介上,调用摄像机模块抓拍当前的标定图;
32)边缘检测,采用边缘检测方法得到标定图对应的所有边缘,在边缘检测的基础之上提取骨架,保证边缘的线宽为1;
33)提取格线和斜线,从边缘场景中提取标定图方格中的格线和斜线;
34)交叉点类型检测,在边缘场景中针对交叉点进行类型检测;
35)区分主方格和辅助方格,针对标定图中的49个方格判断其方格内部是否存在斜线条;若存在,则为主方格;若不存在,则为辅助方格;
36)主方格的识别和定位,通过检测主方格内斜线条与格线交点的位置和数目、斜线条的数量、斜线交点的位置,来得到方格的编号,从而进一步得到标定点的编号和对应的坐标;
37)全局容错性处理,分析所有的主方格,看其周边相邻的主方格的标号是否都能够对应;
38)初步标定,利用直接线性映射算法对所有能够检测到的标定点对进行映射关系的计算,将结果保存为初步映射关系,得到初步映射矩阵;
39)估算格线方向,利用初步映射矩阵,根据标定图中每一个标定点的坐标,估计出场景图中每一个标记点的实际位置以及格线的大致方向;
310)对断裂边缘进行修补,对于断线裂缝距离较小的情形,将其重新连接;
311)精确标定,针对线条修补后的主方格再次进行识别定位,重新采集标定点对,利用直接线性映射算法进行映射矩阵的进一步精确计算。
4.根据权利要求3所述的一种用于投影交互系统的标定图的标定检测方法,其特征在于,所述的提取格线和斜线包括以下步骤:
41)利用扫描器提取出格线和斜线,针对边缘检测结果对应的线条连通域进行分析,其具体步骤如下:
411)设定扫描器,使其沿着骨架像素顺序移动,分析扫描器的轨迹;
412)当扫描器碰到交叉点之后,选择与之前轨迹能保持同一方向的分支继续前进;扫描器一直移动,直到不能再在同一方向上前进为止,此时停止移动;
413)对扫描器的轨迹像素进行拟合处理,拟合之后得到直线,观察参与拟合的所有的点到该直线的平均距离,若误差小于拟合阈值Th_fitting,则认为拟合成功,认为这一段轨迹为直线,将该直线提取;
42)针对提取出的直线进行判断,判断其是格线或斜线;其判断原则如下:
判断该直线的交叉点数目,若交叉点为2个,则认定为斜线,否则认定为格线。
5.根据权利要求3所述的一种用于投影交互系统的标定图的标定检测方法,其特征在于,所述交叉点类型检测包括以下步骤:
51)沿着扫描器的扫描轨迹进行分析,当扫描到某个像素位置时,若此像素位置是交叉点,且具有大于两个连通像素、或是拐点像素,则在该位置进行分析;
52)统计该交叉点上的分叉数目,并分析该分叉点是否位于格线上,有几条分支在格线上;
53)根据分析结果与数据库中存储的交叉点类型信息进行对比,实现该交叉点类型的检测。
6.根据权利要求3所述的一种用于投影交互系统的标定图的标定检测方法,其特征在于,所述的主方格的识别和定位的判断原则如下:
61)若主方格有4个斜线交叉点,并且分别位于主方格的正中间,则是第一行第二列主方格;
62)若主方格的4个斜线交叉点分别位于主方格的四个角,且主方格内部有两根斜线,斜线交叉点位于主方格内,则为第一行第一列主方格;
63)其余14个标定块为单斜线方格,对其斜线与格线的交点位置进行查询,与数据库中存储的信息进行对比,得到该主方格的标号;
64)将相机捕获的当前抓拍图中经确定标号的主方格的四角位置记录下来,结合标定图中的坐标位置,形成点对;记录下主方格中的非四角标记点,与对应的标定图中的位置,形成点对。
7.根据权利要求3所述的一种用于投影交互系统的标定图的标定检测方法,其特征在于,所述的全局容错性处理包括以下步骤:
71)对所有的主方格进行分析,统计该主方格周边所有相邻的主方格,分析其编号是否对应,统计能对应上的主方格的数目,将该数目标记为对应数;
72)分析中最大的数值,如果该值为0,则进行重新标定;
73)将最大对应数对应的标定矩形记录下来,同时记录下其标号正确的邻居主方格;
74)进一步分析最大对应数的邻居主方格,循环找到所有能正确对应的主方格,直到没有新的主方格出现为止;
75)记录下所有标号正确的主方格;
76)以标号正确的主方格为种子,对其余的标号错误的主方格进行纠错。
8.根据权利要求3所述的一种用于投影交互系统的标定图的标定检测方法,其特征在于,所述的对断裂边缘进行修补包括以下步骤:
81)设当前分析的方格角点为P0;
82)找到方格角点P0周边的其他方格角点;
83)遍历P0周边上下左右四个方向的4个方格角点,分析其是否与P0连通;
84)对于不连通的角点P1,朝着P0方向搜索断线端点,记为Q1;针对P0出发,沿着P1方向搜索端点,记为Q0;
85)比较Q0与Q1之间的距离和直线P0Q0与直线P1O1的方向是否一致,若Q0与Q1之间的距离小于距离阈值L,且直线P0Q0与直线P1O1的方向一致,则将其连接起来拟合成一条直线。
9.根据权利要求4所述的一种用于投影交互系统的标定图的标定检测方法,其特征在于,所述的拟合阈值Th_fitting为5个像素。
10.根据权利要求8所述的一种用于投影交互系统的标定图的标定检测方法,其特征在于,所述的距离阈值L为20个像素。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610496556.3A CN106097281B (zh) | 2016-06-27 | 2016-06-27 | 一种用于投影交互系统的标定图及其标定检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610496556.3A CN106097281B (zh) | 2016-06-27 | 2016-06-27 | 一种用于投影交互系统的标定图及其标定检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106097281A CN106097281A (zh) | 2016-11-09 |
CN106097281B true CN106097281B (zh) | 2019-01-22 |
Family
ID=57215344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610496556.3A Active CN106097281B (zh) | 2016-06-27 | 2016-06-27 | 一种用于投影交互系统的标定图及其标定检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106097281B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106780615B (zh) * | 2016-11-23 | 2019-09-27 | 安徽慧视金瞳科技有限公司 | 一种基于密集采样的投影标定方法 |
CN109509200B (zh) * | 2018-12-26 | 2023-09-29 | 深圳市繁维医疗科技有限公司 | 基于轮廓提取的棋盘格角点检测方法以及计算机可读存储介质 |
CN111127550B (zh) * | 2019-12-26 | 2023-08-29 | 上海联影医疗科技股份有限公司 | 基于床板的图像切片定位方法、装置、系统及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1434434A1 (de) * | 2002-10-31 | 2004-06-30 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Autokalibrierung von Multiprojektorsystemen |
CN101907954A (zh) * | 2010-07-02 | 2010-12-08 | 中国科学院深圳先进技术研究院 | 交互式投影系统及交互投影方法 |
CN102880360A (zh) * | 2012-09-29 | 2013-01-16 | 东北大学 | 红外式多点交互电子白板系统及白板投影标定方法 |
CN104835143A (zh) * | 2015-03-31 | 2015-08-12 | 中国航空无线电电子研究所 | 一种快速投影机系统参数标定方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5938638B2 (ja) * | 2011-01-13 | 2016-06-22 | パナソニックIpマネジメント株式会社 | インタラクティブプレゼンシステム |
-
2016
- 2016-06-27 CN CN201610496556.3A patent/CN106097281B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1434434A1 (de) * | 2002-10-31 | 2004-06-30 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Autokalibrierung von Multiprojektorsystemen |
CN101907954A (zh) * | 2010-07-02 | 2010-12-08 | 中国科学院深圳先进技术研究院 | 交互式投影系统及交互投影方法 |
CN102880360A (zh) * | 2012-09-29 | 2013-01-16 | 东北大学 | 红外式多点交互电子白板系统及白板投影标定方法 |
CN104835143A (zh) * | 2015-03-31 | 2015-08-12 | 中国航空无线电电子研究所 | 一种快速投影机系统参数标定方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106097281A (zh) | 2016-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110210409B (zh) | 表格单据中表格框线检测方法及系统 | |
US9087258B2 (en) | Method for counting objects and apparatus using a plurality of sensors | |
CN110458161B (zh) | 一种结合深度学习的移动机器人门牌定位方法 | |
CN102402680B (zh) | 人机交互系统中手部、指示点定位方法和手势确定方法 | |
CN106127778B (zh) | 一种用于投影交互系统的直线检测方法 | |
CN202939608U (zh) | 阅卷系统 | |
CN107688779A (zh) | 一种基于rgbd摄像头深度图像的机器人手势交互方法和装置 | |
CN103677441B (zh) | 红外多点识别方法、红外多点识别装置和红外触摸屏 | |
US8908915B2 (en) | Devices and methods for tracking moving objects | |
CN106384355B (zh) | 一种投影交互系统中的自动标定方法 | |
CN106097281B (zh) | 一种用于投影交互系统的标定图及其标定检测方法 | |
CN103198705B (zh) | 车位状态自动检测方法 | |
CN103852034B (zh) | 一种电梯导轨垂直度检测方法 | |
CN107527353B (zh) | 一种基于视觉处理的投影画面外框检测方法 | |
CN104103069B (zh) | 图像处理装置、图像处理方法及记录介质 | |
CN103336961A (zh) | 一种交互式的自然场景文本检测方法 | |
CN104463138A (zh) | 基于视觉结构属性的文本定位方法及系统 | |
US11216905B2 (en) | Automatic detection, counting, and measurement of lumber boards using a handheld device | |
CN112183301A (zh) | 一种建筑物楼层智能识别方法及装置 | |
CN115063579B (zh) | 基于二维图像和三维点云投影的列车定位销松动检测方法 | |
CN115597494B (zh) | 一种基于点云的预制构件预留孔的精度检测方法、系统 | |
US20220386571A1 (en) | Fish counting system, fish counting method, and program | |
CN112446262A (zh) | 文本分析方法、装置、终端和计算机可读存储介质 | |
CN105678737A (zh) | 一种基于Radon变换的数字图像角点检测方法 | |
CA3232479A1 (en) | Inspection method for inspecting an object and machine vision system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder |
Address after: 230000 Yafu Park, Juchao Economic Development Zone, Chaohu City, Hefei City, Anhui Province Patentee after: ANHUI HUISHI JINTONG TECHNOLOGY Co.,Ltd. Address before: 102, room 602, C District, Hefei National University, Mount Huangshan Road, 230000 Hefei Road, Anhui, China Patentee before: ANHUI HUISHI JINTONG TECHNOLOGY Co.,Ltd. |
|
CP02 | Change in the address of a patent holder |