CN107527353B - 一种基于视觉处理的投影画面外框检测方法 - Google Patents
一种基于视觉处理的投影画面外框检测方法 Download PDFInfo
- Publication number
- CN107527353B CN107527353B CN201710694921.6A CN201710694921A CN107527353B CN 107527353 B CN107527353 B CN 107527353B CN 201710694921 A CN201710694921 A CN 201710694921A CN 107527353 B CN107527353 B CN 107527353B
- Authority
- CN
- China
- Prior art keywords
- outer frame
- connected domain
- calculating
- skeleton
- filtering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于视觉处理的投影画面外框检测方法,包括如下步骤:(1)检测所有像素点,保留屋脊型像素点;(2)对所检测到的像素点进行噪声的过滤;(3)外框的拼接;(4)对拼接后的外框合理性的判断;(5)外框四边的拟合;(6)外框四角的计算。本发明通过对屋脊型像素点的检测,能够极大提高检测效果;对检测出的像素点构成的连通域进行了检测滤除,通过提取连通域骨架并对骨架进行分析处理,既提高了检测的准确度,又提高了检测的速度;该方法还包括了对拼接后外框四边的进一步拟合和四角的计算,进一步提高了检测的准确度。本发明解决了传统检测方法由于受光线影响而导致检测不准确的问题,具有较高的实用价值。
Description
技术领域
本发明涉及计算机视觉的人机交互技术领域,具体涉及基于视觉处理的投影画面外框检测方法。
背景技术
人机交互技术是计算机科学中至关重要的一个领域,其发展历史基本上代表了计算机的发展历史。从最早的大型机上的笨拙的开关系统,到早期键盘和鼠标的出现,以及当下非常流行的触摸屏,人机交互技术的发展速度日新月异。近年来,由于计算机视觉技术的飞速发展,以及新的传感器的出现,使得各种便捷式的人机交互方式层出不穷。通过精心设计的算法,能够感知到目标到相机的距离,从而得到目标的深度信息。再结合目标的可见光图像,利用模式识别技术,就能够识别出人体的姿态、手势等信息,从而起到一定的人机交互的作用。
利用视觉传感器,与投影仪进行组合,形成投影交互系统,是一种新的交互方式。该方式能够直接将投影区域变成触摸屏,实现与计算机交互的功能。这种新的交互方式,显著提升了在教室和会议室环境中的交互效率,提高了使用者的演讲效果。同时,随着投影仪系统的小型化,投影交互系统在智能家居领域有更广泛应用。如何确定投影区域,准确快速检测出投影画面的外框,成为首要解决的技术问题。
发明内容
为解决上述技术问题,本发明的目的在于提供一种基于视觉处理的投影画面外框检测方法,该方法能够准确快速检测出投影画面的外框,为后续处理打下良好的基础。
为实现上述技术目的,本发明提供的一种基于视觉处理的投影画面外框检测方法,包括以下步骤:
(1)检测像素点,保留屋脊型像素点;保留屋脊型像素点;所述屋脊型像素,该像素比左右两侧的像素亮度值大;或者是该像素比上下两侧的像素亮度值大;
(2)对所检测到的像素点进行噪声的过滤;
(3)外框的拼接;
(4)对拼接后的外框合理性的判断;
(5)外框四边的拟合;
(6)外框四角的计算。
作为本发明的进一步改进:
所述步骤(2)包括以下步骤:
(21)连通域的提取;在外框像素点检测的基础上,对二值化处理后的结果图进行连通域标记,得到每一个连通域对应的轮廓;
(22)根据设定阈值,对面积小于阈值的连通域进行滤除;
(23)基于轮廓形状,对连通域进行滤除;
(24)基于孤立性,对连通域进行过滤;如果某个连通域,在其周边一定范围内,找不到其他连通域,则滤除该连通域;
(25)基于可连接性,对连通域进行过滤。
所述步骤(4)对拼接后的外框合理性进行判断的具体方法为:
(41)尺寸判断;设定默认的外框的高和宽,将当前检测到的外框尺寸,与默认尺寸进行比较,相差过大的,滤除该外框;
(42)长宽比判断;计算外框对应的连通域的高和宽,计算高宽比例;比例值与默认值相比,相差太大的,滤除该外框;
(43)倾斜度判断;得到外框对应的四条边界的方向;左右两条边界,与垂直方向倾斜度较大,则滤除该外框;上下两条边界,与垂直方向倾斜度差距较大,滤除该外框;
(44)内部面积比判断;外框连通域内部存在一个与外框形状相似的四边形;提取该内部四边形,计算与外框的面积计算比例,面积比例小于阈值的,滤除该外框;其中阈值为0.6;
(45)四条边的长度比例;将外框分成四段,每条边对应一段,计算四段的长度;计算上下两段的长度比例,比例值超过阈值,滤除该外框;计算左右两段的长度比例,比例值超过阈值,滤除该外框。
所述步骤(23)具体过程如下:
(231)线条性分析;找到连通域对应的轮廓的两个端点;在两个端点位置,将轮廓切分成两部分;两部分轮廓的轮廓点,进行逐点配对;计算配对点之间的距离;所有的距离都稳定则满足线条性,否则,滤除该连通域;
(232)连通域骨架提取;由步骤(231)得到所有配对点的中点,所有中点依次连接,得到连通域骨架;
(233)分叉检测;依次遍历骨架中的每一个像素点,统计该骨架图中,每一个像素周边的8邻域中的,属于骨架像素的数目,如果总数是2个,则该像素点不是分叉,如果骨架像素的总数目是3个,则该像素是分叉点,如果当前连通域的骨架图,其中包含具有分叉点的像素点,则需要过滤该连通域;
(234)骨架直线拟合与拆分;依次遍历骨架轮廓上的像素点P,找到该像素点前方距离为N=5的像素点P1,以及后方距离为N=5的像素点P2,计算P与P1的连线角度,再计算P2和P1的连线角度,得到两条线的夹角,根据具体环境,设定曲率阈值,保留骨架上曲率大于阈值的点,作为拆分点;所述曲率是夹角的导数;利用骨架上,两个拆分点之间的点列,拟合直线,得到直线方程;
(235)合理性判断;如果骨架拆分出来的多条直线彼此首尾相连并且骨架子线段如果存在方向转变,只能往一个方向转变;则包含该骨架的连通域是外框或者外框的一段,否则,滤除该连通域;骨架子线段为拟合的直线在两个拆分点之间的部分。
所述步骤(25)基于可连接性,对连通域进行过滤具体过程如下:如果某个连通域,其某个子线段,可以与相邻的连通域的子线段连接起来,则满足可连接性,否则过滤该连通域;骨架子线段为拟合的直线在两个拆分点之间的部分。
所述步骤(5)外框四边的拟合的方法为:将当前完整的外框连通域所对应的外部轮廓点提取出来,然后在曲率较大的位置,将轮廓分割成四段,每一段对应一条边,对每条边的轮廓点,采用最小二乘法,进行直线拟合,同时采用随机采样一致性方法(RANSAC),降低误差。
所述步骤(6)中所述外框四角的计算的具体过程为:利用外框对应的直线,计算相邻两条直线的交点,得到最终的外框的四角。
由以上技术方案可知,本发明所提供的一种基于视觉处理的投影画面外框检测方法,该方法通过对屋脊型像素点的检测,能够极大提高检测效果;对检测出的像素点构成的连通域进行了检测滤除,通过提取连通域骨架并对骨架进行分析处理,既提高了检测的准确度,又提高了检测的速度;该方法还包括了对拼接后外框四边的进一步拟合和四角的计算,进一步提高了检测的准确度。本发明解决了传统检测方法由于受光线影响而导致检测不准确的问题,具有较高的实用价值。
附图说明
图1是本发明的步骤流程图。
具体实施方式
下面结合附图对本发明做进一步说明:
如图1所示,本实施例中,一种基于视觉处理的投影画面外框检测方法,包括以下方法:
(1)检测像素点,保留屋脊型像素点;保留屋脊型像素点;所述屋脊型像素,该像素比左右两侧的像素亮度值大;或者是该像素比上下两侧的像素亮度值大;
(2)连通域的提取;在外框屋脊型像素点检测的基础上,对二值化处理后的结果图进行连通域标记,得到每一个连通域对应的轮廓;
(3)根据设定阈值,对面积小于阈值的连通域进行滤除;
(4)对经过阈值判断滤除后的连通域进行线条性分析;找到连通域对应的轮廓的两个端点,此时曲率最大;在两个端点位置,将轮廓切分成两部分;两部分轮廓的轮廓点,进行逐点配对;计算配对点之间的距离;所有的距离都稳定则满足线条性,否则,滤除该连通域;
(5)连通域骨架提取;由步骤(4)得到所有配对点的中点,所有中点依次连接,得到连通域骨架;
(6)对得到的连通域骨架进行分叉检测;依次遍历骨架中的每一个像素点,统计该骨架图中,每一个像素周边相邻的8个像素,属于骨架像素的数目,如果总数是2个,则该像素点不是分叉,如果骨架像素的总数目是3个,则该像素是分叉点,如果当前连通域的骨架图,其中包含有分叉点,则需要过滤该连通域;
(7)骨架直线拆分与拟合;依次遍历骨架轮廓上的像素点P,找到该像素点前方距离为N=5的像素点P1,以及后方距离为N=5的像素点P2,计算P与P1的连线角度,再计算P2和P1的连线角度,得到两条线的夹角,根据具体环境,设定曲率阈值,保留骨架上曲率大于阈值的点,作为拆分点;所述曲率是夹角的导数;利用骨架上,两个拆分点之间的点列,拟合直线,得到直线方程;
(8)合理性判断;如果骨架拆分出来的多条线段彼此首尾相连并且骨架子线段如果存在方向转变,只能往一个方向转变;则包含该骨架的连通域是外框或者外框的一段,否则,滤除该连通域;骨架子线段为拟合的直线在两个拆分点之间的部分;
(9)基于孤立性,对连通域进行过滤;如果某个连通域,在其周边一定范围内,找不到其他连通域,则滤除该连通域;
(10)基于可连接性,对连通域进行过滤;外框上的碎片,彼此是可以连接成完整的外框的,因此相邻的连通域,具备可连接性,如果某个连通域,其某个子线段,可以与相邻的连通域的子线段连接起来,则满足可连接性,否则加以滤除;
(11)外框的拼接;对骨架子线段进行拼接;
(12)对拼接后的外框进行尺寸判断;设定默认的外框的高和宽,将当前检测到的外框尺寸,与默认尺寸进行比较,相差过大的,滤除该外框;
(13)对拼接后的外框进行长宽比判断;计算拼接后的外框对应的连通域的高和宽,计算高宽比例;比例值与默认值相比,相差太大的,滤除该外框;
(14)对拼接后的外框边界进行倾斜度判断;得到外框对应的四条边界的方向;左右两条边界,与垂直方向倾斜度较大,则滤除该外框;上下两条边界,与垂直方向倾斜度差距较大,滤除该外框;
(15)对拼接后的外框进行内部面积比判断;外框连通域内部存在一个与外框形状相似的四边形;提取该内部四边形,计算与外框的面积计算比例,面积比例小于阈值0.6的,滤除该外框;
(16)对拼接后的外框进行四条边长度比例的判断;将外框分成四段,每条边对应一段,计算四段的长度;计算上下两段的长度比例,比例值超过阈值,滤除该外框;计算左右两段的长度比例,比例值超过阈值,滤除该外框;
(17)外框四边的拟合;将当前完整的外框连通域所对应的外部轮廓点提取出来,然后在曲率较大的位置,将轮廓分割成四段,每一段对应一条边,对每条边的轮廓点,采用最小二乘法,进行直线拟合,同时采用随机采样一致性方法RANSAC,降低误差;
(18)外框四角的计算;利用外框对应的直线,计算相邻两条直线的交点,得到最终的外框的四角,从而确定最终检测出来的外框。
本发明通过对屋脊型像素点的检测,能够极大提高检测效果;对检测出的像素点构成的连通域进行了面积及线条性分析,通过提取连通域骨架并对骨架子线段的分析处理,既提高了检测的准确度,又提高了检测的速度;该方法还包括了对拼接后外框四边的进一步拟合和四角的计算,进一步提高了检测的准确度。本发明解决了传统检测方法由于受光线影响而导致检测不准确的问题,具有较高的实用价值。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案作出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。
Claims (6)
1.一种基于视觉处理的投影画面外框检测方法,其特征在于:包括以下步骤:
(1)检测像素点,保留屋脊型像素点;保留屋脊型像素点;所述屋脊型像素,该像素比左右两侧的像素亮度值大;或者是该像素比上下两侧的像素亮度值大;
(2)对所检测到的像素点进行噪声的过滤;
(3)外框的拼接;
(4)对拼接后的外框合理性的判断;
(5)外框四边的拟合;
(6)外框四角的计算;
步骤(2)具体包括步骤:(21)连通域的提取;在外框像素点检测的基础上,对二值化处理后的结果图进行连通域标记,得到每一个连通域对应的轮廓;(22)根据连通域面积的设定阈值对连通域进行过滤,(23)根据连通域的轮廓形状对连通域进行过滤;
其中,步骤(23)包括:
(231)线条性分析;找到连通域对应的轮廓的两个端点;在两个端点位置,将轮廓切分成两部分;两部分轮廓的轮廓点,进行逐点配对;计算配对点之间的距离;所有的距离都稳定则满足线条性,否则,滤除该连通域;
(232)连通域骨架提取;由步骤(231)得到所有配对点的中点,所有中点依次连接,得到连通域骨架;
(233)分叉检测;依次遍历骨架中的每一个像素点,统计该骨架图中,每一个像素周边的8邻域中的,属于骨架像素的数目,如果总数是2个,则该像素点不是分叉,如果骨架像素的总数目是3个,则该像素是分叉点,如果当前连通域的骨架图,其中包含具有分叉点的像素点,则需要过滤该连通域;
(234)骨架直线拟合与拆分;依次遍历骨架轮廓上的像素点P,找到该像素点前方距离为N=5的像素点P1,以及后方距离为N=5的像素点P2,计算P与P1的连线角度,再计算P2和P1的连线角度,得到两条线的夹角,根据具体环境,设定曲率阈值,保留骨架上曲率大于阈值的点,作为拆分点;所述曲率是夹角的导数;利用骨架上,两个拆分点之间的点列,拟合直线,得到直线方程;
(235)合理性判断;如果骨架拆分出来的多条直线彼此首尾相连并且骨架子线段如果存在方向转变,只能往一个方向转变;则包含该骨架的连通域是外框或者外框的一段,否则,滤除该连通域;骨架子线段为拟合的直线在两个拆分点之间的部分。
2.根据权利要求1所述的基于视觉处理的投影画面外框检测方法,其特征在于:步骤(2)还包括以下步骤:
(24)基于孤立性,对连通域进行过滤;如果某个连通域,在其周边一定范围内,找不到其他连通域,则滤除该连通域;
(25)基于可连接性,对连通域进行过滤。
3.根据权利要求1所述的基于视觉处理的投影画面外框检测方法,其特征在于:步骤(4)对拼接后的外框合理性进行判断的具体方法为:
(41)尺寸判断;设定默认的外框的高和宽,将当前检测到的外框尺寸,与默认尺寸进行比较,相差过大的,滤除该外框;
(42)长宽比判断;计算外框对应的连通域的高和宽,计算高宽比例;比例值与默认值相比,相差太大的,滤除该外框;
(43)倾斜度判断;得到外框对应的四条边界的方向;左右两条边界,与垂直方向倾斜度较大,则滤除该外框;上下两条边界,与垂直方向倾斜度差距较大,滤除该外框;
(44)内部面积比判断;外框连通域内部存在一个与外框形状相似的四边形;提取该内部四边形,计算与外框的面积计算比例,面积比例小于阈值的,滤除该外框;其中阈值为0.6;
(45)四条边的长度比例;将外框分成四段,每条边对应一段,计算四段的长度;计算上下两段的长度比例,比例值超过阈值,滤除该外框;计算左右两段的长度比例,比例值超过阈值,滤除该外框。
4.根据权利要求2所述的基于视觉处理的投影画面外框检测方法,其特征在于:步骤(25)基于可连接性,对连通域进行过滤的具体过程如下:如果某个连通域,其某个子线段,可以与相邻的连通域的子线段连接起来,则满足可连接性,否则滤除该连通域。
5.根据权利要求1所述的基于视觉处理的投影画面外框检测方法,其特征在于:步骤(5)外框四边的拟合的方法为:将当前完整的外框连通域所对应的外部轮廓点提取出来,然后在曲率较大的位置,将轮廓分割成四段,每一段对应一条边,对每条边的轮廓点,采用最小二乘法,进行直线拟合,同时采用随机采样一致性方法(RANSAC),降低误差。
6.根据权利要求5所述的基于视觉处理的投影画面外框检测方法,其特征在于:步骤(6)中所述外框四角的计算的具体过程为:利用拟合的外框对应的直线,计算相邻两条直线的交点,得到最终的外框的四角。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710694921.6A CN107527353B (zh) | 2017-08-15 | 2017-08-15 | 一种基于视觉处理的投影画面外框检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710694921.6A CN107527353B (zh) | 2017-08-15 | 2017-08-15 | 一种基于视觉处理的投影画面外框检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107527353A CN107527353A (zh) | 2017-12-29 |
CN107527353B true CN107527353B (zh) | 2021-03-19 |
Family
ID=60681065
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710694921.6A Active CN107527353B (zh) | 2017-08-15 | 2017-08-15 | 一种基于视觉处理的投影画面外框检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107527353B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109900688A (zh) * | 2019-03-08 | 2019-06-18 | 深圳市象形字科技股份有限公司 | 一种尿液检测用的定位准确的试纸块 |
CN109991215B (zh) * | 2019-03-08 | 2021-09-24 | 深圳市象形字科技股份有限公司 | 一种用于尿液检测仪的异常情形预警方法 |
CN110544315B (zh) * | 2019-09-06 | 2023-06-20 | 北京华捷艾米科技有限公司 | 虚拟对象的控制方法及相关设备 |
CN114419144A (zh) * | 2022-01-20 | 2022-04-29 | 珠海市一杯米科技有限公司 | 基于外部轮廓形状分析的卡片定位方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5521855B2 (ja) * | 2009-09-10 | 2014-06-18 | 株式会社リコー | 投影画像領域検出装置 |
CN102236784A (zh) * | 2010-05-07 | 2011-11-09 | 株式会社理光 | 屏幕区域检测方法及系统 |
CN106127778B (zh) * | 2016-06-27 | 2019-01-04 | 安徽慧视金瞳科技有限公司 | 一种用于投影交互系统的直线检测方法 |
-
2017
- 2017-08-15 CN CN201710694921.6A patent/CN107527353B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN107527353A (zh) | 2017-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107527353B (zh) | 一种基于视觉处理的投影画面外框检测方法 | |
US9842122B2 (en) | Method and apparatus for searching images | |
US10685241B2 (en) | Method and apparatus for indicating lane | |
CN102508574B (zh) | 基于投影屏幕的多点触控检测方法及多点触控系统 | |
CN107818290B (zh) | 基于深度图的启发式手指检测方法 | |
CN103809880A (zh) | 人机交互系统及方法 | |
TWI428804B (zh) | 光學觸控系統及其感測方法 | |
CN102591533A (zh) | 基于计算机视觉技术的多点触摸屏系统实现方法与装置 | |
CN103984942A (zh) | 一种物象识别的方法及移动终端 | |
CN103955316A (zh) | 一种指尖触碰检测系统及方法 | |
CN104850842A (zh) | 移动终端虹膜识别的人机交互方法 | |
CN111415374A (zh) | 一种用于景区人流量监控和管理的kvm系统及方法 | |
WO2022014252A1 (ja) | 情報処理装置および情報処理方法 | |
KR102525570B1 (ko) | 라이다-카메라 영상 융합을 위한 라이다 데이터 이상치 제거 방법 및 이를 수행하는 컴퓨팅 장치 | |
KR100702534B1 (ko) | 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디판단 방법 | |
CN112991459A (zh) | 一种相机标定方法、装置、设备以及存储介质 | |
JP2016018458A (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
CN102446034B (zh) | 光学触控系统及其物件侦测方法 | |
WO2021129142A1 (zh) | 基于建筑物的室外定位方法、装置及移动设备 | |
CN109544632A (zh) | 一种基于层次主题模型的语义slam对象关联方法 | |
TWI450155B (zh) | 應用於光學式觸控裝置之校正資訊計算方法及系統 | |
CN106097281A (zh) | 一种用于投影交互系统的标定图及其标定检测方法 | |
CN115761191A (zh) | 一种基于增强现实的发动机数字化装配系统 | |
TWI448918B (zh) | 光學觸控系統 | |
KR20190079503A (ko) | 얼굴 인식을 위한 얼굴 자세 등록 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 230000 Yafu Park, Juchao Economic Development Zone, Chaohu City, Hefei City, Anhui Province Applicant after: ANHUI HUISHI JINTONG TECHNOLOGY Co.,Ltd. Address before: 102, room 602, C District, Hefei National University, Mount Huangshan Road, 230000 Hefei Road, Anhui, China Applicant before: ANHUI HUISHI JINTONG TECHNOLOGY Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |