CN111986169A - 门窗检测方法、系统、终端以及介质 - Google Patents
门窗检测方法、系统、终端以及介质 Download PDFInfo
- Publication number
- CN111986169A CN111986169A CN202010807185.2A CN202010807185A CN111986169A CN 111986169 A CN111986169 A CN 111986169A CN 202010807185 A CN202010807185 A CN 202010807185A CN 111986169 A CN111986169 A CN 111986169A
- Authority
- CN
- China
- Prior art keywords
- straight line
- image
- door
- coordinate information
- window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000013507 mapping Methods 0.000 claims abstract description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 62
- 238000000605 extraction Methods 0.000 claims description 26
- 230000015654 memory Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种门窗检测方法、系统、终端以及介质，包括：采集待检测的图像；对图像进行特征点检测获得角点，并将在当前帧图像以及在前一帧图像获取的角点进行匹配，以得到图像角点的三维坐标信息；进行直线检测提取图像中的直线，对直线进行三维映射，以获得直线的三维坐标信息；提取符合特征关系的直线对；根据直线对以及门窗约束条件检测门窗，并确定门窗在图像中的二维坐标信息以及三维坐标信息。解决了现有技术中门窗的检测识别方法还没有合理和具体的实现方法和系统架构的问题，本申请提出了室内场景理解中对门窗识别的系统方案和具体实现方法，能够快速有效的检测出门窗，并提供门窗的三维空间坐标和二维图像坐标，提高门窗检测的效率。
Description
技术领域
本申请涉及一种基于计算机视觉技术领域，特别是涉及一种门窗检测方法、系统、终端以及介质。
背景技术
现如今，计算机视觉技术和移动机器人技术正在迅猛发展，其中场景理解是移动机器人不可或缺的一部分，特别是对于家庭、酒店等场所的场景理解可以帮助移动机器人做出更多的智能化决策，而门窗作为场景中的基础组成单元，移动机器人对门窗的正确检测和识别具有重要意义，可以有助于其在移动中正确合理的划分房间和区域，更好的帮助其进行规划和决策路径。但门窗的检测识别方法在目前还没有深入的研究，没有合理和具体的实现方法和系统架构。
申请内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种门窗检测方法、系统、终端以及介质，用于解决现有技术中门窗的检测识别方法还没有合理和具体的实现方法和系统架构的问题。
为实现上述目的及其他相关目的，本申请提供一种门窗检测方法，包括：采集待检测的图像；对所述图像进行特征点检测获得角点，并将在当前帧图像获取的角点以及在前一帧图像获取的角点进行匹配，以得到所述图像角点的三维坐标信息；对所述图像进行直线检测提取图像中的直线，根据在所述直线的邻域内的角点的三维坐标信息对所述直线进行三维映射，以获得所述直线的三维坐标信息；根据所述直线的三维坐标信息提取符合特征关系的直线对；根据所述直线对以及门窗约束条件检测门窗，并确定所述门窗在所述图像中的二维坐标信息以及三维坐标信息。
于本申请的一实施例中，对所述图像进行特征点检测获得角点，并将在当前帧图像获取的角点以及在前一帧图像获取的角点进行匹配，以得到所述图像角点的三维坐标信息的方式包括：基于特征点算法对所述图像进行特征点检测；对当前帧图像获取的角点和上一帧图像获取的角点使用特征相似度匹配算法进行匹配，获得同一角点在不同帧图像中的位置点对；根据匹配的角点的位置点对计算所述角点的三维坐标信息。
于本申请的一实施例中，所述特征点算法包括FAST特征点检测算法、SIFT算法、SURF算法、haar算法、ORB算法中的一种或多种。
于本申请的一实施例中，对所述图像进行直线检测提取图像中的直线，根据在所述直线的邻域内的角点的三维坐标信息对所述直线进行三维映射，以获得所述直线的三维坐标信息的方式包括：使用直线检测算法对图像进行直线检测，提取二维直线；使用二维特征点信息对图像中提取的直线进行合并与修复；选择直线邻域内所有与其二维坐标邻近的一或多个角点，并根据所述一或多个角点的三维坐标信息使用最小二乘法直线拟合算法将所述角点合成三维空间中的直线，并映射到原二维空间的直线所在平面，将所述三维空间的直线的三维坐标信息作为原二维直线在三维空间中的坐标。
于本申请的一实施例中，根据所述直线的三维坐标信息提取符合特征关系的直线对的方式包括：根据所述直线的三维坐标信息提取符合相交、共面、平行的直线对。
于本申请的一实施例中，根据所述直线对以及门窗约束条件检测门窗，并确定所述门窗在所述图像中的二维坐标信息以及三维坐标信息的方式包括：根据所述门窗在三维空间的位置尺寸信息作为门窗约束条件对所述直线对进行筛选；将符合所述门窗约束条件的直线对标记的水平方向的直线进行配对所述门窗在所述图像中的二维坐标信息以及三维坐标信息。
于本申请的一实施例中，所述方法还包括：将当前帧图像的角点的三维坐标信息对下一帧图像的角点三维坐标信息进行匹配。
为实现上述目的及其他相关目的，本申请提供一种门窗检测系统，包括：采集模块，用于采集图像；特征点提取模块，用于对所述图像进行特征点检测获得角点，并将在当前帧图像获取的角点以及在前一帧图像获取的角点进行匹配，以得到所述图像角点的三维坐标信息；直线提取模块，用于对所述图像进行直线检测提取图像中的直线，根据在所述直线的领域内的角点的三维坐标信息对所述直线进行三维映射，以获得所述直线的三维坐标信息；直线对提取模块，用于根据所述直线的三维坐标信息提取符合特征关系的直线对；门窗检测模块，用于根据所述直线对以及门窗约束条件检测门窗，并确定所述门窗在所述图像中的二维坐标信息以及三维坐标信息。
为实现上述目的及其他相关目的，本申请提供一种门窗检测终端，包括：存储器，用于存储计算机程序；处理器，运行所述计算机程序，以执行所述门窗检测方法。
为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被运行时实现所述门窗检测方法。
如上所述，本申请的门窗检测方法、系统、终端以及介质，具有以下有益效果：本申请提供门窗检测方法，提出了室内场景理解中对门窗识别的系统方案和具体实现方法，在室内场景下，能够快速有效的检测出门窗，并提供门窗的三维空间坐标和二维图像坐标，提高门窗检测的效率。
附图说明
图1显示为本申请一实施例中门窗检测方法的流程示意图。
图2显示为本申请一实施例中门窗检测系统的结构示意图。
图3显示为本申请一实施例中门窗检测终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、““下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
本申请提供一种门窗检测方法，用于解决现有技术中门窗的检测识别方法还没有合理和具体的实现方法和系统架构的问题，本申请提供门窗检测方法，提出了室内场景理解中对门窗识别的系统方案和具体实现方法，在室内场景下，能够快速有效的检测出门窗，并提供门窗的三维空间坐标和二维图像坐标，提高门窗检测的效率。
下面以附图1为参考，针对本申请得实施例进行详细说明，以便本申请所述技术领域的技术人员能够容易地实施。本申请可以以多种不同形态体现，并不限于此处说明的实施例。
如图1所示，展示一实施例中门窗检测方法的流程示意图，即经过以下步骤；
步骤S11：采集待检测的图像。
可选的，利用数据采集装置采集待检测的图像。
可选的，所述数据采集装置包括视觉传感器，其中所述视觉传感器是整个机器视觉系统信息的直接来源，主要由一个或者两个图形传感器组成，有时还要配以光投射器及其他辅助设备。视觉传感器的主要功能是获取足够的机器视觉系统要处理的最原始图像。
可选的，所述数据传感器为图像传感器，所述图像传感器可以为CCD(Charge-Coupled Device，电荷耦合器件)和CMOS(Complementary Metal-Oxide Semiconductor，金属氧化物半导体元件)两大类中的任一种。
可选的，所述图像传感器为RGB或单通道传感器。
可选的，采集所述待测图像并对所述图像进行预处理。
具体的，所述预处理操作包括：对所述图像进行滤波、去噪、调整图像对比度，光照强度等。
步骤S12：对所述图像进行特征点检测获得角点，并将在当前帧图像获取的角点以及在前一帧图像获取的角点进行匹配，以得到所述图像角点的三维坐标信息。
可选的，步骤S12包括：基于特征点算法对所述图像进行特征点检测；
对当前帧图像获取的角点和上一帧图像获取的角点使用特征相似度匹配算法进行匹配，获得同一角点在不同帧图像中的位置点对；
根据匹配的角点的位置点对通过对极几何约束和空间几何计算所述角点的三维坐标信息。
可选的，所述特征点算法所述特征点算法包括FAST特征点检测算法、SIFT算法、SURF算法、haar算法、ORB算法中的一种或多种。
可选的，基于FAST特征点算法对所述图像进行特征点检测，其中，所述FAST特征点检测算法是一种基于邻域的图像角点检测技术，其基本原理是：对于以像素p为中心，在半径为3的圆上，有16个像素点(p1、p2、...、p16)；定义一个阈值，计算p1、p9与中心p的像素差，若它们绝对值都小于阈值，则p点不可能是特征点，直接pass掉；否则，当做候选点，有待进一步考察；若p是候选点，则计算p1、p9、p5、p13与中心p的像素差，若它们的绝对值有至少3个超过阈值，则当做候选点，再进行下一步考察；否则，直接pass掉；若p是候选点，则计算p1到p16这16个点与中心p的像素差，若它们有至少9个超过阈值，则是特征点；否则，直接pass掉。对图像进行非极大值抑制：计算特征点出的FAST得分值(即score值，也即s值)，判断以特征点p为中心的一个邻域(如3x3或5x5)内，计算若有多个特征点，则判断每个特征点的s值(16个点与中心差值的绝对值总和)，若p是邻域所有特征点中响应值最大的，则保留；否则，抑制。若邻域内只有一个特征点(角点)，则保留。根据超过阈值个数的不同，FAST检测算法还分为FAST-9、FAST-10、FAST-11、FAST-12等。
可选的，对检测到的角点，在其邻域范围内搜索提取的角点的数量，对于邻域内有多个特征前的情况，按照其角点的得分，保留得分较大的部分角点。
可选的，将检测得到的角点进行筛选，对邻域范围内的角点，选择表现好的角点，减小计算量。
可选的，若当前帧为首帧，不作其他额外过程处理；若当前帧为非首帧，提取的角点需要与前一帧图像的角点进行特征匹配，获得同一角点在两帧不同图像中的坐标。
可选的，对于前一帧中已经有三维坐标的角点，为当前帧角点赋予对应角点的三维坐标，对于重复匹配的角点，选取匹配最佳的角点作为其匹配点赋予其三维坐标。
所述经匹配后的角点对，在前一帧中没有三维坐标的，需要使用基础矩阵和本质矩阵计算该角点的三维空间坐标。
步骤S13：对所述图像进行直线检测提取图像中的直线，根据在所述直线的领域内的角点的三维坐标信息对所述直线进行三维映射，以获得所述直线的三维坐标信息。
可选的，对所述图像利用直线检测算法进行直线检测，提取图像中的直线，根据角点对图像中的直线进行修复和合并，使用角点的三维空间信息将直线映射到三维空间中，获得直线的三维空间坐标。
可选的，步骤S13包括：使用直线检测算法对图像进行直线检测，提取二维直线；
使用二维特征点信息对图像中提取的直线进行合并与修复；
选择直线邻域内所有与其二维坐标邻近的一或多个角点，并根据所述一或多个角点的三维坐标信息使用最小二乘法直线拟合算法将所述角点合成三维空间中的直线，并映射到原二维空间的直线所在平面，将所述三维空间的直线的三维坐标信息作为原二维直线在三维空间中的坐标。
可选的，所述直线检测算法包括LSD算法、霍夫变换算法、FLD算法以及CannyLine算法中的一种或多种。
其中，所述LSD直线检测算法是一种局部检测算法，其基本原理是：以s＝0.8的尺度对输入图像进行高斯下采样；计算每一个点的梯度值以及梯度方向；根据梯度值对所有点进行伪排序，建立状态列表，所有点设置为UNUSED；将梯度值小于ρ的点状态表中相应位置设置为USED；取出列表中梯度最大(伪排列的首位)的点作为种子点(seed)，状态列表中设为USED；以seed为起点，搜索周围UNUSED并且方向在阈值[-t,t]范围内的点，状态改为USED；生成包含所有满足点的矩形；判断同性点密度是否满足阈值D，若不满足，截断(cut)R变为多个矩形框，直至满足；计算NFA；改变R使NFA的值更小直至NFA阈值，R加入输出列表。
可选的，对因为角点、直线交叉和由于光照强度偏差而造成的直线断裂，使用角点进行辅助判断，对直线进行修复，对纹理的边缘问题、光照不均匀引起的重复提取的直线进行合并。
可选的，选择直线邻域内所有与其二维坐标邻近的角点构成备用角点集，对角点集的三维坐标使用最小二乘法直线拟合算法将角点集拟合成三维空间中的直线，将三维直线映射到原二维直线所在平面，计算原二维直线和投影直线的关系，若两条直线为平行，则该映射结果正确，提取三维直线的端点坐标作为原二维直线在三维空间中的坐标。
S14：根据所述直线的三维坐标信息提取符合特征关系的直线对。
可选的，根据直线在三维空间中的特征关系，提取相交、共面、平行等具有特殊关系的直线对，具体的，根据三维直线的分布，以高度作为法向量的平面为参考，将直线分为水平方向的直线和垂直方向的直线，以直线的投影夹角在5度以内的直线均作为满足要求的直线进行分配。
对所述垂直直线集合进行遍历配对，寻找相互平行的直线对，只要直线的方向向量满足满足一定的误差，认为两直线平行。
对所述垂直直线集合和水平直线集合进行遍历，寻找水平直线的方向向量和垂直直线的方向向量共面的直线，并将找到的直线进行标记。
步骤S15：根据所述直线对以及门窗约束条件检测门窗，并确定所述门窗在所述图像中的二维坐标信息以及三维坐标信息。
可选的，步骤S15包括：根据所述门窗在三维空间的位置尺寸信息作为门窗约束条件对所述直线对进行筛选；
将符合所述门窗约束条件的直线对标记的水平方向的直线进行配对所述门窗在所述图像中的二维坐标信息以及三维坐标信息。
可选的，所述约束条件包括：门窗的位置尺寸信息；具体的，则门的重心应在距地面2米以内，窗的重心距离天花板的距离应当和距离地面的距离等距或偏大，且门窗应符合一定的集合尺寸关系。
可选的，约束条件还包括：室内环境中的最大高度。
可选的，使用所述门窗的约束条件，对垂直直线集合进行处理，删除两直线间距过小，或不满足尺存要求的直线对。
可选的，将所述满足要求的垂直方向的直线对和标记的水平方向上的直线进行融合，和补全，恢复出直选所构成的门窗的全部信息，同时合并包含等情况产生的冗余门窗信息。获得门窗的三维坐标和二维坐标。
可选的，所述方法还包括：将当前帧图像的角点的三维坐标信息对下一帧图像的角点三维坐标信息进行匹配。
可选的，根据连续多帧的相同特征点信息，对特征点三维坐标进行优化，并通过特征点匹配，计算下一帧中相同特征点的三维坐标。
可选的，根据图像中角点的信息，对连续多帧图像中的可见特征点使用图优化算法进行优化，精确角点的三维空间坐标。
可选的，将所述优化过的特征点引入下一帧的处理中，对下一帧中匹配成功的特征点，直接为其分配三维坐标值。
与上述实施例原理相似的是，本申请提供一种门窗检测系统，。
以下结合附图提供具体实施例：
如图2所示展示本申请实施例中的一种门窗检测系统的结构示意图。
所述系统包括：
采集模块21，用于采集图像；
特征点提取模块22，用于对所述图像进行特征点检测获得角点，并将在当前帧图像获取的角点以及在前一帧图像获取的角点进行匹配，以得到所述图像角点的三维坐标信息；
直线提取模块23，用于对所述图像进行直线检测提取图像中的直线，根据在所述直线的邻域内的角点的三维坐标信息对所述直线进行三维映射，以获得所述直线的三维坐标信息；
直线对提取模块24，用于根据所述直线的三维坐标信息提取符合特征关系的直线对；
门窗检测模块25，用于根据所述直线对以及门窗约束条件检测门窗，并确定所述门窗在所述图像中的二维坐标信息以及三维坐标信息。
可选的，所述采集模块21连接所述特征点提取模块22，所述特征点提取模块22连接所述直线提取模块23，所述直线提取模块23连接所述直线对提取模块24，所述直线对提取模块24连接所述门窗检测模块25。
可选的，所述采集模块21利用数据采集装置采集待检测的图像。
可选的，所述数据采集装置包括视觉传感器，其中所述视觉传感器是整个机器视觉系统信息的直接来源，主要由一个或者两个图形传感器组成，有时还要配以光投射器及其他辅助设备。视觉传感器的主要功能是获取足够的机器视觉系统要处理的最原始图像。
可选的，所述数据传感器为图像传感器，所述图像传感器可以为CCD(Charge-Coupled Device，电荷耦合器件)和CMOS(Complementary Metal-Oxide Semiconductor，金属氧化物半导体元件)两大类中的任一种。
可选的，所述图像传感器为RGB或单通道传感器。
可选的，所述采集模块21采集所述待测图像并对所述图像进行预处理。
具体的，所述预处理操作包括：对所述图像进行滤波、去噪、调整图像对比度，光照强度等。
可选的，特征点提取模块22基于特征点算法对所述图像进行特征点检测；对当前帧图像获取的角点和上一帧图像获取的角点使用特征相似度匹配算法进行匹配，获得同一角点在不同帧图像中的位置点对；根据匹配的角点的位置点对通过对极几何约束和空间几何计算所述角点的三维坐标信息。
可选的，所述特征点算法所述特征点算法包括FAST特征点检测算法、SIFT算法、SURF算法、haar算法、ORB算法中的一种或多种。
可选的，所述特征点提取模块22对检测到的角点，在其邻域范围内搜索提取的角点的数量，对于邻域内有多个特征前的情况，按照其角点的得分，保留得分较大的部分角点。
可选的，所述特征点提取模块22将检测得到的角点进行筛选，对邻域范围内的角点，选择表现好的角点，减小计算量。
可选的，若当前帧为首帧，特征点提取模块22不作其他额外过程处理；若当前帧为非首帧，所述特征点提取模块22使提取的角点需要与前一帧图像的角点进行特征匹配，获得同一角点在两帧不同图像中的坐标。
可选的，对于前一帧中已经有三维坐标的角点，为当前帧角点赋予对应角点的三维坐标，对于重复匹配的角点，所述特征点提取模块22选取匹配最佳的角点作为其匹配点赋予其三维坐标。所述经匹配后的角点对，在前一帧中没有三维坐标的，所述特征点提取模块22需要使用基础矩阵和本质矩阵计算该角点的三维空间坐标。
可选的，对所述图像利用直线检测算法进行直线检测，提取图像中的直线，根据角点对图像中的直线进行修复和合并，使用角点的三维空间信息将直线映射到三维空间中，获得直线的三维空间坐标。
可选的，所述直线提取模块23使用直线检测算法对图像进行直线检测，提取二维直线；使用二维特征点信息对图像中提取的直线进行合并与修复；选择直线邻域内所有与其二维坐标邻近的一或多个角点，并根据所述一或多个角点的三维坐标信息使用最小二乘法直线拟合算法将所述角点合成三维空间中的直线，并映射到原二维空间的直线所在平面，将所述三维空间的直线的三维坐标信息作为原二维直线在三维空间中的坐标。
可选的，所述直线检测算法包括LSD算法、霍夫变换算法、FLD算法以及CannyLine算法中的一种或多种。
可选的，所述直线提取模块23对因为角点、直线交叉和由于光照强度偏差而造成的直线断裂，使用角点进行辅助判断，对直线进行修复，对纹理的边缘问题、光照不均匀引起的重复提取的直线进行合并。
可选的，所述直线提取模块23选择直线邻域内所有与其二维坐标邻近的角点构成备用角点集，对角点集的三维坐标使用最小二乘法直线拟合算法将角点集拟合成三维空间中的直线，将三维直线映射到原二维直线所在平面，计算原二维直线和投影直线的关系，若两条直线为平行，则该映射结果正确，提取三维直线的端点坐标作为原二维直线在三维空间中的坐标。
可选的，直线对提取模块24根据直线在三维空间中的特征关系，提取相交、共面、平行等具有特殊关系的直线对，具体的，根据三维直线的分布，以高度作为法向量的平面为参考，将直线分为水平方向的直线和垂直方向的直线，以直线的投影夹角在5度以内的直线均作为满足要求的直线进行分配。对所述垂直直线集合进行遍历配对，寻找相互平行的直线对，只要直线的方向向量满足一定的误差，认为两直线平行。对所述垂直直线集合和水平直线集合进行遍历，寻找水平直线的方向向量和垂直直线的方向向量共面的直线，并将找到的直线进行标记。
可选的，所述门窗检测模块25根据所述门窗在三维空间的位置尺寸信息作为门窗约束条件对所述直线对进行筛选；将符合所述门窗约束条件的直线对标记的水平方向的直线进行配对所述门窗在所述图像中的二维坐标信息以及三维坐标信息。
可选的，所述约束条件包括：门窗的位置尺寸信息；具体的，则门的重心应在距地面2米以内，窗的重心距离天花板的距离应当和距离地面的距离等距或偏大，且门窗应符合一定的集合尺寸关系。
可选的，约束条件还包括：室内环境中的最大高度。
可选的，所述门窗检测模块25使用所述门窗的约束条件，对垂直直线集合进行处理，删除两直线间距过小，或不满足尺存要求的直线对。
可选的，所述门窗检测模块25将所述满足要求的垂直方向的直线对和标记的水平方向上的直线进行融合，和补全，恢复出直选所构成的门窗的全部信息，同时合并包含等情况产生的冗余门窗信息。获得门窗的三维坐标和二维坐标。
可选的，所述系统还包括：优化特征点模块，连接所述门窗检测模块，用于将当前帧图像的角点的三维坐标信息对下一帧图像的角点三维坐标信息进行匹配。
可选的，所述优化特征点模块根据连续多帧的相同特征点信息，对特征点三维坐标进行优化，并通过特征点匹配，计算下一帧中相同特征点的三维坐标。
可选的，所述优化特征点模块根据图像中角点的信息，对连续多帧图像中的可见特征点使用图优化算法进性优化，精确角点的三维空间坐标。
可选的，所述优化特征点模块将所述优化过的特征点引入下一帧的处理中，对下一帧中匹配成功的特征点，直接为其分配三维坐标值。
如图3所示，展示本申请实施例中的门窗检测终端30的结构示意图。
所述门窗检测终端30包括：存储器31及处理器32所述存储器31用于存储计算机程序；所述处理器32运行计算机程序实现如图1所述的门窗检测方法。
可选的，所述存储器31的数量均可以是一或多个，所述处理器32的数量均可以是一或多个，所而图3中均以一个为例。
可选的，所述门窗检测终端30中的处理器32会按照如图1述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器31中，并由处理器32来运行存储在存储器31中的应用程序，从而实现如图1所述门窗检测方法中的各种功能。
可选的，所述存储器31，可能包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备；所述处理器31，可能包括但不限于中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选的，所述处理器32可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请还提供计算机可读存储介质，存储有计算机程序，所述计算机程序运行时实现如图1所示的门窗检测方法。所述计算机可读存储介质可包括，但不限于，软盘、光盘、CD-ROM(只读光盘存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。所述计算机可读存储介质可以是未接入计算机设备的产品，也可以是已接入计算机设备使用的部件。
综上所述，本申请门窗检测方法、系统、终端以及介质，解决现有技术中门窗的检测识别方法还没有合理和具体的实现方法和系统架构的问题，本申请提供门窗检测方法，提出了室内场景理解中对门窗识别的系统方案和具体实现方法，在室内场景下，能够快速有效的检测出门窗，并提供门窗的三维空间坐标和二维图像坐标，提高门窗检测的效率。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。
Claims (10)
1.一种门窗检测方法，其特征在于，所述方法包括：
采集待检测的图像；
对所述图像进行特征点检测获得角点，并将在当前帧图像获取的角点以及在前一帧图像获取的角点进行匹配，以得到所述图像角点的三维坐标信息；
对所述图像进行直线检测提取图像中的直线，根据在所述直线的邻域内的角点的三维坐标信息对所述直线进行三维映射，以获得所述直线的三维坐标信息；
根据所述直线的三维坐标信息提取符合特征关系的直线对；
根据所述直线对以及门窗约束条件检测门窗，并确定所述门窗在所述图像中的二维坐标信息以及三维坐标信息。
2.根据权利要求1所述的门窗检测方法，其特征在于，对所述图像进行特征点检测获得角点，并将在当前帧图像获取的角点以及在前一帧图像获取的角点进行匹配，以得到所述图像角点的三维坐标信息的方式包括：
基于特征点算法对所述图像进行特征点检测；
对当前帧图像获取的角点和上一帧图像获取的角点使用特征相似度匹配算法进行匹配，获得同一角点在不同帧图像中的位置点对；
根据匹配的角点的位置点对计算所述角点的三维坐标信息。
3.根据权利要求2所述的门窗检测方法，其特征在于，所述特征点算法包括FAST特征点检测算法、SIFT算法、SURF算法、haar算法、ORB算法中的一种或多种。
4.根据权利要求1所述的门窗检测方法，其特征在于，对所述图像进行直线检测提取图像中的直线，根据在所述直线的邻域内的角点的三维坐标信息对所述直线进行三维映射，以获得所述直线的三维坐标信息的方式包括：
使用直线检测算法对图像进行直线检测，提取二维直线；
使用二维特征点信息对图像中提取的直线进行合并与修复；
选择直线邻域内所有与其二维坐标邻近的一或多个角点，并根据所述一或多个角点的三维坐标信息使用最小二乘法直线拟合算法将所述角点合成三维空间中的直线，并映射到原二维空间的直线所在平面，将所述三维空间的直线的三维坐标信息作为原二维直线在三维空间中的坐标。
5.根据权利要求1所述的门窗检测方法，其特征在于，根据所述直线的三维坐标信息提取符合特征关系的直线对的方式包括：
根据所述直线的三维坐标信息提取符合相交、共面、平行的直线对。
6.根据权利要求1所述的门窗检测方法，其特征在于，根据所述直线对以及门窗约束条件检测门窗，并确定所述门窗在所述图像中的二维坐标信息以及三维坐标信息的方式包括：
根据所述门窗在三维空间的位置尺寸信息作为门窗约束条件对所述直线对进行筛选；
将符合所述门窗约束条件的直线对标记的水平方向的直线进行配对所述门窗在所述图像中的二维坐标信息以及三维坐标信息。
7.根据权利要求1所述的门窗检测方法，其特征在于，所述方法还包括：将当前帧图像的角点的三维坐标信息对下一帧图像的角点三维坐标信息进行匹配。
8.一种门窗检测系统，其特征在于，包括：
采集模块，用于采集图像；
特征点提取模块，用于对所述图像进行特征点检测获得角点，并将在当前帧图像获取的角点以及在前一帧图像获取的角点进行匹配，以得到所述图像角点的三维坐标信息；
直线提取模块，用于对所述图像进行直线检测提取图像中的直线，根据在所述直线的邻域内的角点的三维坐标信息对所述直线进行三维映射，以获得所述直线的三维坐标信息；
直线对提取模块，用于根据所述直线的三维坐标信息提取符合特征关系的直线对；
门窗检测模块，用于根据所述直线对以及门窗约束条件检测门窗，并确定所述门窗在所述图像中的二维坐标信息以及三维坐标信息。
9.一种门窗检测终端，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于运行所述计算机程序，以执行如权利要求1至7中任一项所述的门窗检测方法。
10.一种计算机存储介质，其特征在于，存储有计算机程序，所述计算机程序运行时实现如权利要求1至7中任一项所述的门窗检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010807185.2A CN111986169A (zh) | 2020-08-12 | 2020-08-12 | 门窗检测方法、系统、终端以及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010807185.2A CN111986169A (zh) | 2020-08-12 | 2020-08-12 | 门窗检测方法、系统、终端以及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111986169A true CN111986169A (zh) | 2020-11-24 |
Family
ID=73433898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010807185.2A Pending CN111986169A (zh) | 2020-08-12 | 2020-08-12 | 门窗检测方法、系统、终端以及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111986169A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112530005A (zh) * | 2020-12-11 | 2021-03-19 | 埃洛克航空科技（北京）有限公司 | 一种三维模型直线结构识别与自动修复方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104899918A (zh) * | 2015-05-14 | 2015-09-09 | 深圳大学 | 一种无人机的三维环境建模方法及系统 |
| CN106504288A (zh) * | 2016-10-24 | 2017-03-15 | 北京进化者机器人科技有限公司 | 一种基于双目视觉目标检测的家居环境下门定位方法 |
| CN106570507A (zh) * | 2016-10-26 | 2017-04-19 | 北京航空航天大学 | 单目视频场景三维结构的多视角一致的平面检测解析方法 |
| CN107481315A (zh) * | 2017-06-29 | 2017-12-15 | 重庆邮电大学 | 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法 |
| JP2018041142A (ja) * | 2016-09-05 | 2018-03-15 | 国立大学法人 東京大学 | 矩形領域検出方法、矩形領域検出装置及びプログラム |
| US9978149B1 (en) * | 2015-04-20 | 2018-05-22 | Hrl Laboratories, Llc | System and method for door detection for corridor exploration |
| CN108182383A (zh) * | 2017-12-07 | 2018-06-19 | 浙江大华技术股份有限公司 | 一种车窗检测的方法及设备 |
-
2020
- 2020-08-12 CN CN202010807185.2A patent/CN111986169A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9978149B1 (en) * | 2015-04-20 | 2018-05-22 | Hrl Laboratories, Llc | System and method for door detection for corridor exploration |
| CN104899918A (zh) * | 2015-05-14 | 2015-09-09 | 深圳大学 | 一种无人机的三维环境建模方法及系统 |
| JP2018041142A (ja) * | 2016-09-05 | 2018-03-15 | 国立大学法人 東京大学 | 矩形領域検出方法、矩形領域検出装置及びプログラム |
| CN106504288A (zh) * | 2016-10-24 | 2017-03-15 | 北京进化者机器人科技有限公司 | 一种基于双目视觉目标检测的家居环境下门定位方法 |
| CN106570507A (zh) * | 2016-10-26 | 2017-04-19 | 北京航空航天大学 | 单目视频场景三维结构的多视角一致的平面检测解析方法 |
| CN107481315A (zh) * | 2017-06-29 | 2017-12-15 | 重庆邮电大学 | 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法 |
| CN108182383A (zh) * | 2017-12-07 | 2018-06-19 | 浙江大华技术股份有限公司 | 一种车窗检测的方法及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 陈祥;: "基于计算机视觉的自主导航机器人门检测算法", 计算机仿真, no. 06, pages 163 - 167 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112530005A (zh) * | 2020-12-11 | 2021-03-19 | 埃洛克航空科技（北京）有限公司 | 一种三维模型直线结构识别与自动修复方法 |
| CN112530005B (zh) * | 2020-12-11 | 2022-10-18 | 埃洛克航空科技（北京）有限公司 | 一种三维模型直线结构识别与自动修复方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9846946B2 (en) | Objection recognition in a 3D scene | |
| Bogoslavskyi et al. | Efficient online segmentation for sparse 3D laser scans | |
| CN110414507B (zh) | 车牌识别方法、装置、计算机设备和存储介质 | |
| CN109978839B (zh) | 晶圆低纹理缺陷的检测方法 | |
| JP5775225B2 (ja) | マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出 | |
| CN108875723B (zh) | 对象检测方法、装置和系统及存储介质 | |
| CN109961399B (zh) | 基于图像距离变换的最佳缝合线搜寻方法 | |
| CN107123188B (zh) | 基于模板匹配算法和边缘特征的伤票识别与定位方法 | |
| CN109658454B (zh) | 一种位姿信息确定方法、相关装置及存储介质 | |
| JP5538868B2 (ja) | 画像処理装置、その画像処理方法及びプログラム | |
| GB2543749A (en) | 3D scene rendering | |
| CN110473221B (zh) | 一种目标物体自动扫描系统及方法 | |
| CN109559324A (zh) | 一种线阵图像中的目标轮廓检测方法 | |
| US20210350115A1 (en) | Methods and apparatus for identifying surface features in three-dimensional images | |
| CN111046950A (zh) | 一种图像处理方法、装置、存储介质和电子装置 | |
| Recky et al. | Façade segmentation in a multi-view scenario | |
| Recky et al. | Window detection in complex facades | |
| CN104715250A (zh) | 十字激光检测方法和装置 | |
| CN111986169A (zh) | 门窗检测方法、系统、终端以及介质 | |
| CN111354038A (zh) | 锚定物检测方法及装置、电子设备及存储介质 | |
| CN112101139B (zh) | 人形检测方法、装置、设备及存储介质 | |
| CN113255405B (zh) | 车位线识别方法及其系统、车位线识别设备、存储介质 | |
| CN112017218A (zh) | 一种图像配准方法、装置、电子设备及存储介质 | |
| Arefi et al. | Ridge based decomposition of complex buildings for 3D model generation from high resolution digital surface models | |
| CN114581890B (zh) | 确定车道线的方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |