CN107369150B - 一种检测矩形目标的方法及矩形目标检测装置 - Google Patents

一种检测矩形目标的方法及矩形目标检测装置 Download PDF

Info

Publication number
CN107369150B
CN107369150B CN201610316544.8A CN201610316544A CN107369150B CN 107369150 B CN107369150 B CN 107369150B CN 201610316544 A CN201610316544 A CN 201610316544A CN 107369150 B CN107369150 B CN 107369150B
Authority
CN
China
Prior art keywords
candidate
rectangle
length
angles
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610316544.8A
Other languages
English (en)
Other versions
CN107369150A (zh
Inventor
张毅飞
王晓霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201610316544.8A priority Critical patent/CN107369150B/zh
Publication of CN107369150A publication Critical patent/CN107369150A/zh
Application granted granted Critical
Publication of CN107369150B publication Critical patent/CN107369150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Abstract

本发明提供了一种检测矩形目标的方法及矩形目标检测装置。本发明基于二值图像的轮廓,拟合得到多边形,并利用矩形目标的相邻夹角以及所夹边长的特征进行目标矩形的检测。由于目标矩形是基于相邻夹角和所夹边长进行检测的,即使目标矩形的部分边或部分顶点被遮挡,粘连或者损坏,只要能够检测到两个相邻夹角和所夹边,本发明实施例上述方法均能确定出该目标矩形,因此以上方法能够有效的检测出矩形目标,提高矩形目标检测的鲁棒性。

Description

一种检测矩形目标的方法及矩形目标检测装置
技术领域
本发明涉及数字图像处理中的目标检测、识别及定位领域,具体涉及一种检测矩形目标的方法及矩形目标检测装置。
背景技术
在数字图像处理领域中,经常需要对特定目标进行检测、识别及定位处理。常见的目标包括矩形目标。目前,矩形目标的检测方法通常可以分为两大类,第一类是基于角点检测的方法,第二类是基于直线检测的矩形检测方法。
上述的检测方法,通常不能解决矩形目标相互遮挡和粘连的问题,有些方法甚至默认为被检测目标是完整且相互分离的。然而,在实际应用中,经常会出现矩形目标相互遮挡和粘连的场景,因此上述方法不能很好的检测出上述场景中的矩形目标。
发明内容
本发明实施例要解决的技术问题是提供一种检测矩形目标的方法及矩形目标检测装置,提高矩形目标检测的鲁棒性。
为解决上述技术问题,本发明实施例提供的检测矩形目标的方法,包括:
对输入图像进行二值化处理,获得二值图像;
提取二值图像的轮廓,并计算每个轮廓的拟合多边形;
针对每一个拟合多边形,根据该拟合多边形的相邻两个内角及该相邻两个内角所夹的边长,是否与待检测目标矩形相匹配,确定出候选矩形,得到候选矩形集合;
确定所述候选矩形集合中重复的候选矩形,并从所述候选矩形集合中删除;
将所述候选矩形集合中的候选矩形作为矩形目标进行输出。
优选的,上述方法中,
所述根据该拟合多边形的相邻两个内角及该相邻两个内角所夹的边长,是否与待检测目标矩形相匹配,确定出候选矩形的步骤,包括:
计算该拟合多边形的各内角的角度和各边的长度;
检测出所有的满足一预设条件的相邻内角,所述预设条件为:相邻内角均接近于直角,且该相邻内角所夹的边长接近于待检测目标矩形的长边或短边的长度;
根据检测出的相邻内角及其所夹的边长,确定出候选矩形。
优选的,上述方法中,所述根据检测出的相邻内角及其所夹边的边长,确定出候选矩形的步骤,包括:
以相邻内角的2个顶点,作为候选矩形的2个顶点;
在相邻内角的非共线的2条边上,分别确定出与内角顶点距离为预定长度的点,得到候选矩形的另外2个顶点,其中,在该相邻内角所夹的边长接近于所述长边的长度时,所述预定长度为所述短边的长度,在该相邻内角所夹的边长接近于所述短边的长度时,所述预定长度为所述长边的长度;
根据所获得的候选矩形的4个顶点,确定出候选矩形。
优选的,上述方法中,相邻内角均接近于直角是指:相邻内角与直角的角度差均处于第一预设范围内;该相邻内角所夹的边长接近于待检测目标矩形的长边或短边的长度是指:该相邻内角所夹的边长,与待检测目标矩形的长边或短边的长度的差值,处于第二预设范围内。
优选的,上述方法中,所述确定所述候选矩形集合中重复的候选矩形,并从所述候选矩形集合中删除的步骤,包括:
计算所述候选矩形集合中任意两个候选矩形的重叠程度;
在所述重叠程度大于一预设阈值时,删除所述任意两个候选矩形中的一个。
优选的,上述方法中,所述删除所述任意两个候选矩形中的一个为:删除所述任意两个候选矩形中面积较小的一个。
优选的,上述方法中,在所述将所述候选矩形集合中的候选矩形作为矩形目标进行输出的步骤之前,还包括:
针对所述候选矩形集合中的每一个候选矩形,分别执行以下修正处理:
根据该候选矩形,构造二值模板,所述二值模板与输入图像大小相同,且所述二值模板中,该候选矩形的内部区域所对应的像素点灰度置1,该候选矩形的外部区域所对应的像素点灰度置0;
对二值模板进行膨胀,将膨胀后的二值模板覆盖在输入图像上,并将输入图像中被二值模板的灰度为0的像素覆盖的所有像素点的灰度值均置0;
计算所述输入图像中所有灰度值不为0的非零像素的最小包围矩形,将该最小包围矩形作为该候选矩形修正后的最终结果。
本发明实施例孩子提供了一种矩形目标检测装置,包括:
二值化处理单元,用于对输入图像进行二值化处理,获得二值图像;
拟合单元,用于提取二值图像的轮廓,并计算每个轮廓的拟合多边形;
候选矩形确定单元,用于针对每一个拟合多边形,根据该拟合多边形的相邻两个内角及该相邻两个内角所夹的边长,是否与待检测目标矩形相匹配,确定出候选矩形,得到候选矩形集合;
删除单元,用于确定所述候选矩形集合中重复的候选矩形,并从所述候选矩形集合中删除;
输出单元,用于将所述候选矩形集合中的候选矩形作为矩形目标进行输出。
优选的,上述矩形目标检测装置中,所述候选矩形确定单元包括:
计算单元,用于计算该拟合多边形的各内角的角度和各边的长度;
检测单元,用于检测出所有的满足一预设条件的相邻内角,所述预设条件为:相邻内角均接近于直角,且该相邻内角所夹的边长接近于待检测目标矩形的长边或短边的长度;
确定单元,用于根据检测出的相邻内角及其所夹的边长,确定出候选矩形。
优选的,上述矩形目标检测装置中,所述确定单元,具体用于:以相邻内角的2个顶点,作为候选矩形的2个顶点;在相邻内角的非共线的2条边上,分别确定出与内角顶点距离为预定长度的点,得到候选矩形的另外2个顶点,其中,在该相邻内角所夹的边长接近于所述长边的长度时,所述预定长度为所述短边的长度,在该相邻内角所夹的边长接近于所述短边的长度时,所述预定长度为所述长边的长度;根据所获得的候选矩形的4个顶点,确定出候选矩形。
优选的,上述矩形目标检测装置中,所述删除单元,具体用于:计算所述候选矩形集合中任意两个候选矩形的重叠程度;在所述重叠程度大于一预设阈值时,删除所述任意两个候选矩形中的一个。
优选的,上述矩形目标检测装置还包括:
修正处理单元,用于针对所述候选矩形集合中的每一个候选矩形,分别执行以下修正处理:根据该候选矩形,构造二值模板,所述二值模板与输入图像大小相同,且所述二值模板中,该候选矩形的内部区域所对应的像素点灰度置1,该候选矩形的外部区域所对应的像素点灰度置0;对二值模板进行膨胀,将膨胀后的二值模板覆盖在输入图像上,并将输入图像中被二值模板的灰度为0的像素覆盖的所有像素点的灰度值均置0;计算所述输入图像中所有灰度值不为0的非零像素的最小包围矩形,将该最小包围矩形作为该候选矩形修正后的最终结果。
与现有技术相比,本发明实施例提供的检测矩形目标的方法及矩形目标检测装置,其目标矩形是基于相邻夹角和所夹边长进行检测的,因此即使目标矩形的部分边或部分顶点被遮挡,粘连或者损坏,只要能够检测到两个相邻夹角和所夹边,本发明实施例均能确定出该目标矩形,因此本发明实施例能够有效的检测出矩形目标,提高矩形目标检测的鲁棒性,扩大矩形目标检测的适用场景,改善用户的使用体验。另外,本发明实施例还在输出矩形目标前,对候选矩形进行修正,从而在拟合多边形不能精确匹配输入图像边缘时,能够获得更好的目标检测结果。
附图说明
图1为本发明实施例提供的一种检测矩形目标的方法的流程示意图;
图2为本发明实施例的步骤13的流程示意图;
图3为本发明实施例提供的另一种检测矩形目标的方法的流程示意图;
图4为本发明实施例的步骤25的流程示意图;
图5a为本发明实施例提供的一个输入图像的示意图;
图5b为本发明实施例提供的输入图像的拟合多边形的示意图;
图5c为本发明实施例提供的对拟合多边形的边和角进行编号的示意图;
图5d为本发明实施例提供的拟合多边形中的矩形目标示意图;
图5e和图5f为本发明实施例提供的矩形目标修正处理前后的示意图;
图6为本发明实施例提供的矩形目标检测装置的一种功能结构示意图;
图7为本发明实施例的候选矩形确定单元63的结构示意图;
图8为本发明实施例提供的矩形目标检测装置的一种硬件结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。在下面的描述中,提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此,本领域技术人员应该清楚,可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外,为了清楚和简洁,省略了对已知功能和构造的描述。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中,应理解,下述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
本发明实施例提出了一种检测矩形目标的方法,该方法可以应用于图像处理领域,能够在矩形目标存在互相遮挡,粘连或者部分损坏的情况下实现稳定可靠的矩形检测。请参照图1,本发明实施例提供的检测矩形目标的方法,包括以下步骤:
步骤11,对输入图像进行二值化处理,获得二值图像。
这里,可以根据输入图像的前景区域和背景区域的灰度差别,确定灰度阈值,然后根据输入图像的像素的灰度值是否大于所述灰度阈值,设置二值图像中对应像素的灰度值为1或0,构造得到二值图像。另外,本发明实施例的输入图像可以是深度图像。
步骤12,提取二值图像的轮廓,并计算每个轮廓的拟合多边形。
这里,可以通过连通区域分析,获得二值图像中的连通区域,例如采用8邻域标记算法进行连通区域分析;对每个连通区域,采用轮廓跟踪算法,检测得到该连通区域的轮廓;然后,采用预定的拟合算法,检测获得各个轮廓的拟合多边形,例如采用Ramer-Douglas-Peucker算法检测每一个轮廓的拟合多边形。
步骤13,针对每一个拟合多边形,根据该拟合多边形的相邻两个内角及该相邻两个内角所夹的边长,是否与待检测目标矩形相匹配,确定出候选矩形,得到候选矩形集合。
步骤14,确定所述候选矩形集合中重复的候选矩形,并从所述候选矩形集合中删除。
这里,按照步骤13的检测方式,同一个矩形可能被多次检测到,导致候选矩形集合中可能存在重复的矩形,因此,对重复的矩形进行剔除。具体的,可以通过计算所述候选矩形集合中任意两个候选矩形的重叠程度;然后,在所述重叠程度大于一预设阈值时,删除所述任意两个候选矩形中的一个。作为一种优选方式,为保留更多的有效信息,这里可以删除所述任意两个候选矩形中面积较小的一个,而保留其中面积较大的另一个。
步骤15,将所述候选矩形集合中的候选矩形作为矩形目标进行输出。
这里,在步骤15中,将所述候选矩形集合中的候选矩形作为检测到的矩形目标进行输出。输出的候选矩形可以用矩形的4个顶点的坐标来表征,当然,也可以通过其他形式来表征。例如,可以利用候选矩形的中心点、长边及短边的长度及方向来表征,等等。
本发明实施例的以上方法中,基于二值图像的轮廓,拟合得到多边形,并利用矩形目标的特征(相邻夹角以及所夹边长)进行目标矩形的检测。由于目标矩形是基于相邻夹角和所夹边长进行检测的,即使目标矩形的部分边或部分顶点被遮挡,粘连或者损坏,只要能够检测到两个相邻夹角和所夹边,本发明实施例上述方法均能确定出该目标矩形,因此以上方法能够有效的检测出矩形目标。
当然,考虑到正方形也是一种特殊的矩形,其长边和宽边的长度相等,因此如果待检测目标矩形为一正方形,其判断方式依然相同。
本发明实施例的上述步骤13中,根据拟合多边形的相邻两个内角及该相邻两个内角所夹的边长,是否与待检测目标矩形相匹配,选择出潜在的候选矩形。如图2所示,上述步骤13具体可以包括:
步骤131,对每一个拟合多边形,计算该拟合多边形的各内角大小及各边的长度。
这里,边的长度和夹角大小均可以从对应的深度图像中提取并计算得到,这里将不再展开说明。
步骤132,检测出所有的满足一预设条件的相邻内角,所述预设条件为:相邻内角均接近于直角,且该相邻内角所夹的边长接近于待检测目标矩形的长边或短边的长度。
具体的,相邻内角均接近于直角是指:相邻内角与直角的角度差均处于第一预设范围内,例如内角角度值在80°~100°之间,与90°的直角的差值在10°以内时,认为内角接近于直角。
该相邻内角所夹的边长接近于待检测目标矩形的长边或短边的长度是指:该相邻内角所夹的边长,与待检测目标矩形的长边或短边的长度的差值,处于第二预设范围内。第二预设范围可以根据待检测目标矩形的边长与一比例的乘积来设置,例如当待检测目标矩形的边长较大时,该第二预设范围可以设置的较大一些;相反的,当上述比例设置为5%时,当上述差值不超过(5%×长边或短边的边长)时,则认为相邻内角所夹的边长接近于待检测目标矩形的长边或短边的长度。
步骤133,在检测出满足上述预设条件的相邻内角后,可以根据该相邻内角及其所夹边的边长,确定出候选矩形。
具体的,可以以相邻内角的2个顶点,作为候选矩形的2个顶点;在相邻内角的非共线的2条边上,分别确定出与内角顶点距离为预定长度的点,得到候选矩形的另外2个顶点,其中,在该相邻内角所夹的边长接近于所述长边的长度时,所述预定长度为所述短边的长度,在该相邻内角所夹的边长接近于所述短边的长度时,所述预定长度为所述长边的长度;根据所获得的候选矩形的4个顶点,确定出候选矩形。
在上述步骤14中,重复的候选矩形可以按照基于两个矩形的重叠程度来确定。所述重叠程度反映了两个候选矩形的重叠面积相对于候选矩形面积的比例,这里的候选矩形面积可以是该两个候选矩形中的任一者的面积,或者两者的平均面积,甚至还可以是两者的面积之和,等等。相应的,重叠程度Rs的计算方式有以下多种形式,如以下公式(1)(2)等:
Figure BDA0000988385040000081
Figure BDA0000988385040000082
上述公式中,SR1、SR2分别表示两个候选矩形的面积,S0表示两个候选矩形的面积的重叠面积。当重叠程度大于一个预设的阈值(如80%、90%、95%或其他数值)时,可以认为两个候选矩形为同一矩形。
本发明实施例的候选矩形的检测,是基于二值图像的轮廓拟合得到的多边形进行的。由于二值化和拟合处理会损伤部分有效信息,导致有效像素点被舍弃。为了对上述损伤进行弥补,使候选矩形包含有更多有用的像素点,本发明实施例在将所述候选矩形集合中的候选矩形作为矩形目标进行输出之前,还可以对所述候选矩形集合中的每一个候选矩形执行修正处理。请参照图3所示,本发明实施例提供的另一种检查矩形目标的方法,包括以下步骤:
步骤21,对输入图像进行二值化处理,获得二值图像。
步骤22,提取二值图像的轮廓,并计算每个轮廓的拟合多边形。
步骤23,针对每一个拟合多边形,根据该拟合多边形的相邻两个内角及该相邻两个内角所夹的边长,是否与待检测目标矩形相匹配,确定出候选矩形,得到候选矩形集合。
步骤24,确定所述候选矩形集合中重复的候选矩形,并从所述候选矩形集合中删除。
以上步骤21~23与前文中的步骤11~13类似,为节约篇幅,此处不再赘述。
步骤25,针对所述候选矩形集合中的每一个候选矩形,分别进行修正处理。
这里,具体的修正处理如图4所示,可以包括以下步骤:
步骤251,根据该候选矩形,构造二值模板,所述二值模板与输入图像大小相同,且所述二值模板中,该候选矩形的内部区域所对应的像素点灰度置1,该候选矩形的外部区域所对应的像素点灰度置0。
步骤252,对二值模板进行膨胀,将膨胀后的二值模板覆盖在输入图像上,并将输入图像中被二值模板的灰度为0的像素覆盖的所有像素点的灰度值均置0。
这里,膨胀操作后,将二值模板覆盖在输入图像上,使二值模板中的候选矩形区域与输入图像中的候选矩形区域的中心点对齐,且两者的矩形方向相同。这样,膨胀后的候选矩形区域,相对于输入图像中的候选矩形,具有更大的面积。膨胀操作可以按照现有技术的方式实现,其膨胀比例不宜过大。
步骤253,计算所述输入图像中所有灰度值不为0的非零像素的最小包围矩形,将该最小包围矩形作为该候选矩形修正后的最终结果。
通过以上步骤,对所述候选矩形集合中的每一个候选矩形进行修正,从而对获得修正后的候选矩形集合,从而在拟合多边形不能精确匹配输入图像边缘时,能够获得更好的目标检测结果。
步骤26,将所述候选矩形集合中经修正处理后的候选矩形,作为矩形目标进行输出。
可以看出,本发明上述实施例在二值化处理的基础上,首先计算输入图像的轮廓及拟合多边形,然后判定拟合多边形相邻的角是否满足矩形判定规则:如果两个相邻角都是直角且其所夹的边长等于矩形目标的一条边的长度,则可以判定一个矩形候选目标,进而通过重复候选矩形的剔除和修正处理,确定最终候选矩形。
下面将进一步结合具体示例,对本发明实施例作更为详细的描述。
按照本发明实施例的方法,候选矩形提取过程包括以下步骤:
(a)对每一个的拟合多边形,按照顺时针或逆时针的顺序,对各个顶点依次记为Pn,对应的内角记An,边标记为Ln,这里假设拟合多边形包括有N个顶点。它们之间的相互关系定义如下公式(3)(4)所示:
Figure BDA0000988385040000091
Figure BDA0000988385040000101
上式中,|·|表示两个点的距离,∠(·)表示两个向量的夹角。
图5a所示为一个输入图像的示例,图5b则是经过二值化和多边形拟合处理后该输入图像的拟合多边形。图5c则进一步给出了拟合多边形的按照上述方式进行编号后的所有顶点编号0~17,还示意性的给出了其中几个内角,如A6、A7和A8。
(b)对任意两个相邻顶点Pn和Pn+1,根据以下判决条件确定候选矩形目标:
Figure BDA0000988385040000102
或者
Figure BDA0000988385040000103
上式中,Llength为目标矩形的长边长度,Lwidth为目标矩形的短边长度。上述公式(5)表示两个内角所夹边长Ln与待检测目标矩形的长边长度的差值处于一个预设范围内,且该两个内角与直角的差值也均在另一个预设范围内。上述公式(6)则表示两个内角所夹边长Ln与待检测目标矩形的短长度的差值处于一个预设范围内,且该两个内角与直角的差值也均在另一个预设范围内。
(c)如果顶点Pn和Pn+1满足以上判决条件,则此时得到一个候选矩形目标。
如果LLength*(1-εL)≤Ln≤Llength*(1+εL),则候选矩形的4个顶点定义如下:
1)Pn和Pn+1为候选矩形的2个顶点;
2)在
Figure BDA0000988385040000104
方向上,距离Pn长度为Lwidth的点为候选目标的第3个点;
3)在
Figure BDA0000988385040000105
方向上,距离Pn+1长度为Lwidth的点为候选目标的第4个点。
如果Lwidth*(1-εL)≤Ln≤Lwidth*(1+εL),则候选矩形的4个顶点定义如下:
1)Pn和Pn+1为候选矩形的2个顶点;
2)在
Figure BDA0000988385040000111
方向上,距离Pn长度为Llength的点为候选目标的第3个点;
3)在
Figure BDA0000988385040000112
方向上,距离Pn+1长度为Llength的点为候选目标的第4个点。
(d)以上得到的矩形作为候选目标。查找所有相邻顶点以提取候选矩形目标,示例如图5d所示。
(e)按照以上步骤获得候选矩形。由于一个矩形目标可以会对应多个相互重叠的候选矩形。例如,图5d中的基于顶点P6和P7能够检测到一个候选矩形,基于顶点P7和P8也能够检测到一个候选矩形。这两个候选矩形为相互重叠的候选矩形。因此可以计算任意两个候选矩形之间的重叠程度,删除重叠的候选矩形中面积较小的矩形。
(f)在上述步骤(e)之后,对候选矩形集合中的候选矩形进行修正,具体的:针对每一个候选矩形,构造与输入图像同样大小的二值模板。在该二值模板中,候选矩形内部像素点灰度置为1,候选矩形目标外部像素点灰度置为0。然后对二值模板进行膨胀操作,并将膨胀后的二值模板覆盖在输入图像上。对于输入图像的每一个像素点,如果该像素点被二值模板灰度为0的像素覆盖,则将该像素点置为0,对于输入图像中的未被二值模板灰度为0的像素覆盖的像素点,则保持其灰度不变。然后,计算输入图像中所有非零像素的最小包围矩形作为候选矩形的最终形式。图5e示出了上述修正前的候选矩形,图5f则示出了经上述修正处理后的候选矩形。可以看出,图5f中矩形区域面积相对于图5e的矩形区域面积要大,包括了更多的有效信息。
可以看出,本发明实施例的检测矩形目标的方法,仅依靠矩形的相邻夹角和所夹边长,就可以检测出输入图像中的矩形目标,提高了矩形检测的鲁棒性,特别适用于目标遮挡、粘连和损坏等应用场景。
本发明实施例还提供了一种矩形目标检测装置,如图6所示,该矩形目标检测装置60包括:
二值化处理单元61,用于对输入图像进行二值化处理,获得二值图像;
拟合单元62,用于提取二值图像的轮廓,并计算每个轮廓的拟合多边形;
候选矩形确定单元63,用于针对每一个拟合多边形,根据该拟合多边形的相邻两个内角及该相邻两个内角所夹的边长,是否与待检测目标矩形相匹配,确定出候选矩形,得到候选矩形集合;
删除单元64,用于确定所述候选矩形集合中重复的候选矩形,并从所述候选矩形集合中删除;
输出单元65,用于将所述候选矩形集合中的候选矩形作为矩形目标进行输出。
本发明实施例中,上述二值化处理单元61,具体用于:根据输入图像的前景区域和背景区域的灰度差别,确定灰度阈值;根据输入图像的像素的灰度值是否大于所述灰度阈值,设置二值图像中对应像素的灰度值为1或0,构造得到二值图像。
上述拟合单元62,具体用于:通过连通区域分析,获得二值图像中的连通区域;对每个连通区域,采用轮廓跟踪算法,检测得到该连通区域的轮廓;采用预定算法,检测获得各个轮廓的拟合多边形。
本发明实施例中,根据矩形两个相邻夹角及其所夹边长是否与待检测目标矩形相匹配,以确定候选矩形。如图7所示,所述候选矩形确定单元63包括:
计算单元631,用于计算该拟合多边形的各内角的角度和各边的长度;
检测单元632,用于检测出所有的满足一预设条件的相邻内角,所述预设条件为:相邻内角均接近于直角,且该相邻内角所夹的边长接近于待检测目标矩形的长边或短边的长度;
确定单元633,用于根据检测出的相邻内角及其所夹的边长,确定出候选矩形。
优选的,上述确定单元633,具体用于:以相邻内角的2个顶点,作为候选矩形的2个顶点;在相邻内角的非共线的2条边上,分别确定出与内角顶点距离为预定长度的点,得到候选矩形的另外2个顶点,其中,在该相邻内角所夹的边长接近于所述长边的长度时,所述预定长度为所述短边的长度,在该相邻内角所夹的边长接近于所述短边的长度时,所述预定长度为所述长边的长度;根据所获得的候选矩形的4个顶点,确定出候选矩形。
这里,相邻内角均接近于直角是指:相邻内角与直角的角度差均处于第一预设范围内;该相邻内角所夹的边长接近于待检测目标矩形的长边或短边的长度是指:该相邻内角所夹的边长,与待检测目标矩形的长边或短边的长度的差值,处于第二预设范围内。
由于检测出的候选矩形可能包括有重复的矩形,因此所述删除单元64,具体用于:计算所述候选矩形集合中任意两个候选矩形的重叠程度;在所述重叠程度大于一预设阈值时,删除所述任意两个候选矩形中的一个。这里,所述删除单元在删除所述任意两个候选矩形中的一个时,优先的,删除所述任意两个候选矩形中面积较小的一个。
进一步的,本发明实施例的上述矩形目标检测装置,还可以包括以下单元:
修正处理单元,用于针对所述候选矩形集合中的每一个候选矩形,分别执行以下修正处理:根据该候选矩形,构造二值模板,所述二值模板与输入图像大小相同,且所述二值模板中,该候选矩形的内部区域所对应的像素点灰度置1,该候选矩形的外部区域所对应的像素点灰度置0;对二值模板进行膨胀,将膨胀后的二值模板覆盖在输入图像上,并将输入图像中被二值模板的灰度为0的像素覆盖的所有像素点的灰度值均置0;计算所述输入图像中所有灰度值不为0的非零像素的最小包围矩形,将该最小包围矩形作为该候选矩形修正后的最终结果。
下面结合图8描述本发明实施例涉及的矩形目标检测装置的一种硬件结构图,如图8所示,该硬件结构80包括:
深度相机81、处理器82、存储器83以及矩形目标检测装置84,矩形目标检测装置84又包括二值化处理单元841、拟合单元842、候选矩形确定单元843、删除单元844和输出单元845。其中,所述二值化处理单元841、拟合单元842、候选矩形确定单元843、删除单元844和输出单元845各自实现的功能与图6所示的所述二值化处理单元61、拟合单元62、候选矩形确定单元63、删除单元64和输出单元65相类似。
作为一种实现方式,本发明实施例中,图8中的硬件结构80还可能包括有一穿戴设备85,该穿戴设备可以是智能眼镜、智能手环、智能头盔等设备。矩形目标检测装置84的候选矩形的结果可以输出给该穿戴设备85,穿戴设备85基于上述候选矩形执行进行操作。
图8中,上述深度相机81、处理器82、存储器83以及矩形目标检测装置84独立于穿戴设备85而设置。作为一种可选方式,上述深度相机81、处理器82、存储器83以及矩形目标检测装置84可以作为穿戴设备85的一个子模块而内嵌于穿戴设备85中。
本发明实施例中,矩形目标检测装置84中的各个模块也可以通过独立的嵌入式系统来实现。作为另一种可选方式,矩形目标检测装置84也可以由处理器82来实现,此时,当处理器82调用并执行所述存储器83中所存储的程序和数据时,可以实现如下的功能模块:
二值化处理单元,用于对输入图像进行二值化处理,获得二值图像;
拟合单元,用于提取二值图像的轮廓,并计算每个轮廓的拟合多边形;
候选矩形确定单元,用于针对每一个拟合多边形,根据该拟合多边形的相邻两个内角及该相邻两个内角所夹的边长,是否与待检测目标矩形相匹配,确定出候选矩形,得到候选矩形集合;
删除单元,用于确定所述候选矩形集合中重复的候选矩形,并从所述候选矩形集合中删除;
输出单元,用于将所述候选矩形集合中的候选矩形作为矩形目标进行输出。
图8中,处理器82和存储器83分别通过总线接口与矩形目标检测装置84连接;总线架构可以是可以包括任意数量的互联的总线和桥;具体由处理器82代表的一个或者多个处理器,以及由存储器83代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起,这些都是本领域所公知的。因此,本文不再对其进行详细描述。
综上,本发明以上实施例提供了一种检测矩形目标的方法及对应的装置,能够提高矩形目标检测的鲁棒性,扩大矩形目标检测的适用场景。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种检测矩形目标的方法,其特征在于,包括:
对输入图像进行二值化处理,获得二值图像;
提取二值图像的轮廓,并计算每个轮廓的拟合多边形;
针对每一个拟合多边形,根据该拟合多边形的相邻两个内角及该相邻两个内角所夹的边长,是否与待检测目标矩形相匹配,确定出候选矩形,得到候选矩形集合;
确定所述候选矩形集合中重复的候选矩形,并从所述候选矩形集合中删除重复的候选矩形而保留所述重复的候选矩形中的一个;
将所述候选矩形集合中的候选矩形作为矩形目标进行输出。
2.如权利要求1所述的方法,其特征在于,
所述根据该拟合多边形的相邻两个内角及该相邻两个内角所夹的边长,是否与待检测目标矩形相匹配,确定出候选矩形的步骤,包括:
计算该拟合多边形的各内角的角度和各边的长度;
检测出所有的满足一预设条件的相邻内角,所述预设条件为:相邻内角均接近于直角,且该相邻内角所夹的边长接近于待检测目标矩形的长边或短边的长度;
根据检测出的相邻内角及其所夹的边长,确定出候选矩形,
其中,相邻内角接近于直角是指:相邻内角与直角的角度差均处于第一预设范围内;该相邻内角所夹的边长接近于待检测目标矩形的长边或短边的长度是指:该相邻内角所夹的边长,与待检测目标矩形的长边或短边的长度的差值,处于第二预设范围内。
3.如权利要求2所述的方法,其特征在于,所述根据检测出的相邻内角及其所夹边的边长,确定出候选矩形的步骤,包括:
以相邻内角的2个顶点,作为候选矩形的2个顶点;
在相邻内角的非共线的2条边上,分别确定出与内角顶点距离为预定长度的点,得到候选矩形的另外2个顶点,其中,在该相邻内角所夹的边长接近于所述长边的长度时,所述预定长度为所述短边的长度,在该相邻内角所夹的边长接近于所述短边的长度时,所述预定长度为所述长边的长度;
根据所获得的候选矩形的4个顶点,确定出候选矩形。
4.如权利要求1所述的方法,其特征在于,所述确定所述候选矩形集合中重复的候选矩形,并从所述候选矩形集合中删除的步骤,包括:
计算所述候选矩形集合中任意两个候选矩形的重叠程度;
在所述重叠程度大于一预设阈值时,删除所述任意两个候选矩形中的一个。
5.如权利要求4所述的方法,其特征在于,
所述删除所述任意两个候选矩形中的一个为:删除所述任意两个候选矩形中面积较小的一个。
6.如权利要求1所述的方法,其特征在于,在所述将所述候选矩形集合中的候选矩形作为矩形目标进行输出的步骤之前,还包括:
针对所述候选矩形集合中的每一个候选矩形,分别执行以下修正处理:
根据该候选矩形,构造二值模板,所述二值模板与输入图像大小相同,且所述二值模板中,该候选矩形的内部区域所对应的像素点灰度置1,该候选矩形的外部区域所对应的像素点灰度置0;
对二值模板进行膨胀,将膨胀后的二值模板覆盖在输入图像上,并将输入图像中被二值模板的灰度为0的像素覆盖的所有像素点的灰度值均置0;
计算所述输入图像中所有灰度值不为0的非零像素的最小包围矩形,将该最小包围矩形作为该候选矩形修正后的最终结果。
7.一种矩形目标检测装置,其特征在于,包括:
二值化处理单元,用于对输入图像进行二值化处理,获得二值图像;
拟合单元,用于提取二值图像的轮廓,并计算每个轮廓的拟合多边形;
候选矩形确定单元,用于针对每一个拟合多边形,根据该拟合多边形的相邻两个内角及该相邻两个内角所夹的边长,是否与待检测目标矩形相匹配,确定出候选矩形,得到候选矩形集合;
删除单元,用于确定所述候选矩形集合中重复的候选矩形,并从所述候选矩形集合中删除重复的候选矩形而保留所述重复的候选矩形中的一个;
输出单元,用于将所述候选矩形集合中的候选矩形作为矩形目标进行输出。
8.如权利要求7所述的矩形目标检测装置,其特征在于,所述候选矩形确定单元包括:
计算单元,用于计算该拟合多边形的各内角的角度和各边的长度;
检测单元,用于检测出所有的满足一预设条件的相邻内角,所述预设条件为:相邻内角均接近于直角,且该相邻内角所夹的边长接近于待检测目标矩形的长边或短边的长度;
确定单元,用于根据检测出的相邻内角及其所夹的边长,确定出候选矩形,
其中,相邻内角接近于直角是指:相邻内角与直角的角度差均处于第一预设范围内;该相邻内角所夹的边长接近于待检测目标矩形的长边或短边的长度是指:该相邻内角所夹的边长,与待检测目标矩形的长边或短边的长度的差值,处于第二预设范围内。
9.如权利要求8所述的矩形目标检测装置,其特征在于,
所述确定单元,具体用于:以相邻内角的2个顶点,作为候选矩形的2个顶点;在相邻内角的非共线的2条边上,分别确定出与内角顶点距离为预定长度的点,得到候选矩形的另外2个顶点,其中,在该相邻内角所夹的边长接近于所述长边的长度时,所述预定长度为所述短边的长度,在该相邻内角所夹的边长接近于所述短边的长度时,所述预定长度为所述长边的长度;根据所获得的候选矩形的4个顶点,确定出候选矩形。
10.如权利要求7所述的矩形目标检测装置,其特征在于,
所述删除单元,具体用于:计算所述候选矩形集合中任意两个候选矩形的重叠程度;在所述重叠程度大于一预设阈值时,删除所述任意两个候选矩形中的一个。
11.如权利要求7所述的矩形目标检测装置,其特征在于,还包括:
修正处理单元,用于针对所述候选矩形集合中的每一个候选矩形,分别执行以下修正处理:根据该候选矩形,构造二值模板,所述二值模板与输入图像大小相同,且所述二值模板中,该候选矩形的内部区域所对应的像素点灰度置1,该候选矩形的外部区域所对应的像素点灰度置0;对二值模板进行膨胀,将膨胀后的二值模板覆盖在输入图像上,并将输入图像中被二值模板的灰度为0的像素覆盖的所有像素点的灰度值均置0;计算所述输入图像中所有灰度值不为0的非零像素的最小包围矩形,将该最小包围矩形作为该候选矩形修正后的最终结果。
CN201610316544.8A 2016-05-12 2016-05-12 一种检测矩形目标的方法及矩形目标检测装置 Active CN107369150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610316544.8A CN107369150B (zh) 2016-05-12 2016-05-12 一种检测矩形目标的方法及矩形目标检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610316544.8A CN107369150B (zh) 2016-05-12 2016-05-12 一种检测矩形目标的方法及矩形目标检测装置

Publications (2)

Publication Number Publication Date
CN107369150A CN107369150A (zh) 2017-11-21
CN107369150B true CN107369150B (zh) 2020-10-27

Family

ID=60303759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610316544.8A Active CN107369150B (zh) 2016-05-12 2016-05-12 一种检测矩形目标的方法及矩形目标检测装置

Country Status (1)

Country Link
CN (1) CN107369150B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458202B (zh) * 2019-07-18 2022-11-25 广东弓叶科技有限公司 图片处理方法、装置、设备及计算机可读存储介质
CN110909816B (zh) * 2019-11-29 2022-11-08 泰康保险集团股份有限公司 图片识别方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0686932A2 (en) * 1994-03-17 1995-12-13 Texas Instruments Incorporated A computer vision system to detect 3-D rectangular objects
CN102289810A (zh) * 2011-08-05 2011-12-21 上海交通大学 高分辨率大数量级图像的快速矩形检测方法
CN103914687A (zh) * 2014-03-14 2014-07-09 常州大学 一种基于多通道和多阈值的矩形目标识别方法
CN104200496A (zh) * 2014-09-01 2014-12-10 西北工业大学 最小二乘邻边垂直拟合的矩形标志符高精度检测定位方法
CN104915672A (zh) * 2014-03-13 2015-09-16 北京大学 一种基于高分辨率遥感图像的矩形建筑物提取方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0686932A2 (en) * 1994-03-17 1995-12-13 Texas Instruments Incorporated A computer vision system to detect 3-D rectangular objects
CN102289810A (zh) * 2011-08-05 2011-12-21 上海交通大学 高分辨率大数量级图像的快速矩形检测方法
CN104915672A (zh) * 2014-03-13 2015-09-16 北京大学 一种基于高分辨率遥感图像的矩形建筑物提取方法及系统
CN103914687A (zh) * 2014-03-14 2014-07-09 常州大学 一种基于多通道和多阈值的矩形目标识别方法
CN104200496A (zh) * 2014-09-01 2014-12-10 西北工业大学 最小二乘邻边垂直拟合的矩形标志符高精度检测定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Cl'audio Rosito Jung等.Rectangle Detection based on a Windowed Hough Transform.《Proceedings of the XVII Brazilian Symposium on Computer Graphics and Image Processing》.2004,113-120. *
一种乘性噪声条件下矩形目标提取方法研究;王敏等;《信号处理》;20070825;第23卷(第4A期);182-185 *

Also Published As

Publication number Publication date
CN107369150A (zh) 2017-11-21

Similar Documents

Publication Publication Date Title
US10672142B2 (en) Object recognition apparatus, method for recognizing object, and non-transitory computer-readable storage medium for storing program
US20200293809A1 (en) Image processing apparatus, image processing method, and storage medium
CN108960229B (zh) 一种面向多方向的文字检测方法和装置
CN107633526B (zh) 一种图像跟踪点获取方法及设备、存储介质
CN108875723B (zh) 对象检测方法、装置和系统及存储介质
US20130136338A1 (en) Methods and Apparatus for Correcting Disparity Maps using Statistical Analysis on Local Neighborhoods
CN111583097A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US20150206318A1 (en) Method and apparatus for image enhancement and edge verificaton using at least one additional image
US10909719B2 (en) Image processing method and apparatus
US10169673B2 (en) Region-of-interest detection apparatus, region-of-interest detection method, and recording medium
JP2011134012A (ja) 画像処理装置、その画像処理方法及びプログラム
CN111260675B (zh) 一种图像真实边界高精度提取方法及系统
CN111598088B (zh) 目标检测方法、装置、计算机设备及可读存储介质
CN107369150B (zh) 一种检测矩形目标的方法及矩形目标检测装置
CN108960247B (zh) 图像显著性检测方法、装置以及电子设备
US20160035107A1 (en) Moving object detection
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
CN117522963A (zh) 棋盘格的角点定位方法、装置、存储介质及电子设备
CN112580516A (zh) 一种道路场景识别方法、装置、设备及存储介质
CN109785367B (zh) 三维模型追踪中外点滤除方法和装置
CN113228105A (zh) 一种图像处理方法、装置和电子设备
US20180061078A1 (en) Image processing device, image processing method, and non-transitory computer-readable recording medium
WO2015151553A1 (ja) 異動検出支援装置、異動検出支援方法、及びコンピュータ読み取り可能な記録媒体
JP2005241886A (ja) 地理画像間変化領域の抽出方法、地理画像間変化領域を抽出可能なプログラム、閉領域抽出方法及び閉領域抽出可能なプログラム
CN115830049A (zh) 角点检测的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant