CN104424645B - 车辆的影像识别装置及其方法 - Google Patents

Abstract

本发明公开了一种车辆的影像识别装置及其方法。本发明的车辆影像识别方法包括：拍摄至少一个影像的步骤；计算所述影像中提取的关心区域的亮度变化量的步骤；在所述关心区域中检测异物区域的步骤；及基于相对所述异物区域的数量的所述关心区域的亮度变化量，区分是异物影像还是一般影像的步骤。

Description

车辆的影像识别装置及其方法

技术领域

本发明涉及车辆的影像识别装置及其方法，尤其涉及，提前检测被使用于AVM系统的摄像头镜头所吸附的异物的车辆的影像识别装置及其方法。

背景技术

一般，汽车上因采用AVM(Around View Monitoring-全景式监控)系统而安装了摄像头，在变更车道或驻车等状况下，有助于使用者的汽车驾驶。

这时，摄像头的镜头会因汽车经过的场所(例如地形险峻的道路或施工现场)或气候状态导致的霜、雨水、灰尘或泥水等而受到污染。

镜头被污染后，摄像头所拍摄的影像会因异物而很难看清，行驶中或停止时，不能正确观测驾驶员的视野，驾驶员需要逐一擦掉异物，导致镜头表面的损伤及不便。

发明内容

(要解决的技术问题)

本发明提供一种车辆的影像识别装置及其方法，能够检测因摄像头镜头所吸附的异物而不能识别影像的状态。

(解决问题的手段)

根据本发明的一实施例的车辆的影像识别装置，包括：至少一个摄像头，其拍摄影像；影像识别系统，基于拍摄的所述影像而识别各种物体；镜头异物检测部，分析拍摄的所述影像而检测所述摄像头的镜头污染与否，根据污染程度而开-闭所述影像识别系统。

所述镜头异物检测部计算从拍摄的所述影像提取的关心区域的亮度变化量而检测异物区域，区域根据相对所述异物区域的数量的所述亮度变化量，将所述影像判断为异物区域。

所述关心区域是指除了被所述车辆的格栅或装饰品而遮住的区域以外的区域。

所述亮度变化量通过所述关心区域的水平/垂直方向的邻近像素之间的亮度差的绝对值总和的平均而计算。

所述镜头异物检测部，当所述关心区域中所述亮度变化量小而均匀，相对所述异物区域数量的所述关心区域的亮度变化量属于异物区域范围时，分别检测为所述异物区域。

对于要检测的异物对象区域，形成基于所述异物对象区域的长轴和短轴的椭圆，相对所述异物对象区域宽度的包括所述异物对象区域的最小椭圆宽度的比例为已设定的临界值以上时，将所述异物对象区域判断为椭圆。

根据本发明的另一实施例的车辆的影像识别方法，包括：拍摄至少一个影像的步骤；计算所述影像中提取的关心区域的亮度变化量的步骤；所述关心区域中检测异物区域的步骤；及基于相对所述异物区域数量的所述关心区域的亮度变化量，区分是异物影像还是一般影像的步骤。

对于所述各异物区域，当所述关心区域中所述亮度变化量小而均匀，并且相对所述异物区域数量的所述关心区域的亮度变化量属于异物区域范围时，分别检测为所述异物区域。

所述检测的步骤包括：基于所述关心区域中所述亮度变化量小且均匀的异物对象区域的长轴和短轴而形成椭圆的步骤；比较相对所述异物对象区域的宽度的包括所述异物对象区域的最小椭圆宽度的比例与已设定的第2临界值的步骤及若所述比例比所述第2临界值小，则将所述异物对象区域检测为所述异物区域的步骤。

(发明的效果)

根据本发明的实施例的车辆的影像识别装置及其方法，能够判断镜头异物吸附状况，提前检测影像识别系统的影像识别不能状况。其结果，能够提高影像识别装置的性能及可靠性，提高使用者的便利性。

附图说明

图1是呈现车辆的影像识别装置的框图。

图2是呈现车辆的影像识别方法的流程图。

图3是呈现关心区域中异物区域的检测方法的流程图。

图4呈现原始影像中检测亮度均匀区域的结果的影像。

图5呈现在检测亮度均匀区域的影像中，基于亮度变化量而过滤的影像。

图6是关心区域中检测椭圆型-非椭圆型的异物对象区域的影像。

图7是为了说明椭圆过滤的影像。

图8是呈现对异物数量的关心区域亮度变化量的分布的图表。

(符号说明)

100:车辆的影像识别装置

10:摄像头

20:镜头异物检测部

30:影像识别系统

具体实施方式

对于本说明书中公开的根据本发明的概念的实施例，特定的结构性或功能性说明只是以说明根据本发明的概念的实施例为目的而例示，根据本发明的概念的实施例能够以多种形态实施，并不限定于本说明书中说明的实施例。

因根据本发明的概念的实施例可进行多种变更，具有多种形态，把实施例例示到附图上，在本说明书中进行详细说明。但根据本发明的概念的实施例并不限定于特定的公开形态，包括本发明的思想及技术范围内的所有变更、均等物及替代物。

第1或第2等用语使用于说明多种构成要素，但所述构成要素并不受限于所述用于。所述用语的目的在于区别一个构成要素与其他构成要素，例如不脱离根据本发明的概念的权利范围的情况下，第1构成要素可命名为第2构成要素，类似地，第2构成要素也可命名为第1构成要素。

涉及某一构成要素与其他构成要素“连接”或“联接”时，理解为与其他构成要素直接连接或联接，或者中间存在其他构成要素。相反，涉及某一构成要素“直接连接”或“直接联接”到其他构成要素时，应理解为中间不存在其他构成要素。说明构成要素直接的关系的其他表现，即“～之间”和“正好在～之间”或“与～相邻”和“与～直接相邻”等也具有相同地解释。

本说明书中使用的用于只是为了说明特定的实施例，并不是为了限定本发明。单数若在文脉上无其他明确的解释，则包括复数。本说明书中，“包括”或“具有”等用语是为了指定设施的特征、数字、阶段、动作、构成要素、部件或其组合物的存在，并不是事先排除一个或其以上的其他特征或数字、阶段、动作、构成要素、部件或其组合物的存在或附加的可能性。

除了另行定义之外，包括技术或科学的用语，这里使用的所有用语都与本发明所属技术领域具有一般知识的人一般理解的具有相同的意思。一般使用的，与字典定义相同的用语，与相关技术的文脉上的意思一致，除了本说明书中明确定义的以外，不解释为异常或过度形式化的意思。

下面，参照附图说明根据本发明的优选实施例，从而详细说明本发明。

图1是呈现车辆的影像识别装置的框图。

参照图1，车辆的影像识别装置100包括：摄像头10、镜头异物检测部20及影像识别系统30。

摄像头10拍摄车辆的周边影像(Around View)。

镜头异物检测部20接收根据摄像头10所拍摄的影像而检测异物。为了说明的便利，镜头异物检测部20的动作在说明图2至图8时进行仔细说明。

影像识别系统30通过镜头异物检测部20所过滤的影像，识别各种物体(例如，活动的人或物体、驻车线、障碍物、前方车辆、各种标志物等)。

图2是呈现车辆的影像识别方法的流程图。

参照图2，摄像头10拍摄周边影像(S10)。镜头异物检测部20在摄像头10所接收的影像中提取关心区域(S11)。这时，关心区域是指除了被所述车辆的格栅或装饰品而遮住的区域以外的区域。

镜头异物检测部20计算关心区域的亮度变化量(S12)。亮度变化量可根据多种方法计算。作为一例，测定如数学式1的平均梯度(Mean of Gradient；MoG)而得到亮度变化量。

【数学式1】

这时，I(x、y)为要测定的像素的亮度值，亮度变化量为要计算的测定区域的水平/垂直方向相邻的像素(pixel)之间的亮度值差的绝对值总和的平均。

镜头异物检测部20基于亮度变化量而检测关心区域内的异物区域(S13)。异物区域的检测方法通过图3进行详细说明。

关心区域中检测到异物对象区域后，镜头异物检测部20分析对异物区域的数量的关心区域的亮度变化量(S14)。镜头异物检测部20判断相应的异物对象区域是否属于异物区域范围。若关心区域的亮度变化量属于异物区域范围，判断为异物影像(S15)，镜头异物检测部20输出关闭控制信号而关闭影像识别系统30。若关心区域的亮度变化量属于一般区域范围，判断为一般影像(S16)，输出开启控制信号而开启影像识别系统30。根据相对于异物区域的数量的关心区域的亮度变化量的异物影像判断方法通过图8进行详细说明。

图3是呈现关心区域中异物区域的检测方法的流程图。

参照图3，镜头异物检测部20所检测的异物对象区域中，提取亮度均匀的区域(S20)。在异物内部，比一般影像的亮度变化量小，所以若亮度均匀，异物被吸附的区域的可能性较高。作为一实施例而找到亮度均匀区域，可使用MSER(Maximally Stable ExtremalRegions-最大稳定极值区域)算法。MSER算法是变化二值化影像的临界值而检测被稳定地二值化的亮度均匀区域的方法。MSER算法根据“Robust wide baseline stereo frommaximally stable extremal regions”，J.Matas，O.Chum，M.Urban，and T.，Proc.ofBritish Machine Vision Conference，pages384-396，2002.。

若亮度均匀区域的亮度变化量小于已设定的临界值(S21)，亮度均匀区域的形态为椭圆型(S22)，镜头异物检测部20把相应的亮度均匀区域判断为异物区域(S23)。

但是，若亮度均匀区域的亮度变化量为已设定的临界值以上(S21)，亮度均匀区域的形态不是椭圆型(S22)，镜头异物检测部20把相应的亮度均匀区域判断为非异物区域(S24)。

图4呈现原始影像中检测亮度均匀区域的结果的影像，图5呈现在检测亮度均匀区域的影像中，基于亮度变化量而过滤的影像。

参照图4，(a)是通过摄像头拍摄的原始影像，(b)是原始影像中检测亮度均匀区域的影像。如图所示，亮度均匀区域上除了异物以外，还可包括多个其他区域，需要只检测异物区域的多种过滤技法。作为一实施例参照图5，如前述，基于异物内的亮度变化量比一般影像小，若亮度变化量大于已设定的基准值，过滤为一般影像。其结果，用蓝色突出显示的亮度均匀区域比过滤前的影像(a)在过滤后的影像(b)中减少了。

图6是关心区域中检测椭圆型-非椭圆型的异物对象区域的影像，图7是为了说明椭圆过滤的影像。

镜头异物检测部20根据亮度变化量而过滤后，判别异物对象区域的形态是否为椭圆型，再进行一次过滤。为了判别是否是椭圆型，如图6所图示，首先计算各个异物对象区域(a)的长轴和短轴而形成椭圆(b)。并且，计算该形成的椭圆内的亮度均匀区域的比例，比例高时，判断为椭圆。即，包括检测的亮度均匀区域的宽度和相应区域的最小椭圆宽度达到已设定的临界值以上(c)时，判断为椭圆型区域。但是，若包括检测的亮度均匀区域的宽度和相应区域的最小椭圆宽度小于已设定的临界值(d)，判断为非椭圆型区域。

并且，如图7所图示，一次过滤亮度均匀区域的影像(a)中，只留下椭圆区域而进行2次过滤，就能检测异物区域。

这样检出异物区域后，基于关心区域的亮度变化量与异物区域数量，最终判断异物产生与否。

图8是呈现对异物数量的关心区域亮度变化量的分布的图表。

如图8的图表所图示，尺寸大的异物被吸附时，异物数量少，关心区域的亮度变化量也小。而多个尺寸小的异物被吸附时，异物数量多，根据多个异物边界，关心区域的亮度变化量会相对增大。因此，若用图表呈现相对于关心区域亮度变化量的异物数量，就能求得区分一般影像与异物影像的判断边界。

镜头异物检测部20，当关心区域亮度变化量与异物数量属于异物影像范围时(图表中边界下部，红色区域)，判断为异物影像，其以外的情况(图表中边界上部，绿色区域)，判断为一般影像。

其结果，判断镜头的异物吸附状况而提前检测影像识别系统的影像识别不能状况，提高影像识别装置的性能及可靠性，提高了使用者的便利性。

本发明参考附图中图示的一实施例而进行了说明，但这只是例示性的，本技术领域具有一般知识的人可以理解到可进行多种变形及其他实施例。因此，本发明的真正的技术保护范围应根据注册权利要求范围的技术思想而决定。

Claims (4)

1.一种车辆的影像识别装置，包括：

至少一个摄像头，其拍摄影像；

影像识别系统，其基于拍摄的所述影像而识别各种物体；

镜头异物检测部，其分析拍摄的所述影像而检测所述摄像头的镜头污染与否，根据污染程度而开-闭所述影像识别系统，

所述镜头异物检测部，根据亮度变化量检测关心区域内的异物对象区域，判别异物对象区域的形态是否为椭圆型，首先计算各个异物对象区域的长轴和短轴而形成椭圆，包括检测的亮度均匀区域的宽度和相应区域的最小椭圆宽度的比例达到已设定的临界值以上时，判断为椭圆型区域并将该区域检测为异物区域，

然后基于关心区域的亮度变化量与异物区域数量，最终判断异物产生与否，

所述亮度变化量通过所述关心区域的水平/垂直方向的邻近像素之间的亮度差的绝对值总和的平均而计算。

2.根据权利要求1所述的车辆的影像识别装置，其特征在于，

所述关心区域是指除了被所述车辆的格栅或装饰品而遮住的区域以外的区域。

3.一种车辆的影像识别方法，包括：

拍摄至少一个影像的步骤；

计算所述影像中提取的关心区域的亮度变化量的步骤；及

在所述关心区域中检测异物区域的步骤，

检测的所述步骤包括：

根据亮度变化量检测关心区域内的异物对象区域的步骤；以及

判别异物对象区域的形态是否为椭圆型的步骤，其中首先计算各个异物对象区域的长轴和短轴而形成椭圆，包括检测的亮度均匀区域的宽度和相应区域的最小椭圆宽度的比例达到已设定的临界值以上时，判断为椭圆型区域并将该区域检测为异物区域；

然后基于关心区域的亮度变化量与异物区域数量，最终判断异物产生与否的步骤，所述亮度变化量通过所述关心区域的水平/垂直方向的邻近像素之间的亮度差的绝对值总和的平均而计算。

4.根据权利要求3所述的车辆的影像识别方法，其特征在于，

所述关心区域是指除了被所述车辆的格栅或装饰品而遮住的区域以外的区域。