CN111762100B - 车用摄影系统与物件检测方法 - Google Patents

Abstract

本发明提出一种车用摄影系统与物件检测方法，其中物件检测方法适用于车用摄影机，此物件检测方法包括：通过车用摄影机取得多个画面；取得画面之间的光流信息，并根据光流信息检测出障碍物区域；取得障碍物区域的直方图，并根据直方图来过滤障碍物区域；以及若有尚未被过滤的障碍物区域，发出物件检测信息。借此，可以准确地检测出障碍物。

Description

车用摄影系统与物件检测方法

技术领域

本发明涉及一种适用于车用摄影机的物件检测方法。

背景技术

行车安全是对于驾驶者与乘客而言是相当重要的。现已有许多技术来辅助行车安全。比如，在倒车时，可由车后镜头来获取车后影像，驾驶者除了用目视外，亦可通过后方安全辅助系统所获取的车后影像来判断车后是否有障碍物、行人等物体。因此，如何准确地检测到物体，为此领域技术人员所关心的议题。

发明内容

本发明的实施例提出一种物件检测方法，适用于车用摄影机，此物件检测方法包括：通过车用摄影机取得多个画面；取得画面之间的光流信息，并根据光流信息检测出障碍物区域；取得障碍物区域的直方图，并根据直方图来过滤障碍物区域；以及若有尚未被过滤的障碍物区域，发出物件检测信息。

在一些实施例中，根据直方图来过滤障碍物区域的步骤包括：取得直方图的多个槽数值，取得多个最大槽数值，若最大槽数值的总和与所有槽数值的总和之间的比率大于第一临界值，则过滤掉对应的障碍物区域。

在一些实施例中，根据直方图来过滤障碍物区域的步骤包括：取得直方图的多个槽数值，取得多个第一最大槽数值；取得画面中预设区域的直方图；取得预设区域的直方图的多个第二最大槽数值，其中第二最大槽数值的槽位置分别相同于第一最大槽数值的槽位置；对于每一个第一最大槽数值，将第一最大槽数值减去对应的第二最大槽数值以得到一差值，并判断差值是否小于第二临界值；以及若所有的第一最大槽数值的差值都小于第二临界值，过滤掉对应的障碍物区域。

在一些实施例中，从第一画面取得第一样板区域，并从第二画面取得第二样板区域，其中第二样板区域包括多个子区域，每个子区域的大小都相同于第一样板区域；计算每一个子区域与第一样板区域之间的一样板差并取得最小样板差；以及判断最小样板差是否大于第三临界值，若是则发出物件检测信息。

在一些实施例中，光流信息包括多个特征点以及每一个特征点上的光流。物件检测方法还包括：根据特征点的个数与光流的平均长度计算出第三临界值。

以另外一个角度来说，本发明的实施例提出一种车用摄影系统，包括车用摄影机与处理器。车用摄影机用以取得多个画面，处理器用以执行多个步骤，这些步骤包括：通过车用摄影机取得多个画面；取得画面之间的光流信息，并根据光流信息检测出障碍物区域；取得障碍物区域的直方图，并根据直方图来过滤障碍物区域；以及若有尚未被过滤的障碍物区域，发出物件检测信息。

在一些实施例中，上述的处理器还用以：取得直方图的多个槽数值，取得多个最大槽数值，若最大槽数值的总和与所有槽数值的总和之间的比率大于第一临界值，则过滤掉对应的障碍物区域。

在一些实施例中，上述的处理器还用以：取得直方图的多个槽数值，取得多个第一最大槽数值；取得画面中预设区域的直方图；取得预设区域的直方图的多个第二最大槽数值，其中第二最大槽数值的槽位置分别相同于第一最大槽数值的槽位置；对于每一个第一最大槽数值，将第一最大槽数值减去对应的第二最大槽数值以得到一差值，并判断差值是否小于第二临界值；以及若所有的第一最大槽数值的差值都小于第二临界值，过滤掉对应的障碍物区域。

在一些实施例中，上述的处理器还用以：从第一画面取得第一样板区域，并从第二画面取得第二样板区域，其中第二样板区域包括多个子区域，每个子区域的大小都相同于第一样板区域；计算每一个子区域与第一样板区域之间的一样板差并取得最小样板差；以及判断最小样板差是否大于第三临界值，若是则发出物件检测信息。

在一些实施例中，光流信息包括多个特征点以及每一个特征点上的光流。上述的处理器还用以：根据特征点的个数与光流的平均长度计算出第三临界值。

在上述的方法与系统中，通过直方图来过滤障碍物区域，可以准确地检测障碍物。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合说明书附图作详细说明如下。

附图说明

图1是根据一实施例示出车用摄影系统的示意图。

图2是根据一实施例示出计算光流的示意图。

图3是根据一实施例示出障碍物区域的直方图的示意图。

图4是根据一实施例示出预设区域的直方图的示意图。

图5是根据一实施例示出样板比对的示意图。

图6是根据一实施例示出所计算出的样板差的示意图。

图7是根据一实施例示出物体检测方法的流程图。

附图标记说明：

110：车用摄影机

120：处理器

210、220：影像

211、221：特征点

230：光流

240：障碍物区域

251～253：预设区域

310、410：直方图

310(1)～310(16)、410(1)～410(16)：槽

510：第一样板区域

520：第二样板区域

521～523：子区域

610：曲线

701～704：步骤

具体实施方式

关于本文中所使用的“第一”、“第二”等，并非特别指次序或顺位的意思，其仅为了区别以相同技术用语描述的元件或操作。

图1是根据一实施例示出车用摄影系统的示意图。请参照图1，车用摄影系统包括了车用摄影机110与处理器120。车用摄影机110可包括感光耦合元件(Charge-coupledDevice，CCD)感测器、互补性氧化金属半导体(Complementary Metal-OxideSemiconductor)感测器或其他合适的感光元件。处理器120可为中央处理器、微处理器、微控制器、数字信号处理器、影像处理芯片、特殊应用集成电路等。车用摄影机110是装设在车子上，例如在图1的实施例中是装设在车子的尾端，用以协助驾驶在倒车时观看车子后方是否有障碍物。然而，在其他实施例中，车用摄影机110可以装设在车子的任何一处，例如前方、侧方、车顶等，此外处理器120也可以设置在车子的任何一处，本发明并不在此限。车用摄影机110会取得多个画面，而处理器120会根据这些画面执行一个物件检测方法，以下将详细说明此方法。

图2是根据一实施例示出计算光流的示意图。请参照图2，车用摄影机110取得了画面210、220，首先取得画面210、220之间的光流信息。在此可以采用任何的光流计算演算法，例如Lucas-Kanade光流计算法、Horn-Schunck光流计算法等等，本发明并不在此限。在一些实施例中，所采用的是低密度的光流计算法，因此会先计算画面210、220中的特征点(例如是角落)，然后计算两个特征点之间的光流(也可称位移或移动向量)。上述的光流信息便包括了画面210、220中所有的特征点以及每个特征点上的光流方向与长度。为简化说明起见，图2中仅示出了特征点211、221以及两者之间的光流230。接下来，根据这些光流信息可以检测出障碍物区域240，举例来说，可以先挑选出长度大于一临界值的光流，然后将相邻的光流圈起来以得到障碍物区域，在一些实施例中也可以对障碍物区域240执行影像处理的侵蚀(erosion)与膨胀(dilation)等等，在此可以采用任何演算法以根据光流来检测障碍物区域，本发明并不在此限。

图3是根据一实施例示出障碍物区域的直方图的示意图，请参照图2与图3，接下来取得障碍物区域240关于灰阶值的直方图310，直方图310具有多个槽(bin)310(1)～310(16)，第一个槽310(1)统计灰阶值位于0～15范围内的像素的个数，第二个槽310(2)统计灰阶值位于16～31范围内的像素的个数，以此类推。在此，每个槽对应的像素个数亦称为槽数值。直方图310可以用来过滤非障碍物的障碍物区域，举例来说，若直方图310显示槽数值过于集中，则代表障碍物区域240可能是地面而非一般的障碍物，或者若直方图310类似于地面的直方图，则也会被过滤。

具体来说，可先取得最大的几个槽数值，例如槽310(3)～310(5)具有最大的三个槽数值，然后计算出这些槽数值的总和。如果上述计算出的总和与所有槽310(1)～310(16)的槽数值的总和之间的比率大于一第一临界值，则表示槽数值过于集中，障碍物区域240可能是地面而非一般的障碍物。以另外一个角度来说，上述计算可表示为以下方程式(1)，其中bin_O，i代表直方图310中第i个槽所对应的槽数值，i为正整数，介于1至16之间。MAX代表一集合，包含了具有最大槽数值的槽，在图3的实施例中MAX＝{3，4，5}。T₁为上述的第一临界值，例如为0.7。如果方程式(1)成立，则过滤掉对应的障碍物区域。

∑_i∈MAXbin_O，i/∑_ibin_O，i≥T₁…(1)

在一些实施例中，在画面220中可以设定多个预设区域251～253，这些预设区域251～253的位置分别位于左边、中间与右边且都在画面220的下缘，因此预设区域251～253的内容较可能是地面。如果障碍物区域240的直方图类似于预设区域251～253的直方图，则障碍物区域240也会被过滤掉。以预设区域251为例，图4是根据一实施例示出预设区域251的直方图的示意图。请参照图3与图4，预设区域251的直方图410包括了槽410(1)～410(16)，每个槽都具有相对应的槽数值，其定义已说明如图3，在此不再赘述。在取得直方图310中最大的三个槽数值(在此称第一最大槽数值，分别属于槽310(3)～310(5))以后，从直方图410中找到位置相同的槽410(3)～410(5)，并取得槽410(3)～410(5)的槽数值(亦称为第二最大槽数值)。对于每一个第一最大槽数值，将此第一最大槽数值减去对应的第二最大槽数值以得到一差值，并判断此差值是否小于一第二临界值，若所有的差值都小于第二临界值，则过滤掉对应的障碍物区域240。以另外一个角度来说，上述的计算可以表示为以下方程式(2)，其中bin_B，i表示直方图410中第i个槽所对应的槽数值。T₂为第二临界值。如果以下方程式(2)成立，则过滤掉障碍物区域240。

if|bin_O，i-bin_B，i|＜T₂for all i∈MAX...(2)

值得注意的是，对于每一个预设区域251～253都会计算各自的直方图并执行上述方程式(2)，换言之只要障碍物区域240相似于预设区域251～253的任何一者都会被过滤掉。

在其他实施例中，每个直方图也可以包括更多或更少个槽。在上述的实施例中，集合MAX具有三个槽，但在其他实施例中也可以具有更多或更少个槽。此外，本发明也不限制预设区域251～253的个数、大小与位置。

请参照图1与图2，在画面210、220之间可能有多个障碍物区域，在经过上述的过滤以后，对于没有被过滤掉的障碍物区域则可以发出一个物件检测信息，用以表示在画面210、220之间具有移动的障碍物。此物件检测信息可以用文字、影像、声音、或是二进位的方式发送给使用者、其他装置或同一个装置的其他程序。在一些实施例中，在收到物件检测信息以后可以再判断障碍物区域240是否太靠近车子，若是则将车用摄影机110所拍摄的画面切换至鸟瞰角度。然而，本发明并不限制物件检测信息的形式，也不限制在收到物件检测信息以后采取什么措施。

图5是根据一实施例示出样板比对的示意图。请参照图5，在一些实施例中可从画面210取得第一样板区域510，并从画面220取得第二样板区域520，其中第一样板区域510与第二样板区域520的大小与位置都是预设的。第二样板区域520具有多个子区域，每个子区域的大小相同于第一样板区域510的大小，这些子区域之间具有一间隔(例如2、4或6个像素)，因此这些子区域是彼此重叠，图5中为了简化起见，仅示出了子区域521～523。对于每一个子区域，都可以计算此子区域与第一样板区域510之间的样板差，此样板差例如是将子区域中的像素分别与第一样板区域510中的像素相减后再相加，也就是说在此实施例是计算绝对差和(sum of absolute difference，SAD)，但在其他实施例中也可以计算误差平方和(sum of squared difference)或其他的样板差。

图6是根据一实施例示出所计算出的样板差的示意图。请参照图5与图6，根据不同的位置可以将所有子区域所计算出的样板差示出为曲线610(这些样板差应为离散的，但为了简化起见在图6是示出为连续的曲线610)。接下来从这些样板差中取得最小样板差D_min，并且判断此最小样板差D_min是否大于一个第三临界值T₃，若是的话也会发出上述的物件检测信息。

在一些实施例中，上述的第三临界值T₃可以根据画面210、220的复杂度来决定，复杂度越大则第三临界值T₃越大。例如，可以根据上述光流信息中特征点的个数与平均的光流长度来决定出第三临界值T₃，表示为以下方程式(3)。

T₃＝α·N+β·L…(3)

其中α、β为实数，N为所有特征点的个数，L为所有光流的平均长度。值得注意的是，上述物件过滤的程序与样板比对的程序是独立执行地，换言之如果有障碍物区域没有被过滤或者是最小样板差D_min大于第三临界值T₃，都会发出物件检测信息，其余情况则不会发出物件检测信息。

图7是根据一实施例示出物体检测方法的流程图，请参照图1，在步骤701，通过车用摄影机取得多个画面。在步骤702，取得画面之间的光流信息，并根据光流信息检测出障碍物区域。在步骤703，取得障碍物区域的直方图，并根据直方图来过滤障碍物区域。在步骤704，若有尚未被过滤的障碍物区域，发出物件检测信息。然而，图7中各步骤已详细说明如上，在此便不再赘述。值得注意的是，图7中各步骤可以实作为多个程序码或是电路，本发明并不在此限。此外，图7的方法可以搭配以上实施例使用，也可以单独使用。换言之，图7的各步骤之间也可以加入其他的步骤。

在上述的车用摄影系统与物件检测方法中，可以利用光流信息来过滤掉障碍物区域的程序以及样板比对的程序都可以更准确地检测出车辆周围的障碍物。

虽然本发明已以实施例公开如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的构思和范围内，当可作些许的变动与润饰，故本发明的保护范围当视权利要求所界定者为准。

Claims (6)

1.一种物件检测方法，适用于一车用摄影机，其特征在于，该物件检测方法包括：

通过该车用摄影机取得多个画面；

取得所述多个画面之间的光流信息，并根据该光流信息检测出至少一障碍物区域，其中该光流信息包括多个特征点以及每一所述特征点上的光流；

取得该至少一障碍物区域的直方图，并根据该直方图来过滤该至少一障碍物区域；

若该至少一障碍物区域具有尚未被过滤的障碍物区域，发出一物件检测信息；

从所述多个画面的一第一画面取得一第一样板区域，并从所述多个画面的一第二画面取得一第二样板区域，其中该第二样板区域包括多个子区域，每一所述子区域的大小相同于该第一样板区域，所述子区域之间具有一间隔且彼此重叠；

计算每一所述子区域与该第一样板区域之间的一样板差，取得所述多个样板差中的一最小样板差；

将所述多个特征点的个数与所述多个特征点的光流的平均长度分别乘上两实数再相加以计算出一第三临界值；以及

判断该最小样板差是否大于该第三临界值，若是则发出该物件检测信息。

2.如权利要求1所述的物件检测方法，其特征在于，其中根据该直方图来过滤该至少一障碍物区域的步骤包括：

取得该直方图的多个槽数值，取得所述多个槽数值中取得多个最大槽数值，若所述多个最大槽数值的总和与所述多个槽数值的总和之间的比率大于一第一临界值，则过滤掉对应的该至少一障碍物区域。

3.如权利要求1所述的物件检测方法，其特征在于，其中根据该直方图来过滤该至少一障碍物区域的步骤包括：

取得该直方图的多个槽数值，取得所述多个槽数值中取得多个第一最大槽数值；

取得所述多个画面的其中之一的至少一预设区域的直方图；

取得该至少一预设区域的该直方图的多个第二最大槽数值，其中所述多个第二最大槽数值的槽位置分别相同于所述多个第一最大槽数值的槽位置；

对于每一所述第一最大槽数值，将该第一最大槽数值减去对应的该第二最大槽数值以得到一差值，并判断该差值是否小于一第二临界值；以及

若所有的所述多个第一最大槽数值的该差值都小于该第二临界值，过滤掉对应的该至少一障碍物区域。

4.一种车用摄影系统，其特征在于，包括：

一车用摄影机，用以取得多个画面；以及

一处理器，用以执行多个步骤：

取得所述多个画面之间的光流信息，根据该光流信息检测出至少一障碍物区域，其中该光流信息包括多个特征点以及每一所述特征点上的光流；

取得该至少一障碍物区域的直方图，并根据该直方图来过滤该至少一障碍物区域；

若该至少一障碍物区域具有尚未被过滤的障碍物区域，发出一物件检测信息；

从所述多个画面的一第一画面取得一第一样板区域，并从所述多个画面的一第二画面取得一第二样板区域，其中该第二样板区域包括多个子区域，每一所述子区域的大小相同于该第一样板区域，所述子区域之间具有一间隔且彼此重叠；

计算每一所述子区域与该第一样板区域之间的一样板差，取得所述多个样板差中的一最小样板差；

将所述多个特征点的个数与所述多个特征点的光流的平均长度分别乘上两实数再相加以计算出一第三临界值；以及

判断该最小样板差是否大于该第三临界值，若是则发出该物件检测信息。

5.如权利要求4所述的车用摄影系统，其特征在于，其中根据该直方图来过滤该至少一障碍物区域的步骤包括：

取得该直方图的多个槽数值，取得所述多个槽数值中取得多个最大槽数值，若所述多个最大槽数值的总和与所述多个槽数值之间的比率大于一第一临界值，则过滤掉对应的该至少一障碍物区域。

6.如权利要求4所述的车用摄影系统，其特征在于，其中根据该直方图来过滤该至少一障碍物区域的步骤包括：

取得该直方图的多个槽数值，取得所述多个槽数值中取得多个第一最大槽数值；

取得所述多个画面的其中之一的至少一预设区域的直方图；

取得该至少一预设区域的该直方图的多个第二最大槽数值，其中所述多个第二最大槽数值的槽位置分别相同于所述多个第一最大槽数值的槽位置；

对于每一所述第一最大槽数值，将该第一最大槽数值减去对应的该第二最大槽数值以得到一差值，并判断该差值是否小于一第二临界值；以及

若所有的所述多个第一最大槽数值的该差值都小于该第二临界值，过滤掉对应的该至少一障碍物区域。

Images