CN109263557A - 车辆盲区侦测方法 - Google Patents

车辆盲区侦测方法 Download PDF

Info

Publication number
CN109263557A
CN109263557A CN201811376433.1A CN201811376433A CN109263557A CN 109263557 A CN109263557 A CN 109263557A CN 201811376433 A CN201811376433 A CN 201811376433A CN 109263557 A CN109263557 A CN 109263557A
Authority
CN
China
Prior art keywords
storage body
frame picture
monitoring
monitoring point
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811376433.1A
Other languages
English (en)
Other versions
CN109263557B (zh
Inventor
何娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Via Technologies Inc
Original Assignee
Via Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Via Technologies Inc filed Critical Via Technologies Inc
Priority to CN201811376433.1A priority Critical patent/CN109263557B/zh
Publication of CN109263557A publication Critical patent/CN109263557A/zh
Priority to TW108103250A priority patent/TWI696905B/zh
Priority to US16/278,213 priority patent/US10977947B2/en
Application granted granted Critical
Publication of CN109263557B publication Critical patent/CN109263557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种车辆盲区侦测方法,适用于耦接配置于车辆上的一或多个摄影机的电子装置,该方法包括:在该摄影机所取得的当前帧画面中设立捕获区域,并对进入该捕获区域的物体进行侦测,将符合捕获条件的该物体与该物体的位置信息被加入跟踪列表中;对在早于该当前帧画面的一至多个先前帧画面中加入该跟踪列表的既存物体进行跟踪运算以得到该既存物体在该当前帧画面中的新位置信息,并根据该既存物体的该新位置信息与该侦测范围判定是否继续将该既存物体保留在该跟踪列表中;以及依据该跟踪列表中保留的所有物体在该当前帧画面中的位置信息做出警示判断。本发明具有计算量小、耗时短、侦测灵敏度高、漏报率低等优点,且所侦测的物体不局限于特定类别。

Description

车辆盲区侦测方法
技术领域
本发明有关于车辆盲区侦测方法,特别是有关于基于光流法运算的车辆盲区侦测方法。
背景技术
随着机动车辆数量的持续增加,交通道路上的车流量也迅速增长,因而导致道路交通事故发生率亦呈逐年恶化的趋势。尤其对于一般车辆而言,车辆两侧的后视镜本身存在的盲区,会使得驾驶员无法清楚地了解车辆侧方的情况,导致车祸风险升高。车辆盲区侦测技术则可以有效弥补上述升高的车祸风险,明显提升行车安全,大大减少因视野盲区所引发的交通事故。
目前车辆盲区侦测技术主要是利用雷达装置、视觉原理或视觉处理来达成。基于雷达装置的盲区侦测技术主要是通过在车辆上布置雷达系统,来侦测周围障碍物。其优点是侦测的灵敏度高,但缺点也较为明显,例如无法提供给驾驶员视觉上的直观信息、无法区分背景或移动物体,或无法依据运动方向趋势进行警示判断,因此可能产生较多不必要的误报。
基于视觉原理或视觉处理的技术也有两大类,一类是通过增加侧方后视镜的视野范围来缩小甚至消除盲区,以期降低盲区所带来的风险,例如以各式曲率面镜替代传统的平面镜,但这会导致驾驶员看到的画面严重变形,无法判断距离等信息。另一类则是通过架设侧面摄影机作为视觉传感器,这类做法由于能直观地提供给驾驶员视觉信息,在实际使用中效果更好,还能有效提供上述视觉信息给驾驶员以辅助支持,降低事故发生率。
然而,目前基于计算机视觉处理技术的盲区侦测仍然有许多问题,主要是准确度不高,或者计算量过大。若是希望保证较高的准确度,一般需有机器学习类的复杂算法支持,采取此类方法时一般也仅能对特定类别物体如汽车进行警示,如果对多类别物体都要求警示的话,对设备的计算能力要求非常苛刻,实时性难以达到实际需求。
发明内容
本发明的目的是为了解决现有技术存在的问题,而提供一种基于光流法的车辆盲区侦测处理方法,使用基于光流法的计算机视觉处理技术进行车辆盲区的侦测。
依据本发明一实施例的车辆盲区侦测方法,适用于配置于车辆上的电子装置以侦测一侦测范围,该电子装置耦接配置于该车辆上的一或多个摄影机,该方法包括下列步骤:在该摄影机所取得的一当前帧画面中设立捕获区域,并对该当前帧画面中进入所述捕获区域的物体进行侦测,其中符合捕获条件的该物体与该物体的位置信息被加入跟踪列表中;对该摄影机所取得的早于该当前帧画面的一至多个先前帧画面中被侦测而加入该跟踪列表的既存物体进行跟踪运算以得到该既存物体在该当前帧画面中的新位置信息,并根据该既存物体的该新位置信息与该侦测范围判定是否继续将该既存物体保留在该跟踪列表中;以及依据该跟踪列表中保留的所有物体在该当前帧画面中的位置信息做出警示判断。
如上所述的车辆盲区侦测方法,其中,该一或多个摄影机安装在车辆两侧,该侦测范围为车辆两侧从车辆两侧后视镜到车辆尾部后方的监测线段的范围,其中该监测线段为该捕获区域的底部。
如上所述的车辆盲区侦测方法,其中,该方法还包括:对该摄影机所取得的多个帧画面产生画面序列,并且对该多个帧画面进行灰度化;以及调整该多个帧画面至合适尺寸,其中该多个帧画面包括该当前帧画面以及该些一至多个先前帧画面。
如上所述的车辆盲区侦测方法,其中,在该摄影机所取得的一当前帧画面中设立捕获区域,并对该当前帧画面中进入所述捕获区域的物体进行侦测的步骤包括:在该捕获区域中产生由多个监测点构成的监测点阵列,并将该监测点阵列划分为多个监测窗口,其中每一该监测窗口中包括部分的该些监测点;通过光流法计算得出各该些监测点在该当前帧画面中的运动位移;以及对于各该些监测窗口,若该监测窗口中所有该些监测点的运动位移的方向都为前移,则检查该监测窗口中所有该些监测点的运动位移一致性,否则不检查该监测窗口中该些监测点的运动位移一致性。
如上所述的车辆盲区侦测方法,其中,检查该监测窗口中所有该些监测点的运动位移一致性的步骤包括:计算该监测窗口中每一列中的各该些监测点的垂直运动位移的最大值与最小值的差;计算该监测窗口中每一行中的各该些监测点的水平运动位移的最大值与最小值的差;以及若该监测窗口中每一列中的各该些监测点的垂直运动位移的最大值与最小值的差以及每一行中的各该些监测点的水平运动位移的最大值与最小值的差皆小于第二阈值,则将该监测窗口中的所有该些监测点作为符合捕获条件的该物体,并将该物体与该物体的位置信息加入该跟踪列表中。
如上所述的车辆盲区侦测方法,其中,对该摄影机所取得的早于该当前帧画面的一至多个先前帧画面中被侦测而加入该跟踪列表的既存物体进行跟踪运算以得到该既存物体在当前帧画面中的新位置信息,并根据该既存物体的该新位置信息与该侦测范围判定是否继续将该既存物体保留在该跟踪列表中的步骤包括:通过光流法计算得出该跟踪列表的该既存物体的所有该些监测点在当前帧画面中的运动位移;选取具有最多该既存物体的该些监测点的运动位移的方向为该既存物体的运动方向;以及根据该既存物体的运动方向更新该跟踪列表,其中对于各该些监测点,当该监测点的垂直运动位移大于零且其绝对值大于第一阈值时该监测点的运动位移的方向为前移,当该监测点的垂直运动位移小于零且其绝对值大于该第一阈值时该监测点的运动位移的方向为后退,当该监测点的垂直运动位移的绝对值小于该第一阈值时该监测点的运动位移的方向为静止。
如上所述的车辆盲区侦测方法,其中,根据该既存物体的运动方向更新该跟踪列表的步骤包括:当以该既存物体的该运动方向为运动位移的方向的该些监测点的数目小于第三阈值时,将该既存物体自该跟踪列表中删除。
如上所述的车辆盲区侦测方法,其中,根据该既存物体的运动方向更新该跟踪列表的步骤包括:删除该既存物体的所有该些监测点中运动位移的方向与该既存物体的该运动方向不同的监测点。
如上所述的车辆盲区侦测方法,其中,根据该既存物体的运动方向更新该跟踪列表的步骤包括:根据该既存物体未被删除的该些监测点得到该既存物体在当前帧画面中的新位置信息;以及根据该新位置信息判定该既存物体在该当前帧画面中是否仍在该侦测范围内,其中,若判定该既存物体不在该侦测范围内,则将该既存物体从该跟踪列表中删除,若判定该既存物体在该侦测范围内,则将该既存物体保留在该跟踪列表中并更新该既存物体未被删除的该些监测点以及该新位置信息。
如上所述的车辆盲区侦测方法,其中,依据该跟踪列表中保留的所有物体在该当前帧画面中的位置信息做出警示判断的步骤包括:检查该跟踪列表中的所有物体与其在该当前帧画面中的位置信息,当该跟踪列表中存在位于警示范围内的物体则发出警示信息,其中该警示范围小于该侦测范围。
本发明具有计算量小、耗时短、侦测灵敏度高、漏报率低等优点,且所侦测的物体不局限于特定类别。
附图说明
图1A为本发明实施例所涉及的车辆及其盲区侦测范围的示意图。
图1B为本发明实施例所涉及的摄影机画面的示意图。
图2为本发明实施例的车辆盲区侦测流程图。
其中,附图中符号的简单说明如下:100~车辆盲区侦测环境;101~车辆;102~标的物;103~预设车辆盲区侦测范围;104~捕获区域。
具体实施方式
图1A为本发明实施例所涉及的车辆及其盲区侦测范围的示意图。如图1A所示,车辆盲区侦测环境100包括一车辆101、一预设车辆盲区侦测范围103(实际上车辆左右两侧皆有侦测范围,图1A仅图示车辆101的右侧盲区侦测范围,以下实施例皆只针对右侧盲区侦测范围进行说明),以及一标的物102。车辆101的右侧后视镜上,装设有一摄影机(未图示),用以撷取一预设车辆盲区侦测范围103的多个帧画面。该摄影机将所撷取的预设车辆盲区侦测范围103的该多个帧画面以有线或无线的方式传送至车辆101内的电子装置的一处理单元(未图示)。该电子装置可以是内嵌式车载设备或外接式车载设备;该处理单元可以是内嵌式车载设备(例如车机系统)或外接式车载设备(例如个人可携式导航装置、智能手机等)内的一处理器,并且依据该摄影机所取得的一当前帧画面,对进入预设车辆盲区侦测范围103的一物体(未图示)进行侦测(detection)。物体可为路上任何可能威胁行车安全的各式车辆、人、障碍物。在另一实施例中,该车辆101可配置一或多个摄影机,其耦接该电子装置。
1.盲区侦测范围的确定
该处理单元需先确定预设车辆盲区侦测范围103的范围。在本实施例中,如图1A所示,该处理单元设定车辆101的侧方宽度w公尺,从车辆101右侧后视镜到其车辆尾部后方h公尺为预设车辆盲区侦测范围103的范围。假设车辆101的右侧后视镜到车辆尾部的距离为L公尺,当物体进入预设车辆盲区侦测范围103的范围时,亦即如图1A所示的宽w公尺、长L+h公尺的区域,则该处理单元会对物体进行侦测。校准人员在确定装设于车辆101右侧后视镜的该摄影机所拍摄画面的垂直线与建筑物垂直线呈平行后,可在车辆101后方离车宽度w公尺、离车辆尾部后方h公尺处放置标的物102。该处理单元将标的物102在画面上的坐标标记为A,并且将车辆尾部在画面上与标的物102处于同一水平线的点标记为B,则线段AB即为一监测线段。
在另一个实施例中,校准人员亦可先将一副模板摆放在路面,使得该处理单元可标定出该模板上特定的点在该摄影机画面中的坐标,由此得到一个实际路面物理坐标和画面上坐标的转换关系。之后校准人员或车辆使用者可以通过该电子装置设定w及h的值,由该处理单元利用坐标转换来从w及h的值算出监测线段AB处于画面上的坐标,因而不须利用该标的物102。
2.摄影机画面预处理
在确定完预设车辆盲区侦测范围103的范围之后,该处理单元会对从该摄影机所输入的画面做预处理,包括对该摄影机所取得的该预设车辆盲区侦测范围103的多个帧画面产生画面序列,并且对该多个帧画面进行灰度化,并缩小或放大画面至合适尺寸,以准备用于后续光流法(optical flow method)计算的一当前帧画面及一至多个先前帧画面。在本实施例中,该处理单元将该多个帧画面调整至300×200像素(此值仅为范例说明本实施例,但本发明并不限定只适用于上述尺寸)。在另一实施例中,若该摄影机所输入的画面本身已完成灰度化,或是其画面大小已是合适尺寸,则该处理单元可不需进行上述灰度化或调整尺寸的预处理动作。
3.侦测当前帧并捕获物体
该处理单元对进入预设车辆盲区侦测范围103的对应的捕获区域104的物体进行侦测,如图1B所示,其中符合捕获(capture)条件的物体将被加入一跟踪列表中。其中,该跟踪列表纪录了在该当前帧画面时,一或多个物体与该些物体的位置信息。举例来说,如图1B的摄影机画面的示意图所示,当物体在该当前帧画面时进入捕获区域104之中,该处理单元会对物体进行侦测,并且将物体在该当前帧画面的坐标的位置信息后续记录在该跟踪列表中。在一实施例中,在该跟踪列表中,各物体是以画面中的多个监测点(即如后面所述的特定像素)的形式记录。
详细来说,该处理单元对进入捕获区域104的物体进行侦测时,首先,该处理单元会在该当前帧画面中设立一捕获区域104,其中该捕获区域104为以图1B中线段AB所形成的该监测线段为底部、以及以一捕获高度为高所构成的矩形范围。在本实施例中,该捕获高度为该当前帧画面中的15像素的高度(此值仅为范例说明本实施例,但本发明并不限定只适用于上述尺寸)。接着,在本实施例中,该处理单元还在该捕获区域104中产生由多个监测点构成的一监测点阵列(未图示),其中该监测点阵列的每一列内每隔3个像素为一个监测点,且该监测点阵列的列与列之间同样相隔3个像素,亦即捕获区域104中水平方向(图1B中的x轴方向)与垂直方向(图1B中的y轴方向)上都是每隔3个像素作为一个监测点,但本发明并不限定于此。
接着,该处理单元通过一光流法计算处理,得出各该些监测点在该当前帧画面中的运动位移。在本实施例中,该处理单元还将该捕获区域104的该监测点阵列划分为多个监测窗口,其中每一该监测窗口中包括部分的该些监测点,并且对每一个监测窗口中的监测点进行一前向运动检查,即检查监测窗口中的所有监测点的运动位移的方向是否都为前移。在其他实施例中,不限定进行光流法计算处理的步骤与将该捕获区域104划分为多个监测窗口的步骤的先后顺序,或两者同时进行亦可。在本实施例中,每一个监测窗口的大小为15×15像素,但本发明并不限定于此。在该前向运动检查中,对于每一监测点在当前帧画面时,通过光流法计算得出的运动位移包含一垂直运动位移(Δy)及一水平运动位移(Δx);若一监测点的Δy>0且|Δy|>第一阈值,则该处理单元判断该监测点的该运动位移的方向为前移;若Δy<0且|Δy|>第一阈值,则该处理单元判断该监测点的该运动位移的方向为后退;若|Δy|<第一阈值,则该处理单元判断该监测点的该运动方向为静止。在本实施例中,该第一阈值为0.1像素(此值仅为范例说明本实施例,但本发明并不限定只适用于上述数值)。
接着,该处理单元分别统计每一监测窗口中的所有监测点的运动位移的方向为前移、后退及静止的点数,当该处理单元判断一监测窗口中的所有监测点的该运动位移的方向皆为前移时,则继续对该监测窗口中的所有监测点做一运动位移一致性检查;当该监测窗口中的所有监测点的该运动位移的方向并不是皆为前移时,则不检查该监测窗口中该些监测点的运动位移一致性,并中断对该监测窗口的检查,接着进行对下一个监测窗口中的监测点进行前向运动检查。在该运动位移一致性检查中,该处理单元统计该捕获区域104内的监测窗口的该些监测点在该当前帧画面的垂直运动位移(Δy)及水平运动位移(Δx)的最大值及最小值,分别标记为Max(Δy)、Min(Δy)、Max(Δx)及Min(Δx)。在本实施例中,当该监测窗口中每一列中的各该些监测点的垂直运动位移的最大值与最小值的差小于第二阈值,即当每一列的Max(Δy)-Min(Δy)<第二阈值时,则处理单元判断该监测窗口的该些列中的各监测点的该垂直运动位移是一致的;当该监测窗口中每一行中的各该些监测点的水平运动位移的最大值与最小值的差小于第二阈值,即当每一行的Max(Δx)-Min(Δx)<第二阈值时,则处理单元判断该监测窗口的该些行中的各监测点的该水平运动位移是一致的。在本实施例中,该第二阈值可为1像素(此值仅为范例说明本实施例,但本发明并不限定只适用于上述数值)。如果一监测窗口中的所有监测点满足以上运动位移一致性检查,则处理单元判定有物体经过并占满该监测窗口,也就是说该监测窗口中的所有该些监测点会被处理单元判定为符合捕获条件的物体之一。
4.对先前帧画面中被加入跟踪列表的既存物体进行跟踪运算
在本部分中,该处理单元对画面序列中早于当前帧(即第n帧)画面的一至多个先前帧(即第1,2,…,n-1帧)画面中被侦测而加入该跟踪列表且尚未被删除(详述于后)的一至多个既存物体逐一进行跟踪(tracking)运算以得到该一至多个既存物体在该当前帧画面中的新位置信息,用以确定是否继续将该一至多个既存物体保留在该跟踪列表中。需注意的是,在该当前帧为画面序列中的第一帧(即n=1)的时候,该跟踪列表里不会有既存物体,这时处理单元不进行本部分的步骤。在本实施例中,该处理单元通过一光流法计算处理,得出各既存物体包含的所有监测点在该当前帧画面的运动位移。该处理单元依据该各既存物体包含的所有监测点的运动位移的方向,在该当前帧画面时判断各该既存物体的运动方向。该处理单元首先统计该既存物体中对应各运动位移的方向的监测点的数目,其中既存物体的各监测点的该运动位移的方向的判断方式相同于上述根据监测点的垂直运动位移(Δy)与第一阈值判断监测点的运动位移的方向为前移、后退、或静止的判断方式,故不再赘述。接着,处理单元选取具有最多监测点的运动位移的方向(即前移、后退、或静止)作为该既存物体的运动方向。
在一实施例中,在完成既存物体的该运动方向的判断之后,该处理单元可以进一步确认以该既存物体的该运动方向为运动位移的方向的该些监测点的数目是否大于一第三阈值,以便确认既存物体包含的该些监测点是否具有足够的准确度。当以该既存物体的该运动方向为运动位移的方向的该些监测点的数目小于等于该第三阈值时,表示此时用于记录该既存物体的该些监测点的光流法计算结果已经混乱,该处理单元判定该些监测点的准确度低,并将该既存物体自该跟踪列表中删除,不再跟踪该既存物体。当以该既存物体的该运动方向为运动位移的方向的该些监测点的数目大于该第三阈值时,该处理单元则判断该运动方向确为该既存物体的该运动方向。在一实施例中,第三阈值可以设定为:当该既存物体的该些监测点的总数小于8时,第三阈值设为4;当该既存物体的该些监测点的总数大于8时,第三阈值设为该些监测点的总数除以2。但本发明并不限定于此,亦可根据实际情况及需求作适当调整。
在一实施例中,该处理单元确认监测点准确度之后,可以进一步重新检查该既存物体的所有该些监测点,将该些监测点中运动位移的方向与该既存物体的该运动方向不同的监测点自该跟踪列表中删除,只保留符合该既存物体的该运动方向的监测点。在其他实施例中,处理单元也可以省略上述确认监测点准确度的步骤或是/以及上述重新检查所有监测点的步骤以节省计算时间。
接着,该处理单元依据保留的该既存物体的该些监测点的光流法计算结果得到该既存物体在当前帧画面中的新位置信息,根据该新位置信息判断该既存物体在该当前帧画面中是否还在预设车辆盲区侦测范围103内。若该既存物体不在预设车辆盲区侦测范围103内,则将该既存物体从该跟踪列表中删除;若该既存物体仍在该预设车辆盲区侦测范围103内,则将该既存物体保留在该跟踪列表中并更新该既存物体未被删除的该些监测点以及该新位置信息,以继续跟踪该既存物体。
5.将当前帧中捕获的物体与其位置信息加入跟踪列表
在该处理单元完成上述“3.侦测当前帧并捕获物体”的动作以及“4.对先前帧画面中被加入跟踪列表的既存物体进行跟踪运算”的动作之后,接着将在“3.侦测当前帧并捕获物体”的动作中被判定为符合捕获条件的监测窗口中的所有监测点作为一个物体记录在跟踪列表中,并将该物体的位置信息加入该跟踪列表。
6.做出警示判断
最后,该处理单元再依据该跟踪列表中仍保留的所有物体(包括所有当前帧中捕获的物体与所有未被删除的既存物体)与其在该当前帧画面中的位置信息,用以做出警示判断。在本实施例中,处理单元逐一检查跟踪列表中的所有物体与其位置信息,如果存在位置处于警示范围内的物体则发出警示信息,该处理单元可通过声音、语音警示驾驶员,并可将警示信息同步显示于电子装置的显示屏上。警示范围可以等同于预设车辆盲区侦测范围103,也可以比预设车辆盲区侦测范围103更小,可以根据实际需要来设定。
图2为本发明实施例的车辆盲区侦测流程图。如图2所示,首先,该处理单元需确定预设车辆盲区侦测范围103的范围(S200),确定预设车辆盲区侦测范围103范围的方式已详述于本说明书“1.盲区侦测范围的确定”部分。在其他实施例中,如果预设车辆盲区侦测范围103是事前已预先设定完成的,该处理单元也可以省略本步骤。接着该处理单元依据一当前帧画面,对进入预设车辆盲区侦测范围103的对应的捕获区域104的物体进行侦测(S202),其中符合捕获条件的物体将在后续步骤中被加入一跟踪列表中,其中步骤S202的详细执行方式已揭露于本说明书“3.侦测当前帧并捕获物体”部分。此外,该处理单元对早于该当前帧画面的一至多个先前帧画面中被侦测而加入该跟踪列表中的既存物体进行一跟踪运算以得到该既存物体在当前帧画面中的新位置信息(S204),用以确定是否继续将该既存物体保留在该跟踪列表中(S206),其中步骤S204、S206的详细执行方式亦已揭露于本说明书“4.对先前帧画面中被加入跟踪列表的既存物体进行跟踪运算”部分。之后,该处理单元将在步骤S202中被判定为符合捕获条件的物体记录在跟踪列表中,并将该物体的位置信息加入该跟踪列表(S208),其中步骤S208的详细执行方式已揭露于本说明书“5.将当前帧中捕获的物体与其位置信息加入跟踪列表”部分。最后,该处理单元依据该跟踪列表中仍保留的物体与其在该当前帧画面的该位置信息,用以做出警示判断(S210),其中步骤S210的详细执行方式已揭露于本说明书“6.做出警示判断”部分。该处理单元判断是否对驾驶员提出警示后,再回到步骤202,将画面序列中新一帧画面作为新的当前帧画面,持续对进入预设车辆盲区侦测范围103的物体进行侦测。
该处理单元所执行的上述光流法计算处理,具体可参考现有的许多光流算法,在此不再详细叙述。一般光流算法均可。相对来说,稀疏光流(sparse optical flow)算法更适合本发明(因为其运算速度较快)。然而使用稠密光流(dense optical flow)算法也不影响正确性,只是其会做很多冗余计算,运算速度无法达到实时性的要求。在本实施例中,稀疏光流算法中的LK光流算法(Lucas-Kanade Optical Flow Method)为本发明的光流算法。另外亦可使用Fleet-Jepson光流算法(Fleet-Jepson Optical Flow Method)、Horn-Schunck光流算法(Horn-Schunck Optical Flow Method)等。
值得注意的是,在本实施例中,该处理单元可先依据该摄影机所取得的该当前帧画面,对进入预设车辆盲区侦测范围103的对应的捕获区域104的物体进行侦测(“3.侦测当前帧并捕获物体”部分,图2步骤S202)后,再对该摄影机早于该当前帧画面所取得的一至多个先前帧画面中被侦测而加入跟踪列表的既存物体进行跟踪运算以确定是否继续保留该既存物体(“4.对先前帧画面中被加入跟踪列表的既存物体进行跟踪运算”部分,图2步骤S204、S206)。或者在另一实施例中,该处理单元亦可先对该摄影机早于该当前帧画面所取得的一至多个先前帧画面中被侦测而加入跟踪列表的既存物体进行跟踪运算以确定是否继续保留该既存物体(步骤S204、S206),之后再对进入预设车辆盲区侦测范围103的对应的捕获区域104的物体进行侦测(步骤S202)。在又一实施例中,步骤S204与S206也可以和步骤S202同时独立进行。换句话说,该处理单元所执行的该侦测当前帧并捕获物体的动作与该对先前帧画面中被加入跟踪列表的既存物体进行跟踪运算的动作两者并不冲突,不论执行先后顺序或两者同时独立进行皆可。
通过本发明提供的车辆盲区侦测方法,能够实现对靠近并进入车辆侧边盲区的物体的侦测、跟踪以及警示,并且对于所侦测的物体不局限于特定类别例如汽车,而是可以较为广泛地侦测到汽车、摩托车、自行车或行人等各类移动物体的靠近,是一种普遍适用于各种车型以及驾驶场景的盲区侦测机制。本发明实施例以常见家用小型汽车上使用本发明盲区检测装置及其工作流程为例来说明本发明的解决问题的机制,但是本发明并不限定于只适用家用轿车,以及只部署特定数目的摄影机,其同样可以适用于其他各种车型,以及各种盲区侦测范围和多个摄影机联合侦测的场景。
本发明的车辆盲区检测方法,使用光流法计算处理对特定区域的监测点阵列进行计算,基于监测点阵列的运动位移特征来判断是否有移动物体靠近进入车辆盲区,其具有以下优点:计算量小,耗时短,十分适合车载设备这样的计算能力受局限的应用场景,并能达到实际应用中的实时性需求;不同于现有许多基于计算机视觉处理技术的盲区侦测方法主要只针对汽车类物体,本发明装置及其方法所侦测的物体不局限于特定类别,除了各类大型车以及小型汽车以外,对摩托车;自行车、行人等类别物也可进行有效检测;侦测灵敏度高,漏报率低,通过运动位移特征检查条件中的阈值调节,亦可达到非常低的误报率。
以上所述仅为本发明较佳实施例,然其并非用以限定本发明的范围,任何熟悉本项技术的人员,在不脱离本发明的精神和范围内,可以在此基础上做进一步的改进和变化,因此本发明的保护范围应当以本申请的权利要求书所界定的范围为准。

Claims (10)

1.一种车辆盲区侦测方法,其特征在于,适用于配置于车辆上的电子装置以侦测一侦测范围,该电子装置耦接配置于该车辆上的一或多个摄影机,该方法包括下列步骤:
在该摄影机所取得的当前帧画面中设立捕获区域,并对该当前帧画面中进入所述捕获区域的物体进行侦测,其中符合捕获条件的该物体与该物体的位置信息被加入跟踪列表中;
对该摄影机所取得的早于该当前帧画面的一至多个先前帧画面中被侦测而加入该跟踪列表的既存物体进行跟踪运算以得到该既存物体在该当前帧画面中的新位置信息,并根据该既存物体的该新位置信息与该侦测范围判定是否继续将该既存物体保留在该跟踪列表中;以及
依据该跟踪列表中保留的所有物体在该当前帧画面中的位置信息做出警示判断。
2.根据权利要求1所述的车辆盲区侦测方法,其特征在于,该一或多个摄影机安装在车辆两侧,该侦测范围为车辆两侧从车辆两侧后视镜到车辆尾部后方的监测线段的范围,其中该监测线段为该捕获区域的底部。
3.根据权利要求1所述的车辆盲区侦测方法,其特征在于,该方法还包括:
对该摄影机所取得的多个帧画面产生画面序列,并且对该多个帧画面进行灰度化;以及
调整该多个帧画面至合适尺寸,其中该多个帧画面包括该当前帧画面以及该一至多个先前帧画面。
4.根据权利要求1所述的车辆盲区侦测方法,其特征在于,在该摄影机所取得的当前帧画面中设立捕获区域,并对该当前帧画面中进入所述捕获区域的物体进行侦测的步骤包括:
在该捕获区域中产生由多个监测点构成的监测点阵列,并将该监测点阵列划分为多个监测窗口,其中每一该监测窗口中包括部分的该多个监测点;
通过光流法计算得出各该多个监测点在该当前帧画面中的运动位移;以及
对于各该多个监测窗口,若该监测窗口中所有该多个监测点的运动位移的方向都为前移,则检查该监测窗口中所有该多个监测点的运动位移一致性,否则不检查该监测窗口中该多个监测点的运动位移一致性。
5.根据权利要求4所述的车辆盲区侦测方法,其特征在于,检查该监测窗口中所有该多个监测点的运动位移一致性的步骤包括:
计算该监测窗口中每一列中的各该多个监测点的垂直运动位移的最大值与最小值的差;
计算该监测窗口中每一行中的各该多个监测点的水平运动位移的最大值与最小值的差;以及
若该监测窗口中每一列中的各该多个监测点的垂直运动位移的最大值与最小值的差以及每一行中的各该多个监测点的水平运动位移的最大值与最小值的差皆小于第二阈值,则将该监测窗口中的所有该多个监测点作为符合捕获条件的该物体,并将该物体与该物体的位置信息加入该跟踪列表中。
6.根据权利要求4所述的车辆盲区侦测方法,其特征在于,对该摄影机所取得的早于该当前帧画面的一至多个先前帧画面中被侦测而加入该跟踪列表的既存物体进行跟踪运算以得到该既存物体在当前帧画面中的新位置信息,并根据该既存物体的该新位置信息与该侦测范围判定是否继续将该既存物体保留在该跟踪列表中的步骤包括:
通过光流法计算得出该跟踪列表的该既存物体的所有该多个监测点在当前帧画面中的运动位移;
选取具有最多该既存物体的该多个监测点的运动位移的方向为该既存物体的运动方向;以及
根据该既存物体的运动方向更新该跟踪列表,
其中,对于各该多个监测点:
当该监测点的垂直运动位移大于零且该监测点的垂直运动位移的绝对值大于第一阈值时,该监测点的运动位移的方向为前移;
当该监测点的垂直运动位移小于零且该监测点的垂直运动位移的绝对值大于该第一阈值时,该监测点的运动位移的方向为后退;
当该监测点的垂直运动位移的绝对值小于该第一阈值时,该监测点的运动位移的方向为静止。
7.根据权利要求6所述的车辆盲区侦测方法,其特征在于,根据该既存物体的运动方向更新该跟踪列表的步骤包括:
当以该既存物体的该运动方向为运动位移的方向的该多个监测点的数目小于第三阈值时,将该既存物体自该跟踪列表中删除。
8.根据权利要求6所述的车辆盲区侦测方法,其特征在于,根据该既存物体的运动方向更新该跟踪列表的步骤包括:
删除该既存物体的所有该多个监测点中运动位移的方向与该既存物体的该运动方向不同的监测点。
9.根据权利要求6所述的车辆盲区侦测方法,其特征在于,根据该既存物体的运动方向更新该跟踪列表的步骤包括:
根据该既存物体未被删除的该多个监测点得到该既存物体在当前帧画面中的新位置信息;以及
根据该新位置信息判定该既存物体在该当前帧画面中是否仍在该侦测范围内,
其中,若判定该既存物体不在该侦测范围内,则将该既存物体从该跟踪列表中删除;若判定该既存物体在该侦测范围内,则将该既存物体保留在该跟踪列表中,并更新该既存物体未被删除的该多个监测点以及该新位置信息。
10.根据权利要求1所述的车辆盲区侦测方法,其特征在于,依据该跟踪列表中保留的所有物体在该当前帧画面中的位置信息做出警示判断的步骤包括:
检查该跟踪列表中的所有物体及该所有物体在该当前帧画面中的位置信息,若该跟踪列表中存在位于警示范围内的物体,则发出警示信息,
其中该警示范围小于该侦测范围。
CN201811376433.1A 2018-11-19 2018-11-19 车辆盲区侦测方法 Active CN109263557B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811376433.1A CN109263557B (zh) 2018-11-19 2018-11-19 车辆盲区侦测方法
TW108103250A TWI696905B (zh) 2018-11-19 2019-01-29 車輛盲區偵測方法
US16/278,213 US10977947B2 (en) 2018-11-19 2019-02-18 Method for vehicle blind zone detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811376433.1A CN109263557B (zh) 2018-11-19 2018-11-19 车辆盲区侦测方法

Publications (2)

Publication Number Publication Date
CN109263557A true CN109263557A (zh) 2019-01-25
CN109263557B CN109263557B (zh) 2020-10-09

Family

ID=65189797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811376433.1A Active CN109263557B (zh) 2018-11-19 2018-11-19 车辆盲区侦测方法

Country Status (3)

Country Link
US (1) US10977947B2 (zh)
CN (1) CN109263557B (zh)
TW (1) TWI696905B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598668A (zh) * 2019-09-20 2019-12-20 深圳市豪恩汽车电子装备股份有限公司 机动车盲区检测方法及系统
CN114103802A (zh) * 2020-08-31 2022-03-01 现代摩比斯株式会社 用于车辆的后侧盲点警告系统和方法
CN115158372A (zh) * 2022-07-18 2022-10-11 内蒙古工业大学 一种基于声波的大型梭车避障预警方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220026938A (ko) * 2020-08-26 2022-03-07 현대모비스 주식회사 차량의 후측방 경고 시스템 및 방법
CN112172670B (zh) * 2020-10-19 2022-10-04 广州优创电子有限公司 基于图像识别的后视图像显示方法及装置
CN112277799B (zh) * 2020-10-30 2023-01-06 重庆长安汽车股份有限公司 一种汽车盲区检测报警方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1373720A (zh) * 1999-09-20 2002-10-09 松下电器产业株式会社 驾驶提醒装置
US20060171562A1 (en) * 2005-02-01 2006-08-03 Sharp Kabushiki Kaisha Mobile body surrounding surveillance apparatus, mobile body surrounding surveillance method, control program and computer-readable recording medium
JP2012169826A (ja) * 2011-02-14 2012-09-06 Fujitsu Ten Ltd 画像処理装置、画像表示システム及び画像処理方法
CN102881024A (zh) * 2012-08-24 2013-01-16 南京航空航天大学 一种基于tld的视频目标跟踪方法
CN108198208A (zh) * 2017-12-27 2018-06-22 浩云科技股份有限公司 一种基于目标跟踪的移动侦测方法
CN108280444A (zh) * 2018-02-26 2018-07-13 江苏裕兰信息科技有限公司 一种基于车辆环视图的快速运动物体检测方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US6618672B2 (en) * 1998-10-21 2003-09-09 Yazaki Corporation Vehicle-applied rear-and-side monitoring system
WO2007085950A2 (en) * 2006-01-27 2007-08-02 Imax Corporation Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality
US7908060B2 (en) * 2007-07-31 2011-03-15 International Business Machines Corporation Method and system for blind spot identification and warning utilizing portable and wearable devices
US8027029B2 (en) * 2007-11-07 2011-09-27 Magna Electronics Inc. Object detection and tracking system
TW201009757A (en) 2008-08-29 2010-03-01 Automotive Res & Testing Ct Object position detecting device and method
TWI332454B (en) * 2008-09-10 2010-11-01 Univ Nat Chiao Tung Intelligent vehicle traffic safety supply system
JP5407952B2 (ja) * 2009-06-18 2014-02-05 日産自動車株式会社 車両運転支援装置及び車両運転支援方法
TW201100280A (en) * 2009-06-19 2011-01-01 Automotive Res & Testing Ct Collision warning system for vehicle
GB201014331D0 (en) * 2010-08-27 2010-10-13 Siemens Medical Solutions Automatic identification of disruptive events in pets scans
TW201248517A (en) * 2011-05-20 2012-12-01 Chung Shan Inst Of Science Blind spot vehicle detection system and method
TWM422507U (en) * 2011-08-02 2012-02-11 Shihlin Electric & Eng Corp Blind spot warning system
US10275669B2 (en) * 2015-09-09 2019-04-30 Lightmetrics Technologies Pvt. Ltd. System and method for detecting objects in an automotive environment
TWM552881U (zh) * 2017-08-22 2017-12-11 Chimei Motor Electronics Co Ltd 行車盲區之偵測警示裝置
TWM560413U (zh) * 2018-02-02 2018-05-21 康佑達 車輛後視的即時影像系統
TWM562412U (zh) * 2018-03-29 2018-06-21 Chimei Motor Electronics Co Ltd 車輛之環景偵測系統
US20190362159A1 (en) * 2018-05-23 2019-11-28 GM Global Technology Operations LLC Crowd sourced construction zone detection for autonomous vehicle map maintenance

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1373720A (zh) * 1999-09-20 2002-10-09 松下电器产业株式会社 驾驶提醒装置
US20060171562A1 (en) * 2005-02-01 2006-08-03 Sharp Kabushiki Kaisha Mobile body surrounding surveillance apparatus, mobile body surrounding surveillance method, control program and computer-readable recording medium
JP2012169826A (ja) * 2011-02-14 2012-09-06 Fujitsu Ten Ltd 画像処理装置、画像表示システム及び画像処理方法
CN102881024A (zh) * 2012-08-24 2013-01-16 南京航空航天大学 一种基于tld的视频目标跟踪方法
CN108198208A (zh) * 2017-12-27 2018-06-22 浩云科技股份有限公司 一种基于目标跟踪的移动侦测方法
CN108280444A (zh) * 2018-02-26 2018-07-13 江苏裕兰信息科技有限公司 一种基于车辆环视图的快速运动物体检测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598668A (zh) * 2019-09-20 2019-12-20 深圳市豪恩汽车电子装备股份有限公司 机动车盲区检测方法及系统
CN114103802A (zh) * 2020-08-31 2022-03-01 现代摩比斯株式会社 用于车辆的后侧盲点警告系统和方法
US11854397B2 (en) 2020-08-31 2023-12-26 Hyundai Mobis Co., Ltd. Rear lateral blind-spot warning system and method for vehicle
CN114103802B (zh) * 2020-08-31 2024-04-16 现代摩比斯株式会社 用于车辆的后侧盲点警告系统和方法
CN115158372A (zh) * 2022-07-18 2022-10-11 内蒙古工业大学 一种基于声波的大型梭车避障预警方法
CN115158372B (zh) * 2022-07-18 2023-05-19 内蒙古工业大学 一种基于声波的大型梭车避障预警方法

Also Published As

Publication number Publication date
TW202020585A (zh) 2020-06-01
US10977947B2 (en) 2021-04-13
TWI696905B (zh) 2020-06-21
CN109263557B (zh) 2020-10-09
US20200160717A1 (en) 2020-05-21

Similar Documents

Publication Publication Date Title
CN109263557A (zh) 车辆盲区侦测方法
US8041079B2 (en) Apparatus and method for detecting obstacle through stereovision
EP3382336B1 (en) Stereo camera device
CN107038723B (zh) 棒状像素估计方法和系统
CN112349144B (zh) 一种基于单目视觉的车辆碰撞预警方法及系统
EP3594853A2 (en) Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device
CN108596058A (zh) 基于计算机视觉的行车障碍物测距方法
Zhu et al. Reliable detection of overtaking vehicles using robust information fusion
CN108446622A (zh) 目标物体的检测跟踪方法及装置、终端
CN105930787A (zh) 车辆开门预警方法
JP2013232091A (ja) 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
EP3327625A1 (en) Vehicle image processing method and system thereof
KR102019047B1 (ko) 영상 내 차량 속도 추정 장치 및 방법
CN104574993B (zh) 一种道路监控的方法及装置
CN106546257A (zh) 车距测量方法及装置、车辆相对速度测量方法及装置
US10984264B2 (en) Detection and validation of objects from sequential images of a camera
US10832428B2 (en) Method and apparatus for estimating a range of a moving object
CN106570487A (zh) 物体间的碰撞预测方法和装置
WO2021223116A1 (zh) 感知地图生成方法、装置、计算机设备和存储介质
Meshram et al. Traffic surveillance by counting and classification of vehicles from video using image processing
TW201422473A (zh) 可追蹤移動物體之防撞警示方法及其裝置
KR20120065558A (ko) 관심영역 설정을 이용한 도로상 차량의 검출방법
KR20100066952A (ko) 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
KR101760261B1 (ko) 블랙박스 기능을 갖는 avm 시스템 및 운용 방법
CN102589515A (zh) 一种雾天距离测量方法及装置、距离预警方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant