CN105719311B - 用于检测目标的车辆系统及其操作方法 - Google Patents

用于检测目标的车辆系统及其操作方法 Download PDF

Info

Publication number
CN105719311B
CN105719311B CN201510920731.2A CN201510920731A CN105719311B CN 105719311 B CN105719311 B CN 105719311B CN 201510920731 A CN201510920731 A CN 201510920731A CN 105719311 B CN105719311 B CN 105719311B
Authority
CN
China
Prior art keywords
image
vehicle
target
moving target
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510920731.2A
Other languages
English (en)
Other versions
CN105719311A (zh
Inventor
李圣柱
金敬焕
李赫宰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
INDUSTRY UNIVERSITY COOPERATION
Hyundai Mobis Co Ltd
Original Assignee
INDUSTRY UNIVERSITY COOPERATION
Hyundai Mobis Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by INDUSTRY UNIVERSITY COOPERATION, Hyundai Mobis Co Ltd filed Critical INDUSTRY UNIVERSITY COOPERATION
Publication of CN105719311A publication Critical patent/CN105719311A/zh
Application granted granted Critical
Publication of CN105719311B publication Critical patent/CN105719311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264Parking
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S903/00Hybrid electric vehicles, HEVS
    • Y10S903/902Prime movers comprising electrical and internal combustion motors
    • Y10S903/903Prime movers comprising electrical and internal combustion motors having energy storing means, e.g. battery, capacitor
    • Y10S903/93Conjoint control of different elements

Abstract

本发明公开了一种用于检测目标的车辆系统及其操作方法,识别接近车辆的运动目标并发出警告,系统包括安装在车辆前方或后方的图像输入单元,用于捕捉车辆附近的图像;分析图像以检测接近车辆的运动目标的目标检测单元;用于从界面输出针对来自目标检测单元的运动目标的警告的控制单元。利用背景关键点的运动来提取上一幅图像和当前图像之间的差别图像,以此来检测运动目标;并通过追踪运动状态来发出警告。即使运动目标不具有关键点也很容易被检测到,且基于目标检测的计算量非常小,因此,所产生的工作量降低易于实时处理,并提高了用渐近法确定运动目标的精度,同时通过检测视线盲区来输出对接近的目标的警告,从而提高驾驶方便性和安全性。

Description

用于检测目标的车辆系统及其操作方法
相关申请的交叉引用
本申请要求韩国申请号为10-2014-0184737,申请日为2014年12月19日的韩国专利申请的优先权,其全部内容为所有目的以引用方式结合于此。
技术领域
本发明涉及一种用于检测目标的车辆系统及其操作方法,尤其是一种车辆在道路上行驶时检测附近车辆以发出警告的用于检测目标的车辆系统及其操作方法。
背景技术
近年来,流行一种安装在车辆的系统,通过辅助车辆驾驶,检测周围路况,并提供检测到的周围路况信息,以方便驾驶员驾驶。
在相关技术领域中,JP5083142公开了查找运动目标的关键点,并基于所述关键点检测运动目标的技术方案。
然而,运动目标的关键点存在一个问题:由于目标在运动,目标比背景更难检测和跟踪。此外,当目标没有显示关键点时,很难被检测到。仅靠关键点很难充分表述所述运动目标的相关区域。
US2011-0228985披露了一种基于光流的方案来预估图像的整个运动,由于计算量大而使计算工作量增加。此外,由此产生的处理速度也存在限制。
这种情况通过检测具有特定方向的速度矢量来检测运动区域,但由于没有分析所述对象的运动状态,而确定是否访问所述区域的根据是所述区域面积的变化,也就是说,由于当所述目标的面积随时间增加时所述相应目标被确定为访问对象,实际上处于运动中的目标没有得到反映。
如上所述,在相关的技术中,在检测目标并将所检测到的运动目标反映给驾驶模式时,很难检测到目标,因此需要能更有效地检测运动目标的方案。
发明内容
本发明的目的是提供一种用于检测目标的车辆系统及其操作方法,以有效检测车辆周围的运动目标,并检测接近车辆的目标,从而输出一条路线。
本发明一实施例提供了一种用于检测目标的车辆系统,包括:安装在车辆前方或后方的图像输入单元,用于捕捉所述车辆附近的图像;图像处理单元,用于转换从所述图像输入单元输入的图像;目标检测单元,用于分析所述图像处理单元转换过的图像,并提取所述图像背景中的关键点,以检测接近所述车辆的运动目标;界面单元,包括所述车辆的输入装置和输出信息的输出装置;以及控制单元,用于控制针对即将被所述目标检测单元检测到的运动目标的警告,并从界面输出警告。
所述目标检测单元可从多个所述图像的关键点中提取背景关键点作为背景特征,并追踪连续输入的图像的背景特征的运动状态以进行运动目标检测。
所述目标检测单元可将上一幅图像与当前图像进行对比,使用所述背景特征的运动状态使所述当前图像相对所述上一幅图像弯曲变形,从而产生所述弯曲变形图像和所述当前图像间的差别图像,以检测所述运动目标。
本发明一实施例提供了一种用于检测目标的车辆系统的操作方法,包括:通过分析输入的图像以提取关键点;从所述提取的关键点中提取成为背景的区域的背景特征,并检测所述背景特征的运动状态;对应所述背景特征的运动状态分析所述车辆的运动状态,并检测运动状态与所述车辆的运动状态不同的区域中的运动目标;确定所述运动目标是否接近所述车辆;以及当所述运动目标接近所述车辆时输出警告。
根据本发明的实施例,一种用于检测目标的车辆系统及其操作方法中,由于通过使用背景中关键点的运动状态来预估当前图像的背景图像,并通过使用从当前图像中得到的差别图像来提取和检测接近的目标,使目标检测变得非常容易,并且基于目标检测的计算量相当小,因而降低由此产生的工作量,简化实时处理过程,提高了用渐近法确定运动目标的精度;并在多种环境中检测接近的目标,而无需熟知某一特定目标;同时通过监视盲区针对所述接近的目标发出警告,为驾驶员提供方便,并提高安全性。
本发明的效果不限于上文所述方面,本领域的技术人员可从所附的权利要求的描述中清楚得知文中未提及的其他效果。
附图说明
图1是一个框图,说明本发明一实施例中的一种用于检测目标的车辆系统的控制配置。
图2是一个示例性图,根据本发明一实施例说明所述用来检测目标的车辆系统对接近的目标进行检测的实例。
图3是一个示例性图,根据本发明一实施例说明所述用来检测目标的车辆系统对接近的人体进行检测的实例。
图4是一个示例性图,根据本发明一实施例说明所述用来检测目标的车辆系统提取关键点的实例。
图5是一个示例性图,根据本发明一实施例说明所述用来检测目标的车辆系统根据背景点的运动提取关键点的实例。
图6是一个示例性图,根据本发明一实施例说明所述用来检测目标的车辆系统计算多副图像的差别图像的实例。
图7是一个示例性图,根据本发明一实施例说明所述用来检测目标的车辆系统向接近的移动目标输出警告的实例。
图8是一个流程图,根据本发明另一实施例说明一种用于检测目标的车辆系统的操作方法。
具体实施方式
下文中,参照附图描述根据本发明的示例性实施例的混合动力车辆以及控制混合动力车辆的方法。参考附图,可从下列实施例的描述中清晰得到本发明的各种优点和特征及其实现方法。然而,本发明并不局限于下面披露的实施例,也可以各种不同的方式实施。实施例只是为了完整的公开本发明,并使本领域的普通技术人员完全得知本发明的范围;本发明仅限定于权利要求所述的范围。整篇说明书中的类似参考数字表明类似的元件。
下文中本发明的实施例将参考附图进行描述。
图1是一个框图,说明本发明一实施例中的一种用于检测目标的车辆系统的控制配置。
本发明所述用于检测目标的车辆系统(如图1所示)包括图像输入单元150、图像处理单元160、目标检测单元170、数据单元120、驾驶单元130、界面单元140以及以电子化的方式控制整个车辆操作过程的控制单元110。
所述车辆包括如驱动车辆的引擎或发动机、变速器及类似部件,也可以进一步包括多个传感器,但其描述将在下文省略。
界面单元140包括输入装置(图中未说明),包括多个交换器,供驾驶员操作以输入预定信号,以及输出装置(图中未说明),用于输出电动车辆在当前状态下的信息。此外,界面单元140包括用于驱动的工作装置,如转向盘、油门和刹车。
输入装置包括用于操作的多个交换器、按钮及类似部件,如方向指示器、尾灯、头灯、刷子以及与车辆行驶状态相关的类似部件。
输出装置包括显示信息的显示单元、输出音乐的扬声器、效果声音、警告声音、车辆的仪表板以及各种状态。输出装置输出车辆当前整体运行状况的状态信息,如速度信息,车灯开启状况等。
特别的,车辆出现错误时,输出装置输出对应该错误的警告,并可通过显示单元输出预定图像。在这种情况下,车辆输出的警告形式为警告声音或语音、警告灯光、警告信息及警告图像中的至少一种。
数据单元120根据车辆的行驶状态储存行驶数据、用于确定车辆是否出错的参考数据以及车辆行驶中产生的数据。进一步的,数据单元120储存从图像输入单元150输入并被图像处理单元160图像或运动图像的数据,同时储存目标检测单元170检测到的运动目标信息。
驾驶单元130根据界面单元140的操作装置的输入信息和控制单元110的控制命令来分别控制车辆的零部件运转,使车辆能够根据驾驶员的操作移动和行驶。驾驶单元130根据控制命令直接控制车辆零部件如发动机、变速器和刹车的驾驶状态。
图像输入单元150由安装在车辆的前方和后方的多个摄像头构成,以输入车辆的周边图像。在这种情况下,图像输入单元150包括广角镜头。例如,可使用鱼眼镜头
图像处理单元160转换图像输入单元150输入的图像并产生图像或运动照片数据作为转换过的图像。产生的数据被控制单元110储存在数据单元120中。
目标检测单元170从图像中提取关键点,追踪相应的关键点,以分析图像处理单元160中的数据目标—所述运动目标(目标车辆或人体)的运动状态。
目标检测单元170基于关键点的运动状态预估己方车辆的转动和平行运动要素,并从全部关键点中仅提取背景关键点,并根据预估的转动和平行运动要素来预估其运动状态。目标检测单元170根据网格单元使用背景特征的运动状态使当前图像相对上一幅图像弯曲变形,从而产生弯曲变形图像和当前图像间的差别图像,以检测所述运动目标。
目标检测单元170从差别图像检测出运动目标,并随时间检测所检测到的运动目标的运动状态。目标检测单元170使用运动目标的追踪信息确定所述运动目标是否靠近己方车辆的行驶路线。
当目标检测单元170确定所述运动目标靠近己方车辆的行驶路线时,目标检测单元170向控制单元110中输入确定信息。这种情况下,控制单元110通过界面单元140的输入装置显示所述接近目标的图像,并进一步输出预定的警告声音,使驾驶员能够检测到所述接近目标正在靠近。
这种情况下,目标检测单元170可分为关键点提取单元(图中未说明),运动追踪单元(图中未说明),以及差别图像提取单元(图中未说明)。
控制单元110根据面单元140对交换器的操作控制开启预定的灯光或控制方向指示器的开启或关闭,并对应油门或刹车的操作控制车辆速度,使车辆加速或减速。
控制单元110感知车辆出错,使界面单元140的输出装置输出产生的警告。特别的,当目标检测单元170时,控制单元110控制所感知到的运动目标信息,使其作为警告从界面单元140的输出装置输出。
下文中参考附图描述目标检测单元170检测运动目标的过程。
图2是一个示例性图,根据本发明一实施例说明所述用来检测目标的车辆系统对接近的目标进行检测的实例。图3是一个示例性图,根据本发明一实施例说明所述用来检测目标的车辆系统对接近的人体进行检测的实例。
如图2所示,被安装在车辆前方或后方的图像输入单元150捕捉到的图像由图像处理单元160进行转换。
目标检测单元170分析图像处理单元160的图像数据,以感知接近所述车辆行驶路线的运动目标,如位于己方车辆周围的车辆或人体。控制单元110使针对所感知到的运动目标产生的目标接近警告通过界面单元140发出。
如图2A所示,当己方车辆A在第一方向行驶,运动目标B沿第二方向,如己方车辆A的右侧靠近。例如,当己方车辆从停车场驶出时,在右侧行驶的运动车辆可靠近己方车辆。
如图3A所示,作为运动目标的人体C可靠近己方车辆A。
由于其他车辆位于己方车辆A的左右两侧,不能保证视野而产生盲区。因此,驾驶员可能无法检测到运动目标B或C。
在这种情况下,在车辆前部设置图像输入单元150,用于拍摄包括驾驶员盲区在内的区域的广角照片。
由于图像处理单元160转换拍摄到的区域照片,并输入转换的区域作为为图像数据,并通过界面单元140的输出装置将所述图像输出到屏幕上。
如图2B和3B所示,所述运动目标被拍照并进行显示。
当图像由图像输入单元150输入,之后被图像处理单元160转换时,目标检测单元170分析相应的图像并预估己方车辆A的运动状态,进而确定所述运动目标是否危及己方车辆A的运动,以选择候选的接近目标。
换句话说,目标检测单元170从图像中的多个目标中区别接近己方车辆A运动路线的运动目标B或C,以选择目标。
目标检测单元170最终根据候选目标的属性如连续性、位置等检测到运动目标,对应所述运动目标,控制单元110通过在界面单元140中将运动目标B或C以区别于其他目标显示的方式向驾驶员发送警告,以协助驾驶员安全驾驶。这种情况下,控制单元110使预定警告声音通过界面单元140输出。
这种情况下,通过图像输入单元150输入的图像由于广角视图而弯曲变形,图像处理单元160处理所述图像,以使产生的误差最小化。
当己方车辆A运动时,即使静止的背景元素也存在运动,因此目标检测单元170检测除了产生的所述干扰之外的目标。为了消除己方车辆A运动产生的干扰,己方车辆A的运动通过使用图像中背景元素的运动来预估。
这种情况下,当目标检测单元170预估到图像中产生的运动时,目标检测单元170并不根据所有的图像像素来预估所述运动状态,而只基于关键点来预估背景元素的运动。因此,可以实现快速实时处理。
目标检测单元170只选择极有可能属于背景的关键点,通过使用己方车辆的运动状态选择背景特征,基于所选择的背景特征预估当前背景图像,并计算所预估的背景图像和输入图像之间的差别,以此检测运动目标。
图4是一个示例性图,根据本发明一实施例说明所述用来检测目标的车辆系统提取关键点的实例。
目标检测单元170基于上述关键点来预估运动目标B或C的运动。
如图4所示,目标检测单元170从图像输入单元150连续输入的图像中成为背景的转角或轮廓线提取关键点。
目标检测单元170从输入图像中提取多个关键点,可从第一区域10中提取第一关键点11和第二关键点12,从第二区域20中提取第三关键点21。目标检测单元170可从第一区域10中的停车场天花板的边缘或柱子提取关键点,从第二区域20中停靠的车辆上提取关键点。除了关键点11到13外,还可提取多个关键点。
目标检测单元170预估连续输入的图像中相对所提取的关键点的运动状态。
由于图像被连续输入,将第一次和第二次输入图像进行比较,当图像中的相同关键点互相匹配时,关键点的运动可用直线显示。
这种情况显示,图像背景部分的关键点实际情况下并不运动,但己方车辆运动时,背景相对运动,因此,己方车辆的运动可根据关键点的运动反向预估。当运动对象存在于图像中时,所述直线相对背景特征显示方向相反,因此,可验证相应的目标是移动目标。
第一区域中的第一和第二关键点11和12以点或短线的方式显示,而第二区域20用从关键点延伸的线条展示。
因为第一区域10距离己方车辆很远,并处于己方车辆的前进方向上,第一区域10用点或短线显示,而第二区域20距离己方车辆很近,随着己方车辆的移动,显示该线的方向。
因此,目标检测单元170可预估己方车辆向第一区域10行进的运动状态。
图5是一个示例性图,根据本发明一实施例说明所述用来检测目标的车辆系统根据背景点的运动提取关键点的实例
如上所述,目标检测单元170基于分析得到的运动状态分析己方车辆A的运动及分析运动目标B或C的靠近,以提取接近己方车辆A的目标。
目标检测单元170检测运动中且其背景元素具有不同运动状态的区域,由此在运动目标B或C中提取接近己方车辆A的目标,其中所述不同运动状态由己方车辆A的运动引起。
目标检测单元170使用从图4中追踪到的背景元素中提取的特征(背景特征中的向量运动元素)来预估己方车辆A的运动状态。
背景特征实际上并不移动,但由于己方车辆A的运动,导致图像显示背景特征也在运动。背景特征的运动状态由己方车辆A运动之前和之后图像输入单元150位置或角度的变化来确定。
相应的,目标检测单元170基于图像输入单元150位置或角度的变化确定背景特征在己方车辆A运动之前和之后是否满足极线约束。例如,假定所有背景特征中的多个特征属于背景,多个特征满足极线约束的情况被确定为图像输入单元150的最终位置或角度发生变化。在这种情况下,极线约束作为条件,用一维的方式来处理两台相机拍摄的相匹配图像中的二维问题以及分析其速度或流动性的过程与两相机之间的相对运动相关。
目标检测单元170反复计算这样的过程,排除与己方车辆A具有不同运动状态的特征,由此提高运动状态预估结果的精度。
因此,如图5所示,多个特征的运动状态用直线表示,在这种情况下,排除具有不同运动特点的特征,以区分背景特征。如上图4所示,由于所述特征的运动线根据己方车辆的运动方向和背景的位置而变化,在此基础上预估己方车辆的运动状态。
例如,根据已成为静止背景的特征,如停车线、立杆及停车场图像的各个特征的运动线,来对己方车辆的运动状态进行预估。当从图像的第三区域30中提取立杆的第四特征31时,由于己方车辆的运动所述特征产生运动,形成连接第四特征31和所述特征的运动线33。由于运动线根据己方车辆的运动显示,己方车辆的运动状态根据运动线的方向和长度来预估。
由于第四特征31的运动线33显示左对角线运动,图像的左侧以点或短线的形式显示特征的运动线。可以看出,车辆沿图像左对角线的方向运动。
图6是一个示例性图,根据本发明一实施例说明所述用来检测目标的车辆系统计算多副图像的差别图像的实例。
当包括运动目标的图像与随时间变化的图像进行比较时,产生表示图像之间的差别的区域。因此,目标检测单元170检测表示所述差别的区域,并采用基于所述特征的结果,特别是通过使用背景特征来预估己方车辆运动状态的结果,以分析检测到的区域,由此区别接近己方车辆A的运动目标。背景特征根据网格单元来进行预估。
如图6所示,目标检测单元170从图6A所示的上一幅图像(t-1时刻输入的图像)51及图6B中所示的当前图像(t时刻输入的图像)52提取图6C所示的弯曲变形图像52,由此检测其特征未被检测到的运动目标,也就是其特征未被检测到的目标。进一步的,目标检测单元170通过产生表示弯曲变形图像53和当前图像52间差别的如图6D所示的差别图像54,以此提取运动目标D或E。
在这种情况下,目标检测单元170通过将当前图像52划分成具有预定尺寸的网格单元并获取上一幅图像(t-1时刻输入的图像)51每个顶点的位置,其中四个顶点(网格点)构成一个网格单元,由此捕捉上一幅图像(t-1时刻输入的图像)51中的区域。并将所捕捉到的区域向对应于当前图像52的区域弯曲变形。在这种情况下,使用背景特征的运动状态分别预估网格点的位置。背景特征可以延及上述图4和图5。
由此产生弯曲变形图像53。
由于上一幅图像51作为被网格单元弯曲变形的弯曲变形图像53,成为背景的区域通常有显示,但是所述目标运动的区域可能不会捕捉到通常的弯曲变形结果。当前图像52和弯曲变形图像53之间的差别在相对所述目标运动的区域产生。
也就是说,即使在当前图像52中,上一幅图像51中的运动目标D1或E1以运动目标D2或E2的形式存在,但背景通常显示在弯曲变形图像53中显示,运动目标D3或E3通常由于运动目标的实际运动不能发生弯曲变形。
因此,目标检测单元170生成当前图像52和弯曲变形图像53之间的差别图像54,由此检测相对于目标运动的区域中除了背景之外的运动目标D4或E4。
图7是一个示例性图,根据本发明一实施例说明所述用来检测目标的车辆系统向接近的移动目标输出警告的实例。
相对上述图6D中的差别图像54,目标检测单元170检测像素差值大且像素聚集的区域,作为运动目标D或E存在的区域。
目标检测单元170通过对运动目标D或E存在的区域进行时间追踪,分析目标的运动趋势。
这种情况下,和所述目标的运动趋势一样,所述目标向己方车辆的行驶路线靠近,或在所述行驶路线上行驶,目标检测单元170确定相应目标为接近己方车辆的运动目标。
因此,目标检测单元170在控制单元110中输入运动目标的信息,控制单元110产生相应的警告信号,并通过界面单元140的输出装置输出生成的警告信号。这种情况下,所述警告信号输出的形式可是预定警告声,预定警告灯,预定警告信息及预定警告图像中的至少一种。
控制单元110可以通过显示装置显示所拍摄的图像,将运动目标D或E与图像中的其他区域区分并显示运动目标D或E。
图8是一个流程图,根据本发明另一实施例说明一种用于检测目标的车辆系统的操作方法。
S310:如图8所示,本发明中当图像被拍摄并从图像输入单元150输入时,所述图像由图像处理单元160进行转换。
S320:目标检测单元170分析所述图像以从图像中提取特征.
S330:目标检测单元170从多个特征中区别成为背景的区域的特征,提取成为背景的特征的运动状态,即背景特征。
这种情况下,当目标检测单元170预估图像中产生的运动状态时,目标检测单元170并不根据所有的图像像素来预估所述运动状态,而只基于特征来预估背景元素的运动状态。
S340:基于背景特征的运动状态产生上一幅图像和当前图像之间的差别图像;S350:从所述差别图像中检测运动目标。
对于其特征难于提取的运动目标,弯曲变形上一幅图像和当前图像,之后生成所述弯曲变形图像和当前图像之间的差别图像,以检测上图6中描述的运动目标。
在这种情况下,可以根据背景的运动来预估己方车辆A的运动,且背景特征随着己方车辆A的运动而运动。因此,通过检测其运动状态与所述运动状态不同的区域来检测运动目标。
因此,由于其特征不明的运动目标可基于背景来检测,可以很容易检测到相应的运动目标。
S360:分析所述被检测到的运动目标的运动状态,以确定所述运动目标是否接近车辆。
在这种情况下,目标检测单元170相对与运动目标存在的区域,通过时间追踪对所述目标运动趋势进行分析,当如同所述目标的运动趋势一样,目标靠近己方车辆的行驶路线或在所述行驶路线上行驶时,目标检测单元170确定相应的目标为接近己方车辆的运动目标。
S370:当存在接近所述车辆的运动目标时,控制单元110通过输出装置输出警告。控制单元110可将运动目标接近车辆的情况通过输出装置以图像形式输出显示,并以警告信息、警告声音、警告语音和警告灯等至少一种形式的组合的方式输出警告。
当不存在接近所述车辆的运动目标时,控制单元110使此操作重复执行,以连续监测接近车辆的运动目标,并发出警告。
因此,由于本发明通过使用背景特征对运动目标进行检测,检测运动目标的工作量小,因此,可以实现快速计算;同时由于运动目标的特征不清楚时也使用背景,可以很容易的对运动目标进行检测。
除非明确说明其他情况,上文中的“包含”、“包括”、“具有”等表述,应理解为包含其他部件,不排除进一步包含其他任何部件。
上文参考附图描述了本发明的各实施例,但本发明并不局限于上述特定实施例;本领域的普通技术人员可以对前述各实施例进行各种修改,而不偏离权利要求所保护的本发明的主题内容,且这些修改不应脱离本发明的技术精神或方面单独理解。

Claims (16)

1.一种用于检测目标的车辆系统,包括:
安装在车辆前方或后方的图像输入单元,用于捕捉所述车辆附近的图像;
图像处理单元,用于转换从所述图像输入单元输入的图像;
目标检测单元,用于分析所述图像处理单元转换过的图像,并提取所述图像背景中的关键点,以检测接近所述车辆的运动目标;
界面单元,包括所述车辆的输入装置和输出信息的输出装置;以及
控制单元,用于控制针对即将被所述目标检测单元检测到的运动目标的警告,并从界面输出警告,
其中所述目标检测单元从多个所述图像的关键点中提取背景关键点作为背景特征,并追踪连续输入的图像的背景特征的运动状态以进行运动目标检测,
所述目标检测单元从成为所述图像背景的转角或边缘提取所述背景特征。
2.根据权利要求1所述的系统,其中所述图像输入单元包括广角镜头。
3.根据权利要求2所述的系统,其中所述图像输入单元包括鱼眼镜头。
4.根据权利要求1所述的系统,其中所述目标检测单元基于所述关键点的运动状态估测所述车辆的转动和运动,并从所有关键点中仅提取所述背景关键点作为基于所述车辆的运动状态的背景特征。
5.根据权利要求1所述的系统,其中所述目标检测单元将上一幅图像与当前图像进行对比,使用所述背景特征的运动状态使所述当前图像相对所述上一幅图像弯曲变形得到弯曲变形图像,从而产生所述弯曲变形图像和所述当前图像间的差别图像,以检测所述运动目标。
6.根据权利要求5所述的系统,其中目标检测单元将所述当前图像划分成预定尺寸的网格单元,并按照网格点计算对应于所述网格点的所述上一幅图像的位置,由此使所述上一幅图像的所述网格点构成的区域向所述当前图像对应的区域弯曲变形,其中所述网格点为构成每个网格的四个顶点。
7.根据权利要求6所述的系统,其中所述目标检测单元通过使用所述背景特征的运动状态来计算所述网格点的位置。
8.根据权利要求5所述的系统,其中当所述运动目标接近所述车辆的行驶路线或在所述行驶路线上行驶时,所述目标检测单元从所述差别图像中检测所述运动目标,并追踪所述运动目标的运动状态,以产生所述运动目标接近的警告并输送给所述控制单元。
9.根据权利要求1所述的系统,其中所述控制单元针对所述运动目标以组合的方式产生所述警告,并将产生的所述警告通过所述界面单元输出,其中所述组合为警告声音,警告文字,警告灯及警告图片中的至少一种。
10.一种用于检测目标的车辆系统的操作方法,包括:
通过分析输入的图像来提取关键点;
从所述提取的关键点中提取成为背景的区域的背景特征,并检测所述背景特征的运动状态;
根据所述背景特征的运动状态分析所述车辆的运动状态,并检测运动状态与所述车辆的运动状态不同的区域中的运动目标;
确定所述运动目标是否接近所述车辆;以及
当所述运动目标接近所述车辆时输出警告,
检测所述运动目标是从多个所述图像的关键点中提取背景关键点作为背景特征,并追踪连续输入的图像的背景特征的运动状态以进行运动目标检测,
其中所述背景特征是从成为所述图像背景的转角或边缘提取的。
11.根据权利要求10所述的方法,其中基于所述关键点的运动状态提取所述车辆的转动和运动,并从所有关键点中仅提取所述背景关键点作为基于所述车辆的运动状态的背景特征。
12.根据权利要求10所述的方法,进一步包括:
在随时间变化连续输入的图像中,将上一幅图像与当前图像进行对比;
使用所述背景特征的运动状态使所述当前图像相对所述上一幅图像弯曲变形得到弯曲变形图像;以及
生成所述弯曲变形图像和所述当前图像间的差别图像,以检测所述运动目标。
13.根据权利要求12所述的方法,其中所述当前图像被划分成预定尺寸的网格单元,并计算对应于网格点的所述上一幅图像的位置,以使所述上一幅图像中的所述网格点构成的区域向所述当前图像对应的区域弯曲变形,其中所述网格点为构成每个网格的四个顶点。
14.根据权利要求13所述的方法,通过使用所述背景特征的运动状态计算所述网格点的位置。
15.根据权利要求12所述的方法,进一步包括:
当从所述差别图像中检测到所述运动目标时,追踪所述运动目标的运动状态;以及
当所述运动目标接近所述车辆的行驶路线或在所述行驶路线上行驶时,确定所述运动目标接近所述车辆。
16.根据权利要求10所述的方法,其中警告以组合的方式输出,所述组合为显示所述运动目标的图片,警告铃音,警告语音,警告文字以及警告灯中的至少一种。
CN201510920731.2A 2014-12-19 2015-12-11 用于检测目标的车辆系统及其操作方法 Active CN105719311B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140184737A KR20160075135A (ko) 2014-12-19 2014-12-19 자동차 물체인식 시스템 및 그 동작방법
KR10-2014-0184737 2014-12-19

Publications (2)

Publication Number Publication Date
CN105719311A CN105719311A (zh) 2016-06-29
CN105719311B true CN105719311B (zh) 2018-12-07

Family

ID=56128524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510920731.2A Active CN105719311B (zh) 2014-12-19 2015-12-11 用于检测目标的车辆系统及其操作方法

Country Status (3)

Country Link
US (1) US9950667B2 (zh)
KR (1) KR20160075135A (zh)
CN (1) CN105719311B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108367703B (zh) * 2015-12-25 2021-02-05 日立汽车系统株式会社 前照灯控制装置
JP6786378B2 (ja) * 2016-12-26 2020-11-18 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10332292B1 (en) * 2017-01-17 2019-06-25 Zoox, Inc. Vision augmentation for supplementing a person's view
KR102051324B1 (ko) * 2017-10-31 2019-12-03 주식회사 켐트로닉스 서라운드 뷰 모니터링 시스템
CN108275147A (zh) * 2018-01-25 2018-07-13 浙江吉利汽车研究院有限公司 一种用于车辆泊车的控制方法及其控制系统
CN108407715A (zh) * 2018-03-05 2018-08-17 安徽农业大学 一种汽车安全预警系统及方法
CN109800802A (zh) * 2019-01-10 2019-05-24 深圳绿米联创科技有限公司 视觉传感器及应用于视觉传感器的物体检测方法和装置
CN109801508B (zh) * 2019-02-26 2021-06-04 百度在线网络技术(北京)有限公司 路口处障碍物的运动轨迹预测方法及装置
US11132562B2 (en) * 2019-06-19 2021-09-28 Toyota Motor Engineering & Manufacturing North America, Inc. Camera system to detect unusual circumstances and activities while driving
KR20220033653A (ko) * 2020-09-09 2022-03-17 현대모비스 주식회사 차량의 보행자 충돌 방지 시스템 및 방법
JP2022172928A (ja) * 2021-05-07 2022-11-17 ウーブン・プラネット・ホールディングス株式会社 遠隔監視装置、遠隔監視システム、遠隔監視方法、及び遠隔監視プログラム
US11763497B2 (en) * 2021-10-19 2023-09-19 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for generating simulated datasets for fisheye camera applications

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10251949A1 (de) * 2002-11-08 2004-05-19 Robert Bosch Gmbh Fahrdynamikregelung mit Bildsensorsystem
JP2010278865A (ja) * 2009-05-29 2010-12-09 Mitsubishi Electric Corp 歪補償装置
CN102156995A (zh) * 2011-04-21 2011-08-17 北京理工大学 一种运动相机下的视频运动前景分割方法
EP2369552A1 (en) * 2008-11-19 2011-09-28 Clarion Co., Ltd. Approaching object detection system
JP5083142B2 (ja) * 2008-09-19 2012-11-28 三菱自動車工業株式会社 車両周辺監視装置
CN102917220A (zh) * 2012-10-18 2013-02-06 北京航空航天大学 基于六边形搜索及三帧背景对齐的动背景视频对象提取
CN103609101A (zh) * 2011-06-16 2014-02-26 爱信精机株式会社 车辆周边监视装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US7433494B2 (en) * 2002-09-19 2008-10-07 Denso Corporation Moving body detecting apparatus
JP2008507229A (ja) * 2004-07-19 2008-03-06 グランドアイ,エルティーディー 広角ビデオカメラのズーム機能の自動拡張
JP4650079B2 (ja) * 2004-11-30 2011-03-16 日産自動車株式会社 物体検出装置、および方法
US7518260B2 (en) * 2005-10-04 2009-04-14 Gm Global Technology Operations, Inc. Method and apparatus to monitor vehicular traffic
JP4426535B2 (ja) * 2006-01-17 2010-03-03 本田技研工業株式会社 車両の周辺監視装置
KR100818317B1 (ko) 2006-07-07 2008-03-31 주식회사 피엘케이 테크놀로지 차영상을 이용한 이동 차량 인식 방법
DE102009050368A1 (de) * 2008-10-24 2010-05-27 Magna Electronics Europe Gmbh & Co.Kg Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
JP5833887B2 (ja) 2011-10-27 2015-12-16 東芝アルパイン・オートモティブテクノロジー株式会社 自車移動推定方法および自車移動推定プログラム
WO2013074604A2 (en) * 2011-11-15 2013-05-23 Magna Electronics, Inc. Calibration system and method for vehicular surround vision system
US20130286193A1 (en) * 2012-03-21 2013-10-31 Magna Electronics Inc. Vehicle vision system with object detection via top view superposition
JP6031819B2 (ja) * 2012-05-17 2016-11-24 富士通株式会社 画像処理装置、画像処理方法
KR101396838B1 (ko) 2013-01-24 2014-05-19 전자부품연구원 다수의 모션 모델을 선택적으로 이용하는 영상 안정화 방법 및 시스템
JP6473571B2 (ja) * 2014-03-24 2019-02-20 アルパイン株式会社 Ttc計測装置およびttc計測プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10251949A1 (de) * 2002-11-08 2004-05-19 Robert Bosch Gmbh Fahrdynamikregelung mit Bildsensorsystem
JP5083142B2 (ja) * 2008-09-19 2012-11-28 三菱自動車工業株式会社 車両周辺監視装置
EP2369552A1 (en) * 2008-11-19 2011-09-28 Clarion Co., Ltd. Approaching object detection system
JP2010278865A (ja) * 2009-05-29 2010-12-09 Mitsubishi Electric Corp 歪補償装置
CN102156995A (zh) * 2011-04-21 2011-08-17 北京理工大学 一种运动相机下的视频运动前景分割方法
CN103609101A (zh) * 2011-06-16 2014-02-26 爱信精机株式会社 车辆周边监视装置
CN102917220A (zh) * 2012-10-18 2013-02-06 北京航空航天大学 基于六边形搜索及三帧背景对齐的动背景视频对象提取

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CenSurE特征和时空信息相结合的运动目标检测;张红颖 等;《光学精密工程》;20130930;第21卷(第9期);第2453页 *
基于RDWT与改进SIFT的DT网格运动估计与补偿;谢洪途 等;《计算机应用研究》;20110831;第28卷(第8期);第3131-3133,3144页 *

Also Published As

Publication number Publication date
US20160176345A1 (en) 2016-06-23
US9950667B2 (en) 2018-04-24
KR20160075135A (ko) 2016-06-29
CN105719311A (zh) 2016-06-29

Similar Documents

Publication Publication Date Title
CN105719311B (zh) 用于检测目标的车辆系统及其操作方法
KR102629651B1 (ko) 신경망 이미지 프로세싱을 사용하는 3d 경계 박스들로서의 직접 차량 검출
CN106980813B (zh) 机器学习的注视生成
JP6227165B2 (ja) 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム
CN106485233A (zh) 可行驶区域检测方法、装置和电子设备
JP2010198552A (ja) 運転状況監視装置
CN107808390A (zh) 使用来自单摄像机的数据的对象距离估算
IT201600094414A1 (it) Un procedimento per rilevare un veicolo in sorpasso, relativo sistema di elaborazione, sistema di rilevazione di un veicolo in sorpasso e veicolo
CN105930787A (zh) 车辆开门预警方法
JP2013232091A (ja) 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
CN110472468A (zh) 单目视觉里程计:来自后视相机的车辆的速度和横摆率
KR20170127036A (ko) 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치
JP4609603B2 (ja) 3次元情報表示装置および3次元情報表示方法
JP2007249841A (ja) 画像認識装置
JP2017068700A (ja) 物体検出装置、物体検出方法、及びプログラム
CN105151044B (zh) 车辆辅助驾驶方法及装置
CN109278642A (zh) 车辆倒车安全性映射
Martin et al. Real time driver body pose estimation for novel assistance systems
KR20120067890A (ko) 영상분석장치 및 그 방법
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
JP5695000B2 (ja) 車両周辺監視装置
JP2015067030A (ja) 運転支援装置
JP2020042446A (ja) 情報処理システム、情報処理方法、及び情報処理プログラム
WO2010113253A1 (ja) 3次元情報表示装置および3次元情報表示方法
JP2009169618A (ja) 路側境界面検出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant