CN100471263C - 前视监视设备 - Google Patents

前视监视设备 Download PDF

Info

Publication number
CN100471263C
CN100471263C CNB200510063703XA CN200510063703A CN100471263C CN 100471263 C CN100471263 C CN 100471263C CN B200510063703X A CNB200510063703X A CN B200510063703XA CN 200510063703 A CN200510063703 A CN 200510063703A CN 100471263 C CN100471263 C CN 100471263C
Authority
CN
China
Prior art keywords
vehicle
light stream
vector
image
flow vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CNB200510063703XA
Other languages
English (en)
Other versions
CN1673679A (zh
Inventor
前村高广
池山将弘
杜鲁凯·艾默路拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Motors Corp
Original Assignee
Mitsubishi Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2004091667A external-priority patent/JP4193740B2/ja
Priority claimed from JP2004091666A external-priority patent/JP4259368B2/ja
Application filed by Mitsubishi Motors Corp filed Critical Mitsubishi Motors Corp
Publication of CN1673679A publication Critical patent/CN1673679A/zh
Application granted granted Critical
Publication of CN100471263C publication Critical patent/CN100471263C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/404—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components triggering from stand-by mode to operation mode
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种前视监视设备，而本发明的一个目的是高度准确地检测存在于车辆的前突部分的横向区域中的接近物体来把接近物体的信息通知车内人员。前视监视设备包括一个用来拾取车辆的侧视图像的设置在车辆突出部分的前表面的图像拾取单元；一个用来根据图像计算光流矢量的光流矢量计算单元；一个根据被光流矢量计算单元计算出来的光流矢量中的一个具有沿图像中车辆行驶方向的矢量分量的光流矢量来检测接近物体的接近物体检测单元；和一个用来显示图像和进一步通知检测出接近物体的事实的通知单元。

Description

前视监视设备
技术领域
本发明涉及一个设计得可以显示一个通过前视摄像机获得的拾取图像和进一步从这个拾取图像提取光流矢量的前视监视设备。
背景技术
迄今为止，已经开发了一种技术，其中拾取图像的摄像机定位在车辆的前突(前端)部分使其拾取一个侧视图像(横向区域的右-和/或左-侧图像)，而每个拾取图像(所谓的前视图像)显示在一个监视设备之类的设备上以补充车内人员的窘迫的视野。一般来讲，在这样一种技术中，一个设计来显示拾取图像的监视设备也用来作为一个车内监视器来显示电视图像，、车辆导航图像(车辆导航系统的屏幕显示)等等，当车辆行驶时屏幕上显示电视图像或导航图像，而当车辆接近一个交叉路口或一个丁字路口而暂时停驶时显示器自动切换到前视图像显示。
此外，日本专利No.3287817公开了一个附着到车辆的前端部分的车辆摄像机设备来摄取侧视图像把它显示在车辆内部的监视设备(显示单元)上，其中监视设备按照车辆停驶之前或在车辆到达一个预定的低速运行之前的车辆速度或减速来进行自动接通。这种布置使得比如说在车辆到达交叉路口和司机确认横向的安全条件时监视设备能够在车辆暂时停驶之前被接通来把一个从前端部分来的横向拾取图像放到显示器上，这使得司机能够早早地进行快速而平稳的横向安全确认。另一方面，监视设备在由于交通堵塞引起的车辆缓行状态下保持断开，这可以防止电视图像、导航图像等的干扰。
而且，对于通过这样一个监视设备摄取的拾取图像，已经开发出一种技术来通过使用光流检测一个拾取图像中存在的移动目标。在这种情况下，光流表示一个图像上的二维矢量场，就是一个移动图像中的移动物体的视在矢量场。在这种技术中，比如说，一个可识别为相同物体的点被设置(通过算术运算检测)为在一段预定的时间上拾取的两个相继图像之间的特征点，使得这个特征点的移动(移动方向和移动距离)作为一个矢量来计算(这个矢量是一个光流矢量也被简称作一个流矢量而有时候被称为一个光流)。而且，当特征点和流矢量在拾取图像内的整个区域中进行计算时，诸如图像中的一个移动物体的位置和移动方向之类的信息是可以识别的。
再则，日本专利No.3398934公开了一种进行算术运算来计算一个除了对应于图像中道路外面场景的区域以外的沿车辆行驶方向(前向是车辆行驶方向)的拾取图像的光流的技术。具体来讲，光流的计算是只对于一个包括被从一个图像上的无穷远点到屏幕的低端角隅部分和无穷远点的周边部分所画的直线包围的低端部分的区域而做的。与计算图像的整个区域的光流的情况相比，这可以减少算术运算的处理量并且由于速度增加而缩短了处理时间。
同时，为了使用光流根据在一个相对于车辆的视野横向部分摄取的前视图像来识别诸如一个接近自己车辆的车辆之类的移动物体，如果车辆是在一个停止状态，则没有流矢量出现在物体上(比如说，图像中的背景部分，诸如建筑物、街道树木等)这些物体并不相对于车辆改变其相对位置，而在产生流矢量时，它只产生在真正移动的物体上。这表示移动物体存在于流矢量产生的地方，这样使得能够根据流矢量的有无来准确检测移动物体。
然而，一般来讲，需要前视图像的情况是进入到视线不良的交叉路口或丁字路口的场合，在这种情况下，大多数场合车辆的司机缓驶车辆来查看前视图像以便确认横向安全。这样，在一个车辆移动的状态中，前视图像的角度(合成)本身也在移动，由此产生一个问题就是流矢量甚至产生在构成图像的背景而并不真正移动的诸如建筑物和街道树木之类的物体上，因此背景也被检测为一个移动物体。并且，在角度本身移动的情况下从图像中只提取/检测接近自己车辆的移动物体就有困难了。
还有，在转向盘转动的状态下使车辆前移的情况下，整个前视图像根据车辆的转向半径或转向速度而移动。这就是，存在一个问题就是由于图像拾取摄像机本身的移动使得流矢量产生在整个图像上，这使得由于自己车辆的移动而产生的光流和由于要被检测的真正移动物体而产生的光流处于一种混合状态，使得分别提取/检测这些光流变得困难了。
为了解决这个问题，日本专利3239521公开了在一个设计得根据相对于车辆的前视图像计算光流的移动物体识别设备中计算由于自己车辆的移动而产生的视在光流的技术。在这个技术中，视在光流根据自己车辆的移动方向和到提取光流相关的物体的距离的数据来计算视在光流。而且在这个技术中，移动物体是通过补偿车辆移动对于光流的影响来进行检测的。
然而，这个技术不仅需要诸如车辆行驶速度和偏摆率之类的移动方向数据，而且还需要到被测物体的距离来计算视在光流(就是由于自己车辆移动而产生的光流)，这导致复杂的布置和复杂的算术运算。
而且，比如说，关于通过一个摄像机摄取的拾取图像以拾取前视野或后视野的图像，因为作为移动物体来检测的物体的视在速度是作为自己车辆的行驶速度和物体的行驶速度之差值来计算的，图像拾取是在低于物体的真正移动速度的一个移动速度下进行的，所以在大多数情况下从拾取图像中提取的物体的光流的值变得较小了。
另一方面，在设计得摄取相对于车辆的横向视野的图像的前视摄像机的情况下，图像拾取的物体通常是在自己车辆处于停止或缓驶状态下的行驶着的普通车辆或诸如此类的物体。为了这个缘故，图像拾取是在差不多等于物体的真正行驶速度的行驶速度下进行的(就是，因为自己车辆的行驶速度是低的，在拾取图像上的物体的视在行驶速度并不变得很低)，这往往导致提取较大的光流使得光流算术运算中的算术处理量增加。因此，根据在前视图像中诸如一个接近自己车辆的移动物体的光流的精确识别需要使用高处理能力(处理量)的算术处理单元，这导致整个设备成本的增加。这样，为了根据光流通过一个前视摄像机摄取的拾取图像来检测移动物体，传统问题的一个解决方案是减少算术运算。
发明内容
开发本发明是要消除这个问题，因此本发明的一个目的是提供一个通过使用简单逻辑获得接近车辆的物体的信息从而能够高度准确地检测存在于车辆前端部分的横向位置上的接近物体的前视监视设备。
为了这个目的，按照本发明的一个方面，提供一个前视监视设备，它包括设置在车辆的一个前突部用来拾取车辆的侧视图像的图像拾取装置；用来根据图像计算光流矢量的光流矢量计算装置；用来根据光流矢量来检测接近物体的接近物体检测装置，其中光流矢量具有一个沿图像中车辆行驶方向(或在侧面)的矢量分量，该光流矢量是包括在光流矢量计算装置计算出来的光流矢量中的；和用来显示图像并进一步通知检测出接近物体的事实的通知装置。
这种布置使得能够容易识别从横向接近自己车辆的物体，并进一步使得计算光流的算术处理量减少。而且，这可以防止即使自己车辆慢速行驶时把拾取背景图像的移动误认为是向自己车辆接近的物体，和进一步使得能够精确检测移动物体，从而达到改善检测准确度的目的。因此，可以减少对于向自己车辆接近的错误传达。
更为优选的是，图像拾取装置做得可以拾取车辆的右侧区域和左侧区域的每个侧视图像，光流矢量计算装置做得可以根据被图像拾取装置拾取的车辆横向区域的每个图像来计算光流矢量，和接近物体检测装置做得可以根据一个光流矢量(这个光流矢量具有一个向右的矢量分量，这个向右的矢量分量是包括在被光流矢量计算装置计算出来的左侧区域中的光流矢量中的)和根据一个光流矢量(这个光流矢量具有一个向左的矢量分量，这个向左的矢量分量是包括在被光流矢量计算装置计算出来的右侧区域中的光流矢量中的)来检测接近物体。
这种布置能够容易地检测右侧区域和左侧区域中向自己车辆接近的物体，并进一步使得可以使用简单的控制逻辑来高准确度地检测接近自己车辆的物体。
此外，优选的是，前视监视设备进一步包括用来检测车辆速度的车辆速度传感器，而接近物体检测装置在车辆速度超过一个预设值时暂停检测接近物体。
这种布置能够减少由于自己车辆高速移动而引起的移动物体的误识别和误通知。结果，根据光流检测接近物体的准确度得以改善。
再则，优选的是，前视监视设备进一步包括用来检测车辆的转向角的转向角检测装置，而接近物体检测装置在转向角超过一个预设值时暂停检测接近物体。
这种布置可以减少由于在大转向角时引起的对于接近物体的误识别和误通知。结果，根据光流检测接近物体的准确度得以改善。
还有，优选的是，通知装置通知接近物体检测装置中的暂停(停止)检测接近物体的事实。
用来防止误识别的暂停检测接近物体的通知可以提供给车内人员使其注意到接近物体，由此进一步提高安全性。
优选的是，本发明的前视监视设备还包括用来检测车辆的转向方向的转向方向检测装置；用来检测对应于车辆转向状态的参数的转向状态对应值检测装置；和用来根据所述转向方向和所述参数来设定由在侧视图像中相应于车辆的车辆转向所产生的转向光流矢量的转向光流矢量设定装置，其中光流矢量计算装置包括用来从根据图像计算出来的光流矢量中减去设定在转动光流矢量设定装置中的转向光流矢量以进行校正的光流矢量校正装置，和其中接近物体检测装置可以根据一个具有所述图像中沿所述车辆的行驶方向的矢量分量(这个光流矢量包括在被所述光流矢量计算装置中的所述光流矢量校正装置校正的光流矢量中)的光流矢量来检测一个接近物体。
按照本发明，一个由车辆的转向而产生的转向光流矢量根据转向方向和转向状态恰当地计算出来。所以，由于车辆转向引起的光流矢量的校正计算可以简化。
同时由于转向引起的对于接近物体的误识别可以避免。这就提高了根据光流检测接近物体的准确度。
优选的是，转向光流矢量设定装置在水平方向设定一个转动光流矢量的方向和相对于被转向方向检测装置检测出来的转向方向的向外方向并且对应于被转向状态对应值检测装置检测出来的参数值设定转向光流矢量的量值。
这种布置能够容易地计算一个转向光流矢量。而且，用来检测接近物体的计算可以减少和简化。
优选的是，转向状态对应值检测装置检测在车辆转向时的角速度作为对应于车辆转向状态的所述参数。
而且，转向状态对应值检测装置检测车辆的行驶速度和车辆的转向角度作为对应于车辆转向状态的参数。
按照本发明，使用车辆的角速度、行驶速度、转向角等等的参数可以容易地检测出车辆的转向状态来。
此外，前视监视设备还包括用来检测车辆转向方向的转向方向检测装置，其中接近物体检测装置根据一个光流矢量来检测一个接近物体，该光流矢量存在于沿被转向方向检测装置检测出来的车辆的转动向向外方向的横向区域中，并且该矢量具有沿图像中车辆行驶方向的矢量分量，这个矢量是包括在由光流矢量计算装置在所述车辆转向时计算出来的光流矢量中，以及所述接近物体检测装置并不参照存在于沿被转向方向检测装置检测出来的车辆的转向向内方向的横向区域中的光流矢量来检测接近物体。
按照本发明，车辆转向时的光流矢量的校正可以通过根据存在于沿清晰地检测到一个接近物体的转向向外的方向的横向区域内的光流矢量的计算而得到简化。而且，因为无需参照沿接近物体没有被清晰地检测到的转向向内方向的横向区域内的流矢量，误识别可以减少而接近物体的检测准确度可以提高。
优选的是，通知(或报警)装置按照具有沿车辆行驶方向的矢量分量的光流矢量的量值在为数众多的通知模式中进行切换，并在显示图像的同时通知检测到接近物体的事实，或者通知装置按照具有沿车辆行驶方向的矢量分量的光流矢量的数量在为数众多的通知模式中进行切换，并在显示图像的同时通知检测到接近物体的事实。
用这种布置，按照光流矢量的量值或光流矢量的数量在为数众多的通知模式中间进行切换使得能够判定接近物体对自己车辆的风险等级，可以按照风险等级发出有效通知，由此增加了安全性。
附图说明
图1是示出按照本发明的第一实施例的配备了一个前视监视设备的车辆的配置的解说图；
图2是示出作为按照本发明的一个实施例的前视监视设备中的监视显示器的一个例子的显示屏上的内容的解说图；
图3A是用来解释按照本发明的一个实施例的前视监视设备的接近物体检测装置中的算术运算的解说图，它也是一个显示在车辆处于停止状态时产生流矢量的解说图；
图3B是用来解释按照本发明的一个实施例的前视监视设备的接近物体检测装置中的算术运算的解说图，它也是一个显示在车辆向前移动时产生流矢量的解说图；
图3C是用来解释按照本发明的一个实施例的前视监视设备的接近物体检测装置中的算术运算的解说图，它也是一个显示用来只提取一个移动物体的流矢量的方向性范围的解说图；
图3D是用来解释按照本发明的一个实施例的前视监视设备的接近物体检测装置中的算术运算的解说图，它也是一个显示在车辆向右转向时的流矢量的解说图；
图3E是用来解释按照本发明的一个实施例的前视监视设备的接近物体检测装置中的算术运算的解说图，它也是一个显示在车辆向右转向时要被设定的转向流矢量的解说图；
图3F是用来解释按照本发明的一个实施例的前视监视设备的接近物体检测装置中的算术运算的解说图，它也是一个显示在车辆向右转向时要被计算的校正流矢量的解说图；
图4是用来解释按照本发明的第一实施例的前视监视设备中的控制的流程图；
图5是示出按照本发明的一个实施例的前视监视设备的图像拾取区域的解说性的平面图；
图6是示出配备了一个按照本发明的第二实施例的前视监视设备的车辆配置的解说图；
图7是用来解释按照本发明的第二实施例的前视监视设备中的控制的流程图；
图8是示出配备了一个按照本发明的第三实施例的前视监视设备的车辆配置的解说图；
图9是用来解释按照本发明的第三实施例的前视监视设备中的控制的流程图。
具体实施例方式
[第一实施例]
首先，下面要说明按照本发明的第一实施例的前视监视设备。
图1显示一个配备了按照本发明的前视监视设备1的车辆2。车辆2配备了用来拾取相对于车辆2的右侧和左侧横向区域的图像(侧视图)的前视摄像机(图像拾取装置)3、一个用来检测表示车辆2的行驶速度的信号的车辆速度传感器(车辆速度检测装置)4、一个用作操作每个前视摄像机3的开关的前视摄像机开关6、一个由车内人员操纵的用来检测表示转向盘的转向角(或转向盘的方向舵角)的信号的转向角传感器(转向角检测装置)7、一个电子控制单元(ECU)10和一个用来显示通过每个前视摄像机3拾取的图像的监视器(通知措施)5。
前视摄像机3成对地设置在车辆的前突(前端)部位的右侧和左侧端部，并能同时拾取车辆2的右侧和左侧区域(横向视野)的图像。
监视器5可以显示通过前视摄像机3拾取的右侧和左侧图像。在这个实施例中，如图2所示，一个相对于车辆2的右侧图像显示在监视器屏幕的右半区域上，同时，车辆的左侧图像显示在监视器屏幕的左半区域上。因此，车内人员可以同时确认相对于车辆2的右侧和左侧图像。
在这个实施例中，如图5所示，通过右面和左面前视摄像机3拾取的区域是沿车辆2的宽度方向的右侧和左侧区域，而前视摄像机3指向相对于车辆2的行驶方向的垂直方向的略为向前位置。所以，在车辆2的左侧图像中，车辆2的行驶方向成为图像中的右面方向，而在右侧图像中，车辆的行驶方向成为图像中的左面方向。而且，如图2所示，在左侧图像中，显示了一辆车辆41在车辆2的前方路面上正在接近车辆2使其在图像中向右移动时放大起来，而在右侧图像中，显示了车辆42在车辆2的前方路面上正在接近车辆2使其在图像中向左移动时放大起来。
车辆速度传感器4做得可以检测车轮旋转速度的信息并且还把它送到ECU10。类似地，转向角传感器7检测由车内人员操纵的转向盘的转向角信息并且还把它送到ECU10。ECU10设计得可以计算作为输入的车轮旋转速度信息的函数的车辆2的行驶速度V并且还根据转向角信息来计算转向盘的转向角θ。
前视摄像机开关6用来在前视摄像机3的操作的通/断之间切换，当前视摄像机开关6置于断开状态时，前视摄像机3被置于不工作状态。而在前视摄像机开关6置于接通状态时，只要保持着预设的条件(前视摄像机工作条件)前视摄像机就投入工作。
前视摄像机工作条件表示，比如说，在ECU10中计算出来的车辆2的行驶速度、V低于预先设定的速度V0(对应于一个相当低速状态，比如说5km/h)，和转向盘的转向舵角θ小于预先设定的θ0(就是，转向盘的转向状态接近于中性状态)。
就此而论，虽然在前视摄像机3工作时监视器5显示拾取图像，在前视摄像机3不工作时它可以作为车内的普通设备来显示诸如电视图像或车辆导航图像之类的不同图像。
更具体来讲，在正常行驶中，前视摄像机开关6处于接通状态而电视图像或导航图像正在连续地显示，当车辆2进入一个交叉路口或丁字路口时，前视摄像机3在车辆速度下跌到低于预设速度V0而转向舵角θ小于预先设定的θ0时自动投入工作使得监视器上显示出右侧和左侧图像。换句话说，从电视图像或导航图像切换到右侧和左侧图像的切换是自动进行而无需车内人员关注的。而且，在转向舵角θ等于或大于预设角度θ0或如果行驶速度V等于或大于预设速度V0时，前视摄像机3不投入工作而监视器5继续作为一个车内普通监视器来显示电视图像或导航图像。
预定速度V0和预定角度θ0的值是考虑到由前视摄像机3拾取的拾取图像的背景部分中的流矢量的量值而设定的，这在下面要说明的。
而且，在前视摄像机开关6置于断开状态的情况下，即使上述前视摄像机工作条件得到满足，也可以禁止前视摄像机3的工作。
ECU10计算由前视摄像机3拾取的右侧和左侧图像中每个的光流来检测接近车辆2的移动物体。ECU10是由一个用来计算拾取图像光流的光流计算单元(光流矢量计算装置)11、一个用来根据在光流计算单元11中计算出来的光流来检测接近自己车辆的物体的接近物体检测单元(接近物体检测装置)12和一个用来输出这些计算和检测结果的输出单元13组成的。在下面的说明中，每个光流矢量被简称为“流矢量”，而这些流矢量的集合体被称为“光流”。
光流计算单元11做得可以个别地计算由前视摄像机3拾取的右侧和左侧图像的光流，和一个左侧区域光流计算单元11A计算左侧图像的光流(就是，图2中左半区域中的图像)，而一个右侧区域光流计算单元11B计算右侧图像的光流(就是，图2中右半区域中的图像)。为了计算光流，采用了一个方法，其中对应于相同物体的点被计算(通过算术运算检测出来)作为由前视摄像机3拾取的图像的两个相继图像之间的特征点用以流矢量来计算特征点的移动方向和特征点的移动距离。而且，流矢量的计算是遍及拾取图像的整个区域的，使得诸如图像中一个移动物体的位置和移动方向之类的信息得以识别。
接近物体检测单元12做得可以根据在光流计算单元11中计算出来的流矢量来检测一???个接近车辆2的物体。具体地说，在右侧和左侧图像中，接近自己车辆2的物体根据一个具有沿(相对于)车辆2的行驶方向的梯度或斜率的流矢量来检测。比如说，在左侧图像的情况下，一个具有向右矢量分量的流矢量从图像中提取出来，在右侧图像的情况下，一个具有向左矢量分量的流矢量从图像中提取出来。而且，作出这样一个判定，提取的流矢量是由一个接近车辆2的物体所产生的流矢量(就是，具有流矢量的移动物体，一个接近自己车辆2的物体)，由此识别出接近物体。
就是，虽然仅仅使用光流来识别移动物体难以作出判定是否有一个移动物体正在接近自己车辆，在这个实施例中，接近物体检测单元12从被光流计算单元11识别出来的移动物体中根据其存在的区域及其方向来提取和选择一个正在接近自己车辆的物体的流矢量，从而识别它。由此，接近物体检测单元12识别出可以构成对自己车辆2危险的移动物体。
而且，当接近物体检测单元12已经检测出一个接近自己车辆的物体时，输出单元13在监视器5上显示检测出接近物体的事实，并且借助于声音或语音之类把这个事实通知车内人员。在这种情况下，输出单元13根据由接近物体检测单元12提取的和具有沿车辆2的行驶方向的梯度的流矢量的量值和数量而在为数众多的通知模式中间进行切换。输出单元13还在检测出一个接近物体时显示一个图像并且通知车内人员。
就是，关于具有沿车辆2的行驶方向的梯度的流矢量的量值，当流矢量较大时，即使产生这个流矢量的接近物体离开自己车辆2还有一段距离，它对于自己车辆2可能很危险，因为它以高速接近自己车辆2。另一方面，即使移动物体没有以高速接近自己车辆2，在它存在于自己车辆的附近时，该移动物体仍然可能很危险。在这种情况下，具有沿车辆2的行驶方向的梯度的流矢量也是较大的。
因此，接近物体对于车辆2的风险等级随着具有沿车辆2的行驶方向的梯度的流矢量量值的增大而增大，因此，按照风险等级在为数众多的通知模式中间进行切换，和进行相应的屏幕显示和通知。
同样地，当存在许多接近自己车辆2的物体或如果一个接近物体存在于车辆2的附近时，具有沿车辆2的行驶方向的梯度的流矢量的数量增加起来。因此，接近物体对于车辆2的风险等级随着流矢量数量的增加而增加，因此按照风险等级在为数众多的通知模式中间进行切换，并进行显示和通知。
在这个实施例中，输出单元13有包括一个“低风险通知模式”和一个“高风险通知模式”的多个通知模式，并且根据由接近物体检测单元12检测出来的一个接近物体的流矢量的数量和量值而在这些通知模式中间进行切换。
就是，当一个具有沿车辆2的行驶方向的梯度的被提取的流矢量的量值超过一个预先设定的预设值或者当具有沿车辆2的行驶方向的梯度的被提取的流矢量的数量超过一个预先设定的预设值时，输出单元13就设定在“高风险通知模式”。在其他情况下，它设定在“低风险通知模式”。
在“低风险通知模式”中，输出单元13使用一个屏幕上的箭头显示由接近物体产生的流矢量之一，并使用语音(比如说，宣布“警惕周围物体”等)通知检测到接近物体的事实。
此外，在“高风险通知模式”中，输出单元13在屏幕上着重显示(比如说，改变亮度和色调)对应于由接近物体检测单元12检测出的接近物体的区域。还有，输出单元13使用箭头显示所有接近物体的流矢量，并通过语音把高风险的事实通知车内人员(比如说，宣布“警惕周围物体”等)。
顺便说来，当前视摄像机工作条件不再保持时(V≧V0，或θ≧θ0)时，输出单元13也把这个事实通知车内人员。
按照本实施例的前视监视设备1是这样构造和按照图3的流程图来执行下列控制的。这个工作流程在ECU10中始终以一个预定周期(比如说，与前视摄像机3的图像拾取周期同步的周期)来执行的。
在工作流程图中，步骤A10到A30是作为光流计算的初始步骤而实施的，它们要判定前视摄像机开关6是否置于接通状态。
首先，在步骤A10中，判定前视摄像机开关6是否置于接通状态。如果是，则工作流程前进到步骤A20。如果断开状态，则工作流程结束。接着，在步骤A20中，要判定车辆的行驶速度V是否低于预定速度V0。如果V<V0，则工作流程进行到步骤A30。另一方面，如果V≧V0，则工作流程结束。在步骤A30中，要判定转向盘的转向舵角θ(转向盘的转向角)是否小于预定角度θ0。如果θ<θ0，则工作流程进行到步骤A40。如果θ≧θ0，则工作流程结束。
就是，在每个前视摄像机3处于不工作状态时，工作流程终止而不进行到步骤A40后续的步骤。换句话说，工作流程仅当前视摄像机2投入工作时才进行到步骤A40后续的步骤。
在步骤A40中，光流计算单元11个别地计算由前视摄像机拾取的右侧和左侧图像中的特征点，并在步骤A50中，用所有的特征点来计算流矢量。就是，在这种情况下，一个移动物体在右侧和左侧图像的每个图像中被识别出来。
接在此步骤之后，在步骤A60中，接近物体检测单元12作出判定是否步骤A50中计算出来的所有流矢量的每一个具有沿车辆2的行驶方向(或在其一侧)的矢量分量。对于车辆左侧图像上的流矢量，要判定是否在图像中它有一个向右的矢量分量，而对于车辆右侧图像上的流矢量，要判定是否在图像中它有一个向左的矢量分量。就是，在这种情况下，在步骤A50中识别的移动物体中接近车辆2的移动物体(接近物体)在与其他物体分离的状态下被识别出来。
同时，在没有检测出具有沿车辆2的行驶方向的矢量分量的流矢量的情况下，这表示不存在接近物体，因此，工作流程遂告终止。另一方面，如果上述流矢量被检测出来，工作流程进行到步骤A70。
在步骤A70中，输出单元13在监视器5上显示识别出接近物体的事实并通过语音通知车内人员。在这种情况下，为了在输出单元13中通知车内人员，按照在步骤A60中检测出的具有沿车辆2的行驶方向的矢量分量的流矢量的量值和数量来切换通知模式。
在步骤A60中检测出的接近物体的流矢量中存在一个具有大于预先设定的预设值的量值的流矢量或接近物体的流矢量的数量超过预先设定的预设值时，输出单元13设定在“高风险通知模式”来着重在屏幕上显示一个对应于接近物体的区域，并在屏幕上使用箭头显示所有接近物体产生的流矢量和通过语音把高风险的事实通知车内人员。
而且，在步骤A60中检测出的接近物体的流矢量中不存在一个具有大于预先设定的预设值的量值的流矢量或接近物体流矢量的数量没有达到预先设定的数量时，输出单元13设定在“低风险通知模式”并使用箭头在屏幕上显示由接近物体产生的一个流矢量，和通过语音把检测出接近物体的事实通知车内人员。
上述的控制提供了下列具体效果。
在一个如图5所示的丁字路口处，车辆2在确认横向安全的条件下试图进入一条干线道路的情况下，当车辆2的前视摄像机开关6被切换到接通状态时，如果车辆2在干线道路之前降低了行驶速度使得它低于预定的速度V0，则前视摄像机3自动投入工作来在监视器5上显示右侧和左侧图像。这使得右侧和左侧图像能够自动显示在监视器5上而无需车内人员特意去切换监视器5上的图像。而且，回应前视摄像机3的运作，在ECU10中启动了拾取图像中的光流的计算。
更有，在车辆2停止在一个如图5所示的位置的情况下，因为前视摄像机3的位置是处于如图3A所示的固定条件的，在拾取图像中的背景部分(这是图像中车辆41和42的背景部分；在这种情况下是不移动的道路、建筑物、栏杆和天空)中不产生流矢量，只有车辆41和42产生的流矢量(在图3中用黑色箭头表示)存在。此时，相对于车辆41和42产生的流矢量的方向，车辆41在左侧图像中产生一个向右矢量分量，就是，它形成图像中沿车辆2的行驶方向的梯度。另一方面，车辆42在右侧屏幕中产生一个向左矢量分量，并形成图像中沿车辆2的行驶方向的梯度。
因此，接近物体检测单元12能够根据具有在右侧和左侧图像中的沿车辆2的行驶方向的梯度的流矢量检测出作为接近物体的车辆41和42。
此外，在车辆2慢速行驶(行驶速度V<V0)(爬行)在如图5所示的位置时，就是，当车内人员在如图3B所示确认横向安全状态的同时缓慢地向前驾驶车辆2时，由于前视摄像机3的拾取位置的移动，流矢量(在图3B中用空心箭头指出)也出现在拾取图像的背景部分中。而且，车辆41和42产生的流矢量(在图3B中用黑色箭头指出)是作为这样的流矢量呈现的，它们是在车辆2处于停止状态出现的流矢量(就是图3A中用黑色箭头指出的流矢量)和由于前视摄像机3的位置移动而出现的流矢量(就是用空心箭头指出的流矢量的总和。背景部分的流矢量作为具有在车辆2前进时的图像中沿车辆行驶方向的相反方向的梯度的流矢量呈现出来。
因此，虽然从车辆41和42产生的流矢量的量值和方向在车辆2缓慢前驶时是变化的(变形)，如果车辆2以低速缓慢地移动，不发生大的变化，因此，一个梯度出现在沿图像中的车辆2的行驶方向上。而且，即使因为由于接近车辆2，使得车辆41和42产生的流矢量包括图像中沿放大方向的流矢量，相对于车辆行驶方向的梯度变得等效于背景部分的流矢量，就是，沿图像中的垂直方向，对从车辆41和42产生的流矢量的抵消作用也不发生。
此时，如图3C所示，车辆41和42产生的流矢量的方向是每个都具有沿车辆2的行驶方向的一个梯度的方向，就是，一个在左侧区域中向右矢量分量的方向和一个在右侧区域中向左矢量分量的方向。换句话说，在左侧区域中，这是一个具有相对于垂直方向顺时针180。的方向的流矢量(从0时方向到6时方向)，而在右侧区域中，这是一个具有相对于垂直方向反时针180°的方向的流矢量(从6时方向到12时方向)。
还有，接近物体检测单元12可以根据右侧和左侧图像中的具有沿车辆行驶方向的梯度的流矢量来检测作为接近物体的车辆41和42。因此，ECU10的输出单元13输出检测到接近物体的事实给监视器5来警告车内人员。
更有，输出单元13按照接近物体对于自己车辆2的风险等级来切换通知模式，这能够有效地把风险等级通知车内人员，增加了安全性。
顺便说来，在车辆2快速前进的情况下，因为由于前视摄像机3位置移动引起的对应于背景部分的流矢量的增加，可以设想，相对于由车辆41和42产生的流矢量的方向，沿车辆2的行驶方向的梯度在图像中消失了。然而，在这个实施例中，因为车辆2的行驶速度V等于或大于预设速度V0时是暂停的，可以防止一个接近物体的误识别。同样地，因为前视摄像机3的运作在车辆2的转向角θ等于或大于预设速度角度θ0时是暂停的，可以防止由于转向移动引起的一个接近物体的误识别。结果，这提高了根据光流检测一个接近物体的准确度。
此外，即使在前视摄像机3暂停工作的情况下，输出单元13也把这个事实通知车内人员，这可以警告车内人员和提高安全性。
虽然预设速度V0和预设角度θ0的值可以按照实施模式来任意设定，当车辆2移动时，随着车辆的行驶速度V和转向角θ的增加，背景部分的上述流矢量增大起来。因此，为了检测高速的接近物体，即使预设速度V0和预设角度θ0设定在较高值也没有问题。另一方面，为了检测低速的接近物体，要求车辆2处于停止状态。然而，在车辆2移动的情况下，通过利用由车辆41和42(它们是在普通公路上行驶的接近物体)产生的流矢量和连同背景部分(就是按照上述的逻辑)产生的流矢量之间在方向性或指向性上的差异，作为接近物体的车辆41和42可以在有别于背景部分的状态下被识别出来。
如上所述，使用了按照本发明的前视监视设备，即使车辆2处于停止状态，和甚至在低速(V<V0)行驶状态，或甚至在转向角小于预设角度(θ<θ0)的状态，可以很容易可靠地识别一个在车辆横向区域中的接近物体，而背景图像的移动可以避免被误识别为一个接近物体，由此增加了检测接近物体的准确度。而且，在根据光流识别的接近物体中，一个对于自己车辆2具有危险性的接近物体可以通过一个简单的布置来识别，而且为了识别一个接近物体所需的ECU10的算术运算处理量可以减少。更有，可以按照风险等级来发出通知导致安全性的提高。
[第二实施例]
此外，下面要说明按照本发明的第二实施例的前视监视设备。与第一实施例中相同的部件被标以相同的附图标记，为了简明的缘故不再赘述这些部件了。
图6示出了配备了按照本发明第二实施例的前视监视设备21的车辆2。车辆2配备了用来拾取车辆2的右侧和左侧横向区域的图像的前视摄像机(图像拾取装置)3、一个用来检测表示车辆2的行驶速度的信号的车辆速度传感器(转向状态对应值检测装置)4、一个用于操作每个前视摄像机3的开关的前视摄像机开关6、一个由车内人员操纵的用来检测表示转向盘的转向角(或转向盘的转向舵角)的信号的转向角传感器(转向方向检测装置/转向状态对应值检测装置)7、一个用来显示通过每个前视摄像机3拾取的图像的电子控制单元(ECU)10和一个监视器(通知装置)5。
在第二实施例中，ECU10可以根据转向盘的转向角θ的符号来判定车辆2的转向方向是一个向右方向还是一个向左方向。比如说，以转向盘不移动的中性状态为参考，转向舵角θ在向右转动时为正，而在向左转动时为负。
再有，ECU10是由一个可以计算拾取图像中的光流矢量的和配备有一个流矢量校正单元(光流矢量校正装置)15的光流计算单元(光流矢量计算装置)11、一个可以计算由于车辆2的转向引起的转向光流矢量的转向流矢量设定单元(转向光流矢量设定装置)14、一个可以根据在流矢量校正单元15中校正过的光流矢量来检测一个向着自己车辆接近的物体的接近物体检测单元(接近物体检测装置)32和一个可以输出这些计算/检测结果的输出单元13组成的。
转动流矢量设定单元14可以根据从转向盘的转向舵角θ的符号、车辆2的行驶速度和车辆2的转向盘的转向舵角θ定出的车辆2的转向方向来设定一个由于车辆2的转向而在右侧和左侧图像中引起的相对于车辆2的转向流矢量(转向光流矢量)。在这个情况下要被设定的转向流矢量是一个由于车辆2的转向致使每个前视摄像机3的整个拾取图像的移动引起的流矢量，并且，比如说，如图3E所示，它对应于图像的背景部分产生的每个流矢量(用空心箭头指出)。
首先，在由每个前视摄像机3拾取的拾取图像中，在这个情况下要被设定的转向流矢量只相对于在光流矢量计算单元11中计算出来的一个特征点而设定。
其次，转向流矢量的方向设定在相对于车辆2的一个转向方向的向外方向上[在这种情况下，是图像中的水平方向(正横方向)]。比如说，因为当转向舵角θ为正时车辆2向右转向，转向流矢量的方向设定在拾取图像中的左面方向(左面水平方向)。而且，因为当转向舵角θ为负时车辆2向左转向，转向流矢量的方向设定在拾取图像中的右面方向(右面水平方向)。
此外，转向流矢量的量值根据由前视摄像机3拾取的拾取图像中左侧区域和右侧区域中的每一个区域的行驶速度V和转向舵角θ计算出来的车辆的转向速度(转向角速度)唯一地被设定。比如说，在拾取图像的左侧区域中，由于车辆2的转向引起的背景部分的所有的流矢量被设定为具有相同量值的矢量，而矢量的量值被设定使得一一对应于车辆2的转向速度。就是，由于车辆2的转向引起的背景部分(转向流矢量)的流矢量的准确计算需要检测直到组成背景的每个静态物体的距离和相对于前视摄像机3的图像拾取方向的角度，还有，需要计算每个静态物体的转向流矢量。然而，在这个实施例中，转向流矢量可以用上述简单的逻辑来设定。因此，在这个实施例中，只有输入车辆2的转向舵角θ和行驶速度V时，转向流矢量设定单元14才可以全体地设定对应于速度拾取图像的每个左侧和右侧区域的背景部分的所有转向流矢量。流矢量校正单元15从拾取图像的光流矢量减去在转向流矢量设定单元中计算出来的转向流矢量来计算和设定一个校正流矢量(在下列说明中，在流矢量校正单元15中作为校正结果计算出来的流矢量被称为“校正流矢量”)。就是，这提供了一种从通过前视摄像机3拾取的拾取图像中提取的光流中除去一个对应于背景部分的转动流矢量的功能。
接近物体检测单元32可以根据在流矢量校正单元15中设定的校正流矢量来检测一个接近车辆2的物体。具体来说，一个向着自己车辆2的接近物体是根据具有沿车辆2的行驶方向的矢量分量的流矢量来检测的。比如说，在一个左侧图像中，提取一个具有图像中向右矢量分量的校正流矢量，而在一个右侧图像中，提取一个具有图像中向左矢量分量的校正流矢量。而且，要判定提取的校正流矢量是接近车辆2的物体产生的流矢量(就是，从所有具有拾取图像中的流矢量的移动物体中，识别出除去背景部分的接近自己车辆的物体)，由此识别出接近物体。
换句话说，虽然在第一实施例中的接近物体检测单元12具有直接利用在光流计算单元11中计算出来的光流来检测一个接近物体的功能，在这个第二实施例中的接近物体检测单元32具有利用校正光流而不是在光流计算单元11中计算出来的光流本身来检测一个接近物体的功能。
另外，在这个第二实施例中，为了消除在转向流矢量设定单元中设定一个转向流矢量的设定误差，不把通过上述逻辑检测出来的所有的校正流矢量当作由接近自己车辆的物体产生的流矢量，只把那些量值超过一个预先设定的预设值的流矢量当作由接近自己车辆的物体产生的流矢量。
按照第二实施例布置的前视监视设备21按照如图7所示的流程图执行下列控制。
在工作流程中，步骤B10到B30作为计算一个光流的初始步骤来实施，它们要判定是否每个前视摄像机3处于工作状态。
首先，在步骤B10中，要判定前视摄像机开关6是否置于接通状态。如果是，则工作流程进行到步骤B20。如果开关置于断开状态，则工作流程结束。接着，在步骤B20中，要判定车辆的行驶速度V是否低于预设速度V0。如果V<V0，则工作流程进行到步骤B30。如果V≧V0，则工作流程结束。在步骤B30，要判定是否转向盘的转向舵角θ小于预设角度θ0。如果θ<θ0，则工作流程进行到步骤B40。如果θ≧θ0，则工作流程结束。
就是，当每个前视摄像机3处于不工作状态时，工作流程就结束而不进行到步骤B40。换句话说，仅当前视摄像机3投入工作时工作流程进行到步骤B40的后续步骤。
在步骤B40中，光流计算单元11个别地计算由前视摄像机3拾取的右侧和左侧图像中的特征点，而在步骤B50中，用所有特征点来计算流矢量。就是，在这种情况下，一个移动物体在右侧和左侧图像的每个图像中被识别出来。
此后，在步骤B60中，转向流矢量设定单元14根据转向盘的转向舵角θ和行驶速度V设定一个转向流矢量。在这种情况下要被设定的转向流矢量限于在步骤B50中计算出来的特征点附近的流矢量。而且，在步骤B70中，流矢量校正单元15从步骤B50中计算出来的流矢量减去在步骤B60中设定的转向流矢量来计算校正流矢量。就是，在这种情况下，校正流矢量是以步骤B50中计算出来的所有特征点来计算的。
于是，在步骤B80中，接近物体检测单元32要判定是否在步骤B70中计算出来的所有的校正流矢量具有沿车辆2的行驶方向的矢量分量。关于车辆2的左侧图像中的校正流矢量，要判定它是否有一个在图像的向右方向中的矢量分量，而关于车辆2的右侧图像中的校正流矢量，要判定它是否有一个在图像的向左方向中的矢量分量。就是，在这种情况下，从步骤B40中识别出来的移动物体中，一个接近车辆2的移动物体(接近物体)在有别于其他部分的状态下被识别出来。
此时，如果没有检测出一个具有沿车辆2行驶方向的矢量分量的校正流矢量(或者，如果检测出来的校正流矢量的量值小于一个预设值)，就不存在接近物体(或者，物体不在接近中，因为由该物体产生的矢量量值仍然处于检测误差的范围之内)，因此，工作流程就结束。另一方面，在上述流矢量被检测出来的情况下(以及在检测出来的校正流矢量等于或大于预设值时)，工作流程进行到步骤B90。
在步骤B90中，输出单元13在监视器上显示识别出接近物体的事实，并且通过声音或语音把这个事实通知车内人员。在这种情况下，为了从输出单元13通知车内人员，按照步骤B70中检测出的且每个都具有沿车辆2行驶方向的矢量分量的校正流矢量的量值和数量来切换通知模式。
在步骤B60中检测出的接近物体的校正流矢量中检测出一个具有大于预先设定的预设值的校正流矢量，或者由接近物体产生的校正流矢量的数量超过预先设定的预设值时，输出单元13设定在“高风险通知模式”并在屏幕上着重显示对应于接近物体的区域，还要在屏幕上用箭头显示由接近物体产生的所有的校正流矢量并通过声音或语音把高风险的事实通知车内人员。于是，这个工作流程就结束。
另一方面，在步骤B60中检测出的接近物体的校正流矢量中不存在一个具有大于预先设定的预设值的校正流矢量，或者由接近物体产生的校正流矢量的数量没有超过预先设定的预设值时，输出单元13设定在“低风险通知模式”来在屏幕上用箭头显示由接近物体产生的一个校正流矢量并通过声音或语音把检测出接近物体的事实通知车内人员。于是，这个工作流程结束。
上述控制提供了下列具体效果。
在一个情况中，其中在如图5所示的一个丁字路口处，车辆2在确认了横向安全状态的同时试图行驶到一条干线道路中去，当车辆2的前视摄像机开关6置于接通状态时，如果车辆2在干线道路之前降低行驶速度使得它低于预设速度V0，则前视摄像机3自动投入工作来在监视器5上显示右侧和左侧图像。这使得右侧和左侧图像自动显示在监视器5上而无需车内人员特意切换监视器5上的图像。而且，回应前视摄像机3的运作，在ECU10中启动拾取图像的光流计算。
[停车状态]
在一个情况中，其中车辆2在中性转向角状态下停在如图5所示的一个位置，如图3A所示，前视摄像机3的位置是固定的，因此，拾取图像的背景部分不出现流矢量(在图像中车辆41和42的背景部分；在这种情况下，是不移动的道路、建筑物、栏杆和天空)，而只有接近车辆2的车辆41和42产生的流矢量(在图3A中用黑色箭头指出)呈现出来。此时，因为根据转向舵角θ和行驶速度V计算出来的转向速度为零和车辆2是不转向的，转向流矢量的量值设定为零，作为接近车辆2的物体的车辆41和42的每一个产生的流矢量成为一个原封不动的校正流矢量。
在这种情况下，关于校正流矢量的方向(由车辆41和42的每一个产生的流矢量)，车辆41在左侧图像中产生一个向右矢量分量，就是，它形成一个沿图像中车辆2的行驶方向的矢量分量。另一方面，车辆42在右侧屏幕中产生一个向左矢量分量，并且形成一个沿图像中车辆2的行驶方向的矢量分量。
因此，接近物体检测单元32能够根据具有右侧和左侧图像中沿车辆2的行驶方向的矢量分量的流矢量来检测车辆41和42。
[转向状态]
而且，在一个情况中，其中车辆2从图5所示的位置以低速(行驶速度V<V0)向右转向，就是，如图3D所示，当车内人员在确认横向安全状态和缓慢地向前行驶车辆2的同时向右转向车辆2时，由于前视摄像机3的图像拾取位置的移动使得即使在拾取图像的背景部分中也呈现流矢量(在图3D中用空心箭头指出)。而且，车辆41和42产生的流矢量(在图3D中用黑色箭头指出)作为在车辆2处于停止状态时产生的流矢量(在图3A中用黑色箭头指出)和由于前视摄像机3的位置移动引起的由背景部分产生的流矢量(这里用空心箭头指出)的总和出现出来。更有，背景部分上的流矢量作为每个具有一个相对于图像中的车辆的左面方向中的矢量分量的流矢量呈现出来。
此时，因为车辆2是向右转向的，转向流矢量设定单元14把转向流矢量的方向设定在图像中的左面方向，并把转向流矢量的量值根据从转向舵角θ和行驶速度V计算出来的转向速度相对于拾取图像的右侧和左侧区域一一对应地设定(见图3E中的白色箭头)。而且，流矢量校正单元15从如图3D所示的流矢量中减去如图3E所示的转向流矢量，这样，计算校正流矢量如图3F所示。
此时，如图3F所示，由车辆41和42产生的校正流矢量的方向是具有图像中沿车辆2的行驶方向的矢量分量的矢量的方向：在左侧区域中，它是一个向右矢量分量所在的方向，而在右侧区域中，它是一个向左矢量分量所在的方向。换句话说，在左侧区域中，它表示一个沿相对于垂直方向顺时针180°转动的方向的流矢量，在左侧区域中，它表示一个沿相对于垂直方向反时针180°转动的方向的流矢量。
因此，接近物体检测单元32能够根据每个具有沿车辆的行驶方向的或在其一侧的矢量分量的流矢量来检测作为接近物体的车辆41和42。而且，ECU10的输出单元13把检测出接近物体的事实输出到监视器5并警告车内人员。
此外，输出单元13按照接近物体对于自己车辆2的风险等级来切换通知模式，这使得能够把危险情况有效地通知车内人员，提高了安全性。
在这方面，因为当车辆2突然剧烈向前行驶时前视摄像机3的位置移动引起的背景部分的流矢量增加，虽然可以设想沿车辆2的行驶方向的矢量分量并不在图像中沿车辆41和42的每个产生的流矢量的方向呈现，在这个实施例中前视摄像机3的运作可以在车辆2的行驶速度V超过预设值V0(0<V0)时暂停工作使得可以防止接近物体的误识别。同样地，因为前视摄像机3的运作可以在车辆2的转向舵角θ超过一个预设值θ0(0<θ0)，转向移动并不引起接近物体的误识别。这就提高了根据光流检测接近物体的准确度。
而且，即使因为不满足前视摄像机的运作条件而前视摄像机3暂停运作，输出单元13也会把这个事实通知车内人员以示警告，这就增加了安全性。
虽然预设速度V0和预设角度θ0可以按照实施模式来任意设定，在车辆2转向时，随着车辆的行驶速度V和转向舵角θ的增加，背景部分的上述流矢量变得更大。因此，为了检测高速的接近物体，即使预设速度V0和预设角度θ0设定在较高值也没有问题。另一方面，为了检测低速的接近物体，要求车辆2处于停止状态。然而，在车辆2处于转向状态下，使用车辆41和42(它们是行驶在一般公路上的接近物体)产生的流矢量和与连同背景部分(就是通过上述的逻辑)产生的流矢量之间在方向性上的差异，作为接近物体的车辆41和42可以在有别于背景部分的状态下被出来。
如上所述，利用按照本发明第二实施例的前视监视设备21，即使车辆2处于转向状态，一个由于车辆2转向而呈现的转向流矢量可以根据车辆2的转向方向和转向状态来设定，由此简化了有关自己车辆2的转向的校正计算，就是说，转向流矢量设定单元14中的算术运算。此外，这个转向流矢量的方向是沿转向方向的向外方向设定的，而它的量值是根据对应于转向状态的参数(转向舵角θ和行驶速度V)而唯一地设定的，这就简化了算术运算和减少了算术处理量。
此外，使用上述逻辑可以很容易和可靠地识别车辆转向时的横向区域中的接近物体，而背景部分的移动可以避免被误识别为接近物体，这样就提高了接近物体的检测准确度。还有，在要根据光流来识别的移动物体中，对于自己车辆2具有危险性的接近物体可以用一个简单的布置来加以识别，ECU10识别接近物体的算术处理量可以进一步减少。还有，按照风险等级来发出通知可以改善安全性。
顺便说来，关于在转向流矢量设定单元14中的转向流矢量设定方法，虽然在上述第二实施例中，转向流矢量的方向是设定在车辆2的转向方向的向外方向上的(在这种情况下，一个在图像中的右面正横方向)，以及转向流矢量的量值是根据转动速度(转动角速度)的值来设定的，但本发明不限于这种设定方法。比如说，转向流矢量的方向按照车辆2的转向速度的度数来校正，或者预设增益按照拾取图像中的一个特征点的位置来设定从而把根据车辆2的转向速度设定的一个矢量的量值乘以预设增益得出的值设定为转向流矢量，这两种方法都是可取的。
此外，虽然在上述第二实施例中具有相同量值的转向流矢量设定在拾取图像的右侧和左侧区域中，但没有必要把要在转向流矢量设定单元14中设定的转向流矢量的所有的量值相对于拾取图像的右侧和左侧区域设定在相同的值，比如说，它们根据从按照拾取图像上的位置从行驶速度V和转向舵角θ计算出来的车辆转向速度(转动角速度)来设定，这种方法也是可取的。
还有，虽然上述第二实施例中把车辆2的行驶速度V和转向盘的转向舵角角度θ用作对应于车辆2的转向状态的参数，但是，比如说，把车辆2的转向角速度用作对应于车辆2的转向状态的参数也是可取的。在这种情况下，提供一个角速度传感器或一个陀螺用来检测车辆2的角速度。而且，这些参数可以让车内人员来选择设定。
如上所述，一个根据对应于车辆2的转向方向和转向状态的参数的设定方法可以由车内人员来选择决定。
还有，虽然在上述第二实施例中接近物体检测单元32做得可以根据校正流矢量中的图像中的沿车辆2行驶方向的矢量分量来检测接近物体，但也可以使用一种不同的逻辑来检测接近物体。接近物体检测方法也可以由车内人员选择。
[第三实施例]
此外，下面要说明按照本发明的第三实施例的前视监视设备。与第一和第二实施例中相同的部件被标以相同的附图标记，为了简明的缘故不再赘述这些部件了。
图8显示配备了一个按照本发明第三实施例的前视监视设备31的车辆2。车辆2配备了用来拾取车辆2的右侧和左侧横向区域的图像的前视摄像机(图像拾取措施)3、一个用来检测表示车辆2的行驶速度的信号的车辆速度传感器4、一个用作操作每个前视摄像机3的开关的前视摄像机开关6、一个由车内人员操纵的用来检测表示转向盘的转向角(或转向盘的转向舵角)的信号的转向角传感器(转向方向检测装置/转向状态对应值检测装置)7、一个用来显示通过每个前视摄像机3拾取的图像的电子控制单元(ECU)10和一个监视器(通知装置)5。
ECU10可以计算由前视摄像机3拾取的右侧和左侧拾取图像中每个图像的光流来检测一个接近自己车辆的移动物体，该ECU是由一个可以计算拾取图像中的光流矢量的光流计算单元(光流矢量计算装置)11、一个可以根据在光流计算单元11中计算出来的光流矢量来检测一个向着自己车辆接近的物体的接近物体检测单元(接近物体检测装置)52和一个可以输出这些计算/检测结果的输出单元13组成的。
接近物体检测单元52可以根据在光流计算单元11中计算出来的流矢量来检测一个接近车辆2的物体。然而，在这种情况下，接近物体检测单元52做得可以仅仅参照相对于由一个转向角传感器检测出的车辆2的转向方向的向外方向的横向区域中的流矢量来检测接近物体。
具体来说，首先，在一个情况中，其中车辆2的转向舵角θ是正的，并且大于预先设定的参考值θ1(θ1<θ0)(就是，在向右转向速度较高时)，接近物体的检测是根据车辆2的左侧区域中的流矢量做出的。就是，在左侧区域的图像中，提取出一个具有向右矢量分量的流矢量，并且把这个提取出的流矢量判定为由接近车辆2的物体产生的流矢量(就是，在每个具有流矢量的移动物体中，一个接近自己车辆2的物体)，这样来识别接近物体。此时，不参照车辆2的右侧区域中的流矢量。就是，接近物体的检测不是关于右侧区域作出的。
另一方面，如果转向舵角θ是负的，并且小于预先设定的参考值—θ1(就是，在向左转向速度较高时)，接近物体的检测是根据车辆2的右侧区域中的流矢量做出的。就是，在右侧区域的图像中，提取出一个具有向左矢量分量的流矢量，并且把这个提取出的流矢量判定为由接近车辆2的物体产生的流矢量(就是，在每个具有流矢量的移动物体中，一个接近自己车辆2的物体)，这样来识别接近物体。此时，不参照车辆2的左侧区域中的流矢量。就是，接近物体的检测不是关于左侧区域作出的。
而且，在一个情况中，其中车辆2的转向舵角θ小于参考值θ1(就是，在转向速度较低时)，接近物体的检测是根据车辆2的右侧和左侧区域中的流矢量做出的。
接近物体检测单元52这样布置的理由如下。就是，在一个情况中，其中可以认为诸如一个接近自己车辆2的车辆之类的接近物体通过使用光流从一个相对于车辆2的右侧和左侧区域的前视图像中识别出来，因为，假定自己车辆2处于停止状态，相对于自己车辆2的相对位置不变的物体并不产生流矢量，一个移动物体存在于呈现流矢量的位置处使得移动物体可以根据流矢量的有无而可靠地检测出来。
然而，当车辆转向时，关于相对于横向区域所取的前视图像，角度(组合)本身一起沿与转向方向相反的方向移动。比如说，当车辆2如图3D所示向右转向时，通过前视摄像机3拾取的右侧和左侧图像都向左移动，而向左流矢量(来自车辆2转向的流矢量，就是说，在图3D中由白色箭头指出的流矢量)在整个屏幕上检测出来。因此，在一个情况中，其中真正存在一个诸如接近车辆2的车辆之类的移动物体，在车辆2的左侧图像中，来自接近物体的流矢量(在图3D中的左侧图像中用黑色箭头指出)和由车辆2的转向产生的流矢量(在图3D中的左侧图像中用白色箭头指出)通过取出矢量之间的方向性差异的结点可以分别地把它们识别出来。然而，在车辆2的右侧图像中，来自接近物体的流矢量(在图3D中右侧图像中用黑色箭头指出)和由车辆2的转向产生的流矢量(在图3D中右侧图像中用白色箭头指出)在矢量的方向上是互相相似的，因此，很难把它们彼此识别开来。而且，由车辆2的转向产生的流矢量随着车辆的转向舵角(或者，例如转向速度等等)的增加而增加使得它们之间的方向相似性越加增高，这使得分开识别它们更加困难。
为此之故，按照第三实施例，在一个情况中，其中车辆2正在转向，并且转向速度较高，接近物体检测单元52仅仅参照转向方向的向外方向的横向区域中的流矢量来检测接近物体，使得由接近车辆产生的流矢量和来自车辆转向的流矢量可以根据矢量方向性的差异而被有区别地识别出来，由此减少了误识别。
按照第三实施例的前视监视设备31是这样布置的，它按照图9所述流程图执行下列控制。
在工作流程中，步骤C10到C30是作为计算光流的启动步骤而执行的，它们要判定每个前视摄像机3是否处于工作状态。
首先，在步骤C10中，要判定前视摄像机开关6是否置于接通状态。如果是，则工作流程进行到步骤C20。如果该开关置于断开状态，则工作流程结束。接着，在步骤C20中，要判定车辆的行驶速度V是否低于预设速度V0。如果V<V0，则工作流程进行到步骤C30。另一方面，如果V≧V0，则工作流程结束。在步骤C30中，要判定转向盘的转向舵角θ是否小于预设角θ0。如果θ<θ0，则工作流程进行到步骤C40，另一方面，如果θ≧θ0，则工作流程结束。
就是，当每个前视摄像机3处于不工作状态时，工作流程就此结束而不进行到步骤C40的后续步骤。换句话说，仅当前视摄像机3投入工作时工作流程进行到步骤C40的后续步骤。
在步骤C40中，光流计算单元11个别地计算由前视摄像机3拾取的右侧和左侧图像中的特征点，而在步骤C50中，用所有特征点来计算流矢量。就是，在这种情况下，一个移动物体在右侧和左侧图像的每个图像中被识别出来。
此后，在步骤C60中，要判定转向舵角θ是否小于一个设定在小于预设值θ0的参考值θ1(0<θ1<θ0)。就是，在这种情况下，根据转向舵角θ的值，要判定一个由车辆2转向产生的流矢量和一个来自接近车辆的流矢量之间的相似性的程度。
在|θ|<θ1的情况下，判定出转向角是小的，而工作流程进行到步骤C70，其中接近物体检测单元52提取一个在光流计算单元11中计算出来的右侧和左侧图像中的流矢量，接下来是步骤C110。而且，在不是|θ|<θ1的情况下，判定转向角相对于向右和左方向之一而言较大。接下来是步骤C80。
步骤C80要判定转向舵角θ是否等于或大于参考角θ1。如果θ≧θ1，则判定转向角在向右方向上稍大(就是，车辆2处于大的向右转向状态)，工作流程进行到步骤C90，其中接近物体检测单元52从光流计算单元11中计算出来的图像中的流矢量中只提取左侧图像中的流矢量，接下来是步骤C110。另一方面，在θ<θ1的情况下，由于步骤C30、C60和C80的条件，它导致θ≦—θ1，因此，判定转向角在向左方向上稍大(就是，车辆2处于大的向左转向状态)，工作流程进行到步骤C100，其中接近物体检测单元52从光流计算单元11中计算出来的图像中的流矢量中只提取右侧图像中的流矢量，接下来是步骤C110。
在步骤C110中，要判定在步骤C70、C90或C100中提取的流矢量是否具有沿车辆2的行驶方向的矢量分量。关于相对于车辆2的左侧图像中的流矢量，要判定它是否在图像中具有一个向右矢量分量，而关于相对于车辆2的右侧图像中的流矢量，要判定它是否在图像中具有一个向左矢量分量。就是，在这种情况下，在步骤C50中被识别的移动物体中，一个接近车辆2的移动物体(接近物体)在有别于其他物体的状态下被识别出来。
如果没有检测出具有沿车辆2的行驶方向的矢量分量的流矢量，则不存在接近物体，因此这个工作流程就结束。另一方面，在检测出上述流矢量的情况下，工作流程进行到步骤C120。
在步骤C120中，输出单元13在监视器5上显示识别出接近物体的事实，并且通过声音或语音通知车内人员。在这种情况下，为了从输出单元13通知车内人员，根据在步骤C110中检测出的每个具有沿车辆的行驶方向的矢量分量的流矢量的量值和数量来切换通知模式，
在来自在步骤C110中检测出的接近物体的流矢量中，检测出一个量值大于一个预先设定的预设值的流矢量，或者当来自接近物体的流矢量的数量超过一个预先设定的预设值时，输出单元13设定到“高风险通知模式”来着重显示屏幕上对应于接近物体的区域，并通过箭头在屏幕上显示由接近物体产生的所有的流矢量，并且通过声音或语音把高风险情况的事实通知车内人员。
另一方面，如果在步骤C110中检测出的接近物体的流矢量中，没有检测出一个量值大于一个预先设定的预设值的流矢量，或者当检测出的接近物体的流矢量的数量没有达到一个预先设定的预设值时，输出单元13设定到“低风险通知模式”来通过箭头在屏幕上显示由接近物体产生的流矢量之一，并通过声音或语音把检测出接近物体的事实通知车内人员。
上述控制产生下列具体效果。
在一个情况中，其中，在如图5所示的一个丁字路口处，车辆2在确认了横向安全状态的同时试图驶入一条干线道路中去，当车辆2的前视摄像机开关6置于接通状态时，如果车辆2在干线道路之前降低行驶速度使得它低于预设速度V0，则前视摄像机3自动投入工作来在监视器5上显示右侧和左侧图像。这使得右侧和左侧图像自动显示在监视器5上而无需车内人员特意切换监视器5上的图像。而且，回应前视摄像机3的运作，ECU10中启动一个拾取图像的光流计算。
[停车状态]
在一个情况中，其中车辆2停一个在如图5所示的位置处，如图3A所示，前视摄像机3的位置是固定的，因此，在背景部分中不出现流矢量(在图像中车辆41和42的背景部分；在这种情况下，是不移动的道路、建筑物、，栏杆和天空)，而只有接近车辆2的车辆41和42产生的流矢量(在图3A中用黑色箭头指出)呈现出来。此时，关于来自车辆41和42的流矢量的方向，车辆41提供一个左侧图像中的向右矢量分量，就是，它在图像中显示一个沿车辆2的行驶方向的矢量分量。另一方面，车辆42提供一个右侧图像中的向右矢量分量，并在图像中显示一个沿车辆2的行驶方向的矢量分量。
因此，接近物体检测单元12能够根据具有右侧和左侧图像中沿车辆2的行驶方向的矢量分量的流矢量来检测作为接近物体的车辆41和42。
[前驶状态]
另外，在一个情况中，其中，车辆2在如图5所示的位置处以一个低的速度(行驶速度V<V0)前驶，就是，在车内人员确认横向安全状态的同时缓慢地前驶，如图3B所示，由于前视摄像机3的拾取位置的移动，流矢量(在图3B中用空心箭头指出)也出现在拾取图像的背景部分。而且，由车辆41和42产生的流矢量作为流矢量(在图3B中用黑色箭头指出)呈现，它们是车辆2处于停止状态时呈现的流矢量(就是，在图3B中用黑色箭头指出)和由于前视摄像机3的位置的移动而呈现的背景部分的流矢量(就是，用空心箭头指出的流矢量)的总和。背景部分的流矢量作为图像中具有当车辆2前驶时沿车辆2行驶方向相反方向的矢量分量的流矢量呈现出来。
因此，虽然来自车辆41和42的流矢量的量值和方向在车辆2缓慢前驶时是变化的(变形)，如果车辆2以低速缓慢地移动，则不发生大的变化，因此，在图像中沿车辆2的行驶方向呈现一个矢量分量。而且，即使在来自车辆41和42的流矢量中沿车辆行驶方向的矢量分量变得等效于背景部分的流矢量，因为由于接近车辆2，来自车辆41和42的流矢量也包括了在图像中越南放大方向的流矢量(就是，图像中沿垂直方向的流矢量)，对来自车辆41和42的流矢量的抵消作用也不发生。
此时，如图3C所示，来自车辆41和42的流矢量的方向是具有沿车辆2的行驶方向的矢量分量的矢量方向，就是，在左侧区域中的向右矢量分量的方向和在右侧区域中的向左矢量分量的方向。换句话说，在左侧区域中，它是一个具有相对于垂直方向顺时针旋转180°的方向的流矢量，和在右侧区域中，它是一个具有相对于垂直方向反时针旋转180°的方向的流矢量。
还有，接近物体检测单元12能够根据每个在右侧和左侧图像中具有沿车辆行驶方向的矢量分量的流矢量来检测车辆41和42作为接近物体。因此，ECU10的输出单元13输出检测出接近物体的事实到监视器5来警告车内人员。
更有，输出单元13按照接近物体对于自己车辆2的风险等级来切换通知模式，这能够把风险等级有效地通知车内人员，提高了安全性。
顺便说来，在一个情况中，其中，车辆2快速前进，因为由于前视摄像机3位置移动引起的背景部分的流矢量增加，可以认为，相对于来自车辆41和42的流矢量方向，沿车辆2行驶方向的矢量分量在图像中消失了。然而，在这个实施例中，因为前视摄像机3在车辆2的行驶速度V等于或大于预设速度V0时是暂停工作的，可以防止接近物体的误识别。同样地，因为前视摄像机3在车辆2的转向角θ等于或大于预设角θ0度时是暂停工作的，可以防止由于转向引起的接近物体的误识别。结果，这能够提高根据光流检测接近物体的准确度。
此外，即使在前视摄像机3暂停工作的情况下，输出单元13还是把这个事实通知车内人员，这可以警告车内人员，提高了安全性。
虽然预设速度V0和预设角度θ0可以根据实施模式来任意设定，在车辆2移动时，随着行驶速度V和转向角θ的增加，背景部分的上述流矢量也增大起来。因此，为了检测高速的接近物体，即使预设速度V0和预设角度θ0设定在高值也没有问题。另一方面，为了检测低速的接近物体，要求车辆2处于停止状态。然而，在车辆2处于移动状态时，通过来自车辆41和42(它们是在普通公路上行驶的接近物体)的流矢量和连同背景部分一起产生的流矢量(就是根据上述逻辑)之间在方向性上的差异，作为接近物体的车辆41和42可以在有别于背景部分的状态下被识别出来。
[转向状态]
而且，在一个情况中，其中，车辆2以低速(行驶速度V<V0)从如图5所示的位置向右转向，就是，当车内人员在确认了横向安全状态和缓慢地前驶车辆2的同时把车辆2转向到向右方向，如图3D所示，由于前视摄像机3的拾取位置移动，甚至在拾取图像的背景部分也呈现流矢量(在图3D中用空心箭头指出)。而且，来自车辆41和42的流矢量(在图3D中用黑色箭头指出)以车辆2处于停止状态时呈现的流矢量(在图3A中用黑色箭头指出)和由于前视摄像机3位置移动引起的背景部分的流矢量(用空心箭头指出)的流矢量的总和呈现出来。更有，背景部分的流矢量作为每个具有一个相对于图像中车辆的左面方向的矢量分量的流矢量呈现出来。
在这种情况下，接近物体检测单元52根据车辆2的转向舵角的值选择一个要被参照的流矢量。就是，在以转向舵角θ≧θ1向右转向的情况下，流矢量从左侧区域中提取出来检测一个接近物体。在这种情况下，在如图3D所示流矢量中，一个具有向右矢量分量的流矢量从图像的左侧区域中提取出来，再来判定提取出来的流矢量是由一个接近车辆的物体产生的(就是，在具有流矢量的移动物体中的一个接近自己车辆2的物体)，由此识别出接近物体。因此，接近车辆41能够被精确地检测出来。
而且，没有参照右侧区域中图像中的流矢量。因此，来自车辆2的转向的流矢量(在图3B的右侧图像中用白色箭头指出)可以避免被误识别为接近车辆产生的流矢量(在图3B的右侧图像中用黑色箭头指出)，并且检测接近车辆所需的算术运算可以减少一半。
而且，这也适合于在转向舵角
Figure C200510063703D0027134506QIETU
的情况，接近物体检测单元52从左侧区域中提取流矢量并从这个流矢量中检测一个接近物体。在这种情况下，在右侧区域图像中每个具有向左矢量分量的流矢量被提取出来，再来判定提取出来的流矢量是由一个接近车辆的接近物体产生的，由此识别出接近物体。因此，准确检测接近物体变得可行。还有，因为不参照左侧区域图像的流矢量，可以避免误识别并且算术运算处理量减少一半。
如上所述，用了按照本发明的第三实施例的前视监视设备，因为仅仅参照存在于沿能够可靠地检测接近自己车辆的物体的方向的光流矢量可以减少误识别，因而检测一个接近物体速度得以改善。而且，即使车辆2处于停止状态，和甚至在低速(V<V0)行驶，或甚至在转向角小于预设角度(θ<θ0)的状态下，一个在车辆横向区域中的接近物体可以容易而可靠地识别出来，并且背景图像的移动可以避免被误识别为一个接近物体，由此提高了检测接近物体的准确度。而且，在根据光流识别出来的移动物体中，可以用一个简单的布置识别出对于自己车辆2具有危险性的接近物体，而识别一个接近物体所需的算术运算处理量可以减少。更有，按照风险等级进行通知可以改善安全性。
虽然上面的说明是关于本发明的第一到第三实施例的，应当理解本发明不限于上述的实施例，而是打算覆盖本发明的实施例的所有的变形和改型，而不偏离本发明的精神和范围。
举例来讲，虽然在上述实施例中，用作图像拾取装置的前视摄像机3分别设置在车辆2的前突分的右端部分和左端部分，但前视摄像机3仅仅设置在它们中间之一也是可取的，或车辆的右侧和左侧区域同时由一个具有广阔图像拾取区域的广角摄像机来拾取也是可取的。
此外，前视摄像机3的图像拾取区域能够按照车辆2的行驶方向和车辆2试图进入的干线道路的方向之间的夹角在水平方向上调节，或者前视摄像机3的图像拾取区域能够按照行驶道路的倾斜度在垂直方向上调节也是可取的。
还有，在上述实施例中，预设速度V0和预设角度θ0是按照要被识别的移动物体的流矢量的量值来任意设定的。同时，比如说，相对于一个移动着的移动物体，即使车辆2的行驶速度V大于预设速度V0，它仍然具有一个量值大于由于车辆2(前视摄像机3)位置移动引起的背景部分的流矢量的量值的流矢量，在这种情况下，用上述布置还是可以把它识别出来的。
而且，在上述实施例中，输出单元13的通知方法可以任意设定，比如说，当一个接近物体在监视器5的图像中被着重显示时，也可以使接近物体显示在图像放大状态，或者通过把车辆2的制动装置置于工作状态来通知车内人员也是可取的。
还有，把每个对应于风险等级的多个通知模式设定为多级方式也是可取的。比如说，根据由接近物体检测单元12检测出的接近物体的流矢量的量值和数量来切换通知模式的数量进一步增加使得接近物体对于自己车辆的风险的可能性程度设定在多级方式，这可以实行更为细致的通知，这样就增加了判定风险的设备本身的安全性和可靠性。

Claims (13)

1.一种前视监视设备，其特征在于它包括：
用来拾取车辆(2)的侧视图像的设置在所述车辆(2)的前突部分的图像拾取装置；
用来根据所述图像计算光流矢量的光流矢量计算装置(11)；
根据光流矢量来检测接近物体的接近物体检测装置(12)，该光流矢量具有所述图像中沿所述车辆(2)的行驶方向的一个矢量分量，而且该光流矢量包括在由所述光流矢量计算装置(11)计算出来的光流矢量中；以及
用来显示图像并进一步通知检测出接近物体的事实的通知装置(5)。
2.按照权利要求1的前视监视设备，其特征在于所述图像拾取装置(3)拾取所述车辆(2)的右侧区域和左侧区域的侧视图像，
所述光流矢量计算装置(11)根据由所述图像拾取装置(3)拾取的所述车辆(2)的所述右侧区域和左侧区域的每个所述侧视图像来计算光流矢量，和
所述接近物体检测装置(12)根据一个具有向右矢量分量的光流矢量，所述向右矢量分量是包括在由所述光流矢量计算装置(11)计算出来的所述左侧区域中的光流矢量中，和根据一个具有向左矢量分量的光流矢量，所述向左矢量分量是包括在由所述光流矢量计算装置(11)计算出来的所述右侧区域中的光流矢量中，来检测所述接近物体。
3.按照权利要求1的前视监视设备，其特征在于它还包括用来检测所述车辆(2)的速度的车辆速度传感器(4)，
其中所述接近物体检测装置(12)在所述车辆速度超过一个预先设定的预设值时暂停检测所述接近物体。
4.按照权利要求1的前视监视设备，其特征在于它还包括用来检测所述车辆(2)的转向角的转向角检测装置(7)，
其中所述接近物体检测装置(12)在所述转向角超过一个预先设定的预设值时暂停检测所述接近物体。
5.按照权利要求1的前视监视设备，其特征在于所述通知装置(5)通知在接近物体检测装置(12)中暂停检测所述接近物体的事实。
6.按照权利要求1的前视监视设备，其特征在于它还包括：
用来检测所述车辆(2)的转向方向的转向方向检测装置(7)；
用来检测对应于所述车辆(2)的转向状态的参数的转向状态对应值检测装置；和
用来根据所述转向方向和所述参数设定由相应于所述车辆(2)的所述侧视图像中的所述车辆(2)的转向产生的转向光流矢量的转向光流矢量设定装置(14)，
所述光流矢量计算装置(11)包括用来从一个根据所述图像计算出来的光流矢量减去在所述转向光流矢量设定装置(14)中设定的转向光流矢量来进行校正的光流矢量校正装置(15)，和
所述接近物体检测装置(32)根据光流矢量来检测接近物体，该矢量具有一个沿所述图像中所述车辆(2)的行驶方向的矢量分量，并且该光流矢量包括在被所述光流矢量计算装置(11)中的所述光流矢量校正装置(15)校正过的光流矢量中。
7.按照权利要求6的前视监视设备，其特征在于所述转向光流矢量设定装置(14)在水平方向上设定转向光流矢量的方向，和与被所述转向方向检测装置(7)检测出来的所述转向方向相反的一个相反方向，并且对应于被所述转向状态对应值检测装置检测出的所述参数的一个值来设定所述转向光流矢量的量值。
8.按照权利要求6的前视监视设备，其特征在于所述转向状态对应值检测装置在所述车辆(2)转向时检测一个角速度作为对应于所述车辆(2)的转向状态的参数。
9.按照权利要求7的前视监视设备，其特征在于所述转向状态对应值检测装置在所述车辆(2)转向时检测一个角速度作为对应于所述车辆(2)的转向状态的参数。
10.按照权利要求6的前视监视设备，其特征在于所述转向状态对应值检测装置检测所述车辆(2)的行驶速度和所述车辆(2)的转向角作为对应于所述车辆(2)的转向状态的参数。
11.按照权利要求7的前视监视设备，其特征在于所述转向状态对应值检测装置检测所述车辆(2)的行驶速度和所述车辆(2)的转向角作为对应于所述车辆(2)的转向状态的参数。
12.按照权利要求1的前视监视设备，其特征在于它还包括用来检测所述车辆(2)的转向方向的转向方向检测装置(7)，
其中所述接近物体检测装置(52)根据光流矢量来检测接近物体，该光流矢量存在于沿被所述转向方向检测装置(7)检测出来的所述车辆(2)的向外转向方向的横向区域中并且具有沿所述图像中的所述车辆(2)的行驶方向的矢量分量，该光流矢量包括在所述车辆(2)转向时被所述光流矢量计算装置(11)计算出来的光流矢量中，并且所述接近物体检测装置(52)并不参照存在于被所述转向方向检测装置(7)检测出来的所述车辆(2)的向内转向方向上的横向区域中的光流矢量来检测所述接近物体。
13.按照权利要求1到12任何一项的前视监视设备，其特征在于所述通知装置(5)按照每个具有沿所述车辆(2)的行驶方向的矢量分量的光流矢量的量值或数量，从为数众多的通知模式中进行切换，并且通知检测出所述接近物体的事实同时显示所述图像。
CNB200510063703XA 2004-03-26 2005-03-25 前视监视设备 Active CN100471263C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004091667 2004-03-26
JP2004091667A JP4193740B2 (ja) 2004-03-26 2004-03-26 ノーズビューモニタ装置
JP2004091666 2004-03-26
JP2004091666A JP4259368B2 (ja) 2004-03-26 2004-03-26 ノーズビューモニタ装置

Publications (2)

Publication Number Publication Date
CN1673679A CN1673679A (zh) 2005-09-28
CN100471263C true CN100471263C (zh) 2009-03-18

Family

ID=35034277

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200510063703XA Active CN100471263C (zh) 2004-03-26 2005-03-25 前视监视设备

Country Status (3)

Country Link
US (1) US7190282B2 (zh)
CN (1) CN100471263C (zh)
DE (1) DE102005013920B4 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104859540A (zh) * 2014-02-25 2015-08-26 马自达汽车株式会社 车辆用显示控制装置
EP3327625A1 (en) 2016-11-29 2018-05-30 Autoequips Tech Co., Ltd. Vehicle image processing method and system thereof

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100630088B1 (ko) * 2004-12-28 2006-09-27 삼성전자주식회사 옵티컬 플로우를 이용한 차량 감시 장치 및 방법
JP4657765B2 (ja) * 2005-03-09 2011-03-23 三菱自動車工業株式会社 ノーズビューシステム
US7841199B2 (en) * 2005-05-17 2010-11-30 American Power Conversion Corporation Cold aisle isolation
DE102005030838A1 (de) * 2005-07-01 2007-01-04 Siemens Ag Nightvisionsystem
JP4720386B2 (ja) * 2005-09-07 2011-07-13 株式会社日立製作所 運転支援装置
JP2007147458A (ja) * 2005-11-28 2007-06-14 Fujitsu Ltd 位置検出装置、位置検出方法、位置検出プログラムおよび記録媒体
DE102006006850B4 (de) * 2006-02-15 2022-12-29 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ausrichtung eines verschwenkbaren Fahrzeugsensors
US8666661B2 (en) * 2006-03-31 2014-03-04 The Boeing Company Video navigation
JP4420002B2 (ja) * 2006-09-14 2010-02-24 トヨタ自動車株式会社 視線先推定装置
JP4919036B2 (ja) * 2007-01-30 2012-04-18 アイシン精機株式会社 移動物体認識装置
US8131018B2 (en) * 2008-02-08 2012-03-06 Tk Holdings Inc. Object detection and recognition system
US8054201B2 (en) * 2008-03-19 2011-11-08 Mazda Motor Corporation Surroundings monitoring device for vehicle
JP5345350B2 (ja) * 2008-07-30 2013-11-20 富士重工業株式会社 車両の運転支援装置
JP5012718B2 (ja) * 2008-08-01 2012-08-29 トヨタ自動車株式会社 画像処理装置
JP5421072B2 (ja) * 2008-11-19 2014-02-19 クラリオン株式会社 接近物体検知システム
CN101782394B (zh) * 2009-01-21 2013-03-20 佛山市顺德区顺达电脑厂有限公司 判断移动对象转弯的方法及使用该方法的导航装置
JP4816748B2 (ja) * 2009-03-06 2011-11-16 ソニー株式会社 ナビゲーション装置及びナビゲーション方法
FR2945491A1 (fr) * 2009-05-18 2010-11-19 Peugeot Citroen Automobiles Sa Procede et dispositif pour etendre une zone de visibilite
JP5590684B2 (ja) * 2009-12-10 2014-09-17 パナソニック株式会社 情報表示装置及び情報表示方法
US20110298988A1 (en) * 2010-06-04 2011-12-08 Toshiba Alpine Automotive Technology Corporation Moving object detection apparatus and moving object detection method
WO2012023412A1 (ja) 2010-08-19 2012-02-23 日産自動車株式会社 立体物検出装置及び立体物検出方法
KR101223484B1 (ko) 2010-10-05 2013-01-17 한국과학기술연구원 사람 혈청 알부민-ｓｉＲＮＡ 나노입자 전달체
JP5812598B2 (ja) * 2010-12-06 2015-11-17 富士通テン株式会社 物体検出装置
KR20120067681A (ko) * 2010-12-16 2012-06-26 한국전자통신연구원 차량 안전 센서 제어 장치
JP5360076B2 (ja) * 2011-01-14 2013-12-04 株式会社デンソー 障害物報知装置
TWI421624B (zh) * 2011-04-01 2014-01-01 Ind Tech Res Inst 環場監控裝置及其方法
US8203605B1 (en) 2011-05-11 2012-06-19 Google Inc. Point-of-view object selection
MY165967A (en) * 2011-08-02 2018-05-18 Nissan Motor Moving-body-detecting device and moving-body-detecting system
JP5499011B2 (ja) * 2011-11-17 2014-05-21 富士重工業株式会社 車外環境認識装置および車外環境認識方法
US9043133B2 (en) * 2011-12-29 2015-05-26 Intel Corporation Navigation systems and associated methods
US20150009330A1 (en) * 2012-02-06 2015-01-08 Toyota Jidosha Kabushiki Kaisha Object detection device
JP5792091B2 (ja) * 2012-02-16 2015-10-07 富士通テン株式会社 物体検出装置及び物体検出方法
JP5935435B2 (ja) * 2012-03-26 2016-06-15 富士通株式会社 画像処理装置、画像処理方法
JP6031819B2 (ja) 2012-05-17 2016-11-24 富士通株式会社 画像処理装置、画像処理方法
CN104508720B (zh) * 2012-08-01 2016-09-07 丰田自动车株式会社 驾驶辅助装置
US9481301B2 (en) 2012-12-05 2016-11-01 Magna Electronics Inc. Vehicle vision system utilizing camera synchronization
DE102012024289A1 (de) * 2012-12-12 2014-06-12 Connaught Electronics Ltd. Verfahren zum Umschalten eines Kamerasystems in einen Unterstützungsmodus, Kamerasystem und Kraftfahrzeug
DE102013012930A1 (de) * 2013-08-02 2015-02-05 Connaught Electronics Ltd. Verfahren zum Bestimmen eines aktuellen Abstands und/oder einer aktuellen Geschwindigkeit eines Zielobjekts anhand eines Referenzpunkts in einem Kamerabild, Kamerasystem und Kraftfahrzeug
KR101491305B1 (ko) * 2013-08-27 2015-02-06 현대자동차주식회사 장애물 검출 장치 및 방법
KR101439052B1 (ko) * 2013-09-05 2014-09-05 현대자동차주식회사 장애물 검출 장치 및 방법
US10477159B1 (en) * 2014-04-03 2019-11-12 Waymo Llc Augmented reality display for identifying vehicles to preserve user privacy
US9494938B1 (en) 2014-04-03 2016-11-15 Google Inc. Unique signaling for autonomous vehicles to preserve user privacy
DE102014209137B4 (de) * 2014-05-14 2023-02-02 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
US10467896B2 (en) 2014-05-29 2019-11-05 Rideshare Displays, Inc. Vehicle identification system and method
US9892637B2 (en) 2014-05-29 2018-02-13 Rideshare Displays, Inc. Vehicle identification system
US9550493B2 (en) 2014-09-01 2017-01-24 Komatsu Ltd. Transporter vehicle and transporter vehicle control method
JP5949861B2 (ja) * 2014-09-05 2016-07-13 トヨタ自動車株式会社 車両の接近物体検出装置及び車両の接近物体検出方法
JP6532229B2 (ja) * 2014-12-18 2019-06-19 株式会社デンソーテン 物体検出装置、物体検出システム、物体検出方法及びプログラム
US20160264049A1 (en) * 2015-03-12 2016-09-15 Razmik Karabed Dynamically adjusting surveillance devices
CN105488099B (zh) * 2015-11-03 2019-03-26 杭州全实鹰科技有限公司 一种基于相似度学习的车辆检索方法
US20170327038A1 (en) * 2016-05-10 2017-11-16 Razmik Karabed Image process based, dynamically adjusting vehicle surveillance system for intersection traffic
TWI647659B (zh) * 2016-11-29 2019-01-11 帷享科技有限公司 車用影像處理方法及其系統
US10440536B2 (en) 2017-05-19 2019-10-08 Waymo Llc Early boarding of passengers in autonomous vehicles
US10579788B2 (en) 2017-08-17 2020-03-03 Waymo Llc Recognizing assigned passengers for autonomous vehicles
JP6686988B2 (ja) * 2017-08-28 2020-04-22 株式会社Ｓｏｋｅｎ 映像出力装置及び映像生成プログラム
EP3954580A1 (en) * 2018-06-13 2022-02-16 Ride Vision Ltd. A rider assistance system and method
JP7006527B2 (ja) * 2018-07-09 2022-01-24 トヨタ自動車株式会社 車載装置および車両捜索システム
JP7331731B2 (ja) * 2020-02-21 2023-08-23 トヨタ自動車株式会社 車両用電子ミラーシステム
JP7276282B2 (ja) * 2020-08-24 2023-05-18 トヨタ自動車株式会社 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
KR20220037531A (ko) * 2020-09-17 2022-03-25 현대자동차주식회사 차량 및 그 제어방법
US11968639B2 (en) 2020-11-11 2024-04-23 Magna Electronics Inc. Vehicular control system with synchronized communication between control units
KR20230028852A (ko) * 2021-08-23 2023-03-03 현대자동차주식회사 모빌리티 배차 시스템 및 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4332612C2 (de) 1992-09-25 1996-02-22 Yazaki Corp Außenansichts-Überwachungsverfahren für Kraftfahrzeuge
JP3239521B2 (ja) 1993-03-30 2001-12-17 トヨタ自動車株式会社 移動体認識装置
JP3468620B2 (ja) 1995-08-24 2003-11-17 三菱自動車工業株式会社 車両のノーズビュー装置
JP3398934B2 (ja) 1997-09-08 2003-04-21 矢崎総業株式会社 車両用監視方法
JP2000071894A (ja) 1998-08-31 2000-03-07 Ichikoh Ind Ltd 車両用左右両側確認装置
JP2000168442A (ja) 1998-12-11 2000-06-20 Mitsubishi Motors Corp 車両の後方監視装置
JP4287532B2 (ja) * 1999-03-01 2009-07-01 矢崎総業株式会社 車両用後側方監視装置
JP2000251199A (ja) 1999-03-01 2000-09-14 Yazaki Corp 車両用後側方監視装置
JP3287817B2 (ja) 1999-07-27 2002-06-04 株式会社ホンダアクセス 車両用カメラ装置
JP2001213254A (ja) * 2000-01-31 2001-08-07 Yazaki Corp 車両用側方監視装置
JP2001233150A (ja) * 2000-02-22 2001-08-28 Yazaki Corp 車両用危険判断装置及び、車両用周辺監視装置
JP4425495B2 (ja) * 2001-06-08 2010-03-03 富士重工業株式会社 車外監視装置
US6756887B2 (en) * 2001-07-23 2004-06-29 Wayne W. Evans Method and apparatus for the dynamic vector control of automatic variable range and directional reception of gps global positioning signals, dynamic vehicle tracking, remote notification of collision and synthetic voice data communications
JP4696213B2 (ja) 2001-07-31 2011-06-08 三菱自動車工業株式会社 車両周辺視認装置
JP2003118484A (ja) 2001-10-09 2003-04-23 Mitsubishi Motors Corp 車両用左右確認装置
JP4209105B2 (ja) 2001-12-10 2009-01-14 三菱自動車工業株式会社 車両周辺視認装置
JP4019736B2 (ja) * 2002-02-26 2007-12-12 トヨタ自動車株式会社 車両用障害物検出装置
JP4100026B2 (ja) 2002-04-11 2008-06-11 三菱自動車工業株式会社 発進支援装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104859540A (zh) * 2014-02-25 2015-08-26 马自达汽车株式会社 车辆用显示控制装置
EP3327625A1 (en) 2016-11-29 2018-05-30 Autoequips Tech Co., Ltd. Vehicle image processing method and system thereof

Also Published As

Publication number Publication date
US20050225636A1 (en) 2005-10-13
CN1673679A (zh) 2005-09-28
DE102005013920A1 (de) 2005-10-20
US7190282B2 (en) 2007-03-13
DE102005013920B4 (de) 2007-12-13

Similar Documents

Publication Publication Date Title
CN100471263C (zh) 前视监视设备
US10956757B2 (en) Image processing device, outside recognition device
JP5421072B2 (ja) 接近物体検知システム
EP3361721B1 (en) Display assistance device and display assistance method
US8461976B2 (en) On-vehicle device and recognition support system
US20160350606A1 (en) Driving assistance apparatus and driving assistance method
JP4992755B2 (ja) 交差点運転支援システム、車載器、及び、路側機
US20050074143A1 (en) Vehicle backing assist apparatus and vehicle backing assist method
US11074818B2 (en) Drive assist device and drive assist method
US20190163988A1 (en) Periphery monitoring device
JP2000259998A (ja) 車両用後側方監視装置
JP2008222153A (ja) 合流支援装置
JP4193740B2 (ja) ノーズビューモニタ装置
KR20200040150A (ko) 차량 제어 장치, 차량 제어 방법 및 차량 제어 시스템
CN115123218B (zh) 车辆的检测方法、装置及其电子设备
JP2002314989A (ja) 車両用周辺監視装置
CN107111741B (zh) 用于具有摄像机的机动车的方法，设备和系统
JP4986070B2 (ja) 車両用周囲監視装置
JP2002154375A (ja) 車両用視界補助装置
JP2006344133A (ja) 道路区画線検出装置
JP3988551B2 (ja) 車両周囲監視装置
JP2005309660A (ja) 車両用右左折支援装置
JP2006040123A (ja) 車両の認知支援装置
JP2009147906A (ja) 車両周辺監視装置
JP2005205983A (ja) 自車周辺視認装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: No.21, No.3, Dingmu, No.1, Zhipu, Tokyo, Japan

Patentee after: Mitsubishi Jidosha Kogyo Kabushiki Kaisha

Address before: Tokyo Capital of Japan

Patentee before: Mitsubishi Jidosha Kogyo Kabushiki Kaisha

CP02 Change in the address of a patent holder