JP2009146153A - Moving object detection device, moving object detection method and moving object detection program - Google Patents

Moving object detection device, moving object detection method and moving object detection program Download PDF

Info

Publication number
JP2009146153A
JP2009146153A JP2007322556A JP2007322556A JP2009146153A JP 2009146153 A JP2009146153 A JP 2009146153A JP 2007322556 A JP2007322556 A JP 2007322556A JP 2007322556 A JP2007322556 A JP 2007322556A JP 2009146153 A JP2009146153 A JP 2009146153A
Authority
JP
Japan
Prior art keywords
moving body
detection
image
moving
moving object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007322556A
Other languages
Japanese (ja)
Inventor
Sotaro Kaneko
宗太郎 金子
Masami Mizutani
政美 水谷
Toru Tsuruta
徹 鶴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2007322556A priority Critical patent/JP2009146153A/en
Publication of JP2009146153A publication Critical patent/JP2009146153A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To detect moving objects accurately irrespective of the size of the moving objects in images (even when the moving objects are distant). <P>SOLUTION: A moving object detection device 100 has an optical-flow-based moving object detection part 130 for detecting moving objects in images by an optical flow method and an inter-frame difference moving object detection part 140 for detecting moving objects in images by an inter-frame difference method, and outputs the result of detection by the optical-flow-based moving object detection part 130 or inter-frame difference moving object detection part 140 according to whether an own vehicle is stopped. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

この発明は、移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置およびその移動体検出方法、移動体検出プログラムに関し、特に、移動体の画像上の大きさに関わらず、移動体を正確に検出可能な移動体検出装置、移動体検出方法および移動体検出プログラムに関する。   The present invention relates to a moving object detection apparatus, a moving object detection method, and a moving object detection program for detecting a moving object from an image taken by a camera mounted on the moving object, and in particular, to a size of the moving object on the image. Regardless, the present invention relates to a mobile object detection apparatus, a mobile object detection method, and a mobile object detection program that can accurately detect a mobile object.

車両の外に設けたカメラにより、運転手の死角となる画像を取得し、取得した画像を運転手に提示することにより交通事故を未然に防ぐ技術として、例えば、ブラインドコーナモニタ(以下、BCM;Blind Corner Monitor)等の製品が利用されている。   For example, a blind corner monitor (hereinafter referred to as BCM; BCM) is used as a technology for preventing a traffic accident by acquiring an image that is a blind spot of a driver with a camera provided outside the vehicle and presenting the acquired image to the driver. Products such as Blind Corner Monitor) are used.

図8は、BCMの撮影範囲を示す図である。図8に示すように、車両10が見通しの悪い交差点やT字路を走行する場合に、車両10前方に設置したBCM(例えば、プリズム型のBCM)から車両10左右方向の画像をモニタに表示することによって、運転手の死角から接近する車両20やその他歩行者などを確認することが可能となる。図9は、BCMによって撮影される画像の一例を示す図である。図9では左右方向の画像がまとめて1つのモニタに表示されている。   FIG. 8 is a diagram illustrating a BCM shooting range. As shown in FIG. 8, when the vehicle 10 travels on an intersection or a T-junction with poor visibility, an image in the left-right direction of the vehicle 10 is displayed on a monitor from a BCM (for example, a prism type BCM) installed in front of the vehicle 10. By doing so, it becomes possible to confirm the vehicle 20 or other pedestrians approaching from the driver's blind spot. FIG. 9 is a diagram illustrating an example of an image captured by the BCM. In FIG. 9, the left and right images are displayed together on one monitor.

そして、近年では、BCMを利用したモニタ表示に留まらず、例えば、BCMによって表示した画像内から移動体(自車両に接近する車両)を検出して警告することで、運転手に注意を喚起させる技術が実用化に向けて開発されている。なお、画像内から移動体を検出する手法として、一般的に、オプティカルフロー方式が用いられる。   In recent years, it is not limited to the monitor display using the BCM. For example, a moving object (a vehicle approaching the host vehicle) is detected from the image displayed by the BCM and a warning is issued to alert the driver. Technology is being developed for practical application. Note that an optical flow method is generally used as a method for detecting a moving object from within an image.

例えば、特許文献1では、オプティカルフロー方式を用いて移動体を検出する技術が公開されており、画像領域を、近距離物体が映ると思われる領域(近距離領域)、遠距離物体が映ると思われる領域(遠距離領域)に分割し、近距離領域に対してはブロックマッチング法、遠距離領域に対しては勾配法を用いて移動体の検出を行っている。   For example, Patent Document 1 discloses a technique for detecting a moving body using an optical flow method. When an image area is considered to be an area where a short-distance object appears (short-distance area), a long-distance object is reflected. It is divided into possible regions (far-distance regions), and mobile objects are detected using a block matching method for short-distance regions and a gradient method for long-distance regions.

特開2007−172540号公報JP 2007-172540 A

一般的に、画像上の移動体は、遠い位置ほど小さくなる。したがって、BCMなどの広角画像を、死角領域の画像を1つの画像内に納めるように画像を変換して出力する場合には、移動体が存在する画像上の領域が更に小さくなる。   Generally, the moving body on the image becomes smaller as the position is farther. Therefore, when a wide-angle image such as a BCM is converted and output so that the image of the blind spot area is contained in one image, the area on the image where the moving object is present is further reduced.

そして、上記した特許文献1の手法(勾配法)を用いて遠距離領域に存在する移動体を検出することも可能であるが、勾配法は計算が複雑で処理が遅く、画像上の細かい動きを検出するという特性から、ノイズを多く拾ってしまうため、遠くに存在する移動体を正確に検出することが出来ないという問題があった。   Although it is possible to detect a moving body existing in a long-distance region by using the method (gradient method) of Patent Document 1 described above, the gradient method is complicated in calculation and slow in processing, and has a small motion on the image. Because of the characteristic of detecting the noise, a lot of noise is picked up, so that there is a problem that it is impossible to accurately detect a moving object that exists far away.

また、オプティカルフローをベースとした考え方(勾配法)によれば、フレーム上の特徴点がどの方向に移動しているかを追跡する手法であるため、現フレームで初めて現れた移動体については検出することが出来ない。   In addition, according to the optical flow-based concept (gradient method), it is a method of tracking in which direction the feature points on the frame are moving, so it detects the moving object that first appeared in the current frame. I can't.

この発明は、上述した従来技術による問題点を解消するためになされたものであり、移動体の画像上の大きさに関わらず(移動体が遠方に存在する場合でも)、移動体を正確に検出することが出来る移動体検出装置、移動体検出方法および移動体検出プログラムを提供することを目的とする。   The present invention has been made in order to solve the above-described problems caused by the prior art, and can accurately move the moving object regardless of the size of the moving object on the image (even if the moving object exists far away). It is an object of the present invention to provide a mobile object detection device, a mobile object detection method, and a mobile object detection program that can be detected.

上述した課題を解決し、目的を達成するため、この移動体検出装置は、移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置であって、オプティカルフローにより前記画像内の移動体を検出する第1の移動体検出手段と、フレーム間差分法により前記画像内の移動体を検出する第2の移動体検出手段と、前記カメラを搭載した移動体が停止しているか否かを判定する停止判定手段と、前記停止判定手段が、停止していると判定した場合に、前記第2の移動体検出手段による検出結果を出力する検出結果出力手段と、を備えたことを要件とする。   In order to solve the above-described problems and achieve the object, the moving body detection device is a moving body detection device that detects a moving body from an image photographed by a camera mounted on the moving body, and is configured to detect the moving body by optical flow. The first moving body detecting means for detecting the moving body in the image, the second moving body detecting means for detecting the moving body in the image by the inter-frame difference method, and the moving body equipped with the camera are stopped. A stop determination unit that determines whether or not the vehicle is stopped, and a detection result output unit that outputs a detection result of the second moving body detection unit when the stop determination unit determines that the vehicle is stopped. Is a requirement.

また、この移動体検出装置は、上記の移動体検出装置において、前記検出結果出力手段は、前記停止判定手段が、停止していないと判定した場合に、前記第1の移動体検出手段による検出結果を出力することを要件とする。   Further, in the moving body detection device, the detection result output means is detected by the first moving body detection means when the stop determination means determines that the stop is not stopped. It is a requirement to output the result.

また、この移動体検出装置は、上記の移動体検出装置において、前記第2の移動体検出手段は、前記カメラによって撮影された画像において、道路消失点を含んだ所定の画像領域内から移動体を検出することを要件とする。   Further, this moving body detection device is the above-mentioned moving body detection device, wherein the second moving body detection means moves the moving body from within a predetermined image area including a road vanishing point in an image taken by the camera. It is a requirement to detect.

また、この移動体検出装置は、上記の移動体検出装置において、前記第1の移動体検出手段は、前記カメラを搭載した移動体に接近する移動体を検出対象とし、前記カメラを搭載した移動体から離れる移動体を検出対象から除外することを要件とする。   Further, in the moving body detection device according to the first aspect, the first moving body detection unit is configured to detect a moving body approaching the moving body on which the camera is mounted, and to move on which the camera is mounted. It is necessary to exclude a moving body that is away from the body from the detection target.

また、この移動体検出方法は、移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置の移動体検出方法であって、前記移動体検出装置は、前記カメラによって撮影された画像を記憶装置に記憶する記憶ステップと、前記記憶装置から画像を取得し、オプティカルフローにより前記画像内の移動体を検出する第1の移動体検出ステップと、前記第1の移動体検出ステップによって移動体が検出されず、かつ、前記カメラを搭載した移動体が停止しているか否かを判定する判定ステップと、前記判定ステップの判定結果に基づいて、フレーム間差分法により前記画像内の移動体を検出する第2の移動体検出ステップと、前記第1の移動体検出ステップまたは第2の移動体検出ステップによる検出結果を出力する出力ステップと、を含んでいることを要件とする。   Further, the moving body detection method is a moving body detection method of a moving body detection device that detects a moving body from an image captured by a camera mounted on the moving body, and the moving body detection device uses the camera. A storage step of storing the captured image in a storage device; a first moving body detection step of acquiring an image from the storage device and detecting a moving body in the image by optical flow; and the first moving body The determination step determines whether or not the moving body is not detected by the detection step and the moving body on which the camera is mounted is stopped, and the image is calculated by the inter-frame difference method based on the determination result of the determination step. A second moving body detecting step for detecting a moving body within the first moving body and a detection result obtained by the first moving body detecting step or the second moving body detecting step. It is a requirement that includes a force step.

また、この移動体検出プログラムは、コンピュータに、移動体に搭載されたカメラによって撮影された画像を記憶装置に記憶する記憶手順と、前記記憶装置から画像を取得し、オプティカルフローにより前記画像内の移動体を検出する第1の移動体検出手順と、前記第1の移動体検出手順によって移動体が検出されず、かつ、前記カメラを搭載した移動体が停止しているか否かを判定する判定手順と、前記判定手順の判定結果に基づいて、フレーム間差分法により前記画像内の移動体を検出する第2の移動体検出手順と、前記第1の移動体検出手順または第2の移動体検出手順による検出結果を出力する出力手順と、を実行させることを要件とする。   Further, the moving body detection program stores, in a computer, a storage procedure for storing an image captured by a camera mounted on a moving body in a storage device, an image from the storage device, and an optical flow to store the image in the image. A first moving body detection procedure for detecting a moving body, and a determination for determining whether the moving body is not detected by the first moving body detection procedure and the moving body on which the camera is mounted is stopped. A second moving object detection procedure for detecting a moving object in the image by an inter-frame difference method based on a determination result of the determination procedure, and the first moving object detection procedure or the second moving object. And an output procedure for outputting a detection result by the detection procedure.

開示の移動体検出装置は、車両の走行状態に対応した最適な移動体検出方式(車両が停止していない場合には、オプティカルフロー方式、車両が停止している場合には、フレーム間差分方式)を利用して、移動体の検出を実行するので、移動体の画像上の大きさに関わらず(移動体が遠方に存在する場合でも)、移動体を正確に検出することが出来る。   The disclosed mobile body detection apparatus is an optimal mobile body detection system corresponding to the running state of the vehicle (optical flow system when the vehicle is not stopped, and inter-frame difference system when the vehicle is stopped). ) Is used to detect the moving object, so that the moving object can be accurately detected regardless of the size of the moving object on the image (even when the moving object exists far away).

また、開示の移動体検出装置は、カメラによって撮影された画像において、道路消失点を含んだ所定の画像領域内から移動体を検出するので、ノイズの影響を低減することができる。   In addition, since the disclosed moving body detection device detects a moving body from within a predetermined image area including a road vanishing point in an image taken by a camera, the influence of noise can be reduced.

また、開示の移動体検出装置は、カメラを搭載した移動体に接近する移動体を検出対象とし、カメラを搭載した移動体から離れる移動体を検出対象から除外するので、重要な情報のみを運転手に通知することができる。   In addition, the disclosed mobile object detection device targets a mobile object approaching a mobile object equipped with a camera, and excludes a mobile object that moves away from the mobile object equipped with a camera from the detection object. Can notify the hand.

また、開示の移動体検出方法は、車両の走行状態に対応した最適な移動体検出方式(車両が停止していない場合には、オプティカルフロー方式、車両が停止している場合には、フレーム間差分方式)を利用して、移動体の検出を実行するので、移動体の画像上の大きさに関わらず(移動体が遠方に存在する場合でも)、移動体を正確に検出することが出来る。   In addition, the disclosed moving body detection method includes an optimal moving body detection method corresponding to the traveling state of the vehicle (an optical flow method when the vehicle is not stopped, and an interframe frame when the vehicle is stopped). Since the moving object is detected by using the difference method, the moving object can be accurately detected regardless of the size of the moving object on the image (even when the moving object exists far away). .

以下に添付図面を参照して、この発明に係る移動体検出装置、移動体検出方法および移動体検出プログラムの好適な実施の形態を詳細に説明する。   Exemplary embodiments of a mobile object detection device, a mobile object detection method, and a mobile object detection program according to the present invention will be explained below in detail with reference to the accompanying drawings.

まず、本実施例1にかかる移動体検出装置の概要および特徴について説明する。本実施例1にかかる移動体検出装置は、カメラ(例えば、ブラインドコーナモニタ;BCM)の撮影した画像から移動体を検出する場合に、カメラを搭載した車両の走行状態に応じて、検出方法を選択し、選択した検出方法による検出結果を出力する。   First, the outline and features of the moving object detection apparatus according to the first embodiment will be described. The moving body detection apparatus according to the first embodiment uses a detection method when detecting a moving body from an image captured by a camera (for example, a blind corner monitor; BCM) according to the traveling state of the vehicle on which the camera is mounted. Select and output the detection result by the selected detection method.

具体的に、移動体検出装置は、車両が停止していない場合には、オプティカルフロー方式により、画像内から移動体を検出し、車両が停止している場合には、フレーム間差分方式により、画面内から移動体を検出する。   Specifically, the moving body detection device detects the moving body from the image by the optical flow method when the vehicle is not stopped, and by the inter-frame difference method when the vehicle is stopped. Detect moving objects from the screen.

図1は、オプティカルフロー方式およびフレーム間差分方式の特徴を説明するための図である。同図に示すように、オプティカルフロー方式は、自車両走行時の移動体の検出精度が高いが、消失点付近(カメラから遠くに離れた位置付近)の移動体の検出および現フレームで新たに生じた移動体の検出の精度が低いという特徴がある。反対に、フレーム間差分方式は、消失点付近の移動体の検出および現フレームで新たに生じた移動体の検出精度が高いが、自車両走行時の移動体の検出の精度が低いという特徴がある。   FIG. 1 is a diagram for explaining the features of the optical flow method and the inter-frame difference method. As shown in the figure, the optical flow method has high detection accuracy of the moving object when the host vehicle is running, but it has newly detected the moving object near the vanishing point (near the position far away from the camera) and the current frame. There is a feature that the accuracy of detection of the generated moving body is low. On the other hand, the inter-frame difference method has a feature that detection of a moving object near the vanishing point and detection of a moving object newly generated in the current frame are high, but detection accuracy of the moving object when the vehicle is traveling is low. is there.

このように、本実施例1にかかる移動体検出装置は、車両の走行状態に対応した最適な移動体検出方式(車両が停止していない場合には、オプティカルフロー方式、車両が停止している場合には、フレーム間差分方式)を利用して、移動体の検出を実行するので、移動体の画像上の大きさに関わらず(移動体が遠方に存在する場合でも)、移動体を正確に検出することが出来る。   As described above, the moving body detection apparatus according to the first embodiment has an optimal moving body detection method corresponding to the traveling state of the vehicle (when the vehicle is not stopped, the optical flow method, the vehicle is stopped). In this case, since the detection of the moving object is performed using the inter-frame difference method), the moving object is accurately detected regardless of the size of the moving object on the image (even when the moving object exists far away). Can be detected.

次に、本実施例1にかかる移動体検出装置の構成について説明する。図2は、本実施例1にかかる移動体検出装置100の構成を示す図である。同図に示すように、この移動体検出装置100は、画像入力部110と、車両停止判定部120と、オプティカルフロー移動体検出部130と、フレーム間差分移動体検出部140と、移動体通知部150とを備えて構成される。なお、図では省略するが、図2に示す移動体検出装置100は、ブラインドコーナモニタ等のカメラに接続され、車両に設置されているものとする。   Next, the configuration of the moving object detection apparatus according to the first embodiment will be described. FIG. 2 is a diagram illustrating the configuration of the moving object detection device 100 according to the first embodiment. As shown in the figure, the moving body detection apparatus 100 includes an image input unit 110, a vehicle stop determination unit 120, an optical flow moving body detection unit 130, an inter-frame difference moving body detection unit 140, and a moving body notification. Unit 150. Although not shown in the figure, it is assumed that the moving body detection apparatus 100 shown in FIG. 2 is connected to a camera such as a blind corner monitor and is installed in a vehicle.

画像入力部110は、カメラ(BCM)からの画像入力を受け付けた場合に、入力された画像の情報をオプティカルフロー移動体検出部130およびフレーム間差分移動体検出部140に出力する手段である。   The image input unit 110 is a unit that outputs information of an input image to the optical flow moving body detection unit 130 and the inter-frame difference moving body detection unit 140 when an image input from the camera (BCM) is received.

車両停止判定部120は、車両中の車速検出装置(図示略)およびブレーキセンサ(図示略)等に接続され、車速検出装置から入力される車速情報およびブレーキ情報を基にして、車両が停止しているか否かを判定する手段である。車両停止判定部120は、判定結果をフレーム間差分移動体検出部140に出力する。   The vehicle stop determination unit 120 is connected to a vehicle speed detection device (not shown) and a brake sensor (not shown) in the vehicle, and stops the vehicle based on vehicle speed information and brake information input from the vehicle speed detection device. It is a means for determining whether or not. The vehicle stop determination unit 120 outputs the determination result to the inter-frame difference moving body detection unit 140.

具体的に、車両停止判定部120は、車両の速度が閾値未満、かつ、ブレーキが踏まれている場合に、車両が停止していると判定する。一方、車両停止判定部120は、車両の速度が閾値以上、または、ブレーキが踏まれていない場合に、車両が停止していないと判定する。   Specifically, the vehicle stop determination unit 120 determines that the vehicle is stopped when the vehicle speed is less than the threshold and the brake is depressed. On the other hand, the vehicle stop determination unit 120 determines that the vehicle has not stopped when the speed of the vehicle is equal to or higher than the threshold or the brake is not depressed.

オプティカルフロー移動体検出部130は、ブロックマッチング法によるオプティカルフロー方式によって、画像入力部110から入力される画像から移動体を検出する手段である。オプティカルフロー移動体検出部130は、フレーム間差分移動体検出部140および移動体通知部150に検出結果を出力する。   The optical flow moving body detection unit 130 is means for detecting a moving body from an image input from the image input unit 110 by an optical flow method using a block matching method. The optical flow moving body detection unit 130 outputs the detection result to the inter-frame difference moving body detection unit 140 and the moving body notification unit 150.

ここで、現在の画像のフレームをnフレーム、nフレームの1つ前のフレームをn−1フレームと定義して、オプティカルフロー移動体検出部130の説明を行うと、例えば、オプティカルフロー移動体検出部130は、n−1フレームの画像内の所定領域からブロック情報(所定領域に含まれる画素値の情報等を含む)を抽出し、抽出したブロック情報と、nフレームの画像内に含まれる各画素値とを比較して、ブロック情報と一致するnフレームの画像の領域を特定すること(マッチングを実行すること)で、移動体を検出する。   Here, when the optical flow moving body detection unit 130 is described by defining the frame of the current image as n frames and the frame immediately before the n frame as n−1 frames, for example, optical flow moving body detection is performed. The unit 130 extracts block information (including pixel value information included in the predetermined area) from the predetermined area in the n-1 frame image, and the extracted block information and each of the n frame images included in the n frame image The moving object is detected by comparing the pixel value and specifying an n-frame image region that matches the block information (by executing matching).

すなわち、n−1フレームの画像から抽出したブロック情報の座標と、nフレームの画像上でブロック情報と一致した領域の座標とが異なっていれば、ブロック情報に含まれる画像に移動体が存在することになる。なお、2フレーム間の時間間隔が閾値未満の場合には、正確に移動体を検出することが出来ない場合がある。この場合には、オプティカルフロー移動体検出部130は、2フレーム間の時間間隔が閾値以上となるように、カメラ(図示略)を制御してもよい。   That is, if the coordinates of the block information extracted from the n-1 frame image and the coordinates of the area that matches the block information on the n frame image are different, the moving object exists in the image included in the block information. It will be. In addition, when the time interval between two frames is less than a threshold value, a moving body may not be detected correctly. In this case, the optical flow moving body detection unit 130 may control the camera (not shown) so that the time interval between the two frames is equal to or greater than the threshold value.

フレーム間差分移動体検出部140は、車両停止判定部120から判定結果を取得し、オプティカルフロー移動体検出部130から検出結果を取得して、自車両が停止状態にあり、かつ、オプティカルフロー移動体検出部130によって移動体が検出されていない場合に、画像入力部110から入力される画像から移動体を検出する手段である。   The inter-frame difference mobile body detection unit 140 acquires the determination result from the vehicle stop determination unit 120, acquires the detection result from the optical flow mobile body detection unit 130, the own vehicle is in a stopped state, and the optical flow movement This is means for detecting a moving object from an image input from the image input unit 110 when the moving object is not detected by the body detecting unit 130.

具体的に、フレーム間差分移動体検出部140は、nフレームの画像の輝度値とn−1フレームの画像の輝度値との差分を算出(同一画素位置の輝度差分を算出)し、差分が閾値以上となる領域を特定することにより、移動体を検出する。フレーム間差分移動体検出部140は、移動体通知部150に検出結果を出力する。   Specifically, the inter-frame difference moving body detection unit 140 calculates the difference between the luminance value of the n-frame image and the luminance value of the n-1 frame image (calculates the luminance difference at the same pixel position), and the difference is A moving object is detected by specifying an area that is equal to or greater than the threshold. The inter-frame difference moving body detection unit 140 outputs the detection result to the moving body notification unit 150.

移動体通知部150は、オプティカルフロー移動体検出部130およびフレーム間差分移動体検出部140から検出結果を取得した場合に、モニタあるいはスピーカ(図示略)を利用して、移動体を運転手に通知する手段である。図3は、移動体を検出した場合のモニタの画像例を示す図である。同図に示すように、移動体が矩形で囲まれており、運転手は、移動体を早期に発見することが可能となる。   When the detection result is obtained from the optical flow moving body detection unit 130 and the inter-frame difference moving body detection unit 140, the moving body notification unit 150 uses a monitor or a speaker (not shown) to move the moving body to the driver. It is a means to notify. FIG. 3 is a diagram illustrating an example of an image on a monitor when a moving body is detected. As shown in the figure, the moving body is surrounded by a rectangle, and the driver can find the moving body at an early stage.

なお、移動体通知部150は、検出された移動体が画像内で占める領域と画像位置との関係から警告の緊急度を判定し、緊急度に応じてモニタ内の移動体を矩形で囲む、あるいは、緊急度が所定値以上となる場合には、音声で警告するなど、緊急度に応じて警告の種別を選択して、運転手に警告しても良い。   The moving body notification unit 150 determines the urgent level of warning from the relationship between the area occupied by the detected moving body in the image and the image position, and surrounds the moving body in the monitor in a rectangle according to the urgency level. Alternatively, when the urgency level is equal to or greater than a predetermined value, a warning type may be selected according to the urgency level, such as a warning by voice, and the driver may be warned.

次に、本実施例1にかかる移動体検出装置100の処理手順について説明する。図4は、本実施例1にかかる移動体検出装置100の処理手順を示すフローチャートである。同図に示すように、移動体検出装置100は、オプティカルフロー移動体検出部130がオプティカルフロー方式に基づいて、移動体の検出を実行し(ステップS101)、移動体を検出したか否かを判定する(ステップS102)。   Next, a processing procedure of the moving object detection apparatus 100 according to the first embodiment will be described. FIG. 4 is a flowchart of the process procedure of the moving object detection apparatus 100 according to the first embodiment. As shown in the figure, in the moving body detection apparatus 100, the optical flow moving body detection unit 130 detects a moving body based on the optical flow method (step S101), and determines whether or not the moving body is detected. Determination is made (step S102).

そして、移動体を検出した場合には(ステップS103,Yes)、ステップS109に移行する。一方、移動体を検出していない場合には(ステップS103,No)、車両停止判定部120が、車両が停止状態か否かを判定する(ステップS104)。   And when a mobile body is detected (step S103, Yes), it transfers to step S109. On the other hand, when the moving body is not detected (No at Step S103), the vehicle stop determination unit 120 determines whether or not the vehicle is stopped (Step S104).

ここで、車両が停止状態でない場合には(ステップS105,No)、ステップS101に移行する。一方、車両が停止状態である場合には(ステップS105,Yes)、フレーム間差分移動体検出部140が、フレーム間差分方式に基づいて、移動体の検出を実行し(ステップS106)、移動体を検出したか否かを判定する(ステップS107)。   Here, when the vehicle is not in a stopped state (step S105, No), the process proceeds to step S101. On the other hand, when the vehicle is in a stopped state (step S105, Yes), the inter-frame difference moving body detection unit 140 detects a moving body based on the inter-frame difference method (step S106), and the moving body Is detected (step S107).

そして、移動体を検出した場合には(ステップS108,Yes)、移動体通知部150が検出結果を出力し(ステップS109)、ステップS101に移行する。一方、移動体を検出していない場合には(ステップS108,No)、そのままステップS101に移行する。   And when a mobile body is detected (step S108, Yes), the mobile body notification part 150 outputs a detection result (step S109), and transfers to step S101. On the other hand, when the moving body is not detected (step S108, No), the process proceeds to step S101 as it is.

このように、オプティカルフロー移動体検出部130が移動体を検出しなかった場合に、自車両の走行状態に応じて、フレーム間差分移動体検出部140が移動体検出処理を実行するので、各移動体検出方式の弱点を補って、正確に移動体を検出することが出来る。   As described above, when the optical flow moving body detection unit 130 does not detect the moving body, the inter-frame difference moving body detection unit 140 executes the moving body detection process according to the traveling state of the host vehicle. A moving object can be accurately detected by compensating for the weak point of the moving object detection method.

上述してきたように、本実施例1にかかる移動体検出装置100は、オプティカルフロー方式により画像内の移動体を検出するオプティカルフロー移動体検出部130と、フレーム間差分法により画像内の移動体を検出するフレーム間差分移動体検出部140とを有し、自車両が停止状態に応じて、オプティカルフロー移動体検出部130あるいはフレーム間差分移動体検出部140による検出結果を出力するので、移動体の画像上の大きさに関わらず(移動体が遠方に存在する場合でも)、移動体を正確に検出することが出来る。   As described above, the moving object detection apparatus 100 according to the first embodiment includes the optical flow moving object detection unit 130 that detects the moving object in the image by the optical flow method, and the moving object in the image by the inter-frame difference method. The inter-frame difference moving body detection unit 140 is detected, and the detection result by the optical flow moving body detection unit 130 or the inter-frame difference moving body detection unit 140 is output according to the stop state. Regardless of the size of the body on the image (even when the moving body is located far away), the moving body can be accurately detected.

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例1以外にも種々の異なる形態にて実施されてよいものである。そこで、以下では実施例2として本発明に含まれる他の実施例を説明する。   Although the embodiments of the present invention have been described so far, the present invention may be implemented in various different forms other than the first embodiment described above. Therefore, another embodiment included in the present invention will be described below as a second embodiment.

(1)検出対象について
例えば、上記の実施例1では、オプティカルフロー移動体検出部130が、ブロックマッチング法に基づいて、画面上の移動体を全て検出し、検出結果として移動体通知部150に出力する場合について説明したが、これに限定されるものではなく、自車両に影響を与える移動体に対してのみ、移動体として検出しても良い。図5は、検出対象となる移動体と検出対象外となる移動体とを説明するための図である。
(1) Regarding detection target For example, in the first embodiment, the optical flow moving body detection unit 130 detects all the moving bodies on the screen based on the block matching method, and the detection result is sent to the moving body notification unit 150. Although the case of outputting has been described, the present invention is not limited to this, and only a moving body that affects the host vehicle may be detected as a moving body. FIG. 5 is a diagram for explaining a moving body that is a detection target and a moving body that is not a detection target.

図5の左側に示すように、オプティカルフロー移動体検出部130は、画像中心側から外側方向に移動する移動体、換言すれば、自車両から遠ざかる移動体を検出対象から除外する。一方、オプティカルフロー移動体検出部130は、画像の外側から画像中心側に移動する移動体、換言すれば、自車両に接近する移動体を検出対象とする。   As shown on the left side of FIG. 5, the optical flow moving body detection unit 130 excludes, from the detection target, a moving body that moves outward from the image center side, in other words, a moving body that moves away from the host vehicle. On the other hand, the optical flow moving body detection unit 130 detects a moving body that moves from the outside of the image to the image center side, that is, a moving body that approaches the host vehicle.

このように、オプティカルフロー移動体検出部130は、移動体の移動方向に応じて、移動体を検出対象から除外することによって、運転手に不必要な情報を通知することを防ぎ、運転手の運転を妨げることを防止することが出来る。なお、フレーム間差分移動体検出部140も、オプティカルフロー移動体検出部130と同様に、移動体の移動方向に応じて、検出対象を制限しても良い。   As described above, the optical flow moving body detection unit 130 prevents the driver from notifying unnecessary information by excluding the moving body from the detection target according to the moving direction of the moving body. It is possible to prevent the driving from being hindered. Note that the inter-frame difference moving body detection unit 140 may also limit the detection target according to the moving direction of the moving body, similarly to the optical flow moving body detection unit 130.

(2)フレーム間差分方式で差分をとる画像領域について
例えば、上記の実施例1では、フレーム間差分移動体検出部140が、nフレームとn−1フレームとの輝度値の差分をとる場合に、画像全体の輝度値をそれぞれ比較していたが、これに限定されるものではなく、例えば、各フレームに含まれる画像の消失点を含んだ所定領域の輝度値のみをそれぞれ比較することによって移動体を検出しても良い。
(2) Regarding an image region that obtains a difference using an inter-frame difference method For example, in the first embodiment, when the inter-frame difference moving body detection unit 140 obtains a difference in luminance value between n frames and n−1 frames. However, the present invention is not limited to this. For example, the image is moved by comparing only the luminance values of a predetermined area including the vanishing point of the image included in each frame. The body may be detected.

図6は、画像内の消失点と比較対象となる領域とを示す図である。同図に示す例では、消失点が2つ存在しており、フレーム間差分移動体検出部140は、消失点を含んだ所定領域の輝度値を各フレームから抽出し、抽出した各輝度値の差分を取ることで、移動体を検出することができる。このように、比較対象となる領域を消失点付近に限定することで、ノイズの影響を低減することができる。   FIG. 6 is a diagram illustrating vanishing points in an image and regions to be compared. In the example shown in the figure, there are two vanishing points, and the inter-frame difference moving body detection unit 140 extracts the luminance value of a predetermined area including the vanishing point from each frame, A moving body can be detected by taking the difference. Thus, by limiting the region to be compared to the vicinity of the vanishing point, the influence of noise can be reduced.

なお、フレーム間差分移動体検出部140が消失点を算出する方法は、周知技術のいかなる方式を用いても構わないが、例えば、フレーム間差分移動体検出部140は、画像の微分画像を作成するなどして、エッジ画像を2値化し、2値化したエッジ画像を特徴点としてHough変換を行うことにより、直線を算出し、かかる直線の交点を求めることで、消失点を算出することができる。   The method for calculating the vanishing point by the inter-frame difference moving body detection unit 140 may use any known method. For example, the inter-frame difference moving body detection unit 140 creates a differential image of the image. The vanishing point can be calculated by binarizing the edge image, performing a Hough transform using the binarized edge image as a feature point, calculating a straight line, and obtaining an intersection of the straight lines. it can.

(3)画像を撮影するカメラについて
例えば、上記の実施例1では、BCMを利用して画像を取得していたが、これに限定されるものではない。本質的には、消失点を含む画像を撮影できる撮影手段であれば、どのような装置を用いても良い。例えば、移動体検出装置は、サイドミラーの画像を取得して、車両後方の移動体を検出することで、運転手に車両後方に存在するバイクなどの存在を通知し、バイクの巻き込みを予防することが出来る。
(3) Regarding a camera that captures an image For example, in Embodiment 1 described above, an image is acquired using BCM. However, the present invention is not limited to this. Essentially, any device may be used as long as it is a photographing means capable of photographing an image including a vanishing point. For example, the moving body detection device acquires the image of the side mirror and detects the moving body behind the vehicle, thereby notifying the driver of the existence of a motorcycle or the like existing behind the vehicle and preventing the motorcycle from being involved. I can do it.

(4)システムの構成など
ところで、本実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部あるいは一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
(4) System Configuration Of the processes described in the present embodiment, all or part of the processes described as being automatically performed can be performed manually or manually. All or part of the processing described as being performed can be automatically performed by a known method. In addition, the processing procedure, control procedure, specific name, and information including various data and parameters shown in the above-described document and drawings can be arbitrarily changed unless otherwise specified.

また、図2に示した移動体検出装置100の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部がCPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。   Further, each component of the moving object detection apparatus 100 shown in FIG. 2 is functionally conceptual and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured. Furthermore, each processing function performed by each device may be realized by a CPU and a program that is analyzed and executed by the CPU, or may be realized as hardware by wired logic.

図7は、実施例1にかかる移動体検出装置100を構成するコンピュータ200のハードウェア構成を示す図である。図7に示すように、このコンピュータ(移動体検出装置)200は、入力装置201、モニタ202、カメラ(BCM)203、RAM(Random Access Memory)204、ROM(Read Only Memory)205、記憶媒体からデータを読み取る媒体読取装置206、他の装置との間でデータの送受信を行う通信装置207、車両の速度を検出する車速検出装置208、運転手によってブレーキが踏まれたか否かを検出するブレーキセンサ209、CPU(Central Processing Unit)210、HDD(Hard Disk Drive)211をバス212で接続して構成される。   FIG. 7 is a diagram illustrating a hardware configuration of the computer 200 included in the moving object detection apparatus 100 according to the first embodiment. As shown in FIG. 7, the computer (moving body detection device) 200 includes an input device 201, a monitor 202, a camera (BCM) 203, a RAM (Random Access Memory) 204, a ROM (Read Only Memory) 205, and a storage medium. A medium reading device 206 that reads data, a communication device 207 that transmits and receives data to and from other devices, a vehicle speed detection device 208 that detects the speed of the vehicle, and a brake sensor that detects whether or not the driver has stepped on the brake 209, a CPU (Central Processing Unit) 210, and an HDD (Hard Disk Drive) 211 are connected by a bus 212.

そして、HDD211には、上記した移動体検出装置100の機能と同様の機能を発揮するオプティカルフロー移動体検出プログラム211b、フレーム間差分移動体検出プログラム211c、車両停止判定プログラム211d、通知プログラム211eが記憶されている。CPU210が、オプティカルフロー移動体検出プログラム211b、フレーム間差分移動体検出プログラム211c、車両停止判定プログラム211d、通知プログラム211eを読み出して実行することにより、オプティカルフロー移動体検出プロセス210a、フレーム間差分移動体検出プロセス210b、車両停止判定プロセス210c、通知プロセス210dが起動される。   The HDD 211 stores an optical flow moving body detection program 211b, an inter-frame difference moving body detection program 211c, a vehicle stop determination program 211d, and a notification program 211e that exhibit the same functions as the functions of the moving body detection device 100 described above. Has been. The CPU 210 reads and executes the optical flow moving body detection program 211b, the inter-frame difference moving body detection program 211c, the vehicle stop determination program 211d, and the notification program 211e, so that the optical flow moving body detection process 210a, the inter-frame difference moving body. A detection process 210b, a vehicle stop determination process 210c, and a notification process 210d are activated.

ここで、オプティカルフロー移動体検出プロセス210aは、図2のオプティカルフロー移動体検出部130に対応し、フレーム間差分移動体検出プロセス210bは、フレーム間差分移動体検出部140に対応し、車両停止判定プロセス210cは、車両停止判定部120に対応し、通知プロセス210dは、移動体通知部150に対応する。   Here, the optical flow moving body detection process 210a corresponds to the optical flow moving body detection unit 130 of FIG. 2, and the inter-frame difference moving body detection process 210b corresponds to the inter-frame difference moving body detection unit 140, and stops the vehicle. The determination process 210 c corresponds to the vehicle stop determination unit 120, and the notification process 210 d corresponds to the moving body notification unit 150.

また、HDD211は、移動体検出装置100で利用される情報(画像情報等)に対応する各種データ211aを記憶する。CPU210は、HDD211に格納された各種データ211aを読み出して、RAM204に格納し、RAM204に格納された各種データ204aを用いて、画像から移動体を検出する。   Further, the HDD 211 stores various data 211 a corresponding to information (image information or the like) used in the moving object detection apparatus 100. The CPU 210 reads out various data 211 a stored in the HDD 211, stores it in the RAM 204, and detects a moving object from the image using the various data 204 a stored in the RAM 204.

ところで、図7に示したオプティカルフロー移動体検出プログラム211b、フレーム間差分移動体検出プログラム211c、車両停止判定プログラム211d、通知プログラム211eは、必ずしも最初からHDD211に記憶させておく必要はない。たとえば、コンピュータに挿入されるフレキシブルディスク(FD)、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」、または、コンピュータの内外に備えられるハードディスクドライブ(HDD)などの「固定用の物理媒体」、さらには、公衆回線、インターネット、LAN、WANなどを介してコンピュータに接続される「他のコンピュータ(またはサーバ)」などにオプティカルフロー移動体検出プログラム211b、フレーム間差分移動体検出プログラム211c、車両停止判定プログラム211d、通知プログラム211eを記憶しておき、コンピュータがこれらからオプティカルフロー移動体検出プログラム211b、フレーム間差分移動体検出プログラム211c、車両停止判定プログラム211d、通知プログラム211eを読み出して実行するようにしてもよい。   By the way, the optical flow moving body detection program 211b, the interframe difference moving body detection program 211c, the vehicle stop determination program 211d, and the notification program 211e shown in FIG. 7 do not necessarily need to be stored in the HDD 211 from the beginning. For example, a “portable physical medium” such as a flexible disk (FD), a CD-ROM, a DVD disk, a magneto-optical disk, or an IC card inserted into a computer, or a hard disk drive (HDD) provided inside or outside the computer. The "fixed physical medium", and the "another computer (or server)" connected to the computer via the public line, the Internet, LAN, WAN, etc. A differential moving body detection program 211c, a vehicle stop determination program 211d, and a notification program 211e are stored, and the computer uses them to store an optical flow mobile body detection program 211b, an interframe difference mobile body detection program 211c, and a vehicle stop determination program. Grams 211d, reads the notification program 211e may be executed.

上記の実施例1,2を含む実施形態に関し、以下の付記を開示する。   The following additional notes are disclosed with respect to the embodiments including Examples 1 and 2 above.

(付記1)移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置であって、
オプティカルフローにより前記画像内の移動体を検出する第1の移動体検出手段と、
フレーム間差分法により前記画像内の移動体を検出する第2の移動体検出手段と、
前記カメラを搭載した移動体が停止しているか否かを判定する停止判定手段と、
前記停止判定手段が、停止していると判定した場合に、前記第2の移動体検出手段による検出結果を出力する検出結果出力手段と、
を備えたことを特徴とする移動体検出装置。
(Supplementary note 1) A moving body detection apparatus for detecting a moving body from an image taken by a camera mounted on the moving body,
First moving body detection means for detecting a moving body in the image by optical flow;
Second moving body detecting means for detecting a moving body in the image by an inter-frame difference method;
Stop determination means for determining whether or not the moving body equipped with the camera is stopped;
A detection result output unit that outputs a detection result by the second moving body detection unit when the stop determination unit determines that the stop is stopped;
A moving body detection apparatus comprising:

(付記2)前記検出結果出力手段は、前記停止判定手段が、停止していないと判定した場合に、前記第1の移動体検出手段による検出結果を出力することを特徴とする付記1に記載の移動体検出装置。 (Additional remark 2) The said detection result output means outputs the detection result by the said 1st moving body detection means, when the said stop determination means determines with not having stopped, Additional remark 1 characterized by the above-mentioned. Mobile object detection device.

(付記3)前記第2の移動体検出手段は、前記カメラによって撮影された画像において、道路消失点を含んだ所定の画像領域内から移動体を検出することを特徴とする付記1または2に記載の移動体検出装置。 (Additional remark 3) The said 2nd moving body detection means detects a mobile body from the predetermined image area | region containing a road vanishing point in the image image | photographed with the said camera. The moving body detection apparatus of description.

(付記4)前記第1の移動体検出手段は、前記カメラを搭載した移動体に接近する移動体を検出対象とし、前記カメラを搭載した移動体から離れる移動体を検出対象から除外することを特徴とする付記1、2または3に記載の移動体検出装置。 (Additional remark 4) The said 1st moving body detection means makes the detection object the moving body which approaches the moving body which mounts the said camera, and excludes the moving body which leaves | separates from the moving body which mounts the said camera from detection object. 4. The moving object detection device according to appendix 1, 2, or 3, which is characterized.

(付記5)移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置の移動体検出方法であって、
前記移動体検出装置は、
前記カメラによって撮影された画像を記憶装置に記憶する記憶ステップと、
前記記憶装置から画像を取得し、オプティカルフローにより前記画像内の移動体を検出する第1の移動体検出ステップと、
前記第1の移動体検出ステップによって移動体が検出されず、かつ、前記カメラを搭載した移動体が停止しているか否かを判定する判定ステップと、
前記判定ステップの判定結果に基づいて、フレーム間差分法により前記画像内の移動体を検出する第2の移動体検出ステップと、
前記第1の移動体検出ステップまたは第2の移動体検出ステップによる検出結果を出力する出力ステップと、
を含んでいることを特徴とする移動体検出方法。
(Additional remark 5) It is a moving body detection method of the moving body detection apparatus which detects a moving body from the image image | photographed with the camera mounted in the moving body,
The mobile object detection device is:
A storage step of storing an image captured by the camera in a storage device;
A first moving body detection step of acquiring an image from the storage device and detecting a moving body in the image by optical flow;
A determination step of determining whether or not the moving body is not detected by the first moving body detection step and the moving body on which the camera is mounted is stopped;
A second moving object detection step of detecting a moving object in the image by an inter-frame difference method based on a determination result of the determination step;
An output step of outputting a detection result by the first moving body detection step or the second moving body detection step;
A moving object detection method comprising:

(付記6)前記第2の移動体検出ステップは、前記カメラによって撮影された画像において、道路消失点を含んだ所定の画像領域内から移動体を検出することを特徴とする付記5に記載の移動体検出方法。 (Additional remark 6) The said 2nd moving body detection step detects a moving body from the predetermined image area | region containing a road vanishing point in the image image | photographed with the said camera. Moving object detection method.

(付記7)前記第1の移動体検出ステップは、前記カメラを搭載した移動体に接近する移動体を検出対象とし、前記カメラを搭載した移動体から離れる移動体を検出対象から除外することを特徴とする付記5または6に記載の移動体検出方法。 (Supplementary note 7) The first moving body detecting step includes detecting a moving body approaching the moving body mounted with the camera and excluding the moving body moving away from the moving body mounted with the camera from the detection target. The moving body detection method according to appendix 5 or 6, characterized by the above.

(付記8)コンピュータに、
移動体に搭載されたカメラによって撮影された画像を記憶装置に記憶する記憶手順と、
前記記憶装置から画像を取得し、オプティカルフローにより前記画像内の移動体を検出する第1の移動体検出手順と、
前記第1の移動体検出手順によって移動体が検出されず、かつ、前記カメラを搭載した移動体が停止しているか否かを判定する判定手順と、
前記判定手順の判定結果に基づいて、フレーム間差分法により前記画像内の移動体を検出する第2の移動体検出手順と、
前記第1の移動体検出手順または第2の移動体検出手順による検出結果を出力する出力手順と、
を実行させることを特徴とする移動体検出プログラム。
(Appendix 8)
A storage procedure for storing an image taken by a camera mounted on a moving body in a storage device;
A first moving object detection procedure for acquiring an image from the storage device and detecting a moving object in the image by optical flow;
A determination procedure for determining whether or not the moving object is detected by the first moving object detection procedure and the moving object on which the camera is mounted is stopped;
A second moving object detection procedure for detecting a moving object in the image by an inter-frame difference method based on a determination result of the determination procedure;
An output procedure for outputting a detection result by the first moving object detection procedure or the second moving object detection procedure;
A moving body detection program for executing

(付記9)前記第2の移動体検出手順は、前記カメラによって撮影された画像において、道路消失点を含んだ所定の画像領域内から移動体を検出することを特徴とする付記8に記載の移動体検出プログラム。 (Additional remark 9) The said 2nd moving body detection procedure detects a mobile body from the predetermined image area | region containing a road vanishing point in the image image | photographed with the said camera, The additional remark 8 characterized by the above-mentioned. A moving object detection program.

(付記10)前記第1の移動体検出手順は、前記カメラを搭載した移動体に接近する移動体を検出対象とし、前記カメラを搭載した移動体から離れる移動体を検出対象から除外することを特徴とする付記8または9に記載の移動体検出プログラム。 (Supplementary Note 10) The first moving body detection procedure includes detecting a moving body approaching the moving body mounted with the camera as a detection target and excluding a moving body moving away from the moving body mounted with the camera from the detection target. Item 10. The moving object detection program according to appendix 8 or 9,

以上のように、本発明にかかる移動体検出装置、移動体検出方法および移動体検出プログラムは、移動体を検出する移動体検出システムなどに有用であり、特に、移動体の画像上の大きさに関わらず、移動体を正確に検出する必要がある場合に適している。   As described above, the mobile object detection device, the mobile object detection method, and the mobile object detection program according to the present invention are useful for a mobile object detection system that detects a mobile object, and in particular, the size of the mobile object on the image. Regardless, it is suitable when it is necessary to accurately detect a moving object.

オプティカルフロー方式およびフレーム間差分方式の特徴を説明するための図である。It is a figure for demonstrating the characteristic of the optical flow system and the difference method between frames. 本実施例1にかかる移動体検出装置の構成を示す図である。1 is a diagram illustrating a configuration of a moving object detection device according to a first embodiment. 移動体を検出した場合のモニタの画像例を示す図である。It is a figure which shows the example of a monitor's image at the time of detecting a moving body. 本実施例1にかかる移動体検出装置の処理手順を示すフローチャートである。3 is a flowchart illustrating a processing procedure of the moving object detection device according to the first embodiment. 検出対象となる移動体と検出対象外となる移動体とを説明するための図である。It is a figure for demonstrating the mobile body used as a detection target, and the mobile body used as a detection target outside. 画像内の消失点と比較対象となる領域とを示す図である。It is a figure which shows the vanishing point in an image, and the area | region used as a comparison object. 実施例1にかかる移動体検出装置を構成するコンピュータのハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of the computer which comprises the moving body detection apparatus concerning Example 1. FIG. BCMの撮影範囲を示す図である。It is a figure which shows the imaging | photography range of BCM. BCMによって撮影される画像の一例を示す図である。It is a figure which shows an example of the image image | photographed by BCM.

符号の説明Explanation of symbols

100 移動体検出装置
110 画像入力部
120 車両停止判定部
130 オプティカルフロー移動体検出部
140 フレーム間差分移動体検出部
150 移動体通知部
DESCRIPTION OF SYMBOLS 100 Mobile body detection apparatus 110 Image input part 120 Vehicle stop determination part 130 Optical flow mobile body detection part 140 Inter-frame difference mobile body detection part 150 Mobile body notification part

Claims (6)

移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置であって、
オプティカルフローにより前記画像内の移動体を検出する第1の移動体検出手段と、
フレーム間差分法により前記画像内の移動体を検出する第2の移動体検出手段と、
前記カメラを搭載した移動体が停止しているか否かを判定する停止判定手段と、
前記停止判定手段が、停止していると判定した場合に、前記第2の移動体検出手段による検出結果を出力する検出結果出力手段と、
を備えたことを特徴とする移動体検出装置。
A moving body detection device for detecting a moving body from an image taken by a camera mounted on the moving body,
First moving body detection means for detecting a moving body in the image by optical flow;
Second moving body detecting means for detecting a moving body in the image by an inter-frame difference method;
Stop determination means for determining whether or not the moving body equipped with the camera is stopped;
A detection result output unit that outputs a detection result by the second moving body detection unit when the stop determination unit determines that the stop is stopped;
A moving body detection apparatus comprising:
前記検出結果出力手段は、前記停止判定手段が、停止していないと判定した場合に、前記第1の移動体検出手段による検出結果を出力することを特徴とする請求項1に記載の移動体検出装置。   The mobile body according to claim 1, wherein the detection result output means outputs a detection result by the first mobile body detection means when the stop determination means determines that the stop is not stopped. Detection device. 前記第2の移動体検出手段は、前記カメラによって撮影された画像において、道路消失点を含んだ所定の画像領域内から移動体を検出することを特徴とする請求項1または2に記載の移動体検出装置。   3. The movement according to claim 1, wherein the second moving body detecting unit detects the moving body from within a predetermined image area including a road vanishing point in an image photographed by the camera. Body detection device. 前記第1の移動体検出手段は、前記カメラを搭載した移動体に接近する移動体を検出対象とし、前記カメラを搭載した移動体から離れる移動体を検出対象から除外することを特徴とする請求項1、2または3に記載の移動体検出装置。   The first moving body detection means sets a moving body approaching a moving body mounted with the camera as a detection target, and excludes a moving body moving away from the moving body mounted with the camera from the detection target. Item 4. The moving object detection device according to Item 1, 2 or 3. 移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置の移動体検出方法であって、
前記移動体検出装置は、
前記カメラによって撮影された画像を記憶装置に記憶する記憶ステップと、
前記記憶装置から画像を取得し、オプティカルフローにより前記画像内の移動体を検出する第1の移動体検出ステップと、
前記第1の移動体検出ステップによって移動体が検出されず、かつ、前記カメラを搭載した移動体が停止しているか否かを判定する判定ステップと、
前記判定ステップの判定結果に基づいて、フレーム間差分法により前記画像内の移動体を検出する第2の移動体検出ステップと、
前記第1の移動体検出ステップまたは第2の移動体検出ステップによる検出結果を出力する出力ステップと、
を含んでいることを特徴とする移動体検出方法。
A moving body detecting method of a moving body detecting device for detecting a moving body from an image photographed by a camera mounted on the moving body,
The mobile object detection device is:
A storage step of storing an image captured by the camera in a storage device;
A first moving body detection step of acquiring an image from the storage device and detecting a moving body in the image by optical flow;
A determination step of determining whether or not the moving body is not detected by the first moving body detection step and the moving body on which the camera is mounted is stopped;
A second moving object detection step of detecting a moving object in the image by an inter-frame difference method based on a determination result of the determination step;
An output step of outputting a detection result by the first moving body detection step or the second moving body detection step;
A moving object detection method comprising:
コンピュータに、
移動体に搭載されたカメラによって撮影された画像を記憶装置に記憶する記憶手順と、
前記記憶装置から画像を取得し、オプティカルフローにより前記画像内の移動体を検出する第1の移動体検出手順と、
前記第1の移動体検出手順によって移動体が検出されず、かつ、前記カメラを搭載した移動体が停止しているか否かを判定する判定手順と、
前記判定手順の判定結果に基づいて、フレーム間差分法により前記画像内の移動体を検出する第2の移動体検出手順と、
前記第1の移動体検出手順または第2の移動体検出手順による検出結果を出力する出力手順と、
を実行させることを特徴とする移動体検出プログラム。
On the computer,
A storage procedure for storing an image taken by a camera mounted on a moving body in a storage device;
A first moving object detection procedure for acquiring an image from the storage device and detecting a moving object in the image by optical flow;
A determination procedure for determining whether or not the moving object is detected by the first moving object detection procedure and the moving object on which the camera is mounted is stopped;
A second moving object detection procedure for detecting a moving object in the image by an inter-frame difference method based on a determination result of the determination procedure;
An output procedure for outputting a detection result by the first moving object detection procedure or the second moving object detection procedure;
A moving body detection program for executing
JP2007322556A 2007-12-13 2007-12-13 Moving object detection device, moving object detection method and moving object detection program Withdrawn JP2009146153A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007322556A JP2009146153A (en) 2007-12-13 2007-12-13 Moving object detection device, moving object detection method and moving object detection program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007322556A JP2009146153A (en) 2007-12-13 2007-12-13 Moving object detection device, moving object detection method and moving object detection program

Publications (1)

Publication Number Publication Date
JP2009146153A true JP2009146153A (en) 2009-07-02

Family

ID=40916691

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007322556A Withdrawn JP2009146153A (en) 2007-12-13 2007-12-13 Moving object detection device, moving object detection method and moving object detection program

Country Status (1)

Country Link
JP (1) JP2009146153A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8582815B2 (en) 2011-02-23 2013-11-12 Denso Corporation Moving object detection apparatus
JP2014182702A (en) * 2013-03-21 2014-09-29 Alpine Electronics Inc Driving support device and control method of driving support process
US10943141B2 (en) 2016-09-15 2021-03-09 Mitsubishi Electric Corporation Object detection device and object detection method
US11393220B2 (en) 2019-10-14 2022-07-19 Denso Corporation Obstacle identification apparatus and obstacle identification program
US11417115B2 (en) 2019-10-14 2022-08-16 Denso Corporation Obstacle recognition device
US11704911B2 (en) 2019-10-14 2023-07-18 Denso Corporation Apparatus and method for identifying obstacle around vehicle

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8582815B2 (en) 2011-02-23 2013-11-12 Denso Corporation Moving object detection apparatus
JP2014182702A (en) * 2013-03-21 2014-09-29 Alpine Electronics Inc Driving support device and control method of driving support process
US10943141B2 (en) 2016-09-15 2021-03-09 Mitsubishi Electric Corporation Object detection device and object detection method
US11393220B2 (en) 2019-10-14 2022-07-19 Denso Corporation Obstacle identification apparatus and obstacle identification program
US11417115B2 (en) 2019-10-14 2022-08-16 Denso Corporation Obstacle recognition device
US11704911B2 (en) 2019-10-14 2023-07-18 Denso Corporation Apparatus and method for identifying obstacle around vehicle

Similar Documents

Publication Publication Date Title
US9180814B2 (en) Vehicle rear left and right side warning apparatus, vehicle rear left and right side warning method, and three-dimensional object detecting device
JP5867273B2 (en) Approaching object detection device, approaching object detection method, and computer program for approaching object detection
JP6795027B2 (en) Information processing equipment, object recognition equipment, device control systems, moving objects, image processing methods and programs
CN106611512B (en) Method, device and system for processing starting of front vehicle
WO2015053335A1 (en) Parked vehicle detection device, vehicle management system, and control method
JP2007072665A (en) Object discrimination device, object discrimination method and object discrimination program
JP2007172035A (en) Onboard image recognition device, onboard imaging device, onboard imaging controller, warning processor, image recognition method, imaging method and imaging control method
JP2013203337A (en) Driving support device
JP2017068700A (en) Object detection apparatus, object detection method, and program
JP2007015525A (en) Output device for outputting signal for coping with danger approach between preceding vehicle and own vehicle based on front picture photographed by camera and program for the output device
JP2010132056A (en) Sensing device, sensing method, and vehicle control device
JP2009146153A (en) Moving object detection device, moving object detection method and moving object detection program
JP6081247B2 (en) Display switching device and display switching method for vehicle rear image
US20200207340A1 (en) Collision prediction device, collision prediction method, and program
JP2012153256A (en) Image processing apparatus
JP2016189084A (en) Vehicle state determination device
KR101730740B1 (en) Driving assistant apparatus
JP4762830B2 (en) Perimeter monitoring system
JP2007064894A (en) Object detector, object detecting method, and object detection program
JP2018073275A (en) Image recognition device
JP2020166409A (en) In-vehicle device, in-vehicle system and surroundings monitoring method
JP2010107435A (en) Feature position recognition device
JP2009037542A (en) Adjacent vehicle detection apparatus and adjacent vehicle detection method
JP2011258121A (en) Obstacle recognition device
JP2011103058A (en) Erroneous recognition prevention device

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20110301