JP2023053681A

JP2023053681A - Distance estimation apparatus

Info

Publication number: JP2023053681A
Application number: JP2021162865A
Authority: JP
Inventors: 将太牧田; Shota Makita; 聡武安; Satoshi Takeyasu
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2021-10-01
Filing date: 2021-10-01
Publication date: 2023-04-13

Abstract

To provide a distance estimation apparatus configured to improve the accuracy of estimating a distance between an own vehicle and another vehicle which travels around the own vehicle.SOLUTION: In a vehicle control system, a distance estimation apparatus includes: a detection unit 31 which detects, at every acquisition of an image representing a region around a vehicle from an imaging unit, from the image, an object region that represents another vehicle traveling around the vehicle and a boundary between side surfaces and a front or back surface of the other vehicle in the object region, and identifies a type of the other vehicle; and a distance estimation unit 32 which estimates, on the assumption that relative motion of the other vehicle with respect to the vehicle conforms to a predetermined motion model, a distance from the vehicle to the other vehicle at the time of generation of the latest image, using the position of the boundary between the side surfaces and the front or back surface of the other vehicle in the object region, a width of the front or back surface and a length of the side surface of the other vehicle on the image, a reference vehicle width and a reference vehicle length of the other vehicle corresponding to the type of the other vehicle, and a speed and a yaw rate of the vehicle at the time of generation of the image, as inputs in a predetermined prediction filter.SELECTED DRAWING: Figure 3

Description

本発明は、画像に表された物体までの距離を推定する距離推定装置に関する。 The present invention relates to a distance estimation device for estimating a distance to an object represented in an image.

車両を自動運転制御するために、あるいは、車両のドライバの運転を支援するために、車両から、その周囲の物体までの距離を推定することが求められる。そこで、自車両に搭載された撮像手段により生成された、自車両の前方が表された画像における、自車両の前方の物体の幅と、その物体の幅の実際の値とに基づいて、自車両とその物体との距離を検出する技術が提案されている（特許文献１を参照）。 BACKGROUND ART In order to automatically control a vehicle or assist a driver in driving the vehicle, it is required to estimate the distance from the vehicle to objects in its surroundings. Therefore, based on the width of an object in front of the own vehicle and the actual value of the width of the object in an image representing the front of the own vehicle generated by an imaging means mounted on the own vehicle, A technique for detecting the distance between a vehicle and its object has been proposed (see Patent Document 1).

特開２００２－３２７６３５号公報JP-A-2002-327635

上記の技術において、画像上での物体の幅を求めるためには、画像からその物体が表されている領域（以下、物体領域と呼ぶ）を検出する必要がある。そしてその物体領域の水平方向の幅が、その物体の幅として推定される。しかし、自車両からの距離を推定する物体が、自車両の前方を走行する他の車両である場合、他の車両の向きが、自車両の進行方向に対して傾いていることがある。このような場合、画像上の物体領域には、他の車両の背面だけでなく、他の車両の側面も含まれることがある。その結果として、物体領域の横幅が画像上での他の車両の背面の横幅よりも広くなるために、自車両から他の車両までの距離の推定精度が低下する。特に、自車両から他の車両までの距離が遠くなるほど、画像上での他の車両のサイズが小さくなり、他の車両の背面だけを正確に識別することが困難となる。そのため、自車両から他の車両までの距離が遠くなるほど、自車両から他の車両までの距離の推定精度が低下するおそれがある。 In the above technique, in order to obtain the width of the object on the image, it is necessary to detect the area where the object is represented (hereinafter referred to as the object area) from the image. The horizontal width of the object region is then estimated as the width of the object. However, when the object whose distance from the own vehicle is estimated is another vehicle traveling in front of the own vehicle, the other vehicle may be tilted with respect to the traveling direction of the own vehicle. In such cases, the object area on the image may include not only the back of the other vehicle, but also the sides of the other vehicle. As a result, the width of the object region becomes wider than the width of the back surface of the other vehicle on the image, so the accuracy of estimating the distance from the own vehicle to the other vehicle decreases. In particular, as the distance from the own vehicle to the other vehicle increases, the size of the other vehicle on the image becomes smaller, making it difficult to accurately identify only the back surface of the other vehicle. Therefore, as the distance from one's own vehicle to another vehicle increases, the accuracy of estimating the distance from one's own vehicle to another vehicle may decrease.

そこで、本発明は、自車両と自車両の周囲を走行する他の車両との間の距離の推定精度を向上できる距離推定装置を提供することを目的とする。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide a distance estimating device capable of improving the accuracy of estimating the distance between the own vehicle and other vehicles traveling around the own vehicle.

一つの実施形態によれば、距離推定装置が提供される。この距離推定装置は、車両に搭載された撮像部により生成された車両の周囲の領域を表す画像を取得する度に、その画像を識別器に入力することで、その画像から、車両の周囲を走行する他の車両が表された物体領域及び物体領域中で他の車両の側面と前面または背面との境界を検出するとともに他の車両の車種を識別する検出部と、車両に対する他の車両の相対的な運動が所定の運動モデルに従うと仮定して、画像が取得される度に検出された、その画像上での物体領域における他の車両の側面と前面または背面との境界の位置と、その画像上での他の車両の前面または背面の幅及び側面の長さと、他の車両の車種に対応する、実空間における他の車両の基準車幅及び基準車長と、その画像の生成時の車両の速度及びヨーレートとを所定の予測フィルタに入力することで、車両に対する他の車両の相対的な位置及び姿勢の変化を追跡することで、最新の画像が生成されたときの車両から他の車両までの距離を推定する距離推定部とを有する。 According to one embodiment, a distance estimation device is provided. Each time an image representing the area around the vehicle generated by an imaging unit mounted on the vehicle is acquired, the distance estimation device inputs the image into the classifier, thereby estimating the surroundings of the vehicle from the image. an object area in which another vehicle is represented and a detection unit that detects the boundary between the side surface and the front or rear surface of the other vehicle in the object area and identifies the vehicle type of the other vehicle; the position of the boundary between the side and the front or back of the other vehicle in the object region on the image, detected each time the image is acquired, assuming that the relative motion follows a predetermined motion model; Width and side length of the other vehicle on the image, reference vehicle width and reference vehicle length of the other vehicle in real space corresponding to the vehicle type of the other vehicle, and when the image is generated By inputting the vehicle speed and yaw rate of the vehicle into a predetermined prediction filter, by tracking changes in the relative position and attitude of the other vehicle with respect to the vehicle, the vehicle from the time when the latest image was generated to the other vehicle and a distance estimator for estimating the distance to the vehicle.

本発明に係る距離推定装置は、自車両と自車両の周囲を走行する他の車両との間の距離の推定精度を向上できるという効果を奏する。 The distance estimating device according to the present invention has the effect of improving the accuracy of estimating the distance between the own vehicle and other vehicles traveling around the own vehicle.

距離推定装置が実装される車両制御システムの概略構成図である。1 is a schematic configuration diagram of a vehicle control system in which a distance estimation device is implemented; FIG. 距離推定装置の一つの実施形態である電子制御装置のハードウェア構成図である。It is a hardware block diagram of the electronic controller which is one embodiment of a distance estimation apparatus. 距離推定処理を含む車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。FIG. 4 is a functional block diagram of a processor of the electronic control unit regarding vehicle control processing including distance estimation processing; 予測フィルタにおける状態変数を説明するための、車両と先行車両との相対的な位置関係の一例を示す図である。FIG. 4 is a diagram showing an example of a relative positional relationship between a vehicle and a preceding vehicle for explaining state variables in a prediction filter; 予測フィルタのmeasurement updateにおける、相対縦距離の算出の概要を説明する図である。FIG. 10 is a diagram illustrating an outline of calculation of a relative vertical distance in measurement update of a prediction filter; 距離推定処理を含む、車両制御処理の動作フローチャートである。4 is an operation flowchart of vehicle control processing including distance estimation processing;

以下、図を参照しつつ、距離推定装置について説明する。この距離推定装置は、自車両に搭載された撮像部により、時系列に得られる一連の画像から検出される、自車両の周囲を走行する他の車両までの距離を推定する。その際、この距離推定装置は、自車両に対する他の車両の相対的な運動が所定の運動モデルに従うと仮定して、予測フィルタを用いて自車両に対する他の車両の相対的な位置及び姿勢の変化を追跡する。そしてこの距離推定装置は、その追跡結果を利用して、各画像生成時における自車両から他の車両までの距離を推定する。 The distance estimation device will be described below with reference to the drawings. This distance estimating device estimates the distance to other vehicles traveling around the own vehicle, which is detected from a series of images obtained in time series by an imaging unit mounted on the own vehicle. At that time, this distance estimating device uses a prediction filter to estimate the position and attitude of the other vehicle relative to the own vehicle, assuming that the relative motion of the other vehicle with respect to the own vehicle follows a predetermined motion model. Track changes. This distance estimating device uses the tracking result to estimate the distance from the own vehicle to the other vehicle when each image is generated.

以下では、距離推定装置を、車両制御システムに適用した例について説明する。この例では、距離推定装置は、自車両に搭載されたカメラにより得られた画像に対して距離推定処理を実行することで、自車両の前方を走行する他の車両（以下、説明の便宜上、先行車両と呼ぶ）を検出するとともに、検出された先行車両までの距離を推定する。そして、その検出結果及び検出された先行車両までの距離の推定値が、自車両の運転制御に利用される。なお、以下の実施形態では、自車両に搭載されたカメラから先行車両までの距離を、自車両から先行車両までの距離とする。 An example in which the distance estimation device is applied to a vehicle control system will be described below. In this example, the distance estimating device performs distance estimation processing on an image obtained by a camera mounted on the own vehicle, thereby estimating other vehicles traveling in front of the own vehicle (hereinafter, for convenience of explanation, preceding vehicle) is detected, and the distance to the detected preceding vehicle is estimated. Then, the detection result and the detected estimated value of the distance to the preceding vehicle are used for driving control of the host vehicle. In the following embodiments, the distance from the camera mounted on the own vehicle to the preceding vehicle is defined as the distance from the own vehicle to the preceding vehicle.

図１は、距離推定装置が実装される車両制御システムの概略構成図である。また図２は、距離推定装置の一例である電子制御装置のハードウェア構成図である。本実施形態では、車両１０（すなわち、自車両）に搭載され、かつ、車両１０を制御する車両制御システム１は、車両１０の周囲を撮影するためのカメラ２と、距離推定装置の一例である電子制御装置（ＥＣＵ）３とを有する。カメラ２とＥＣＵ３とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。さらに、ＥＣＵ３には、車両１０の車速を測定する車速センサ４及び車両１０のヨーレートを測定するヨーレートセンサ５が接続される。 FIG. 1 is a schematic configuration diagram of a vehicle control system in which a distance estimation device is installed. Further, FIG. 2 is a hardware configuration diagram of an electronic control device, which is an example of the distance estimation device. In this embodiment, a vehicle control system 1 mounted on a vehicle 10 (that is, the own vehicle) and controlling the vehicle 10 is an example of a camera 2 for photographing the surroundings of the vehicle 10 and a distance estimation device. and an electronic control unit (ECU) 3 . The camera 2 and the ECU 3 are communicably connected via an in-vehicle network conforming to a standard such as a controller area network. Furthermore, a vehicle speed sensor 4 for measuring the vehicle speed of the vehicle 10 and a yaw rate sensor 5 for measuring the yaw rate of the vehicle 10 are connected to the ECU 3 .

カメラ２は、撮像部の一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。カメラ２は、車両１０の前方を向くように、例えば、車両１０の車室内に取り付けられる。そしてカメラ２は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに車両１０の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ２により得られた画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。なお、車両１０には、撮影方向または焦点距離が異なる複数のカメラが設けられてもよい。 The camera 2 is an example of an imaging unit, and includes a two-dimensional detector composed of an array of photoelectric conversion elements sensitive to visible light, such as a CCD or C-MOS, and an object to be photographed on the two-dimensional detector. It has an imaging optical system that forms an image of the area. The camera 2 is mounted, for example, in the vehicle interior of the vehicle 10 so as to face the front of the vehicle 10 . Then, the camera 2 photographs the area in front of the vehicle 10 at predetermined photographing intervals (for example, 1/30 second to 1/10 second) and generates an image showing the area in front of the vehicle. The image obtained by camera 2 may be a color image or a gray image. Note that the vehicle 10 may be provided with a plurality of cameras having different photographing directions or focal lengths.

カメラ２は、画像を生成する度に、その生成した画像及び撮影時刻（すなわち、画像の生成時刻）を、車内ネットワークを介してＥＣＵ３へ出力する。 Each time the camera 2 generates an image, the camera 2 outputs the generated image and the photographing time (that is, the generation time of the image) to the ECU 3 via the in-vehicle network.

ＥＣＵ３は、車両１０を制御する。本実施形態では、ＥＣＵ３は、カメラ２により得られた時系列の一連の画像から検出された先行車両までの距離に基づいて車両１０を自動運転するよう、車両１０を制御する。そのために、ＥＣＵ３は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。 The ECU 3 controls the vehicle 10 . In this embodiment, the ECU 3 controls the vehicle 10 to automatically drive the vehicle 10 based on the distance to the preceding vehicle detected from a series of time-series images obtained by the camera 2 . Therefore, the ECU 3 has a communication interface 21 , a memory 22 and a processor 23 .

通信インターフェース２１は、通信部の一例であり、ＥＣＵ３を車内ネットワークに接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は、車内ネットワークを介して、カメラ２と接続される。そして通信インターフェース２１は、カメラ２から画像を受信する度に、受信した画像をプロセッサ２３へわたす。さらに、通信インターフェース２１は、車速センサ４から、車両１０の速度の測定値を受信する度に、その測定値をプロセッサ２３へわたす。さらに、通信インターフェース２１は、ヨーレートセンサ５から、車両１０のヨーレートの測定値を受信する度に、その測定値をプロセッサ２３へわたす。 The communication interface 21 is an example of a communication section, and has an interface circuit for connecting the ECU 3 to the in-vehicle network. That is, the communication interface 21 is connected to the camera 2 via the in-vehicle network. Then, the communication interface 21 passes the received image to the processor 23 every time it receives an image from the camera 2 . Further, every time communication interface 21 receives a measurement of the speed of vehicle 10 from vehicle speed sensor 4 , it passes that measurement to processor 23 . Further, every time communication interface 21 receives a measurement of the yaw rate of vehicle 10 from yaw rate sensor 5 , it passes that measurement to processor 23 .

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。なお、メモリ２２は、後述するようにプロセッサ２３が複数の演算ユニットを有する場合に、演算ユニットごとに専用のメモリ回路を有していてもよい。そしてメモリ２２は、ＥＣＵ３のプロセッサ２３により実行される距離推定処理において使用される各種のデータを記憶する。メモリ２２は、そのようなデータとして、例えば、カメラ２の焦点距離、撮影方向及び設置高さといったカメラ２に関する情報を表すパラメータ、先行車両の検出で利用される識別器を特定するための各種パラメータなどを記憶する。また、メモリ２２は、距離推定の際に利用される予測フィルタで利用される各種の情報を記憶する。例えば、メモリ２２は、車種ごとに、その車種の車両の基準となる車幅（以下、基準車幅と呼ぶ）及びその車種の車両の基準となる車長（以下、基準車長と呼ぶ）を記憶する。また、メモリ２２は、予測フィルタにおける状態変数の更新の際に用いられるプロセスノイズを記憶する。さらにまた、メモリ２２は、カメラ２から受信した画像をその撮影時刻とともに一定期間記憶する。さらにまた、メモリ２２は、車両１０の速度及びヨーレートの測定値を一定期間記憶する。さらにまた、メモリ２２は、検出された先行車両が追跡されている期間中に得られた各画像における、先行車両が表された物体領域を表す情報といった、距離推定処理の途中で生成される各種のデータを一定期間記憶する。さらにまた、メモリ２２は、地図情報といった車両１０の走行制御に利用される情報を記憶してもよい。 The memory 22 is an example of a storage unit, and has, for example, a volatile semiconductor memory and a nonvolatile semiconductor memory. Note that the memory 22 may have a dedicated memory circuit for each arithmetic unit when the processor 23 has a plurality of arithmetic units as will be described later. The memory 22 stores various data used in distance estimation processing executed by the processor 23 of the ECU 3 . As such data, the memory 22 stores, for example, parameters representing information related to the camera 2 such as the focal length of the camera 2, the shooting direction, and the installation height, and various parameters for identifying the discriminator used in detecting the preceding vehicle. etc. to remember. In addition, the memory 22 stores various kinds of information used in prediction filters used in distance estimation. For example, the memory 22 stores, for each vehicle type, a reference vehicle width (hereinafter referred to as a reference vehicle width) and a reference vehicle length (hereinafter referred to as a reference vehicle length) for the vehicle of the vehicle type. Remember. The memory 22 also stores process noise used when updating state variables in the prediction filter. Furthermore, the memory 22 stores the image received from the camera 2 together with the photographing time for a certain period of time. Furthermore, the memory 22 stores measurements of the speed and yaw rate of the vehicle 10 for a period of time. Furthermore, the memory 22 stores various information generated during the distance estimation process, such as information representing an object region in which the preceding vehicle is represented in each image obtained while the detected preceding vehicle is being tracked. data is stored for a certain period of time. Furthermore, the memory 22 may store information used for driving control of the vehicle 10, such as map information.

プロセッサ２３は、制御部の一例であり、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、車両１０が走行している間、カメラ２から画像を受信する度に、受信した画像に対して距離推定処理を含む車両制御処理を実行する。そしてプロセッサ２３は、検出された先行車両までの推定距離に基づいて、車両１０を自動運転するよう、車両１０を制御する。 The processor 23 is an example of a control unit, and has one or more CPUs (Central Processing Units) and their peripheral circuits. Processor 23 may further comprise other arithmetic circuitry such as a logic arithmetic unit, a math unit or a graphics processing unit. Each time an image is received from the camera 2 while the vehicle 10 is running, the processor 23 executes vehicle control processing including distance estimation processing on the received image. Then, the processor 23 controls the vehicle 10 to automatically drive the vehicle 10 based on the detected estimated distance to the preceding vehicle.

図３は、距離推定処理を含む車両制御処理に関する、ＥＣＵ３のプロセッサ２３の機能ブロック図である。プロセッサ２３は、検出部３１と、距離推定部３２と、車両制御部３３とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。また、プロセッサ２３が有するこれらの各部のうち、検出部３１及び距離推定部３２が、距離推定処理を実行する。なお、車両１０に複数のカメラが設けられる場合には、プロセッサ２３は、カメラごとに、そのカメラにより得られた画像に基づいて距離推定処理を実行してもよい。 FIG. 3 is a functional block diagram of the processor 23 of the ECU 3 regarding vehicle control processing including distance estimation processing. The processor 23 has a detector 31 , a distance estimator 32 and a vehicle controller 33 . These units of the processor 23 are, for example, functional modules implemented by computer programs running on the processor 23 . Alternatively, each of these units of processor 23 may be a dedicated arithmetic circuit provided in processor 23 . Further, among these units included in the processor 23, the detection unit 31 and the distance estimation unit 32 execute distance estimation processing. In addition, when the vehicle 10 is provided with a plurality of cameras, the processor 23 may perform the distance estimation processing based on the image obtained by each camera.

検出部３１は、カメラ２から画像を受信する度に、受信した最新の画像を識別器に入力する。これにより、検出部３１は、その画像に表されている先行車両を含む物体領域（例えば、先行車両の外接矩形）を検出するとともに、その先行車両の車種、及び、物体領域中でのその先行車両の背面が表されている部分領域を検出する。すなわち、識別器は、物体領域内で、先行車両の側面と背面の境界となる位置、及び、その境界に対して左右何れに先行車両の背面が表されているかを表す情報を出力する。なお、先行車両の車種（以下、単に車種と呼ぶことがある）は、車両のサイズに関する観点で区別されればよく、例えば、車種は、普通乗用車、トラック、バスなどとすることができる。 Each time an image is received from the camera 2, the detection unit 31 inputs the received latest image to the classifier. As a result, the detection unit 31 detects an object area including the preceding vehicle represented in the image (for example, a circumscribing rectangle of the preceding vehicle), and also detects the vehicle type of the preceding vehicle and the preceding vehicle in the object area. Detect the partial area where the back of the vehicle is represented. That is, the discriminator outputs information indicating the position of the boundary between the side surface and the rear surface of the preceding vehicle in the object area, and whether the rear surface of the preceding vehicle is displayed on the left or right side of the boundary. Note that the vehicle type of the preceding vehicle (hereinafter sometimes simply referred to as vehicle type) may be distinguished from the viewpoint of vehicle size, and the vehicle type can be, for example, an ordinary passenger car, a truck, or a bus.

検出部３１は、識別器として、画像に表された先行車両を含む物体領域を検出し、車種を識別し、かつ、背面と側面の境界を検出するように予め学習された、いわゆるディープニューラルネットワーク(DNN)を利用する。検出部３１が識別器として利用するDNNは、例えば、コンボリューショナルニューラルネットワーク（以下、単にCNNと呼ぶ）型のアーキテクチャを持つDNNとすることができる。すなわち、検出部３１が識別器として利用するDNNは、入力側から順に、畳み込み演算を実行する複数の畳み込み層を有するとともに、それら複数の畳み込み層から出力される特徴マップに対して全結合演算を実行する１以上の全結合層を有する。さらに、このDNNは、各畳み込み層の間、畳み込み層と全結合層の間、及び全結合層間において、ReLUなどの活性化演算を行う活性化層を有する。また、このDNNは、何れかの二つの畳み込み層の間に、プーリング演算を実行するプーリング層を有してもよい。さらに、このDNNは、全結合層からの出力に対してsoftmax演算またはシグモイド演算などを実行することで、物体領域の検出結果、車種の識別結果及び背面が表された部分領域の検出結果を出力する１以上の出力層を有する。 The detection unit 31 is a so-called deep neural network that has been pre-learned as a discriminator to detect an object area including the preceding vehicle represented in the image, identify the vehicle type, and detect the boundary between the back and sides. (DNN). The DNN used by the detection unit 31 as a discriminator can be, for example, a DNN having a convolutional neural network (hereinafter simply referred to as CNN) type architecture. That is, the DNN used by the detection unit 31 as a discriminator has, in order from the input side, a plurality of convolutional layers that perform convolutional operations, and performs fully-connected operations on feature maps output from the plurality of convolutional layers. It has one or more fully connected layers running. Furthermore, this DNN has an activation layer that performs activation operations such as ReLU between each convolutional layer, between a convolutional layer and a fully connected layer, and between fully connected layers. The DNN may also have a pooling layer that performs pooling operations between any two convolutional layers. Furthermore, this DNN outputs the detection result of the object region, the vehicle model identification result, and the detection result of the partial region showing the back by executing softmax operation or sigmoid operation on the output from the fully connected layer. has one or more output layers that

このDNNは、様々な向きの車両が表された教師画像を多数用いて、例えば、誤差逆伝搬法といった学習手法に従って予め学習される。検出部３１は、このように学習されたDNNを利用することで、画像から先行車両が表された物体領域を検出できるとともに、車種を識別し、かつ、先行車両の背面が表された部分領域を検出できる。 This DNN is trained in advance according to a learning method such as error backpropagation, using a large number of teacher images representing vehicles facing various directions. By using the DNN learned in this way, the detection unit 31 can detect the object region representing the preceding vehicle from the image, identify the vehicle type, and detect the partial region representing the back surface of the preceding vehicle. can be detected.

検出部３１は、検出した個々の物体領域について、画像上での位置及び範囲と、物体領域に含まれる先行車両の車種と、先行車両の背面が表された部分領域及び背面と側面の境界の画像上での位置とを、距離推定部３２に通知するとともに、メモリ２２に記憶する。 For each detected object area, the detection unit 31 determines the position and range on the image, the vehicle type of the preceding vehicle included in the object area, the partial area showing the back surface of the preceding vehicle, and the boundary between the rear surface and the side surface. The position on the image is notified to the distance estimation unit 32 and stored in the memory 22 .

距離推定部３２は、車両１０に対する先行車両の相対的な運動が所定の運動モデルに従うと仮定して、車両１０に対する先行車両の相対的な位置及び姿勢の変化を所定の予測フィルタを用いて追跡する。距離推定部３２は、その追跡結果に基づいて、追跡中における各画像生成時の車両１０から先行車両までの距離を推定する。 The distance estimator 32 tracks changes in the relative position and attitude of the preceding vehicle with respect to the vehicle 10 using a predetermined prediction filter, assuming that the relative motion of the preceding vehicle with respect to the vehicle 10 follows a predetermined motion model. do. Based on the tracking result, the distance estimator 32 estimates the distance from the vehicle 10 to the preceding vehicle at each image generation during tracking.

車両１０の前方を複数の車両が走行している場合、カメラ２により生成された画像上に複数の先行車両が表されることになる。そこで、距離推定部３２は、個々の先行車両を追跡するために、カメラ２により生成された時系列の一連の画像において、同じ先行車両が表された物体領域同士を対応付ける。 If multiple vehicles are traveling in front of the vehicle 10 , multiple preceding vehicles will be represented on the image generated by the camera 2 . Therefore, in order to track each preceding vehicle, the distance estimating unit 32 associates object regions representing the same preceding vehicle in a series of time-series images generated by the camera 2 with each other.

距離推定部３２は、例えば、Lucas-Kanade法あるいはKLT法といった、オプティカルフローに基づく追跡処理を、最新の画像における着目する物体領域及び過去の画像における物体領域に対して適用する。これにより、距離推定部３２は、時系列の一連の画像にわたって同じ先行車両が表された物体領域同士を対応付ける。そのため、距離推定部３２は、例えば、最新の画像における着目する物体領域に対してSIFTあるいはHarrisオペレータといった特徴点抽出用のフィルタを適用することで、その物体領域から複数の特徴点を抽出する。そして距離推定部３２は、複数の特徴点のそれぞれについて、過去の画像における物体領域における対応する点を、適用される追跡手法に従って特定することで、オプティカルフローを算出すればよい。あるいは、距離推定部３２は、画像から検出された移動物体の追跡に適用される他の追跡手法を、最新の画像における着目する物体領域及び過去の画像における物体領域に対して適用することで、同じ先行車両が表された物体領域同士を対応付けてもよい。 The distance estimation unit 32 applies tracking processing based on optical flow, such as the Lucas-Kanade method or the KLT method, to the object region of interest in the latest image and the object region in the previous image. As a result, the distance estimating unit 32 associates object areas in which the same preceding vehicle is represented over a series of time-series images. Therefore, the distance estimating unit 32 extracts a plurality of feature points from the object region by applying a feature point extraction filter such as SIFT or Harris operator to the object region of interest in the latest image, for example. Then, the distance estimation unit 32 may calculate the optical flow by specifying corresponding points in the object region in the past image for each of the plurality of feature points according to the applied tracking method. Alternatively, the distance estimating unit 32 applies another tracking method applied to tracking a moving object detected from an image to the object region of interest in the latest image and the object region in the previous image, Object regions representing the same preceding vehicle may be associated with each other.

距離推定部３２は、最新の画像における、先行車両が表された個々の物体領域を、過去の画像から検出された物体領域と対応付けると、適用される予測フィルタの手法に従って、その物体領域に表された先行車両を追跡する。そして距離推定部３２は、その追跡結果に基づいて、車両１０からその先行車両までの距離を推定する。距離推定部３２は、個々の先行車両に対して同じ処理を実行すればよいので、以下では、一つの先行車両に対する処理について説明する。 The distance estimating unit 32 associates each object region representing the preceding vehicle in the latest image with the object region detected from the past image, and calculates the distance estimating unit 32 according to the method of the applied prediction filter. track the preceding vehicle that has been Based on the tracking result, the distance estimator 32 estimates the distance from the vehicle 10 to the preceding vehicle. Since the distance estimating unit 32 may perform the same processing for each preceding vehicle, the processing for one preceding vehicle will be described below.

本実施形態では、距離推定部３２は、予測フィルタとしてKalman Filterを利用することで先行車両を追跡して、車両１０からその先行車両までの距離を推定する。 In this embodiment, the distance estimator 32 tracks the preceding vehicle by using a Kalman Filter as a prediction filter, and estimates the distance from the vehicle 10 to the preceding vehicle.

図４は、予測フィルタにおける状態変数を説明するための、車両１０と先行車両との相対的な位置関係の一例を示す図である。図４に示されるように、車両１０と先行車両４００との相対的な位置関係は、以下の物理値により表される。
・車両１０の進行方向に沿った、車両１０（の先端）から先行車両４００の背面の中心までの距離（以下、相対縦距離）。なお、相対縦距離が推定対象となる車両１０と先行車両４００間の距離である。
・車両１０の進行方向と直交する方向に沿った、車両１０の中心から先行車両４００の背面の中心までの距離（以下、相対横距離）
・車両１０の進行方向に対する、先行車両４００の進行方向がなす角度（以下、相対向き）
・先行車両４００の車幅
・先行車両４００の車長 FIG. 4 is a diagram showing an example of the relative positional relationship between the vehicle 10 and the preceding vehicle for explaining the state variables in the prediction filter. As shown in FIG. 4, the relative positional relationship between vehicle 10 and preceding vehicle 400 is represented by the following physical values.
The distance from (the tip of) the vehicle 10 to the center of the back surface of the preceding vehicle 400 along the traveling direction of the vehicle 10 (hereinafter referred to as the relative vertical distance). Note that the relative longitudinal distance is the distance between the vehicle 10 to be estimated and the preceding vehicle 400 .
The distance from the center of the vehicle 10 to the center of the back surface of the preceding vehicle 400 along the direction orthogonal to the traveling direction of the vehicle 10 (hereinafter referred to as relative lateral distance)
The angle formed by the traveling direction of the preceding vehicle 400 with respect to the traveling direction of the vehicle 10 (hereinafter referred to as relative orientation)
・Width of preceding vehicle 400 ・Length of preceding vehicle 400

これらの物理値に応じて、画像上での先行車両４００の見え方が変化する。そのため、これらの物理値と、これらの物理値のうち、時間経過とともに変化するもの（先行車両４００の車幅及び車長以外）の速度成分が、予測フィルタにおける状態変数となる。 The appearance of preceding vehicle 400 on the image changes according to these physical values. Therefore, these physical values and the speed components of those physical values that change over time (other than the width and length of the preceding vehicle 400) serve as state variables in the prediction filter.

距離推定部３２は、先行車両を追跡している間にカメラ２から画像を取得する度に、推定距離の観測値を更新するmeasurement updateと、次の時刻（この例では、次の画像生成時）における推定距離の予測値を更新するprocess updateとを実行する。これにより、各状態変数が更新される。そして距離推定部３２は、Kalman Filterによる予測処理に従って、先行車両を追跡している期間中の各画像生成時における先行車両までの距離を最小平均二乗誤差推定(MMSE)する。 The distance estimation unit 32 updates the observed value of the estimated distance each time an image is acquired from the camera 2 while tracking the preceding vehicle, and the next time (in this example, when the next image is generated) ) to update the predicted distance estimate. This updates each state variable. Then, the distance estimator 32 performs minimum mean square error estimation (MMSE) of the distance to the preceding vehicle at each image generation during the period in which the preceding vehicle is being tracked, according to the prediction processing by the Kalman Filter.

一般に、車両１０に対する、先行車両の相対速度及び相対的な位置変化の方向は、急激には変化しない。そこで、距離推定部３２は、車両１０に対する先行車両の相対的な運動は等速直線運動モデルに従うと仮定する。したがって、距離推定部３２は、process updateにおける状態方程式を以下のように定義する。
相対縦距離（予測値）＝前回の相対縦距離×車幅変化率×ヨーレート変化率＋（先行車両の縦速度－車両１０の縦速度）×撮影周期＋プロセスノイズ
相対横距離（予測値）＝前回の相対横距離×車幅変化率×ヨーレート変化率＋（先行車両の横速度－車両１０の横速度）×撮影周期＋プロセスノイズ
相対向き（予測値）＝前回の相対向き＋（先行車両のヨーレート－車両１０の最新の画像取得時のヨーレート）×撮影周期＋プロセスノイズ
先行車両の車幅（予測値）＝先行車両の前回の車幅
先行車両の車長（予測値）＝先行車両の前回の車長 In general, the direction of relative velocity and relative position change of the preceding vehicle with respect to vehicle 10 does not change abruptly. Therefore, the distance estimator 32 assumes that the motion of the preceding vehicle relative to the vehicle 10 follows a uniform linear motion model. Therefore, the distance estimator 32 defines the state equation in process update as follows.
Relative longitudinal distance (predicted value) = Previous relative longitudinal distance x Vehicle width change rate x Yaw rate change rate + (Longitudinal speed of preceding vehicle - Longitudinal speed of vehicle 10) x Shooting cycle + Process noise Relative lateral distance (predicted value) = Previous relative lateral distance x Vehicle width change rate x Yaw rate change rate + (Lateral speed of preceding vehicle - Lateral speed of vehicle 10) × Imaging cycle + Process noise Relative orientation (predicted value) = Previous relative orientation + (Preceding vehicle yaw rate - yaw rate of the vehicle 10 at the time of acquisition of the latest image) x imaging cycle + process noise vehicle width of preceding vehicle (predicted value) = previous vehicle width of preceding vehicle vehicle length of preceding vehicle (predicted value) = previous preceding vehicle width the vehicle length of

ここで、車幅変化率及びヨーレート変化率は次式で定義される。
車幅変化率＝先行車両の最新の車幅／先行車両の前回の車幅
ヨーレート変化率＝最新の画像生成時の車両１０のヨーレート／前回の画像生成時の車両１０のヨーレート Here, the vehicle width change rate and the yaw rate change rate are defined by the following equations.
Vehicle width change rate=Latest vehicle width of preceding vehicle/Previous vehicle width of preceding vehicle Yaw rate change rate=Yaw rate of vehicle 10 at latest image generation/Yaw rate of vehicle 10 at previous image generation

先行車両の車幅及び車長自体は、本来、一定の値であり、時間経過とともに変化する値ではない。しかし、詳細は後述するように、先行車両の車幅及び車長として、先行車両の車種の識別結果に応じた基準車幅及び基準車長が用いられる。そのため、その車種の識別結果が先行車用の追跡中に得られた画像間で変化すると、状態方程式上では、先行車長の車幅及び車長もその追跡中において変化することとなる。そのため、状態変数の一つとして、先行車両の車幅及び車長も含まれる。 The vehicle width and vehicle length of the preceding vehicle are essentially constant values, not values that change over time. However, as will be described later in detail, as the vehicle width and vehicle length of the preceding vehicle, a reference vehicle width and a reference vehicle length corresponding to the identification result of the vehicle type of the preceding vehicle are used. Therefore, if the identification result of the vehicle type changes between the images obtained during the tracking of the preceding vehicle, the vehicle width and length of the preceding vehicle length will also change during the tracking on the state equation. Therefore, the vehicle width and vehicle length of the preceding vehicle are also included as one of the state variables.

また、これらの式において、車両１０のヨーレート、車両１０の縦速度及び横速度が、車両１０に搭載された車速センサ４及びヨーレートセンサ５による測定値から求められ、制御入力として用いられる。それ以外の変数は、上述したように状態変数である。 In these equations, the yaw rate of the vehicle 10 and the longitudinal and lateral velocities of the vehicle 10 are obtained from the values measured by the vehicle speed sensor 4 and the yaw rate sensor 5 mounted on the vehicle 10 and used as control inputs. Other variables are state variables as described above.

さらに、プロセスノイズは、先行車両の挙動または車両１０自体の挙動の不確実性を表し、例えば、正規分布で表される。本実施形態では、プロセスノイズは、車両１０に対する先行車両の相対加速度の絶対値が所定の値（例えば、0.3G）で変化した場合でも状態方程式が対応できるように設定される。 Furthermore, the process noise represents the uncertainty of the behavior of the preceding vehicle or the behavior of the vehicle 10 itself, and is represented by a normal distribution, for example. In this embodiment, the process noise is set so that the state equation can cope with even when the absolute value of the relative acceleration of the preceding vehicle with respect to the vehicle 10 changes by a predetermined value (for example, 0.3 G).

また、距離推定部３２は、measurement updateを実行することで、相対縦距離を更新する。measurement updateでは、距離推定部３２は、最新の画像からの先行車両の検出結果、すなわち、物体領域中での先行車両の側面の長さ及び背面の幅、先行車両の車種及び画像上の物体領域の位置を利用する。なお、物体領域中での先行車両の側面の長さは、物体領域内の先行車両の側面と背面の境界位置から、先行車両の側面が表されている方の物体領域の一端までの画素数で表される。また、物体領域中での先行車両の背面の幅は、物体領域内の先行車両の側面と背面の境界位置から、先行車両の背面が表されている方の物体領域の他端までの画素数で表される。 Also, the distance estimation unit 32 updates the relative vertical distance by executing measurement update. In the measurement update, the distance estimation unit 32 calculates the detection result of the preceding vehicle from the latest image, that is, the length of the side surface and the width of the back surface of the preceding vehicle in the object area, the vehicle type of the preceding vehicle, and the object area on the image. position. The length of the side surface of the preceding vehicle in the object area is the number of pixels from the boundary position between the side surface and the back surface of the preceding vehicle in the object area to one end of the object area where the side surface of the preceding vehicle is shown. is represented by Also, the width of the back of the preceding vehicle in the object area is the number of pixels from the boundary position between the side and back of the preceding vehicle in the object area to the other end of the object area where the back of the preceding vehicle is shown. is represented by

図５は、measurement updateにおける、相対縦距離の算出の概要を説明する図である。先行車両５００は、車両１０の進行方向に対して角度θの方向に位置している。また、画像において、先行車両５００を含む物体領域において、先行車両５００の背面の幅がx1画素であり、先行車両５００の側面の長さがx2画素であるとする。この場合、先行車両５００の背面に対する法線方向からその背面が撮影されたと仮定したときの、画像上での先行車両５００の車幅をy画素とすると、画像上での車幅yは次式で表される。
y=sqrt[(x1)²+(x2/α)²]*cosθ
ここで、αは、先行車両５００のアスペクト比であり、先行車両５００の車幅に対する車長の比で表される(すなわち、α=車長/車幅)。距離推定部３２は、最新の画像から検出された先行車両の車種に応じた基準車幅を、先行車両の車幅とすることができる。同様に、距離推定部３２は、最新の画像から検出された先行車両の車種に応じた基準車長を、先行車両の車長とすることができる。したがって、距離推定部３２は、識別された先行車両の車種に応じた基準車幅及び基準車長をメモリ２２から読み込んで、上記の式において使用すればよい。さらに、角度θは、画像上での先行車両５００の位置に対応している。そこで、距離推定部３２は、最新の画像上で先行車両５００が表された物体領域において、先行車両５００の背面と側面の境界となる画素に相当する、カメラ２からの方位を、角度θとすることができる。なお、上記の式の導出において、カメラ２から先行車両５００の背面と側面の境界へ向かう方向と直交する線５０１に対して、カメラ２から、物体領域の水平方向の一端に対応する先行車両５００の前端へ向かう方向が直交していると近似される。同様に、線５０１に対して、カメラ２から、物体領域の水平方向の他端に対応する、先行車両５００の車両１０から遠い方の背面の端部へ向かう方向が直交していると近似される。 FIG. 5 is a diagram explaining an outline of calculation of the relative vertical distance in measurement update. The preceding vehicle 500 is positioned at an angle θ with respect to the traveling direction of the vehicle 10 . In the image, in the object region including the preceding vehicle 500, the width of the back surface of the preceding vehicle 500 is x1 pixels, and the length of the side surface of the preceding vehicle 500 is x2 pixels. In this case, assuming that the rear surface of the preceding vehicle 500 is photographed from the normal direction to the rear surface of the preceding vehicle 500, the width of the preceding vehicle 500 in the image is y pixels. is represented by
y=sqrt[(x1) ² +(x2/α) ² ]*cosθ
Here, α is the aspect ratio of preceding vehicle 500 and is represented by the ratio of the vehicle length to the vehicle width of preceding vehicle 500 (that is, α=vehicle length/vehicle width). The distance estimating unit 32 can set the vehicle width of the preceding vehicle as a reference vehicle width corresponding to the vehicle type of the preceding vehicle detected from the latest image. Similarly, the distance estimating unit 32 can use the vehicle length of the preceding vehicle as a reference vehicle length corresponding to the vehicle type of the preceding vehicle detected from the latest image. Therefore, the distance estimator 32 may read from the memory 22 the reference vehicle width and the reference vehicle length corresponding to the vehicle type of the identified preceding vehicle, and use them in the above equations. Furthermore, the angle θ corresponds to the position of the preceding vehicle 500 on the image. Therefore, the distance estimating unit 32 calculates the azimuth from the camera 2 corresponding to the pixel that is the boundary between the rear surface and the side surface of the preceding vehicle 500 in the object area where the preceding vehicle 500 is represented on the latest image as the angle θ. can do. In the derivation of the above formula, a line 501 perpendicular to the direction from the camera 2 to the boundary between the rear surface and the side surface of the preceding vehicle 500 is drawn from the camera 2 toward the preceding vehicle 500 corresponding to one end in the horizontal direction of the object region. are approximated to be orthogonal to each other. Similarly, the line 501 is approximated to be orthogonal to the direction from the camera 2 toward the edge of the back surface of the preceding vehicle 500 farther from the vehicle 10, which corresponds to the other horizontal edge of the object region. be.

画像上での先行車両５００の車幅yが算出されると、距離推定部３２は、ピンホールモデルに従って導出される次式により、相対縦距離及び相対横距離の観測値を算出する。
相対縦距離 = 実空間における先行車両の車幅w×カメラ２の焦点距離（カメラ２の画素サイズ基準）fp／画像上での先行車両の車幅y
相対横距離 = 相対縦距離×tanθ After calculating the vehicle width y of the preceding vehicle 500 on the image, the distance estimator 32 calculates the observed values of the relative longitudinal distance and the relative lateral distance using the following equations derived according to the pinhole model.
Relative longitudinal distance = Width of preceding vehicle in real space w × Focal length of camera 2 (based on pixel size of camera 2) fp / Width of preceding vehicle in image y
Relative horizontal distance = Relative vertical distance x tanθ

上記のように、実空間における先行車両の車幅wとして、最新の画像から検出された先行車両の車種に応じた基準車幅が用いられればよい。また、カメラ２の焦点距離をカメラ２の画素サイズで表した値fpは、メモリ２２に予め記憶される。 As described above, as the vehicle width w of the preceding vehicle in the real space, the reference vehicle width corresponding to the vehicle type of the preceding vehicle detected from the latest image may be used. A value fp representing the focal length of the camera 2 in terms of the pixel size of the camera 2 is stored in advance in the memory 22 .

距離推定部３２は、上記のように算出された相対縦距離及び相対横距離の観測値、及び、最新の画像から検出された先行車両の車種の基準車幅及び基準車長に基づく先行車両の車幅及び車長の観測値に基づいて、対応する状態変数を更新すればよい。また、距離推定部３２は、これらの状態変数の分布の標準偏差を観測誤差として、観測誤差の共分散及びKalman Gainを求めればよい。 The distance estimating unit 32 calculates the distance of the preceding vehicle based on the observed values of the relative longitudinal distance and the relative lateral distance calculated as described above, and the reference vehicle width and the reference vehicle length of the vehicle type of the preceding vehicle detected from the latest image. Based on the observed vehicle width and vehicle length, the corresponding state variables may be updated. Also, the distance estimating unit 32 may obtain the covariance and the Kalman Gain of the observation error using the standard deviation of the distribution of these state variables as the observation error.

上記のように、距離推定部３２は、measurement updateとprocess updateとを、先行車両を追跡している間に得られた画像ごとに繰り返すことで、先行車両までの距離を正確に推定できる。 As described above, the distance estimation unit 32 can accurately estimate the distance to the preceding vehicle by repeating the measurement update and the process update for each image obtained while tracking the preceding vehicle.

距離推定部３２は、追跡中の各先行車両について、その追跡中における各画像生成時の状態変数の組を、車両制御部３３へ通知する。 The distance estimating unit 32 notifies the vehicle control unit 33 of the set of state variables at the time of generating each image during tracking for each preceding vehicle being tracked.

車両制御部３３は、追跡中の各先行車両について、その追跡中における各画像生成時の状態変数の組に基づいて、先行車両と車両１０とが衝突しないように車両１０の走行を制御する。例えば、車両制御部３３は、追跡中の各先行車両の何れかに対して、所定時間先までの期間において、予測された相対縦距離が所定の縦距離閾値以下となり、かつ、予測された相対横距離が所定の横距離閾値以下になると、車両１０を減速する。一方、車両制御部３３は、追跡中の各先行車両の何れについても、所定時間先までの期間において、予測された相対縦距離が縦距離閾値よりも大きいか、または、予測された相対横距離が横距離閾値よりも大きい場合、現在の車速を維持するよう車両１０を制御する。さらに、車両制御部３３は、車両１０が現在走行中の車線を維持するように、車両１０を制御する。なお、車両制御部３３は、上記の状態方程式において、撮影周期基準で算出される個々の値を、現時刻から所定時間先までの期間内の個々の時間までの長さ基準の値とすることでその個々の時間における相対縦距離及び相対横距離を予測することができる。 For each preceding vehicle being tracked, the vehicle control unit 33 controls the running of the vehicle 10 so that the preceding vehicle and the vehicle 10 do not collide based on the set of state variables at the time each image is generated during the tracking. For example, the vehicle control unit 33 determines that the predicted relative longitudinal distance of any of the preceding vehicles being tracked is equal to or less than a predetermined longitudinal distance threshold in a period up to a predetermined time ahead, and the predicted relative When the lateral distance is less than or equal to a predetermined lateral distance threshold, the vehicle 10 is decelerated. On the other hand, the vehicle control unit 33 determines whether the predicted relative longitudinal distance is greater than the longitudinal distance threshold or the predicted relative lateral distance in the period up to the predetermined time ahead for any of the preceding vehicles being tracked. is greater than the lateral distance threshold, the vehicle 10 is controlled to maintain the current vehicle speed. Furthermore, the vehicle control unit 33 controls the vehicle 10 so as to maintain the lane in which the vehicle 10 is currently traveling. In the above state equation, the vehicle control unit 33 sets each value calculated based on the photographing cycle as a length-based value up to each time within the period from the current time to the predetermined time ahead. can predict the relative longitudinal distance and the relative lateral distance at that particular time.

図６は、プロセッサ２３により実行される、距離推定処理を含む車両制御処理の動作フローチャートである。プロセッサ２３は、カメラ２から画像が受信する度に、図６に示される動作フローチャートに従って車両制御処理を実行する。なお、以下に示される動作フローチャートにおいて、ステップＳ１０１～Ｓ１０２の処理が距離推定処理に対応する。 FIG. 6 is an operation flowchart of vehicle control processing including distance estimation processing executed by the processor 23 . Processor 23 executes vehicle control processing according to the operation flowchart shown in FIG. 6 each time an image is received from camera 2 . It should be noted that in the operation flowchart shown below, the processing of steps S101 and S102 corresponds to the distance estimation processing.

プロセッサ２３の検出部３１は、カメラ２から得られた最新の画像を識別器に入力して、画像に表された先行車両を含む物体領域を検出するとともに、その先行車両の車種、及び、物体領域中でのその先行車両の背面と側面の境界を検出する（ステップＳ１０１）。 The detection unit 31 of the processor 23 inputs the latest image obtained from the camera 2 to the classifier, detects the object area including the preceding vehicle represented in the image, and detects the vehicle type of the preceding vehicle and the object. The boundary between the back and sides of the preceding vehicle in the area is detected (step S101).

プロセッサ２３の距離推定部３２は、車両１０に対する先行車両の相対的な運動が所定の運動モデルに従うと仮定して、車両１０に対する先行車両の相対的な位置及び姿勢の変化を所定の予測フィルタを用いて追跡する。その際、距離推定部３２は、物体領域における先行車両の側面と背面の境界位置、先行車両の背面の幅及び側面の長さ、先行車両の車種、車両１０の車速及びヨーレートを利用する。そして距離推定部３２は、その追跡中における各画像生成時の車両１０から先行車両までの距離を推定する（ステップＳ１０２）。 The distance estimator 32 of the processor 23 assumes that the relative motion of the preceding vehicle with respect to the vehicle 10 follows a predetermined motion model, and uses a predetermined prediction filter to estimate changes in the relative position and attitude of the preceding vehicle with respect to the vehicle 10. track using At this time, the distance estimator 32 uses the boundary position between the side surface and the rear surface of the preceding vehicle in the object area, the width and length of the rear surface of the preceding vehicle, the vehicle type of the preceding vehicle, and the vehicle speed and yaw rate of the vehicle 10 . The distance estimating unit 32 then estimates the distance from the vehicle 10 to the preceding vehicle at each image generation during the tracking (step S102).

プロセッサ２３の車両制御部３３は、追跡中の各先行車両について、その追跡期間中における各画像生成時の先行車両までの推定距離に基づいて、先行車両と車両１０とが衝突しないように車両１０を制御する（ステップＳ１０３）。そしてプロセッサ２３は、車両制御処理を終了する。 For each preceding vehicle being tracked, the vehicle control unit 33 of the processor 23 controls the vehicle 10 so that the preceding vehicle and the vehicle 10 do not collide based on the estimated distance to the preceding vehicle at each image generation during the tracking period. is controlled (step S103). The processor 23 then terminates the vehicle control process.

以上に説明してきたように、この距離推定装置は、時系列に得られる一連の画像から、自車両の周囲を走行する他の車両を検出する。さらに、この距離推定装置は、自車両に対する、他の車両の相対的な運動が所定の運動モデルに従うと仮定して、自車両に対する他の車両の相対的な位置及び姿勢の変化を、予測フィルタを用いて追跡する。そしてこの距離推定装置は、その追跡結果を利用して、各画像生成時における自車両から他の車両までの距離を推定する。そのため、この距離推定装置は、自車両と他の車両とが同じ方向を向いていなくても、自車両と他の車両との間の距離を精度良く推定することができる。その結果として、この距離推定装置は、自車両と他の車両との間の距離の推定精度を向上することができる。 As explained above, this distance estimation device detects other vehicles traveling around the own vehicle from a series of images obtained in time series. Furthermore, this distance estimating device assumes that the relative motion of the other vehicle with respect to the own vehicle follows a predetermined motion model, and predicts changes in the relative position and attitude of the other vehicle with respect to the own vehicle. track using This distance estimating device uses the tracking result to estimate the distance from the own vehicle to the other vehicle when each image is generated. Therefore, this distance estimation device can accurately estimate the distance between the own vehicle and the other vehicle even if the own vehicle and the other vehicle do not face in the same direction. As a result, this distance estimation device can improve the accuracy of estimating the distance between the own vehicle and other vehicles.

変形例によれば、車両１０に、車両１０の後方を撮影するように設置された後方カメラが設けられていることがある。このような場合、距離推定装置は、後方カメラにより生成される画像（以下、後方画像と呼ぶ）に基づいて、車両１０の後方を走行する他の車両（以下、追走車両と呼ぶ）と車両１０間の距離を推定してもよい。この場合、検出部３１は、後方画像が得られる度に、後方画像を識別器に入力することで、上記の実施形態と同様に、追走車両が含まれる物体領域を検出し、かつ、追走車両の車種を識別すればよい。さらに、検出部３１は、物体領域内で追走車両の前面の幅を検出する。そして距離推定部３２は、上記の実施形態と同様に、車両１０に対する追走車両の運動が等速直線運動モデルに従うと仮定して、Kalman Filterを用いて追走車両を追跡すればよい。その際、距離推定部３２は、先行車両の背面の幅の代わりに、追走車両の前面の幅を用いることで、上記の実施形態と同様に、追走車両を追跡して、車両１０から追走車両までの距離を推定することができる。 According to a modification, the vehicle 10 may be provided with a rear camera installed to photograph the rear of the vehicle 10 . In such a case, the distance estimating device detects another vehicle (hereinafter referred to as a following vehicle) traveling behind the vehicle 10 and the vehicle based on an image generated by the rearward camera (hereinafter referred to as a rearward image). The distance between 10 may be estimated. In this case, each time a rear image is obtained, the detection unit 31 inputs the rear image to the discriminator to detect an object region including the pursuit vehicle and What is necessary is just to identify the vehicle type of the running vehicle. Further, the detection unit 31 detects the width of the front surface of the following vehicle within the object area. Then, the distance estimator 32 may track the following vehicle using the Kalman Filter, assuming that the motion of the following vehicle with respect to the vehicle 10 follows a uniform linear motion model, as in the above embodiment. At this time, the distance estimating unit 32 uses the width of the front surface of the following vehicle instead of the width of the rear surface of the preceding vehicle to track the following vehicle and The distance to the following vehicle can be estimated.

他の変形例によれば、距離推定部３２は、自車両に対する他の車両の運動が、他の運動モデルに従うと仮定して状態方程式を定義してもよい。例えば、距離推定部３２は、車両１０に対する先行車両または追走車両の運動が等加速度直線運動に従うと仮定して状態方程式を定義してもよい。 According to another modification, the distance estimator 32 may define the state equation assuming that the motion of other vehicles with respect to the own vehicle follows another motion model. For example, the distance estimator 32 may define the state equation on the assumption that the motion of the preceding vehicle or the following vehicle with respect to the vehicle 10 follows uniform acceleration linear motion.

さらに他の変形例によれば、距離推定部３２は、Kalman Filter以外の予測フィルタ、例えば、パーティクルフィルタを利用して、他の車両を追跡することで、自車両と他の車両間の距離を推定してもよい。 According to yet another modification, the distance estimating unit 32 uses a prediction filter other than the Kalman filter, such as a particle filter, to track the other vehicle, thereby estimating the distance between the own vehicle and the other vehicle. can be estimated.

上記の実施形態または変形例による、距離推定装置のプロセッサ２３の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。 A computer program that implements the function of each unit of the processor 23 of the distance estimation device according to the above embodiment or modification is recorded in a computer-readable portable recording medium such as a semiconductor memory, a magnetic recording medium, or an optical recording medium. may be provided in the form

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。 As described above, those skilled in the art can make various modifications within the scope of the present invention according to the embodiment.

１車両制御システム
２カメラ
３電子制御装置（距離推定装置）
４車速センサ
５ヨーレートセンサ
２１通信インターフェース
２２メモリ
２３プロセッサ
３１検出部
３２距離推定部
３３車両制御部 1 vehicle control system 2 camera 3 electronic control device (distance estimation device)
4 vehicle speed sensor 5 yaw rate sensor 21 communication interface 22 memory 23 processor 31 detector 32 distance estimator 33 vehicle controller

Claims

Each time an image representing an area around the vehicle generated by an imaging unit mounted on the vehicle is acquired, the image is input to the classifier, so that other objects traveling around the vehicle can be identified from the image. a detection unit that detects an object area in which a vehicle is represented and a boundary between a side surface and a front surface or a rear surface of the other vehicle in the object area and identifies the vehicle type of the other vehicle;
a position of the boundary in the object region on the image detected each time the image is acquired, assuming that the relative motion of the other vehicle with respect to the vehicle follows a predetermined motion model; The front or rear width and side length of the other vehicle on the image, the reference vehicle width and reference vehicle length of the other vehicle in real space corresponding to the vehicle type of the other vehicle, and the image By inputting the speed and yaw rate of the vehicle at the time of generation into a predetermined prediction filter, the latest image is generated by tracking changes in the position and attitude of the other vehicle relative to the vehicle. a distance estimating unit that estimates the distance from the vehicle to the other vehicle when
A distance estimator having