JP2019174892A - Resting three-dimensional object detection device and resting three-dimensional object detection method - Google Patents
Resting three-dimensional object detection device and resting three-dimensional object detection method Download PDFInfo
- Publication number
- JP2019174892A JP2019174892A JP2018059258A JP2018059258A JP2019174892A JP 2019174892 A JP2019174892 A JP 2019174892A JP 2018059258 A JP2018059258 A JP 2018059258A JP 2018059258 A JP2018059258 A JP 2018059258A JP 2019174892 A JP2019174892 A JP 2019174892A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature point
- camera
- turning
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、静止立体物検出装置及び静止立体物検出方法に関する。 The present invention relates to a stationary solid object detection device and a stationary solid object detection method.
近年、車両にカメラを搭載し、カメラで撮影された画像に基づいて、車両の運転に役立つ種々の情報を取得することが行なわれている。例えば、異なる時刻に撮影された２枚の画像（第１の画像、第２の画像）間での、それらの画像にそれぞれ写った同一対象物の座標位置の変化をベクトルデータ（オプティカルフロー）で表すことが行なわれている（例えば、特許文献１参照）。このオプティカルフローを用いると、その対象物が動いているのか、又は静止しているのかの別を検出することもできる。 2. Description of the Related Art In recent years, a camera is mounted on a vehicle, and various information useful for driving the vehicle is acquired based on an image taken by the camera. For example, a vector data (optical flow) represents a change in the coordinate position of the same object captured in two images (first image and second image) taken at different times. Representation is performed (for example, refer to Patent Document 1). Using this optical flow, it is possible to detect whether the object is moving or stationary.
また、自車が動いているときは、静止立体物についても自車と相対的な位置関係が変るためオプティカルフローが生じる。そして、第１の画像と第２の画像とで同一対象物として検出された画像部分における座標位置と、その間の自車の現実の移動距離とに基づいて、三角測量の原理により、静止立体物の現実の位置を特定することもできる。 Further, when the host vehicle is moving, an optical flow occurs because the relative positional relationship of the stationary solid object also changes with the host vehicle. Then, based on the coordinate position in the image portion detected as the same object in the first image and the second image and the actual moving distance of the own vehicle between them, a stationary three-dimensional object is obtained by the principle of triangulation. It is also possible to specify the actual position of
ところで、自車の動きが旋回を含んでいるとき、遠方にある背景が、実際の距離よりも近い距離で検出されてしまうことがある。例えば、遠方にある背景が、ビルの窓のように同じ形状（模様）が左右方向に繰り返されているような場合である。 By the way, when the movement of the own vehicle includes turning, the background in the distance may be detected at a distance closer than the actual distance. For example, the background in the distance is a case where the same shape (pattern) is repeated in the left-right direction like a building window.
オプティカルフローの勾配法では、時系列的に異なるタイミングで得られた複数の画像において、同一の対象物（窓）を追跡（トラッキング）して検知しなければならないが、特徴点を含む比較的小さい領域をグルーピングし、特徴点の座標位置を中心とした所定範囲でマッチング処理するため、動きの少ない対象物を優先的に検知する特性があり、本来検知すべき同一の対象物ではなく、より動きの少ない隣接した別の対象物（窓）を同一対象物として誤って検知してしまうことがある。 In the gradient method of optical flow, the same object (window) must be tracked and detected in a plurality of images obtained at different timings in time series, but it is relatively small including feature points. Since the area is grouped and matching processing is performed within a predetermined range centered on the coordinate position of the feature point, it has the characteristic of preferentially detecting objects with little movement, and is not the same object that should be detected, but more movement Another object (window) that is adjacent to each other with a small amount may be erroneously detected as the same object.
このような問題は、画像処理において、画像全体を認識して端から何個目の窓であるかといった判断を行うことで防ぐことはできるが、画像全体でそのような認識をするのは、処理時間等の処理コストとの兼ね合いで難しい。 Such a problem can be prevented by determining the number of windows from the end by recognizing the entire image in image processing, but such recognition in the entire image Difficult to balance with processing costs such as processing time.
前述したオプティカルフローの勾配法により、静止立体物が正規の位置よりも近い位置として検出されると、例えば、車載カメラの画像に基づいて駐車場の空きスペースを自動的に探す処理等の際に、本来は障害物の無い駐車枠（空きスペース）であるにも拘わらず、近い位置として検出された窓がその空きスペースに存在しているかのように誤って判定されて、そこが空きスペースでないと誤判定される事態が生じ得る。 When the stationary three-dimensional object is detected as a position closer to the normal position by the optical flow gradient method described above, for example, in the process of automatically searching for an empty space in the parking lot based on the image of the in-vehicle camera. Although it is originally a parking frame (empty space) with no obstacles, it is erroneously determined that the window detected as a close position exists in the empty space, and that is not an empty space. It can happen that it is erroneously determined.
本発明は上記事情に鑑みなされたものであって、自車が旋回を含む移動をしながら、時系列的に異なるタイミングで撮影された２つの画像に、左右方向に繰り返す形状となる静止立体物の被写体が存在していても、これらの被写体の現実の位置を精度よく求めることができる静止立体物検出装置及び静止立体物検出方法を提供することを目的とする。 The present invention has been made in view of the above circumstances, and is a stationary solid object having a shape that repeats in the left-right direction on two images taken at different timings in time series while the vehicle moves including turning. It is an object of the present invention to provide a stationary three-dimensional object detection device and a stationary three-dimensional object detection method that can accurately determine the actual positions of these objects even when there are two objects.
本発明の第１は、車載カメラによって時系列的に前後する少なくとも２つのタイミングで撮影して得られた２つの画像の間で、前記２つの画像にそれぞれ含まれた特徴点を抽出し、前記特徴点のうち前記２つの画像の間で対応する特徴点同士の、各前記画像における座標位置を特定する特徴点追跡部と、前記２つのタイミングの間で検出された前記車載カメラの動きを求めるカメラ運動検出部と、前記特徴点追跡部により特定された前記２つの画像における前記特徴点の前記座標位置及び前記カメラ運動検出部により検出された前記車載カメラの動きに基づいて、前記特徴点の現実の空間における位置を求める特徴点位置算出部と、を備え、前記特徴点追跡部は、前記２つの画像のうち時系列的に後のタイミングで撮影して得られた画像である第２の画像を、前記カメラ運動検出部が検出した前記車載カメラの旋回の動きが無かったと仮定したときに得られるべき画像である旋回相殺画像に変換する旋回相殺画像変換部を備え、前記特徴点追跡部は、前記２つの画像のうち時系列的に前のタイミングで撮影して得られた画像である第１の画像と前記旋回相殺画像とに基づいて前記対応する特徴点同士を特定し、特定された前記特徴点同士の、前記第１の画像における座標位置と前記第２の画像における座標位置を特定する静止立体物検出装置である。 The first of the present invention is to extract feature points included in each of the two images between two images obtained by photographing at least two timings before and after in time series by the in-vehicle camera, Among feature points, corresponding feature points between the two images, a feature point tracking unit that specifies a coordinate position in each image, and a motion of the in-vehicle camera detected between the two timings are obtained. Based on the coordinate position of the feature point in the two images specified by the camera motion detection unit and the feature point tracking unit and the movement of the in-vehicle camera detected by the camera motion detection unit, A feature point position calculation unit that obtains a position in an actual space, and the feature point tracking unit is an image obtained by photographing at a later timing in time series among the two images. A turning cancellation image conversion unit that converts a second image into a turning cancellation image that is an image that should be obtained when it is assumed that there is no turning movement of the in-vehicle camera detected by the camera motion detection unit; The point tracking unit identifies the corresponding feature points based on the first image, which is an image obtained by photographing the two images at a previous timing in time series, and the turning cancellation image. A stationary three-dimensional object detection device that specifies the coordinate position in the first image and the coordinate position in the second image of the identified feature points.
本発明の第２は、車載カメラによって時系列的に前後する少なくとも２つのタイミングで撮影して得られた２つの画像の間で、前記２つの画像にそれぞれ含まれた特徴点を抽出し、前記特徴点のうち前記２つの画像の間で対応する特徴点同士の、各前記画像における座標位置を特定し、前記２つのタイミングの間で検出された前記車載カメラの動きを求め、特定された前記２つの画像における前記特徴点の前記座標位置及び前記カメラ運動検出部により検出された前記車載カメラの動きに基づいて、前記特徴点の現実の空間における位置を求めるに際して、前記２つの画像のうち時系列的に後のタイミングで撮影して得られた画像である第２の画像を、検出した前記車載カメラの旋回の動きが無かったと仮定したときに得られるべき画像である旋回相殺画像に変換し、前記２つの画像のうち時系列的に前のタイミングで撮影して得られた画像である第１の画像と前記旋回相殺画像とに基づいて前記対応する特徴点同士を特定し、特定された前記特徴点同士の、前記第１の画像における座標位置と前記第２の画像における座標位置を特定する静止立体物検出方法である。 According to a second aspect of the present invention, feature points included in each of the two images are extracted between two images obtained by shooting with at least two timings that move back and forth in time series by the in-vehicle camera, The coordinate position in each said image of the feature points corresponding between the two images among the feature points is specified, the movement of the in-vehicle camera detected between the two timings is obtained, and the specified When obtaining the position of the feature point in the real space based on the coordinate position of the feature point in the two images and the movement of the in-vehicle camera detected by the camera motion detection unit, the time of the two images The second image, which is an image obtained by serially capturing at a later timing, is an image that should be obtained when it is assumed that there is no turning motion of the detected in-vehicle camera. The corresponding feature points are converted based on the first image, which is an image obtained by converting to a swirl canceling image and photographed at the previous timing in time series among the two images, and the swirl canceling image. It is a stationary solid-object detection method that identifies and identifies the coordinate position in the first image and the coordinate position in the second image of the identified feature points.
本発明に係る静止立体物検出装置及び静止立体物検出方法によれば、自車が旋回を含む移動をしながら、時系列的に異なるタイミングで撮影された２つの画像に、左右方向に繰り返す形状となる被写体が存在していても、これらの被写体の現実の位置を精度よく求めることができる。 According to the stationary three-dimensional object detection device and the stationary three-dimensional object detection method of the present invention, a shape that repeats in the left-right direction on two images taken at different timings in time series while the vehicle moves including turning. Even if there are subjects to be detected, the actual positions of these subjects can be obtained with high accuracy.
以下、本発明に係る静止立体物検出装置及び静止立体物検出方法の具体的な実施の形態について、図面を参照して説明する。 Hereinafter, specific embodiments of a stationary three-dimensional object detection device and a stationary three-dimensional object detection method according to the present invention will be described with reference to the drawings.
＜自動運転支援システムの構成＞
図１は、本発明に係る静止立体物検出装置の一例であるカメラＥＣＵ（Electronic Control Unit）３０を含む自動運転支援システムを示すブロック図である。図１に示した自動運転支援システムは、車両２００（以下、自車２００という）に搭載された車載カメラ１０、自車２００における車載ネットワークであるＣＡＮ（Controller Area Network）２０及びカメラＥＣＵ３０と、を備えている。
<Configuration of automatic driving support system>
FIG. 1 is a block diagram showing an automatic driving support system including a camera ECU (Electronic Control Unit) 30 which is an example of a stationary three-dimensional object detection device according to the present invention. The automatic driving support system shown in FIG. 1 includes an in-vehicle camera 10 mounted on a vehicle 200 (hereinafter referred to as the own vehicle 200), a CAN (Controller Area Network) 20 that is an in-vehicle network in the own vehicle 200, and a camera ECU 30. I have.
図２Ａは車載カメラ１０により撮影された広角画像ＰＡの一例を示す図であり、図２Ｂは図２Ａの広角画像ＰＡを座標変換した後の円筒型歪補正画像ＰＢを示す図である。車載カメラ１０は、例えば、自車２００の前部に設置されて自車２００の前方を被写体として撮影する前部カメラ、自車２００の後部に設置されて自車２００の後方を被写体として撮影する後部カメラ、自車２００の右側部に設置されて自車２００の右側方を被写体として撮影する右側部カメラ、自車２００の左側部に設置されて自車２００の左側方を被写体として撮影する左側部カメラと、を備えている。 FIG. 2A is a diagram showing an example of a wide-angle image PA taken by the in-vehicle camera 10, and FIG. 2B is a diagram showing a cylindrical distortion correction image PB after coordinate-transforming the wide-angle image PA of FIG. 2A. The in-vehicle camera 10 is, for example, a front camera that is installed at the front of the host vehicle 200 and photographs the front of the host vehicle 200 as a subject, and is installed at the rear of the host vehicle 200 and photographs the rear of the host vehicle 200 as a subject. Rear camera, a right side camera that is installed on the right side of the host vehicle 200 and shoots the right side of the host vehicle 200 as a subject, and a left side that is installed on the left side of the host vehicle 200 and shoots the left side of the host vehicle 200 as a subject. A camera.
車載カメラ１０は、広い範囲を撮影するために、広い画角の広角レンズを備えていて、例えば図２Ａに示した広角画像ＰＡを撮影する。車載カメラ１０は、例えば５００［ｍｓｅｃ］の周期で間欠的に撮影を行う。この周期は例示に過ぎず、５００［ｍｓｅｃ］よりも短い周期で撮影してもよい。また、車載カメラ１０は、少なくとも前部カメラを備えたものであればよく、他のカメラ（後部カメラ、右側部カメラ、左側部カメラ）を備えたものでなくてもよい。 The in-vehicle camera 10 includes a wide-angle lens with a wide angle of view in order to capture a wide range, and for example, captures a wide-angle image PA shown in FIG. 2A. For example, the in-vehicle camera 10 intermittently captures images at a cycle of 500 [msec]. This period is merely an example, and images may be taken with a period shorter than 500 [msec]. Moreover, the vehicle-mounted camera 10 should just be provided with the front camera at least, and may not be provided with another camera (a rear camera, a right side camera, a left side camera).
ＣＡＮ２０は、カメラＥＣＵ３０の他に、エンジンＥＣＵ等他のＥＣＵと接続されていて、これら接続されたカメラＥＣＵ３０及び他のＥＣＵの間で、自車２００の種々の情報を共有している。自動運転支援システムにおいては、自車２００の車輪の単位時間当たりの回転数（移動距離）と、ステアリングホイールの操舵角度（に対応した自車２００の旋回角度）とが、ＣＡＮ２０を通じてカメラＥＣＵ３０に入力される。 The CAN 20 is connected to other ECUs such as an engine ECU in addition to the camera ECU 30, and various information of the host vehicle 200 is shared between the connected camera ECU 30 and the other ECUs. In the automatic driving support system, the number of rotations (movement distance) of the wheel of the host vehicle 200 per unit time and the steering angle of the steering wheel (the turning angle of the host vehicle 200 corresponding to the steering wheel) are input to the camera ECU 30 through the CAN 20. Is done.
＜カメラＥＣＵ（静止立体物検出装置）の構成＞
カメラＥＣＵ３０は、車載カメラ１０と接続され、画像幾何変換部４０と、カメラ運動検出部５０と、特徴点追跡部６０と、特徴点位置算出部７０と、を備えている。
<Configuration of camera ECU (stationary three-dimensional object detection device)>
The camera ECU 30 is connected to the vehicle-mounted camera 10 and includes an image geometric conversion unit 40, a camera motion detection unit 50, a feature point tracking unit 60, and a feature point position calculation unit 70.
カメラ運動検出部５０は、ＣＡＮ２０を通じて入力された情報（自車２００の車輪の単位時間当たりの回転数（移動距離）及びステアリングホイールの操舵角度（に対応した自車２００の旋回角度））に基づいて、自車２００の位置及び向きを算出し、算出された自車２００の位置及び向きを、車載カメラ１０の運動として検出する。 The camera motion detection unit 50 is based on information input through the CAN 20 (the number of rotations (movement distance) of the wheel of the host vehicle 200 per unit time and the steering angle of the steering wheel (the corresponding turning angle of the host vehicle 200)). Then, the position and orientation of the host vehicle 200 are calculated, and the calculated position and orientation of the host vehicle 200 are detected as the motion of the in-vehicle camera 10.
なお、本実施形態におけるカメラ運動検出部５０は、特定のタイミング（例えば、時系列的に先の画像を（第１の広角画像ＰＡ１）を撮影したタイミング（時刻ｔ１））における自車２００の位置及び向きを基準として、その後の別の特定のタイミング（第２の広角画像ＰＡ２を撮影したタイミング（時刻ｔ２））における自車２００の位置及び向きを、基準の位置及び基準の向きからの位置の変化量及び向きの変化量（旋回角度）により算出する。 Note that the camera motion detection unit 50 according to the present embodiment has a position of the host vehicle 200 at a specific timing (for example, timing (time t1) at which the previous image (first wide-angle image PA1) is taken in time series). And the position and direction of the host vehicle 200 at another specific timing thereafter (timing at which the second wide-angle image PA2 is captured (time t2)) with respect to the reference position and the reference direction. It is calculated from the amount of change and the amount of change in direction (turning angle).
画像幾何変換部４０は、車載カメラ１０から入力された、図２Ａに示した各車載カメラ１０で撮影された広い画角の画像（広角画像）ＰＡを、図２Ｂに示した円筒型歪補正画像ＰＢに変換する。 The image geometric conversion unit 40 converts the wide-angle image (wide-angle image) PA, which is input from the in-vehicle camera 10 and captured by each in-vehicle camera 10 illustrated in FIG. 2A, into the cylindrical distortion corrected image illustrated in FIG. 2B. Convert to PB.
ここで、広角画像ＰＡは、現実の三次元空間において、鉛直方向（上下方向）に延びた被写体は、画角の中央（横方向の中央）付近では縦方向（上下方向）に延びた画像として表現されるが、画角の端（横方向の端）に近くなるにしたがって、その端に近い被写体の画像は、縦方向に対して傾いた画像として表現される。 Here, the wide-angle image PA is an image in which a subject extending in the vertical direction (vertical direction) extends in the vertical direction (vertical direction) near the center of the angle of view (horizontal center) in an actual three-dimensional space. Although it is expressed, as it approaches the end of the angle of view (the end in the horizontal direction), the image of the subject near the end is expressed as an image inclined with respect to the vertical direction.
一方、円筒型歪補正画像ＰＢは、図２Ｃに示す、その車載カメラ１０を通る鉛直方向に延びた鉛直軸Ｃを中心とした円筒の周面のスクリーンＳｃに投影した画像であり、被写体である現実の三次元空間において、鉛直方向（上下方向）に延びた被写体は、縦方向（図２に示すｙ軸に沿った方向）から傾くことなく縦方向に延びた画像として表現される。また、円筒型歪補正画像ＰＢは、横方向（図２に示すｘ軸に沿った方向）の長さＬ（又は画素数Ｎ）と鉛直軸Ｃ回りの角度とが正比例した画像となっている。なお、鉛直軸Ｃ回りの角度は、自車２００の旋回角度θに一致する。 On the other hand, the cylindrical distortion-corrected image PB is an image projected on a screen Sc of a cylindrical surface around a vertical axis C extending in the vertical direction passing through the in-vehicle camera 10 shown in FIG. 2C and is a subject. In an actual three-dimensional space, a subject extending in the vertical direction (vertical direction) is represented as an image extending in the vertical direction without being tilted from the vertical direction (direction along the y-axis shown in FIG. 2). The cylindrical distortion corrected image PB is an image in which the length L (or the number of pixels N) in the horizontal direction (the direction along the x axis shown in FIG. 2) and the angle around the vertical axis C are directly proportional. . Note that the angle around the vertical axis C coincides with the turning angle θ of the host vehicle 200.
特徴点追跡部６０には、車載カメラ１０によって時系列的に異なる２つのタイミング（時刻ｔ１，ｔ２）で撮影して得られた２つの広角画像（時系列的に先のタイミング（時刻ｔ１）で撮影された第１の広角画像ＰＡ１が画像幾何変換部４０で変換された後の第１の円筒型歪補正画像ＰＢ１と、第１の広角画像ＰＡ１よりも時系列的に後のタイミング（時刻ｔ２（第１の広角画像ＰＡ１が撮影されてから、例えば５００［ｍｓｅｃ］後））で撮影された第２の広角画像ＰＡ２が画像幾何変換部４０で変換された第２の円筒型歪補正画像ＰＢ２が入力される。 In the feature point tracking unit 60, two wide-angle images (time-series earlier timing (time t1) obtained by photographing with two times (time t1, t2) different in time series by the in-vehicle camera 10 are obtained. The first cylindrical distortion corrected image PB1 after the photographed first wide-angle image PA1 is converted by the image geometric conversion unit 40, and the timing (time t2) later than the first wide-angle image PA1. The second cylindrical distortion corrected image PB2 obtained by converting the second wide-angle image PA2 captured in (for example, 500 [msec] after the first wide-angle image PA1 is captured)) by the image geometric conversion unit 40. Is entered.
そして、特徴点追跡部６０は、２つの円筒型歪補正画像ＰＢ１，ＰＢ２にそれぞれ含まれた、対応する特徴点を抽出して特定する。特徴点の特定は、第１の円筒型歪補正画像ＰＢ１における特徴点の座標位置（ｘ１，ｙ１）と、第２の円筒型歪補正画像ＰＢ２における特徴点の座標位置（ｘ２，ｙ２）とを求めることで行われる。 Then, the feature point tracking unit 60 extracts and specifies the corresponding feature points respectively included in the two cylindrical distortion correction images PB1 and PB2. The feature point is identified by the coordinate position (x1, y1) of the feature point in the first cylindrical distortion correction image PB1 and the coordinate position (x2, y2) of the feature point in the second cylindrical distortion correction image PB2. It is done by seeking.
図３は自車２００と被写体である建物３００（静止立体物の一例）を示す模式図である。本実施形態の特徴点追跡部６０は、第１の円筒型歪補正画像ＰＢ１において背景として含まれている特徴点の一例として、図３に示す建物３００の窓３１０のコーナ部ｐｃを抽出して、そのコーナ部ｐｃを第２の円筒型歪補正画像ＰＢ２において特定する。 FIG. 3 is a schematic diagram showing a host vehicle 200 and a building 300 (an example of a stationary solid object) that is a subject. The feature point tracking unit 60 of the present embodiment extracts the corner part pc of the window 310 of the building 300 shown in FIG. 3 as an example of the feature points included as the background in the first cylindrical distortion correction image PB1. The corner portion pc is specified in the second cylindrical distortion corrected image PB2.
図４Ａは時刻ｔ１に撮影された第１の広角画像ＰＡ１を座標変換した第１の円筒型歪補正画像ＰＢ１を示す図であり、図４Ｂは時刻ｔ２に撮影された第２の広角画像ＰＡ２を座標変換した第２の円筒型歪補正画像ＰＢ２を示す図である。また、図５は上側に第２の円筒型歪補正画像ＰＢ２、下側に第２の旋回相殺画像ＰＢ２′をそれぞれ表示した図である。 FIG. 4A is a diagram showing a first cylindrical distortion-corrected image PB1 obtained by coordinate conversion of the first wide-angle image PA1 taken at time t1, and FIG. 4B shows the second wide-angle image PA2 taken at time t2. It is a figure which shows the 2nd cylindrical distortion correction image PB2 which carried out coordinate conversion. FIG. 5 is a diagram in which a second cylindrical distortion correction image PB2 is displayed on the upper side, and a second turning cancellation image PB2 ′ is displayed on the lower side.
特徴点追跡部６０は、画像差分相殺部６１（旋回相殺画像変換部の一例）と、特徴点抽出部６２と、追跡処理部６３と、を備えている。画像差分相殺部６１は、カメラ運動検出部５０が車載カメラ１０の動きとして旋回を検出したとき（図３において自車２００が二点鎖線で示す旋回角度θで旋回した姿勢のとき）は、第２の円筒型歪補正画像ＰＢ２（図４Ｂ及び図５の上側の図）を、車載カメラ１０の旋回の動きが無かったと仮定したとき（図３において自車２００が実線で示す姿勢のとき）に得られるべき画像である第２の旋回相殺画像ＰＢ２′（図５の下側の図）に変換する。 The feature point tracking unit 60 includes an image difference cancellation unit 61 (an example of a turning cancellation image conversion unit), a feature point extraction unit 62, and a tracking processing unit 63. When the camera motion detection unit 50 detects turning as the movement of the in-vehicle camera 10 (when the host vehicle 200 is in a posture of turning at a turning angle θ indicated by a two-dot chain line in FIG. 3), the image difference canceling unit 61 When the cylindrical distortion correction image PB2 of FIG. 2 (the upper diagrams in FIGS. 4B and 5) is assumed to have no turning motion of the in-vehicle camera 10 (when the vehicle 200 is in the posture shown by the solid line in FIG. 3). The image is converted into a second turning cancellation image PB2 ′ (the lower diagram in FIG. 5) which is an image to be obtained.
具体的には、画像差分相殺部６１は、第１の広角画像ＰＡ１が撮影されたタイミング（時刻ｔ１）から第２の広角画像ＰＡ２が撮影されたタイミング（時刻ｔ２）の間にカメラ運動検出部５０が車載カメラ１０の動き（自車２００の動きと同じ）として旋回を検出したときは、第２の円筒型歪補正画像ＰＢ２の全体を、自車２００の旋回角度θと同じ角度だけ鉛直軸Ｃ回りに、自車２００の旋回方向と同じ向きに回転させる変換を行って第２の旋回相殺画像ＰＢ２′を得る。 Specifically, the image difference cancellation unit 61 is a camera motion detection unit between the timing (time t1) when the first wide-angle image PA1 is captured and the timing (time t2) when the second wide-angle image PA2 is captured. When 50 detects a turn as the movement of the in-vehicle camera 10 (the same as the movement of the own vehicle 200), the entire second cylindrical distortion correction image PB2 is vertically aligned by the same angle as the turning angle θ of the own vehicle 200. A second turn-offset image PB2 ′ is obtained by performing a rotation around C in the same direction as the turning direction of the host vehicle 200.
第２の旋回相殺画像ＰＢ２′は、車載カメラ１０の旋回の動きが無かったと仮定したときに得られるべき画像であるから、第２の旋回相殺画像ＰＢ２′は、自車２００の旋回によって生じる第２の円筒型歪補正画像ＰＢ２における背景の動きを無かったものとする（相殺する）ことができる。 Since the second turning cancellation image PB2 ′ is an image that should be obtained when it is assumed that there is no turning motion of the in-vehicle camera 10, the second turning cancellation image PB2 ′ is the second turning cancellation image PB2 ′ that is generated by turning of the host vehicle 200. It can be assumed that there is no background movement (cancellation) in the cylindrical distortion correction image PB2 of No. 2.
つまり、第１の広角画像ＰＡ１が撮影されたタイミング（時刻ｔ１）から第２の広角画像ＰＡ２が撮影されたタイミング（時刻ｔ２）の間に自車２００が旋回していると、その旋回角度θに対応した分だけ、第２の円筒型歪補正画像ＰＢ２の全体が第１の円筒型歪補正画像ＰＢ１に対してずれた画像となるが、ずれた第２の円筒型歪補正画像ＰＢ２をこのまま用いて、特徴点であるコーナ部ｐｃの追跡をオプティカルフローの勾配法で実行すると、不都合を生じる恐れがある。そこで、画像差分相殺部６１は、オプティカルフローの勾配法を実行して対応する特徴点を精度よく特定する処理において、自車２００の旋回による第２の円筒型歪補正画像ＰＢ２のずれを無くすように、第２の円筒型歪補正画像ＰＢ２に対して自車２００の旋回の動きに対応した相殺の処理を行う。 That is, if the host vehicle 200 is turning between the timing at which the first wide-angle image PA1 is captured (time t1) and the timing at which the second wide-angle image PA2 is captured (time t2), the turning angle θ The entire second cylindrical distortion correction image PB2 is shifted from the first cylindrical distortion correction image PB1 by an amount corresponding to the above, but the shifted second cylindrical distortion correction image PB2 remains as it is. If the corner point pc which is a feature point is tracked by the optical flow gradient method, there is a risk of inconvenience. Therefore, the image difference canceling unit 61 eliminates the shift of the second cylindrical distortion correction image PB2 due to the turning of the host vehicle 200 in the process of accurately identifying the corresponding feature point by executing the optical flow gradient method. In addition, a cancellation process corresponding to the turning movement of the host vehicle 200 is performed on the second cylindrical distortion correction image PB2.
第２の円筒型歪補正画像ＰＢ２は、鉛直軸Ｃ回りの角度と第２の円筒型歪補正画像ＰＢ２の横方向の長さとが正比例の関係にあるため、第２の円筒型歪補正画像ＰＢ２を鉛直軸Ｃ回りに角度θ［度］だけ回転させる変換は、第２の円筒型歪補正画像ＰＢ２を、その旋回角度θ［度］に正比例した長さＬ（又は画素数Ｎに画素間隔の寸法を乗じた長さ）だけ横方向（−ｘ方向）に平行移動する変換（座標位置（ｘ２−Ｌ，ｙ２））で処理することができる。したがって、画像差分相殺部６１による、自車２００の旋回によって生じる第２の円筒型歪補正画像ＰＢ２における背景の変化の相殺の演算処理の負荷を軽減することができる。 In the second cylindrical distortion correction image PB2, the angle around the vertical axis C and the lateral length of the second cylindrical distortion correction image PB2 are directly proportional to each other. Therefore, the second cylindrical distortion correction image PB2 Is rotated about the vertical axis C by an angle θ [degree], the second cylindrical distortion correction image PB2 is converted into a length L (or a pixel number N with a pixel number N) that is directly proportional to the turning angle θ [degree]. It is possible to process with a transformation (coordinate position (x2-L, y2)) that translates in the horizontal direction (-x direction) by the length multiplied by the dimension. Therefore, it is possible to reduce the load of the processing for canceling the background change in the second cylindrical distortion correction image PB2 caused by the turning of the host vehicle 200 by the image difference canceling unit 61.
特徴点抽出部６２は、第１の円筒型歪補正画像ＰＢ１（図６Ａ参照）と、第２の円筒型歪補正画像ＰＢ２（図６Ｃ参照）を画像差分相殺部６１で変換処理（自車２００の旋回による背景の変化を無くした相殺処理）した後の画像ＰＢ２′（以下、第２の旋回相殺画像ＰＢ２′という。図６Ｂ参照）と、について、特徴点であるコーナ部ｐｃをそれぞれ抽出する。 The feature point extraction unit 62 converts the first cylindrical distortion correction image PB1 (see FIG. 6A) and the second cylindrical distortion correction image PB2 (see FIG. 6C) by the image difference cancellation unit 61 (the own vehicle 200). The corner portion pc, which is a feature point, is extracted for the image PB2 ′ (hereinafter referred to as the second turning cancellation image PB2 ′; see FIG. 6B) after the background cancellation due to the turning of the turning point. .
コーナ部ｐｃの抽出は、例えば、公知の「ハリスのコーナ検出の手法（Harris corner detector）」を適用することができる。ハリスのコーナ検出の手法は、簡単には、画像をラスタスキャンして、画像の局所における縦方向の勾配の値と横方向の勾配の値との総和が、予め設定された閾値を超えた座標位置の部分を、画像のコーナとして検出するものである。 For the extraction of the corner portion pc, for example, a known “Harris corner detector” (Harris corner detector) can be applied. The Harris corner detection method is simply a method in which the image is raster scanned and the sum of the vertical gradient value and the horizontal gradient value in the local area of the image exceeds a preset threshold. The position portion is detected as a corner of the image.
追跡処理部６３は、特徴点抽出部６２により抽出された第１の円筒型歪補正画像ＰＢ１におけるコーナ部ｐｃと、特徴点抽出部６２により抽出された第２の旋回相殺画像ＰＢ２′におけるコーナ部ｐｃとの対応関係をオプティカルフローの勾配法により求める。すなわち、第１の円筒型歪補正画像ＰＢ１におけるコーナ部ｐｃを含む局所画像のテンプレートＴを設定し、第２の旋回相殺画像ＰＢ２′において、このテンプレートＴと類似度の高い局所画像を（テンプレートＴ）を探索して、その類似度の高いテンプレートＴにおけるコーナ部ｐｃを特定する。つまり、同一の被写体（例えば、窓３１０ｅ）に対応した第１の円筒型歪補正画像ＰＢ１におけるコーナ部ｐｃと第２の旋回相殺画像ＰＢ２′におけるコーナ部ｐｃとを特定する。 The tracking processing unit 63 includes a corner part pc in the first cylindrical distortion correction image PB1 extracted by the feature point extraction unit 62 and a corner part in the second turning cancellation image PB2 ′ extracted by the feature point extraction unit 62. The correspondence with pc is obtained by the gradient method of optical flow. That is, a template T of a local image including the corner portion pc in the first cylindrical distortion correction image PB1 is set, and a local image having a high similarity with the template T is selected in the second turning cancellation image PB2 ′ (template T ) And a corner portion pc in the template T having a high degree of similarity is specified. That is, the corner portion pc in the first cylindrical distortion correction image PB1 and the corner portion pc in the second turning cancellation image PB2 ′ corresponding to the same subject (for example, the window 310e) are specified.
追跡処理部６３は、第１の円筒型歪補正画像ＰＢ１と第２の旋回相殺画像ＰＢ２′とにおいて対応関係が特定された２つのコーナ部ｐｃについて、その動きを追跡する際は、第１の円筒型歪補正画像ＰＢ１におけるコーナ部ｐｃの座標位置（ｘ１，ｙ１）と、旋回分の相殺前の第２の円筒型歪補正画像ＰＢ２におけるコーナ部ｐｃの座標位置（ｘ２，ｙ２）とで、コーナ部ｐｃの動きを特定する。 When the tracking processing unit 63 tracks the movement of the two corners pc whose correspondence relationship is specified in the first cylindrical distortion correction image PB1 and the second turning cancellation image PB2 ′, The coordinate position (x1, y1) of the corner part pc in the cylindrical distortion correction image PB1 and the coordinate position (x2, y2) of the corner part pc in the second cylindrical distortion correction image PB2 before canceling the turning amount, The movement of the corner part pc is specified.
具体的には、第１の円筒型歪補正画像ＰＢ１（座標値（ｘ１，ｙ１））と第２の旋回相殺画像ＰＢ２′（座標値（ｘ２−Ｌ，ｙ２））との間で対応関係を特定した際に算出されたオプティカルフローのｘ方向成分について、旋回分の相殺の際に減算した長さＬだけ加算する。 Specifically, there is a correspondence between the first cylindrical distortion correction image PB1 (coordinate values (x1, y1)) and the second turning cancellation image PB2 ′ (coordinate values (x2-L, y2)). The x-direction component of the optical flow calculated at the time of identification is added by the length L subtracted when offsetting the turn.
特徴点位置算出部７０は、図７に示すように、同一被写体として対応関係がある窓３１０ｅのコーナ部ｐｃの現実の三次元空間における位置を、第１の円筒型歪補正画像ＰＢ１における座標位置と第２の円筒型歪補正画像ＰＢ２における座標位置と、その間（時刻ｔ１から時刻ｔ２の間）に自車２００が移動した位置（時刻ｔ１における車載カメラ１０（ｔ１）の位置と時刻ｔ２における車載カメラ１０（ｔ２）の位置との差分）とに基づいて、三角測量の原理により算出する。 As shown in FIG. 7, the feature point position calculation unit 70 calculates the position in the actual three-dimensional space of the corner part pc of the window 310e that has a corresponding relationship as the same subject as the coordinate position in the first cylindrical distortion correction image PB1. And the coordinate position in the second cylindrical distortion-corrected image PB2, and the position where the host vehicle 200 has moved (between time t1 and time t2) (the position of the vehicle-mounted camera 10 (t1) at time t1 and the vehicle-mounted position at time t2). Based on the principle of triangulation based on the difference from the position of the camera 10 (t2).
＜カメラＥＣＵの動作＞
次に、自動運転支援システムにおけるカメラＥＣＵ３０の動作（本発明に係る静止物体検出方法の一例）について説明する。
<Operation of camera ECU>
Next, the operation of the camera ECU 30 in the automatic driving support system (an example of a stationary object detection method according to the present invention) will be described.
図６Ａは第１の円筒型歪補正画像ＰＢ１の一部を拡大した図であり、図６Ｂは第２の旋回相殺画像ＰＢ２′の一部（図６Ａに示した第１の円筒型歪補正画像ＰＢ１の一部と同じ座標位置の範囲）を拡大した図であり、図６Ｃは第２の円筒型歪補正画像ＰＢ２の一部（図６Ａに示した第１の円筒型歪補正画像ＰＢ１の一部と同じ座標位置の範囲）を拡大した図である。 6A is an enlarged view of a part of the first cylindrical distortion correction image PB1, and FIG. 6B is a part of the second turning cancellation image PB2 ′ (the first cylindrical distortion correction image shown in FIG. 6A). FIG. 6C is an enlarged view of the same coordinate position range as a part of PB1, and FIG. 6C shows a part of the second cylindrical distortion corrected image PB2 (one of the first cylindrical distortion corrected image PB1 shown in FIG. 6A). It is the figure which expanded the range of the same coordinate position as a part.
図７は第１の円筒型歪補正画像ＰＢ１における座標位置と第２の円筒型歪補正画像ＰＢ２における座標位置と、その間（時刻ｔ１から時刻ｔ２の間）に自車２００が移動した位置（時刻ｔ１における車載カメラ１０（ｔ１）の位置と時刻ｔ２における車載カメラ１０（ｔ２）の位置との差分）との関係を示す模式図、図８は、自動運転支援システムにおけるカメラＥＣＵ３０の処理の流れを示すフローチャートである。 FIG. 7 shows the coordinate position in the first cylindrical distortion corrected image PB1 and the coordinate position in the second cylindrical distortion corrected image PB2, and the position where the host vehicle 200 has moved (between time t1 and time t2) (time FIG. 8 is a schematic diagram showing a relationship between the position of the in-vehicle camera 10 (t1) at t1 and the difference between the in-vehicle camera 10 (t2) at time t2, and FIG. 8 shows the flow of processing of the camera ECU 30 in the automatic driving support system. It is a flowchart to show.
カメラＥＣＵ３０には、自車２００の車載カメラ１０から自車２００の前方の広角画像ＰＡが入力され、また、ＣＡＮ２０を通じて自車２００の情報が入力されている。カメラＥＣＵ３０の画像幾何変換部４０は、車載カメラ１０が撮影した例えば図２Ａに示す広角画像ＰＡを、図２Ｃに示す車載カメラ１０を通る鉛直方向に延びた鉛直軸Ｃを中心とした円筒の周面のスクリーンＳｃに投影した画像である円筒型歪補正画像ＰＢ（図２Ｂ参照）に変換する。また、カメラＥＣＵ３０のカメラ運動検出部５０は、入力された車両の情報に基づいて、自車の位置や向き等を検出する。 A wide-angle image PA in front of the host vehicle 200 is input from the in-vehicle camera 10 of the host vehicle 200 to the camera ECU 30, and information on the host vehicle 200 is input through the CAN 20. The image geometric conversion unit 40 of the camera ECU 30 captures, for example, a wide-angle image PA shown in FIG. 2A photographed by the in-vehicle camera 10 and has a cylindrical circumference centered on a vertical axis C extending in the vertical direction passing through the in-vehicle camera 10 shown in FIG. 2C. It converts into the cylindrical distortion correction image PB (refer FIG. 2B) which is the image projected on the screen Sc of the surface. Moreover, the camera motion detection part 50 of camera ECU30 detects the position, direction, etc. of the own vehicle based on the input vehicle information.
自車２００が、例えば図３の実線で示す姿勢のときのタイミング（時刻ｔ１）で第１の広角画像ＰＡ１が撮影され、その後の例えば図３の二点鎖線で示す姿勢のときのタイミング（時刻ｔ２）で第２の広角画像ＰＡ２が撮影されている、なお、各広角画像ＰＡ１、ＰＡ２には、略同じ輪郭形状を有する複数の窓３１０（窓３１０ａ，３１０ｂ，…）が左右方向に繰り返すように並んで設けられている。 For example, the first wide-angle image PA1 is captured at the timing (time t1) when the host vehicle 200 is in the posture shown by the solid line in FIG. 3, for example, and the timing (time) when the vehicle 200 is in the posture shown by the two-dot chain line in FIG. The second wide-angle image PA2 is captured at t2). In addition, in each wide-angle image PA1, PA2, a plurality of windows 310 (windows 310a, 310b,...) having substantially the same contour shape are repeated in the left-right direction. It is provided side by side.
画像幾何変換部４０は、第１の広角画像ＰＡ１を第１の円筒型歪補正画像ＰＢ１（図４Ａ）に変換し、第２の広角画像ＰＡ２を第２の円筒型歪補正画像ＰＢ２（図４Ｂ）に変換する（図８のＳ１）。 The image geometric conversion unit 40 converts the first wide-angle image PA1 into the first cylindrical distortion corrected image PB1 (FIG. 4A), and converts the second wide-angle image PA2 into the second cylindrical distortion corrected image PB2 (FIG. 4B). (S1 in FIG. 8).
続いて、特徴点追跡部６０の画像差分相殺部６１が、カメラ運動検出部５０によって時刻ｔ１から時刻ｔ２の間に自車２００に動きが検出される（Ｓ２）。そして、画像差分相殺部６１は、その動きに旋回の動きが含まれているときは、その時刻ｔ２に対応した第２の円筒型歪補正画像ＰＢ２について、その旋回による向きの変化分（旋回角度θ）に対応した長さＬだけ、左方向へ平行移動することにより、第２の円筒型歪補正画像ＰＢ２を、その旋回の動きが無かったと仮定したときに得られるべき画像である第２の旋回相殺画像ＰＢ２′（図５の下側の図）に変換する（図８のＳ３）。 Subsequently, the image difference cancellation unit 61 of the feature point tracking unit 60 detects the movement of the own vehicle 200 between the time t1 and the time t2 by the camera motion detection unit 50 (S2). Then, when the movement includes a turning motion, the image difference canceling unit 61 changes the orientation change (turning angle) of the second cylindrical distortion correction image PB2 corresponding to the time t2. The second cylindrical distortion-corrected image PB2 that is to be obtained by assuming that the second cylindrical distortion-corrected image PB2 is not swung by translation in the left direction by a length L corresponding to θ). It is converted into a turning cancellation image PB2 ′ (the lower diagram in FIG. 5) (S3 in FIG. 8).
特徴点抽出部６２は、第１の円筒型歪補正画像ＰＢ１（図６Ａ）と、第２の旋回相殺画像ＰＢ２′（図６Ｂ）とについて、それぞれ特徴点の一例であるコーナ部ｐｃをそれぞれ抽出する（図８のＳ４）。 The feature point extraction unit 62 extracts a corner portion pc which is an example of a feature point for each of the first cylindrical distortion correction image PB1 (FIG. 6A) and the second turning cancellation image PB2 ′ (FIG. 6B). (S4 in FIG. 8).
次いで、追跡処理部６３は、特徴点抽出部６２により抽出された第１の円筒型歪補正画像ＰＢ１におけるコーナ部ｐｃと、特徴点抽出部６２により抽出された第２の旋回相殺画像ＰＢ２′におけるコーナ部ｐｃとの対応関係（同一被写体に対応したコーナ部ｐｃ）をオプティカルフローの勾配法により求める。 Next, the tracking processing unit 63 uses the corner portion pc in the first cylindrical distortion correction image PB1 extracted by the feature point extraction unit 62 and the second turning cancellation image PB2 ′ extracted by the feature point extraction unit 62. The correspondence with the corner part pc (the corner part pc corresponding to the same subject) is obtained by the optical flow gradient method.
さらに、追跡処理部６３は、第１の円筒型歪補正画像ＰＢ１と第２の旋回相殺画像ＰＢ２′とにおいて対応関係が特定された２つのコーナ部ｐｃについて、その動きを追跡する際は、第１の円筒型歪補正画像ＰＢ１におけるコーナ部ｐｃの座標位置（ｘ１，ｙ１）と、画像差分相殺部６１による旋回分の相殺前の第２の円筒型歪補正画像ＰＢ２におけるコーナ部ｐｃの座標位置（ｘ２，ｙ２）とで、コーナ部ｐｃの動きを特定する（図８のＳ４）。 Furthermore, when the tracking processing unit 63 tracks the movement of the two corner portions pc whose correspondence is specified in the first cylindrical distortion correction image PB1 and the second turning cancellation image PB2 ′, The coordinate position (x1, y1) of the corner part pc in the first cylindrical distortion correction image PB1 and the coordinate position of the corner part pc in the second cylindrical distortion correction image PB2 before cancellation of the turning amount by the image difference cancellation unit 61 The movement of the corner part pc is specified by (x2, y2) (S4 in FIG. 8).
特徴点位置算出部７０は、図７に示すように、第１の円筒型歪補正画像ＰＢ１における座標位置と第２の円筒型歪補正画像ＰＢ２における座標位置と、その間（時刻ｔ１から時刻ｔ２の間）に自車２００が移動した位置（時刻ｔ１における車載カメラ１０（ｔ１）の位置と時刻ｔ２における車載カメラ１０（ｔ２）の位置との差分）とに基づいて、同一被写体として対応関係がある窓３１０ｅのコーナ部ｐｃの現実の三次元空間における位置を、三角測量の原理により算出する（図８のＳ５）。 As shown in FIG. 7, the feature point position calculation unit 70, between the coordinate position in the first cylindrical distortion correction image PB1 and the coordinate position in the second cylindrical distortion correction image PB2, between them (from time t1 to time t2 Between the vehicle 200 (the difference between the position of the in-vehicle camera 10 (t1) at the time t1 and the position of the in-vehicle camera 10 (t2) at the time t2). The position of the corner part pc of the window 310e in the actual three-dimensional space is calculated based on the principle of triangulation (S5 in FIG. 8).
以上、詳細に説明したように、本実施形態のカメラＥＣＵ３０は、自車２００が旋回を含む移動をしながら、時系列的に異なるタイミングで撮影された２つの広角画像ＰＡ１，ＰＡ２の背景として、現実の三次元空間において左右方向に繰り返す形状となる静止立体物の被写体（窓３１０等）が存在していても、これらの被写体の現実の位置を精度よく求めることができる。 As described above in detail, the camera ECU 30 according to the present embodiment uses the background of the two wide-angle images PA1 and PA2 taken at different timings in time series while the host vehicle 200 moves including turning. Even if there are still three-dimensional objects (such as the window 310) having a shape that repeats in the left-right direction in an actual three-dimensional space, the actual positions of these objects can be obtained with high accuracy.
図９は本発明の静止立体物検出装置、静止立体物検出方法が適用されない比較例による、図７相当の模式図である。上述した本発明の実施形態に対して、本発明が適用されない比較例によれば、画像差分相殺部６１が存在しないため、画像差分相殺部６１によるに相殺処理が行われない。この結果、比較例の特徴点抽出部は、図６Ａに示した第１の円筒型歪補正画像ＰＢ１と、相殺処理が施されていない図６Ｃに示した第２の円筒型歪補正画像ＰＢ２との間で、特徴点であるコーナ部ｐｃの対応付けを行なう。 FIG. 9 is a schematic diagram corresponding to FIG. 7 according to a comparative example to which the stationary three-dimensional object detection device and the stationary three-dimensional object detection method of the present invention are not applied. According to the comparative example to which the present invention is not applied to the embodiment of the present invention described above, the image difference canceling unit 61 does not exist, and therefore the image difference canceling unit 61 does not perform the canceling process. As a result, the feature point extraction unit of the comparative example includes the first cylindrical distortion correction image PB1 shown in FIG. 6A and the second cylindrical distortion correction image PB2 shown in FIG. Between the corner portions pc which are feature points.
この場合、比較例の特徴点抽出部が、第１の円筒型歪補正画像ＰＢ１における窓３１０ｅのコーナ部ｐｃを含む局所領域のテンプレートＴを、図６Ｃに示した第２の円筒型歪補正画像ＰＢ２において探索させる。そうすると、比較例の特徴点抽出部は、第１の円筒型歪補正画像ＰＢ１における窓３１０ｅのコーナ部ｐｃの座標位置に近い第２の円筒型歪補正画像ＰＢ２の座標位置に存在する、窓３１０ｅに隣接する他の窓３１０ｄのコーナ部ｐｃを、第１の円筒型歪補正画像ＰＢ１における窓３１０ｅのコーナ部ｐｃに対応する特徴点として誤って特定する。 In this case, the feature point extraction unit of the comparative example uses the template T in the local region including the corner portion pc of the window 310e in the first cylindrical distortion correction image PB1 as the second cylindrical distortion correction image shown in FIG. 6C. Search in PB2. Then, the feature point extraction unit of the comparative example has a window 310e that exists at the coordinate position of the second cylindrical distortion correction image PB2 close to the coordinate position of the corner portion pc of the window 310e in the first cylindrical distortion correction image PB1. The corner portion pc of the other window 310d adjacent to is erroneously specified as a feature point corresponding to the corner portion pc of the window 310e in the first cylindrical distortion correction image PB1.
このように、比較例の特徴点抽出部によって同一の被写体として誤って対応づけられた、第１の円筒型歪補正画像ＰＢ１における特徴点（窓３１０ｅのコーナ部ｐｃ）と、第２の円筒型歪補正画像ＰＢ２における特徴点（窓３１０ｄのコーナ部ｐｃ）との間で、比較例の追跡処理部が、オプティカルフローを求める。 As described above, the feature point (corner part pc of the window 310e) in the first cylindrical distortion correction image PB1 and the second cylindrical type, which are erroneously associated as the same subject by the feature point extraction unit of the comparative example. The tracking processing unit of the comparative example obtains an optical flow between the feature point (corner part pc of the window 310d) in the distortion corrected image PB2.
求められたオプティカルフローは、同一被写体（窓３１０ｅのコーナ部ｐｃ）の動きを表すものではないため、比較例のカメラＥＣＵは、オプティカルフローによって、窓３１０ｅのコーナ部ｐｃの動きを検出することができない。 Since the obtained optical flow does not represent the movement of the same subject (the corner part pc of the window 310e), the camera ECU of the comparative example can detect the movement of the corner part pc of the window 310e by the optical flow. Can not.
しかも、比較例の特徴点抽出部は、第２の円筒型歪補正画像ＰＢ２における窓３１０ｄのコーナ部ｐｃを誤って窓３１０ｅのコーナ部ｐｃと特定しているため、比較例の特徴点位置算出部が、第１の円筒型歪補正画像ＰＢ１における窓３１０ｅのコーナ部ｐｃの座標位置と、第２の円筒型歪補正画像ＰＢ２における窓３１０ｅのコーナ部ｐｃ（実際には、誤って特定した窓３１０ｄのコーナ部ｐｃ）の座標位置と、その間の自車２００の動きとに基づいて、三角測量の原理により算出した窓３１０ｅのコーナ部ｐｃの現実の三次元空間における位置は、図９に示すように、図７に示した本来の位置よりも自車２００に近い位置となる。 In addition, since the feature point extraction unit of the comparative example erroneously specifies the corner portion pc of the window 310d in the second cylindrical distortion correction image PB2 as the corner portion pc of the window 310e, the feature point position calculation of the comparative example is performed. The coordinate position of the corner part pc of the window 310e in the first cylindrical distortion correction image PB1 and the corner part pc of the window 310e in the second cylindrical distortion correction image PB2 The position in the actual three-dimensional space of the corner portion pc of the window 310e calculated based on the triangulation principle based on the coordinate position of the corner portion pc) of 310d and the movement of the host vehicle 200 in the meantime is shown in FIG. Thus, it becomes a position closer to the host vehicle 200 than the original position shown in FIG.
したがって、比較例のカメラＥＣＵは、自車２００が旋回を含む移動をしながら、時系列的に異なるタイミングで撮影された２つの広角画像ＰＡ１，ＰＡ２の背景として、現実の三次元空間において左右方向に繰り返す形状となる静止立体物の被写体（窓３１０等）が存在していた場合に、これらの被写体の現実の位置を精度よく求めることができない。 Therefore, the camera ECU according to the comparative example uses the left-right direction in the actual three-dimensional space as the background of the two wide-angle images PA1 and PA2 captured at different timings in time series while the host vehicle 200 moves including turning. If there are still three-dimensional objects (such as the window 310) having a repeated shape, the actual positions of these objects cannot be obtained with high accuracy.
本実施形態のカメラＥＣＵ３０は、画像幾何変換部４０によって、車載カメラ１０で撮影して得られた広角画像ＰＡを、車載カメラ１０を通る鉛直方向に延びた鉛直軸Ｃを中心とした円筒の周面のスクリーンＳｃに投影した画像である円筒型歪補正画像ＰＢに変換している。 The camera ECU 30 according to the present embodiment is configured such that a wide-angle image PA obtained by photographing with the in-vehicle camera 10 by the image geometric conversion unit 40 is a cylinder around the vertical axis C extending in the vertical direction passing through the in-vehicle camera 10. It is converted into a cylindrical distortion corrected image PB that is an image projected on the screen Sc of the surface.
そして、画像差分相殺部６１が、第２の円筒型歪補正画像ＰＢ２を、自車２００の旋回の動きが無かったと仮定したときに得られるべき画像である第２の旋回相殺画像ＰＢ２′に変換する処理を、第２の円筒型歪補正画像ＰＢ２を、車載カメラ１０の旋回による向きの変化分に対応した左右方向へ平行移動するだけの処理で達成することができる。したがって、カメラＥＣＵ３０は、画像差分相殺部６１による、自車２００の旋回によって生じる第２の円筒型歪補正画像ＰＢ２における背景の変化の相殺の演算処理の負荷を軽減することができる。 Then, the image difference canceling unit 61 converts the second cylindrical distortion corrected image PB2 into a second turning canceling image PB2 ′ that is an image to be obtained when it is assumed that there is no turning motion of the host vehicle 200. This process can be achieved by a process of translating the second cylindrical distortion correction image PB2 in the left-right direction corresponding to the change in the direction due to the turning of the in-vehicle camera 10. Therefore, the camera ECU 30 can reduce the load of the processing for canceling the background change in the second cylindrical distortion correction image PB2 caused by the turning of the host vehicle 200 by the image difference canceling unit 61.
本実施形態のカメラＥＣＵ３０は、車載カメラ１０によって撮影して得られた画像における、自車２００から遠く離れた背景となる画像のうち、略同一形状が繰り返すような被写体を、オプティカルフローの勾配法で検出する際に、特に有効である。 The camera ECU 30 according to the present embodiment performs an optical flow gradient method on a subject that repeats substantially the same shape in a background image far away from the host vehicle 200 in an image captured by the in-vehicle camera 10. This is particularly effective when detecting with.
上述した自動運転支援システムの車載カメラ１０は、自車２００の周囲を広角画像ＰＡで撮影したが、本発明に係る静止立体物検出装置及び静止立体物検出装置は、撮影された画像が広角画像であってもよいし、広角では無い狭い画角の画像であってもよい。 The vehicle-mounted camera 10 of the automatic driving support system described above has captured the surroundings of the vehicle 200 with the wide-angle image PA. However, in the stationary three-dimensional object detection device and the stationary three-dimensional object detection device according to the present invention, the captured image is a wide-angle image. Or an image with a narrow angle of view that is not a wide angle.
１０ 車載カメラ
３０ カメラＥＣＵ
４０ 画像幾何変換部
５０ カメラ運動検出部
６０ 特徴点追跡部
６１ 画像差分相殺部（旋回相殺画像変換部）
６２ 特徴点抽出部
６３ 追跡処理部
７０ 特徴点位置算出部
２００ 車両（自車）
３００ 建物
３１０ｄ，３１０ｅ 窓
Ｃ 鉛直軸
ＰＢ１ 第１の円筒型歪補正画像
ＰＢ２ 第２の円筒型歪補正画像
ＰＢ２′ 第２の旋回相殺画像
Ｓｃ スクリーン
ｐｃ コーナ部（特徴点）
θ 旋回角度
10 On-vehicle camera 30 Camera ECU
40 image geometric conversion unit 50 camera motion detection unit 60 feature point tracking unit 61 image difference cancellation unit (turning cancellation image conversion unit)
62 feature point extraction unit 63 tracking processing unit 70 feature point position calculation unit 200 vehicle (own vehicle)
300 Building 310d, 310e Window C Vertical axis PB1 First cylindrical distortion correction image PB2 Second cylindrical distortion correction image PB2 'Second turning cancellation image Sc Screen pc Corner portion (feature point)
θ Turning angle
Claims (6)
前記２つのタイミングの間で検出された前記車載カメラの動きを求めるカメラ運動検出部と、
前記特徴点追跡部により特定された前記２つの画像における前記特徴点の前記座標位置及び前記カメラ運動検出部により検出された前記車載カメラの動きに基づいて、前記特徴点の現実の空間における位置を求める特徴点位置算出部と、を備え、
前記特徴点追跡部は、前記２つの画像のうち時系列的に後のタイミングで撮影して得られた画像である第２の画像を、前記カメラ運動検出部が検出した前記車載カメラの旋回の動きが無かったと仮定したときに得られるべき画像である第２の旋回相殺画像に変換する旋回相殺画像変換部を備え、
前記特徴点追跡部は、前記２つの画像のうち時系列的に先のタイミングで撮影して得られた画像である第１の画像と前記第２の旋回相殺画像とに基づいて前記対応する特徴点同士を特定し、特定された前記特徴点同士の、前記第１の画像における座標位置と前記第２の画像における座標位置を特定する静止立体物検出装置。 A feature point included in each of the two images is extracted between two images obtained by photographing at least two timings before and after in time series by the in-vehicle camera, and the two of the feature points are extracted. A feature point tracking unit that identifies coordinate positions in each of the images of corresponding feature points between images;
A camera motion detector for determining the motion of the in-vehicle camera detected between the two timings;
Based on the coordinate position of the feature point in the two images specified by the feature point tracking unit and the movement of the in-vehicle camera detected by the camera motion detection unit, the position of the feature point in the real space is determined. A feature point position calculation unit to be obtained,
The feature point tracking unit is configured to detect a second image, which is an image obtained at a later timing in time series among the two images, by turning the vehicle-mounted camera detected by the camera motion detection unit. A turning cancellation image converting unit for converting into a second turning cancellation image that is an image to be obtained when it is assumed that there is no movement;
The feature point tracking unit corresponds to the corresponding feature based on the first image and the second turning-offset image, which are images obtained by photographing the two images at the previous timing in time series. A stationary three-dimensional object detection device that identifies points and identifies coordinate positions in the first image and coordinate positions in the second image of the identified feature points.
前記旋回相殺画像変換部は、前記第２の画像が前記画像幾何変換部により変換された後の第２の円筒型歪補正画像を、前記車載カメラの前記旋回による向きの変化分に対応した左右方向へ平行移動することにより、前記第２の円筒型歪補正画像を、前記旋回の動きが無かったと仮定したときに得られるべき画像である前記第２の旋回相殺画像に変換し、
前記特徴点追跡部は、前記第１の画像が前記画像幾何変換部により変換された後の第１の円筒型歪補正画像と前記第２の旋回相殺画像とに基づいて前記対応する特徴点同士を特定し、特定された前記特徴点同士の、前記第１の円筒型歪補正画像における座標位置と前記第２の円筒型歪補正画像における座標位置を特定する請求項１に記載の静止立体物検出装置。 Image geometry for converting the first image and the second image into a cylindrical distortion corrected image, which is an image projected on a circumferential surface of a cylinder with a vertical axis extending in the vertical direction passing through the vehicle-mounted camera. With a conversion unit,
The turning cancellation image converting unit converts the second cylindrical distortion corrected image after the second image is converted by the image geometric converting unit to the left and right corresponding to the change in direction of the vehicle-mounted camera due to the turning. By translating in the direction, the second cylindrical distortion correction image is converted into the second swirl cancellation image, which is an image to be obtained when it is assumed that there is no movement of the swirl,
The feature point tracking unit includes the corresponding feature points based on the first cylindrical distortion correction image and the second turning cancellation image after the first image is converted by the image geometric conversion unit. The stationary three-dimensional object according to claim 1, wherein a coordinate position in the first cylindrical distortion correction image and a coordinate position in the second cylindrical distortion correction image of the specified feature points are specified. Detection device.
前記２つのタイミングの間で検出された前記車載カメラの動きを求め、
特定された前記２つの画像における前記特徴点の前記座標位置及び前記カメラ運動検出部により検出された前記車載カメラの動きに基づいて、前記特徴点の現実の空間における位置を求めるに際して、
前記２つの画像のうち時系列的に後のタイミングで撮影して得られた画像である第２の画像を、検出した前記車載カメラの旋回の動きが無かったと仮定したときに得られるべき画像である第２の旋回相殺画像に変換し、
前記２つの画像のうち時系列的に前のタイミングで撮影して得られた画像である第１の画像と前記第２の旋回相殺画像とに基づいて前記対応する特徴点同士を特定し、特定された前記特徴点同士の、前記第１の画像における座標位置と前記第２の画像における座標位置を特定する静止立体物検出方法。 A feature point included in each of the two images is extracted between at least two images obtained by shooting at two timings moving back and forth in time series by the in-vehicle camera, and the two of the feature points are extracted. Identify the coordinate positions in each of the images of corresponding feature points between the images,
Determining the movement of the in-vehicle camera detected between the two timings;
When obtaining the position of the feature point in the real space based on the coordinate position of the feature point in the two identified images and the movement of the in-vehicle camera detected by the camera motion detection unit,
Of the two images, the second image, which is an image obtained at a later timing in time series, is an image to be obtained when it is assumed that there is no turning motion of the detected in-vehicle camera. Converted into a second swirl offset image,
Identify and identify the corresponding feature points based on the first image and the second turning-offset image, which are images obtained by shooting at the previous timing in time series among the two images. A stationary three-dimensional object detection method for specifying a coordinate position in the first image and a coordinate position in the second image of the feature points.
前記第２の画像が円筒型歪補正画像に変換された第２の円筒型歪補正画像を、前記車載カメラの前記旋回による向きの変化分に対応した左右方向へ平行移動することにより、前記第２の円筒型歪補正画像を、前記旋回の動きが無かったと仮定したときに得られるべき画像である前記第２の旋回相殺画像に変換し、
前記第１の画像が円筒型歪補正画像に変換された第１の円筒型歪補正画像と前記第２の旋回相殺画像とに基づいて前記対応する特徴点同士を特定し、特定された前記特徴点同士の、前記第１の円筒型歪補正画像における座標位置と前記第２の円筒型歪補正画像における座標位置を特定する請求項５に記載の静止立体物検出方法。 Each of the first image and the second image is converted into a cylindrical distortion correction image that is an image projected on a cylindrical peripheral surface with a vertical axis extending in the vertical direction passing through the in-vehicle camera,
By translating the second cylindrical distortion corrected image obtained by converting the second image into a cylindrical distortion corrected image in the left-right direction corresponding to the change in the direction of the vehicle-mounted camera due to the turning, the first 2 cylindrical distortion correction image is converted into the second swirl cancellation image, which is an image to be obtained when it is assumed that there is no movement of the swirl,
The corresponding feature points are specified by specifying the corresponding feature points based on the first cylindrical distortion corrected image obtained by converting the first image into a cylindrical distortion corrected image and the second turning cancellation image. The stationary solid object detection method according to claim 5, wherein a coordinate position in the first cylindrical distortion correction image and a coordinate position in the second cylindrical distortion correction image between points are specified.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018059258A JP2019174892A (en) | 2018-03-27 | 2018-03-27 | Resting three-dimensional object detection device and resting three-dimensional object detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018059258A JP2019174892A (en) | 2018-03-27 | 2018-03-27 | Resting three-dimensional object detection device and resting three-dimensional object detection method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019174892A true JP2019174892A (en) | 2019-10-10 |
Family
ID=68168856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018059258A Pending JP2019174892A (en) | 2018-03-27 | 2018-03-27 | Resting three-dimensional object detection device and resting three-dimensional object detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019174892A (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010073036A (en) * | 2008-09-19 | 2010-04-02 | Mitsubishi Motors Corp | Vehicle surroundings monitoring device |
| JP2013120551A (en) * | 2011-12-08 | 2013-06-17 | Denso It Laboratory Inc | Driving support device for vehicle |
| US20150109444A1 (en) * | 2013-10-22 | 2015-04-23 | GM Global Technology Operations LLC | Vision-based object sensing and highlighting in vehicle image display systems |
| JP2017084065A (en) * | 2015-10-27 | 2017-05-18 | 株式会社東芝 | Identity theft detection device |
-
2018
- 2018-03-27 JP JP2018059258A patent/JP2019174892A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010073036A (en) * | 2008-09-19 | 2010-04-02 | Mitsubishi Motors Corp | Vehicle surroundings monitoring device |
| JP2013120551A (en) * | 2011-12-08 | 2013-06-17 | Denso It Laboratory Inc | Driving support device for vehicle |
| US20150109444A1 (en) * | 2013-10-22 | 2015-04-23 | GM Global Technology Operations LLC | Vision-based object sensing and highlighting in vehicle image display systems |
| JP2017084065A (en) * | 2015-10-27 | 2017-05-18 | 株式会社東芝 | Identity theft detection device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107577988B (en) | Method, device, storage medium and program product for realizing side vehicle positioning | |
| JP6767998B2 (en) | Estimating external parameters of the camera from the lines of the image | |
| JP3279479B2 (en) | Video monitoring method and device | |
| JP4692371B2 (en) | Image processing apparatus, image processing method, image processing program, recording medium recording image processing program, and moving object detection system | |
| WO2017138245A1 (en) | Image processing device, object recognition device, device control system, and image processing method and program | |
| JP2006252473A (en) | Obstacle detector, calibration device, calibration method and calibration program | |
| JP2004117078A (en) | Obstacle detection device and method | |
| US20170259830A1 (en) | Moving amount derivation apparatus | |
| KR101449160B1 (en) | Apparatus and method for providing information of blind spot | |
| CN107950023B (en) | Vehicle display device and vehicle display method | |
| JP2007334859A (en) | Object detector | |
| CN112261390B (en) | Vehicle-mounted camera equipment and image optimization device and method thereof | |
| CN110942470A (en) | Image processing apparatus | |
| JP6410231B2 (en) | Alignment apparatus, alignment method, and computer program for alignment | |
| JP6617150B2 (en) | Object detection method and object detection apparatus | |
| JP6065629B2 (en) | Object detection device | |
| US8213684B2 (en) | Motion estimating device | |
| JP4256992B2 (en) | Obstacle detection device | |
| JP6886136B2 (en) | Alignment device, alignment method and computer program for alignment | |
| CN111860270B (en) | Obstacle detection method and device based on fisheye camera | |
| JP2008160635A (en) | Camera state detection method | |
| WO2010044127A1 (en) | Device for detecting height of obstacle outside vehicle | |
| JP3465531B2 (en) | Object recognition method and apparatus | |
| JP2005170290A (en) | Obstacle detecting device | |
| JP2019174892A (en) | Resting three-dimensional object detection device and resting three-dimensional object detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200821 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210921 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220322 |