JP2011203766A - Image processing apparatus for vehicle - Google Patents
Image processing apparatus for vehicle Download PDFInfo
- Publication number
- JP2011203766A JP2011203766A JP2010067501A JP2010067501A JP2011203766A JP 2011203766 A JP2011203766 A JP 2011203766A JP 2010067501 A JP2010067501 A JP 2010067501A JP 2010067501 A JP2010067501 A JP 2010067501A JP 2011203766 A JP2011203766 A JP 2011203766A
- Authority
- JP
- Japan
- Prior art keywords
- road
- image
- vehicle
- flow
- view image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
この発明は、車両に搭載された撮像手段が撮影した撮影画像を処理することにより撮影画像に含まれる道路と道路上の物体とを区別して識別する技術に関する。 The present invention relates to a technique for distinguishing and identifying a road included in a captured image and an object on the road by processing a captured image captured by an imaging unit mounted on a vehicle.
車両に搭載された撮像手段により撮影された撮影画像に含まれる道路と道路上の物体とを識別する様々な手法が提案されており、例えば、撮影画像のオプティカルフローを算出し、算出されたオプティカルフローに基づいて撮影画像に含まれる道路上の静止立体物を識別する技術が知られている(例えば、特許文献1)。すなわち、車両に搭載された撮像手段により遠景撮像をし、撮像により得られた複数枚の画像から、この画像中におけるオプティカルフローを算出する一方、画像の全体が平面であると推定したときの平面のオプティカルフローを求め、画像中におけるオプティカルフローと、平面のオプティカルフローとを比較することにより、平面に対して静止している立体物を識別する。 Various methods for identifying a road and an object on a road included in a captured image captured by an imaging unit mounted on a vehicle have been proposed. For example, an optical flow of a captured image is calculated, and the calculated optical A technique for identifying a stationary solid object on a road included in a captured image based on a flow is known (for example, Patent Document 1). In other words, a distant image is picked up by an image pickup means mounted on the vehicle, and an optical flow in this image is calculated from a plurality of images obtained by the image pickup, while a plane when the entire image is estimated to be a flat surface. The three-dimensional object that is stationary with respect to the plane is identified by comparing the optical flow in the image with the optical flow of the plane.
上記した従来技術では、道路上の立体物の上部側のオプティカルフローのフローベクトルと、前記上部側の背景画像となる遠方の平面のオプティカルフローのフローベクトルとはその大きさが異なるため、前記上部側と平面とを区別して識別することができる。ところが、道路上の立体物の下部側のオプティカルフローのフローベクトルと、前記下部側の背景画像となる立体物付近の平面のオプティカルフローのフローベクトルとはその大きさがほぼ同じであるため、前記下部側と平面とを適切に区別できないおそれがある。 In the prior art described above, the flow vector of the optical flow on the upper side of the three-dimensional object on the road and the flow vector of the optical flow of the distant plane that becomes the background image on the upper side are different in size, so A side and a plane can be distinguished and identified. However, since the flow vector of the optical flow on the lower side of the three-dimensional object on the road and the flow vector of the optical flow of the plane near the three-dimensional object as the background image on the lower side are substantially the same, There is a possibility that the lower side and the plane cannot be properly distinguished.
本発明は、上記課題に鑑みてなされたものであり、撮影画像が射影変換された上方視画像のオプティカルフローに基づいて上方視画像に含まれる道路と道路上の物体とを適切に区別して識別できる技術を提供することを目的とする。 The present invention has been made in view of the above problems, and appropriately distinguishes and identifies a road and an object on the road included in the upper-view image based on the optical flow of the upper-view image obtained by projective transformation of the captured image. The purpose is to provide technology that can be used.
上記した目的を達成するために、本願発明者らは種々の検討を繰返した結果、移動する車両から撮影した撮影画像が射影変換された上方視画像では、上方視画像に含まれる道路部分のオプティカルフローのフローベクトルの大きさはほぼ同じ大きさとなること、上方視画像に含まれる道路上の物体は上方に引き伸ばされた状態であるためそのオプティカルフローのフローベクトルの大きさは物体の高さに応じて大きくなることに着目して本発明を完成した。 In order to achieve the above-described object, the inventors of the present application have repeated various studies. As a result, in a top view image obtained by projective transformation of a captured image taken from a moving vehicle, an optical portion of a road included in the top view image is obtained. The size of the flow vector of the flow is almost the same, and the object on the road included in the upper view image is stretched upward, so the size of the flow vector of the optical flow is the height of the object. The present invention was completed by paying attention to increase in response.
本発明の車両用画像処理装置は、車両に搭載された撮像手段と、前記撮像手段が撮影した車両周囲の撮影画像を上方視画像に射影変換する変換手段と、前記上方視画像のオプティカルフローを算出する算出手段と、前記オプティカルフローのフローベクトルの大きさの時系列的な変化に基づいて、前記上方視画像に含まれる道路と道路上の物体とを区別して識別する識別手段とを備えることを特徴としている(請求項1)。 An image processing apparatus for a vehicle according to the present invention includes an imaging unit mounted on a vehicle, a conversion unit that projects and converts a captured image around the vehicle captured by the imaging unit into an upper view image, and an optical flow of the upper view image. Calculating means for calculating, and identifying means for distinguishing and identifying a road and an object on the road included in the upper-view image based on a time-series change in the magnitude of the flow vector of the optical flow (Claim 1).
請求項1に記載の発明によれば、車両に搭載された撮像手段が撮影した車両周囲の撮影画像が変換手段により射影変換された上方視画像のオプティカルフローが算出手段により算出される。そして、上方視画像に含まれる道路部分のオプティカルフローのフローベクトルの大きさはほぼ同じ大きさとなり、上方視画像に含まれる道路上の物体のフローベクトルの大きさは物体の高さに応じて大きくなるため、撮影画像が射影変換された上方視画像のオプティカルフローのフローベクトルの大きさの時系列的な変化に基づいて、上方視画像に含まれる道路と道路上の物体とを識別手段により適切に区別して識別できる。 According to the first aspect of the present invention, the optical flow of the upper-view image obtained by projectively converting the captured image around the vehicle captured by the imaging unit mounted on the vehicle by the conversion unit is calculated by the calculation unit. The size of the flow vector of the optical flow of the road portion included in the upward view image is substantially the same, and the size of the flow vector of the object on the road included in the upward view image depends on the height of the object. Based on the time-series change in the magnitude of the flow vector of the optical flow of the upward view image obtained by projective transformation of the captured image, the identification means identifies the road and the object on the road included in the upward view image. Can be distinguished and identified appropriately.
本発明の一実施形態について、図1〜図4を参照して説明する。 An embodiment of the present invention will be described with reference to FIGS.
図1は本発明の車両用画像処理装置としての機能を備える挙動推定装置2の一実施形態のブロック図である。図2は単眼カメラ3の構成を示す図である。図3は上方視画像tFの一例であって、(a)は時刻t0,t1のフレームにおける上方視画像tFに基づくオプティカルフローおよび自車両1からの距離Zrの位置のライン画像の各画素におけるフローベクトルの大きさを示すヒストグラムHを示し、(b)は時刻t1,t2のフレームにおける上方視画像tFに基づくオプティカルフローおよび自車両1からの距離Zrのライン画像の各画素におけるフローベクトルの大きさを示すヒストグラムHを示し、(c)は(a)および(b)のヒストグラムHの差分を示す。図4は図1の挙動推定装置2の処理の一例を示すフローチャートである。
FIG. 1 is a block diagram of an embodiment of a
1.構成
図1に示す本発明の車両用画像処理装置としての機能を備える挙動推定装置2は、自車両1に搭載された単眼カメラ3(本発明の「撮像手段」に相当)により撮影された撮影画像Fが射影変換された上方視画像tFに含まれる道路15部分のオプティカルフローの時系列的な変化に基づいて自車両1の挙動を推定するものであって、単眼カメラ3と、単眼カメラ3の撮影画像Fや種々のデータを記憶する記憶手段4と、単眼カメラ3の撮影画像Fを処理するマイクロコンピュータ構成のECU6と、例えばインストルメントパネルなどに取付けられたCRT、液晶ディスプレイなどの走行モニタ7と、警報用のスピーカ8とを備えている。
1. Configuration The
単眼カメラ3は、この実施形態では自車両1の前方の撮影が可能なモノクロあるいはカラー撮影が可能なカメラから成り、連続的に時々刻々と撮影した撮影画像Fの信号を出力する(図2参照)。また、自車両1の前方の路面撮影を行なうため、単眼カメラ3は、自車両1の車内の前方の上部位置に、上方から適当な角度で斜め下の路面をねらうように設けられている。
In this embodiment, the
記憶手段4は、各種メモリやハードディスクドライブなどを備え、単眼カメラ3から時々刻々と出力される撮影画像Fに対してECU6により種々の処理を施す際に使用される各種データ、撮影画像Fに対してECU6により種々の処理が施されることにより得られた各種データなどを格納する。
The
ECU6は、例えばイグニッションキーのオンにより、予め設定された物体認識のプログラムを実行することにより以下の各手段を備えている。 The ECU 6 includes the following units by executing a preset object recognition program, for example, when the ignition key is turned on.
(1)取得手段6a
取得手段6aは、単眼カメラ3により時々刻々と撮影された撮影画像Fを取得する。例えば、単眼カメラ3により撮影された撮影画像Fには、走行車線の自車両1の前方に先行車として走行する他車両12、隣接する走行車線の自車両1の右前方を走行する他車両13、道路15に沿って設けられている建造物14、道路15などが含まれており、取得手段6aはこの撮影画像Fを取得する。なお、この実施形態の撮影画像Fは、例えば480本のライン画像により形成されており、各ライン画像は例えば640画素により形成されている。
(1) Acquisition means 6a
The acquisition unit 6a acquires a captured image F captured by the
(2)変換手段6b
変換手段6bは、単眼カメラ3により時々刻々と撮影された自車両1前方の各時刻における撮影画像Fを、図2に示すように路面に仮想面を設定し、図3(a),(b)に示す上方視画像tFに射影変換する。そして、単眼カメラ3により時系列に撮影されて変換手段6bにより射影変換される各フレームの撮影画像Fに関する種々のデータは記憶手段4に記憶される。なお、単眼カメラ3の撮影画像Fが路面に設定された仮想面に射影変換された上方視画像tFでは物体の上端側が歪んだ画像となる。
(2) Conversion means 6b
The conversion means 6b sets a virtual plane on the road surface as shown in FIG. 2 for the captured images F at the respective times ahead of the host vehicle 1 that are captured by the
(3)算出手段6c
算出手段6cは、図3(a),(b)に示すように、上方視画像tFの2枚目以降のフレームが取得される度に、上方視画像tFのオプティカルフローを算出する。すなわち、時刻t1に撮影された撮影画像Fに基づく新たなフレームの上方視画像tFが取得されれば、時刻t1のフレームの上方視画像tFと時刻t0のフレームの上方視画像tFとに基づいて図3(a)中に矢印で示すオプティカルフローが算出手段6cにより算出される。
(3) Calculation means 6c
As shown in FIGS. 3A and 3B, the
つぎに、時刻t2に撮影された撮影画像Fに基づく新たなフレームの上方視画像tFが取得されれば、時刻t2のフレームの上方視画像tFと時刻t1のフレームの上方視画像tFとに基づいて図3(b)中に矢印で示すオプティカルフローが算出手段6cにより算出される。そして、時刻t3,t4,t5…に新たなフレームの上方視画像tFが取得される度に、新たなフレームの上方視画像tFと1つ前のフレームの上方視画像tFとに基づくオプティカルフローが算出手段6cにより算出される。
Next, if an upward view image tF of a new frame based on the captured image F taken at time t2 is acquired, the upward view image tF of the frame at time t2 and the upward view image tF of the frame at time t1 are acquired. Thus, the optical flow indicated by the arrow in FIG. 3B is calculated by the calculating
なお、この実施形態では、図3(a),(b)に示すように、算出手段6cにより算出されたオプティカルフローには、他車両12,13のフローベクトルV(α)、道路15部分のフローベクトルV(β)、道路15に沿った建造物14のフローベクトルV(γ)が含まれている。
In this embodiment, as shown in FIGS. 3A and 3B, the optical flow calculated by the calculating
また、移動する自車両1から撮影した撮影画像Fが射影変換された上方視画像tFでは、上方視画像tFに含まれる道路15部分全体でフローベクトルV(β)の大きさはほぼ同じ大きさとなり、上方視画像tFに含まれる道路15上の物体(他車両12,13)は上方に引き伸ばされた状態であるためそのフローベクトルV(α)の大きさは物体の高さに応じて大きくなる。また、それぞれのフローベクトルV(α),V(β),V(γ)の方向と大きさは、自車両1との相対的な移動方向および相対的な移動距離の大きさを示す。
Further, in the upward view image tF obtained by projective transformation of the captured image F taken from the moving own vehicle 1, the flow vector V (β) has almost the same size in the entire portion of the
(4)識別手段6d
識別手段6dは、時刻t1,t2,t3…と順次取得されたオプティカルフローのフローベクトルV(α),V(β),V(γ)の大きさの時系列的な変化に基づいて、上方視画像tFに含まれる道路15と道路15上の物体とを区別して識別する。この実施形態では、図3(a),(b)に示すように、上方視画像tFを構成するライン画像のうち、自車両1からの距離Zrの位置に対応するライン画像の各画素におけるオプティカルフローのフローベクトルの大きさがヒストグラムHとして表され、図3(c)に示すように、同図(a)および(b)のヒストグラムHの差分(斜線部分)が取られることにより、オプティカルフローのフローベクトルV(α),V(β),V(γ)の大きさの時系列的な変化が監視される。
(4) Identification means 6d
Based on the time series changes in the magnitudes of the flow vectors V (α), V (β), and V (γ) of the optical flow sequentially acquired at times t1, t2, t3. The
図3(a)に示す時刻t0−t1におけるオプティカルフローでは、上方視画像tFの自車両1からの距離Zrの位置には道路15と建造物14とが含まれており、距離Zrの位置に対応するライン画像におけるオプティカルフローのフローベクトルV(β),V(γ)の大きさは、道路15部分のフローベクトルV(β)はほぼ同じ大きさとなり、建造物14部分のフローベクトルV(γ)の大きさは、道路15部分のフローベクトルV(β)の大きさと異なり、この場合はフローベクトルV(β)よりも少し大きくなっている。
In the optical flow at time t0-t1 shown in FIG. 3A, the
図3(b)に示す時刻t1−t2におけるオプティカルフローでは、上方視画像tFの自車両1からの距離Zrの位置には他車両12,13、道路15および建造物14が含まれており、距離Zrの位置に対応するライン画像におけるオプティカルフローのフローベクトルV(α),V(β),V(γ)の大きさは、道路15部分のフローベクトルV(β)はほぼ同じ大きさとなり、他車両12,13部分および建造物14部分のフローベクトルV(α),V(γ)の大きさは、道路15部分のフローベクトルV(β)の大きさと異なり、この場合はフローベクトルV(β)よりも少し大きくなっている。
In the optical flow at time t1-t2 shown in FIG. 3 (b), the
したがって、図3(c)に示すように、同図(a),(b)にそれぞれ示すヒストグラムHの差分を取れば自車両1との相対位置が変化する他車両12,13部分のみが残ることとなり、このようなベクトル差分の時系列的な変化を監視することにより、識別手段6dは、上方視画像tFに含まれる道路15部分と物体(他車両12,13)とを区別して識別する。
Therefore, as shown in FIG. 3 (c), if the difference between the histograms H shown in FIGS. 3 (a) and (b) is taken, only the
(5)推定手段6e
推定手段6eは、識別手段6dにより識別された上方視画像tFの道路15部分のオプティカルフローのフローベクトルV(β)の方向および大きさの時系列的な変化を監視することにより、自車両1の挙動を推定する。すなわち、例えば、居眠り運転により自車両1が蛇行しているときなどに、自車両1(単眼カメラ3)および道路15との相対的な挙動を示す道路15部分のフローベクトルV(β)の方向および大きさを観察することにより、推定手段6eは、自車両1が蛇行していると推定することができる。
(5) Estimating means 6e
The estimation means 6e monitors time-series changes in the direction and magnitude of the flow vector V (β) of the optical flow of the
このとき、特に、単眼カメラ3の視点による撮影画像Fに含まれる他車両12,13などの物体の占有面積が大きい場合に、撮影画像Fを上方視画像tFに変換することにより、撮影画像Fに含まれる道路15部分の占有面積の撮影画像F内での比率と比較すれば、上方視画像tFに含まれる道路15部分の占有面積の上方視画像tF内での比率が大きくなるため、道路15部分のフローベクトルV(β)を容易に監視することができる。また、他車両12,13のオプティカルフローのフローベクトルV(α)の方向および大きさは、他車両12,13の挙動によっても変化するため、自車両1の挙動を推定するためには、道路15部分のフローベクトルV(β)の変化のみに基づく推定を行うことが非常に重要である。
At this time, in particular, when the area occupied by the object such as the
ところが、撮影画像Fのオプティカルフローは、消失点(FOE:Focus Of Expansion)を中心にあらゆる方向に現れることに加え、消失点(FOE)からの距離にも大きく影響されるため、道路15部分のフローベクトルV(β)のみを抽出して監視することは困難であるる。しかしながら、この実施形態では、識別手段6dにより、上方視画像tFのオプティカルフローのフローベクトルV(α),V(β),V(γ)の大きさの時系列的な変化に基づいて道路15部分と道路15上の物体(他車両12,13)とが適切に区別されて識別されるため、推定手段6eは、確実に道路15部分のフローベクトルV(β)のみの変化を監視して自車両1の挙動を推定することができる。
However, the optical flow of the photographed image F is greatly influenced by the distance from the vanishing point (FOE) in addition to appearing in all directions centering on the vanishing point (FOE: Focus of Expansion). It is difficult to extract and monitor only the flow vector V (β). However, in this embodiment, the identification means 6d causes the
また、撮影画像Fが上方視画像tFに射影変換されることで、上方視画像tFに含まれる道路15部分全体のオプティカルフローのフローベクトルV(β)は、自車両1の挙動に応じてほぼ同じものとなるため、上方視画像tFの道路15部分のフローベクトルV(β)を監視することにより、推定手段6eは、自車両1の挙動を高精度に推定することができる。
Further, the shot image F is projectively transformed into the upward view image tF, so that the flow vector V (β) of the optical flow of the entire portion of the
(6)報知手段6f
報知手段6fは、推定手段6eにより推定される自車両1の挙動に基づき、例えば走行モニタ7に表示中のカーナビゲーション用の地図に警告表示を重畳して表示したりして、自車挙動を視覚的にドライバに報知する。また、スピーカ8から、推定結果の音声メッセージ、警告音を発生して自車挙動を聴覚的にドライバに報知する。これらの視覚的または聴覚的なドライバに対する報知により、ドライバの運転支援を行う。
(6) Notification means 6f
Based on the behavior of the host vehicle 1 estimated by the estimating unit 6e, the notifying unit 6f displays the warning behavior by superimposing a warning display on the car navigation map being displayed on the
2.動作
次に、上記したように構成された挙動推定装置2の動作の一例について図4を参照して説明する。なお、この実施形態では、図3(a),(b)に示すように、走行車線の自車両1の前方を先行車として他車両12(物体)が走行し、隣の走行車線の自車両1の右前方を他車両13(物体)が走行している状態を例に挙げて説明する。また、記憶手段4には、時系列で撮影された過去の撮影画像Fが射影変換されることによる上方視画像tFに基づいて算出手段6cにより算出されたオプティカルフローに関する情報などが格納されるものとする。
2. Operation Next, an example of the operation of the
図4に示す処理は、例えば、自車両1の走行中に単眼カメラ3による撮影が行われる度に実行される処理であって、まず、自車両1のイグニッションキーのオンにより単眼カメラ3による撮影が開始されると、単眼カメラ3による自車両1の前方の撮影画像Fの信号が時々刻々とECU6に取得手段6aにより取込まれて、変換手段6bにより射影変換される(ステップS1)。そして、最新のフレームの上方視画像tFおよび1つ前のフレームの上方視画像tFに基づいて算出手段6cによりオプティカルフローが算出される(ステップS2)。
The process shown in FIG. 4 is a process that is executed each time shooting is performed with the
そして、識別手段6dにより、自車両1からの距離Zrに相当するライン画像を形成する各画素におけるオプティカルフローのフローベクトルV(α),V(β),V(γ)の大きさが抽出されて(ステップS3)、抽出されたフローベクトルV(α),V(β),V(γ)の大きさに基づいてヒストグラムHが生成される(ステップS4)。
Then, the size of the optical flow flow vectors V (α), V (β), and V (γ) in each pixel forming the line image corresponding to the distance Zr from the host vehicle 1 is extracted by the
つぎに、識別手段6dにより、前回生成したヒストグラムHと今回生成したヒストグラムHに基づくベクトル差分が算出され(ステップS5)、ライン画像上の各画素におけるベクトル差分の大きさが所定値以下である位置が道路15部分と識別されて(ステップS6でYES)、該当位置におけるフローベクトルV(β)が推定手段6eによる自車両1の挙動推定に利用されて処理を終了する(ステップS7)。
Next, a vector difference based on the histogram H generated last time and the histogram H generated this time is calculated by the
一方、ライン画像上の各画素におけるベクトル差分の大きさが所定値よりも大きい位置は道路15部分ではない(他車両12,13)と識別されて(ステップS6でNO)、該当位置におけるフローベクトルV(α)が推定手段6eによる自車両1の挙動推定に利用されずに処理を終了する(ステップS8)。
On the other hand, the position where the magnitude of the vector difference in each pixel on the line image is larger than the predetermined value is identified as not the
以上のように、この実施形態によれば、自車両1に搭載された単眼カメラ3が撮影した自車両1周囲の撮影画像Fが変換手段6bにより射影変換された上方視画像tFのオプティカルフローが算出手段6cにより算出される。そして、上方視画像tFに含まれる道路15部分のオプティカルフローのフローベクトルV(β)の大きさはほぼ同じ大きさとなり、上方視画像tFに含まれる道路15上の物体(他車両12,13)のフローベクトルV(α)の大きさは物体の高さに応じて大きくなるため、撮影画像Fが射影変換された上方視画像tFのオプティカルフローのフローベクトルV(α),V(β),V(γ)の大きさの時系列的な変化に基づいて、上方視画像tFに含まれる道路15と道路15上の物体とを識別手段6dにより適切に区別して識別できる。
As described above, according to this embodiment, the optical flow of the upper-view image tF obtained by projectively converting the captured image F around the host vehicle 1 captured by the
また、識別手段6dにより適切に区別して識別された道路15部分のフローベクトルV(β)の大きさや方向の変化を監視することにより、自車両1の挙動を推定手段6eにより高精度に推定してドライバに対して適切な運転支援を行うことができる。
In addition, the behavior of the host vehicle 1 is estimated with high accuracy by the estimation means 6e by monitoring the change in the magnitude and direction of the flow vector V (β) of the
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、単眼カメラ3を、後方を撮影可能に自車両1の後部に取付けてもよい。このように構成しても、自車両1後方の道路15部分におけるフローベクトルV(β)の変化を監視することにより自車両1の挙動を推定手段6eにより高精度に推定することができる。
The present invention is not limited to the above-described embodiment, and various modifications other than those described above can be made without departing from the spirit of the present invention. For example, the
また、上記した実施形態では、上方視画像tFの所定領域、すなわち、自車両1からの距離Zrの位置に対応するライン画像上のフローベクトルに基づいて、道路15と道路15上の物体との識別を行ったが、上方視画像tFの複数の所定領域、すなわち、複数本のライン画像上のフローベクトルの大きさの変化に基づいて識別手段6dによる識別を行ってもよいし、上方視画像tF全体のフローベクトルの大きさの変化に基づいて識別手段6dによる識別を行ってもよい。また、道路15上の物体を識別した時刻以降は、物体が存在すると想定される領域のオプティカルフローを算出せず、道路15部分のオプティカルフローのみを算出して推定手段6eによる推定を行ってもよい。
Further, in the above-described embodiment, the
また、本発明は種々の車両の画像処理に適用することができる。 Further, the present invention can be applied to image processing of various vehicles.
1 自車両
2 挙動推定装置(車両用画像処理装置)
3 単眼カメラ(撮像手段)
6c 算出手段
6d 識別手段
12,13 他車両(物体)
15 道路
tF 上方視画像
V(α),V(β),V(γ) フローベクトル
DESCRIPTION OF SYMBOLS 1
3 Monocular camera (imaging means)
6c Calculation means 6d Identification means 12, 13 Other vehicle (object)
15 Road tF Top view image V (α), V (β), V (γ) Flow vector
Claims (1)
前記撮像手段が撮影した車両周囲の撮影画像を上方視画像に射影変換する変換手段と、
前記上方視画像のオプティカルフローを算出する算出手段と、
前記オプティカルフローのフローベクトルの大きさの時系列的な変化に基づいて、前記上方視画像に含まれる道路と道路上の物体とを区別して識別する識別手段と
を備えることを特徴とする車両用画像処理装置。 Imaging means mounted on the vehicle;
Conversion means for projectively converting a photographed image around the vehicle photographed by the imaging means into an upward view image;
A calculating means for calculating an optical flow of the upper view image;
An identification unit that distinguishes and identifies a road and an object on the road included in the upper-view image based on a time-series change in the magnitude of the flow vector of the optical flow. Image processing device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010067501A JP2011203766A (en) | 2010-03-24 | 2010-03-24 | Image processing apparatus for vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010067501A JP2011203766A (en) | 2010-03-24 | 2010-03-24 | Image processing apparatus for vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011203766A true JP2011203766A (en) | 2011-10-13 |
Family
ID=44880390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010067501A Withdrawn JP2011203766A (en) | 2010-03-24 | 2010-03-24 | Image processing apparatus for vehicle |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011203766A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013092994A (en) * | 2011-10-27 | 2013-05-16 | Clarion Co Ltd | Vehicle periphery monitoring device |
JP2017162125A (en) * | 2016-03-08 | 2017-09-14 | 富士通株式会社 | Image analysis program, image analyzer and image analysis method |
WO2018094697A1 (en) * | 2016-11-25 | 2018-05-31 | 深圳市窝窝头科技有限公司 | Fast three-dimensional space projection and photographing visual identification system |
-
2010
- 2010-03-24 JP JP2010067501A patent/JP2011203766A/en not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013092994A (en) * | 2011-10-27 | 2013-05-16 | Clarion Co Ltd | Vehicle periphery monitoring device |
JP2017162125A (en) * | 2016-03-08 | 2017-09-14 | 富士通株式会社 | Image analysis program, image analyzer and image analysis method |
WO2018094697A1 (en) * | 2016-11-25 | 2018-05-31 | 深圳市窝窝头科技有限公司 | Fast three-dimensional space projection and photographing visual identification system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5421072B2 (en) | Approaching object detection system | |
JP4631096B2 (en) | Vehicle periphery monitoring device | |
JP5706874B2 (en) | Vehicle periphery monitoring device | |
JP4687411B2 (en) | Vehicle peripheral image processing apparatus and program | |
KR101093316B1 (en) | Method and System for Image Matching While Driving Vehicle | |
JP4528283B2 (en) | Vehicle periphery monitoring device | |
JP2010146494A (en) | Vehicle surroundings monitoring device | |
JP2010044561A (en) | Monitoring device to be mounted on vehicle | |
US20100002078A1 (en) | Periphery monitoring apparatus | |
JP6638527B2 (en) | Vehicle equipment, vehicle program | |
JP5695000B2 (en) | Vehicle periphery monitoring device | |
JP2011203766A (en) | Image processing apparatus for vehicle | |
JP5004923B2 (en) | Vehicle driving support device | |
JP2008004989A (en) | Vehicle perimeter display apparatus | |
JP2017154613A (en) | Display device for vehicle | |
JP5172482B2 (en) | Vehicle periphery monitoring device | |
JP2016173644A (en) | Driving support device and driving support method | |
JP2011103058A (en) | Erroneous recognition prevention device | |
JP2011191859A (en) | Apparatus for monitoring surroundings of vehicle | |
JP5518407B2 (en) | Obstacle detection device for vehicle | |
JP2009126493A (en) | Obstacle detection device | |
JP2010191666A (en) | Vehicle periphery monitoring apparatus | |
JP2010009491A (en) | Driving assist system, driving assist method, and driving assist program | |
JP2014078155A (en) | On-vehicle alarm device | |
JP2015191437A (en) | Driving support device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130604 |