JP2018165912A - 支援装置 - Google Patents
支援装置 Download PDFInfo
- Publication number
- JP2018165912A JP2018165912A JP2017063012A JP2017063012A JP2018165912A JP 2018165912 A JP2018165912 A JP 2018165912A JP 2017063012 A JP2017063012 A JP 2017063012A JP 2017063012 A JP2017063012 A JP 2017063012A JP 2018165912 A JP2018165912 A JP 2018165912A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- unit
- vanishing
- captured image
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims description 17
- 230000010365 information processing Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000002485 combustion reaction Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/053—Detail-in-context presentations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Mechanical Engineering (AREA)
Abstract
【課題】車高の変化等に起因する補正対象を補正して車両の運転を支援しつつ、構成の複雑化を抑制できる支援装置を提供する。【解決手段】支援装置は、車両の周辺を撮像して撮像画像を生成する撮像部と、前記撮像画像内で特定した消失点、消失線または地平線の位置と、予め設定された基準値とに基づいて、補正対象のずれを補正して前記車両の運転を支援する処理部と、を備える。【選択図】図3
Description
本発明は、支援装置に関する。
車両の高さである車高または車両の傾斜の変化等に起因する補正対象のずれ等を補正するための装置が知られている。補正対象は、例えば、車両の傾斜によって光軸が傾斜した撮像装置によって撮像された撮像画像内の位置等である。このような装置においては、例えば、車高を検出するためのセンサを設け、当該センサによって、車高または車両の傾斜の変化を特定して、画像等の補正対象を補正して運転を支援している。
しかしながら、上述の技術では、車高を検出するためのセンサが別に必要となるので、構成が複雑になるといった課題がある。
本発明は、上記に鑑みてなされたものであって、車高の変化等に起因する補正対象を補正して車両の運転を支援しつつ、構成の複雑化を抑制できる支援装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の支援装置は、車両の周辺を撮像して撮像画像を生成する撮像部と、前記撮像画像内で特定した消失点、消失線または地平線の位置と、予め設定された基準値とに基づいて、補正対象のずれを補正して前記車両の運転を支援する処理部と、を備える。
これにより、本発明の支援装置は、撮像画像から特定した消失点等の位置に基づいて、車高の変化等に起因する補正対象のずれを補正することによって、車高センサ等のセンサを別途設ける必要がないので、構成の複雑化を抑制しつつ、補正対象のずれを補正することができる。
本発明の支援装置は、前記処理部は、互いに平行な一対の平行線の画像を含む前記撮像画像を取得して、前記一対の平行線に基づいて、前記消失点または前記消失線の位置を特定してもよい。
これにより、支援装置は、駐車場等のように地平線を撮像画像に含めることが難しい環境下でも、一対の平行線に基づいて、消失点または消失線を特定して補正対象を補正することができる。
本発明の支援装置は、複数の前記撮像画像から複数の前記消失点、前記消失線または前記地平線の位置を特定して、複数の前記地平線、前記消失線または前記消失点の位置の平均と基準値とに基づいて、前記補正対象を補正してもよい。
このように、本発明の支援装置は、複数の消失点の位置を特定して、複数の消失点の平均と基準値とに基づいて、補正対象を補正するので、補正の精度を向上させることができる。
以下の例示的な実施形態等の同様の構成要素には共通の符号を付与して、重複する説明を適宜省略する。
<第1実施形態>
図1は、第1実施形態の車両10を示す図である。車両10は、例えば、内燃機関(エンジン、図示されず)を駆動源とする自動車(内燃機関自動車)であってもよいし、電動機(モータ、図示されず)を駆動源とする自動車(電気自動車、燃料電池自動車等)であってもよいし、それらの双方を駆動源とする自動車(ハイブリッド自動車)であってもよい。また、車両10は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置(システム、部品等)を搭載することができる。また、車両10における車輪13の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。
図1は、第1実施形態の車両10を示す図である。車両10は、例えば、内燃機関(エンジン、図示されず)を駆動源とする自動車(内燃機関自動車)であってもよいし、電動機(モータ、図示されず)を駆動源とする自動車(電気自動車、燃料電池自動車等)であってもよいし、それらの双方を駆動源とする自動車(ハイブリッド自動車)であってもよい。また、車両10は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置(システム、部品等)を搭載することができる。また、車両10における車輪13の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。
図1に示すように、車両10は、車体12と、複数(例えば、4個)の車輪13と、1または複数(例えば、4個)の撮像部14a、14b、14c、14dと、モニタ装置16とを備える。撮像部14a、14b、14c、14dのそれぞれを区別する必要がない場合、撮像部14と記載する。
車体12は、乗員が乗車する車室12aを構成する。車体12は、車輪13を保持するとともに、撮像部14及びモニタ装置16を車室12a内に収容する。
撮像部14は、例えば、CCD(Charge Coupled Device)、または、CIS(CMOS Image Sensor)等の撮像素子を内蔵するデジタルカメラである。撮像部14は、所定のフレームレートで生成される複数のフレーム画像を含む動画、または、静止画のデータを撮像画像のデータとして出力する。撮像部14は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向の140°〜190°の範囲を撮影することができる。撮像部14の光軸は、斜め下方に向けて設定されている。従って、撮像部14は、周辺の路面を含む車両10の周辺を撮像した撮像画像のデータを生成して出力する。例えば、撮像部14は、駐車場においては、互いに平行な一対の平行線である区画線の画像を含む撮像画像を生成する。
撮像部14は、車体12の周囲に設けられている。例えば、撮像部14aは、車体12の前端部の左右方向の中央部(例えば、フロントバンパー)に設けられている。撮像部14aは、車両10の前方の周辺を撮像した撮像画像を生成する。撮像部14bは、車体12の後端部の左右方向の中央部(例えば、リアバンパー)に設けられている。撮像部14bは、車両10の後方の周辺を撮像した撮像画像を生成する。撮像部14cは、車体12の左端部の前後方向の中央部(例えば、左側のサイドミラー12b)に設けられている。撮像部14cは、車両10の左方の周辺を撮像した撮像画像を生成する。撮像部14dは、車体12の右端部の前後方向の中央部(例えば、右側のサイドミラー12c)に設けられている。撮像部14dは、車両10の右方の周辺を撮像した撮像画像を生成する。
モニタ装置16は、車室12a内であって、乗員の視認可能な位置、例えば、座席前方のダッシュボードに設置されている。モニタ装置16は、画像を表示し、音声を出力するとともに、乗員の操作を受け付ける。
図2は、車両10に搭載される支援装置20の構成を説明するブロック図である。支援装置20は、撮像部14が撮像した撮像画像に基づいて、車両10の高さである車高または車両10の傾斜による撮像部14の光軸の傾斜等による画像のずれ等の補正対象を補正する。図2に示すように、支援装置20は、撮像部14と、モニタ装置16と、情報処理装置22と、車内ネットワーク24とを備える。
モニタ装置16は、表示部40と、音声出力部42と、操作入力部44とを有する。
表示部40は、情報処理装置22が送信した画像データに基づいて、画像を表示する。表示部40は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、または、有機ELディプレイ(OELD:Organic Electroluminescent Display)等の表示装置である。表示部40は、例えば、駐車する車両10の目標位置である駐車目標領域を重畳させた撮像画像を表示する。
音声出力部42は、情報処理装置22が送信した音声データに基づいて音声を出力する。音声出力部42は、例えば、スピーカである。音声出力部42は、表示部40と異なる車室内の位置に設けられていてもよい。
操作入力部44は、乗員の入力を受け付ける。操作入力部44は、例えば、タッチパネルである。操作入力部44は、表示部40の表示画面に設けられている。操作入力部44は、表示部40が表示する画像を透過可能に構成されている。これにより、操作入力部44は、表示部40の表示画面に表示される画像を乗員に視認させることができる。操作入力部44は、表示部40の表示画面に表示される画像に対応した位置を乗員が触れることによって入力した指示を受け付けて、情報処理装置22へ送信する。
情報処理装置22は、ECU(Electronic Control Unit)等のマイクロコンピュータを含むコンピュータである。情報処理装置22は、撮像部14から撮像画像のデータを取得する。情報処理装置22は、撮像画像等に基づいて生成した画像または音声に関するデータをモニタ装置16へ送信する。情報処理装置22は、CPU(Central Processing Unit)36aと、ROM(Read Only Memory)36bと、RAM(Random Access Memory)36cと、表示制御部36dと、音声制御部36eと、SSD(Solid State Drive)36fとを備える。本実施形態では、情報処理装置22は、ハードウェアとソフトウェア(制御プログラム)が協働することにより、車両10の支援処理を司る。CPU36a、ROM36b及びRAM36cは、同一パッケージ内に集積されていてもよい。
CPU36aは、ハードウェアプロセッサの一例であって、ROM36b等の不揮発性の記憶装置に記憶されたプログラムを読み出して、当該プログラムにしたがって各種の演算処理および制御を実行する。
ROM36bは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。RAM36cは、CPU36aでの演算で用いられる各種のデータを一時的に記憶する。表示制御部36dは、情報処理装置22での演算処理のうち、主として、撮像部14で得られた画像の画像処理、表示部40に表示させる表示用の画像のデータ変換等を実行する。音声制御部36eは、情報処理装置22での演算処理のうち、主として、音声出力部42に出力させる音声の処理を実行する。SSD36fは、書き換え可能な不揮発性の記憶部であって、情報処理装置22の電源がオフされた場合にあってもデータを維持する。
車内ネットワーク24は、例えば、CAN(Controller Area Network)である。車内ネットワーク24は、情報処理装置22と操作入力部44とを互いに信号及び情報を送受信可能に電気的に接続する。
図3は、情報処理装置22の機能を説明する機能ブロック図である。図3に示すように、情報処理装置22は、処理部50と、記憶部52とを有する。
処理部50は、CPU36a等の機能として実現される。処理部50は、CPU36a以外のハードウェアプロセッサであってもよい。処理部50は、特定部54と、補正部56とを有する。処理部50は、記憶部52に格納された支援プログラム58を読み込むことによって、特定部54及び補正部56の機能を実現してよい。特定部54及び補正部56の一部または全ては、ASIC(Application Specific Integrated Circuit)を含む回路等のハードウェアによって構成されてもよい。処理部50は、撮像部14から取得した車両10の周辺の撮像画像内で消失点の位置(例えば、上下方向の位置)を特定して、特定した消失点の位置と予め設定された基準値とに基づいて、補正対象のずれを補正して、車両10の運転を支援する。基準値は、基準状態の車両10において撮像部14が撮像した撮像画像内で特定される消失点の位置を示す。即ち、基準値は、消失点の基準の位置を示す値である。補正対象は、例えば、車高、車両の傾斜、撮像部14の光軸及び、撮像部14の光軸のずれに起因する撮像画像に重畳させる画像(例えば、後述する目標駐車枠の画像)の位置等である。
特定部54は、撮像部14から取得した撮像画像を処理する。例えば、特定部54は、車両10を駐車すべき領域である目標駐車枠を重畳させる撮像画像内の位置を設定して、駐車を支援するための表示部40に表示させる表示画像を撮像画像に目標駐車枠を重畳させて生成する。尚、運転者等の乗員は、目標駐車枠上の操作入力部44をタッチすることによって、駐車支援を指示する。特定部54は、実世界で互いに平行な一対の平行線(例えば、駐車場の区画線)の画像を含む撮像画像を撮像部14から取得する。特定部54は、当該撮像画像内の一対の平行線をエッジ検出等の技術によって検出して、一対の平行線の延長線が撮像画像内で交差する点である消失点の位置を、検出した一対の平行線に基づいて特定する。
補正部56は、特定部54が特定した撮像画像内の消失点の位置と基準値とに基づいて、補正対象のずれを補正する。例えば、補正部56は、消失点の位置と基準値との差分に基づいて、補正対象のずれを補正する。具体的には、補正部56は、差分と補正対象の補正値とが関連付けられた補正テーブル60に基づいて、基準状態からの車高または車両の傾斜のずれに起因する補正対象を補正する。
記憶部52は、ROM36b、RAM36c及びSSD36f等の機能として実現される。記憶部52は、処理部50が実行する支援プログラム58及び支援プログラム58の実行において必要な基準値SV及び補正テーブル60等を記憶する。
図4から図6は、基準状態を説明する図である。図4は、基準状態における車両10の側面図である。図5は、基準状態における撮像画像92内の消失点VPの特定方法を説明する図である。図6は、基準状態における目標駐車枠PAaの設定を説明する平面図である。
基準状態は、例えば、乗員が車両10に乗車しておらず、荷物が車両10に積載されていない状態である。従って、基準状態における車両10は、基準高さ(例えば、最も高い車高)であって、車両10がほとんど傾斜していない状態である。尚、基準状態は、適宜設定してよい。
図4に示すように、基準状態では、撮像部14bが、車両10の周辺のうち、撮像領域SAaを撮像した撮像画像92を生成する。図5に示すように、基準状態における消失点VPは、例えば、一対の平行線90である駐車場の一対の区画線の延長線ELが交差する点である。消失点VPを通る直線(例えば、撮像画像92の上下の辺と平行な直線)は、消失線VLである。地平線HLが撮像画像92に含まれる場合、消失線VLは、地平線HLとほぼ一致する。基準値SVは、消失点VPの位置SPと、撮像画像92の下辺との距離であり、予め特定されて記憶部52に格納されている。基準値SVは、ピクセル単位であってよい。図6に示すように、基準状態では、車両10が、車高のずれ及び車両10の傾斜のずれがないので、特定部54は、撮像画像92に含まれる一対の平行線90である駐車場の区画線の間の適切な位置に目標駐車枠PAaを設定することができる。
図7から図9は、処理部50による補正対象の補正を説明する図である。図7は、基準状態からずれた状態における車両10の側面図である。図8は、基準状態からずれた状態における撮像画像92内の消失点VPのずれを説明する図である。図9は、基準状態からずれた状態における目標駐車枠PAbの補正を説明する平面図である。
図7に示すように、基準状態からずれた状態の一例は、車両10の後端部の車高が低くなり、車両10が傾斜した状態である。このように傾斜した状態では、撮像部14bが、車両10の周辺のうち、撮像領域SAbを撮像した撮像画像92を生成する。車両10から撮像領域SAbまでの距離及び撮像領域SAbの広さは、基準状態の撮像領域SAaと距離及び広さが異なる。図8に示すように、基準状態からずれた状態では、特定部54は、基準状態における消失点VPとは異なる位置DPで消失点VPを検出することになる。特定部54は、撮像画像92の下辺から消失点VPまでの距離である補正対象値AVを消失点VPの位置DPの情報として特定する。補正対象値AVは、ピクセル単位であってよい。補正部56は、補正対象値AVと基準値SVとの差分Δを算出する。図9に示すように、ずれた状態では、特定部54は、撮像画像92内で設定した目標駐車枠PAbが実世界では一対の平行線90である区画線の間から車両10の前後方向にずれる。補正部56は、当該目標駐車枠PAbを差分Δに基づいて補正することによって、区画線の間の適切な位置に目標駐車枠PAcを設定する。
図10は、補正テーブル60の一例を示すテーブルである。
図10に示すように、補正テーブル60は、基準値SVと補正対象値AVとの差分Δnと、補正対象を補正するための補正値を関連付けている。補正テーブル60は、例えば、差分Δと、車高を補正するための車高補正値HeAn(n=1、2、・・・)、車両10の傾斜を補正するための傾斜補正値SlAn、撮像部14のレンズの光軸を補正するための光軸補正値AxAn、及び撮像画像92に重畳させる目標駐車枠PAbの位置を補正するための画像補正値PiAnとを関連付けている。補正部56は、算出した差分Δに関連付けられた補正値を抽出して、補正対象である車高、車両10の傾斜、光軸、または、撮像画像92内の位置等を補正する。
図11は、処理部50が実行する支援処理のフローチャートである。処理部50は、記憶部52に格納された支援プログラム58を読み込むことによって、支援処理を実行する。
図11に示すように、支援処理では、特定部54が、撮像画像92を撮像部14から取得する(S1102)。特定部54は、撮像画像92に含まれる一対の平行線90をエッジ検出の技術等によって特定する(S1104)。特定部54は、一対の平行線90の延長線ELが交差する点である消失点VPを特定して、撮像画像92内における消失点VPの位置の情報である補正対象値AVを補正部56へ出力する(S1106)。
補正部56は、特定部54が特定した消失点VPの位置の情報である補正対象値AVと基準値SVとの差分Δを算出する(S1112)。補正部56は、算出した差分Δに関連付けられた補正値を補正テーブル60から抽出して設定する(S1114)。補正部56は、抽出した補正値に基づいて、補正対象を補正する(S1116)。例えば、補正部56は、補正テーブル60から抽出した画像補正値PiAnに基づいて、撮像画像92に重畳させる目標駐車枠PAbの位置を補正して生成した表示画像を表示部40に表示させることによって、運転者の駐車を支援する。これにより、支援処理は終了する。
上述したように、支援装置20では、処理部50が、撮像部14から取得した撮像画像92に含まれる一対の平行線90の消失点VPを特定し、当該消失点VPと基準値SVとに基づいて設定した補正値に基づいて補正対象を補正している。このように、支援装置20は、撮像画像92に基づいて補正対象を補正することによって、車高センサ等のセンサを別途設ける必要がないので、構成の複雑化を抑制しつつ、車高及び車両10の傾斜等の変化に起因する補正対象のずれを補正することができる。
上述したように、支援装置20は、一対の平行線90に基づいて消失点VPを特定して補正対象を補正している。これにより、支援装置20は、駐車場等のように地平線HLを撮像画像92に含めることが難しい環境下でも、一対の平行線90に基づいて、消失点VPを特定して補正対象を補正することができる。
<第2実施形態>
次に、上述した支援処理の一部を変更した第2実施形態について説明する。第2実施形態では、特定部54が、複数の撮像画像92から複数の消失点VPの位置を特定する。特定部54は、複数の消失点VPの位置を示す複数の補正対象値AVの平均値を、消失点VPの位置の平均として補正部56へ出力する。補正部56は、補正対象値AVの平均値と基準値SVとに基づいて、補正対象を補正する。例えば、補正部56は、補正対象値AVの平均値と基準値SVとの差分Δを算出して、当該差分Δに対応付けられた補正値を補正テーブル60から抽出して補正対象を補正してよい。
次に、上述した支援処理の一部を変更した第2実施形態について説明する。第2実施形態では、特定部54が、複数の撮像画像92から複数の消失点VPの位置を特定する。特定部54は、複数の消失点VPの位置を示す複数の補正対象値AVの平均値を、消失点VPの位置の平均として補正部56へ出力する。補正部56は、補正対象値AVの平均値と基準値SVとに基づいて、補正対象を補正する。例えば、補正部56は、補正対象値AVの平均値と基準値SVとの差分Δを算出して、当該差分Δに対応付けられた補正値を補正テーブル60から抽出して補正対象を補正してよい。
図12は、第2実施形態の処理部が実行する支援処理のフローチャートである。第2実施形態の処理のうち、第1実施形態と同様の処理については、説明を省略または簡略化する。
図12に示すように、特定部54は、ステップS1102からS1106を実行する。特定部54は、特定した消失点VPの個数が規定個数か否かを判定する(S1108)。特定部54は、特定した消失点VPの個数が規定個数でないと判定すると(S1108:No)、ステップS1102以降を繰り返す。特定部54は、特定した消失点VPの個数が規定個数になったと判定すると(S1108:Yes)、規定個数分の複数の消失点VPの上下方向の位置(即ち、補正対象値AV)の平均値(例えば、相加平均値)を算出して、当該平均値を消失点VPの位置の情報として補正部56に出力する(S1110)。
補正部56は、複数の消失点VPの位置を示す補正対象値AVの平均値と基準値SVとの差分Δを算出して(S1112)、当該差分Δに基づいて、ステップS1114以降の処理を実行する。
上述したように、第2実施形態の支援装置20は、複数の消失点VPを特定して、複数の消失点VPの平均である補正対象値AVの平均値と基準値SVとの差分に基づいて、補正対象を補正するので、補正の精度を向上させることができる。
上述した各実施形態の構成の機能、接続関係、個数、配置等は、発明の範囲及び発明の範囲と均等の範囲内で適宜変更、削除等してよい。各実施形態を適宜組み合わせてもよい。各実施形態の各ステップの順序を適宜変更してよい。
例えば、上述の実施形態では、特定部54が消失点VPを特定する例を挙げたが、これに限定されない。特定部54は、地平線HLまたは消失線VLを特定してもよい。例えば、特定部54は、撮像部14から地平線HLを含む撮像画像を取得して、当該地平線HLをエッジ検出等の技術によって特定してもよい。また、特定部54は、一対の平行線を含む撮像画像を取得して、一対の平行線の延長線が撮像画像内で交差する点(即ち、消失点VP)を含む直線である消失線を、一対の平行線に基づいて特定してもよい。この場合、補正部56は、地平線HLまたは消失線VLの位置と、予め設定された基準値SVとの差分Δに基づいて、補正対象を補正してもよい。この場合においても、特定部54は、複数の撮像画像から複数の地平線HLまたは消失線VLを特定し、補正部56は、複数の地平線HLまたは消失線VLの位置の平均と基準値とに基づいて、補正対象を補正してもよい。
上述の実施形態では、補正部56が、消失点VP、消失線VLまたは地平線HLの位置と基準値との差分に基づいて、補正対象を補正する例を挙げて説明したが、これに限定されない。例えば、補正部56が、消失点VP、消失線VLまたは地平線HLの位置と基準値との比率に基づいて、補正対象を補正してもよい。
10 :車両
14 :撮像部
20 :支援装置
50 :処理部
90 :平行線
92 :撮像画像
HL :地平線
PAa、PAb、PAc :目標駐車枠(補正対象)
SV :基準値
VL :消失線
VP :消失点
14 :撮像部
20 :支援装置
50 :処理部
90 :平行線
92 :撮像画像
HL :地平線
PAa、PAb、PAc :目標駐車枠(補正対象)
SV :基準値
VL :消失線
VP :消失点
Claims (3)
- 車両の周辺を撮像して撮像画像を生成する撮像部と、
前記撮像画像内で特定した消失点、消失線または地平線の位置と、予め設定された基準値とに基づいて、補正対象のずれを補正して前記車両の運転を支援する処理部と、
を備える支援装置。 - 前記処理部は、互いに平行な一対の平行線の画像を含む前記撮像画像を取得して、前記一対の平行線に基づいて、前記消失点または前記消失線の位置を特定する
請求項1に記載の支援装置。 - 前記処理部は、複数の前記撮像画像から複数の前記消失点、前記消失線または前記地平線の位置を特定して、複数の前記地平線、前記消失線または前記消失点の位置の平均と基準値とに基づいて、前記補正対象を補正する
請求項1または2に記載の支援装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017063012A JP2018165912A (ja) | 2017-03-28 | 2017-03-28 | 支援装置 |
US15/906,105 US20180288371A1 (en) | 2017-03-28 | 2018-02-27 | Assistance apparatus |
EP18164650.6A EP3382604A3 (en) | 2017-03-28 | 2018-03-28 | Assistance apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017063012A JP2018165912A (ja) | 2017-03-28 | 2017-03-28 | 支援装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018165912A true JP2018165912A (ja) | 2018-10-25 |
Family
ID=62017148
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017063012A Pending JP2018165912A (ja) | 2017-03-28 | 2017-03-28 | 支援装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20180288371A1 (ja) |
EP (1) | EP3382604A3 (ja) |
JP (1) | JP2018165912A (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021217625A1 (zh) * | 2020-04-30 | 2021-11-04 | 京东方科技集团股份有限公司 | 停车检测方法、系统、处理设备和存储介质 |
CN115190236B (zh) * | 2021-04-07 | 2024-05-28 | 深圳市万普拉斯科技有限公司 | 图像拍摄方法、装置、计算机设备和存储介质 |
CN114708571A (zh) * | 2022-03-07 | 2022-07-05 | 深圳市德驰微视技术有限公司 | 基于域控制器平台的自动泊车的停车位标注方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015215299A (ja) * | 2014-05-13 | 2015-12-03 | 株式会社デンソー | 対象物位置推定装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4199616B2 (ja) * | 2003-08-29 | 2008-12-17 | トヨタ自動車株式会社 | 誘導支援装置 |
US20110115912A1 (en) * | 2007-08-31 | 2011-05-19 | Valeo Schalter Und Sensoren Gmbh | Method and system for online calibration of a video system |
JP2014228943A (ja) * | 2013-05-20 | 2014-12-08 | 日本電産エレシス株式会社 | 車両用外界センシング装置、その軸ズレ補正プログラム及びその軸ズレ補正方法 |
-
2017
- 2017-03-28 JP JP2017063012A patent/JP2018165912A/ja active Pending
-
2018
- 2018-02-27 US US15/906,105 patent/US20180288371A1/en not_active Abandoned
- 2018-03-28 EP EP18164650.6A patent/EP3382604A3/en not_active Withdrawn
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015215299A (ja) * | 2014-05-13 | 2015-12-03 | 株式会社デンソー | 対象物位置推定装置 |
Non-Patent Citations (1)
Title |
---|
森本 雅和: "単眼車載カメラ映像からの走行車両速度推定", 映像情報メディア学会誌 第71巻 第2号, vol. 第71巻 第2号, JPN6021010207, 1 March 2017 (2017-03-01), pages 252 - 259, ISSN: 0004600442 * |
Also Published As
Publication number | Publication date |
---|---|
EP3382604A2 (en) | 2018-10-03 |
US20180288371A1 (en) | 2018-10-04 |
EP3382604A3 (en) | 2018-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10308283B2 (en) | Parking assist apparatus | |
CN105711499B (zh) | 车辆周围监视装置 | |
EP2990265B1 (en) | Vehicle control apparatus | |
JP6028848B2 (ja) | 車両の制御装置、及びプログラム | |
JP6828501B2 (ja) | 駐車支援装置 | |
JP5190712B2 (ja) | 障害物検出装置 | |
US9994157B2 (en) | Periphery monitoring apparatus and periphery monitoring system | |
JP7039879B2 (ja) | 表示制御装置 | |
JP2016084089A (ja) | 周辺監視装置 | |
US11017245B2 (en) | Parking assist apparatus | |
JP6958163B2 (ja) | 表示制御装置 | |
JP2018165912A (ja) | 支援装置 | |
US10821900B2 (en) | Image processing device | |
JP2012166689A (ja) | 運転支援装置 | |
JP6439233B2 (ja) | 車両用画像表示装置及び画像処理方法 | |
US11091096B2 (en) | Periphery monitoring device | |
US20200148222A1 (en) | Driving support device | |
JP7110592B2 (ja) | 画像処理装置 | |
JP2006298217A (ja) | 車両周辺監視装置 | |
JP6586972B2 (ja) | 車両用画像表示装置及び画像処理方法 | |
JP2019135127A (ja) | 駐車支援装置 | |
JP2006165973A (ja) | 車幅線表示位置調整方法及び画像表示システム | |
JP2020082977A (ja) | 駐車支援システムおよび駐車支援方法 | |
JP2018148491A (ja) | 画像処理装置およびカメラ装置並びに運転支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210323 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210928 |