JP2016159780A - 撮影装置、制御方法、プログラム及び記憶媒体 - Google Patents
撮影装置、制御方法、プログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP2016159780A JP2016159780A JP2015040537A JP2015040537A JP2016159780A JP 2016159780 A JP2016159780 A JP 2016159780A JP 2015040537 A JP2015040537 A JP 2015040537A JP 2015040537 A JP2015040537 A JP 2015040537A JP 2016159780 A JP2016159780 A JP 2016159780A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- vanishing point
- photographing
- vehicle
- changed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000000034 method Methods 0.000 title claims description 22
- 238000003384 imaging method Methods 0.000 claims description 46
- 230000001133 acceleration Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 6
- 230000007774 longterm Effects 0.000 description 18
- 238000001514 detection method Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 1
Landscapes
- Navigation (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】カメラの撮影方向が変化した場合であっても、消失点位置の学習の正確性が損なわれるのを好適に抑制することが可能な撮影装置を提供する。【解決手段】ナビゲーション装置1は、車両に搭載されて前方風景を撮影し、当該車両に対する向きが回転可能であって、前方撮影カメラ4と、基準対象移動判定部16と、消失点学習部17と、制御部19とを有する。前方撮影カメラ4は、ナビゲーション装置1と共に回転し、車両の前方風景を撮影する。消失点学習部17は、前方画像Imを解析し、前方画像Imに含まれる消失点の位置を学習する。基準対象移動判定部16は、ナビゲーション装置1の向きが変更されたか否かを判定する。制御部19は、ナビゲーション装置1の向きが変更されたと基準対象移動判定部16により判定された場合に、消失点学習部17の学習状態を初期化させる。【選択図】図3
Description
本発明は、前方画像中の消失点の位置を学習する技術に関する。
従来から、画像中の消失点の位置を学習する技術が知られている。例えば、特許文献1には、車両のルームミラーの裏面に配置されたカメラの撮影画像中に含まれる走行車線の輪郭線を延長した交点を車線消失点として検出し、時系列で取得した車線消失点の位置を平均化した平均消失点を用いて運転支援の表示を行う運転支援システムが開示されている。
ルームミラーにカメラを取り付けた場合、運転者ごとにルームミラーの使用角度が異なるため、例えば運転者が変わった際などに、ルームミラーの角度調整に伴いカメラの撮影方向も変化してしまう場合が考えられる。カメラの撮影方向が変化すると、ルームミラーの角度変更前の車線消失点の位置データの影響により、平均消失点の位置の正確性が低下するという問題があった。
本発明は、上記のような課題を解決するためになされたものであり、カメラの撮影方向が変化した場合であっても、消失点位置の学習の正確性が損なわれるのを好適に抑制することが可能な撮影装置を提供することを主な目的とする。
請求項に記載の発明は、車両に搭載されて前方風景を撮影し、当該車両に対する向きが回転可能な撮影装置であって、前記撮影装置と共に回転し、前記前方風景を撮影する撮影手段と、前記撮影手段により撮影された前方画像を解析し、前記前方画像に含まれる消失点の位置を学習する学習手段と、前記撮影装置の向きが変更されたか否かを判定する判定手段と、前記撮影装置の向きが変更されたと前記判定手段により判定された場合に、前記学習手段の学習状態を初期化させる制御手段と、を備えることを特徴とする。
また、請求項に記載の発明は、車両に搭載されて前方風景を撮影し、当該車両の搭乗者により当該車両に対する向きが回転可能な撮影装置であって、前記撮影装置と共に回転し、前記前方風景を撮影する撮影手段と、前記撮影手段により撮影された前方画像を解析し、前記前方画像に含まれる消失点の位置を学習する第1学習手段と、前記車両の搭乗者により前記撮影装置の向きが変更された可能性があるか否かを判定する判定手段と、前記撮影装置の向きが変更された可能性があると前記判定手段により判定された場合に、前記前方画像に含まれる消失点の位置の学習を初期化状態から開始する第2学習手段と、前記第1学習手段により学習された消失点の位置と前記第2学習手段により学習された消失点の位置が基準値より大きく離れている場合に、前記第1学習手段の学習状態を初期化させる制御手段と、を備えることを特徴とする。
また、請求項に記載の発明は、車両に搭載されて前方風景を撮影し、当該車両に対する向きが回転可能な撮影装置が実行する制御方法であって、前記撮影装置と共に回転し、前記前方風景を撮影する撮影手段により撮影された前方画像を解析し、前記前方画像に含まれる消失点の位置を学習する学習工程と、前記撮影装置の向きが変更されたか否かを判定する判定工程と、前記撮影装置の向きが変更されたと前記判定工程により判定された場合に、前記学習工程での学習状態を初期化させる制御工程と、を有することを特徴とする。
また、請求項に記載の発明は、車両に搭載されて前方風景を撮影し、当該車両に対する向きが回転可能な撮影手段と電気的に接続するコンピュータが実行するプログラムであって、前記撮影手段により撮影された前方画像を解析し、前記前方画像に含まれる消失点の位置を学習する学習手段と、前記撮影装置の向きが変更されたか否かを判定する判定手段と、前記撮影装置の向きが変更されたと前記判定手段により判定された場合に、前記学習手段の学習状態を初期化させる制御手段として前記コンピュータを機能させることを特徴とする。
本発明の1つの好適な実施形態では、車両に搭載されて前方風景を撮影し、当該車両に対する向きが回転可能な撮影装置であって、前記撮影装置と共に回転し、前記前方風景を撮影する撮影手段と、前記撮影手段により撮影された前方画像を解析し、前記前方画像に含まれる消失点の位置を学習する学習手段と、前記撮影装置の向きが変更されたか否かを判定する判定手段と、前記撮影装置の向きが変更されたと前記判定手段により判定された場合に、前記学習手段の学習状態を初期化させる制御手段と、を備える。
上記撮影装置は、車両に搭載されて前方風景を撮影し、当該車両に対する向きが回転可能であって、撮影手段と、学習手段と、判定手段と、制御手段とを有する。撮影手段は、撮影装置と共に回転し、車両の前方風景を撮影する。学習手段は、撮影手段により撮影された前方画像を解析し、前方画像に含まれる消失点の位置を学習する。判定手段は、撮影装置の向きが変更されたか否かを判定する。制御手段は、撮影装置の向きが変更されたと判定手段により判定された場合に、学習手段の学習状態を初期化させる。このようにすることで、撮影装置は、撮影装置の向きが回転することにより撮影方向が変更された場合であっても、撮影方向変更前の学習データの影響により、正確な消失点位置の学習が遅れるのを好適に抑制することができる。
上記撮影装置の一態様では、前記車両のルームミラーに内蔵される、または前記ルームミラーに取り付けられる。この態様では、ルームミラーの角度調整により撮影方向が変化する。この場合であっても、撮影装置は、ルームミラーの角度調整前の学習データの影響により、正確な消失点位置の学習が遅れるのを好適に抑制することができる。
上記撮影装置の他の一態様では、撮影装置は、前記車両が走行中における前記前方画像を解析し、当該前方画像に含まれ、前記車両の一部となる対象物を特定する特定手段をさらに備え、前記判定手段は、前記対象物の前記前方画像中の位置が基準値より大きく移動した場合に前記撮影装置の向きが変更されたと判定する。この態様により、撮影装置は、撮影した前方画像に基づき撮影装置の向きが変更されたか否か好適に判定することができる。
上記撮影装置の他の一態様では、前記判定手段は、前記搭乗者が前記撮影装置に接触したことを検出する接触センサが前記撮影装置への接触を検出した場合に、前記撮影装置の向きが変更されたと判定する。この態様によっても、撮影装置は、撮影装置の向きが変更されたか否か好適に判定することができる。
上記撮影装置の他の一態様では、前記判定手段は、加速度センサが基準値以上の加速度を検出した場合に、前記撮影装置の向きが変更されたと判定する。この態様によっても、撮影装置は、撮影装置の向きが変更されたか否か好適に判定することができる。
本発明に係る他の実施形態では、車両に搭載されて前方風景を撮影し、当該車両の搭乗者により当該車両に対する向きが回転可能な撮影装置であって、前記撮影装置と共に回転し、前記前方風景を撮影する撮影手段と、前記撮影手段により撮影された前方画像を解析し、前記前方画像に含まれる消失点の位置を学習する第1学習手段と、前記車両の搭乗者により前記撮影装置の向きが変更された可能性があるか否かを判定する判定手段と、前記撮影装置の向きが変更された可能性があると前記判定手段により判定された場合に、前記前方画像に含まれる消失点の位置の学習を初期化状態から開始する第2学習手段と、前記第1学習手段により学習された消失点の位置と前記第2学習手段により学習された消失点の位置が基準値より大きく離れている場合に、前記第1学習手段の学習状態を初期化させる制御手段と、を備える。
この態様では、撮影装置は、通常時に消失点位置の学習を行う第1学習手段に加え、撮影装置の向きが変更された可能性があると判断された場合に消失点位置の学習を開始する第2学習手段を備える。そして、撮影装置は、第1学習手段により学習された消失点の位置と第2学習手段により学習された消失点の位置が基準値より大きく離れている場合に、第1学習手段の学習状態を初期化させる。これにより、撮影装置は、撮影方向が一時的に変更された場合などを好適に除外して必要なときのみ第1学習手段の学習状態を初期化することができる。
上記撮影装置の一態様では、前記第1学習手段は、前記制御手段により学習状態が初期化された場合、前記第2学習手段の学習状態から前記消失点の位置の学習を再開する。これにより、第1学習手段は、学習状態が初期化された場合であっても、第2学習手段の学習結果を好適に活用して消失点位置の学習を再開することができる。
本発明に係る他の実施形態では、車両に搭載されて前方風景を撮影し、当該車両に対する向きが回転可能な撮影装置が実行する制御方法であって、前記撮影装置と共に回転し、前記前方風景を撮影する撮影手段により撮影された前方画像を解析し、前記前方画像に含まれる消失点の位置を学習する学習工程と、前記撮影装置の向きが変更されたか否かを判定する判定工程と、前記撮影装置の向きが変更されたと前記判定工程により判定された場合に、前記学習工程での学習状態を初期化させる制御工程と、を有する。撮影装置は、この制御方法を実行することで、撮影装置の向きが回転することにより撮影方向が変更された場合であっても、撮影方向変更前の学習データの影響により、正確な消失点位置の学習が遅れるのを好適に抑制することができる。
本発明に係る他の実施形態では、車両に搭載されて前方風景を撮影し、当該車両に対する向きが回転可能な撮影手段と電気的に接続するコンピュータが実行するプログラムであって、前記撮影手段により撮影された前方画像を解析し、前記前方画像に含まれる消失点の位置を学習する学習手段と、前記撮影装置の向きが変更されたか否かを判定する判定手段と、前記撮影装置の向きが変更されたと前記判定手段により判定された場合に、前記学習手段の学習状態を初期化させる制御手段として前記コンピュータを機能させる。コンピュータは、このプログラムを実行することで、撮影方向が変更された場合であっても、撮影方向変更前の学習データの影響により、正確な消失点位置の学習が遅れるのを好適に抑制することができる。好適には、上記プログラムは、記憶媒体に記憶される。
以下、図面を参照して本発明の好適な実施例について説明する。以後において、「撮影方向」とは、カメラの正面となる方向であって、カメラの視野(撮影範囲)の中心を通る方向を指すものとする。
<第1実施例>
[ナビゲーション装置の構成]
図1は、第1実施例に係るナビゲーション装置1の構成を示す。具体的には、図1(A)は、ナビゲーション装置1が車室内のルームミラー12に装着された状態(単に「装着状態」とも呼ぶ。)における正面図を示し、図1(B)は、装着状態におけるナビゲーション装置1の背面図を示し、図1(C)は、装着状態におけるナビゲーション装置1の上面図を示す。以後では、ナビゲーション装置1の長手方向を「Y軸方向」、ナビゲーション装置1の短手方向を「X軸方向」、X軸及びY軸と垂直な方向を「Z軸方向」とし、各正方向を図のように定める。
[ナビゲーション装置の構成]
図1は、第1実施例に係るナビゲーション装置1の構成を示す。具体的には、図1(A)は、ナビゲーション装置1が車室内のルームミラー12に装着された状態(単に「装着状態」とも呼ぶ。)における正面図を示し、図1(B)は、装着状態におけるナビゲーション装置1の背面図を示し、図1(C)は、装着状態におけるナビゲーション装置1の上面図を示す。以後では、ナビゲーション装置1の長手方向を「Y軸方向」、ナビゲーション装置1の短手方向を「X軸方向」、X軸及びY軸と垂直な方向を「Z軸方向」とし、各正方向を図のように定める。
図1に示すナビゲーション装置1は、内蔵二次電池により駆動され、主に、ミラー部13と、前方撮影カメラ4と、ミラー部13の背面に存在するディスプレイ(表示手段)10と、挟持部14A〜14Dとを有する。そして、ナビゲーション装置1は、装着状態において、挟持部14A〜14Dがルームミラー12を挟持することでルームミラー12に対して固定される。そして、ナビゲーション装置1の装着状態では、ルームミラー12の鏡面と、ナビゲーション装置1の背面とが重なる。ナビゲーション装置1は、本発明における「撮影装置」の一例である。
前方撮影カメラ4は、車両の前方を撮影した画像(「前方画像Im」とも呼ぶ。)を生成するためのカメラであり、ナビゲーション装置1の装着状態において、ルームミラー12と重ならないナビゲーション装置1の背面部分に配置される。また、前方撮影カメラ4は、ナビゲーション装置1の筺体内に回転可能に収容されており、図示しないリモートコントローラ等への操作に基づき、撮影方向が調整される。
ミラー部13は、例えばハーフミラーであって、入射した一部の光を透過させ、その他の光を反射させる。これにより、ミラー部13は、背面にあるディスプレイ10が非発光状態では車両の後方風景を映す通常のミラーとして機能し、ディスプレイ10が発光状態では、ディスプレイ10から出射された光を透過させることで、運転者にディスプレイ10の表示内容を視認させる。ディスプレイ10は、前方撮影カメラ4が撮影した前方画像Imに、運転者を案内するための文字や図形などを表す案内画像を重畳させて表示する。
ナビゲーション装置1は、前方画像Imを対象とした画像認識処理により、車線、信号機の点灯状態、先行車両などを検知し、検知結果に基づくテキスト画像や図形画像などを前方画像Imに重ねて表示したり、音声情報を出力したりする。ここで、ナビゲーション装置1は、処理負荷の低減のため、前方画像Im中に含まれる車線、信号機、先行車両などの検出処理を、前方画像Im中の消失点に基づき領域を限定して行う。例えば、ナビゲーション装置1は、信号機を検出する場合、消失点より上側の画像領域を検出範囲として信号機検出を行う。また、ナビゲーション装置1は、後述するように、ドライブレコーダとしても機能する。
図2は、ナビゲーション装置1の機能ブロック図である。図2に示すように、ナビゲーション装置1は、前方撮影カメラ4と、現在位置検出部5と、加速度センサ6と、ディスプレイ10と、画像バッファ部11と、不揮発性メモリ15と、基準対象移動判定部16と、消失点学習部17と、制御部19とを備える。
現在位置検出部5は、例えばGPS受信機であり、車両の現在位置を示す情報を制御部19に供給する。加速度センサ6は、X軸、Y軸、及びZ軸の3軸方向の加速度を検出し、その検出信号を制御部19へ供給する。
不揮発性メモリ15は、例えばSDカードなどの記憶媒体であり、制御部19の制御に基づき、前方撮影カメラ4が生成した前方画像Im等を記憶する。
基準対象移動判定部16は、前方撮影カメラ4の撮影範囲内に存在する車両の一部(「基準対象物Tag」とも呼ぶ。)の前方画像Im中での移動の有無を判定する。そして、基準対象移動判定部16は、基準対象物Tagが前方画像Im中で所定距離以上移動した場合に、ルームミラー12の角度(「ミラー角」とも呼ぶ。)が変化したと判断する。基準対象移動判定部16の処理の詳細については、[基準対象物の移動検知]のセクションで説明する。
消失点学習部17は、車両の真正面方向に存在する不変的な消失点を学習する。具体的には、消失点学習部17は、走行車線の両側に塗布されている白線や、路面と縁石との境界線などを前方画像Imの画像解析により検出する。そして、消失点学習部17は、検出した左右の白線や境界線の車両進行方向の延長線上の交点である車線消失点の前方画像Im上の座標を、消失点の学習サンプル(「サンプル消失点座標CS」とも呼ぶ。)として記憶する。そして、消失点学習部17は、時系列で取得した複数のサンプル消失点座標CSを、移動平均などの統計的手法により平均化することで消失点を学習する。以後では、消失点学習部17が統計的手法により複数のサンプル消失点座標CSから学習した消失点の前方画像Im上の座標を「学習消失点座標CL」とも呼ぶ。
制御部19は、所定時間分の前方画像Imを画像バッファ部11に上書きし、加速度センサ6により所定値以上の加速度を検出した場合に、画像バッファ部11に保存した前方画像Imを不揮発性メモリ15に書き込む。また、制御部19は、撮影画像Imに基づき、公知の画像認識技術により、前方車両の検出、車線の検出、信号機の点灯色の検出などの種々の認識処理を行い、その認識結果に基づく案内画像を前方画像Imに重畳させてディスプレイ10に表示させる。このとき、制御部19は、消失点学習部17が算出した学習消失点座標CLに基づき、前方画像Im内での検出対象の領域を限定する。さらに、制御部19は、ミラー角が変化したと基準対象移動判定部16が判定した場合に、消失点学習部17が学習消失点座標CLの算出に用いる全てのサンプル消失点座標CSを消去する。
なお、ナビゲーション装置1は、図2に示す各要素に加え、音声出力部などをさらに備えてもよい。基準対象移動判定部16は、本発明における「特定手段」及び「判定手段」、消失点学習部17は、本発明における「学習手段」、制御部19は、本発明における「制御手段」の一例である。また、基準対象移動判定部16、消失点学習部17及び制御部19は、例えばCPU等であり、本発明におけるプログラムを実行する「コンピュータ」の一例である。
[処理フロー]
図3は、消失点学習部17による学習の初期化処理の手順を示すフローチャートである。図3のフローチャートの処理は、繰り返し実行される。
図3は、消失点学習部17による学習の初期化処理の手順を示すフローチャートである。図3のフローチャートの処理は、繰り返し実行される。
まず、消失点学習部17は、前方画像Imから公知の画像処理技術に基づき、前方画像Imにおける車線消失点の位置を検出し、サンプル消失点座標CSとして記憶する(ステップS101)。そして、消失点学習部17は、時系列で記憶した複数のサンプル消失点座標CSから学習消失点座標CLを算出する(ステップS102)。例えば、消失点学習部17は、算出した全てのサンプル消失点座標CSの平均や、直近に取得した所定個数分のサンプル消失点座標CSの移動平均等を、学習消失点座標CLとして算出する。
次に、基準対象移動判定部16は、前方画像Imから基準対象物Tagを検出し、当該基準対象物Tagが前方画像Im内で所定距離(即ち所定画素数)以上移動したか否か判定する(ステップS103)。この場合、基準対象移動判定部16は、車両の走行中の前方画像Imを時系列で比較し、前方画像Imでの位置が変化しない車両の一部を基準対象物Tagとみなす。
そして、前方画像Im内で基準対象物Tagが所定距離以上移動したと基準対象移動判定部16が判断した場合(ステップS103;Yes)、制御部19は、学習消失点座標CLの算出に用いるサンプル消失点座標CSを全てクリア(即ち消去)する(ステップS104)。即ち、この場合、制御部19は、ミラー角(即ち撮影方向)が変更されたと判断し、消失点学習部17の学習状態を初期化する。これにより、ミラー角変更前のサンプル消失点座標CSを用いることに起因した学習消失点座標CLの学習精度の低下を好適に抑制する。一方、前方画像Im内で基準対象物Tagが所定距離以上移動していないと基準対象移動判定部16が判断した場合(ステップS103;No)、フローチャートの処理を終了する。即ち、制御部19は、この場合、実質的にミラー角が変更されていないと判断し、消失点学習部17の学習状態を初期化しない。
[基準対象物の移動検知]
次に、図3のステップS103で基準対象移動判定部16が実行する処理の具体例について説明する。
次に、図3のステップS103で基準対象移動判定部16が実行する処理の具体例について説明する。
図4(A)は、ミラー角が調整される前に前方撮影カメラ4が撮影した前方画像Imを示す。図4(A)の前方画像Imには、車両の一部であるAピラー32と、ダッシュボード33とが表示されている。また、図4(A)の位置31は、消失点学習部17が学習した学習消失点座標CLの位置を示す。図4(A)に示すように、位置31は、車線消失点と重なっている。
この場合、基準対象移動判定部16は、前方画像Imを時系列で比較し、前方画像Imでの位置が変化しないAピラー32及びダッシュボード33を基準対象物Tagとみなす。そして、基準対象移動判定部16は、前方画像Im内におけるAピラー32及びダッシュボード33の輪郭(破線34参照)の座標情報や当該輪郭内の領域の色情報などを記憶する。さらに、基準対象移動判定部16は、Aピラー32及びダッシュボード33の継ぎ目であってこれらの輪郭線の角度が急激に変化している位置35Aを基準対象物Tagの特徴点として検出する。そして、基準対象移動判定部16は、基準対象物Tagの特徴点の位置を断続的に検出してその移動量を監視することにより、基準対象物Tagの移動の有無を監視する。
図4(B)は、ミラー角が調整された後に前方撮影カメラ4が撮影した前方画像Imを示す。図4(B)では、便宜上、図4(A)において検出した輪郭を示す破線34及び特徴点を示す位置35Aについても図示されている。
この例では、ミラー角の調整により、撮影方向が左下方向にずれている。この場合、基準対象移動判定部16は、図4(B)に示す前方画像Imから検出した基準対象物Tagの輪郭(一点鎖線36参照)の特徴点の位置35Bが、前回算出した基準対象物Tagの特徴点の位置35Aと所定距離以上離れていると判断する。図4(B)では、前方画像Imの上方向をX軸の正方向とし、前方画像Imの右方向をY軸の正方向とした場合に、基準対象物Tagの特徴点は、X軸方向に移動量「dX」だけ移動し、Y軸方向に移動量「dY」だけ移動している。この場合、ミラー角調整前に消失点学習部17が学習した学習消失点座標CLの位置31は、前方画像Im中の車線消失点とずれている。よって、制御部19は、この場合、ミラー角変更後の学習消失点座標CLの算出に不適となったサンプル消失点座標CSを全て削除し、消失点学習部17の学習状態を初期化する。これにより、ミラー角変更後の正確な学習消失点座標CLの算出を好適に促進することができる。
以上説明したように、第1実施例に係るナビゲーション装置1は、車両に搭載されて前方風景を撮影し、当該車両に対する向きが回転可能であって、前方撮影カメラ4と、基準対象移動判定部16と、消失点学習部17と、制御部19とを有する。前方撮影カメラ4は、ナビゲーション装置1と共に回転し、車両の前方風景を撮影する。消失点学習部17は、前方画像Imを解析し、前方画像Imに含まれる消失点の位置を学習する。基準対象移動判定部16は、ナビゲーション装置1の向きが変更されたか否かを判定する。制御部19は、ナビゲーション装置1の向きが変更されたと基準対象移動判定部16により判定された場合に、消失点学習部17の学習状態を初期化させる。このようにすることで、ナビゲーション装置1は、ナビゲーション装置1の向きが回転することにより撮影方向が変更された場合であっても、撮影方向変更前の学習データの影響により、正確な消失点位置の学習が遅れるのを好適に抑制することができる。
[変形例]
以下、第1実施例に好適な変形例について説明する。
以下、第1実施例に好適な変形例について説明する。
ナビゲーション装置1は、基準対象移動判定部16による前方画像Imの画像解析によりミラー角度の変化を検知した。これに代えて、ナビゲーション装置1は、ルームミラー12に搭乗者が接触したことを検出するための接触センサを備え、当該接触センサの出力に基づきミラー角度の変化を検知してもよい。
この場合、接触センサは、ルームミラー12のミラー面上に設けられたタッチパネルであってもよいし、搭乗者がルームミラー12を角度変更する際に接触するルームミラー12のハウジングあるいはレバーに設けられた感圧スイッチなどであってもよい。この場合、制御部19は、図3のステップS103において、接触センサの出力信号に基づき、ルームミラー12(即ちナビゲーション装置1)への接触があると判断した場合に、ミラー角が変更された可能性があると判断し、ステップS104へ処理を進める。
他の例では、ナビゲーション装置1は、加速度センサ6の出力に基づき、ミラー角が変化したか否か判定してもよい。この場合、ナビゲーション装置1は、加速度センサ6の検出信号に基づき、所定の基準値以上の加速度が検知された場合に、ミラー角の変化があったとみなす。ここで、「基準値」は、ミラー角が変更されたか否かを判定するための加速度の閾値であり、例えば実験等に基づき予め定められる。この場合、基準対象移動判定部16は、XYZ軸の各加速度のうち最も大きい加速度と基準値とを比較してもよく、3次元空間における加速度のベクトル長と基準値とを比較してもよい。
また、上記実施例では、ナビゲーション装置1は、車両に付属する純正のルームミラー12にナビゲーション装置1を挟み込んで保持するための挟持部14A〜14Dを備えた。これに代えて、ナビゲーション装置1は、挟持部14A〜14Dを備えず、ルームミラーに内蔵され、車両に付属する純正のルームミラーと交換できるものであってもよい。
他の例では、ナビゲーション装置1は、ルームミラー12に取付けまたは内蔵されるものに限定されず、車両のダッシュボード上に設置されたディスプレイと一体に構成され、搭乗者によりディスプレイが視認しやすい向きに角度を変更自在なナビゲーション装置であってもよい。
さらに別の例では、ナビゲーション装置1は、経路案内機能を有しないドライブレコーダなどであってもよい。
<第2実施例>
図5は、第2実施例に係るナビゲーション装置1Aのブロック図である。第2実施例に係るナビゲーション装置1Aは、2つの学習部(消失点長期学習部17L及び消失点短期学習部17S)を備える点で、第1実施例に係るナビゲーション装置1と異なる。以後では、ナビゲーション装置1と同様のナビゲーション装置1Aの他の構成要素については適宜同一符号を付し、その説明を省略する。
図5は、第2実施例に係るナビゲーション装置1Aのブロック図である。第2実施例に係るナビゲーション装置1Aは、2つの学習部(消失点長期学習部17L及び消失点短期学習部17S)を備える点で、第1実施例に係るナビゲーション装置1と異なる。以後では、ナビゲーション装置1と同様のナビゲーション装置1Aの他の構成要素については適宜同一符号を付し、その説明を省略する。
消失点長期学習部17Lは、基準対象移動判定部16によりミラー角の変更の可能性があると判断されるまでの間、消失点の学習を行う。消失点短期学習部17Sは、ミラー角の変更の可能性があると基準対象移動判定部16が判断した時点から所定期間、消失点の学習を行う。後述するように、消失点短期学習部17Sによる学習結果は、消失点長期学習部17Lの学習状態を初期化するか否か判断するのに用いられる。
一般に、搭乗者がルームミラー12に接触した場合であっても、実際にはミラー角を変えなかったり、一旦ミラー角を変えても直ちに元に戻したりする場合も考えられる。この場合、第1実施例では、結果的にはミラー角が変更されなかったにも関わらず、消失点学習部17が行った消失点の学習を不要に初期化してしまうことになる。
以上を勘案し、第2実施例の制御部19は、ミラー角変更の可能性があると判断した時点で、消失点短期学習部17Sに消失点の学習を開始させる。その後、制御部19は、消失点長期学習部17Lにより学習された学習消失点座標CL(「旧学習消失点座標CLO」とも呼ぶ。)と、消失点短期学習部17Sにより学習された学習消失点座標CL(「新学習消失点座標CLN」とも呼ぶ。)との距離が所定距離以上の場合にのみ、消失点長期学習部17Lの学習状態を初期化する。
図6は、第2実施例においてナビゲーション装置1Aが実行する消失点長期学習部17Lの学習状態の初期化に関する処理手順を示すフローチャートである。ナビゲーション装置1Aは、図6のフローチャートを繰り返し実行する。
まず、消失点長期学習部17Lは、消失点の学習を行う(ステップS201)。具体的には、消失点長期学習部17Lは、図3のステップS101及びステップS102と同様に、各前方画像Imに対してサンプル消失点座標CSを算出し、算出したサンプル消失点座標CSに対し統計処理を行うことで旧学習消失点座標CLOを算出する。
次に、基準対象移動判定部16は、図3のステップS103と同様に、前方画像Imから基準対象物Tagを検出し、当該基準対象物Tagが前方画像Im内で所定距離(即ち所定画素数)以上移動したか否か判定する(ステップS202)。これにより、基準対象移動判定部16は、ミラー角変更の可能性の有無を判断する。
そして、基準対象物Tagが前方画像Im内で所定距離以上移動したと基準対象移動判定部16が判断した場合(ステップS202;Yes)、制御部19は、消失点短期学習部17Sの学習状態を初期化する(ステップS203)。その後、消失点短期学習部17Sは、消失点の学習を開始する(ステップS204)。この場合、消失点短期学習部17Sは、消失点長期学習部17Lが算出したサンプル消失点座標CSを用いることなく、独自に前方画像Imからサンプル消失点座標CSを算出し、算出したサンプル消失点座標CSに基づき新学習消失点座標CLNを算出する。また、消失点長期学習部17Lは、この場合、学習を停止する。
次に、制御部19は、消失点短期学習部17Sにより学習された消失点の確度が所定値以上になったか否か判定する(ステップS205)。この場合、制御部19は、消失点短期学習部17Sが算出したサンプル消失点座標CSの数等に基づき、公知の統計的手法により上述の確度を算出する。この場合、制御部19は、消失点短期学習部17Sが算出したサンプル消失点座標CSの数が所定個数以上になった場合、又は、消失点短期学習部17Sの学習開始から所定時間以上経過した場合に、消失点短期学習部17Sにより学習された消失点の確度が所定値以上になったと判断してもよい。
そして、消失点短期学習部17Sにより学習された消失点の確度が所定値以上になった場合(ステップS205;Yes)、制御部19は、消失点短期学習部17Sの学習を停止させると共に、消失点短期学習部17Sが学習した消失点と消失点長期学習部17Lが学習した消失点との距離が所定距離以上になったか判定する(ステップS206)。即ち、制御部19は、この場合、新学習消失点座標CLNが信頼できる程度に学習されたと判断し、旧学習消失点座標CLOと新学習消失点座標CLNとの距離が所定画素数以上であるか否か判定する。上述の所定画素数は、例えばミラー角が実質的に変更されていない場合に生じ得る距離の上限値等に実験等に基づき予め設定される。一方、消失点短期学習部17Sにより学習された消失点の確度が所定値未満の場合(ステップS205;No)、消失点短期学習部17Sは引き続き学習を行う(ステップS204)。
そして、制御部19は、旧学習消失点座標CLOと新学習消失点座標CLNとの距離が所定画素数以上であると判断した場合(ステップS206;Yes)、消失点長期学習部17Lの学習結果を消去させる(ステップS207)。即ち、この場合、制御部19は、消失点長期学習部17Lが算出したサンプル消失点座標CSを消去することで、消失点長期学習部17Lの学習状態を初期化させる。その後、好適には、消失点長期学習部17Lは、消失点短期学習部17Sの学習結果に基づき、消失点の学習を再開するとよい。即ち、この場合、消失点長期学習部17Lは、消失点短期学習部17Sが算出したサンプル消失点座標CSを、以後の学習消失点座標CLの算出に用いるとよい。これにより、消失点長期学習部17Lは、ステップS205からステップS206へ移行するまでの期間での消失点短期学習部17Sの学習結果を好適に活用して学習を再開することができる。
一方、制御部19は、旧学習消失点座標CLOと新学習消失点座標CLNとの距離が所定画素数以上離れていないと判断した場合(ステップS206;No)、ミラー角の変更が一時的であった又は生じなかったと判断し、フローチャートの処理を終了する。この場合、消失点長期学習部17Lは、学習状態が初期化されることなく、消失点の学習を再開する。
なお、第1実施例の変形例は、第2実施例にも好適に適用される。例えば、図6のステップS202では、ナビゲーション装置1は、基準対象移動判定部16に代えて、接触センサや加速度センサ6の出力に基づき、基準対象物Tagの位置が変化したか否かを判定してもよい。
1 ナビゲーション装置
4 前方撮影カメラ
5 現在位置検出部
10 ディスプレイ
11 画像バッファ部
12 ルームミラー
15 不揮発性メモリ
16 基準対象移動判定部
17 消失点学習部
19 制御部
4 前方撮影カメラ
5 現在位置検出部
10 ディスプレイ
11 画像バッファ部
12 ルームミラー
15 不揮発性メモリ
16 基準対象移動判定部
17 消失点学習部
19 制御部
Claims (10)
- 車両に搭載されて前方風景を撮影し、当該車両に対する向きが回転可能な撮影装置であって、
前記撮影装置と共に回転し、前記前方風景を撮影する撮影手段と、
前記撮影手段により撮影された前方画像を解析し、前記前方画像に含まれる消失点の位置を学習する学習手段と、
前記撮影装置の向きが変更されたか否かを判定する判定手段と、
前記撮影装置の向きが変更されたと前記判定手段により判定された場合に、前記学習手段の学習状態を初期化させる制御手段と、
を備えることを特徴とする撮影装置。 - 前記車両のルームミラーに内蔵され、またはルームミラーに取り付けられることを特徴とする請求項1に記載の撮影装置。
- 前記車両が走行中における前記前方画像を解析し、当該前方画像に含まれ、前記車両の一部となる対象物を特定する特定手段をさらに備え、
前記判定手段は、前記対象物の前記前方画像中の位置が基準値より大きく移動した場合に前記撮影装置の向きが変更されたと判定することを特徴とする請求項1または2に記載の撮影装置。 - 前記判定手段は、前記搭乗者が前記撮影装置に接触したことを検出する接触センサが前記撮影装置への接触を検出した場合に、前記撮影装置の向きが変更されたと判定することを特徴とする請求項1または2に記載の撮影装置。
- 前記判定手段は、加速度センサが基準値以上の加速度を検出した場合に、前記撮影装置の向きが変更されたと判定することを特徴とする請求項1または2に記載の撮影装置。
- 車両に搭載されて前方風景を撮影し、当該車両の搭乗者により当該車両に対する向きが回転可能な撮影装置であって、
前記撮影装置と共に回転し、前記前方風景を撮影する撮影手段と、
前記撮影手段により撮影された前方画像を解析し、前記前方画像に含まれる消失点の位置を学習する第1学習手段と、
前記車両の搭乗者により前記撮影装置の向きが変更された可能性があるか否かを判定する判定手段と、
前記撮影装置の向きが変更された可能性があると前記判定手段により判定された場合に、前記前方画像に含まれる消失点の位置の学習を初期化状態から開始する第2学習手段と、
前記第1学習手段により学習された消失点の位置と前記第2学習手段により学習された消失点の位置が基準値より大きく離れている場合に、前記第1学習手段の学習状態を初期化させる制御手段と、
を備えることを特徴とする撮影装置。 - 前記第1学習手段は、前記制御手段により学習状態が初期化された場合、前記第2学習手段の学習状態から前記消失点の位置の学習を再開することを特徴とする請求項6に記載の撮影装置。
- 車両に搭載されて前方風景を撮影し、当該車両に対する向きが回転可能な撮影装置が実行する制御方法であって、
前記撮影装置と共に回転し、前記前方風景を撮影する撮影手段により撮影された前方画像を解析し、前記前方画像に含まれる消失点の位置を学習する学習工程と、
前記撮影装置の向きが変更されたか否かを判定する判定工程と、
前記撮影装置の向きが変更されたと前記判定工程により判定された場合に、前記学習工程での学習状態を初期化させる制御工程と、
を有することを特徴とする制御方法。 - 車両に搭載されて前方風景を撮影し、当該車両に対する向きが回転可能な撮影手段と電気的に接続するコンピュータが実行するプログラムであって、
前記撮影手段により撮影された前方画像を解析し、前記前方画像に含まれる消失点の位置を学習する学習手段と、
前記撮影装置の向きが変更されたか否かを判定する判定手段と、
前記撮影装置の向きが変更されたと前記判定手段により判定された場合に、前記学習手段の学習状態を初期化させる制御手段
として前記コンピュータを機能させることを特徴とするプログラム。 - 請求項9に記載のプログラムを記憶したことを特徴とする記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015040537A JP2016159780A (ja) | 2015-03-02 | 2015-03-02 | 撮影装置、制御方法、プログラム及び記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015040537A JP2016159780A (ja) | 2015-03-02 | 2015-03-02 | 撮影装置、制御方法、プログラム及び記憶媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018235724A Division JP6618603B2 (ja) | 2018-12-17 | 2018-12-17 | 撮影装置、制御方法、プログラム及び記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016159780A true JP2016159780A (ja) | 2016-09-05 |
Family
ID=56844003
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015040537A Ceased JP2016159780A (ja) | 2015-03-02 | 2015-03-02 | 撮影装置、制御方法、プログラム及び記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016159780A (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06215134A (ja) * | 1993-01-19 | 1994-08-05 | Aisin Seiki Co Ltd | 車上認識対象画像デ−タの前処理方法 |
JPH09189517A (ja) * | 1996-01-09 | 1997-07-22 | Toyota Motor Corp | 撮像装置 |
JP2008140334A (ja) * | 2006-12-05 | 2008-06-19 | Asahi Research Kk | 撮影画像記録再生装置 |
WO2012131947A1 (ja) * | 2011-03-30 | 2012-10-04 | パイオニア株式会社 | 画像処理装置、及び画像表示装置 |
US20140340518A1 (en) * | 2013-05-20 | 2014-11-20 | Nidec Elesys Corporation | External sensing device for vehicle, method of correcting axial deviation and recording medium |
US20150248753A1 (en) * | 2014-02-28 | 2015-09-03 | Kyungpook National University Industry-Academic Cooperation Foundation | Image processing apparatus and method for detecting object using equi-height mosaicking image, and vehicle operation assisting system employing same |
-
2015
- 2015-03-02 JP JP2015040537A patent/JP2016159780A/ja not_active Ceased
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06215134A (ja) * | 1993-01-19 | 1994-08-05 | Aisin Seiki Co Ltd | 車上認識対象画像デ−タの前処理方法 |
JPH09189517A (ja) * | 1996-01-09 | 1997-07-22 | Toyota Motor Corp | 撮像装置 |
JP2008140334A (ja) * | 2006-12-05 | 2008-06-19 | Asahi Research Kk | 撮影画像記録再生装置 |
WO2012131947A1 (ja) * | 2011-03-30 | 2012-10-04 | パイオニア株式会社 | 画像処理装置、及び画像表示装置 |
US20140340518A1 (en) * | 2013-05-20 | 2014-11-20 | Nidec Elesys Corporation | External sensing device for vehicle, method of correcting axial deviation and recording medium |
JP2014228943A (ja) * | 2013-05-20 | 2014-12-08 | 日本電産エレシス株式会社 | 車両用外界センシング装置、その軸ズレ補正プログラム及びその軸ズレ補正方法 |
US20150248753A1 (en) * | 2014-02-28 | 2015-09-03 | Kyungpook National University Industry-Academic Cooperation Foundation | Image processing apparatus and method for detecting object using equi-height mosaicking image, and vehicle operation assisting system employing same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3213948B1 (en) | Display control device and display control program | |
WO2007043452A1 (ja) | 車載撮影装置及び車載カメラの撮影可動範囲測定方法 | |
JP4801232B1 (ja) | 端末装置、端末装置によって実行される画像表示方法及び画像表示プログラム | |
JP2010018201A (ja) | 運転者支援装置、運転者支援方法および運転者支援処理プログラム | |
CN110998409A (zh) | 增强现实眼镜、确定增强现实眼镜的姿态的方法、适于使用该增强现实眼镜或方法的机动车 | |
JP2023133535A (ja) | 撮影装置、制御方法、プログラム及び記憶媒体 | |
JP3968720B2 (ja) | 車両用画像表示装置 | |
JP4857159B2 (ja) | 車両運転支援装置 | |
JP2015182646A (ja) | 撮影装置 | |
JP6618603B2 (ja) | 撮影装置、制御方法、プログラム及び記憶媒体 | |
JP2020006954A (ja) | ドラブレコーダ、撮影画像表示装置、撮影画像表示方法、撮影画像表示プログラム及び記憶媒体 | |
JP6829300B2 (ja) | 撮影装置、制御方法、プログラム及び記憶媒体 | |
JP4026641B2 (ja) | 物体検出装置、および物体検出方法 | |
JP5174942B2 (ja) | 端末装置、端末装置によって実行される画像表示方法及び画像表示プログラム | |
JP2016159780A (ja) | 撮影装置、制御方法、プログラム及び記憶媒体 | |
CN111788088A (zh) | 车辆用显示控制装置和显示控制方法 | |
JP2016162212A (ja) | 撮影装置、制御方法、プログラム及び記憶媒体 | |
JP6405930B2 (ja) | 車載用表示装置 | |
JP7081481B2 (ja) | 車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム | |
JP5036895B2 (ja) | 端末装置、端末装置によって実行される画像表示方法及び画像表示プログラム | |
JP2016158160A (ja) | 撮影装置、制御方法、プログラム及び記憶媒体 | |
JP2019023081A (ja) | 撮影装置 | |
JP2006290276A (ja) | 車載用ドライブレコーダおよびこれを備えた車載用ナビゲーションシステム | |
JP2005215878A (ja) | 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム | |
EP4170607A1 (en) | Driver monitoring camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181114 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181120 |
|
A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20190326 |