JP2023063062A - 車載表示装置、制御方法、およびプログラム - Google Patents

Abstract

【課題】 走行中においてドライバーの運転を補助する映像を表示する。【解決手段】 車両周辺を撮像する撮像手段と、前記撮像手段によって撮像された映像を表示する表示手段と、前記撮像手段によって撮像された映像から自車両と自車両の側方にある構造物との距離を測定する測定手段と、を有し前記表示手段は、前記測定手段によって測定された距離情報と前記自車両の走行状態とに基づいて、前記撮像手段によって撮像された映像を表示することを特徴とする車載表示装置。【選択図】 図１

Description

本発明は車両の走行中における表示を制御する車載表示装置に関するものである。

近年、ドライバーを補助する運転支援システムが普及しつつある。例えば、運転支援システムの中でもカメラ映像を表示部に表示してドライバーの運転を補助する車載表示システムでは、ドライバーを補助するような映像を車載された画面に映すものがある。

特許文献１では、ドアの開放による自車の外形輪郭の変化にも対応可能な運転支援装置が開示されている。

特開２０１３－１０００５７号公報

しかしながら、従来のシステムでは、狭路等での走行中、車両に路肩や対向車と接近する場合などにおいて、衝突を避けることを支援する映像を表示することはできなかった。

そこで、本発明では、走行中においてドライバーの運転を補助する映像を表示することを目的とする。

車両周辺を撮像する撮像手段と、前記撮像手段によって撮像された映像を表示する表示手段と、前記撮像手段によって撮像された映像から自車両と自車両の側方にある構造物との距離を測定する測定手段と、を有し前記表示手段は、前記測定手段によって測定された距離情報と前記自車両の走行状態とに基づいて、前記撮像手段によって撮像された映像を表示することを特徴とする車載表示装置。

本発明によれば走行中においてドライバーの運転を補助する映像を表示することができる。

第一の実施形態における車両の構成の一例を示すブロック図である。 第一の実施形態の撮像部の車両取付け位置の例を示す図である。 第一の実施形態の表示部に表示される映像の切り替えフローの一例を示すフローチャートである。 側方構造物が接近した場合における表示の一例を示す。 対向車とすれ違う場合における表示の一例を示す。 縦列駐車する場合における表示の一例を示す。

［第一の実施形態］
本実施形態における車載表示システムのブロック図の一例を図１に示す。車両１０１は撮像部１０２、撮像映像分析部１０３、表示判定部１０４、周辺車両判定部１０５、走行状態記録部１０６により構成される。ここで図１では、本実施形態に特に関連するものを図示している。

車両１０１は撮像部１０２によって撮像された映像や画像を撮像映像分析部１０３により分析する。撮像映像分析部１０３によって分析された結果は表示判定部１０４に入力される。

周辺車両判定部１０５は、自車両周辺の車両状態を撮像部１０２、撮像部１０７、撮像部１０８、および撮像部１０９から取得する。例えば、周辺車両判定部１０５は、撮像部１０２、撮像部１０７、撮像部１０８、および撮像部１０９から、それぞれ映像や画像を取得する。周辺車両判定部１０５は、自車両周辺の車両状態を判定し、判定した結果を表示判定部１０４に入力する。

走行状態検知部１１０は、車両の走行状態を検知する。走行状態検知部１１０により検知された検知情報は、走行状態記録部１０６に一時的に記録される。

表示判定部１０４は、撮像映像分析部１０３から入力された情報、周辺車両判定部１０５から入力された情報、および走行状態記録部１０６から読み出した車両の走行状態に基づき表示判定を行う。表示判定部１０４は、撮像部によって撮像された映像を表示すると判定した場合、撮像映像伝送部１１１を介して、表示部１１２に映像を伝送する。

ここで、各ブロックの働きについて詳細に説明する。

撮像映像分析部１０３は、撮像部１０２によって撮像された車両前方の映像から、自車両と車両側方にある構造物（物体）との距離を測定する。ここで、車両側方にある構造物は、例えば車線に沿って配置される縁石や、側溝、ガードレールなどである。以下、車両側方にある構造物のことを側方構造物とも記載する。

自車両と車両側方にある構造物との距離算出方法は、例えばエッジ検出方法などにより画像や映像から分析する方法がある。一般的にガードレールなどや側溝、縁石などの側方構造物と車道との境界は、例えば画像において諧調値（明暗）の差として現れる。

エッジ検出方法は、このような明暗の変化を画像分析によって検出する方法である。すなわち、撮像映像分析部１０３は、画像における諧調値が不連続な箇所を検出することにより、側方構造物が撮像部１０２によって撮像された画像の画素位置を検出する。そして、撮像映像分析部１０３は、検出した画素位置と、特定の画素位置との間の画素数を比較することで、車両と側方構造物との距離を画像から分析することができる。ここで、特定の画素位置は、例えば、車両の車体が撮像されている画素位置である。なお、本実施形態では、エッジ検出方法によって車両と側方構造物との距離を求めたが、ステレオカメラの視差による測距によって、車両と側方構造物との距離を求める方法でもよい。

周辺車両判定部１０５は、撮像部１０２、撮像部１０７、撮像部１０８、および撮像部１０９から入力されたデータに基づいて、自車両の周辺に車両が存在するか否かの判定を行う。具体的には、周辺車両判定部１０５は、自車両の周辺に存在する車両の位置を撮像部によって撮像された映像から認識する。ここで、周辺車両判定部１０５は、認識された車両の自車両に対する位置を判定し、表示判定部１０４に入力する。この位置情報は、表示判定部１０４による表示部１１２への映像の表示パターンの判定に用いられる。詳細については図５を用いて後述する。

表示部１１２には位置情報などが表示される。表示部１１２は、例えば、液晶ディスプレイや有機ＬＥＤディスプレイなどのディスプレイである。ここで、表示部１１２には、カーナビゲーションシステムによる地図情報や渋滞情報なども表示される。また、表示部１１２は、操作部を有する。表示部１１２の操作部はタッチパネルやボタンなどにより構成され、ドライバー（ユーザ）による操作に応じた指示をカーナビゲーションシステムなどに反映する。

走行状態検知部１１０は、自車両の走行状態を走行状態記録部１０６に記録する。ここで、車両が有する走行状態は、ドライバーによる表示部１１２に対する操作情報、自車両の速度を検知する検知部、ＧＰＳ等によって取得された位置情報、およびバック走行に関する情報などの、情報（データ）である。なお、走行状態検知部１１０が走行状態を取得する方法については後述する。

図２には、本実施形態における撮像部の車両への取り付け位置および撮像方向が示されている。本実施形態において、例えば、撮像部１０２は、天頂部２０１のように車両の前方領域２０５を撮像可能な位置に取り付けられる。他方、撮像部１０７は、車両側方のサイドミラー２０２に取り付けられ、車両の右側方領域２０７の撮像を行う。撮像部１０８は車両側方のサイドミラー２０３に取り付けられ、車両の左側方領域２０６の撮像を行う。また、撮像部１０９は車両後方のバックドア２０４に取り付けられ、車両後方領域２０８の撮像を行う。

次に、図３を用いて、本実施形態における表示部に表示される映像の切り替えフローを説明する。本フローの開始時において、表示部１１２には、通常画面が表示されている。通常画面は、例えば、カーナビゲーションシステムの地図情報やカーオーディオの情報表示画面などである。ここで、本実施形態では、通常画面には、撮像部によって撮像された映像は表示されていない。以降の処理は、ＣＰＵなどのプロセッサにより車両１０１の各部が制御されることによって実現される。また、プロセッサは、メモリ等に記録されたソフトウェアを実行することで以降の処理を実現する。

ステップＳ３０１では、表示判定部１０４は、撮像映像分析部１０３から自車両と側方物との距離情報を取得する。

ステップＳ３０２では、表示判定部１０４は、自車両と側方物との距離が所定の距離以上か否かを判定する。表示判定部１０４は、撮像映像分析部１０３から取得された距離情報に基づいて自車両と側方物との距離が所定の距離以上か否かを判定する。自車両と側方物との距離が所定の距離が所定の距離以上である場合、表示判定部１０４は、通常画面の表示を継続する。この場合、処理はステップＳ３０１の処理に戻る。この所定の距離は、１ｍ程度であることが望ましい。自車両と側方物との距離が所定の距離が所定の距離未満である場合、ステップＳ３０３の処理が実行される。

ステップＳ３０３では、走行状態検知部１１０は、取得した自車両の走行状態を走行状態記録部１０６に記録する。例えば、走行状態検知部１１０は、前進中か後退中かの状態を取得する。以後、走行状態検知部１１０は、他のステップの処理を行っている間においても、繰り返し自車両の走行状態を走行状態記録部１０６に記録する。

ステップＳ３０４では、周辺車両判定部１０５は、撮像部１０２、撮像部１０７、撮像部１０８、および撮像部１０９から取得した情報に基づいて自車両周辺に車両が存在するか否かを判定する。表示判定部１０４は、周辺車両判定部１０５によって判定された自車両周辺の車両の有無に関する情報について取得する。

ステップＳ３０５では、表示判定部１０４は、走行状態および自車両周辺の車両の有無に応じて表示パターンを判定する。図４および図５に表示パターンを例示する。

図４（ａ）は自車両４０１の周辺に車両が存在せず、側方構造物が接近している場合を例示した図である。領域４０２は、周辺車両判定部１１０の判定可能な範囲を示す。領域４０２は、撮像部１０２、撮像部１０７、撮像部１０８、および撮像部１０９により撮像される。本実施形態では、領域４０２における車両前方の領域は、撮像部１０２によって撮像される。領域４０２における車両右側方の領域は、撮像部１０７によって撮像される。領域４０２における車両左側方の領域は、撮像部１０８によって撮像される。領域４０２における車両後方の領域は、撮像部１０９によって撮像される。領域４０２に範囲内に自車両以外が存在しない場合、図４（ｂ）に示すように、表示判定部１０４は、側方構造物に接近している側の撮像部によって撮像された映像から領域４０３を切り出して、表示部１１２の全面に表示させる。ここで、図４（ｂ）に表示される領域４０３は、自車両と側方構造物とが衝突しうる範囲を含む領域である。ここで、図４（ｂ）では、後述する図５（ｂ）のよりも、側方構造物を中央付近に固定して表示する。これにより、ユーザは画面上に大きく映る側方構造物を認識しやすくなる。加えて、ユーザは、ハンドリング操作による自車両の動きが直感的に見えるため、どの程度側方構造物に近づいているかを認識しやすくなる。

図５（ａ）は、自車両５００とすれ違う対向車が存在する場合を例示した図である。例えば、狭路で対向車とすれ違う場合、ドライバー（ユーザ）は、自車両と側方構造物との距離だけでなく、対向車の位置も確認したいことが想定される。そこで、対向車が存在する場合、表示判定部１０４は、対向車も表示部１１２に表示する。例えば、周辺車両判定部１０５が対向車５０４を認識した場合、表示判定部１０４は、側方構造物撮像される領域５０２と、すれ違う対向車５０４が撮像される領域５０３とを表示部１１２に表示する。本実施形態では、図５（ｂ）に示すように、表示判定部１０４は、画面を分割して、左画面５０６に側方構造物を、右画面５０７に対向車５０６を表示部１１２に表示させる。このように、車載表示システムは、自車両周辺の側方構造物や車両の状況に応じて表示パターンを変えることで、ドライバーが必要とする自車両周辺の映像を適切に提供することができる。

なお、図５（ｂ）では画面を分割して表示する例を示したが、画面を分割せずに自車両と自車両に接近する側方構造物および対向車とを俯瞰映像として表示してもよい。また、図５（ｂ）では、図４（ｂ）とは異なり、側方構造物を左端に表示している。このように表示判定部１０４は、側方構造物が自車両に対して左側にある場合には表示部１１２の左側に側方構造物を表示し、側方構造物が自車両に対して右側にある場合には表示部１１２の右側に側方構造物を表示する。これにより、ユーザは、自車両と対向車との距離を測りながら、側方構造物にぶつからないようにハンドリング操作を行いやすくなる。なお、この場合、自車両と対向車とがすれちがい、対向車が自車両付近からいなくなっても、表示判定部１０４は、自車両と側方構造物が近い状態では側方構造物の表示位置を変更せずに表示を継続する。

ここでは２つの表示パターンを例示したが、この表示パターンの選択は、周辺車両の状況に応じて、ドライバーが見やすいよう選択されればよく前述の表示パターンに限らない。

次にステップＳ３０６では、表示判定部１０４は、走行状態記憶部１０６に記録された走行状態を取得する。そしてステップＳ３０７では、表示判定部１０４は、取得した走行状態に基づいて、撮像部によって撮像された映像を表示するか否かを判定する。

ここで、走行状態検知部１１０は（１）速度検知手段（２）自己位置取得手段、（３）表示部のインターフェース操作情報検知手段を有する。走行状態検知部１１０はこれらの手段によって取得した走行状態を走行状態記録部１０６に記録する。表示判定部１０４は、これらの走行状態を走行状態記録部１０６から取得する。以下、詳細に説明する。

（１）速度検知手段
走行状態検知部１１０は、自車両の速度検知を行う。例えば、走行状態検知部１１０は、車輪の角速度やＧＰＳ等によって速度検知を行う。表示判定部１０４は、自車両が低速状態である場合に撮像部で撮像された映像を表示すると判定する。なぜなら、ドライバーが側方構造物や側方車両の確認を行いたい場合は、低速走行時あるいは低速走行状態へ移行している状況だと考えられるからである。一方、高速走行時では、表示部が切り替わってもドライバーは確認することが難しく、かえって不快に感じてしまうおそれがある。本実施形態では、表示判定部１０４が表示可能判定を行う速度は、１０ｋｍ／ｈ以下が最も望ましい。なお、表示判定部１０４が表示可能判定を行う速度は、生活道路の制限速度である３０ｋｍ／ｈ未満でもよい。

（２）自己位置取得手段
走行状態検知部１１０は、自車両の位置情報および地図情報を取得する。例えば、走行状態検知部１１０は、ＧＰＳやカーナビゲーションシステムとの連携により、自車両の位置情報および地図情報を取得する。表示判定部１０４は、所定の位置ではない場合に、上述の側方構造物や対向車を表示すると判定する。所定の位置は、例えば、交差点付近などである。なぜなら交差点付近では車両は減速することに加え、側方構造物へ接近することが多くあることが想定されるからである。特に道幅の狭い交差点では、地図情報を見たくとも自車両周辺が表示されてしまうことが想定され、ドライバーが不快に感じてしまうおそれがある。このような本システムから除外したい場所をあらかじめ設定しておくことで、適切なタイミングで撮像映像を表示することができる。ここで自己位置取得手段は本発明の車載表示システムと連携可能な手段を選択すればよく、必ずしも車に標準搭載されている自己位置取得手段と連携させる必要はない。

（３）インターフェース操作情報検知手段
走行状態検知部１１０は、ドライバーがカーナビゲーションシステムで経路を設定するための操作や、オーディオ再生操作などのインターフェースに対する操作を検知する。このインターフェースは、例えば、タッチパネルや、ボタン、スイッチ等の操作部材である。表示判定部１０４は、走行状態検知部１１０がインターフェースに対する操作を検知していない場合に、撮像部によって撮像された映像を表示すると判定する。これは本実施形態におけるシステムでは、表示部はカーナビゲーションシステムと併用されることが考えられるため、ドライバーが表示部に対する操作を行っている間は、車両周辺を表示せずドライバー操作に関する表示を行う必要があるためである。

以上、走行状態検知部１１０の有する３つの手段について説明した。本実施形態では、表示判定部１０４は、上述の走行状態検知部１１０の（１）、（２）、（３）の手段によって取得された車両の走行状態を統合して、撮像部によって撮像された映像を表示するか否かを判定する。なお、表示判定部１０４は、少なくともいずれかの手段によって取得された走行状態によって撮像部によって撮像された映像を表示するか否かを判定してもよい。例えば、表示判定部１０４は、（１）の手段によって取得された速度情報に基づいて、ステップＳ３０７の処理を行ってもよい。

このように、ステップＳ３０７では、表示判定部１０４は、上述の走行状態検知部１１０の（１）、（２）、（３）の手段によって取得された車両の走行状態に基づいて、撮像部によって撮像された映像を表示するか否かの判定を行う。表示しないと判定された場合は通常画像の表示を継続すると判定し、ステップＳ３０１の処理に戻る。表示すると判定された場合はステップＳ３０８の処理が実行される。

ステップＳ３０８では、表示判定部１０４は、選択した表示パターンに応じた映像を表示部に表示する。これにより、車両１０１は、ドライバーの死角を補うなど、ユーザの運転を補助することができる。

ステップＳ３０９では、表示判定部１０４は、車両が前進中か後退中かの状態の取得を行う。

ステップＳ３１０では、表示判定部１０４は、車両が前進と後退とを繰り返しているか否かを判定する。これは前進と後退とを繰り返す縦列駐車のような場合、先に説明した表示パターンが、ドライバーが最も見たい表示パターン（映像）ではない場合と考えられるためである。このような縦列駐車中における表示パターンについては後述する。本実施形態では、表示判定部１０４は、ステップＳ３０３の処理の後から記録された前進中か後退中かの走行状態の情報に基づいて、所定期間内に前進中と後退中との走行状態の変化があった場合に、前進と後退とを繰り返している判定する。例えば、前進中の走行状態で側方構造物に接近し、その後、後退した場合、表示判定部１０４は、車両が前進と後退とを繰り返している（縦列駐車である）と判定する。縦車両が前進と後退とを繰り返していないと判定された場合、ステップＳ３１１の処理が実行される。車両が前進と後退とを繰り返していると判定された場合、ステップＳ３１４の処理が実行される。

ステップＳ３１１では、表示判定部１０４は、自車両の走行状態を取得する。

ステップＳ３１２では、表示判定部１０４は、走行状態に基づいて表示部１１２に表示される画面を通常画面に戻すか否かを判定する。

例えば、表示判定部１０４は、画面を通常画面に戻すか否かの判定を前述の走行状態検知手段（１）、（３）による走行状態に基づいて行う。具体的には、表示判定部１０４は、（１）速度検知手段により前述の低速走行状態を脱したことを検知した際に、画面を通常画面へ戻すと判定する。低速走行状態を脱した場合は、例えば、低速走行状態と判定される閾値から５ｋｍ／ｈ以上速度が上昇した場合である。他方、低速走行状態を脱した場合は、車両が停止した場合がある。この場合、車両が停止した状態状態（すなわち、速度０ｋｍ／ｈである状態）が数秒（例えば１０秒）連続した場合である。この時間はドライバーが自由に設定できるようにしても構わない。また、（３）インターフェース操作情報検知手段により、撮像映像が表示された状態で、ドライバーがインターフェース操作を行ったことが検知された場合、表示判定部１０４は、画面を通常画面へ戻すと判定する。

通常画面に戻すと判定した場合、ステップＳ３１３の処理が実行される。ステップＳ３１３の処理では、表示判定部１０４は、通常画面を表示部１１２に表示する。その後、ステップＳ３０１の処理に戻る。ステップＳ３１２において通常画面に戻さないと判定した場合、ステップＳ３０８の処理が実行される。なお、この場合、ステップＳ３０８では、ステップＳ３０５で判定された表示パターンによって映像が表示される。

他方、車両が前進と後退とを繰り返していると判定された場合について説明する。ステップＳ３１４では、表示判定部１０４は、表示パターンを変更する。

図６（ａ）は縦列駐車中の状況が示されている。図６（ｂ）に縦列駐車中における表示パターンの例を示す。縦列駐車においては、ドライバーは側方だけの確認でなく、自車両周辺６０１を表示部１１２に表示するようにすることが望ましい。そのため、前述のような前進、後退の切り替えを検知し表示を再度切り替える仕組みをシステムに設けてもよい。このようにすることで、側方構造物付近で前進、後退を繰り返す場合においてもドライバーが最も見たい映像を表示することができる。

ステップＳ３１５では、ステップＳ３１４で変更された表示パターンで撮像部によって撮像された映像を表示部に表示する。

ステップＳ３１６では、表示判定部１０４は、自車両の走行状態を取得する。

ステップＳ３１７では、表示判定部１０４は、走行状態に基づいて表示部１１２に表示される画面を通常画面に戻すか否かを判定する。通常画面に戻すと判定した場合、ステップＳ３１３の処理が実行される。通常画面に戻さないと判定した場合、ステップＳ３０９の処理が実行される。そして、表示判定部１０４は、前進と後退とを繰り返しているか否かを再度判定して、走行状態に応じた表示パターンで表示部１１２に映像を表示する。

以上、本実施形態における表示部に表示される映像の切り替えフローについて説明した。

本実施形態に示したように、側方構造物までの距離情報だけでなく車両走行状態を用いて判定を行い、自動で表示の切り替え復帰を行うことにより、ドライバーが快適に死角を確認することが可能なシステムの提供が可能となる。

なお、本実施形態で述べたシステムは、ドライバーが本機能を有効にするか無効にするかの選択をあらかじめできるようにしても構わない。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

Claims (8)

1. 車両周辺を撮像する撮像手段と、
   前記撮像手段によって撮像された映像を表示する表示手段と、
   前記撮像手段によって撮像された映像から自車両と自車両の側方にある構造物との距離を測定する測定手段と、を有し
   前記表示手段は、前記測定手段によって測定された距離情報と前記自車両の走行状態とに基づいて、前記撮像手段によって撮像された映像を表示する
   ことを特徴とする車載表示装置。
2. 前記走行状態は車両の速度であることを特徴とする請求項１に記載の車載表示装置。
3. 前記撮像手段によって撮像された映像に基づいて、自車両の周辺に存在する車両の位置を認識する認識手段をさらに有し、
   前記表示手段は、前記認識手段によって認識された自車両の周辺に存在する車両の位置に基づいて前記撮像手段によって撮像された映像を表示する、
   ことを特徴とする請求項１または２に記載の車載表示装置。
4. 前記表示手段は、前記撮像手段によって撮像された映像を表示していない場合、カーナビゲーションシステムによって提供される地図情報を表示する
   ことを特徴とする請求項１から３いずれか１項に記載の車載表示装置。
5. 自車両の位置を取得する取得手段を有し、
   前記表示手段は、前記取得手段によって取得された前記自車両の位置に応じて、前記撮像手段によって撮像された映像を切り替える
   ことを特徴とする請求項１から４のいずれか１項に記載の車載表示装置。
6. 前記撮像手段によって撮像された画像の諧調値に基づいて前記構造物を検出する検出手段をさらに有し、
   前記検出手段は、前記構造物を検出する場合、前記撮像手段によって撮像された画像の諧調値が不連続に変化している画素位置を検出することを特徴とする請求項１から５のいずれか１項に記載の車載表示システム。
7. 車載表示装置の制御方法であって、
   車両周辺を撮像する撮像ステップと、
   前記撮像ステップによって撮像された映像を表示する表示ステップと、
   前記撮像ステップによって撮像された映像から自車両と自車両の側方にある構造物との距離を測定する測定ステップと、を有し
   前記表示ステップでは、前記測定ステップによって測定された距離情報と前記自車両の走行状態とに基づいて、前記撮像ステップによって撮像された映像を表示する
   ことを特徴とする制御方法。
8. 車載表示装置に制御方法を実行させるためのプログラムであって、
   前記制御方法は、
   車両周辺を撮像する撮像ステップと、
   前記撮像ステップによって撮像された映像を表示する表示ステップと、
   前記撮像ステップによって撮像された映像から自車両と自車両の側方にある構造物との距離を測定する測定ステップと、を有し
   前記表示ステップでは、前記測定ステップによって測定された距離情報と前記自車両の走行状態とに基づいて、前記撮像ステップによって撮像された映像を表示する
   ことを特徴とするプログラム。

Images