JP2019186754A - 周辺監視装置 - Google Patents

周辺監視装置 Download PDF

Info

Publication number
JP2019186754A
JP2019186754A JP2018075603A JP2018075603A JP2019186754A JP 2019186754 A JP2019186754 A JP 2019186754A JP 2018075603 A JP2018075603 A JP 2018075603A JP 2018075603 A JP2018075603 A JP 2018075603A JP 2019186754 A JP2019186754 A JP 2019186754A
Authority
JP
Japan
Prior art keywords
vehicle
display
guide line
vehicle height
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018075603A
Other languages
English (en)
Other versions
JP7159598B2 (ja
Inventor
いつ子 福島
Itsuko Fukushima
いつ子 福島
渡邊 一矢
Kazuya Watanabe
一矢 渡邊
欣司 山本
Kinji Yamamoto
欣司 山本
哲也 丸岡
Tetsuya Maruoka
哲也 丸岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to JP2018075603A priority Critical patent/JP7159598B2/ja
Publication of JP2019186754A publication Critical patent/JP2019186754A/ja
Application granted granted Critical
Publication of JP7159598B2 publication Critical patent/JP7159598B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】一例として、画面上に表示されている指標の表示位置が正確ではない可能性があることを、ユーザが把握可能となる。【解決手段】実施形態にかかる周辺監視装置は、一例として、車両に搭載された撮像部により撮像された撮像画像に基づいた周辺画像と、周辺画像に重畳された指標とを表示部に表示する表示制御部と、車両の状態または車両に搭載された撮像部の状態に基づいて、表示部の画面上における指標の表示位置の信用度を判断する判断部と、を備える。また、表示制御部は、信用度に基づいて、指標の表示態様を変更する。【選択図】図3

Description

本発明の実施形態は、周辺監視装置に関する。
従来から、車両の前方や後方等を撮像した撮像画像に、車両の走行予定経路等を表すガイド線等の指標を重畳して、車内のモニタ装置等に表示する技術が知られている。また、車両の車高調整等によって車両に搭載された撮像部の高さが変化して撮像画像が変化した場合に、モニタ画面等におけるガイド線等の指標の表示位置を補正する技術も知られている。
特許第3972661号公報 特開平10−151991号公報
しかしながら、従来技術では、画面上に表示されている指標の表示位置が正確ではない可能性がある場合に、それをユーザが把握することは困難であった。
本発明の実施形態にかかる周辺監視装置は、一例として、車両に搭載された撮像部により撮像された撮像画像に基づいた周辺画像と、周辺画像に重畳された指標とを表示部に表示する表示制御部と、車両の状態または車両に搭載された撮像部の状態に基づいて、表示部の画面上における指標の表示位置の信用度を判断する判断部と、を備える。また、表示制御部は、信用度に基づいて、指標の表示態様を変更する。よって、上記周辺監視装置によれば、例えば、ユーザに対して、画面上に表示されている指標の表示位置が正確ではない可能性があることを、容易に把握させることができる。
上記周辺監視装置では、一例として、判断部は、車両の車高が変化中である場合に、信用度が所定の基準より低いと判断する。また、表示制御部は、信用度が所定の基準より低いと判断された場合に、指標の表示態様を変更する。よって、上記周辺監視装置によれば、例えば、ユーザに対して、車高の変化中に表示部の画面上に表示されている指標の表示位置が、補正前の状態であるのか、車高の変化に対応した補正後の状態であるのかを容易に把握させることができる。
上記周辺監視装置では、一例として、表示制御部は、信用度が所定の基準より低いと判断された場合に、指標を、信用度が所定の基準以上と判断された場合とは異なる表示態様で表示する。よって、上記周辺監視装置によれば、例えば、指標の表示位置が正確ではない可能性があることを、ユーザが直感的に把握することができる。
上記周辺監視装置では、一例として、車両の車高と、画面上における指標の表示位置と、を対応付けて記憶する記憶部をさらに備え、表示制御部は、車両の車高が変化中である場合に、画面上において、変化前の車高に対応付けられた表示位置に第1の指標を表示し、変化後の車高に対応付けられた表示位置に第2の指標を表示する。よって、上記周辺監視装置によれば、例えば、表示部の画面上の指標の表示位置が正確ではないことをユーザに把握させると共に、車両の移動予定位置が第1の指標と第2の指標との間の範囲にあることを認識させることができる。
上記周辺監視装置では、一例として、車両の車高と、画面上における指標の表示位置と、を対応付けて記憶する記憶部をさらに備え、表示制御部は、車両の車高が変化中である場合に、画面上において、変化前の車高に対応付けられた表示位置に指標を表示し、指標を、変化後の車高に対応付けられた設定情報に基づく画面上の表示位置まで移動させる。よって、上記周辺監視装置によれば、例えば、表示部の画面上の指標の表示位置が正確ではないことをユーザに把握させると共に、車高の変化に伴う指標の移動の方向をユーザに把握させることができる。
上記周辺監視装置では、一例として、表示態様は、色、形状、透過状態のうち少なくとも1つを含む。よって、上記周辺監視装置によれば、例えば、信用度が所定の基準より低い指標を、信用度が所定の基準以上の指標と明確に区別することができる。
図1は、実施形態にかかる車両の車室の一部が透視された状態が示された例示的な斜視図である。 図2は、実施形態にかかるECUを含む車両制御システムのハードウェア構成の一例を示す図である。 図3は、実施形態にかかるECUが有する機能の一例を示すブロック図である。 図4は、実施形態にかかるガイド線の表示態様の変更処理の手順の一例を示すフローチャートである。 図5は、実施形態にかかるガイド線の表示態様の一例を示す図である。 図6は、実施形態にかかる車高が下降中の場合におけるガイド線の表示態様の一例を示す図である。 図7は、実施形態にかかる車高が上昇中の場合におけるガイド線の表示態様の一例を示す図である。 図8は、変形例1にかかるガイド線の表示の一例を示す図である。 図9は、変形例2にかかるガイド線の表示の一例を示す図である。 図10は、変形例3にかかるガイド線の表示の一例を示す図である。 図11は、変形例3にかかるガイド線の表示の他の一例を示す図である。
図1は、実施形態にかかる車両1の車室2aの一部が透視された状態が示された例示的な斜視図である。図1に例示されるように、車体2は、不図示の乗員が乗車する車室2aを構成している。車室2a内には、乗員としての運転者の座席2bに臨む状態で、操舵部4や、加速操作部5、制動操作部6、変速操作部7等が設けられている。
操舵部4は、例えば、ダッシュボード24から突出したステアリングホイール(ハンドル)である。加速操作部5は、例えば、アクセルペダルである。制動操作部6は、例えば、ブレーキペダルである。変速操作部7は、例えば、シフトレバーである。
また、車室2a内には、表示装置8や、音声出力装置9が設けられている。音声出力装置9は、例えば、スピーカである。また、表示装置8は、例えば、LCD(Liquid Crystal Display)や、OELD(Organic Electroluminescent Display)等である。表示装置8は、本実施形態における表示部の一例である。また、表示装置8は、例えば、タッチパネル等、透明な操作入力部10で覆われている。乗員は、表示装置8の表示画面に表示される画像に対応した位置を手指等で操作入力部10を押下等して操作することで、操作入力を実行することができる。
これらの表示装置8、音声出力装置9、操作入力部10等は、例えば、モニタ装置11に設けられている。モニタ装置11は、スイッチや押しボタン等の不図示の操作入力部を有していてもよい。また、車室2a内には、表示装置8とは別の表示装置(表示部)が設けられてもよい。また、ダッシュボード24の計器盤部25には、各種のインジケータが表示される。
図1に例示されるように、車体2には、複数の撮像部(撮像装置)15として、例えば4つの撮像部15a〜15dが設けられている。撮像部15は、例えば、CCD(charge coupled device)やCIS(CMOS image sensor)等の撮像素子を内蔵するデジタルカメラであり、所定のフレームレートで動画データを出力することができる。撮像部15は、車両1が移動可能な路面や車両1が駐車可能な領域を含む車体2の周辺の外部の環境を逐次撮影(撮像)し、撮像画像データとして出力する。
撮像部15aは、車体2の後側の端部2e付近、例えば、リアハッチのドア2hのリアウインドウの下方の壁部に位置される。撮像部15bは、車体2の右側の端部、例えば、右側のドアミラー2gに位置される。撮像部15cは、例えば、車体2の前側、すなわち車両前後方向の前方側の端部に位置される。撮像部15dは、車体2の左側の端部、例えば、左側のドアミラー2gに位置される。撮像部15の数および位置は、これらに限定されるものではない。
また、図1に例示されるように、車両1は、例えば、四輪自動車であり、左右2つの前輪3Fと、左右2つの後輪3Rとを有する。これら4つの車輪3は、いずれも転舵可能に構成されうる。また、車両1における車輪3の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
また、図1に例示されるように、車体2には、複数の測距部16a,16d(16),17a〜17d(17)が設けられている。測距部16,17は、例えば、超音波を発射してその反射波を捉えるソナー(ソナーセンサ、超音波探知器)である。車体2に設けられる測距部16,17の数および位置は、図1に示される例に限定されるものではない。
また、本実施形態の車両1は、車高をロー(低)、ノーマル(標準)、ハイ(高)の3段階に変更可能であるものとする。車両1の車高を調整する不図示の車高調整機構は、公知のサスペンション等により構成される。
図2は、本実施形態にかかるECU(electronic control unit)14を含む車両制御システム100のハードウェア構成の一例を示す図である。図2に示すように、車両制御システム100では、ECU14や、モニタ装置11、操舵システム13、測距部16,17等の他、ブレーキシステム18、車高センサ26、車輪速センサ27等が、電気通信回線としての車内ネットワーク23を介して電気的に接続されている。車内ネットワーク23は、例えば、CAN(controller area network)として構成される。
ECU14は、車内ネットワーク23を通じて制御信号を送ることで、操舵システム13、ブレーキシステム18等を制御する。また、ECU14は、車内ネットワーク23を介して、ブレーキセンサ18b、車高センサ26、車輪速センサ27等の検出結果、ならびに、操作入力部10等の指示信号(制御信号、操作信号、入力信号、データ)を受け取る。ECU14は、本実施形態における周辺監視装置の一例である。
ECU14は、例えば、CPU14a(central processing unit)や、ROM14b(read only memory)、RAM14c(random access memory)、表示制御部14d、音声制御部14e、SSD14f(solid state drive、フラッシュメモリ)等を有している。
CPU14aは、ROM14b等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行する。また、CPU14aは、操作部14gの操作入力による操作信号や、各種のセンサからの信号を取得する。表示制御部14dは、表示装置8に対する画像出力を制御する。また、音声制御部14eは、ECU14での演算処理のうち、主として、音声出力装置9で出力される音声データの処理を実行する。
なお、CPU14aや、ROM14b、RAM14c等は、同一パッケージ内に集積されうる。また、ECU14は、CPU14aに替えて、DSP(digital signal processor)等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、SSD14fに替えてHDD(hard disk drive)が設けられてもよいし、SSD14fやHDDは、ECU14とは別に設けられてもよい。
操作部14gは、ユーザからの操作を受けて、操作信号を出力するデバイスであり、例えば、押しボタンやスイッチ等で構成される。本実施形態の操作部14gは、一例として、車両1の車高をロー、ノーマル、ハイの3つのモードから選択可能であるものとする。操作部14gは、例えばダッシュボード24に設けられる。
また、操舵システム13は、少なくとも2つの車輪3を操舵する。また、ブレーキシステム18は、アクチュエータ18aと、ブレーキセンサ18bとを有する。ブレーキシステム18は、アクチュエータ18aを介して、車輪3ひいては車両1に制動力を与える。
車高センサ26は、車輪3の近傍に設けられ、地面からの車体の高さを検知するセンサである。本実施形態の車両1には、4つの車高センサ26のそれぞれが、各車輪3の近傍に設置される。車高センサ26は、車体の高さの検知結果を示す検知信号を、ECU14に送信する。また、車高センサ26は、車高が検知不能である等の異常が発生した場合に、異常信号をECU14に送信する。
車輪速センサ27は、車輪3の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ27は、検出した回転数を示す車輪速パルス数をセンサ値としてECU14に送信する。なお、車輪速センサ27は、ブレーキシステム18に設けられる場合もある。この場合、ECU14は、車輪速センサ27の検出結果を、ブレーキシステム18を介して取得する。
上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定(変更)することができる。
図3は、本実施形態にかかるECU14が有する機能の一例を示すブロック図である。図3に示すように、ECU14は、受付部141と、取得部142と、車高調整部143と、画像処理部144と、判断部145と、経路特定部146と、表示制御部147と、記憶部150とを備える。受付部141、取得部142、車高調整部143、画像処理部144、判断部145、経路特定部146、表示制御部147の各構成は、CPU14aが、ROM14b内に格納されたプログラムを実行することで実現される。なお、これらの構成をハードウェア回路で実現するように構成しても良い。
記憶部150は、車両1の車高と(ロー、ノーマル、ハイ)と、画面上におけるガイド線の表示位置とが対応付けられた設定情報を記憶する。ガイド線とは、表示装置8に表示された撮像画像や俯瞰画像等の上に重畳して表示される線状の画像であり、例えば、車両1からの距離を表す目安線および車両1の幅を示す車幅線を含む。また、ガイド線は、車両1の走行予定経路や、移動予定の位置を示すものでも良い。ガイド線は指標線ともいい、本実施形態における指標の一例である。指標はガイド線に限定されるものではなく、例えば、駐車支援における駐車目標位置を示すものでも良い。
また、設定情報は、さらに、後述の画像処理部144が俯瞰画像等を生成するためのパラメータの設定値を含むものとしても良い。また、記憶部150は、車高センサ26や、撮像部15等の異常の有無を示す異常フラグを記憶する。記憶部150は、例えば、SSD14fである。
受付部141は、操作部14gから取得した操作信号により、ユーザによる車高の変更の操作を受け付ける。また、受付部141は、操作入力部10から運転者による車高の変更の操作を受け付けても良い。具体的には、受付部141は、ユーザが変更後の車高としてロー、ノーマル、ハイのいずれかを選択した操作を受け付ける。
取得部142は、車高センサ26から入力される検知信号に基づいて、車両1の車高を取得する。また、取得部142は、車高センサ26から異常を示す異常信号を取得した場合は、記憶部150に異常フラグを設定する。また、取得部142は、車輪速センサ27から車輪速を示すセンサ値を取得する。
車高調整部143は、受付部141がユーザによる車高の変更の操作を受け付けた場合に、車高調整機構を制御して車両1の車高を変更する。また、車高調整部143は、ユーザによる車高の変更の操作に限らず、車両1の走行モードが変更された場合等にも、車両1の車高を各走行モードに応じた高さに変更する。
画像処理部144は、撮像部15によって撮像された撮像画像に対して合成や視点変換等の画像処理を行うことによって、俯瞰画像等を生成する。俯瞰画像は、車両1の周囲を上方から見た背景画像と、車両1の上面の画像とを含む画像である。また、画像処理部144は、撮像部15によって撮像された撮像画像から、画像処理によって撮像部15のレンズの汚れの有無や、光軸ずれ等を検出する。画像処理部144は、撮像部15のレンズの汚れや、光軸ずれ等の異常がある場合は、記憶部150に異常フラグを設定する。
判断部145は、車両1の状態または撮像部15の状態に基づいて、表示装置8の画面上におけるガイド線の表示位置の信用度を判断する。より詳細には、車両1の車高が変化中である場合、または、車高センサ26と撮像部15のいずれかまたは両方に異常が発生している場合に、判断部145は、ガイド線の表示位置の信用度を所定の基準より低い“低”と判断する。ここで、本実施形態における信用度は、例えば、“高”、“中”、“低”であり、所定の基準値は“高”または“中”とする。信用度が“低”、すなわち、ガイド線の表示位置の信用度が低いとは、表示装置8に表示された撮像画像または合成画像上のガイド線の表示位置が正確ではない可能性があるということである。また、車両1の車高が変化中ではなく、車高センサ26と撮像部15の両方に異常が発生していない場合に、判断部145は、ガイド線の表示位置の信用度を“高”と判断する。なお、信用度の評価の手法および信用度の所定の基準値はこれに限定されるものではない。
また、判断部145は、取得部142が取得した車輪速を示すセンサ値から、車両1の車速を算出し、車速が所定の値以下の場合に、車両1が停車状態であると判断する。
経路特定部146は、取得部142が取得した車輪速を示すセンサ値から車両1の現在位置および走行予定経路や移動予定位置を特定する。移動予定位置の特定の手法は、公知の技術を採用することができる。
表示制御部147は、車両1に搭載された撮像部15により撮像された撮像画像に基づいた周辺画像と、当該周辺画像に重畳されたガイド線とを表示装置8に表示する。周辺画像は、車両1に搭載された撮像部15によって撮像された撮像画像でも良いし、画像処理部144によって撮像画像から生成された俯瞰画像等の合成画像でも良い。また、ガイド線は、例えば、経路特定部146によって特定された車両1の移動予定位置を示す。表示制御部147は、記憶部150に記憶された設定情報において車両1の現在の車高に対応付けられた表示位置を、撮像画像または合成画像上におけるガイド線の表示位置として特定するものとする。
また、表示制御部147は、判断部145によってガイド線の表示位置の信用度が所定の基準である“高”、“中”より低い“低”と判断された場合に、ガイド線の表示態様を変更する。表示制御部147は、ガイド線の表示態様を変更する場合に、ガイド線の色、形状、透過状態のうち少なくとも1つを変更するものとする。ガイド線の表示態様の詳細は後述する。
次に、以上のように構成された本実施形態のECU14で実行されるガイド線の表示態様の変更処理の詳細を説明する。図4は、本実施形態にかかるガイド線の表示態様の変更処理の手順の一例を示すフローチャートである。このフローチャートの処理は、例えば、表示制御部147が表示装置8に撮像画像または俯瞰画像を表示している場合に実行される。
まず、判断部145は、車両1が停止状態であるか否かを判断する(S1)。車両1が停止状態でないと判断した場合は(S1“No”)、判断部145は、S1の処理を繰り返す。また、車両1が停止状態であると判断した場合は(S1“Yes”)、判断部145は、表示制御部147に車両1が停止したことを通知する。この場合、表示制御部147は、表示装置8に表示された撮像画像または俯瞰画像に重畳して、ガイド線を通常の態様で表示する(S2)。
図5は、本実施形態にかかるガイド線95a,95b、96a,96bの表示態様の一例を示す図である。図5の画像900aは、表示装置8に表示された画像であり、カメラビュー91と、俯瞰画像92とを含む。カメラビュー91は、撮像部15によって撮像された撮像画像がそのまま表示されたものとしても良いし、画像処理部144によって画像処理された画像が表示されるものとしても良い。図5の例では、カメラビュー91は、車両1の前方を撮像部15が撮像した撮像画像とする。俯瞰画像92は、車両1を上方から見た画像であり、車両1を表すアイコン画像500と、撮像画像から生成された車両1の周囲を表す画像とを含む。
表示制御部147は、現在の車高に対応付けられた設定情報に基づいて、カメラビュー91および俯瞰画像92におけるガイド線95a,95bの表示位置を特定する。そして、表示制御部147は、カメラビュー91に重畳して、ガイド線95aを表示する。図5の例では、ガイド線95aは、車両1が前進した場合の車両1の前側の端部の左右の角の位置を示す。また、表示制御部147は、俯瞰画像92に重畳して、上方から見た車両1の移動予定位置を示すガイド線95bを表示する。本実施形態においては、ガイド線95a,95b(以下、特に区別しない場合はガイド線95という)の通常の表示態様は、黒色の実線とするが、これに限定されるものではない。また、ガイド線95の背景となる画像は、カメラビュー91または俯瞰画像92に限定されるものではない。
次に、判断部145は、車両1の車高が変化中であるか否かを判断する(S3)。判断部145は、例えば、取得部142によって取得された車高を時系列に比較することで車両1の車高が変化中であるか否かを判断する。また、判断部145は、受付部141が車高の変更の操作を受け付けた場合に、車両1の車高が変化中であると判断しても良い。
判断部145は、車両1の車高が変化中であると判断した場合(S3“Yes”)、ガイド線95の表示位置の信用度を“低”と判断する(S4)。車高の変化によって車両1に搭載された撮像部15の高さが変化した場合は、撮像部15の撮像画像が変化し、それにともなってカメラビュー91や俯瞰画像92も変化する。ガイド線95はカメラビュー91や俯瞰画像92の上に重畳して表示されるため、カメラビュー91や俯瞰画像92が変化した場合にガイド線95の表示位置が変化しなければ、カメラビュー91や俯瞰画像92とガイド線95の表示位置とにずれが生じる。このため、車高が変化中である場合は、カメラビュー91や俯瞰画像92上のガイド線95の表示位置が、車両1の移動予定位置を正確に示さない場合がある。
この場合、表示制御部147は、ガイド線95の表示態様を変更する(S5)。図5に示す画像900bでは、表示制御部147は、ガイド線95の形状を変更している。具体的には、表示制御部147は、ガイド線95の幅を太くすると共に、実線から破線に表示態様を変更している。このように表示制御部147がガイド線95の表示態様を変更することで、表示装置8を見るユーザが、ガイド線95の表示位置の信用度が低い状態であることを認識することができる。
表示制御部147によるガイド線95の表示態様の変更はこれに限定されるものではなく、例えば、表示制御部147は、ガイド線95の色を灰色等に変更したり、ガイド線95の幅を細くしたり、ガイド線95を透過状態の画像にしたり、ガイド線95を点滅表示させても良い。
次に、判断部145は、車両1の車高の変化が終了したか否かを判断する(S6)。判断部145は、取得部142によって取得された車高が、受付部141が受け付けた車高の変更の操作における目標車高と一致する場合に、車両1の車高の変化が終了したと判断する。また、取得部142によって取得された車高を時系列に比較し、車高が変化していない場合に、車両1の車高の変化が終了したと判断しても良い。
判断部145が車両1の車高の変化が終了していないと判断した場合は(S6“No”)、表示制御部147は、ガイド線95の表示態様を変更したまま、ガイド線95の表示を継続する。また、判断部145が車両1の車高の変化が終了したと判断した場合は(S6“Yes”)、表示制御部147は、変化後の車高に対応付けられた設定情報を記憶部150から取得し、当該設定情報に基づいてガイド線95の表示位置を特定する。そして、表示制御部147は、変化後の車高に応じた表示位置に、ガイド線95を通常の表示態様で表示する。例えば、図5の画像900cに示すように、表示制御部147は、ガイド線95を車高の変化前と同様に黒色の実線で表示する(S7)。表示制御部147がガイド線95の表示位置を変化後の車高に応じて変更することを、ガイド線95の表示位置を補正するともいう。図5に示す画像900bにおけるガイド線95は補正前の状態であり、画像900cにおけるガイド線95は補正後の状態である。
また、判断部145は、車両1の車高が変化中ではないと判断した場合(S3“No”)、車高センサ26または撮像部15に異常があるか否かを、記憶部150に設定された異常フラグの有無によって判断する(S8)。判断部145は、車高センサ26と撮像部15のいずれかまたは両方に異常が発生していると判断した場合(S8“Yes”)、ガイド線の表示位置の信用度を“低”と判断する(S9)。この場合、表示制御部147は、ガイド線95の表示態様を変更する(S10)。例えば、表示制御部147は、図5の画像900bのように、ガイド線95の幅を太くすると共に、実線から破線に表示態様を変更する。車高センサ26に異常が発生している場合は、表示制御部147が誤った設定情報に基づいてガイド線95の表示位置を特定した可能性があるため、カメラビュー91または俯瞰画像92上のガイド線95の表示位置が正確ではない可能性がある。また、撮像部15のレンズの汚れや光軸ずれにより撮像画像が正常ではない状態の場合、カメラビュー91または俯瞰画像92が正確に表示されていない可能性があるため、カメラビュー91または俯瞰画像92上のガイド線95の表示位置が正確ではない可能性がある。このような場合に表示制御部147がガイド線95の表示態様を変更することで、表示装置8を見るユーザが、ガイド線95の表示位置の信用度が低い状態であることを認識することができる。
また、車両1の車高が変化しておらず、車高センサ26と撮像部15の両方に異常が発生していないと判断した場合(S8“No”)、判断部145は、ガイド線の表示位置の信用度を“高”と判断し、S3の処理に戻る。この場合、表示制御部147は、ガイド線95を通常の表示態様で継続して表示する。以上により、このフローチャートの処理は終了する。
また、上述の図5では、車両1が前進する場合のガイド線95を例として示したが、ガイド線95はこれに限定されるものではない。図6は、本実施形態にかかる車高が下降中の場合におけるガイド線95の表示態様の一例を示す図である。図6に示す例では、ガイド線95は俯瞰画像92に重畳して表示されている。図6の俯瞰画像92は、白線70に囲まれた駐車領域に後退して入庫する車両1を上方から見た画像である。車両1の車高が下降すると撮像部15と路面(地面)との距離が近づくため、俯瞰画像92が拡大表示される。図6の俯瞰画像92aは、車高の下降前の状態であり、俯瞰画像92bは、車高の下降中の状態である。車両1の車高調整が終了した後は、俯瞰画像92が画像処理部144によって補正されて拡大表示が終了するか、表示制御部147によってガイド線95bの表示位置が補正されることにより俯瞰画像92上のガイド線95bの表示位置が修正される。しかしながら、車高の変化中は、俯瞰画像92bのようにガイド線95bの表示位置は変化しないまま、車両1の周囲の画像が拡大された状態となる。また、車両1を表すアイコン画像500は予め生成された画像であるため変化しない。
図6に示すように、俯瞰画像92が拡大表示される場合に、俯瞰画像92b上のガイド線95bの表示位置にずれが生じる場合がある。例えば、車高変更前の俯瞰画像92a上では、ガイド線95bと障害物71aとが接触している。これに対して、俯瞰画像92bでは、車両1の周囲を表す画像が拡大しているため、障害物71aとガイド線95bとの距離が実際よりも離れて表示される。このような場合、表示制御部147は俯瞰画像92b上のガイド線95bの表示態様を、俯瞰画像92a上のガイド線95bから変更する。表示制御部147がガイド線95bの表示態様を変更することにより、車高の下降中に俯瞰画像92aを見るユーザに対して、ガイド線95bの表示位置の信用度が低い状態であることを認識させることができ、障害物71aに対する注意を喚起することができる。
また、図7は、本実施形態にかかる車高が上昇中の場合におけるガイド線95の表示態様の一例を示す図である。車高が上昇中の場合は、撮像部15と路面(地面)との距離が遠ざかるため、俯瞰画像92が縮小表示される。図7の俯瞰画像92aは車高の上昇前の状態であり、俯瞰画像92cは車高の上昇中の状態である。俯瞰画像92cでは、車両1の周囲を表す画像が縮小表示されることにより、実際には車両1の走行予定経路と接触する位置にはない障害物71bが、ガイド線95bと接触するように表示される。このような場合、表示制御部147は俯瞰画像92c上のガイド線95bの表示態様を、俯瞰画像92a上のガイド線95cから変更する。表示制御部147がガイド線95bの表示態様を変更することにより、車高の上昇中に俯瞰画像92cを見るユーザに対して、ガイド線95bの表示位置の信用度が低い状態であることを認識させることができる。
このように、本実施形態のECU14では、車両1の状態または撮像部15の状態に基づいて、表示装置8に表示されたカメラビュー91または俯瞰画像92上のガイド線95の表示位置の信用度を判断し、当該信用度に基づいて、ガイド線95の表示態様を変更する。このため、本実施形態のECU14によれば、カメラビュー91または俯瞰画像92を見るユーザに対して、カメラビュー91または俯瞰画像92上に表示されているガイド線95の表示位置が正確ではない可能性があることを、容易に把握させることができる。
また、本実施形態のECU14では、車両1の車高が変化中である場合に、カメラビュー91または俯瞰画像92上のガイド線95の表示位置の信用度が所定の基準より低いと判断し、ガイド線95の表示態様を変更する。このため、本実施形態のECU14によれば、車高の変更中にカメラビュー91または俯瞰画像92上に表示されたガイド線95が、補正前の状態であるのか、車高の変化に対応した補正後の状態であるのかを容易に把握させることができる。
また、本実施形態のECU14によれば、カメラビュー91または俯瞰画像92上のガイド線95の表示位置の信用度が所定の基準より低いと判断された場合に、ガイド線95を、信用度が所定の基準以上と判断された場合とは異なる表示態様で表示するため、ガイド線95の表示位置が正確ではない可能性があることを、ユーザが直感的に把握することができる。
また、本実施形態のECU14は、ガイド線95を通常とは異なる表示態様で表示する場合に、ガイド線95の色、形状、透過状態のうち少なくとも1つを通常の表示態様から変更する。このため、本実施形態のECU14によれば、信用度が所定の基準より低いガイド線95を、信用度が所定の基準以上の指標と明確に区別することができる。
なお、本実施形態では、画像処理部144が撮像部15の異常の有無を判断するとしたが、取得部142が撮像部15から異常を示す異常信号を取得しても良い。また、本実施形態では、表示制御部147は、車両1が停止状態である場合にガイド線95の表示をするとしたが、ガイド線95の表示のタイミングはこれに限定されるものではない。例えば、車両1の駐車を支援する駐車支援処理やその他の運転支援が実行されている場合に、ガイド線95が表示されるものとしても良い。
(変形例1)
上述の実施形態では、表示制御部147は、カメラビュー91または俯瞰画像92上のガイド線95の表示位置の信用度が所定の基準より低いと判断された場合に、ガイド線95の形状等を変更していた。表示態様の変更はこれに限定されるものではなく、表示されるガイド線95の数が増加しても良い。例えば、表示制御部147は、車両1の車高が変化中である場合に、変化前の車高に対応付けられた表示位置に加えて、変化後の車高に対応付けられた表示位置にガイド線95を表示しても良い。
図8は、変形例1にかかるガイド線95の表示の一例を示す図である。図8に示すように、本変形例の表示制御部147は、車両1の車高が変化中である場合に、画面上において、変化前の車高に対応付けられた表示位置にガイド線95aを表示し、変化後の車高に対応付けられた表示位置にガイド線95cを表示する。
具体的には、表示制御部147は、車両1の車高が変化中である場合に、記憶部150に保存された設定情報を参照する。この場合、表示制御部147は、設定情報において変化前の車高に対応付けられた表示位置にガイド線95aの表示を継続した状態で、設定情報において変化後の車高に対応付けられた表示位置に、ガイド線95cを表示する。ガイド線95a,95Cは、カメラビュー91または俯瞰画像92上に重畳して表示される。表示制御部147は、例えば、受付部141が受け付けた車高の変更の操作における目標車高を変化後の車高として取得しても良い。
図8に示す変化前の車高に対応付けられた画面上の表示位置に表示されるガイド線95aは、本変形例における第1の指標の一例であり、変化後の車高に対応付けられた画面上の表示位置に表示されるガイド線95cは、本変形例における第2の指標の一例である。また、表示制御部147は、ガイド線95cをガイド線95aとは異なる色、形状、透過状態等で表示しても良い。
本変形例のECU14によれば、車両1の車高が変化中である場合に、変化前の車高に対応する表示位置のガイド線95aに加えて、変化後の車高に対応付けられた表示位置にガイド線95cを表示することにより、カメラビュー91または俯瞰画像92上のガイド線95aの表示位置が正確ではないことをユーザに把握させると共に、車両1の移動予定位置がガイド線95aとガイド線95cの間の範囲にあることを認識させることができる。
(変形例2)
また、表示制御部147は、表示態様の変更として、ガイド線95を移動させても良い。例えば、表示制御部147は、車両1の車高が変化中である場合に、カメラビュー91または俯瞰画像92上のガイド線95を、変化前の車高に対応付けられた表示位置から、変化後の車高に対応付けられた表示位置まで移動しても良い。この場合、表示制御部147は、車両1の車高が変化する間、図8に示すガイド線95aの位置から、ガイド線95cの位置まで、ガイド線95を移動する。
また、図9は、変形例2にかかるガイド線95の表示の一例を示す図である。図9に示すように、表示制御部147は、変化前の車高に対応付けられた表示位置にガイド線95aを表示し、変化後の車高に対応付けられた表示位置にガイド線95cを表示した上で、ガイド線95aとガイド線95cとの間にガイド線95dを表示しても良い。この場合、表示制御部147は、車両1の車高が変化する間、ガイド線95dを、ガイド線95aの位置からガイド線95cの位置まで移動させる。表示制御部147は、ガイド線95dを、実際の車高の変化に応じて移動させても良いし、時間の経過と共に移動させても良い。表示制御部147は、ガイド線95a,95cを表示せずに、ガイド線95dのみを表示しても良い。また、表示制御部147は、ガイド線95c,95dを、ガイド線95aとは異なる色、形状、透過状態等で表示しても良い。
本変形例のECU14によれば、車高変化中にガイド線95を移動させることにより、カメラビュー91または俯瞰画像92上のガイド線95の表示位置が正確ではないことをユーザに把握させると共に、車高の変化に伴うガイド線95の移動の方向をユーザに把握させることができる。
(変形例3)
図10および図11は、それぞれ、本変形例にかかるガイド線の表示の一例を示す図である。表示制御部147は、車両1の車高が変化する場合に、図10に示すように、変化前の車高に対応付けられた設定情報に基づくガイド線95の表示位置から、変化後の車高に対応付けられた設定情報に基づくガイド線95の表示位置まで達する幅の太い線として、カメラビュー91または俯瞰画像92上にガイド線95を表示しても良い。また、表示制御部147は、図11に示すように、変化前の車高に対応付けられた設定情報に基づくガイド線95aの表示位置から、変化後の車高に対応付けられた設定情報に基づくガイド線95cの表示位置までの範囲を色の濃淡のグラデーションで表示しても良い。当該グラデーションの表示は、実際の車高の変化または時間の経過と共に、ガイド線95aの位置からガイド線95cの位置に向かって徐々に色の濃度が上昇するように動的に変化しても良い。
以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。
1…車両、8…表示装置、15,15a〜15d…撮像部、23…車内ネットワーク、24…ダッシュボード、26…車高センサ、27…車輪速センサ、91…カメラビュー、92,92a〜92c…俯瞰画像、95,95a〜95d…ガイド線、100…車両制御システム、141…受付部、142…取得部、143…車高調整部、144…画像処理部、145…判断部、146…経路特定部、147…表示制御部、150…記憶部。

Claims (6)

  1. 車両に搭載された撮像部により撮像された撮像画像に基づいた周辺画像と、前記周辺画像に重畳された指標とを表示部に表示する表示制御部と、
    前記車両の状態または前記車両に搭載された前記撮像部の状態に基づいて、前記表示部の画面上における前記指標の表示位置の信用度を判断する判断部と、を備え、
    前記表示制御部は、前記信用度に基づいて、前記指標の表示態様を変更する、
    周辺監視装置。
  2. 前記判断部は、前記車両の車高が変化中である場合に、前記信用度が所定の基準より低いと判断し、
    前記表示制御部は、前記信用度が所定の基準より低いと判断された場合に、前記指標の表示態様を変更する、
    請求項1に記載の周辺監視装置。
  3. 前記表示制御部は、前記信用度が所定の基準より低いと判断された場合に、前記指標を、前記信用度が所定の基準以上と判断された場合とは異なる表示態様で表示する、
    請求項1または2に記載の周辺監視装置。
  4. 前記車両の車高と、前記画面上における前記指標の表示位置と、を対応付けて記憶する記憶部をさらに備え、
    前記表示制御部は、前記車両の車高が変化中である場合に、前記画面上において、変化前の車高に対応付けられた前記表示位置に第1の指標を表示し、変化後の車高に対応付けられた表示位置に第2の指標を表示する、
    請求項1から3のいずれか1項に記載の周辺監視装置。
  5. 前記車両の車高と、前記画面上における前記指標の表示位置と、を対応付けて記憶する記憶部をさらに備え、
    前記表示制御部は、前記車両の車高が変化中である場合に、前記画面上において、変化前の車高に対応付けられた前記表示位置に前記指標を表示し、前記指標を、変化後の車高に対応付けられた前記表示位置まで移動させる、
    請求項1から3のいずれか1項に記載の周辺監視装置。
  6. 前記表示態様は、色、形状、透過状態のうち少なくとも1つを含む、
    請求項1から5のいずれか1項に記載の周辺監視装置。
JP2018075603A 2018-04-10 2018-04-10 周辺監視装置 Active JP7159598B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018075603A JP7159598B2 (ja) 2018-04-10 2018-04-10 周辺監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018075603A JP7159598B2 (ja) 2018-04-10 2018-04-10 周辺監視装置

Publications (2)

Publication Number Publication Date
JP2019186754A true JP2019186754A (ja) 2019-10-24
JP7159598B2 JP7159598B2 (ja) 2022-10-25

Family

ID=68337659

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018075603A Active JP7159598B2 (ja) 2018-04-10 2018-04-10 周辺監視装置

Country Status (1)

Country Link
JP (1) JP7159598B2 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6080953A (ja) * 1983-10-12 1985-05-08 Niles Parts Co Ltd 距離測定用マ−カ−を備えた自動車用後方監視装置
JP2002293196A (ja) * 2001-03-29 2002-10-09 Matsushita Electric Ind Co Ltd 車載カメラの画像表示方法及びその装置
JP2006021641A (ja) * 2004-07-08 2006-01-26 Nissan Motor Co Ltd 車両周辺表示装置とその表示方法
JP2008034964A (ja) * 2006-07-26 2008-02-14 Toyota Motor Corp 画像表示装置
JP2011203053A (ja) * 2010-03-25 2011-10-13 Equos Research Co Ltd 運転アシストシステム
JP2012158225A (ja) * 2011-01-31 2012-08-23 Fujitsu Ten Ltd 画像表示システム、画像表示装置、及び、画像表示方法
JP2016101872A (ja) * 2014-11-28 2016-06-02 アイシン精機株式会社 車両周辺監視装置
JP2018056794A (ja) * 2016-09-29 2018-04-05 アイシン精機株式会社 周辺監視装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6080953A (ja) * 1983-10-12 1985-05-08 Niles Parts Co Ltd 距離測定用マ−カ−を備えた自動車用後方監視装置
JP2002293196A (ja) * 2001-03-29 2002-10-09 Matsushita Electric Ind Co Ltd 車載カメラの画像表示方法及びその装置
JP2006021641A (ja) * 2004-07-08 2006-01-26 Nissan Motor Co Ltd 車両周辺表示装置とその表示方法
JP2008034964A (ja) * 2006-07-26 2008-02-14 Toyota Motor Corp 画像表示装置
JP2011203053A (ja) * 2010-03-25 2011-10-13 Equos Research Co Ltd 運転アシストシステム
JP2012158225A (ja) * 2011-01-31 2012-08-23 Fujitsu Ten Ltd 画像表示システム、画像表示装置、及び、画像表示方法
JP2016101872A (ja) * 2014-11-28 2016-06-02 アイシン精機株式会社 車両周辺監視装置
JP2018056794A (ja) * 2016-09-29 2018-04-05 アイシン精機株式会社 周辺監視装置

Also Published As

Publication number Publication date
JP7159598B2 (ja) 2022-10-25

Similar Documents

Publication Publication Date Title
CN105539287B (zh) 周边监视装置
US9973734B2 (en) Vehicle circumference monitoring apparatus
JP6060910B2 (ja) 周辺監視装置、及びプログラム
EP2990265B1 (en) Vehicle control apparatus
US9902427B2 (en) Parking assistance device, parking assistance method, and non-transitory computer readable medium storing program
US9950739B2 (en) Vehicle circumference monitoring apparatus
JP2020043400A (ja) 周辺監視装置
CN107792177B (zh) 停车支援装置
CN107852481B (zh) 图像显示控制装置
JP2018144526A (ja) 周辺監視装置
CN107791951B (zh) 显示控制装置
JP2018133712A (ja) 周辺監視装置
JP2018006921A (ja) 周辺監視装置
JP2017094922A (ja) 周辺監視装置
CN109314770B (zh) 周边监控装置
JP2007212342A (ja) 車両用表示装置
JP2018207286A (ja) 周辺監視装置
CN112644466A (zh) 停车辅助装置、停车辅助方法以及记录介质
JP7159598B2 (ja) 周辺監視装置
JP6610140B2 (ja) 周辺監視装置
US10922977B2 (en) Display control device
JP2018076019A (ja) 画像処理装置
US11938818B2 (en) Periphery monitoring apparatus
US11153510B2 (en) Display control device
JP7159599B2 (ja) 周辺監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220926

R150 Certificate of patent or registration of utility model

Ref document number: 7159598

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150