JP2019038374A - 画像表示装置 - Google Patents

Abstract

【課題】画像処理装置に異常が発生した場合であっても周辺監視に有用な情報を提示可能とした画像表示装置を提供する。【解決手段】画像表示装置１を、車両周辺を撮像するカメラ１０と、カメラ１０が撮像した撮像画像に画像処理を施して表示用画像を生成する画像処理装置２０と、画像処理装置２０が生成する表示用画像を表示するディスプレイ３０と、画像処理装置２０の異常を検出する異常検出手段２４とを備え、画像処理装置２０は、異常が検出された場合に、画像処理を省略又は簡易化した異常時表示用画像をディスプレイ３０に表示させる構成とする。【選択図】図１

Description

本発明は、自動車等の車両に設けられる画像表示装置に関し、特に画像処理装置に異常が発生した場合であっても周辺監視に有用な情報を提示可能としたものに関する。

自動車等の車両において、手動運転時におけるドライバ等の乗員が自車両周囲の状況認識を容易に行えるようにして、監視負担の軽減等を図るため、カメラ等の撮像装置によって撮像された画像を乗員に提示する各種の画像表示装置が提案されている。

例えば、特許文献１には、自車両前方を赤外線カメラによって撮像した画像を、ヘッドアップディスプレイに表示する車両用表示装置が記載されている。

特開２００４−１５５３０７号公報

従来の画像表示装置において、カメラにより撮像された画像から特定の物体を抽出して強調表示したり、表示範囲、画角を調整するなど各種の画像処理が行われているが、こうした画像処理を行う装置に何等かの異常（フェール）が発生した場合、表示用画像を生成できなくなり、ディスプレイがブラックアウトしてしまうことが懸念される。
このような画像表示装置においては、車両周囲において乗員が視認できない死角を低減することが重要な目的の一つであり、万一画像処理が行えない状況になったとしても、何らかの有用な情報を表示して乗員による自車両周囲の状況監視を支援することが要望されている。
上述した問題に鑑み、本発明の課題は、画像処理装置に異常が発生した場合であっても周辺監視に有用な情報を提示可能とした画像表示装置を提供することである。

本発明は、以下のような解決手段により、上述した課題を解決する。
請求項１に係る発明は、車両周辺を撮像するカメラと、前記カメラが撮像した撮像画像に画像処理を施して表示用画像を生成する画像処理装置と、前記画像処理装置が生成する前記表示用画像を表示するディスプレイと、前記画像処理装置の異常を検出する異常検出手段とを備え、前記画像処理装置は、前記異常が検出された場合に、前記画像処理を省略又は簡易化した異常時表示用画像を前記ディスプレイに表示させることを特徴とする画像表示装置である。
これによれば、画像処理装置に異常が発生した場合であっても、ディスプレイの表示が消失することを防止し、最低限カメラにより撮像された撮像画像に相当する情報は表示することによって、周辺監視に有用な情報を乗員に提示することができる。

請求項２に係る発明は、前記画像処理装置は、前記撮像画像から特定の被写体を抽出して他の被写体とは表示態様を異ならせた前記表示用画像を生成して前記ディスプレイに表示させる機能を有し、前記異常が検出された場合には前記特定の被写体の前記撮像画像を前記ディスプレイに表示させることを特徴とする請求項１に記載の画像表示装置である。
これによれば、通常時には例えば他車両、歩行者、標識、信号機等の特定の被写体を抽出するとともに、抽出された被写体の表示態様を異ならせて強調して表示し、乗員の注意を喚起するとともに、画像処理装置に異常が発生してこのような処理を行えない場合には、当該被写体の撮像画像を表示することによって、乗員に対して最低限必要な情報を提示することができる。

請求項３に係る発明は、前記画像処理装置は、前記撮像画像から一部の範囲をトリミングして前記表示用画像の視野を設定する機能を有し、前記異常が検出された場合には前記撮像画像の視野と前記表示用画像の視野とを実質的に同等とすることを特徴とする請求項１又は請求項２に記載の画像表示装置である。
これによれば、表示範囲の設定やトリミングに係る処理の負担が過大となって画像処理装置がフェール状態にある場合に、画像処理装置の負荷を軽減してディスプレイにおける表示を続行することができる。

請求項４に係る発明は、前記画像処理装置は、前記異常が検出された場合には前記撮像画像を実質的に無編集で前記表示用画像とすることを特徴とする請求項１から請求項３までのいずれか１項に記載の画像表示装置である。
これによれば、実質的に画像の編集を行わず、撮像画像をほぼそのまま表示用画像としてディスプレイに表示させることによって、画像処理装置が実質的に画像編集等を行えない場合であってもディスプレイにおける表示を続行することができる。

請求項５に係る発明は、車両周辺を撮像するカメラと、前記カメラが撮像した撮像画像に画像処理を施して表示用画像を生成する画像処理装置と、前記画像処理装置が生成する前記表示用画像を表示するディスプレイと、前記画像処理装置の異常を検出する異常検出手段とを備え、前記異常が検出された場合に、前記カメラが出力する前記撮像画像を前記画像処理装置をバイパスして前記ディスプレイに表示させるパイパス手段を有することを特徴とする画像表示装置である。
これによれば、画像処理装置に異常が発生した場合であっても、ディスプレイの表示が消失することを防止し、カメラにより撮像された撮像画像の情報は表示することによって、周辺監視に有用な情報を乗員に提示することができる。

以上説明したように、本発明によれば、画像処理装置に異常が発生した場合であっても周辺監視に有用な情報を提示可能とした画像表示装置を提供することができる。

本発明を適用した画像表示装置の第１実施形態の構成を模式的に示すブロック図である。 第１実施形態の画像表示装置におけるフェールセーフ制御を示すフローチャートである。 第１実施形態の画像表示装置における撮像画像の一例を示す図である。 第１実施形態の画像表示装置における通常時の表示用画像の一例を示す図である。 本発明を適用した画像表示装置の第２実施形態の構成を模式的に示すブロック図である。 第２実施形態の画像表示装置におけるフェールセーフ制御を示すフローチャートである。

＜第１実施形態＞
以下、本発明を適用した画像表示装置の第１実施形態について説明する。
第１実施形態の画像表示装置は、例えば乗用車等の自動車に搭載され、自車両前方を撮像した画像（撮像画像）に所定の画像処理を施して表示用画像を生成し、乗員の前方に配置されたディスプレイに表示させるものである。
ここで、乗員は、手動運転を行う車両においては運転者であり、自動運転を行う車両においては、自車両の周辺監視に責任を有する者である。

図１は、第１実施形態の画像表示装置の構成を模式的に示すブロック図である。
画像表示装置１は、カメラ１０、画像処理装置２０、ディスプレイ３０等を有して構成されている。

カメラ１０は、自車両の前方を撮像する撮像装置である。
カメラ１０は、ＣＭＯＳ等の固体撮像素子及びその駆動装置や、ＣＭＯＳの撮像面に被写体像を結像するレンズ等の光学系を有する。
カメラ１０は、自車両前方を撮像した撮像画像の画像データを、撮像画像ラインＬ１を経由して画像処理装置２０に逐次伝達する。

画像処理装置２０は、カメラ１０から伝達された撮像画像の画像データに、明度、コントラスト、色調、歪曲等の各種補正や、特定の被写体の抽出等の画像処理を施し、ディスプレイ３０により表示される表示用画像の画像データを生成するものである。
画像処理装置２０は、視野調整手段２１、特定被写体抽出手段２２、表示態様変更手段２３、異常検出手段２４等を有して構成されている。

視野調整手段２１は、カメラ１０から伝達された撮像画像から、乗員による自車両前方の環境監視に重要な範囲をトリミングすることによって、表示用画像の視野を調整するものである。
視野調整手段２１は、例えば、自車両の進行方向における道路形状や、乗員に注意を喚起すべき他車両や歩行者等の被写体が表示用画像内に含まれるように視野を設定する。

特定被写体抽出手段２２は、撮像画像に公知の画像認識処理を施すことにより、撮像画像に含まれる被写体の中から特定の物体等を抽出するものである。
ここで、特定の物体として、例えば、先行車両や対向車両等の他車両、歩行者、自転車、標識、信号機等があげられる。
特定被写体抽出手段２２は、被写体の種類を判別するとともに、被写体が標識、信号機、看板、情報掲示板等である場合には、その表示内容を読み取ることが可能である。

表示態様変更手段２３は、特定被写体抽出手段２２により抽出された特定の被写体に係る表示用画像内における表示態様を、他の被写体とは異ならせて強調する。
例えば、特定の被写体の周囲を枠で囲ったり、表示色を異ならせることによって、乗員の注意喚起を図ることができる。
また、特定の被写体が標識や信号機である場合には、標識、信号機が表示する事項の内容を、所定の絵柄やテキストメッセージにより表示することも、ここでいう表示態様の変更に含むものとする。

異常検出手段２４は、画像処理装置２０内における各手段の機能が正常であるか、フェール（異常）が発生しているか否かを、公知の診断アルゴリズムによって検出する診断装置である。
画像処理装置２０が生成した表示用画像の画像データは、表示用画像ラインＬ２を経由してディスプレイ３０に伝達される。

ディスプレイ３０は、例えば乗員が収容される車室の内部において、乗員の前方側に配置された画像表示手段である。
ディスプレイ３０は、例えば、インストルメントパネル等に取り付けられたＬＣＤ、有機ＥＬディスプレイや、フロントガラス等に画像を投影するヘッドアップディスプレイ（ＨＵＤ）装置等を有する。ディスプレイ３０は、表示用画像ラインＬ２を経由して画像処理装置２０から伝達される表示用画像を表示する機能を有する。

次に、第１実施形態の画像表示装置の動作について説明する。
図２は、第１実施形態の画像表示装置におけるフェールセーフ制御を示すフローチャートである。
以下、ステップ毎に順を追って説明する。

＜ステップＳ０１：画像処理装置状態判定＞
画像処理装置２０の異常検出手段２４は、画像処理装置２０の状態を診断し、正常に表示用画像の出力が不可能又は困難なフェール（誤作動やオーバーフロー等の異常）が発生しているか否かを判別する。
フェールがない場合（正常である場合）はステップＳ０２に進み、何等かのフェールがある場合はステップＳ０３に進む。

＜ステップＳ０２：通常時表示用画像出力＞
画像処理装置２０は、通常の表示用画像を生成して出力し、ディスプレイ３０に表示させる。
通常の表示用画像については、後に詳しく説明する。
その後、一連の処理を終了する。

＜ステップＳ０３：視野調整手段フェール判断＞
異常検出手段２４が視野調整手段２１のフェールを検出した場合にはステップＳ０４に進み、検出しない場合にはステップＳ０５に進む。

＜ステップＳ０４：視野調整中止＞
画像処理装置２０は、視野調整手段２１による視野調整処理を中止し、表示用画像における表示範囲（視野）を、撮像画像と実質的に同様とする。
その後、ステップＳ０５に進む。

＜ステップＳ０５：特定被写体抽出手段フェール判断＞
異常検出手段２４が特定被写体抽出手段２２のフェールを検出した場合にはステップＳ０６に進み、検出しない場合にはステップＳ０７に進む。

＜ステップＳ０６：特定被写体抽出中止＞
画像処理装置２０は、特定被写体抽出手段２２による被写体抽出処理を中止する。
その後、ステップＳ０８に進む。

＜ステップＳ０７：表示態様変更手段フェール判断＞
異常検出手段２４が表示態様変更手段２３のフェールを検出した場合にはステップＳ０８に進み、検出しない場合にはステップＳ０９に進む。

＜ステップＳ０８：表示態様変更中止＞
画像処理装置２０は、表示態様変更手段２３による表示態様変更処理を中止する。
その後、ステップＳ０９に進む。

＜ステップＳ０９：表示用画像生成可否判断＞
画像処理装置２０は、ステップＳ０５以降の処理により画像処理を簡略化された表示用画像を生成可能であるか否かを判別する。
表示用画像を生成可能である場合にはステップＳ１０に進み、生成不可能である場合にはステップＳ１１に進む。

＜ステップＳ１０：フェール時表示用画像出力＞
画像処理装置２０は、通常時の表示用画像に対して一部の画像処理が省略、簡略化されたフェール時用表示用画像（異常時表示用画像の一例）を生成し、表示用画像ラインＬ２を経由してディスプレイ３０に出力し、表示させる。
その後、一連の処理を終了する。

＜ステップＳ１１：撮像画像スルー出力＞
画像処理装置２０は、カメラ１０から入力される撮像画像（異常時表示用画像の他の例）を、実質的に無編集のまま表示用画像ラインＬ２にスルー出力し、ディスプレイ３０に表示させる。
その後、一連の処理を終了する。

以下、第１実施形態の画像表示装置における撮像画像及び表示用画像の一例について説明する。
図３は、第１実施形態の画像表示装置における撮像画像の一例を示す図である。
撮像画像Ｉ１は、カメラ１０から出力される実質的に無編集の出力画像である。
撮像画像Ｉ１には、自車両走行車線１０１、対向車線１０２、白線１０３〜１０５、先行車１１０、歩行者１２０、標識１３０等の被写体の像が含まれている。

図３に示す例において、自車両は左側通行の片側一車線の直線道路を走行しており、自車両走行車線１０１の右側に対向車線１０２が設けられている。
自車両走行車線の左右には白線１０３，１０４が延在している。
対向車線１０２の自車両走行車線側とは反対側（自車両から見て右側）の端には、白線１０５が延在している。

先行車１１０は、自車両走行車線１０１における自車両の前方を、自車両と同一方向に走行している。
歩行者１２０は、自車両走行車線１０１の左側に存在する。
標識１３０は、自車両走行車線１０１の左側に存在する。
図３に示す例において、標識は例えば法規等による速度制限を示すものであり、例えば最高速度が４０ｋｍ／ｈであることを示す「４０」という文字が記載されている。

図４は、第１実施形態の画像表示装置における通常時の表示用画像の一例を示す図である。
図４に示す表示用画像Ｉ２においては、視野調整手段２１により、図３に示す撮像画像Ｉ１に対して、乗員による自車両前方監視に重要な領域（図３において破線の矩形により示す領域）をトリミングし、拡大表示するようにしている。

また、特定被写体抽出手段２２は、先行車１１０、歩行者１２０、標識１３０を特定の被写体として抽出する。
表示態様変更手段２３は、特定被写体抽出手段２２による抽出結果を受けて、先行車１１０、歩行者１２０の被写体像を、例えば太線破線の枠状の表示で囲むことによって、表示態様を他の被写体とは変更し、強調表示している。
また、表示態様変更手段２３は、標識１３０が示す「制限速度４０ｋｍ／ｈ」という情報を、絵柄及びテキストによって強調して表示する標識内容表示１４０を生成し、表示用画像Ｉ２の一部に組み込む。

第１実施形態において、画像処理装置２０が有する各手段の少なくとも一部にフェールが発生している場合は、当該手段により行われている画像処理が省略されたもの、あるいは、実質的に撮像画像と同様の画像が表示用画像としてディスプレイ３０に表示される。
この状態においても、乗員は自車両前方の道路形状や、他車両、歩行者等の位置、標識等をディスプレイ３０の画面上で目視することは可能である。

以上説明した第１実施形態によれば、以下の効果を得ることができる。
（１）画像処理装置２０に異常が発生した場合であっても、ディスプレイ３０の表示が消失することを防止し、カメラ１０により撮像された撮像画像に相当する情報は表示することによって、周辺監視に有用な情報を乗員に提示することができる。
（２）特定被写体抽出手段２２、表示態様変更手段２３にフェールが発生した場合に、本来抽出して乗員に注意喚起すべき被写体の画像を、実質的に無編集でディスプレイ３０に表示することにより、乗員に対して最低限必要な情報を提示することができる。
（３）視野調整手段２１にフェールが発生した場合に、視野調整処理を中止して表示を続行することにより、表示範囲の設定やトリミングに係る処理の負担が過大となって画像処理装置２０がフェール状態にある場合に、画像処理装置２０の負荷を軽減してディスプレイ３０における表示を続行することができる。
（４）画像処理装置２０が表示用画像を生成できない場合に、実質的に画像の編集を行わず、撮像画像をほぼそのまま表示用画像としてディスプレイ３０に表示させることによって、画像処理装置２０が実質的に画像編集等を行えない場合であってもディスプレイ３０における表示を続行することができる。

＜第２実施形態＞
次に、本発明を適用した画像表示装置の第２実施形態について説明する。
上述した第１実施形態と実質的に共通する箇所には同じ符号を付して説明を省略し、主に相違点について説明する。

図５は、第２実施形態の画像表示装置の構成を模式的に示すブロック図である。
第２実施形態の画像表示装置１Ａは、カメラ１０から撮像画像を直接ディスプレイ３０に伝達するバイパスラインＬＢを設けるとともに、画像処理装置２０の異常検出手段２４から、異常検出時にディスプレイ３０に信号を伝達する異常信号ラインＬＳを設けている。

図６は、第２実施形態の画像表示装置におけるフェールセーフ制御を示すフローチャートである。
以下、ステップ毎に順を追って説明する。

＜ステップＳ２１：画像処理装置状態判定＞
画像処理装置２０の異常検出手段２４は、画像処理装置２０の状態を診断し、正常に表示用画像の出力が不可能又は困難なフェール（異常）が発生しているか否かを判別する。
フェールがない場合（正常である場合）はステップＳ２２に進み、何等かのフェールがある場合はステップＳ２３に進む。

＜ステップＳ２２：通常時表示用画像出力＞
画像処理装置２０は、通常の表示用画像を生成して出力し、ディスプレイ３０に表示させる。
その後、一連の処理を終了する。

＜ステップＳ２３：撮像画像バイパス出力＞
異常検出手段２４は、異常が検出したことを示す信号を異常信号ラインＬＳを経由してディスプレイ３０に伝達する。
この信号を受けたディスプレイ３０は、入力をバイパスラインＬＢ側に切り替え、カメラ１０から出力される撮像画像を実質的に無編集で表示する。
その後、一連の処理を終了する。

以上説明した第２実施形態によれば、画像処理装置２０に異常が発生した場合であっても、ディスプレイ３０の表示が消失することを防止し、カメラ１０により撮像された撮像画像の情報は表示することによって、周辺監視に有用な情報を乗員に提示することができる。

（変形例）
本発明は、以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の技術的範囲内である。
（１）画像表示装置及びこれが搭載される車両の構成は、上述した実施形態に限定されることなく適宜変更することができる。
例えば、画像処理装置において行われる画像処理の種類は、上述した実施形態に限定されず、適宜変更することができる。
また、実施形態において複数の要素により実現している機能を単一の要素に集約したり、逆に単一の要素により実現している機能を複数の要素が共働して実現するようにしてもよい。
（２）実施形態において、画像表示装置は自車両の前方の画像を表示するものであるが、本発明はこれに限らず、自車両の側方や後方の画像を表示するものにも適用することができる。

１，１Ａ 画像表示装置 １０ カメラ
２０ 画像処理装置 ２１ 視野調整手段
２２ 特定被写体抽出手段 ２３ 表示態様変更手段
２４ 異常検出手段 ３０ ディスプレイ
Ｌ１ 撮像画像ライン Ｌ２ 表示用画像ライン
ＬＢ バイパス画像ライン ＬＳ 異常信号ライン
Ｉ１ 撮像画像 Ｉ２ 表示用画像
１０１ 自車両走行車線 １０２ 対向車線
１０３〜１０５ 白線 １１０ 先行車両
１２０ 歩行者 １３０ 標識
１４０ 標識内容表示

Claims (5)

1. 車両周辺を撮像するカメラと、
   前記カメラが撮像した撮像画像に画像処理を施して表示用画像を生成する画像処理装置と、
   前記画像処理装置が生成する前記表示用画像を表示するディスプレイと、
   前記画像処理装置の異常を検出する異常検出手段とを備え、
   前記画像処理装置は、前記異常が検出された場合に、前記画像処理を省略又は簡易化した異常時表示用画像を前記ディスプレイに表示させること
   を特徴とする画像表示装置。
2. 前記画像処理装置は、前記撮像画像から特定の被写体を抽出して他の被写体とは表示態様を異ならせた前記表示用画像を生成して前記ディスプレイに表示させる機能を有し、前記異常が検出された場合には前記特定の被写体の前記撮像画像を前記ディスプレイに表示させること
   を特徴とする請求項１に記載の画像表示装置。
3. 前記画像処理装置は、前記撮像画像から一部の範囲をトリミングして前記表示用画像の視野を設定する機能を有し、前記異常が検出された場合には前記撮像画像の視野と前記表示用画像の視野とを実質的に同等とすること
   を特徴とする請求項１又は請求項２に記載の画像表示装置。
4. 前記画像処理装置は、前記異常が検出された場合には前記撮像画像を実質的に無編集で前記表示用画像とすること
   を特徴とする請求項１から請求項３までのいずれか１項に記載の画像表示装置。
5. 車両周辺を撮像するカメラと、
   前記カメラが撮像した撮像画像に画像処理を施して表示用画像を生成する画像処理装置と、
   前記画像処理装置が生成する前記表示用画像を表示するディスプレイと、
   前記画像処理装置の異常を検出する異常検出手段とを備え、
   前記異常が検出された場合に、前記カメラが出力する前記撮像画像を前記画像処理装置をバイパスして前記ディスプレイに表示させるパイパス手段を有すること
   を特徴とする画像表示装置。

Images