JP2009255608A

JP2009255608A - 車両用表示装置

Info

Publication number: JP2009255608A
Application number: JP2008103634A
Authority: JP
Inventors: Kotaro Yoshimura; 光太郎吉村
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2008-04-11
Filing date: 2008-04-11
Publication date: 2009-11-05
Anticipated expiration: 2028-04-11
Also published as: JP5105306B2

Abstract

【課題】歩行者検知結果を反映させた映像を表示する際に、ユーザに違和感のない映像を見せることが可能な車両用表示装置を提供する。
【解決手段】撮影装置からの入力画像データを、第一画像データ群として撮影順に複数枚バッファリングする画像バッファリング部と、画像バッファリング部への入力経路から分岐する形で入力画像データが、画像バッファリング部への入力間隔よりも長い取り込み間隔にて間引かれつつ第二画像データとして取り込み入力され、その第二画像データ上にて検出対象物位置を特定する画像解析を行い、その結果を出力する画像解析部と、画像バッファリング部に記憶されている第一画像データ群のうち、第二画像データに対応するものを合成対象画像として、該合成対象画像に対し画像解析部により特定された検出対象物位置にマーカ画像を合成して出力用画像データとするマーカ合成部と、出力用画像データを表示出力する画像出力部と、を備えることを特徴とする。
【選択図】図２

Description

本発明は、カメラ等の撮影装置によって撮影された車両の周囲の画像を表示する車両用表示装置に関するものである。

近年、安全走行手段の一つとして、暗視カメラによる車両前方の光景を車内の表示装置に表示するヘッドアップ式表示装置のような車両用表示装置が普及しつつある。しかし、暗視カメラによる車両前方の光景を、このヘッドアップ式表示装置を用いて表示しようとした場合、夜間や濃霧等の状況下で歩行者等が存在したときには、歩行者等とその背景との赤外線の強度差がハッキリしないために、明瞭な画像を得ることができず、認識しにくいという問題点がある。また、この暗視カメラを安全走行の支援装置として使用できるようにするためには、表示装置の表示面を運転者の視界の中に常時入るように設置しなくてはならない。しかしながら、この場合、走行に伴って変化する車両前方の光景がそのまま表示され、かつその表示画像の明暗が激しく変化するので、その光景の変化が視界の中に常時入ってきて運転者に煩わしさを与えてしまうという問題点がある。

上記問題点を解決するために、車両前方画像の必要な時には、分かり易く、かつ運転者に煩わしさを与えない装置を提供することを目的とする車両用表示装置が考案されている（特許文献１参照）。

特開２０００−４６５２１号公報

従来技術による方法で、例えば夜間走行時に歩行者を検知する安全走行支援を行った場合、歩行者検知結果を反映させた映像を表示しようとすると、歩行者検知のための計算処理時間により、歩行者検知枠が表示装置に表示される映像とずれてしまい違和感のある映像を表示させるという懸念がある。図３にこの例を示す。図３のように右から左に移動する歩行者３１を検知した場合、歩行者検知枠３２は、現在の歩行者の位置（３１）から、歩行者が上記の計算処理時間だけ前に存在した位置に表示されるため、歩行者検知枠３２は歩行者３１に遅れて追従するような形になってしまう。

特許文献１の例では、上記問題を解消する技術については、示唆・開示ともない。

上記問題を背景として、本発明の課題は、歩行者検知結果を反映させた映像を表示する際に、ユーザに違和感のない映像を見せることが可能な車両用表示装置を提供することにある。

課題を解決するための手段および発明の効果

上記課題を解決するための車両用表示装置は、予め定められた撮影時間間隔で車両の周囲を順次撮影する撮影装置と、撮影装置からの入力画像データを、第一画像データ群として撮影順に複数枚バッファリングする画像バッファリング部と、画像バッファリング部への入力経路から分岐する形で入力画像データが、画像バッファリング部への入力間隔よりも長い取り込み間隔にて間引かれつつ第二画像データとして取り込み入力され、その第二画像データ上にて検出対象物位置を特定する画像解析を行い、その結果を出力する画像解析部と、画像バッファリング部に記憶されている第一画像データ群のうち、第二画像データに対応するものを合成対象画像として、該合成対象画像に対し画像解析部により特定された検出対象物位置にマーカ画像を合成して出力用画像データとするマーカ合成部と、出力用画像データを表示出力する画像出力部と、を備えることを特徴とする。

撮影された画像データを複数枚バッファリングした後に表示するということは、その画像データが、実際に撮影された時点から画像バッファリング部に記憶されている時間だけ遅れて表示されるということである。その間にマーカ画像（歩行者検知枠）を生成すれば、マーカ画像とマーカ画像の生成の基となった画像データとを重畳表示することができ、マーカ画像は検出対象物（歩行者）に追従するように表示できる。また、この表示遅れは、せいぜい数百ｍｓｅｃであるので、車両の運転にも支障がない。上記構成によって、ユーザに違和感のない映像を見せることが可能となる。

また、本発明の車両用表示装置における画像バッファリング部は、複数枚の第一画像データを先入れ・先出し方式により順次記憶するＦＩＦＯ画像メモリを有し、該ＦＩＦＯ画像メモリに第一画像データが入力されてから出力されるまでの遅延時間が、該第一画像データに対応する第二画像データの画像解析に要する時間に対応するものとなるように、該該ＦＩＦＯ画像メモリ内の第一画像データの記憶枚数が定められている。

マーカ画像を生成する時間は、システムやハードウェアによって決まる。また、画像データ記憶手段への画像データの読み書きの時間も予め分かる。これにより、記憶容量も予め算出しておくことができる。上記構成によって、システムに見合った性能・容量を有する画像バッファリング部（記憶媒体）を選択することができ、コスト上昇を抑制することができる。また、例えば、撮影した画像データに識別番号を付与して、画像データと識別番号とを関連付けて記憶して、その識別番号によって、マーカ画像と、そのマーカ画像を生成する基となった画像データとを合わせて表示する方法に比べて処理が複雑とならず、処理時間も短縮できる。

また、本発明の車両用表示装置は、撮影装置からのアナログ入力映像信号と入力同期信号とが画像解析部と画像バッファリング部とに分配入力されるとともに、画像バッファリング部は入力同期信号が到来する毎にアナログ入力映像信号を第一画像データとして順次取り込むものであり、画像解析部は入力同期信号を受けて第二画像データを取り込んだ後、当該第二画像データに係る画像解析が完了するまでは、その後に到来する入力同期信号に対応した画像取り込みを休止するように構成される。

上記構成によって、撮影装置がアナログ入力映像信号を出力する場合に、そのアナログ入力映像信号を画像データとして取り込むことが可能となる。また、画像解析が完了する前に次の画像データを取り込んで、画像解析処理の妨げとなることを防止できる。

また、本発明の車両用表示装置は、撮影装置からの入力画像データは、その入力画像データのフレームを識別するための識別データが付随したデジタル画像データであり、画像バッファリング部は、入力画像データが到来する毎にこれを第一画像データとして順次取り込むものであり、画像解析部は第二画像データを取り込んだ後、当該第二画像データに係る画像解析が完了するまでは、その後に到来するデジタル画像データの取り込みを休止するように構成される。

上記構成によって、撮影装置がデジタル画像データを出力する場合に、そのデジタル画像データをフレーム毎に画像データとして取り込むことが可能となる。また、画像解析が完了する前に次の画像データを取り込んで、画像解析処理の妨げとなることを防止できる。

以下、本発明の車両用表示装置の実施の形態を、図面を用いて説明する。図１に、車両用表示装置１の構成を示す。車両用表示装置１は、カメラ１１，画像処理ＩＣ１２，検知結果映像描画ＩＣ１３，ＰＬＤ（Programmable Logic Device：プログラム可能論理デバイス）１４，ＲＡＭ１５，映像合成ＩＣ１６，ディスプレイ１７を含んで構成される。

カメラ１１は、通常のＣＣＤカメラあるいは暗視カメラとして構成され、例えば車両前方を撮影可能なように、フロントグリル内あるいは車室内の天井の前方中央部に取り付けられる。なお、カメラ１１が本発明の撮影装置に相当する。

画像処理ＩＣ１２は、取り込んだ画像データ（第二画像データ：可視光画像または赤外線画像）に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像処理用画像データを生成する。そして、歩行者あるいは道路上の物体を検知対象物とした所定の認識処理を行い、この認識結果に基づき、検知対象物の画像を抽出する。具体的には、予め画像処理ＩＣ１２内部に記憶された検知対象物の基準画像と比較して基準画像との類似度を算出し、その類似度が予め定められた閾値を超えた場合に、検知対象物の画像であると判定する。なお、画像処理ＩＣ１２が本発明の画像解析部に相当する。

検知結果映像描画ＩＣ１３は、画像処理ＩＣ１２における画像処理結果に基づいて、検知対象物の画像の、元の画像データ（第二画像データ）における位置（座標）を算出する。そして、検知対象物の画像の大きさに応じたマーカ画像を生成する。なお、検知結果映像描画ＩＣ１３が本発明の画像解析部に相当する。

図２に、ＰＬＤ（Programmable Logic Device：プログラム可能論理デバイス）１４の構成を示す。ＰＬＤ１４は、映像入力部１４１，タイミング制御１４２，ＲＡＭアクセス制御部１４３，映像出力部１４４とを含んで構成される。ＰＬＤ１４では、カメラ１１で撮影された入力画像データを、第一画像データとして、映像入力部１４１，ＲＡＭアクセス制御部１４３を介してＲＡＭ１５に一時記憶する。そして、ＲＡＭ１５から読み出された第一画像データは、タイミング制御１４２で生成される出力同期信号とともに、出力映像信号として映像合成ＩＣ１６に出力される。また、ＲＡＭ１５における画像データの読み書きは、ＦＩＦＯ（first-in，first-out）ともいわれる先入れ・先出し方式により行われる。なお、ＲＡＭ１５が本発明の画像バッファリング部に相当する。

入力同期信号は、画像データのフレームを識別するためのもので、カメラ１１からの入力画像データが、アナログ入力映像信号のときには、例えば周知の垂直同期信号（Ｖｓｙｎｃ）が用いられる。また、カメラ１１からの入力画像データが、フレームを識別するための識別データが付随したデジタル画像データであるときには、この識別データを入力同期信号として用いる。

なお、ＰＬＤ１４以外にも、上記と同等の機能を実現できるものであれば、ＦＰＧＡ（Field Programable Gate Array：現場で書き換え可能な大規模集積回路），ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路），ＤＳＰ（Digital Signal Processor：デジタル信号処理），ＭＰＵ（Microprocessor Unit：マイクロプロセッサ・ユニット），ゲートアレイのいずれを用いてもよい。

図１に戻り、映像合成ＩＣ１６は、例えば、映像内の特定の色を透過させる方法である「クロマキー」、あるいは映像内の特定の輝度を持つ箇所を透過させる方法である「ルミナンスキー」等を用いて、検知結果映像描画ＩＣ１３から作成・出力されたマーカ画像と、ＰＬＤ１４から出力された出力映像信号（第一画像データ）とを合成して、ディスプレイ１７に表示するための出力用画像データを作成し、ディスプレイ１７に出力する。なお、映像合成ＩＣ１６が本発明のマーカ合成部に相当する。また、ディスプレイ１７が本発明の画像出力部に相当する。

ディスプレイ１７は、液晶表示器，有機エレクトロルミネッセンス表示器，プラズマ表示器，電界放出表示器などの画像表示器全般とプロジェクタによる投影表示機構を備えた表示器のいずれを用いてもよい。

図４を用いて、車両用表示装置１の動作の詳細について述べる。カメラ１１では、フレーム１，フレーム２，…，フレームＮ，…の順に入力画像データが撮影される。そして、フレーム１の画像データは、ＰＬＤ１４の映像入力部１４１に入力される。映像入力部１４１では、ＲＡＭ１５に記憶するためのデータにデコードする。同時にフレーム１の画像データを識別するための入力同期信号がＰＬＤ１４のタイミング制御部１４２に入力される。このとき、タイミング制御部１４２では、ＲＡＭアクセス用カウンタのカウンタ値を１つ増やす。

ＲＡＭアクセス制御部１４３では、上記で算出されたＲＡＭアクセス用カウンタのカウンタ値を基に、ＲＡＭ１５における、映像入力部１４１に入力された第一画像データ（デコード済）を格納するアドレスを決定する。図５に、ＲＡＭ１５における第一画像データの格納例を示す。図５の例では、画像データ格納領域の先頭アドレス＋カウンタ値で示される領域に格納される。

同時に、予め定められたフレーム数だけ前に記憶された画像データを読み出し、映像出力部１４４に出力する。例えば、上述のカウンタ値から予め定められた値を減じたものを、画像データ格納領域の先頭アドレスに加えて読み出しアドレスとする。読み出された画像データは、出力映像信号にエンコードされて映像合成ＩＣ１６に出力されるが、このときに出力映像信号のフレームを識別するための出力同期信号も生成され、映像合成ＩＣ１６に出力される。

一方、フレーム１の画像データは、ＰＬＤ１４に入力されると同時に第二画像データとして画像処理ＩＣ１２に取り込まれ、上述のような画像処理が行なわれる。そして、歩行者等の検知対象物の画像が抽出され、その結果が検知結果映像描画ＩＣ１３に出力されて、上述のように検知結果映像描画ＩＣ１３でマーカ画像およびその位置情報が作成され、映像合成ＩＣ１６に出力される。

ＲＡＭ１５に第一画像データが入力されてから出力されるまでの遅延時間は、ＲＡＭ１５の仕様により決定する。また、画像処理ＩＣ１２および検知結果映像描画ＩＣ１３における処理時間は、予め測定して求めておくことができる。また、各ＩＣの仕様からも求められる。さらに、カメラ１１で撮影される単位時間あたりのフレーム数も既知となっている。よって、入力画像データがカメラ１１で撮影されてＰＬＤ１４から出力されるまでの時間と、その画像データに基づくマーカ画像が検知結果映像描画ＩＣ１３から出力されるまでの時間（計算処理時間）との差を、フレーム数として算出することができる。よって、少なくともそのフレーム数分だけバッファリング可能なように、ＲＡＭ１５の領域を確保すればよい。

その結果、ディスプレイ１７に表示される画像（出力映像）は、カメラ１１で撮影された時点からＮフレーム分の時間だけ遅れて表示される。例えば、フレーム１の画像データは、カメラ１１でフレームＮの画像データが撮影されたときにディスプレイ１７に表示される。この表示遅れの時間でフレーム１の画像データに基づくマーカ画像が生成されるので、このマーカ画像はフレーム１の画像データに合成されて表示される。この場合、図３において、歩行者検知枠３２は歩行者３１を囲むように表示される。

また、フレーム１の画像データに基づく画像解析が行われているときには、フレーム２〜フレームＮ−１の画像データがカメラ１１から入力された場合、ＲＡＭ１５には書き込まれるが、画像処理ＩＣ１２には取り込まれない（取り込んでも画像解析を行うことができない）。

そして、フレームＮの画像データがカメラ１１から入力された場合、画像処理ＩＣ１２では、このフレームＮの画像データに基づいて画像解析が行われる。

画像合成後のフレーム１の画像データ（出力用画像データ）が表示されてから、画像合成後のフレームＮの画像データが表示されるまでの間は、ディスプレイ１７に表示される画像には、マーカ画像が重畳表示されない。しかし、残像効果により、マーカ画像が途切れて見える現象を回避することができる。

また、上述のＲＡＭ１５に第一画像データが入力されてから出力されるまでの遅延時間を長く設定することで、マーカ画像を、マーカ画像の作成の基となった画像データよりも、例えば３フレーム前の画像データと合成して表示することもできる。例えば、図４において、フレーム４の画像データに基づくマーカ画像を、フレーム１の画像データと合成して表示するものである。これにより、図６のように、ディスプレイ１７には、歩行者検知枠３２が歩行者３１に対してやや先行するように表示され、あたかも、歩行者の移動方向を予測しているかの如く見せることができる。これにより、運転者の対応をより早く促すこともできる。

以上、本発明の実施の形態を説明したが、これらはあくまで例示にすぎず、本発明はこれらに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。

車両用表示装置の構成を示す図。ＰＬＤの構成を示す図。従来技術の構成による表示例を示す図。入力映像と出力映像との関係を示す図。ＲＡＭの画像データ格納領域の構成例を示す図。本発明の構成による表示例を示す図。

符号の説明

１車両用表示装置
１１カメラ（撮影装置）
１２画像処理ＩＣ（画像解析部）
１３検知結果映像描画ＩＣ（画像解析部）
１４ＰＬＤ
１４１映像入力部
１４２タイミング制御部
１４３ＲＡＭアクセス制御部
１４４映像出力部
１５ＲＡＭ（画像バッファリング部）
１６映像合成ＩＣ（マーカ合成部）
１７ディスプレイ（画像出力部）

Claims

予め定められた撮影時間間隔で車両の周囲を順次撮影する撮影装置と、
前記撮影装置からの入力画像データを、第一画像データ群として撮影順に複数枚バッファリングする画像バッファリング部と、
前記画像バッファリング部への入力経路から分岐する形で前記入力画像データが、前記画像バッファリング部への入力間隔よりも長い取り込み間隔にて間引かれつつ第二画像データとして取り込み入力され、その第二画像データ上にて検出対象物位置を特定する画像解析を行い、その結果を出力する画像解析部と、
前記画像バッファリング部に記憶されている前記第一画像データ群のうち、前記第二画像データに対応するものを合成対象画像として、該合成対象画像に対し前記画像解析部により特定された前記検出対象物位置にマーカ画像を合成して出力用画像データとするマーカ合成部と、
前記出力用画像データを表示出力する画像出力部と、
を備えることを特徴とする車両用表示装置。
前記画像バッファリング部は、複数枚の前記第一画像データを先入れ・先出し方式により順次記憶するＦＩＦＯ画像メモリを有し、
該ＦＩＦＯ画像メモリに前記第一画像データが入力されてから出力されるまでの遅延時間が、該第一画像データに対応する前記第二画像データの前記画像解析に要する時間に対応するものとなるように、該該ＦＩＦＯ画像メモリ内の前記第一画像データの記憶枚数が定められている請求項１に記載の車両用表示装置。
前記撮影装置からのアナログ入力映像信号と入力同期信号とが前記画像解析部と前記画像バッファリング部とに分配入力されるとともに、前記画像バッファリング部は前記入力同期信号が到来する毎に前記アナログ入力映像信号を前記第一画像データとして順次取り込むものであり、前記画像解析部は前記入力同期信号を受けて前記第二画像データを取り込んだ後、当該第二画像データに係る前記画像解析が完了するまでは、その後に到来する前記入力同期信号に対応した画像取り込みを休止する請求項２に記載の車両用表示装置。
前記撮影装置からの入力画像データは、その入力画像データのフレームを識別するための識別データが付随したデジタル画像データであり、前記画像バッファリング部は、前記入力画像データが到来する毎にこれを前記第一画像データとして順次取り込むものであり、前記画像解析部は前記第二画像データを取り込んだ後、当該第二画像データに係る前記画像解析が完了するまでは、その後に到来するデジタル画像データの取り込みを休止する請求項２に記載の車両用表示装置。