JP2008092390A - 対象物距離表示方法 - Google Patents

Abstract

【課題】 障害物の立体感をリアルに表現することができ、視認性を向上させ、障害物の認識性を向上させることができる対象物距離表示方法を提供すること。
【解決手段】 画像データと画像に対応する距離データを、画像データ分割機能部５１によりステップＳ２の処理で複数に分割し、表示装置の立体的表示方向の値の最大、最小値を前記大小ステップＳ７の処理で割り付けて、実際の距離データより立体的表示方向を強調した画像表示を行うようにした。
【選択図】 図１

Description

本発明は、対象物の距離測定結果を立体的に表示する対象物距離表示方法の技術分野に属する。

従来では、車両の左側ドアミラーに内蔵されるＣＣＤカメラにより撮像された画像に基づいて、道路と平行な方向のエッジを検出し、検出された複数のエッジのうち、道路上に描かれるペイント表示に対応するエッジを除外して、立体障害物のエッジと車両との距離が所定距離以下の場合に、ディスプレイ及びスピーカを用いて、立体障害物と車両との接触の可能性を乗員に報知している（例えば、特許文献１参照。）。

また、画像処理装置は、複数のＣＣＤカメラによって撮像された自動車後方の画像データを処理し、建造物の壁や人間の外形などを３次元形状にモデリングした画像を生成し、表示装置に表示させるものもある（例えば、特許文献２参照。）。
特開２０００−００００００号公報（第２−７頁、全図） 特開２００２−１０４１１７号公報（第２−７頁、全図）

しかしながら、従来の対象物距離表示方法にあっては、距離測定可能なカメラを用いて、傷害物までの距離を測定し、それを単純変換（一次方程式、二次方程式、対数、指数など）によって、立体表示可能な表示装置に表示しようとすると、メリハリがなく、危険度がわかりにくく、視認性に欠ける表示になってしまうという問題があった。

本発明は、上記問題点に着目してなされたもので、その目的とするところは、障害物の立体感をリアルに表現することができ、視認性を向上させ、障害物の認識性を向上させることができる対象物距離表示方法を提供することにある。

上記目的を達成するため、本発明では、立体的な表示を行う表示装置を有し、対象物までの距離をデータとして得る手段を有する撮像手段により画像データと距離データを取得し、前記画像データと画像に対応する距離データを、複数に分割し、分割データの中で複数ドットにより画像を構成するドット間の距離に対して、それぞれの前記ドットにおける距離データの値の差の大小を判断し、表示装置の立体的表示方向の値の最大、最小値を前記大小に割り付けて、実際の距離データより立体的表示方向を強調した画像表示を行うようにした、ことを特徴とする。

よって、本発明にあっては、障害物の立体感をリアルに表現することができ、視認性を向上させ、障害物の認識性を向上させることができる。

以下、本発明の対象物距離表示方法を実現する実施の形態を、請求項１，２に係る発明に対応する実施例１に基づいて説明する。

まず、構成を説明する。
図１は実施例１の対象物距離表示方法を使用する対象物距離表示装置のブロック図である。
対象物距離表示装置１は、距離測定カメラ２、画像デコード部３、ＶＲＡＭ４、画像処理部５、ＶＲＡＭ６、エンコーダ部７、表示装置８を主要な構成としている。

距離測定カメラ２は、撮像機能とともに、撮像物までの距離情報を得ることができるものであり、例えば、ステレオカメラのように視差により撮像物までの距離情報を得るものや、赤外線等により撮像物までの距離情報を得るものがある。
画像デコード部３は、撮像画像から、画像データと距離データを取り出す処理を行うものである。
ＶＲＡＭ４は、画像デコード部３の処理により得られた画像データと距離データを一時的に記憶し保存するものである。

画像処理部５は、ＶＲＡＭ４で保持されている画像データと距離データを処理し、表示させるデータを生成するものである。
この画像処理部５は、画像データ分割機能部５１と極大極小値算出機能部５２を備えている。
画像データ分割機能部５１は、カメラ画像を最適な大きさに細分化する処理を行うものである。
極大極小値算出機能部５２は、細分化した画像ごとに距離データの最大値、最小値と２点間の距離に対して、それぞれに応じた閾値により演算処理を行うものであり、この処理の詳細は後述する。

ＶＲＡＭ６は、第１ＲＡＭ６１と第２ＲＡＭ６２を備え、表示用の画像データを一時的に記憶し保存する。
エンコーダ部７は、ＶＲＡＭ６の画像データを表示装置８で使用可能なデータへ符号化を行うものである。
表示装置８は、ＬＣＤにより車両の乗員に情報を表示する装置である。但し、立体表示が行えるモニタであり、いわゆる立体表示モニタである。この立体表示モニタは、視覚差などを用いて、表示する像について、わずかであるが立体感を持たせるものができる。

作用を説明する。
[対象物の立体的な距離表示について]
ここで、対象物の立体的な距離表示について、説明しておく。
自動車の快適な運転を支援する目的で、車両に小型カメラを設置し車室内に表示するシステムが実用化されている。また、カメラ映像に撮影された物体までの距離をステレオカメラ、説明すると、左右にある程度の距離を設けた２対のカメラや赤外線などの電磁波の反射により、あるいは、ミリ波レーダーや低周波レーダーなどにより、距離を測定した結果を車室内の立体表示化可能な表示装置、例えば人間の左右の視差を利用したものや、表示器自体を複数枚重ね合わせたものなどに表示すること考案されている。

しかしながら、障害物までの距離を、一次方程式、二次方程式、対数、指数などの単純変換により表示すると、メリハリがないため、それを見た乗員は、障害物があることに気がつきにくいことがあり、問題である。
本実施例１では、この問題を解決している。

[画像処理]
図２に示すのは、実施例１の対象物距離表示方法を使用した対象物距離表示装置１の画像処理部５で実行される画像処理の流れを示すフローチャートで、以下各ステップについて説明する。

ステップＳ１では、初期処理として、各パラメータの初期化と、無限遠、最大近傍点の算出を行う。

ステップＳ２では、画像データの分割処理として、例えば、１２８×９６ピクセルのピースに分割する。

ステップＳ３では、極大、極小値の算出処理として、分割した各ピースごとに距離データの最大値、最小値を算出し、同時にピクセル間距離も算出する。

ステップＳ４では、算出した極大、極小値が、ピースの境界にあるかどうかを判断し、境界にあるならばステップＳ５へ進み、境界にないならばステップＳ６へ進む。但し、ピースの境界には、カメラ画像の境界は含まない。

ステップＳ５では、境界部分のピースの結合処理として、近接するピースを結合する処理を行い、ステップＳ３へ戻る。

ステップＳ６では、極大、極小値がピクセル間距離に比例した閾値以下かどうかを判断し、閾値以下ならば処理を終了し、閾値を超えるならばステップＳ７へ進む。

ステップＳ７では、距離データのマッピング処理を行い、処理を終了する。

[立体画像表示作用]
実施例１の対象物距離表示方法を使用した対象物距離表示装置１では、距離測定カメラ２により撮像され、画像デコーダ部３で処理された画像は、距離データを持つ画像データとなる。
図３は、距離データを持つ画像の例を示す説明図である。
このように、ＶＲＡＭ４で保持されるデータを画像として表現すると、図３のようになる。実際には、図３は、右端の目盛部分に示すように色の違いにより距離が表現されている。

このＶＲＡＭ４で保持されている画像データと距離データに対して、画像処理部５では、画像データ分割機能部５１によって、例えば、解像度６４０×４８０のカメラ画像を１画面が１２８×９６ピクセルの５×５個、計２５個のパーツに分割する（ステップＳ２）。
次に、各ピースごとに距離データの局所最大値（極大値）と局所最小値（極小値）、そのピクセル距離差を計算する（ステップＳ３）。

また、局所最大値（極大値）、局所最小値（極小値）が各ピースの境界にある場合は、その部分のピースを結合して、局所最大値（極大値）、局所最小値（極小値）を計算し直す（ステップＳ４→Ｓ５→Ｓ３）。
そして、局所最大値（極大値）、最小値（極小値）の差、そのピクセル間距離に応じて、立体表示モニタの０−ＭＡＸ値を割り振る（ステップＳ６，Ｓ７）。
このように処理した結果をＶＲＡＭ６に出力することにより、表示装置８に立体表示をリアルに行うことができ、メリハリのある表示にでき、これによって障害物を認識しやすくすることができる。
なお、０−ＭＡＸの中間値は、１次方程式での近似を採用している。容易な処理で済み、演算負荷を抑制している。

次に、さらに、画像例を示して説明する。
図４は実施例１の対象物距離表示方法で処理する画像の例を示す図である。図５は図４の画像の距離データを画像に表現した画像例を示す図である。図６は図４の画像を実施例１の対象物距離表示方法で処理した画像例を示す図である。
図４に示すように、右側に書類のファイルを立てた状態のものがあり、左側に箱の一部がある床の画像を処理した場合について説明する。等高線の密度が急になっている部分に着目すると、図６に示す実施例１の処理を行った方が、図５に比較して、全体的に等高線の傾斜が急になっており、物体（本来は青色の近傍を示す部分）の部分と、遠方（本来は黄色、緑、赤の部分）などどの対比がはっきりするようになり、結果、物体がより認識しやすくなっている。

つまり、図６に示す実施例１の方が、例えば画像右側の書類ファイルに対して、背景の等高線が増え、さらに、書類ファイルの近傍を示す度合いが強調されて、書類ファイルの視認性が向上しているのである。

さらに、言い換えて説明する。
図７に示すのは、実施例１の対象物距離表示方法の説明図である。
実施例１の対象物距離表示方法では、表示装置８自体が持つ機能としての立体表示の度合いを０とＭＡＸに振り分けることにより強調してもよいし、上記図６に示すように、立体画像としての表示データとして強調してもよい。
以下では、表示装置８自体が持つ機能してプリズムや複数の虚像を重ねるなどして立体的に見せる場合を例に説明する。

図７(a)に示すように、背景で遠方の画像１０のなかに、この対象物距離表示方法が車両で用いる際の障害物１１が映っている場合について説明する。
この場合に、例えば、画像データ分割機能部５１によりステップＳ２の処理で、この画像１０が４つ、つまり画像１０ａ〜１０ｄに分割されるものとする。
この場合には、障害物１１も障害物部分１１ａ〜１１ｄに分割される。
それぞれは、Ｚ方向、つまり立体方向への距離データを有するものとする。

すると、図７(b)に示すように障害物部分１１ｂにおいては、分割した境界線部分１００，１１０に極大値が現れることになる（ステップＳ４）。そのため、結果的には、障害物部分１１ｂが境界線で極大値を持たないように、画像１０ａ〜１０ｄは結合されることになる（ステップＳ５）。そして、その中で、画像１１ａ〜１１ｄは極大値を持ち、画像１０ａ〜１０ｄは極小値を持つことになる。
ここで、画像１０ａ〜１０ｄの背景部分と障害物部分１１ａ〜１１ｄは、Ｚ方向の距離に大きな違いを持ち、それが極大値、極小値となるため、ピクセル間距離に対して、大きく閾値を超える極大値と極小値の差となる（ステップＳ６）。

そのため、画像１０の背景部分には、モニタのＺ値の最小値が設定され、画像１１の障害物部分には、モニタのＺ値の最大値が設定される（ステップＳ７）。
これにより、障害物１１は目立つように立体的に強調されて表示される（図７(c)参照）。
よって、車両の表示では、障害物の視認性が向上することになる。

次に、効果を説明する。
実施例1の対象物距離表示方法にあっては、下記に列挙する効果を得ることができる。

(1)立体的な表示を行う表示装置８を有し、対象物までの距離をデータとして得る手段を有する距離測定カメラにより画像データと距離データを取得し、画像データと画像に対応する距離データを、画像データ分割機能部５１によりステップＳ２の処理で複数に分割し、分割データの中で複数ドットにより画像を構成するドット間の距離に対して、それぞれのドットにおける距離データの値の差の大小を極大極小値算出機能部５２でステップＳ６の処理により判断し、表示装置の立体的表示方向の値の最大、最小値を前記大小ステップＳ７の処理で割り付けて、実際の距離データより立体的表示方向を強調した画像表示を行うようにしたため、障害物の立体感をリアルに表現することができ、視認性を向上させ、障害物の認識性を向上させることができる。
従来の画像認識は、障害物の特長をデータ化したパターンデータを事前に作成する必要があるが、本実施例１の方法では、このような事前処理が不要になる。

(2)分割の境界線に、距離データの最大値または最小値が位置する場合には、その境界線で接する画像データと画像に対応する距離データと一体にして、再度、それぞれの前記ドットにおける距離データの値の差の大小を判断するステップＳ３〜Ｓ５のループ処理を設けたため、複数の分割画像により対象物を捉えても、対象物を確実に捉えて、最大の立体的表示効果を持たせることができる。

以上、本発明の対象物距離表示方法を実施例１に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。

例えば、実施例１では、車両に搭載される距離の検出もできるカメラと、その車両の走行に対する障害物を立体的に強調して表示しているが、車両以外に用いるものであってもよい。
立体表示を行う表示装置には、例えばＬＣＤを７ｍｍ差設けて配置したもの、左右の視差を利用したものなどがあり、立体的に表示できるものであればよい。
カメラは、ＣＣＤ、ＣＭＯＳ方式のどちらであってもよい。

実施例１の対象物距離表示方法を使用する対象物距離表示装置のブロック図である。 実施例１の対象物距離表示方法を使用した対象物距離表示装置の画像処理部で実行される画像処理の流れを示すフローチャートである。 距離データを持つ画像の例を示す説明図である。 実施例１の対象物距離表示方法で処理する画像の例を示す図である。 図４の画像の距離データを画像に表現した画像例を示す図である。 図４の画像を実施例１の対象物距離表示方法で処理した画像例を示す図である。 実施例１の対象物距離表示方法の説明図である。

符号の説明

１ 対象物距離表示装置
２ 距離測定カメラ
３ 画像デコーダ部
４ ＶＲＡＭ
５ 画像処理部
５１ 画像データ分割機能部
５２ 極大極小値算出機能部
６ ＶＲＡＭ
７ エンコーダ部
８ 表示装置

Claims (2)

1. 立体的な表示を行う表示装置を有し、
   対象物までの距離をデータとして得る手段を有する撮像手段により画像データと距離データを取得し、
   前記画像データと画像に対応する距離データを、複数に分割し、
   分割データの中で、複数ドットにより画像を構成するドット間の距離に対して、それぞれの前記ドットにおける距離データの値の差の大小を判断し、
   表示装置の立体的表示方向の値の最大、最小値を前記大小に割り付けて、実際の距離データより立体的表示方向を強調した画像表示を行うようにした、
   ことを特徴とする対象物距離表示方法。
2. 請求項１に記載の対象物距離表示方法において、
   分割の境界線に、前記距離データの最大値または最小値が位置する場合には、その境界線で接する前記画像データと画像に対応する距離データと一体にして、再度、それぞれの前記ドットにおける距離データの値の差の大小を判断する、
   ことを特徴とする対象距離表示方法。