JP2012249067A

JP2012249067A - 画像表示装置

Info

Publication number: JP2012249067A
Application number: JP2011119059A
Authority: JP
Inventors: Yoshihiro Yamage; 義博山華
Original assignee: Suzuki Motor Corp
Current assignee: Suzuki Motor Corp
Priority date: 2011-05-27
Filing date: 2011-05-27
Publication date: 2012-12-13

Abstract

【課題】画像表示装置において、撮像手段から所定距離以上離れた対象物を隠す（マスキング）ことで、画像を視る者が距離感を得る。
【解決手段】画像表示装置１は、動画像を撮像する撮像手段２と、撮像手段２により動画像を撮像した位置と動画像を構成する各画像上の対象物との距離が所定距離以上離れた対象物をマスキングする画像処理手段３と、画像処理手段３で処理をした動画像を表示する画像表示手段４とを備える。前記撮像手段は、ステレオ撮像手段であり、前記画像処理手段は、前記ステレオ撮像手段により撮像したステレオ画像を構成する第１のモノラル画像を複数のエリアに分割し、この第１のモノラル画像の各エリアに対して、第２のモノラル画像上で前記第１のモノラル画像上と同―位置にエリアを設定して、第１のパターンマッチング値と第２のパターンマッチング値とに基づいて画像上の対象物との距離を判定する。
【選択図】図１

Description

この発明は、画像表示装置に係り、特に両眼視差を用いずに、１つの画面から距離感を得る手法を備えた画像表示装置に関する。

従来、車両の画像表示装置としては、ビデオ透過ヘッドマウントディスプレイと、光学透過ヘッドマウントディスプレイとがある。
ビデオ透過ヘッドマウントディスプレイは、装着すると外の様子を見ることはできないが、ディスプレイ（画像表示手段）に外の様子が映し出されている（但し、ディスプレイ装置だけでなくビデオカメラも装着する必要がある）。
一方、光学透過ヘッドマウントディスプレイは、ディスプレイ装置（画像表示手段）がハーフミラーであって、外の様子が視え、また、片目のみに、ディスプレイ装置（画像表示手段）が付いているものもある。

特開２００９−１４７９２２号公報

特許文献１に係る画像処理方法、画像表示システム、およびコンピュータプログラムは、人間の目のピント調節機能を画像処理で予め行うことで、動画像を見る者に、背景だけではなく、動きのある部分にピントが合っている感覚を与えて、２次元の動画像の奥行き感や、立体感を高めるものである。

ところで、従来、人間は、両眼視差から距離感を得ているため、ビデオ透過ヘッドマウントディスプレイが単眼カメラ画像で外の様子を映す場合に、両眼視差を得られず、距離感を喪失する不具合がある。
ヘッドマウントディスプレイは移動しながら使用するが、距離感を喪失した状態での移動は、使用者にとって問題がある。人間の脳には、記憶により距離感を補う機能（大きさを記憶し、見かけの大きさで距離を判断する。物の配置を記憶しておく。位置を記憶したものの前後関係から距離を判断する。）がある物の、これには、脳の疲労を伴う不具合がある。
光学透過ヘッドマウントディスプレイや、ビデオ透過ヘッドマウントディスプレイの改善策として、視差のついた画像を左右それぞれの眼に表示する技術もあるが、ヘッドマウントディスプレイで付加表示しようとする情報が、限られた領域の小さな表示となる不具合があった。

また、従来、ディスプレイへの表示に距離情報を用いるにあたり、以下のように、ステレオカメラ画像からの距離計測の方法がある。
図５の距離判定のフローチャートに示すように、対象物の位置（Ｘ１、Ｙ１）の任意のエリアを左側ビデオカメラ（Ｌ）の画像から選択し（ステップＢ０１）、そして、右側ビデオカメラ（Ｒ）の画像から、探索してパターンマッチング値を得る（ステップＢ０２）。この探索は、繰り返し行われる場合もある（ステップＢ０３）。
そして、最もパターンマッチング値の高い位置（Ｘｒ、Ｙｒ）を対応点とし（ステップＢ０４）、対象物の位置（Ｘ１、Ｙ１）と高い位置（Ｘｒ、Ｙｒ）による視差から距離を計算する（ステップＢ０５）。
その後、左側ビデオカメラ（Ｌ）の画像の全てに対して繰り返し（ステップＢ０６）、そして、所定距離により、遠近を判定する（ステップＢ０７）。
従って、正確な距離が分かるが、処理時間がかかる。正確な距離を必要としない場合、処理完了して表示するのが遅くなるという不都合があった。
即ち、このような距離計測の方法では、左右の画像から特徴点を探索するため、処理時間が長くなる不具合があることから、移動しながら使用するヘッドマウントディスプレイでは、高速な画面更新のために、高速な画像処理が必要であった。
また、上記の引用文献１では、画像上の移動体を強調する方法であって、画像を視る者が十分な距離感を得られなかった。

そこで、この発明の目的は、撮像手段から所定距離以上離れた対象物を隠す（マスキング）ことで、画像を視る者が距離感を得ることができる画像表示装置を提供することにある。

この発明は、動画像を撮像する撮像手段と、この撮像手段により動画像を撮像した位置と動画像を構成する各画像上の対象物との距離が所定距離以上離れた対象物をマスキングする画像処理手段と、この画像処理手段で処理をした動画像を表示する画像表示手段とを備えることを特徴とする。

この発明の画像表示装置は、撮像手段から所定距離以上離れた対象物を隠す（マスキング）ので、画像を視る者が距離感を得ることができる。

図１は画像表示装置のシステム構成図である。（実施例）図２は所定距離以上を隠した状態を説明する画像の図である。（実施例）図３はステレオカメラと視差とについて説明する画像の図である。（実施例図４は画像表示制御における距離判定のフローチャートである。（実施例））図５は従来において距離計測（パターンマッチイング）のフローチャートである。（実施例）

この発明は、画像を視る者が距離感を得る目的を、撮像手段から所定距離以上離れた対象物を隠す（マスキング）ことで実現するものである。

図１〜図４は、この発明の実施例を示すものである。
図１において、１は車両に搭載される画像表示装置である。
この画像表示装置１は、ビデオ透過ヘッドマウントディスプレイからなり、撮像手段２と、画像処理手段３と、画像表示手段４と、設定スイッチ５とを備える。
撮像手段２は、動画像を撮像するものであって、ステレオ動画像を撮像するステレオ撮像手段（ステレオビデオカメラ）６からなる。このステレオ撮像手段６は、右側ビデオカメラ（Ｒ）７と、左側ビデオカメラ（Ｌ）８とを備える。

画像処理手段３は、撮像手段２により動画像を撮像した位置と動画像を構成する各画像上の対象物との距離が所定距離以上離れた対象物をマスキング（隠す）する。この画像処理手段３は、画像処理中央演算部（ＣＰＵ）９と、画像入力端子１０と、画像出力端子１１と、スイッチ入力ポート１２とを備える。画像入力端子１０には、撮像手段２の右側ビデオカメラ（Ｒ）７と左側ビデオカメラ（Ｌ）８とが接続する。
この所定距離以上離れた対象物をマスキング（隠す）した画像においては、図２に示すように、表示が使用者自身に対して近いものに選定されることで（図２の（Ｂ）で示す）、注意する対象を減らすことができ、そして、使用者に近づく対象が隠された部分から出現することで（図２の（Ｃ）で示す）、使用者へ注視することができると共に、対象の距離と設定距離とを同じくして、距離感を得ることができる。
即ち、所定距離以上を隠した（マスキング）画像を使用者に提供することで、使用者に距離感を与えること、また、所定距離以上を隠した画像を作成するにあたり、従来のように、探索を行わない分割画像同士のパターンマッチングを使用することを目的とし、これを用いることで、使用者が外の様子を距離情報が付加した状態で視えるようにするものである。

画像表示手段４は、画像処理手段３で処理をした動画像を表示するディスプレイであって、右側ディスプレイ（Ｒ）１３と、左側ディスプレイ（Ｌ）１４とを備える。画像表示手段４には、外部機器１５が接続している。この外部機器１５は、使用者が求める付加情報（テレビ放映・ナビゲーション情報等）を右側ディスプレイ（Ｒ）１３に出力する映像出力部１６を備える。左側ディスプレイ（Ｌ）１４は、画像処理手段３で処理をした動画像の信号を出力するを表示する画像出力端子１１に接続する。
設定スイッチ５は、対象の距離を設定すめ距離設定部１７と、使用者が適宜隠さない未処理の画像を選択可能とするリセットスイッチ１８とを備える。このリセットスイッチ１８は、画像処理手段３のスイッチ入力ポート１２に接続する。

このよう構成の画像表示装置１においては、外部機器１５からの付加情報を右側ディスプレイ（Ｒ）１３により使用者の右目で視ることができ、また、画像処理手段３を経て所定距離以上を隠した画像を左側ディスプレイ（Ｌ）１４により使用者の左目で視ることができる。
なお、この場合、右側ディスプレイ（Ｒ）１３と左側ディスプレイ（Ｌ）１４とを、入れ替えて、各画像を表示させることも可能である。
ステレオカメラと視差とについては、図３に示すように、左側ディスプレイ（Ｌ）１４の画像（図３の（Ａ）で示す）と、右側ディスプレイ（Ｒ）１３の画像（図３の（Ｂ）で示す）とでは、左側の画像と右側の画像との視差が近い程大きくなり、そして、左側と右側との重ね画像（図３の（Ｃ）で示す）となる。
この図３におけるステレオカメラと視差とにおいては、画像におけるパターンマッチング方法が、一致した画像程、高いマッチング値が得られれば良く、回転等考慮した特殊な関数でもよいが、正規表現を用いた一般的な関数でよい。

このように、画像上で撮像手段２から所定距離以上離れた対象物を隠す（マスキング）するため、画像を視る者は距離感を得ることができる。特に、片目だけで画像を視る場合に有効である。また、画像上で撮像手段２から所定距離以上離れた対象物を隠す（マスキング）するため、画像を視る者は注意する対象を減らすことができる。更に、所定距離未満に近づいた対象物は隠された状態から出現するため、画像を視る者は対象物が接近していることを容易に認識することができる。

また、画像処理手段３は、ステレオ撮像手段６により撮像したステレオ画像を構成する第１のモノラル画像を複数のエリアに分割し、この第１のモノラル画像の各エリアに対して、第２のモノラル画像上で前記第１のモノラル画像上と同―位置にエリアを設定して、前記第１のモノラル画像上のエリアと前記第２のモノラル画像上のエリアとの第１のパターンマッチング値を算出し、前記第２のモノラル画像上で所定距離に相当する画素数だけずらした位置にエリアを設定して、前記第１のモノラル画像上のエリアと前記第２のモノラル画像上のエリアとの第２のパターンマッチング値を算出し、前記第１のパターンマッチング値と前記第２のパターンマッチング値とに基づいて画像上の対象物との距離が所定距離以上であるか否かを判定する。

具体的には、図４の距離判定のフローチャートで示すように、対象物の位置（Ｘ１、Ｙ１）の任意のエリアを左側ディスプレイ（Ｌ）１４の画像から選択し（ステップＡ０１）、そして、右側ディスプレイ（Ｒ）１３の画像における位置（Ｘ１、Ｙ１）の第１のパターンマッチング値（Ｐ１）を得て（ステップＡ０２）、さらに、所定距離に対応する画素（ｄ）分ずらした（Ｘ１＋ｄ、Ｙ１）の第２のパターンマッチング値（Ｐ２）を得て（ステップＡ０３）、その後、左側ディスプレイ（Ｌ）１４の画像の全てに対して繰り返す（ステップＡ０４）。
第１のパターンマッチング値（Ｐ１）は、遠い程、一致する（高い）。第２のパターンマッチング値（Ｐ２）は、所定距離に近い程、一致する（高い）。
このような条件の下、第２のパターンマッチング値（Ｐ２）の分布から、所定距離近傍のマッチング閾値（Ｋ）を決定し、以下のように、距離を判定する（ステップＡ０５）。
Ｐ１＞Ｋでは、所定距離近傍と判定する。
Ｐ１＜Ｋ∩Ｐ１＞Ｐ２では、所定距離よりも遠いと判定して、マスキング（隠す）する。
Ｐ１＜Ｋ∩Ｐ１＜Ｐ２では、所定距離よりも近いと判定してマスキング（隠す）せずに、表示する。
この場合、対象までの距離計測が必要ではなく、所定距離との遠近が分かれば良いものである。従って、正確な距離が分からないが、処理時間を速くできる。
これにより、画像上で撮像手段２から所定距離以上離れた対象物をマスキング（隠す）する画像処理を高速で行なうことができ、このため、画像の更新周期を早くすることができる。
つまり、従来の図５に示すようなステレオカメラによる距離計測方法を用いて、この実施例に係る所定距離以上を隠した画像を得ることも可能であるが、この実施例では、所定距離を隠すために必要となるのは、所定距離よりも近いか遠いかの判定のみであり、従来のステレオカメラによる距離計測におけるパターンマッチング値の探索の繰り返しを省いて、高速に距離判定のみを行うことができる。

なお、この発明では、距離認識動画像表示を利用して移動する分野として、自動車のバックモニタが考えられる。現状の用途としては、駐車支援が主体であり、遠近の距離感を必要とすることはないが、Ｕターンが不可能な狭い道を引き返す等、長いバック（後退）走行をしなければならない場合で、バックモニタで所定距離よりも遠い物をマスキング（隠す）して画像表示する場合には、効果がある。
画像表示装置として、付加情報を片眼で使用する場合に限らず、病気や事故などで片眼が使用できない場合に、片眼で外界の距離感を得るためにも、応用可能である。
また、隠す部分は輝度を低下しているため、サングラスのような使い方も可能である。これにより、従来のサングラスが、全体的に輝度を低下しているのに対し、この発明では、近傍の輝度を維持したまま、遠方（注意を必要としない範囲）の輝度を低下した視界を得ることが可能である。

この発明の画像表示装置は、各種車両に適用できる。

１画像表示装置
２撮像手段
３画像処理手段
４画像表示手段
５設定スイッチ
６ステレオ撮像手段
７右側ビデオカメラ
８左側ビデオカメラ
９画像処理中央演算部
１０画像入力端子
１１画像出力端子
１２スイッチ入力ポート
１３右側ディスプレイ
１４左側ディスプレイ
１５外部機器
１６映像出力部
１７距離設定部
１８リセットスイッチ

Claims

動画像を撮像する撮像手段と、この撮像手段により動画像を撮像した位置と動画像を構成する各画像上の対象物との距離が所定距離以上離れた対象物をマスキングする画像処理手段と、この画像処理手段で処理をした動画像を表示する画像表示手段とを備えることを特徴とする画像表示装置。
前記撮像手段は、ステレオ動画像を撮像するステレオ撮像手段であり、前記画像処理手段は、前記ステレオ撮像手段により撮像したステレオ画像を構成する第１のモノラル画像を複数のエリアに分割し、この第１のモノラル画像の各エリアに対して、第２のモノラル画像上で前記第１のモノラル画像上と同―位置にエリアを設定して、前記第１のモノラル画像上のエリアと前記第２のモノラル画像上のエリアとの第１のパターンマッチング値を算出し、前記第２のモノラル画像上で所定距離に相当する画素数だけずらした位置にエリアを設定して、前記第１のモノラル画像上のエリアと前記第２のモノラル画像上のエリアとの第２のパターンマッチング値を算出し、前記第１のパターンマッチング値と前記第２のパターンマッチング値とに基づいて画像上の対象物との距離が所定距離以上であるか否かを判定することを特徴とする請求項１に記載の画像表示装置。