JP2003061116A

JP2003061116A - 立体映像表示装置

Info

Publication number: JP2003061116A
Application number: JP2001242019A
Authority: JP
Inventors: Yoshinobu Tanaka; 義信田中
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 2001-08-09
Filing date: 2001-08-09
Publication date: 2003-02-28

Abstract

(57)【要約】【課題】どのような立体映像が入力された場合でも、
適切な垂直ずれ補正値を算出し、見やすい立体画像表示
を可能とする立体映像表示装置を提供する。【解決手段】左右両眼で観測する画像の視差を利用し
て立体視させる立体映像表示装置において、左右画像間
の視差の垂直成分を検出する視差検出器３と、現フレー
ム画像と前フレーム画像間の動きベクトルの垂直成分を
検出する動き検出器２と、前記視差検出器で検出された
前記視差の垂直成分及び前記動き検出器で検出された前
記動きベクトルの垂直成分に基づいて補正値を算出する
補正値算出器４と、該補正値算出器で算出された補正値
に基づいて左右画像間の垂直方向ずれ量を補正する画像
ずれ補正器５とを備え、動きと視差とを考慮して垂直ず
れ補正値を算出し、どのような立体映像が入力された場
合でも、適切な補正値を算出できるように構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、立体映像表示装
置に関し、特に立体ＨＭＤ（ヘッド・マウント・ディス
プレイ）のような立体ディスプレイにおいて、左右画像
の垂直位置ずれを補正する装置に関するものである。

【０００２】

【従来の技術】近年、頭部に装着して使用するヘルメッ
ト形状、若しくはゴーグル形状の立体ＨＭＤが開発され
ている。この種の立体ＨＭＤでは、左右の眼に独立に映
像を表示する２つの液晶表示パネルが配置され、立体視
が可能になっている。

【０００３】このような立体ＨＭＤにおいて、左眼用画
像と右眼用画像との間に垂直方向のずれのある映像が入
力される場合がある。図11は、左右画像間の垂直方向の
ずれに関して示す図であり、図11の（Ａ）は正常な立体
画像を表す左右画像を、図11の（Ｂ）は左右画像間に垂
直方向のずれが存在する立体画像を表す左右画像を示し
ている。左右画像間の水平方向のずれ量は、距離に応じ
て変化するものであるが、上記のような左右画像間の垂
直方向のずれは、本来あってはならないものである。

【０００４】このような左右画像間の垂直方向のずれ
は、立体撮像装置の左眼用カメラと右眼用カメラとの位
置調整がうまく行われなかった場合や、コンピュータ等
によって人工的に立体映像を作成する場合に多く発生す
る。

【０００５】また、このように左右画像間に垂直方向の
ずれのある画像を立体視する場合、視覚的に立体視が難
しくなるばかりか、眼の疲労を起こし易いという問題が
ある。

【０００６】これに対して、特開平６−２６９０２５号
公報「多眼式立体映像の符号化方式」には、左右画像間
のずれを補正する技術に関する先行技術について開示が
なされており、次にその先行技術について説明する。図
12は、上記公報に開示されている多眼式立体映像の符号
化方式について示すブロック構成図である。図12に示す
多眼式立体映像の符号化方式は、複数のカメラＫ0 〜Ｋ
n からの多眼式立体映像信号Ｆ1 〜Ｆn の内の所定のカ
メラからの映像信号を基準として、他のカメラからの映
像信号とのブロックマッチングをとるブロックマッチン
グ部101 と、該ブロックマッチング部101 でのマッチン
グ結果情報から、映像信号間のずれを示す補正値を算出
する補正値算出部102 と、該補正値に基づき各カメラか
らの映像信号を補正する補正部103-0 〜103-n と、各補
正部103-0 〜103-n の出力信号を符号化する符号化部10
4 と、該符号化部104 の各出力信号を多重化して伝送路
に送出する多重化部105 とを備えている。

【０００７】次に、このように構成されている多眼式立
体映像の符号化方式の動作について説明する。まず多眼
カメラＫ0 〜Ｋn で被写体を撮影し、各カメラから出力
された映像信号Ｆ0 〜Ｆn に対し、あるカメラＫ0 から
の映像信号を基準として、ブロックマッチング部101 で
ブロックマッチングをとる。そして、このブロックマッ
チング部101 でのブロックマッチング結果情報を受けた
補正値算出部102 では、基準カメラＫ0 と各カメラＫ1
〜Ｋn との相対的な位置ずれを示す補正値を算出する。
この後、補正部103-0 〜103-n において基準画像データ
Ｆ0 を除く各画像データＦ1 〜Ｆn を補正し、後は符号
化部104 で符号化し、多重化部105 で多重化処理を行っ
て伝送路へ送出するようになっている。

【０００８】次に、図13を用いて、上記公報開示の従来
技術における垂直方向ずれ補正動作に関して説明を行
う。図13の（Ａ）に示すように、左画像Ｌin及び右画像
Ｒinが入力されると、ブロックマッチングによって左右
画像の垂直方向ずれ量ΔＸが算出される。その後、ずれ
量ΔＸによって補正値が算出され、左画像Ｌin及び右画
像Ｒinの垂直位置の補正を行う。図13の（Ｂ）に示す左
画像Ｌout 及び右画像Ｒout は、垂直方向のずれを補正
した画像の例に関して示したものである。

【０００９】このような従来技術によると、所定のカメ
ラからの映像信号を基準として他のカメラからの映像信
号とのブロックマッチングをとることにより補正値を算
出し、該補正値に基づき各カメラからの映像信号を補正
するように構成されているので、視覚的に自然な立体視
を得ることができる。

【００１０】

【発明が解決しようとする課題】しかしながら、上記特
開平６−２６９０２５号公報開示の従来技術では、左右
画像間に時間差がある場合に関しては特に考慮されてい
ない。このように、左右画像間に時間差があるという現
象は、例えば、特開平５−７６０５２号公報「映像切り
替え装置」に開示されているような撮像装置で立体映像
を撮像した場合に発生する。図14は、上記特開平５−７
６０５２号公報開示の映像切り替え装置の横断面図を示
すものである。図14において、 209は既存のＶＴＲカメ
ラで、該ＶＴＲカメラ209 にアダプタ形式で装着する映
像切り替え装置214 を示している。この映像切り替え装
置214 は、２つの第１及び第２の液晶シャッタ207 ，20
8 をＯＮ，ＯＦＦすることにより、フィールド毎に右画
像と左画像とを切り替えて、既存のＶＴＲカメラ209 で
立体映像を撮影できるようにしたものである。なお、図
14において、201 ，202 は右眼用及び左眼用凸レンズ、
203 ，204 ，205 は第１，第２及び第３のミラー、206
はハーフミラー、210 は垂直同期制御信号、215 は制御
回路である。

【００１１】また、特開平７−２５０３５１号公報「立
体テレビジョン用撮像装置」に開示されている撮像装置
も、一つのＣＣＤを持ち、フィールド毎に右画像と左画
像とを切り替えて取り込ませる撮像装置である。

【００１２】このように、上記特開平５−７６０５２号
公報や特開平７−２５０３５１号公報に示すような撮像
装置で立体映像を撮影した場合、フィールド毎に左右画
像を切り替えて撮像するため、左右画像には時間差が生
じる。

【００１３】このように、左右画像間に時間差がある場
合、垂直方向に移動する物体が存在すると、従来技術に
よる手法では、前記物体の動きを左右画像間の垂直位置
のずれとして検出してしまい、補正によって見にくい映
像を生成してしまうことがある。

【００１４】次に、図15を用いて従来手法による移動物
体の存在する場合の垂直位置補正の問題点に関して説明
する。図15の（Ａ）は、入力左画像Ｌin及び入力右画像
Ｒin間に時間差があり、物体Ａが垂直方向に移動してい
る場合に関して示す図である。このとき、物体Ａは垂直
方向に移動しており、左右画像でその垂直位置が異なる
ものとする。また、その他の物体Ｂ及び物体Ｃは左右画
像で垂直位置は等しいものとする。なお、水平位置は、
距離に応じて変化するものであるため、左右画像で水平
位置が異なるのは当然である。

【００１５】図15の（Ｂ）に示す出力左画像Ｌout 及び
出力右画像Ｒout は、従来手法を用いて垂直方向ずれ補
正を行った例を示すものである。従来手法では、物体Ａ
の垂直方向の動き成分を考慮せずに補正を行うため、物
体Ｂや物体Ｃに示すようにもともと垂直位置が正しかっ
た物体の垂直位置が変わってしまい、見にくい映像を生
成してしまう。

【００１６】一般的にＨＭＤのような画像表示装置は、
ＤＶＤやＰＣやゲーム機等、様々な機器と接続されるこ
とが想定される。したがって、立体入力映像も、高価な
立体撮像装置で撮影されたものだけでなく、安価な装置
で撮影されたものや、ＣＧを駆使して人工的に作られた
もの等、様々なものが入力される。

【００１７】本発明は、上記事情に鑑みてなされたもの
で、どのような立体映像が入力された場合でも、適切な
垂直ずれ補正値を算出し、見やすい画像表示を可能とす
る立体映像表示装置を提供することを目的とする。

【００１８】

【課題を解決するための手段】上記問題点を解決するた
め、請求項１に係る発明は、左右両眼で観測する画像の
視差を利用して立体視させる立体映像表示装置におい
て、左右画像間の視差の垂直成分を検出する視差検出器
と、現フレーム画像と前フレーム画像間の動きベクトル
の垂直成分を検出する動き検出器と、前記視差検出器で
検出された前記視差の垂直成分及び前記動き検出器で検
出された前記動きベクトルの垂直成分に基づいて補正値
を算出する補正値算出器と、前記補正値算出器で算出さ
れた補正値に基づいて左右画像間の垂直方向ずれ量を補
正する画像ずれ補正器とで立体映像表示装置を構成する
ものである。

【００１９】この請求項１に係る発明に関する実施の形
態としては、第１，第２，第３及び第４の実施の形態が
対応する。そして、このように構成された立体映像表示
装置においては、視差検出器は左右画像間の視差の垂直
成分を検出し、動き検出器は現フレームと前フレーム間
の動きベクトルの垂直成分を検出し、補正値算出器は、
視差の垂直成分と動きベクトルの垂直成分から補正値を
算出し、画像ずれ補正器は、補正値に基づいて左右画像
間の垂直方向のずれ量を補正する。このように、動きと
視差とを考慮して垂直ずれ補正値を算出するようにして
いるので、どのような立体映像が入力された場合でも、
適切な補正値を算出し、見やすい立体画像表示を可能と
する立体映像表示装置を実現することができる。

【００２０】請求項２に係る発明は、請求項１に係る立
体映像表示装置において、前記視差検出器は、現フレー
ムの左画像と現フレームの右画像のうち一方を基準画像
とし他方を参照画像として、ブロックマッチング演算を
行って視差の垂直成分を検出するように構成されてお
り、前記動き検出器は、現フレームの左画像（又は右画
像）と前フレームの左画像（又は右画像）のうち一方を
基準画像とし他方を参照画像として、ブロックマッチン
グ演算を行って動きベクトルの垂直成分を検出するよう
に構成されていることを特徴とするものである。

【００２１】この請求項２に係る発明に関する実施の形
態としては、第１，第２，第３及び第４の実施の形態が
対応する。そして、このように構成された立体映像表示
装置においては、視差検出器は、現フレームの左画像と
現フレームの右画像のうち一方を基準画像とし他方を参
照画像としてブロックマッチング演算を行って視差の垂
直成分を検出し、動き検出器は、現フレームの左画像
（又は右画像）と前フレームの左画像（又は右画像）の
うち一方を基準画像とし他方を参照画像としてブロック
マッチング演算を行って動きベクトルの垂直成分を検出
する。このように、視差検出器は、現フレームの左右画
像間でブロックマッチング演算を行うことにより、視差
の垂直成分を検出することができ、また動き検出器は、
前フレーム画像と現フレーム画像間でブロックマッチン
グ演算を行うことにより、動きベクトルの垂直成分を検
出することができる。

【００２２】請求項３に係る発明は、請求項１又は２に
係る立体映像表示装置において、前記補正値算出器は、
前記視差の垂直成分と前記動きベクトルの垂直成分とか
ら動き考慮後の視差の垂直成分を求め、前記動き考慮後
の視差の垂直成分の統計処理を行い、統計値を補正値と
して出力するように構成されていることを特徴とするも
のである。

【００２３】この請求項３に係る発明に関する実施の形
態としては、第１及び第２の実施の形態が対応する。そ
して、このように構成された立体映像表示装置において
は、補正値算出器は、視差の垂直成分と前記動きベクト
ルの垂直成分とから動き考慮後の視差の垂直成分を求
め、その統計値を補正値として出力する。このように、
動きと視差とを考慮して補正値を算出するようにしてい
るので、適切な補正値を算出することができる。

【００２４】請求項４に係る発明は、請求項１又は２に
係る立体映像表示装置において、前記補正値算出器は、
前記視差の垂直成分と前記動きベクトルの垂直成分とか
ら動き考慮後の視差の垂直成分を求め、前記動き考慮前
の視差の垂直成分と前記動き考慮後の視差の垂直成分の
うち一方を選択して統計処理を行い、統計値を補正値と
して出力するように構成されていることを特徴とするも
のである。

【００２５】この請求項４に係る発明に関する実施の形
態としては、第３の実施の形態が対応する。そして、こ
のように構成された立体映像表示装置においては、補正
値算出器は、視差の垂直成分と前記動きベクトルの垂直
成分とから動き考慮後の視差の垂直成分を求め、動き考
慮前後の視差の垂直成分のうち一方を選択し、その統計
値を補正値として出力する。このように、動き考慮前後
の視差の垂直成分のうち、信頼性の高い方を選択するこ
とにより、左右画像間に時間差がある場合でも、左右画
像間に時間差がない場合でも、適切な補正値を得ること
ができる。

【００２６】請求項５に係る発明は、請求項３又は４に
係る立体映像表示装置において、前記補正値算出器は、
前記動き考慮後の視差の垂直成分を、前記動きベクトル
の垂直成分の絶対値が閾値以上のブロックは無効ブロッ
クとすることにより算出するように構成されていること
を特徴とするものである。

【００２７】この請求項５に係る発明に関する実施の形
態としては、第１及び第３の実施の形態が対応する。そ
して、このように構成された立体映像表示装置において
は、補正値算出器は、動きベクトルの垂直成分の絶対値
が閾値以上のブロックは無効ブロックとして、動き考慮
後の視差の垂直成分を算出する。このように、動きの大
きいブロックは無効ブロックとすることにより、移動物
体が静止物体に影響を与えることのない、適切な補正値
を得ることができる。

【００２８】請求項６に係る発明は、請求項３又は４に
係る立体映像表示装置において、前記補正値算出器は、
前記動き考慮後の視差の垂直成分を、前記視差の垂直成
分と前記動きベクトルの垂直成分との差分によって算出
するように構成されていることを特徴とするものであ
る。

【００２９】この請求項６に係る発明に関する実施の形
態としては、第２及び第３の実施の形態が対応する。そ
して、このように構成された立体映像表示装置において
は、補正値算出器は、視差の垂直成分と動きベクトルの
垂直成分との差分によって補正値を算出する。このよう
に、視差の垂直成分と動きベクトルの垂直成分との差分
を求めることにより、視差から物体の動きに係る成分を
除去した補正値を算出することができ、したがって移動
物体が静止物体に影響を与えることのない、適切な補正
値を得ることができる。

【００３０】請求項７に係る発明は、請求項４に係る立
体映像表示装置において、前記補正値算出器は、前記動
き考慮前の視差の垂直成分と前記動き考慮後の視差の垂
直成分のうち、高周波成分の少ない方を選択して統計処
理を行うように構成されていることを特徴とするもので
ある。

【００３１】この請求項７に係る発明に関する実施の形
態としては、第３の実施の形態が対応する。そして、こ
のように構成された立体映像表示装置においては、補正
値算出器は、動き考慮前の視差の垂直成分と動き考慮後
の視差の垂直成分のうち、高周波成分の少ない方を選択
する。左右画像間の上下ずれは、基本的に画像全体で均
一である。したがって、上記のように高周波成分の少な
い方を選択することにより、信頼性が高い方を選択する
ことができる。

【００３２】請求項８に係る発明は、請求項４に係る立
体映像表示装置において、前記補正値算出器は、前記動
き考慮前の視差の垂直成分と前記動き考慮後の視差の垂
直成分のうち、最大値と最小値との差分が小さい方を選
択して統計処理を行うように構成されていることを特徴
とするものである。

【００３３】この請求項８に係る発明に関する実施の形
態としては、第３の実施の形態が対応する。そして、こ
のように構成された立体映像表示装置においては、補正
値算出器は、動き考慮前の視差の垂直成分と動き考慮後
の視差の垂直成分のうち、最大値と最小値との差分が小
さい方を選択する。左右画像間の上下ずれは、基本的に
画像全体で均一である。したがって、上記のように最大
値と最小値との差分が小さい方を選択することにより、
信頼性が高い方を選択することができる。

【００３４】請求項９に係る発明は、請求項４に係る立
体映像表示装置において、前記補正値算出器は、前記動
き考慮前の視差の垂直成分と前記動き考慮後の視差の垂
直成分のうち、ヒストグラムの幅が小さい方を選択して
統計処理を行うように構成されていることを特徴とする
ものである。

【００３５】この請求項９に係る発明に関する実施の形
態としては、第３の実施の形態が対応する。そして、こ
のように構成された立体映像表示装置においては、補正
値算出器は、動き考慮前の視差の垂直成分と動き考慮後
の視差の垂直成分のうち、ヒストグラムの幅が小さい方
を選択する。左右画像間の上下ずれは、基本的に画像全
体で均一である。したがって、上記のようにヒストグラ
ムの幅が小さい方を選択することにより、信頼性が高い
方を選択することができる。

【００３６】請求項10に係る発明は、請求項１又は２に
係る立体映像表示装置において、前記補正値算出器は、
前記動きベクトルの垂直成分の統計値の絶対値が閾値以
上の場合は前回の補正値を、閾値未満の場合は視差の垂
直成分の統計値を補正値として算出するよう構成されて
いることを特徴とするものである。

【００３７】この請求項10に係る発明に関する実施の形
態としては、第４の実施の形態が対応する。そして、こ
のように構成された立体映像表示装置においては、補正
値算出器は、動きベクトルの垂直成分の統計値の絶対値
が閾値以上の場合は前回の補正値を、閾値未満の場合は
視差の垂直成分の統計値を補正値として算出する。垂直
方向の動きが大きい場合は、そのフレームから適切な補
正値を得ることが困難であるため、上記のように前回の
補正値を使用することにより、移動物体が静止物体に影
響を与えることのない、適切な補正値を得ることができ
る。

【００３８】

【発明の実施の形態】（第１の実施の形態）次に、実施
の形態について説明する。図１は、本発明に係る立体映
像表示装置の第１の実施の形態の全体構成を示すブロッ
ク図である。図１において、１は立体映像信号を格納す
るメモリ、２は該メモリ１に蓄えられた前記立体映像信
号のうち、現フレームの左画像Ｌ(n) と前フレームの左
画像Ｌ(n-1) 間の動きベクトルの垂直成分を検出する動
き検出器、３は前記メモリ１に蓄えられた前記立体映像
信号のうち、現フレームの左画像Ｌ(n) と現フレームの
右画像Ｒ(n) 間の視差の垂直成分を検出する視差検出
器、４は前記動き検出器２で検出された前記動きベクト
ルの垂直成分、及び前記視差検出器３で検出された前記
視差の垂直成分に基づいて、補正値を算出する補正値算
出器、５は該補正値算出器４で算出された補正値に基づ
いて、現フレームの左画像Ｌ(n) と現フレームの右画像
Ｒ(n) 間の垂直方向ずれ量を補正し、ＬＣＤへ出力する
画像ずれ補正器を示している。

【００３９】次に、図２に基づいて立体映像信号の入力
フォーマットに関して説明する。図２は、立体映像信号
の入力フォーマットの一例を示すものである。図２に示
すように、立体映像信号は垂直同期信号ＶＳＹＮＣに同
期して、右画像と左画像が交互に入力される。また、図
中の右画像Ｒ(n-1) と左画像Ｌ(n-1) とは、前フレーム
(n-1) における一組の立体画像を、右画像Ｒ(n) と左画
像Ｌ(n) とは現フレーム(n) における一組の立体画像を
示すものとする。

【００４０】本発明においては、現フレームの左画像Ｌ
(n) と現フレームの右画像Ｒ(n) とから視差の垂直成分
を、現フレームの左画像Ｌ(n) と前フレームの左画像Ｌ
(n-1) とから動きベクトルの垂直成分を求めることとす
るが、右及び左が入れ替わっても当然問題ない。なお、
立体映像信号の入力フォーマットには様々な方式が存在
しており、本発明は図２に示す入力フォーマットに限定
されるものではない。

【００４１】次に、図１に示した本実施の形態の動作に
ついて説明する。メモリ１は、入力映像信号のうち、前
フレームの左画像Ｌ(n-1) 及び現フレームの右画像Ｒ
(n) 及び現フレームの左画像Ｌ(n) を格納する。動き検
出器２は、現フレームの左画像Ｌ(n) を基準画像とし、
前フレームの左画像Ｌ(n-1) を参照画像として、動きベ
クトルの垂直成分を検出する。視差検出器３は、現フレ
ームの左画像Ｌ(n) を基準画像とし、現フレームの右画
像Ｒ(n) を参照画像として、視差の垂直成分を検出す
る。ここで、動きベクトル検出及び視差検出には、例え
ば公知のブロックマッチング法を用いる。

【００４２】補正値算出器４は、前記動き検出器２で検
出された動きベクトルの垂直成分と、前記視差検出器３
で検出された視差の垂直成分とに基づいて補正値を算出
する。画像ずれ補正器５は、前記補正値算出器４で算出
された補正値に基づいて、前記メモリ１に蓄えられた現
フレームの左画像Ｌ(n) と現フレームの右画像Ｒ(n)間
の垂直方向ずれ量を補正する。

【００４３】以上説明したように、本実施の形態によれ
ば、動きと視差とを考慮して補正値を算出するようにし
ているので、どのような立体映像が入力された場合で
も、適切な補正値を算出し、見やすい画像表示を可能と
することができる。

【００４４】次に、図３及び図４を用いて、本実施の形
態における補正値算出器４の構成例、及びその補正値算
出器における補正値算出手法に関して説明する。図３
は、補正値算出器４の構成例を示すブロック図であり、
図４は、視差及び動きベクトルの垂直成分のデータの例
を示すものである。図４中のおのおの四角で区切られた
領域は基準画像内のブロックを、ブロック内の数字は視
差の垂直成分又は動きベクトルの垂直成分を示してい
る。なお、数字の符号は、基準画像に対して参照画像が
上にずれているか下にずれているかを示すものであり、
ここでは基準画像に対して参照画像が上にずれている場
合を＋としている。図４の（Ａ）は、前記視差検出器３
でブロック毎に検出された視差の垂直成分を、図４の
（Ｂ）は前記動き検出器２でブロック毎に検出された動
きベクトルの垂直成分を示している。

【００４５】図３に示すように、補正値算出器４は、比
較器11と視差補正器12と統計処理器13とで構成されてい
る。そして、比較器11は前記動き検出器２で検出された
動きベクトルの垂直成分の絶対値が閾値以上であるかを
判定し、視差補正器12は前記比較器11が動きベクトルの
垂直成分の絶対値が閾値以上であると判定した場合は、
前記視差検出器３で検出された視差の垂直成分は信頼性
が低いと判断し、無効にする。なお、視差補正器12は、
前記比較器11が動きベクトルの垂直成分の絶対値が閾値
未満げあると判定した場合は、前記視差検出器３で検出
された視差の垂直成分を、動き考慮後の視差の垂直成分
として出力する。

【００４６】図４の（Ｃ）は、視差補正器12で上記手法
により補正された動き考慮後の視差の垂直成分を示すも
のである。なお、図４の（Ｃ）中、ハッチングを施した
ブロックは、動きベクトルの垂直成分の絶対値が閾値以
上である無効ブロックを、その他のブロックは有効ブロ
ックを示している。

【００４７】次に、統計処理器13は、図４の（Ｃ）に示
す動き考慮後の視差の垂直成分のうち、有効ブロックの
統計値を算出し、それを補正値として画像ずれ補正器５
へ出力する。ここで、統計値とは、例えば平均値、最大
値、最小値、最頻値等を指す。また、前記複数の統計値
を併用してもよい。また、統計値は、動き考慮後の視差
の垂直成分の分布に関するヒストグラムを作成し、それ
ぞれの範囲に関する頻度であってもよい。

【００４８】例えば、図４の（Ｃ）の例において、統計
値に最頻値を用いたとすると、補正値＋３が求められ
る。これは、現フレームの左画像Ｌ(n) に対して現フレ
ームの右画像Ｒ(n) が上に３ライン分ずれていると判定
されたことを意味する。

【００４９】次に、本実施の形態における画像ずれ補正
器５の補正手法について説明する。画像ずれ補正器５
は、補正値算出器４で算出された補正値を用いて、現フ
レームの左画像Ｌ(n) と現フレームの右画像Ｒ(n) 間の
垂直方向ずれ量を補正する。例えば、補正値算出器４で
算出された補正値が＋３であったとすると、現フレーム
の左画像Ｌ(n) を全体的に上に２ライン分シフトさせ、
現フレームの右画像Ｒ(n) を全体的に下に１ライン分シ
フトさせる。なお、この補正の手法は、左画像と右画像
のうち一方の画像の垂直表示位置を移動させてもよい
し、上記のように両方の画像の垂直表示位置を移動させ
てもよい。

【００５０】本実施の形態によると、動き検出器で検出
された動きベクトルの垂直成分が大きい時は、視差検出
器で検出された視差の垂直成分を無効とするようにして
いるので、移動物体が静止物体に影響を与えることのな
い、適切な画像ずれ補正値を得ることができる。

【００５１】（第２の実施の形態）次に、本発明の第２
の実施の形態について説明する。第２の実施の形態にお
ける補正値算出器４以外の構成及びその動作は、第１の
実施の形態と同様であるので、その図示説明を省略す
る。以下、図５及び図６を用いて第２の実施の形態にお
ける補正値算出器４の構成及びその補正値算出手法に関
して説明する。

【００５２】図５は、第２の実施の形態における補正値
算出器４の構成を示すブロック図であり、図６は、視差
及び動きベクトルの垂直成分のデータの例を示すもので
ある。図６の（Ａ）及び図６の（Ｂ）は、第１の実施の
形態における図４の（Ａ）及び図４の（Ｂ）と同様に、
視差検出器３でブロック毎に検出された視差の垂直成
分、及び動き検出器２でブロック毎に検出された動きベ
クトルの垂直成分をそれぞれ示している。

【００５３】図５に示すように、この実施の形態におけ
る補正値算出器４は、差分演算器21と統計処理器22とで
構成されており、差分演算器21は、左右画像間の垂直方
向のずれ量から、物体の動き量に係る成分を除去して動
き考慮後の視差の垂直成分を算出するもので、その算出
には、例えば次式（１）を用いている。（１）式は、図
２における現フレームの左右画像Ｌ(n) 〜Ｒ(n) 間の撮
像タイミングの時間差が、Ｌ(n) 〜Ｌ(n-1) 間の撮像タ
イミングの時間差の半分であるときに成り立つものであ
る。動き考慮後の視差の垂直成分＝視差の垂直成分−
（動きベクトルの垂直成分÷２）・・・・・・・（１）

【００５４】図６の（Ｃ）は、差分演算器21で上記
（１）式に基づいて算出された動き考慮後の視差の垂直
成分を示すものである。補正値算出器４における統計処
理器22は、この動き考慮後の視差の垂直成分の統計値を
算出し、それを補正値として出力する。

【００５５】本実施の形態によると、前記動き検出器で
検出された動きベクトルの垂直成分と、前記視差検出器
で検出された視差の垂直成分との差分により、補正値を
算出するように構成している。したがって、左右画像間
の垂直方向の視差から、物体の動きに係る成分を除去し
て補正値を算出するため、移動物体が静止物体に影響を
与えることのない、適切な補正値を得ることができる。

【００５６】（第３の実施の形態）次に、本発明の第３
の実施の形態について説明する。第３の実施の形態にお
いても補正値算出器４以外の構成及びその動作は、第１
の実施の形態と同様であるので、その図示説明を省略す
る。以下、図７及び第２の実施の形態に関する視差及び
動きベクトルの垂直成分のデータ例を示した図６を用い
て、本実施の形態における補正値算出器４の構成及びそ
の補正値算出手法に関して説明する。

【００５７】図７は、補正値算出器４の構成を示すブロ
ック図であり、この実施の形態の補正値算出器４は、動
き考慮前後の視差の垂直成分を比較選択する比較選択器
31を備えているもので、この比較選択器31以外の構成要
素である差分演算器21及び統計処理器22は、図５で示し
た第２の実施の形態における補正値算出器の構成要素で
ある差分演算器21及び統計処理器22と同様のものであ
る。

【００５８】次に、第３の実施の形態の動作について説
明する。差分演算器21は、図５に示した第２の実施の形
態と同様に、左右画像間の垂直方向のずれ量から、物体
の動き量に係る成分を除去して動き考慮後の視差の垂直
成分を算出する。図６の（Ｃ）は、先に述べたように、
この差分演算器21で算出された動き考慮後の視差の垂直
成分を示すものである。比較選択器31は、視差検出器３
で求められた動き考慮前の視差の垂直成分〔図６の
（Ａ）〕と差分演算器21で求められた動き考慮後の視差
の垂直成分〔図６の（Ｃ）〕とを比較し、信頼性が高い
方を選択する。これは、左右画像間に時間差がある場合
と時間差がない場合の両方に対応し、時間差がある場合
は動き考慮後の視差の垂直成分を、時間差がない場合は
動き考慮前の視差の垂直成分を選択させることを意味す
る。統計処理器22は、比較選択器31で選択された視差の
垂直成分の統計値を算出し、それを補正値として出力す
る。

【００５９】次に、前記比較選択器31において、動き考
慮前の視差の垂直成分と動き考慮後の視差の垂直成分と
を比較し、選択する手法に関して説明する。比較選択器
31は、例えば、動き考慮前の視差の垂直成分の周波数成
分と、動き考慮後の視差の垂直成分の周波数成分とをそ
れぞれ求め、高周波成分の少ない方を信頼性が高いと判
断し、選択するように構成する。

【００６０】また、比較選択器31は、例えば、動き考慮
前の視差の垂直成分の最大値及び最小値と、動き考慮後
の視差の垂直成分の最大値及び最小値とをそれぞれ求
め、最大値と最小値との差分が小さい方を信頼性が高い
と判断し、選択するように構成することもできる。

【００６１】また、比較選択器31は、例えば、動き考慮
前の視差の垂直成分のヒストグラムと、動き考慮後の視
差の垂直成分のヒストグラムとをそれぞれ求め、ヒスト
グラムの幅が小さい方を信頼性が高いと判断し、選択す
るように構成することもできる。

【００６２】これらの手法は、左右画像間の上下ずれ
は、距離にも若干影響されるものの、基本的に画像全体
が一様にずれる特性を利用するものである。

【００６３】次に、本実施の形態における補正値算出器
４の構成の変形例を図８に基づいて説明する。この変形
例は、補正値算出器における比較選択器31を、図３に示
した第１の実施の形態の補正値算出器に付加適用したも
ので、図８における比較器11及び視差補正器12及び統計
処理器13は、第１の実施の形態と同様の構成及び動作を
行うものであるので、説明を省略する。この変形例にお
いても、第３の実施の形態と同様な作用効果が得られ
る。

【００６４】すなわち、上記第３の実施の形態における
動作説明では、動き考慮後の視差の垂直成分を求める手
法は、第２の実施の形態で説明した視差の垂直成分と動
きベクトルの垂直成分との差分から算出する手法に基づ
いて説明を行ってきたが、上記変形例に示すように、第
１の実施の形態で説明した動きベクトルの垂直成分が大
きいブロックは無効とすることにより動き考慮後の視差
の垂直成分を求める手法に関しても、第３の実施の形態
が適用可能である。

【００６５】本実施の形態及びその変形例によると、動
き考慮前の視差の垂直成分と、動き考慮後の視差の垂直
成分とを比較し、信頼性の高い方を選択して補正値を算
出するように構成されている。したがって、左右画像間
に時間差がある場合でも、左右画像間に時間差がない場
合でも、適切な補正値を得ることができる。

【００６６】（第４の実施の形態）次に、本発明の第４
の実施の形態について説明する。本実施の形態において
も、補正値算出器４以外の構成及びその動作は、第１の
実施の形態と同様であるので、その図示説明を省略す
る。

【００６７】図９は、第４の実施の形態における補正値
算出器４の構成を示すブロック図である。本実施の形態
の補正値算出器４は、第１及び第２の統計処理器41，42
と、比較器43と、選択器44と、保持器45とで構成されて
いる。

【００６８】次に、このように構成されている本実施の
形態における補正値算出器４の補正値算出手法について
説明する。まず第１の統計処理器41は、動き検出器で検
出された動きベクトルの垂直成分の統計値を算出し、第
２の統計処理器42は、視差検出器で検出された視差の垂
直成分の統計値を算出する。ここで、統計値とは、例え
ば平均値、最大値、最小値、最頻値等を指す。また、前
記複数の統計値を併用してもよい。また、ヒストグラム
を作成し、それぞれの範囲に関する頻度を統計値として
もよい。

【００６９】比較器43は、第１の統計処理器41で求めら
れた動きベクトルの垂直成分の統計値が閾値以上である
かを判定し、閾値以上の場合は、第２の統計処理器42で
求められた視差の垂直成分の統計値は信頼性が低いと判
断される。その場合、選択器44は、保持器45に格納され
ている前回の補正値を出力する。また、選択器44は、第
１の統計処理器41で求められた動きベクトルの垂直成分
の統計値が閾値未満の場合は、第２の統計処理器42で求
められた視差の垂直成分の統計値を出力する。

【００７０】本実施の形態によると、動きベクトルの垂
直成分の統計値が閾値以上の場合は前回の補正値を、閾
値未満の場合は視差の垂直成分の統計値を補正値として
出力するように構成されているので、移動物体が静止物
体に影響を与えることのない、適切な補正値を得ること
ができる。

【００７１】図10は、図１に示した第１の実施の形態に
係る立体映像表示装置の全体構成の変形例を示す図であ
る。この変形例は、図１に示した第１の実施の形態にお
ける動き検出器２と視差検出器３の代わりに、動き及び
視差検出器６を用いたもので、その他の構成は図１に示
した第１の実施の形態と同じであるので、その説明を省
略する。上記各実施の形態の説明では、動きベクトルと
視差の検出は別々の検出器で行ったものを示したが、動
きベクトルも視差も検出手法は同じであるため、一つの
検出器で動きベクトルと視差の両方を検出することも当
然可能である。この変形例は、このように動きベクトル
と視差の検出を単一の検出器で検出するようにしたもの
である。

【００７２】なお、上記各実施の形態の説明では、説明
を簡単にするために右及び左に関する表現を固定して説
明したが、右及び左に関する表現を入れ替えることも当
然可能である。

【００７３】

【発明の効果】以上実施の形態に基づいて説明したよう
に、請求項１に係る発明によれば、動きと視差を考慮し
て垂直ずれ補正値を算出するようにしているので、どの
ような立体映像が入力された場合でも、適切な補正値を
算出し、見やすい立体画像表示を可能とする立体映像表
示装置を実現することができる。また請求項２に係る発
明によれば、現フレームの左右画像間でブロックマッチ
ング演算を行うようにしているので適正な視差の垂直成
分を検出することができ、また前フレーム画像と現フレ
ーム画像間でブロックマッチング演算を行うようにして
いるので適切な動きベクトルの垂直成分を検出すること
ができる。また請求項３に係る発明によれば、視差の垂
直成分と動きベクトルの垂直成分とから動き考慮後の視
差の垂直成分を求め、その統計値からずれ補正値を算出
するようにしているので、適切なずれ補正値を算出する
ことができる。また請求項４に係る発明によれば、動き
考慮前後の視差の垂直成分のうち、信頼性の高い方を選
択して補正値を算出するようにしているので、左右画像
間に時間差があるなしに拘らず、適切なずれ補正値を得
ることができる。また請求項５に係る発明によれば、動
きベクトルの垂直成分の絶対値が閾値以上のブロックは
無効ブロックとして、動き考慮後の視差の垂直成分を算
出するようにしているので、移動物体が静止物体に影響
を与えることのない適切なずれ補正値を得ることができ
る。

【００７４】また請求項６に係る発明によれば、視差の
垂直成分と動きベクトルの垂直成分との差分を求めるこ
とにより、視差から物体の動きに係る成分を除去した補
正値を算出するようにしているので、移動物体が静止物
体に影響を与えることのない適切なずれ補正値を得るこ
とができる。また請求項７に係る発明によれば、動き考
慮前後の視差の垂直成分のうち、高周波成分の少ない方
を選択し補正値を算出するようにしているので、信頼性
の高い方を選択し適切な補正値を得ることができる。ま
た請求項８に係る発明によれば、動き考慮前後の視差の
垂直成分のうち、最大値と最小値との差分が小さい方を
選択し補正値を算出するようにしているので、信頼性の
高い方を選択し適切な補正値を得ることができる。また
請求項９に係る発明によれば、動き考慮前後の視差の垂
直成分のうち、ヒストグラムの幅が小さい方を選択し補
正値を算出するようにしているので、信頼性の高い方を
選択し適切な補正値を得ることができる。また請求項10
に係る発明によれば、動きベクトルの垂直成分の統計値
の絶対値が閾値以上の場合は前回の補正値を、閾値未満
の場合は視差の垂直成分の統計値を補正値として算出す
るようにしているので、移動物体が静止物体に影響を与
えることのない適切な補正値を得ることができる。

【図面の簡単な説明】

【図１】本発明に係る立体映像表示装置の第１の実施の
形態を示すブロック図である。

【図２】立体映像信号の入力フォーマットの一例を示す
図である。

【図３】図１に示した第１の実施の形態における補正値
算出器の構成を示すブロック図である。

【図４】視差及び動きベクトルの垂直成分、並びに動き
考慮後の視差の垂直成分のデータの例を示す図である。

【図５】第２の実施の形態における補正値算出器の構成
を示すブロック図である。

【図６】視差及び動きベクトルの垂直成分、並びに動き
考慮後の視差の垂直成分のデータの例を示す図である。

【図７】第３の実施の形態における補正値算出器の構成
を示すブロック図である。

【図８】図７に示した第３の実施の形態における補正値
算出器の変形例を示すブロック図である。

【図９】第４の実施の形態における補正値算出器の構成
を示すブロック図である。

【図10】図１に示した第１の実施の形態の変形例を示す
ブロック図である。

【図11】左右画像間の垂直方向のずれに関する説明図で
ある。

【図12】従来の多眼式立体映像の符号化方式を示すブロ
ック構成図である。

【図13】従来例における垂直方向ずれ補正動作の説明図
である。

【図14】従来の映像切り替え装置を示す横断面図であ
る。

【図15】従来手法による垂直位置補正における問題点を
示す説明図である。

【符号の説明】

１メモリ２動き検出器３視差検出器４補正値算出器５画像ずれ補正器６動き及び視差検出器 11 比較器 12 視差補正器 13 統計処理器 21 差分演算器 22 統計処理器 31 比較選択器 41 第１の統計処理器 42 第２の統計処理器 43 比較器 44 選択器 45 保持器

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０９Ｇ 3/20 Ｇ０９Ｇ 3/20 ６６０Ｘ５Ｃ０８２６８０６８０Ａ 3/36 3/36 5/36 ５１０ 5/36 ５１０ＶＦターム(参考） 2H059 AA23 AA24 AA38 AB13 5B050 AA08 BA06 DA02 DA07 EA07 EA13 EA18 FA02 5C006 AA01 AA02 AF19 AF27 AF44 AF46 AF51 AF52 AF53 AF54 AF61 AF71 BB11 BF02 BF14 BF24 BF28 EC12 EC13 FA16 FA18 5C061 AB04 AB08 AB18 5C080 AA10 BB05 CC04 DD01 EE19 JJ01 JJ02 5C082 AA02 AA06 AA27 BA41 BA47 BD02 CA81 MM10

Claims

【特許請求の範囲】

【請求項１】左右両眼で観測する画像の視差を利用し
て立体視させる立体映像表示装置において、左右画像間
の視差の垂直成分を検出する視差検出器と、現フレーム
画像と前フレーム画像間の動きベクトルの垂直成分を検
出する動き検出器と、前記視差検出器で検出された前記
視差の垂直成分及び前記動き検出器で検出された前記動
きベクトルの垂直成分に基づいて補正値を算出する補正
値算出器と、前記補正値算出器で算出された補正値に基
づいて左右画像間の垂直方向ずれ量を補正する画像ずれ
補正器とを備えたことを特徴とする立体映像表示装置。
【請求項２】前記視差検出器は、現フレームの左画像
と現フレームの右画像のうち一方を基準画像とし他方を
参照画像として、ブロックマッチング演算を行って視差
の垂直成分を検出するように構成されており、前記動き
検出器は、現フレームの左画像（又は右画像）と前フレ
ームの左画像（又は右画像）のうち一方を基準画像とし
他方を参照画像として、ブロックマッチング演算を行っ
て動きベクトルの垂直成分を検出するように構成されて
いることを特徴とする請求項１に係る立体映像表示装
置。
【請求項３】前記補正値算出器は、前記視差の垂直成
分と前記動きベクトルの垂直成分とから動き考慮後の視
差の垂直成分を求め、前記動き考慮後の視差の垂直成分
の統計処理を行い、統計値を補正値として出力するよう
に構成されていることを特徴とする請求項１又は２に係
る立体映像表示装置。
【請求項４】前記補正値算出器は、前記視差の垂直成
分と前記動きベクトルの垂直成分とから動き考慮後の視
差の垂直成分を求め、前記動き考慮前の視差の垂直成分
と前記動き考慮後の視差の垂直成分のうち一方を選択し
て統計処理を行い、統計値を補正値として出力するよう
に構成されていることを特徴とする請求項１又は２に係
る立体映像表示装置。
【請求項５】前記補正値算出器は、前記動き考慮後の
視差の垂直成分を、前記動きベクトルの垂直成分の絶対
値が閾値以上のブロックは無効ブロックとすることによ
り算出するように構成されていることを特徴とする請求
項３又は４に係る立体映像表示装置。
【請求項６】前記補正値算出器は、前記動き考慮後の
視差の垂直成分を、前記視差の垂直成分と前記動きベク
トルの垂直成分との差分によって算出するように構成さ
れていることを特徴とする請求項３又は４に係る立体映
像表示装置。
【請求項７】前記補正値算出器は、前記動き考慮前の
視差の垂直成分と前記動き考慮後の視差の垂直成分のう
ち、高周波成分の少ない方を選択して統計処理を行うよ
うに構成されていることを特徴とする請求項４に係る立
体映像表示装置。
【請求項８】前記補正値算出器は、前記動き考慮前の
視差の垂直成分と前記動き考慮後の視差の垂直成分のう
ち、最大値と最小値との差分が小さい方を選択して統計
処理を行うように構成されていることを特徴とする請求
項４に係る立体映像表示装置。
【請求項９】前記補正値算出器は、前記動き考慮前の
視差の垂直成分と前記動き考慮後の視差の垂直成分のう
ち、ヒストグラムの幅が小さい方を選択して統計処理を
行うように構成されていることを特徴とする請求項４に
係る立体映像表示装置。
【請求項10】前記補正値算出器は、前記動きベクトル
の垂直成分の統計値の絶対値が閾値以上の場合は前回の
補正値を、閾値未満の場合は視差の垂直成分の統計値を
補正値として算出するよう構成されていることを特徴と
する請求項１又は２に係る立体映像表示装置。