JP2000092513A - 立体画像生成装置及び立体画像生成方法 - Google Patents
立体画像生成装置及び立体画像生成方法Info
- Publication number
- JP2000092513A JP2000092513A JP10256903A JP25690398A JP2000092513A JP 2000092513 A JP2000092513 A JP 2000092513A JP 10256903 A JP10256903 A JP 10256903A JP 25690398 A JP25690398 A JP 25690398A JP 2000092513 A JP2000092513 A JP 2000092513A
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- image
- generating
- class
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
(57)【要約】
【課題】画像の動きやシーンチェンジの有無に応じて常
に違和感のない立体画像を生成し得る立体画像生成装置
及び立体画像生成方法を提案する。 【解決手段】第１の画像信号Ｄ１に基づいて当該第１の
画像信号Ｄ１に対して視差のある第２の画像信号Ｄ７を
生成する際に、第１の画像信号Ｄ１の注目画素につい
て、動き情報Ｄ５及び不連続情報Ｄ６に応じた視差を有
する第２の画像信号Ｄ７を生成することにより、画像の
動きの状態やシーンチェンジの有無に応じて常に立体感
のある立体画像を視聴者に提供することができる。
に違和感のない立体画像を生成し得る立体画像生成装置
及び立体画像生成方法を提案する。 【解決手段】第１の画像信号Ｄ１に基づいて当該第１の
画像信号Ｄ１に対して視差のある第２の画像信号Ｄ７を
生成する際に、第１の画像信号Ｄ１の注目画素につい
て、動き情報Ｄ５及び不連続情報Ｄ６に応じた視差を有
する第２の画像信号Ｄ７を生成することにより、画像の
動きの状態やシーンチェンジの有無に応じて常に立体感
のある立体画像を視聴者に提供することができる。
Description
【０００１】
【発明の属する技術分野】本発明は立体画像生成装置及
び立体画像生成方法に関し、入力画像信号に基づいて立
体画像信号生成する立体画像生成装置及び立体画像生成
方法に適用して好適なものである。
び立体画像生成方法に関し、入力画像信号に基づいて立
体画像信号生成する立体画像生成装置及び立体画像生成
方法に適用して好適なものである。
【０００２】
【従来の技術】従来、テレビジョン信号を立体画像化す
る方法として、視聴者の一方の眼に対する画像はそのま
ま用い、他方の眼に対する画像を遅延させることによ
り、両眼に対する２つの画像に所定の時間差を与えるよ
うになされたものが考えられている。かかる立体画像化
方法では、画像に動きが有る場合、当該２つの画像に視
差を生じさせてこの画像を見る視聴者に立体感を与える
ようになされている。
る方法として、視聴者の一方の眼に対する画像はそのま
ま用い、他方の眼に対する画像を遅延させることによ
り、両眼に対する２つの画像に所定の時間差を与えるよ
うになされたものが考えられている。かかる立体画像化
方法では、画像に動きが有る場合、当該２つの画像に視
差を生じさせてこの画像を見る視聴者に立体感を与える
ようになされている。
【０００３】
【発明が解決しようとする課題】ところが、かかる立体
画像化方法においては、動きのない画像や画像内容が切
り換わるシーンチェンジに対して立体感のある画像を正
確に生成し得ない問題があった。
画像化方法においては、動きのない画像や画像内容が切
り換わるシーンチェンジに対して立体感のある画像を正
確に生成し得ない問題があった。
【０００４】本発明は以上の点を考慮してなされたもの
で、画像の動きやシーンチェンジの有無に応じて常に違
和感のない立体画像を生成し得る立体画像生成装置及び
立体画像生成方法を提案しようとするものである。
で、画像の動きやシーンチェンジの有無に応じて常に違
和感のない立体画像を生成し得る立体画像生成装置及び
立体画像生成方法を提案しようとするものである。
【０００５】
【課題を解決するための手段】かかる課題を解決するた
め本発明においては、第１の画像信号に基づいて当該第
１の画像信号に対して視差のある第２の画像信号を生成
する立体画像生成装置において、第１の画像信号に基づ
いて当該第１の画像信号に対して視差のある第２の画像
信号を生成する際に、第１の画像信号の注目画素につい
て、動き情報及び不連続情報に応じた視差を有する第２
の画像信号を生成することにより、画像の動きの状態や
シーンチェンジの有無に応じて常に立体感のある立体画
像を視聴者に提供することができる。
め本発明においては、第１の画像信号に基づいて当該第
１の画像信号に対して視差のある第２の画像信号を生成
する立体画像生成装置において、第１の画像信号に基づ
いて当該第１の画像信号に対して視差のある第２の画像
信号を生成する際に、第１の画像信号の注目画素につい
て、動き情報及び不連続情報に応じた視差を有する第２
の画像信号を生成することにより、画像の動きの状態や
シーンチェンジの有無に応じて常に立体感のある立体画
像を視聴者に提供することができる。
【０００６】
【発明の実施の形態】以下図面について、本発明の一実
施の形態を詳述する。
施の形態を詳述する。
【０００７】（１）クラス分類適応処理の原理 ここでは例えば標準解像度の画像データ（以下、これを
ＳＤ（Standard Definition ）画像データと呼ぶ）をそ
の各画素の信号レベル分布に応じたクラスに分類し、ク
ラス毎に所定のデータ処理を施すことにより高解像度の
画像データ（以下、これをＨＤ（High Definition ）画
像データと呼ぶ）を生成するいわゆるクラス分類適応処
理の原理について説明する。
ＳＤ（Standard Definition ）画像データと呼ぶ）をそ
の各画素の信号レベル分布に応じたクラスに分類し、ク
ラス毎に所定のデータ処理を施すことにより高解像度の
画像データ（以下、これをＨＤ（High Definition ）画
像データと呼ぶ）を生成するいわゆるクラス分類適応処
理の原理について説明する。
【０００８】図１は、このクラス分類適応処理を実現す
るアップコンバータ５１の回路構成を示す。アップコン
バータ１は、外部から供給される例えば８ビットのパル
ス符号変調（ＰＣＭ：Pulse Code Modulation ）データ
でなるＳＤ画像データＳ５１をクラス分類部５２及び予
測演算部５３に入力する。クラス分類部５２は、例えば
図２に示すように、ＳＤ画像データＳ５１のうち注目画
素及び当該注目画素を中心とした複数の周辺画素でなる
合計７画素（タップ）をクラス分類用の画素（以下、こ
れをクラスタップと呼ぶ）として設定し、それらの信号
レベル分布に基づいてクラスコードＳ５２を生成する。
因みに、図中実線は第１フィールドを示し、点線は第２
フィールドを示す。
るアップコンバータ５１の回路構成を示す。アップコン
バータ１は、外部から供給される例えば８ビットのパル
ス符号変調（ＰＣＭ：Pulse Code Modulation ）データ
でなるＳＤ画像データＳ５１をクラス分類部５２及び予
測演算部５３に入力する。クラス分類部５２は、例えば
図２に示すように、ＳＤ画像データＳ５１のうち注目画
素及び当該注目画素を中心とした複数の周辺画素でなる
合計７画素（タップ）をクラス分類用の画素（以下、こ
れをクラスタップと呼ぶ）として設定し、それらの信号
レベル分布に基づいてクラスコードＳ５２を生成する。
因みに、図中実線は第１フィールドを示し、点線は第２
フィールドを示す。
【０００９】このクラス分類部５２によってクラスコー
ドＳ５２を生成する方法としては、ＰＣＭデータを直接
使用する（すなわちＰＣＭデータをそのままクラスデー
タＳ５２とする）方法や、ＡＤＲＣ（Adaptive Dynamic
Range Coding ）等のデータ圧縮方法を用いてクラス数
を削減するような方法が考えられる。このうちＰＣＭデ
ータをそのままクラスコードＳ５２とする方法では、ク
ラスタップとして８ビットのＰＣＭデータを７タップ用
いることから、クラス数が２56という膨大な数のクラス
数に分類されることになり、実用上問題がある。
ドＳ５２を生成する方法としては、ＰＣＭデータを直接
使用する（すなわちＰＣＭデータをそのままクラスデー
タＳ５２とする）方法や、ＡＤＲＣ（Adaptive Dynamic
Range Coding ）等のデータ圧縮方法を用いてクラス数
を削減するような方法が考えられる。このうちＰＣＭデ
ータをそのままクラスコードＳ５２とする方法では、ク
ラスタップとして８ビットのＰＣＭデータを７タップ用
いることから、クラス数が２56という膨大な数のクラス
数に分類されることになり、実用上問題がある。
【００１０】そこで実際には、クラス分類部５２は、Ａ
ＤＲＣのようなデータ圧縮処理（すなわち再量子化処
理）を施すことによりクラス数を削減するようになされ
ている。このＡＤＲＣによる分類法は、注目画素を中心
とする近傍領域内の数タップからＡＤＲＣコードを、次
式
ＤＲＣのようなデータ圧縮処理（すなわち再量子化処
理）を施すことによりクラス数を削減するようになされ
ている。このＡＤＲＣによる分類法は、注目画素を中心
とする近傍領域内の数タップからＡＤＲＣコードを、次
式
【００１１】
【数１】
【００１２】によって求め、当該ＡＤＲＣコードに基づ
いてクラスコードＳ５２を生成する手法を用いている。
ここで、ｃi はＡＤＲＣコード、ｘi は各クラスタップ
の入力画素値、ＭＩＮは領域内にある各クラスタップの
入力画素値のうちの最小画素値、ＤＲは領域内のダイナ
ミックレンジ（最大画素値と最小画素値との差分）、ｋ
は再量子化ビット数である。
いてクラスコードＳ５２を生成する手法を用いている。
ここで、ｃi はＡＤＲＣコード、ｘi は各クラスタップ
の入力画素値、ＭＩＮは領域内にある各クラスタップの
入力画素値のうちの最小画素値、ＤＲは領域内のダイナ
ミックレンジ（最大画素値と最小画素値との差分）、ｋ
は再量子化ビット数である。
【００１３】すなわちＡＤＲＣによる分類法は、領域内
のダイナミックレンジから再量子化ビット数に応じた量
子化ステップ幅を算出し、入力画素値から最小画素値を
減算した画素値を量子化ステップ幅に応じて再量子化す
るものである。例えば領域内の７タップにおいて各クラ
スタップを１ビットに再量子化する１ビットＡＤＲＣを
行う場合では、領域内のダイナミックレンジに基づいて
７タップの各入力画素値を適応的に１ビット量子化し、
その結果、７タップの入力画素値を７ビットのデータに
削減することができるので、全体としてクラス数を１２
８クラスにまで削減することができる。
のダイナミックレンジから再量子化ビット数に応じた量
子化ステップ幅を算出し、入力画素値から最小画素値を
減算した画素値を量子化ステップ幅に応じて再量子化す
るものである。例えば領域内の７タップにおいて各クラ
スタップを１ビットに再量子化する１ビットＡＤＲＣを
行う場合では、領域内のダイナミックレンジに基づいて
７タップの各入力画素値を適応的に１ビット量子化し、
その結果、７タップの入力画素値を７ビットのデータに
削減することができるので、全体としてクラス数を１２
８クラスにまで削減することができる。
【００１４】図１に戻って、予測係数ＲＯＭ（Read Onl
y Memory）５４は、後述する学習回路６０によって予め
生成された各クラス毎に対応した予測係数データＳ５３
を格納しており、クラス分類部５２から供給されるクラ
スコードＳ５２に応じた予測係数データＳ５３を読み出
し、これを予測演算部５３に送出する。予測演算部５３
は、例えば図３に示すように、外部から入力されるＳＤ
画像データＳ５１のうち、注目画素及び当該注目画素を
中心とした複数の周辺画素でなる合計１３タップを予測
演算用の画素（以下、これを予測タップと呼ぶ）として
選定し、当該予測タップの各画素値と予測係数データＳ
５３とを用いて、線形一次結合でなる次式
y Memory）５４は、後述する学習回路６０によって予め
生成された各クラス毎に対応した予測係数データＳ５３
を格納しており、クラス分類部５２から供給されるクラ
スコードＳ５２に応じた予測係数データＳ５３を読み出
し、これを予測演算部５３に送出する。予測演算部５３
は、例えば図３に示すように、外部から入力されるＳＤ
画像データＳ５１のうち、注目画素及び当該注目画素を
中心とした複数の周辺画素でなる合計１３タップを予測
演算用の画素（以下、これを予測タップと呼ぶ）として
選定し、当該予測タップの各画素値と予測係数データＳ
５３とを用いて、線形一次結合でなる次式
【００１５】
【数２】
【００１６】によって表される積和演算を行うことによ
り、予測タップには存在しないＨＤ画素の集まりである
ＨＤ画像データＳ５４を生成し、これを外部に出力す
る。ここで、ｘ′は各ＨＤ画素値、ｘi は各予測タップ
の画素値、ｗi は予測係数、ｎは予測タップ数であり、
この場合ｎは１３である。
り、予測タップには存在しないＨＤ画素の集まりである
ＨＤ画像データＳ５４を生成し、これを外部に出力す
る。ここで、ｘ′は各ＨＤ画素値、ｘi は各予測タップ
の画素値、ｗi は予測係数、ｎは予測タップ数であり、
この場合ｎは１３である。
【００１７】ところで図４は、予測係数ＲＯＭ５４に格
納されている予測係数データを生成する学習回路６０の
回路構成を示し、当該学習回路６０は、予測係数データ
を予め生成して、これを予測係数ＲＯＭ５４に格納する
ようになされている。学習回路６０は、いわゆる教師信
号としてのＨＤ画像データＳ６０を垂直間引きフィルタ
６１及び予測係数算出回路６２に入力する。学習回路６
０は、ＨＤ画像データＳ６０を垂直間引きフィルタ６１
及び水平間引きフィルタ６３によって間引くことによ
り、生徒信号としてのＳＤ画像データＳ６１を生成し、
これをクラス分類部６４及び予測係数算出回路６２に入
力するようになされている。
納されている予測係数データを生成する学習回路６０の
回路構成を示し、当該学習回路６０は、予測係数データ
を予め生成して、これを予測係数ＲＯＭ５４に格納する
ようになされている。学習回路６０は、いわゆる教師信
号としてのＨＤ画像データＳ６０を垂直間引きフィルタ
６１及び予測係数算出回路６２に入力する。学習回路６
０は、ＨＤ画像データＳ６０を垂直間引きフィルタ６１
及び水平間引きフィルタ６３によって間引くことによ
り、生徒信号としてのＳＤ画像データＳ６１を生成し、
これをクラス分類部６４及び予測係数算出回路６２に入
力するようになされている。
【００１８】クラス分類部６４は、図１に示すアップコ
ンバータのクラス分類部５２と同様の構成でなり、ＳＤ
画像データＳ６１からクラスタップを選定し、その信号
レベル分布に基づいてクラスコードＳ６２を生成した
後、これを予測係数算出回路６２に送出する。予測係数
算出回路６２は、ＨＤ画像データＳ６０及びＳＤ画像デ
ータＳ６１を基に、クラスコードＳ６２が示すクラスに
応じた予測係数をクラス毎に算出し、その結果得た予測
係数データＳ６３を予測係数ＲＯＭ５４に格納する。
ンバータのクラス分類部５２と同様の構成でなり、ＳＤ
画像データＳ６１からクラスタップを選定し、その信号
レベル分布に基づいてクラスコードＳ６２を生成した
後、これを予測係数算出回路６２に送出する。予測係数
算出回路６２は、ＨＤ画像データＳ６０及びＳＤ画像デ
ータＳ６１を基に、クラスコードＳ６２が示すクラスに
応じた予測係数をクラス毎に算出し、その結果得た予測
係数データＳ６３を予測係数ＲＯＭ５４に格納する。
【００１９】この場合、予測係数算出回路６２は、上述
の（２）式における予測係数ｗを最小自乗法によって求
めるようになされている。具体的には予測係数算出回路
６２は、ＸをＳＤ画素値、Ｗを予測係数、ＹをＨＤ画素
値として、いわゆる観測方程式と呼ばれる次式
の（２）式における予測係数ｗを最小自乗法によって求
めるようになされている。具体的には予測係数算出回路
６２は、ＸをＳＤ画素値、Ｗを予測係数、ＹをＨＤ画素
値として、いわゆる観測方程式と呼ばれる次式
【００２０】
【数３】
【００２１】を生成するように各データを収集する。こ
こでｍは予測するＨＤ画素の画素数を示す学習データ
数、ｎは予測タップ数である。
こでｍは予測するＨＤ画素の画素数を示す学習データ
数、ｎは予測タップ数である。
【００２２】次に予測係数算出回路６２は、この（３）
式を基に、次式
式を基に、次式
【００２３】
【数４】
【００２４】に示す残差方程式を立てる。従って各予測
係数ｗi は、この（４）式から、次式
係数ｗi は、この（４）式から、次式
【００２５】
【数５】
【００２６】が最小のときに最適な値となることがわか
る。すなわち次式
る。すなわち次式
【００２７】
【数６】
【００２８】を満たすように予測係数ｗi が算出され
る。
る。
【００２９】そこで予測係数算出回路６２は、このｎ個
ある（６）式を満たすようなｗ1 、ｗ2 、……、ｗn を
算出すればよいことになり、上述の（４）式から、次式
ある（６）式を満たすようなｗ1 、ｗ2 、……、ｗn を
算出すればよいことになり、上述の（４）式から、次式
【００３０】
【数７】
【００３１】を得、これら（６）及び（７）式から、次
式
式
【００３２】
【数８】
【００３３】を求める。そして予測係数算出回路６２
は、上述の（４）及び（８）式から、次式
は、上述の（４）及び（８）式から、次式
【００３４】
【数９】
【００３５】によって表される正規方程式を生成する。
このようにして予測係数算出回路６２は、予測タップ数
ｎと同一次数の連立方程式でなる正規方程式を生成し、
掃き出し法（Gauss Jordanの消去法）を用いてこの正規
方程式を解くことにより、各予測係数ｗi を算出する。
このようにして予測係数算出回路６２は、予測タップ数
ｎと同一次数の連立方程式でなる正規方程式を生成し、
掃き出し法（Gauss Jordanの消去法）を用いてこの正規
方程式を解くことにより、各予測係数ｗi を算出する。
【００３６】以下、学習回路６０による予測係数生成手
順について図５に示すフローチャートを用いて説明す
る。学習回路６０はステップＳＰ６１から入り続くステ
ップＳＰ６２において、教師信号としてのＨＤ画像デー
タＳ６０から生徒信号としてのＳＤ画像データＳ６１を
生成することにより、予測係数を生成するのに必要な学
習データを生成する。ステップＳＰ６３において、学習
回路６０は、予測係数を生成するのに必要十分な学習デ
ータが得られたか否か判定し、その結果、未だ必要十分
な学習データが得られていないと判断された場合にはス
テップＳＰ６３において否定結果を得ることによりステ
ップＳＰ６４に移行する。
順について図５に示すフローチャートを用いて説明す
る。学習回路６０はステップＳＰ６１から入り続くステ
ップＳＰ６２において、教師信号としてのＨＤ画像デー
タＳ６０から生徒信号としてのＳＤ画像データＳ６１を
生成することにより、予測係数を生成するのに必要な学
習データを生成する。ステップＳＰ６３において、学習
回路６０は、予測係数を生成するのに必要十分な学習デ
ータが得られたか否か判定し、その結果、未だ必要十分
な学習データが得られていないと判断された場合にはス
テップＳＰ６３において否定結果を得ることによりステ
ップＳＰ６４に移行する。
【００３７】ステップＳＰ６４において、学習回路６０
は、ＳＤ画像データＳ６１からクラスタップを選定し、
その信号レベル分布に基づいてクラス分類を行う。ステ
ップＳＰ６５において、学習回路６０は、各クラス毎に
上述の（９）式でなる正規方程式を生成し、ステップＳ
Ｐ６２に戻って同様の処理手順を繰り返すことにより、
予測係数を生成するのに必要十分な正規方程式を生成す
る。
は、ＳＤ画像データＳ６１からクラスタップを選定し、
その信号レベル分布に基づいてクラス分類を行う。ステ
ップＳＰ６５において、学習回路６０は、各クラス毎に
上述の（９）式でなる正規方程式を生成し、ステップＳ
Ｐ６２に戻って同様の処理手順を繰り返すことにより、
予測係数を生成するのに必要十分な正規方程式を生成す
る。
【００３８】これに対してステップＳＰ６３において肯
定結果が得られると、このことは必要十分な学習データ
が得られたことを表しており、このとき学習回路６０は
ステップＳＰ６６に移って、上述の（９）式でなる正規
方程式を掃き出し法によって解くことにより、予測係数
ｗ1 、ｗ2 、……、ｗn を各クラス毎に生成する。そし
てステップＳＰ６７において、学習回路６０は、生成し
た各クラス毎の予測係数ｗ1 、ｗ2 、……、ｗn を予測
係数ＲＯＭ５４（図１）に格納し、ステップＳＰ６８に
おいて当該予測係数生成手順を終了する。
定結果が得られると、このことは必要十分な学習データ
が得られたことを表しており、このとき学習回路６０は
ステップＳＰ６６に移って、上述の（９）式でなる正規
方程式を掃き出し法によって解くことにより、予測係数
ｗ1 、ｗ2 、……、ｗn を各クラス毎に生成する。そし
てステップＳＰ６７において、学習回路６０は、生成し
た各クラス毎の予測係数ｗ1 、ｗ2 、……、ｗn を予測
係数ＲＯＭ５４（図１）に格納し、ステップＳＰ６８に
おいて当該予測係数生成手順を終了する。
【００３９】（２）クラス分類適応処理を用いた立体画
像生成装置 図６は図１〜図５について上述したクラス分類適応処理
を用いた立体画像生成装置１００を示し、ディジタル化
された入力ビデオ信号Ｄ１を遅延回路１０１及び遅延回
路１０２を介して立体画像表示装置１１０の右眼用表示
部１１０Ｒに右眼用画像信号Ｄ３として供給する。
像生成装置 図６は図１〜図５について上述したクラス分類適応処理
を用いた立体画像生成装置１００を示し、ディジタル化
された入力ビデオ信号Ｄ１を遅延回路１０１及び遅延回
路１０２を介して立体画像表示装置１１０の右眼用表示
部１１０Ｒに右眼用画像信号Ｄ３として供給する。
【００４０】また、立体画像生成装置１００は、入力ビ
デオ信号Ｄ１をフレームメモリ１０３に入力することに
より１フレーム分遅延させた後、これを１フレーム遅延
ビデオ信号Ｄ４として動きベクトル検出部１０４及びシ
ーンチェンジ検出部１０５に供給する。
デオ信号Ｄ１をフレームメモリ１０３に入力することに
より１フレーム分遅延させた後、これを１フレーム遅延
ビデオ信号Ｄ４として動きベクトル検出部１０４及びシ
ーンチェンジ検出部１０５に供給する。
【００４１】動きベクトル検出部１０４は、フレームメ
モリ１０３において１フレーム分遅延された１フレーム
遅延ビデオ信号Ｄ４と、このとき当該立体画像生成装置
１００に入力されるビデオ信号Ｄ１とを例えば16×16画
素でなるブロック単位で比較することにより、ブロック
マッチング法によってフレーム間の動きベクトルを検出
する。
モリ１０３において１フレーム分遅延された１フレーム
遅延ビデオ信号Ｄ４と、このとき当該立体画像生成装置
１００に入力されるビデオ信号Ｄ１とを例えば16×16画
素でなるブロック単位で比較することにより、ブロック
マッチング法によってフレーム間の動きベクトルを検出
する。
【００４２】この動きベクトル検出方法において、動き
ベクトル検出部１０４は、１フレーム遅延ビデオ信号Ｄ
４及び入力ビデオ信号Ｄ１の比較すべきブロックの同じ
位置にある画素を一組の画素ペアとして、当該画素ペア
をなす２つの画素の画素値の差分を算出する。そして動
きベクトル検出部１０４は当該画素ペアの差分をブロッ
ク内に存在するすべての画素ペアについて合計した量
（ＭＡＥ：Mean Absolute Error)が最小となるブロック
を探索し、このようにして得られた前後フレームの２つ
のブロックのずれを動きベクトルとして検出する。動き
ベクトル検出部１０４は検出された動きベクトルを動き
ベクトル検出データＤ５としてクラス分類適応処理部１
０６に供給する。
ベクトル検出部１０４は、１フレーム遅延ビデオ信号Ｄ
４及び入力ビデオ信号Ｄ１の比較すべきブロックの同じ
位置にある画素を一組の画素ペアとして、当該画素ペア
をなす２つの画素の画素値の差分を算出する。そして動
きベクトル検出部１０４は当該画素ペアの差分をブロッ
ク内に存在するすべての画素ペアについて合計した量
（ＭＡＥ：Mean Absolute Error)が最小となるブロック
を探索し、このようにして得られた前後フレームの２つ
のブロックのずれを動きベクトルとして検出する。動き
ベクトル検出部１０４は検出された動きベクトルを動き
ベクトル検出データＤ５としてクラス分類適応処理部１
０６に供給する。
【００４３】また、シーンチェンジ検出部１０５は、フ
レームメモリ１０３において１フレーム分遅延された１
フレーム遅延ビデオ信号Ｄ４と、このとき当該立体画像
生成装置１００に入力されるビデオ信号Ｄ１との各画素
のフレーム間差分の絶対値和を求め、当該絶対値和が予
め設定されている所定の閾値を越えたとき、このとき比
較している前後２つのフレーム間が不連続であり当該２
つのフレーム間においてシーンチェンジが行われたこと
を検出する。
レームメモリ１０３において１フレーム分遅延された１
フレーム遅延ビデオ信号Ｄ４と、このとき当該立体画像
生成装置１００に入力されるビデオ信号Ｄ１との各画素
のフレーム間差分の絶対値和を求め、当該絶対値和が予
め設定されている所定の閾値を越えたとき、このとき比
較している前後２つのフレーム間が不連続であり当該２
つのフレーム間においてシーンチェンジが行われたこと
を検出する。
【００４４】シーンチェンジ検出部１０５は、このよう
にして検出された不連続状態をシーンチェンジ検出デー
タＤ６としてクラス分類適応処理部１０６に供給する。
にして検出された不連続状態をシーンチェンジ検出デー
タＤ６としてクラス分類適応処理部１０６に供給する。
【００４５】クラス分類適応処理部１０６は、遅延回路
１０１から出力される遅延ビデオ信号Ｄ２と、当該遅延
ビデオ信号Ｄ２に同期したタイミングで動きベクトル検
出部１０４及びシーンチェンジ検出部１０５から供給さ
れる動きベクトル検出データＤ５及びシーンチェンジ検
出データＤ６とを入力し、動きベクトル検出データＤ５
及びシーンチェンジ検出データＤ６に基づいて遅延ビデ
オ信号Ｄ２から立体画像を生成する際の左眼用画像信号
Ｄ７を生成する。
１０１から出力される遅延ビデオ信号Ｄ２と、当該遅延
ビデオ信号Ｄ２に同期したタイミングで動きベクトル検
出部１０４及びシーンチェンジ検出部１０５から供給さ
れる動きベクトル検出データＤ５及びシーンチェンジ検
出データＤ６とを入力し、動きベクトル検出データＤ５
及びシーンチェンジ検出データＤ６に基づいて遅延ビデ
オ信号Ｄ２から立体画像を生成する際の左眼用画像信号
Ｄ７を生成する。
【００４６】すなわちクラス分類適応処理部１０６は、
図７に示すように、遅延回路１０１から供給される遅延
ビデオ信号Ｄ２を予測タップ生成回路１２１に入力す
る。
図７に示すように、遅延回路１０１から供給される遅延
ビデオ信号Ｄ２を予測タップ生成回路１２１に入力す
る。
【００４７】予測タップ生成回路１２１は、遅延ビデオ
信号Ｄ２のうち、注目画素及び当該注目画素を中心とし
たｎ個の周辺画素でなる予測演算用の画素（予測タッ
プ）を選定し、当該選定された予測タップの各画素値ｘ
i （ｉ＝１〜ｎ）を予測タップデータＤ１２１として予
測演算部１２３の乗算器１３４Ａ1 〜１３４Ａn にそれ
ぞれ供給する。
信号Ｄ２のうち、注目画素及び当該注目画素を中心とし
たｎ個の周辺画素でなる予測演算用の画素（予測タッ
プ）を選定し、当該選定された予測タップの各画素値ｘ
i （ｉ＝１〜ｎ）を予測タップデータＤ１２１として予
測演算部１２３の乗算器１３４Ａ1 〜１３４Ａn にそれ
ぞれ供給する。
【００４８】クラス分類適応処理部１０６は、後述する
学習処理により予め算出されている各動きベクトルの大
きさ（動き量）及びシーンチェンジに対応した各予測タ
ップの予測係数ｗi （ｉ＝１〜ｎ）の組を予測係数ＲＯ
Ｍ１２２に記憶している。すなわち、予測係数ＲＯＭ１
２２は、動きベクトルの大きさ（動き量）をクラスとし
て、当該動き量クラスに応じた予測係数ｗi （ｉ＝１〜
ｎ）の組ＫＥ1 〜ＫＥx を予測係数グループＧＰ１とし
て記憶しており、また、シーンチェンジに対応した１つ
のクラス（シーンチェンジクラス）の予測係数ｗi （ｉ
＝１〜ｎ）の組ＫＥz を予測係数グループＧＰ２として
記憶している。
学習処理により予め算出されている各動きベクトルの大
きさ（動き量）及びシーンチェンジに対応した各予測タ
ップの予測係数ｗi （ｉ＝１〜ｎ）の組を予測係数ＲＯ
Ｍ１２２に記憶している。すなわち、予測係数ＲＯＭ１
２２は、動きベクトルの大きさ（動き量）をクラスとし
て、当該動き量クラスに応じた予測係数ｗi （ｉ＝１〜
ｎ）の組ＫＥ1 〜ＫＥx を予測係数グループＧＰ１とし
て記憶しており、また、シーンチェンジに対応した１つ
のクラス（シーンチェンジクラス）の予測係数ｗi （ｉ
＝１〜ｎ）の組ＫＥz を予測係数グループＧＰ２として
記憶している。
【００４９】従って、クラス分類適応処理部１０６は、
動きベクトル検出部１０４（図６）から供給される動き
ベクトル検出データＤ５をインデックスデコーダ１２４
においてデコードすることによりアドレスデータＡＤi
（ｉ＝１〜ｘ）を得、当該アドレスデータＡＤi （ｉ＝
１〜ｘ）を予測係数ＲＯＭ１２２に送出することによ
り、アドレスデータＡＤi （ｉ＝１〜ｘ）に応じたクラ
スの組（ＫＥ1 〜ＫＥxのいずれか）の各予測係数ｗi
を読み出す。そしてクラス分類適応処理部１０６は当該
読み出した予測係数を予測演算部１２３の対応する各レ
ジスタ１３３Ａ1〜１３３Ａn を介して乗算器１３４Ａ
1 〜１３４Ａn に供給する。
動きベクトル検出部１０４（図６）から供給される動き
ベクトル検出データＤ５をインデックスデコーダ１２４
においてデコードすることによりアドレスデータＡＤi
（ｉ＝１〜ｘ）を得、当該アドレスデータＡＤi （ｉ＝
１〜ｘ）を予測係数ＲＯＭ１２２に送出することによ
り、アドレスデータＡＤi （ｉ＝１〜ｘ）に応じたクラ
スの組（ＫＥ1 〜ＫＥxのいずれか）の各予測係数ｗi
を読み出す。そしてクラス分類適応処理部１０６は当該
読み出した予測係数を予測演算部１２３の対応する各レ
ジスタ１３３Ａ1〜１３３Ａn を介して乗算器１３４Ａ
1 〜１３４Ａn に供給する。
【００５０】かくして各乗算器１３４Ａ1 〜１３４Ａn
には、遅延ビデオ信号Ｄ２の動き量に応じた予測係数ｗ
i （ｉ＝１〜ｎ）が入力されることになる。
には、遅延ビデオ信号Ｄ２の動き量に応じた予測係数ｗ
i （ｉ＝１〜ｎ）が入力されることになる。
【００５１】因みに、画面内を動く被写体の動き量は当
該被写体の遠近感と相関を有しており、被写体が近くに
ある程、画面内における当該被写体の動き量が大きくな
る傾向がある。従って、動き量に対応した予測係数ｗi
としては、右眼用画像信号Ｄ３（図６）に対して例えば
動き量に比例したシフト量だけ各画素を水平方向にシフ
トさせるような係数が与えられる。
該被写体の遠近感と相関を有しており、被写体が近くに
ある程、画面内における当該被写体の動き量が大きくな
る傾向がある。従って、動き量に対応した予測係数ｗi
としては、右眼用画像信号Ｄ３（図６）に対して例えば
動き量に比例したシフト量だけ各画素を水平方向にシフ
トさせるような係数が与えられる。
【００５２】また、クラス分類適応処理部１０６は、シ
ーンチェンジ検出部１０５（図６）から供給されるシー
ンチェンジ検出データＤ６をインデックスデコーダ１２
４においてデコードすることによりアドレスデータＡＤ
Z を得、当該アドレスデータＡＤz を予測係数ＲＯＭ１
２２に送出することにより、アドレスデータＡＤz に応
じたクラスの組ＫＥz の各予測係数ｗi を読み出す。そ
してクラス分類適応処理部１０６は当該読み出した予測
係数を予測演算部１２３の対応する各レジスタ１３３Ａ
1 〜１３３Ａn を介して乗算器１３４Ａ1 〜１３４Ａn
にそれぞれ供給する。
ーンチェンジ検出部１０５（図６）から供給されるシー
ンチェンジ検出データＤ６をインデックスデコーダ１２
４においてデコードすることによりアドレスデータＡＤ
Z を得、当該アドレスデータＡＤz を予測係数ＲＯＭ１
２２に送出することにより、アドレスデータＡＤz に応
じたクラスの組ＫＥz の各予測係数ｗi を読み出す。そ
してクラス分類適応処理部１０６は当該読み出した予測
係数を予測演算部１２３の対応する各レジスタ１３３Ａ
1 〜１３３Ａn を介して乗算器１３４Ａ1 〜１３４Ａn
にそれぞれ供給する。
【００５３】かくして各乗算器１３４Ａ1 〜１３４Ａn
には、遅延ビデオ信号Ｄ２のシーンチェンジに応じて予
め設定された所定の予測係数ｗi （ｉ＝１〜ｎ）が入力
されることになる。
には、遅延ビデオ信号Ｄ２のシーンチェンジに応じて予
め設定された所定の予測係数ｗi （ｉ＝１〜ｎ）が入力
されることになる。
【００５４】因みに、シーンチェンジでは画像の動きに
連続性がないことから、シーンチェンジに対応した予測
係数ｗi としては、右眼用画像信号Ｄ３（図６）に対し
て各画素を例えば両眼視差として数画素分だけ水平方向
にシフトするような係数が与えられる。
連続性がないことから、シーンチェンジに対応した予測
係数ｗi としては、右眼用画像信号Ｄ３（図６）に対し
て各画素を例えば両眼視差として数画素分だけ水平方向
にシフトするような係数が与えられる。
【００５５】かくして、各乗算器１３４Ａ1 〜１３４Ａ
n には、遅延ビデオ信号Ｄ２のうち、注目画素及び当該
注目画素を中心としたｎ個の周辺画素でなる予測演算用
の画素（予測タップ）の各画素値ｘi （ｉ＝１〜ｎ）
と、遅延ビデオ信号Ｄ２の動き量又はシーンチェンジに
応じた各予測タップの予測係数ｗi が入力され、各乗算
器１３４Ａ1 〜１３４Ａn はこれらの入力データを乗算
する。そして各乗算器１３４Ａ1 〜１３４Ａn はこれら
の乗算結果を続く加算器１３５に供給することによりこ
れらを加算する。かくして予測演算部１２３は加算器１
３５の加算結果として上述の（２）式の演算結果を得る
ことにより、注目画素の画素値ｘ´を得る。
n には、遅延ビデオ信号Ｄ２のうち、注目画素及び当該
注目画素を中心としたｎ個の周辺画素でなる予測演算用
の画素（予測タップ）の各画素値ｘi （ｉ＝１〜ｎ）
と、遅延ビデオ信号Ｄ２の動き量又はシーンチェンジに
応じた各予測タップの予測係数ｗi が入力され、各乗算
器１３４Ａ1 〜１３４Ａn はこれらの入力データを乗算
する。そして各乗算器１３４Ａ1 〜１３４Ａn はこれら
の乗算結果を続く加算器１３５に供給することによりこ
れらを加算する。かくして予測演算部１２３は加算器１
３５の加算結果として上述の（２）式の演算結果を得る
ことにより、注目画素の画素値ｘ´を得る。
【００５６】予測演算部１２３は、かかる予測演算によ
って得られた各注目画素の画素値ｘ´を、左眼用画像信
号Ｄ７として立体画像表示装置１１０の左眼用表示部１
１０Ｌに供給する。
って得られた各注目画素の画素値ｘ´を、左眼用画像信
号Ｄ７として立体画像表示装置１１０の左眼用表示部１
１０Ｌに供給する。
【００５７】かくして立体画像表示装置１１０の右眼用
表示部１１０Ｒ及び左眼用表示部１１０Ｌは、被写体の
動き量又はシーンチェンジに応じた視差分だけ互いに水
平方向にシフトした右眼用画像及び左眼用画像を表示す
ることができる。
表示部１１０Ｒ及び左眼用表示部１１０Ｌは、被写体の
動き量又はシーンチェンジに応じた視差分だけ互いに水
平方向にシフトした右眼用画像及び左眼用画像を表示す
ることができる。
【００５８】ここで、クラス分類適応処理部１０６の予
測係数ＲＯＭ１２２に記憶される各予測係数ｗi は、図
８に示す学習回路１５０によって予め算出される。すな
わち図８において学習回路１５０は、互いに所定の視差
分だけ離間して設置された左眼用ビデオカメラＣＭＬ及
び右眼用ビデオカメラＣＭＲから同一被写体を撮像する
ことにより得られる左眼用ビデオ信号Ｄ１５０Ｌ及び右
眼用ビデオ信号Ｄ１５０Ｒを入力し、左眼用ビデオ信号
Ｄ１５０Ｌを教師信号として遅延回路１５６を介して正
規方程式生成部１６１に与えると共に、右眼用ビデオ信
号Ｄ１５０Ｒを生徒信号として遅延回路１５２を介して
正規方程式生成部１６１に与える。
測係数ＲＯＭ１２２に記憶される各予測係数ｗi は、図
８に示す学習回路１５０によって予め算出される。すな
わち図８において学習回路１５０は、互いに所定の視差
分だけ離間して設置された左眼用ビデオカメラＣＭＬ及
び右眼用ビデオカメラＣＭＲから同一被写体を撮像する
ことにより得られる左眼用ビデオ信号Ｄ１５０Ｌ及び右
眼用ビデオ信号Ｄ１５０Ｒを入力し、左眼用ビデオ信号
Ｄ１５０Ｌを教師信号として遅延回路１５６を介して正
規方程式生成部１６１に与えると共に、右眼用ビデオ信
号Ｄ１５０Ｒを生徒信号として遅延回路１５２を介して
正規方程式生成部１６１に与える。
【００５９】また、学習回路１５０は右眼用ビデオ信号
Ｄ１５０Ｒをフレームメモリ１５１に入力することによ
り当該右眼用ビデオ信号Ｄ１５０Ｒを１フレーム分遅延
させることにより１フレーム遅延右眼用ビデオ信号Ｄ１
５１を生成し、これをクラス分類部１６０の動きベクト
ル検出部１５３及びシーンチェンジ検出部１５４に供給
する。
Ｄ１５０Ｒをフレームメモリ１５１に入力することによ
り当該右眼用ビデオ信号Ｄ１５０Ｒを１フレーム分遅延
させることにより１フレーム遅延右眼用ビデオ信号Ｄ１
５１を生成し、これをクラス分類部１６０の動きベクト
ル検出部１５３及びシーンチェンジ検出部１５４に供給
する。
【００６０】動きベクトル検出部１５３は、フレームメ
モリ１５１において１フレーム分遅延された１フレーム
遅延右眼用ビデオ信号Ｄ１５１と、このとき当該学習回
路１５０に入力される右眼用ビデオ信号Ｄ１５０Ｒとを
例えば16×16画素でなるブロック単位で比較することに
より、ブロックマッチング法によってフレーム間の動き
ベクトルを検出し、当該検出結果を動きベクトルデータ
Ｄ１５３としてインデックスデコーダ１５５に供給す
る。
モリ１５１において１フレーム分遅延された１フレーム
遅延右眼用ビデオ信号Ｄ１５１と、このとき当該学習回
路１５０に入力される右眼用ビデオ信号Ｄ１５０Ｒとを
例えば16×16画素でなるブロック単位で比較することに
より、ブロックマッチング法によってフレーム間の動き
ベクトルを検出し、当該検出結果を動きベクトルデータ
Ｄ１５３としてインデックスデコーダ１５５に供給す
る。
【００６１】また、シーンチェンジ検出部１５４は、フ
レームメモリ１５１において１フレーム分遅延された１
フレーム遅延右眼用ビデオ信号Ｄ１５１と、このとき当
該学習回路１５０に入力される右眼用ビデオ信号Ｄ１５
０Ｒとの各画素のフレーム間差分の絶対値和を求め、当
該絶対値和が予め設定されている所定の閾値を越えたと
き、このとき比較している前後２つのフレーム間におい
てシーンチェンジが行われたことを検出する。
レームメモリ１５１において１フレーム分遅延された１
フレーム遅延右眼用ビデオ信号Ｄ１５１と、このとき当
該学習回路１５０に入力される右眼用ビデオ信号Ｄ１５
０Ｒとの各画素のフレーム間差分の絶対値和を求め、当
該絶対値和が予め設定されている所定の閾値を越えたと
き、このとき比較している前後２つのフレーム間におい
てシーンチェンジが行われたことを検出する。
【００６２】シーンチェンジ検出部１５４は、このよう
にして検出されたシーンチェンジ状態をシーンチェンジ
検出データＤ１５４としてインデックスデコーダ１５５
に供給する。
にして検出されたシーンチェンジ状態をシーンチェンジ
検出データＤ１５４としてインデックスデコーダ１５５
に供給する。
【００６３】インデックスデコーダ１５５は、動きベク
トル検出データＤ１５３をデコードすることにより動き
ベクトルの大きさ（動き量）に応じたクラスコードを生
成すると共に、シーンチェンジ検出データＤ１５４をデ
コードすることによりシーンチェンジが生じたとき、こ
れを表すクラスコードを生成し、各クラスコードをクラ
スコードデータＤ１５５として正規方程式生成部１６１
に供給する。
トル検出データＤ１５３をデコードすることにより動き
ベクトルの大きさ（動き量）に応じたクラスコードを生
成すると共に、シーンチェンジ検出データＤ１５４をデ
コードすることによりシーンチェンジが生じたとき、こ
れを表すクラスコードを生成し、各クラスコードをクラ
スコードデータＤ１５５として正規方程式生成部１６１
に供給する。
【００６４】正規方程式生成部１６１は、遅延回路１５
６及び１５２から互いに同期したタイミングで供給され
る教師信号としての左眼用ビデオ信号Ｄ１５０Ｌ及び生
徒信号としての右眼用ビデオ信号Ｄ１５０Ｒのうち、左
眼用ビデオ信号Ｄ１５０Ｌの画素値を上述の（３）式の
Ｙに割り当てると共に、右眼用ビデオ信号Ｄ１５０Ｒの
画素値を上述の（３）式のＸに割り当て、当該（３）式
によって表される観測方程式を生成する。
６及び１５２から互いに同期したタイミングで供給され
る教師信号としての左眼用ビデオ信号Ｄ１５０Ｌ及び生
徒信号としての右眼用ビデオ信号Ｄ１５０Ｒのうち、左
眼用ビデオ信号Ｄ１５０Ｌの画素値を上述の（３）式の
Ｙに割り当てると共に、右眼用ビデオ信号Ｄ１５０Ｒの
画素値を上述の（３）式のＸに割り当て、当該（３）式
によって表される観測方程式を生成する。
【００６５】そして、正規方程式生成部１６１は、上述
の（４）式〜（８）式について上述した方法により
（９）式について上述した場合と同様にして、予測タッ
プ数ｎと同一次数の連立方程式でなる正規方程式
（（９）式）を生成し、これを予測係数算出部１６２に
供給する。予測係数算出部１６２は、正規方程式生成部
１６１から供給される正規方程式（（９）式）を掃き出
し法を用いて解くことにより、各予測係数ｗi を算出
し、当該算出された各予測係数ｗi を予測係数データＤ
１６２として予測係数ＲＯＭ１２２に対応するクラスコ
ードと共に格納する。
の（４）式〜（８）式について上述した方法により
（９）式について上述した場合と同様にして、予測タッ
プ数ｎと同一次数の連立方程式でなる正規方程式
（（９）式）を生成し、これを予測係数算出部１６２に
供給する。予測係数算出部１６２は、正規方程式生成部
１６１から供給される正規方程式（（９）式）を掃き出
し法を用いて解くことにより、各予測係数ｗi を算出
し、当該算出された各予測係数ｗi を予測係数データＤ
１６２として予測係数ＲＯＭ１２２に対応するクラスコ
ードと共に格納する。
【００６６】かくして予測係数ＲＯＭ１２２には、動き
量及びシーンチェンジに応じたクラスコードごとに予測
タップに対応する予測係数ｗi の組が記憶される。
量及びシーンチェンジに応じたクラスコードごとに予測
タップに対応する予測係数ｗi の組が記憶される。
【００６７】（３）実施の形態の動作及び効果 以上の構成において、立体画像生成装置１００は、シー
ンチェンジ検出結果に基づいて、このときの画像が連続
していると判断されるとき、インデックスデコーダ１２
４において動き量検出データＤ５（図６及び図７）に応
じたアドレスＡＤi （ｉ＝１〜ｘ）をデコードし、これ
により画像の動き量に応じた予測係数ｗi （ｉ＝１〜
ｎ）の組ＫＥ1 〜ＫＥx （図７）を予測係数グループＧ
Ｐ１から読み出して予測演算を実行する。
ンチェンジ検出結果に基づいて、このときの画像が連続
していると判断されるとき、インデックスデコーダ１２
４において動き量検出データＤ５（図６及び図７）に応
じたアドレスＡＤi （ｉ＝１〜ｘ）をデコードし、これ
により画像の動き量に応じた予測係数ｗi （ｉ＝１〜
ｎ）の組ＫＥ1 〜ＫＥx （図７）を予測係数グループＧ
Ｐ１から読み出して予測演算を実行する。
【００６８】この結果、立体画像生成装置１００は動き
量に応じた視差を有する左眼用画像信号Ｄ７及び右眼用
画像信号Ｄ３を立体画像表示装置１１０の左眼用表示部
１１０Ｌ及び右眼用表示部１１０Ｒに表示する。
量に応じた視差を有する左眼用画像信号Ｄ７及び右眼用
画像信号Ｄ３を立体画像表示装置１１０の左眼用表示部
１１０Ｌ及び右眼用表示部１１０Ｒに表示する。
【００６９】かくして、立体画像表示装置１１０を装着
した視聴者は、左眼用表示部１１０Ｌに表示された左眼
用画像を左眼だけで見ると共に、右眼用表示部１１０Ｒ
に表示された右眼用画像を右眼だけで見ることにより、
各表示画像が有する動き量に応じた視差によって立体感
のある画像を認識する。
した視聴者は、左眼用表示部１１０Ｌに表示された左眼
用画像を左眼だけで見ると共に、右眼用表示部１１０Ｒ
に表示された右眼用画像を右眼だけで見ることにより、
各表示画像が有する動き量に応じた視差によって立体感
のある画像を認識する。
【００７０】この場合、例えば画像内の被写体の動き量
が大きいほど、当該被写体像に与える視差が大きくされ
て、近距離画像であることが強調されることにより、近
距離にある被写体ほど動き量が大きくなるように見える
点を利用した立体感の強調がなされる。
が大きいほど、当該被写体像に与える視差が大きくされ
て、近距離画像であることが強調されることにより、近
距離にある被写体ほど動き量が大きくなるように見える
点を利用した立体感の強調がなされる。
【００７１】これに対して、立体画像生成装置１００
は、シーンチェンジ検出結果に基づいて、このときの画
像が不連続（すなわちシーンチェンジ）であると判断さ
れるとき、インデックスデコーダ１２４においてシーン
チェンジに応じたアドレスＡＤz がデコードされ、これ
によりシーンチェンジに応じた予測係数ｗi （ｉ＝１〜
ｎ）の組ＫＥz （図７）を予測係数グループＧＰ２から
読み出して予測演算を実行する。
は、シーンチェンジ検出結果に基づいて、このときの画
像が不連続（すなわちシーンチェンジ）であると判断さ
れるとき、インデックスデコーダ１２４においてシーン
チェンジに応じたアドレスＡＤz がデコードされ、これ
によりシーンチェンジに応じた予測係数ｗi （ｉ＝１〜
ｎ）の組ＫＥz （図７）を予測係数グループＧＰ２から
読み出して予測演算を実行する。
【００７２】この結果、立体画像生成装置１００は、画
像が不連続であっても所定の視差を有する左眼用画像信
号Ｄ７及び右眼用画像信号Ｄ３を立体画像表示装置１１
０の左眼用表示部１１０Ｌ及び右眼用表示部１１０Ｒに
表示する。
像が不連続であっても所定の視差を有する左眼用画像信
号Ｄ７及び右眼用画像信号Ｄ３を立体画像表示装置１１
０の左眼用表示部１１０Ｌ及び右眼用表示部１１０Ｒに
表示する。
【００７３】かくして、立体画像表示装置１１０を装着
した視聴者は、左眼用表示部１１０Ｌに表示された左眼
用画像を左眼だけで見ると共に、右眼用表示部１１０Ｒ
に表示された右眼用画像を右眼だけで見ることにより、
各表示画像の視差によって立体感のある画像を認識す
る。
した視聴者は、左眼用表示部１１０Ｌに表示された左眼
用画像を左眼だけで見ると共に、右眼用表示部１１０Ｒ
に表示された右眼用画像を右眼だけで見ることにより、
各表示画像の視差によって立体感のある画像を認識す
る。
【００７４】かくして以上の構成によれば、立体画像生
成装置１００は、表示しようとする画像が連続画像であ
る場合には、当該連続画像の動き量に応じた視差分だけ
水平方向にシフトした右眼用画像及び左眼用画像を立体
画像表示装置１１０の右眼用表示部１１０Ｒ及び左眼用
表示部１１０Ｌに表示すると共に、表示しようとする画
像が不連続画像（すなわちシーンチェンジ）である場合
には、予め設定された所定の視差分だけ水平方向にシフ
トした右眼用画像及び左眼用画像を表示することによ
り、シーンチェンジの有無に関わらず立体感のある立体
画像を視聴者に提供することができる。
成装置１００は、表示しようとする画像が連続画像であ
る場合には、当該連続画像の動き量に応じた視差分だけ
水平方向にシフトした右眼用画像及び左眼用画像を立体
画像表示装置１１０の右眼用表示部１１０Ｒ及び左眼用
表示部１１０Ｌに表示すると共に、表示しようとする画
像が不連続画像（すなわちシーンチェンジ）である場合
には、予め設定された所定の視差分だけ水平方向にシフ
トした右眼用画像及び左眼用画像を表示することによ
り、シーンチェンジの有無に関わらず立体感のある立体
画像を視聴者に提供することができる。
【００７５】（４）他の実施の形態 なお上述の実施の形態においては、画像が不連続である
ときのみシーンチェンジ用の予測係数組を選択する場合
について述べたが、本発明はこれに限らず、例えば画像
が連続であってもその動き量が予め設定された閾値以下
となった際に強制的にシーンチェンジ用の予測係数組を
選択するようにしても良い。
ときのみシーンチェンジ用の予測係数組を選択する場合
について述べたが、本発明はこれに限らず、例えば画像
が連続であってもその動き量が予め設定された閾値以下
となった際に強制的にシーンチェンジ用の予測係数組を
選択するようにしても良い。
【００７６】また上述の実施の形態においては、動きベ
クトルを検出する方法としてブロックマッチング法を用
いる場合について述べたが、本発明はこれに限らず、例
えば隣接する画素の値との差を基にして前フレームの画
素の値との差を評価して動き量を検出する勾配法を用い
るようにしても良い。
クトルを検出する方法としてブロックマッチング法を用
いる場合について述べたが、本発明はこれに限らず、例
えば隣接する画素の値との差を基にして前フレームの画
素の値との差を評価して動き量を検出する勾配法を用い
るようにしても良い。
【００７７】また上述の実施の形態においては、視聴者
が装着するようになされた立体画像表示装置１１０を用
いる場合について述べたが、本発明はこれに限らず、例
えば右眼用画像及び左眼用画像をモニタに時分割で表示
し、これに同期して開閉する液晶シャッタを有する立体
視メガネを用いるようにしても良く、表示装置としては
種々のものを用いることができる。
が装着するようになされた立体画像表示装置１１０を用
いる場合について述べたが、本発明はこれに限らず、例
えば右眼用画像及び左眼用画像をモニタに時分割で表示
し、これに同期して開閉する液晶シャッタを有する立体
視メガネを用いるようにしても良く、表示装置としては
種々のものを用いることができる。
【００７８】
【発明の効果】上述のように本発明によれば、第１の画
像信号に基づいて当該第１の画像信号に対して視差のあ
る第２の画像信号を生成する際に、第１の画像信号の注
目画素について、動き情報及び不連続情報に応じた視差
を有する第２の画像信号を生成することにより、画像の
動きの状態やシーンチェンジの有無に応じて常に立体感
のある立体画像を視聴者に提供することができる。
像信号に基づいて当該第１の画像信号に対して視差のあ
る第２の画像信号を生成する際に、第１の画像信号の注
目画素について、動き情報及び不連続情報に応じた視差
を有する第２の画像信号を生成することにより、画像の
動きの状態やシーンチェンジの有無に応じて常に立体感
のある立体画像を視聴者に提供することができる。
【図１】本発明によるクラス分類適応処理の原理の説明
に供するブロック図である。
に供するブロック図である。
【図２】本発明によるクラス分類適応処理の原理の説明
に供する略線図である。
に供する略線図である。
【図３】本発明によるクラス分類適応処理の原理の説明
に供する略線図である。
に供する略線図である。
【図４】本発明によるクラス分類適応処理の原理の説明
に供するブロック図である。
に供するブロック図である。
【図５】本発明によるクラス分類適応処理の原理の説明
に供するフローチャートである。
に供するフローチャートである。
【図６】本発明による立体画像生成装置の一実施の形態
を示すブロック図である。
を示すブロック図である。
【図７】立体画像生成装置のクラス分類適応処理部の構
成を示すブロック図である。
成を示すブロック図である。
【図８】本発明による学習回路の一実施の形態を示すブ
ロック図である。
ロック図である。
５１……アップコンバータ、５２、６４、１６０……ク
ラス分類部、５４、１２２……予測係数ＲＯＭ、５３、
１２３……予測演算部、６２……予測係数算出部、１０
０……立体画像生成装置、１０４、１５３……動きベク
トル検出部、１０５、１５４……シーンチェンジ検出
部、１０６……クラス分類適応処理部、１１０……立体
画像表示装置、１２１……予測タップ生成回路、１２
４、１５５……インデックスデコーダ、１５０……学習
回路、１６１……正規方程式生成部、１６２……予測係
数算出部。
ラス分類部、５４、１２２……予測係数ＲＯＭ、５３、
１２３……予測演算部、６２……予測係数算出部、１０
０……立体画像生成装置、１０４、１５３……動きベク
トル検出部、１０５、１５４……シーンチェンジ検出
部、１０６……クラス分類適応処理部、１１０……立体
画像表示装置、１２１……予測タップ生成回路、１２
４、１５５……インデックスデコーダ、１５０……学習
回路、１６１……正規方程式生成部、１６２……予測係
数算出部。
Claims (8)
- 【請求項１】第１の画像信号に基づいて当該第１の画像
信号に対して視差のある第２の画像信号を生成する立体
画像生成装置において、 上記第１の画像信号の動き情報を検出する動き情報検出
手段と、 上記第１の画像信号の時間方向の不連続情報を検出する
不連続情報検出手段と、 上記第１の画像信号の注目画素について、上記動き情報
検出手段の検出結果及び上記不連続情報検出手段の検出
結果に応じたクラスを決定するクラス決定手段と、 上記決定されたクラスに応じて対応する予測データを発
生する予測データ発生手段と、 上記予測データに基づいて上記第１の画像信号の注目画
素に対応する上記第２の画像信号の注目画素を発生する
注目画素発生手段とを具えることを特徴とする立体画像
生成装置。 - 【請求項２】上記クラス決定手段は、 上記第１の画像信号の注目画素について、上記不連続情
報検出手段の検出結果が連続であるとき上記動き情報検
出手段の検出結果に応じたクラスを決定すると共に、上
記不連続情報検出手段の検出結果が不連続であるとき当
該不連続情報検出結果に応じたクラスを決定することを
特徴とする請求項１に記載の立体画像生成装置。 - 【請求項３】上記予測データは複数の予測係数の組み合
わせからなり、 上記注目画素発生手段は、上記第１の画像信号の注目画
素に対して選択された当該注目画素を特徴付ける複数画
素と当該複数画素にそれぞれ対応する上記予測データの
組み合わせとに基づいて上記第２の画像信号の上記注目
画素を発生することを特徴とする請求項１に記載の立体
画像生成装置。 - 【請求項４】上記クラス毎の予測データの組み合わせ
は、上記第２の画像信号に対応する学習データを用いて
予め生成されていることを特徴とする請求項１に記載の
立体画像生成装置。 - 【請求項５】第１の画像信号に基づいて当該第１の画像
信号に対して視差のある第２の画像信号を生成する立体
画像生成方法において、 上記第１の画像信号の動き情報を検出する動き情報検出
ステップと、 上記第１の画像信号の時間方向の不連続情報を検出する
不連続情報検出ステップと、 上記第１の画像信号の注目画素について、上記動き情報
検出手段の検出結果及び上記不連続情報検出手段の検出
結果に応じたクラスを決定するクラス決定ステップと、 上記決定されたクラスに応じて対応する予測データを発
生する予測データ発生ステップと、 上記予測データに基づいて上記第１の画像信号の注目画
素に対応する上記第２の画像信号の注目画素を発生する
注目画素発生ステップとを具えることを特徴とする立体
画像生成方法。 - 【請求項６】上記クラス決定ステップは、 上記第１の画像信号の注目画素について、上記不連続情
報検出ステップの検出結果が連続であるとき上記動き情
報検出ステップの検出結果に応じたクラスを決定すると
共に、上記不連続情報検出ステップの検出結果が不連続
であるとき当該不連続情報検出結果に応じたクラスを決
定することを特徴とする請求項５に記載の立体画像生成
方法。 - 【請求項７】上記予測データは複数の予測係数の組み合
わせからなり、 上記注目画素発生ステップは、上記第１の画像信号の注
目画素に対して選択された当該注目画素を特徴付ける複
数画素と当該複数画素にそれぞれ対応する上記予測デー
タの組み合わせとに基づいて上記第２の画像信号の上記
注目画素を発生することを特徴とする請求項５に記載の
立体画像生成方法。 - 【請求項８】上記クラス毎の予測データの組み合わせ
は、上記第２の画像信号に対応する学習データを用いて
予め生成されていることを特徴とする請求項５に記載の
立体画像生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10256903A JP2000092513A (ja) | 1998-09-10 | 1998-09-10 | 立体画像生成装置及び立体画像生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10256903A JP2000092513A (ja) | 1998-09-10 | 1998-09-10 | 立体画像生成装置及び立体画像生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000092513A true JP2000092513A (ja) | 2000-03-31 |
Family
ID=17298999
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10256903A Pending JP2000092513A (ja) | 1998-09-10 | 1998-09-10 | 立体画像生成装置及び立体画像生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000092513A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007142633A (ja) * | 2005-11-16 | 2007-06-07 | Kddi Corp | ショット境界検出装置 |
| JP2012191366A (ja) * | 2011-03-09 | 2012-10-04 | Fujitsu Ltd | 生成装置および生成方法 |
-
1998
- 1998-09-10 JP JP10256903A patent/JP2000092513A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007142633A (ja) * | 2005-11-16 | 2007-06-07 | Kddi Corp | ショット境界検出装置 |
| JP4510749B2 (ja) * | 2005-11-16 | 2010-07-28 | Ｋｄｄｉ株式会社 | ショット境界検出装置 |
| JP2012191366A (ja) * | 2011-03-09 | 2012-10-04 | Fujitsu Ltd | 生成装置および生成方法 |
| US9288473B2 (en) | 2011-03-09 | 2016-03-15 | Fujitsu Limited | Creating apparatus and creating method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100820129B1 (ko) | 입체 영상 재생 장치 및 입체 영상 재생 방법 | |
| US6377625B1 (en) | Method and apparatus for generating steroscopic image using MPEG data | |
| KR100720722B1 (ko) | 중간영상 생성방법 및 이 방법이 적용되는 입체영상디스플레이장치 | |
| US8963998B2 (en) | Full reference system for predicting subjective quality of three-dimensional video | |
| KR100838351B1 (ko) | 3ｄ 이미지 생성 방법 및 장치 | |
| US6078352A (en) | Stereoscopic viewing device and stereoscopic viewing method | |
| KR100517517B1 (ko) | 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치 | |
| US20120087571A1 (en) | Method and apparatus for synchronizing 3-dimensional image | |
| US20080239144A1 (en) | Frame rate conversion device and image display apparatus | |
| JP2011114861A (ja) | ３次元映像ディスプレイ装置及びディスプレイ方法 | |
| KR100540732B1 (ko) | 2차원 영상신호를 3차원 영상신호로 변환하는 장치 | |
| JP2000092513A (ja) | 立体画像生成装置及び立体画像生成方法 | |
| JP4815004B2 (ja) | 多視点画像符号化装置 | |
| CN102281423A (zh) | 3d视频场频转换系统及场频转换方法 | |
| JP5700998B2 (ja) | 立体映像表示装置及びその制御方法 | |
| TWI499279B (zh) | 影像處理裝置及其方法 | |
| JP2001016609A (ja) | Ｍｐｅｇデータを用いた立体映像生成装置及び方法 | |
| EP1128679A1 (en) | Method and apparatus for generating stereoscopic image using MPEG data | |
| JP5387186B2 (ja) | 立体画像表示装置及び立体画像表示方法 | |
| US8902286B2 (en) | Method and apparatus for detecting motion vector, and method and apparatus for processing image signal | |
| JP3826434B2 (ja) | 信号変換装置および方法 | |
| JP2011176523A (ja) | ステレオ映像信号制御方法、制御装置及び制御プログラム | |
| JP4250807B2 (ja) | フィールド周波数変換装置および変換方法 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP2004242000A (ja) | 符号化装置および方法、並びに復号装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050804 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080125 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080324 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080418 |