JP2011124941A - ３次元映像生成装置及び３次元映像生成方法 - Google Patents

Abstract

【課題】立体動画像の立体感が短時間で急激に変化する場合でも、観察者の視覚疲労を軽減させることができる３次元映像生成装置を提供する。
【解決手段】３次元映像生成装置１Ａは、立体強度画像Ｄｄの面内立体強度の最大値を検出する最大値検出部１４Ａと、前記最大値の時間変化幅が所定のしきい値を超えたときに、当該しきい値を超えた時間変化幅に対応する立体強度画像群の面内立体強度の時間変化を緩和させる立体強度調整部１７と、立体強度調整処理により時間変化が緩和された立体強度画像群ＡＤｄと２次元画像Ｄａとに基づいて立体動画像データＳＤＬ，ＳＤＲを生成する立体動画像生成部１１とを備える。
【選択図】図１

Description

本発明は、立体動画像データを生成する画像処理技術に関する。

３次元映像とは、観察者にとって立体的に見える映像のことである。観察者が映像を立体的に知覚するための条件のうちの一つとして、両眼視差を形成する２つの映像をそれぞれ右眼と左眼とに視覚させることが必要である。３次元映像が静止画である場合には立体感が時間的に変化しないため、観察者の眼に与える負担はほとんど無いが、３次元映像が動画像（立体動画像）である場合には、場面の変化による眼に与える負担の他に、立体感の時間変化に起因する目の負担が生じるので、２次元映像を観察する場合よりも観察者は目に疲労感を強く覚えることがあった。

立体動画像の立体感に起因する疲労を軽減させる技術は、たとえば、特許第４１４５１２２号公報（特許文献１）に開示されている。特許文献１に開示されている立体画像表示装置は、ディスプレイ面における立体画像（右眼用画像と左眼用画像の組み合わせ）の表示が所定時間継続すると、立体画像の視差を小さくするように調整する機能を有する。

特許第４１４５１２２号公報（たとえば、段落００４４〜００５２）

しかしながら、立体動画像には、エンターテイメント性を強調するために、立体感を強く表現したり、前後の場面のつながりを考慮せずに立体感を激しく変動させる映像を使用したりする場合がある。かかる場合、観察者は、立体動画像を短時間視覚しただけで、目に強い負担を覚えることがある。特許文献１の立体画像表示装置は、立体感が短時間で急激に変化する立体動画像に対しては、眼に与える負担を軽減することができないという問題がある。

上記に鑑みて本発明の目的は、立体動画像の立体感が短時間で急激に変化する場合でも、観察者の視覚疲労を軽減させることができる３次元映像生成装置及び３次元映像生成方法を提供することである。

本発明の第１の態様による３次元映像生成装置は、動画像を構成する一連の２次元画像に対応し立体像の奥行き情報を表す一連の立体強度画像各々の面内立体強度の最大値を検出する最大値検出部と、前記最大値の時間変化幅が所定のしきい値を超えたときに、前記一連の立体強度画像のうち、前記しきい値を超えた時間変化幅に対応する立体強度画像群の面内立体強度の時間変化を緩和させる立体強度調整処理を実行する立体強度調整部と、前記一連の２次元画像と、前記立体強度調整処理により時間変化が緩和された立体強度画像群とに基づいて立体動画像データを生成する立体動画像生成部とを備えることを特徴とする。

本発明の第２の態様による３次元映像生成装置は、表示視差を形成する右眼用画像と左眼用画像とからなる立体動画像データから一連の表示視差分布を一連の立体強度画像として生成する視差検出部と、前記一連の立体強度画像各々の面内立体強度の最大値を検出する最大値検出部と、前記最大値の時間変化幅が所定のしきい値を超えたときに、前記一連の立体強度画像のうち、前記しきい値を超えた時間変化幅に対応する立体強度画像群の面内立体強度の時間変化が緩和するように前記立体動画像データの表示視差を補正する立体強度調整処理を実行する立体強度調整部とを備えることを特徴とする。

本発明の第３の態様による３次元映像生成装置は、動画像を構成する一連の２次元画像に対応し立体像の奥行き情報を表す一連の立体強度画像各々の面内立体強度の最大値を検出する最大値検出部と、前記立体動画像データと前記一連の２次元画像とのいずれか一方と前記最大値のデータ系列とを所定の記録フォーマットに従って多重化して前記ストリームデータを生成し記憶媒体に格納するストリーム生成部とを備えることを特徴とする。

本発明の第４の態様による３次元映像生成装置は、表示視差を形成する右眼用画像と左眼用画像とからなる立体動画像データから一連の表示視差分布を一連の立体強度画像として生成する視差分検出部と、前記一連の立体強度画像各々の面内立体強度の最大値を検出する最大値検出部と、前記立体動画像データと前記最大値のデータ系列とを所定の記録フォーマットに従って多重化してストリームデータを生成し記憶媒体に格納するストリーム生成部とを備えることを特徴とする。

本発明の第５の態様による３次元映像生成方法は、動画像を構成する一連の２次元画像に対応し立体像の奥行き情報を表す一連の立体強度画像各々の面内立体強度の最大値を検出するステップと、前記最大値の時間変化幅が所定のしきい値を超えたことを検出するステップと、前記時間変化幅が前記しきい値を超えたことが検出されたとき、前記一連の立体強度画像のうち、前記しきい値を超えた時間変化幅に対応する立体強度画像群の面内立体強度の時間変化を緩和させる立体強度調整処理を実行するステップと、前記一連の２次元画像と前記立体強度調整処理により時間変化が緩和された立体強度画像群とに基づいて立体動画像データを生成するステップとを備えることを特徴とする。

本発明の第６の態様による３次元映像生成方法は、表示視差を形成する右眼用画像と左眼用画像とからなる立体動画像データから一連の表示視差分布を一連の立体強度画像として生成するステップと、前記立体強度画像の面内立体強度の最大値を検出するステップと、前記最大値の時間変化幅が所定のしきい値を超えたことを検出するステップと、前記時間変化幅が前記しきい値を超えたことが検出されたとき、前記一連の立体強度画像のうち、前記しきい値を超えた時間変化幅に対応する立体強度画像群の面内立体強度の時間変化が緩和するように前記立体動画像データの表示視差を補正する立体強度調整処理を実行するステップとを備えることを特徴とする。

本発明の第７の態様による３次元映像生成方法は、動画像を構成する一連の２次元画像に対応し立体像の奥行き情報を表す一連の立体強度画像各々の面内立体強度の最大値を検出するステップと、前記立体動画像データと前記一連の２次元画像とのいずれか一方と前記最大値のデータ系列とを所定の記録フォーマットに従って多重化して前記ストリームデータを生成し記憶媒体に格納するステップとを備えることを特徴とする。

本発明の第８の態様による３次元映像生成方法は、表示視差を形成する右眼用画像と左眼用画像とからなる立体動画像データから一連の表示視差分布を一連の立体強度画像として生成するステップと、前記立体強度画像の面内立体強度の最大値を検出するステップと、前記立体動画像データと前記最大値のデータ系列とを所定の記録フォーマットに従って多重化してストリームデータを生成し記憶媒体に格納するステップとを備えることを特徴とする。

立体動画像の立体感が短時間で急激に変化する場合でも、観察者の視覚疲労を軽減させることができる。

本発明に係る実施の形態１の３次元映像生成装置の概略構成を示す機能ブロック図である。 立体強度（表示視差と表示深度の関係）の具体例を説明するための図である。 （ａ）は、２次元画像を例示する模式図であり、（ｂ）は、２次元画像に対応する立体強度画像（表示深度分布）を例示する模式図である。 実施の形態１に係る立体強度補正処理の手順を概略的に示すフローチャートである。 実施の形態１に係るシーンチェンジ検出部の検出結果を用いた立体強度補正処理の手順を概略的に示すフローチャートである。 （ａ），（ｂ）は、ＭＰＥＧ−２によるビデオビットストリームのデータ構造を概略的に示す図である。 （ａ），（ｂ）は、図６（ｂ）のＵＤ領域のデータ構造を概略的に示す図である。 （ａ）は、ストリームデータを概略的に示す図であり、（ｂ）は、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）に対する面内最大深度の時間的な変化を概略的に示す図である。 本発明に係る実施の形態２の３次元映像生成装置の概略構成を示す機能ブロック図である。 実施の形態２に係る立体強度補正処理の手順を概略的に示すフローチャートである。 実施の形態２に係るシーンチェンジ検出部の検出結果を用いた立体強度補正処理の手順を概略的に示すフローチャートである。 本発明に係る実施の形態３の３次元映像生成装置の概略構成を示す機能ブロック図である。 本発明に係る実施の形態４の３次元映像生成装置の概略構成を示す機能ブロック図である。 実施の形態４に係る表示視差補正処理の手順を概略的に示すフローチャートである。 実施の形態４に係るシーンチェンジ検出部の検出結果を用いた表示視差補正処理の手順を概略的に示すフローチャートである。 本発明に係る実施の形態５の３次元映像生成装置の概略構成を示す機能ブロック図である。 実施の形態５に係る表示視差補正処理の手順を概略的に示すフローチャートである。 実施の形態５に係るシーンチェンジ検出部の検出結果を用いた表示視差補正処理の手順を概略的に示すフローチャートである。 本発明に係る実施の形態６の３次元映像生成装置の概略構成を示す機能ブロック図である。 本発明に係る実施の形態７の３次元映像生成装置の概略構成を示す機能ブロック図である。 立体強度画像または立体動画像データの有効表示領域を概略的に示す図である。

以下、本発明に係る実施の形態について図面を参照しつつ説明する。

実施の形態１．
図１は、本発明に係る実施の形態１の３次元映像生成装置１Ａの概略構成を示す機能ブロック図である。図１に示されるように、３次元映像生成装置１Ａは、信号入力部５Ａ，立体動画像生成部１１，スイッチ部１２，フレームメモリ１３及び画像表示部５０を備えている。３次元映像生成装置１Ａは、さらに、ローパスフィルタ（ＬＰＦ）１５，立体強度調整部１７，ストリーム生成部１８，記憶媒体１９，シーンチェンジ検出部２０，主制御部２２及び操作入力部２３を備えている。記憶媒体１９は、不揮発性メモリや光ディスクやＨＤＤ（ハードディスクドライブ）で構成される。また、操作入力部２３は、たとえば、キー入力デバイス（たとえば、キーボードやリモートコントローラ）やポインティングデバイス（たとえば、マウス）である。ユーザは、この操作入力部２３を操作して情報を入力することができる。

信号入力部５Ａは、動画像を構成する一連の２次元画像（静止画像）Ｄａと、これら２次元画像Ｄａに対応する立体像の奥行き情報を表す一連の立体強度画像Ｄｄとを入力信号ＩＤ１から抽出し、立体動画像生成部１１に出力する。立体動画像生成部１１は、２次元画像Ｄａとこれに対応する立体強度画像Ｄｄとから、表示視差を形成する左眼用画像ＳＤＬと右眼用画像ＳＤＲとを生成する機能を有する。スイッチ部１２は、左眼用画像ＳＤＬと右眼用画像ＳＤＲとを交互に選択し、フレームメモリ１３に出力する。そして、フレームメモリ１３は、スイッチ部１２から入力された左眼用画像ＳＤＬと右眼用画像ＳＤＲとを一時的に記憶しつつ、記憶済みの左眼用画像ＳＤＬと右眼用画像ＳＤＲとを所定のフレームレート（たとえば、入力動画像のフレームレートの倍のレート）で交互に画像表示部５０に出力する。

ここで、表示視差とは、観察者の右眼と左眼とで見える像の位置の差異、あるいは、当該像の視方向における差異を意味する。本実施の形態では、立体強度画像Ｄｄは、奥行き情報の２次元分布である表示深度分布を示す画像である。なお、奥行き情報の２次元分布は、表示深度分布に限定されるものではなく、後述する表示視差分布であってもよい。表示深度は、立体像の表示面からの飛び出し量または引っ込み量として表される数値であり、表示視差から導くことができ、逆に表示視差から表示深度を導くことができる。このため、表示深度と表示視差は、立体強度を表現する値として同じ意味で用いることができる。表示視差が大きい映像データで構成される立体動画像（３次元映像）、または、表示深度が小さい（もしくは大きい）映像データで構成される立体動画像を立体強度が強い映像と呼ぶことができる。一方、表示視差が小さい映像データで構成される立体動画像、または、表示深度が大きい（もしくは小さい）または表示深度が中間値程度の映像データで構成される立体動画像を立体強度が弱い映像と呼ぶことができる。

たとえば、立体強度画像Ｄｄが８ビット階調の表示深度分布を持つ画像の場合、表示深度分布が２５５の値付近に偏る立体強度画像Ｄｄは、表示面からの飛び出し量が大きく、立体強度が強い画像ということができ、表示深度分布が０の値付近に偏る立体強度画像Ｄｄは、表示面からの引っ込み量が大きく、立体強度が強い画像ということができる。一方、表示深度分布が０と２５５の間の中間値付近に偏る立体強度画像Ｄｄは、表示面からの飛び出し量と引っ込み量がともに小さく、立体強度が弱い画像ということができる。

図２は、立体強度（表示視差と表示深度の関係）の具体例を説明するための図である。図２中、Ｐは、右眼Ｅ_Ｒと左眼Ｅ_Ｌとの瞳孔間距離を表し、Ｄは、これら右眼Ｅ_Ｒ及び左眼Ｅ_Ｌから表示面５０ａまでの絶対距離を表す。表示面５０ａにおける表示像Ｉ_１，Ｉ_２は、左眼Ｅ_Ｌ用と右眼Ｅ_Ｒ用に提示される像である。左眼Ｅ_Ｌの網膜が表示像Ｉ_２を視覚し、且つ、右眼Ｅ_Ｒの網膜が表示像Ｉ_１を視覚するとき、観察者は、表示面５０ａから相対距離ΔＤ_Ｆだけ手前に飛び出した位置に立体像Ｉ_Ｆを観察する。一方、左眼Ｅ_Ｌの網膜が表示像Ｉ_１を視覚し、且つ、右眼Ｅ_Ｒの網膜が表示像Ｉ_２を視覚するとき、観察者は、表示面５０ａよりも相対距離ΔＤ_Ｂだけ奥の引っ込み位置に立体像Ｉ_Ｂを観察することとなる。これら飛び出し距離ΔＤ_Ｆと引っ込み距離ΔＤ_Ｂとを表示深度の大きさとして表すことができる。また、表示像Ｉ_１，Ｉ_２間の表示面５０ａにおけるずれ量ΔＰを表示視差として表すことができる。

ずれ量ΔＰと飛び出し距離ΔＤ_Ｂとの間の関係式、並びに、ずれ量ΔＰと引っ込み距離ΔＤ_Ｆとの間の関係式は、以下の通りである。
ΔＤ_Ｂ＝（ΔＰ・Ｄ）／（Ｐ−ΔＰ） …（１）
ΔＤ_Ｆ＝（ΔＰ・Ｄ）／（Ｐ＋ΔＰ） …（２）

立体動画像生成部１１は、上記関係式（１），（２）あるいはこれら関係式（１），（２）と等価な式に従って、左眼用画像ＳＤＬと右眼用画像ＳＤＲとを生成することができる。

図３（ａ）は、２次元画像Ｄａを例示する模式図であり、図３（ｂ）は、図３（ａ）の２次元画像Ｄａに対応する立体強度画像（表示深度分布）Ｄｄを例示する模式図である。立体強度画像Ｄｄが１画素当たり８ビット階調の表示深度を持つ画像の場合、図３（ｂ）に示されるように、表示深度が２５５の値に近い程、その表示領域は、濃度が薄く、手前に飛び出すように表示され、表示深度が０の値に近い程、その表示領域は、濃度が濃く、奥に引っ込むように表示される。

一般に、表示面５０ａと立体像Ｉ_Ｂ，Ｉ_Ｆの空間再現位置とが異なると、観察者の眼のピント調節と輻輳の両機構の対応関係にアンバランスが生じやすく、観察者にかなりの視覚負担を与えることがわかっている。ここで、輻輳とは、両眼で観察対象の一点を注視しようとして両眼の視線がその一点で交差するときの眼球運動をいう。また、両眼視差が急激に変化すると、観察者による表示像の追従が困難になり、２度／秒以上の移動速度になると、立体視が難しくなるともいわれている。また、ゆっくりした動きに対しては視線が追随するので静止パターンを見る場合とほぼ同じ空間周波数特性の像を両眼で受光できるが、多少動きが速いパターンに対しては低周波数特性の受光感度が上昇し、著しく速くなると高周波数特性の受光感度は低下することがわかっている。このような人間の視覚特性に基づいて、立体動画像（３次元映像）の表示深度または表示視差の急激な変化を緩和することにより、観察者の視覚負担を軽減することができる。

本実施の形態では、最大値検出部１４Ａ，ＬＰＦ１５及び立体強度調整部１７によって立体強度画像Ｄｄに対する補正処理（以下、立体強度補正処理と呼ぶ。）が実行される。以下、図４を参照しつつ、本実施の形態に係る立体強度補正処理について説明する。図４は、立体強度補正処理の手順を概略的に示すフローチャートである。

最大値検出部１４Ａは、立体強度画像Ｄｄが入力されるまで待機し（ステップＳ１０のＮＯ）、立体強度画像Ｄｄが入力されたとき（ステップＳ１０のＹＥＳ）、当該立体強度画像Ｄｄの面内立体強度（各画像内における表示深度）の最大値（面内最大深度）Ｍｖ［ｎ］を検出する（ステップＳ１１）。ｎは、ｎ番目の立体強度画像Ｄｄを指す番号である。ここで、立体像の空間再現位置が表示面５０ａ（図２）よりも観察者側に移動する程、表示深度が大きくなり、立体像の空間再現位置が表示面５０ａよりも奥へ（観察者側とは反対側に）移動する程、表示深度が小さくなるという基準、あるいは、立体像の空間再現位置が表示面５０ａよりも観察者側に移動する程、表示深度が小さくなり、立体像の空間再現位置が表示面５０ａよりも奥へ移動する程、表示深度が大きくなるという基準のいずれを採用してもよい。

その後、最大値検出部１４Ａは、前のフレームまたはフィールドの立体強度画像Ｄｄの面内最大深度Ｍｖ［ｎ−１］と、現フレームまたは現フィールドの立体強度画像Ｄｄの面内最大深度Ｍｖ［ｎ］とを比較して時間変化幅ΔＭｖ（＝｜Ｍｖ［ｎ−１］−Ｍｖ［ｎ］｜）を算出する（ステップＳ１２）。次いで、最大値検出部１４Ａは、時間変化幅ΔＭｖがしきい値Ｍｖｔｈを超えたか否かを判定する（ステップＳ１４）。しきい値Ｍｖｔｈは、事前の実験によって最適な値に設定できる。時間変化幅ΔＭｖがしきい値Ｍｖｔｈ以下であると判定したとき（ステップＳ１４のＮＯ）、最大値検出部１４Ａは、ステップＳ２０に手順を移行する。一方、時間変化幅ΔＭｖがしきい値Ｍｖｔｈを超えたと判定したとき（ステップＳ１４のＹＥＳ）、最大値検出部１４Ａは、面内最大深度Ｍｖ［ｎ−１］，Ｍｖ［ｎ］をストリーム生成部１８に通知する（ステップＳ１５Ａ）。また、最大値検出部１４Ａは、時間変化幅ΔＭｖがしきい値Ｍｖｔｈを超えた旨を立体強度調整部１７に通知する。

ところで、ＬＰＦ１５は、高周波数成分（ノイズ成分など）を除去するために、立体強度画像Ｄｄにフィルタリングを施して立体強度画像Ｄｄの面内立体強度分布のうち空間周波数の低い成分ＦＤｄを抽出し、立体強度調整部１７に出力している。時間変化幅ΔＭｖがしきい値Ｍｖｔｈを超えた旨の通知を最大値検出部１４Ａから受けたとき、立体強度調整部１７は、一連の低空間周波数成分ＦＤｄに立体強度調整処理を施して、面内表示深度の最大値の時間変化幅が上記しきい値Ｍｖｔｈ以下となるように立体強度画像ＡＤｄを生成する（ステップＳ１８）。ここで、立体強度調整部１７は、一連の低空間周波数成分ＦＤｄのうち、前のフレームまたはフィールドの低空間周波数成分ＦＤｄ［ｎ−１］の面内最大深度ＦＭｖ［ｎ−１］と、現フレームまたは現フィールドの低空間周波数成分ＦＤｄ［ｎ］の面内最大深度ＦＭｖ［ｎ］との時間変化幅ΔＦＭｖ（＝｜ＦＭｖ［ｎ−１］−ＦＭｖ［ｎ］｜）を算出し、当該時間変化幅ΔＦＭｖが上記しきい値Ｍｖｔｈ以下であれば、一連の低空間周波数成分ＦＤｄをそのまま調整後の立体強度画像ＡＤｄとして立体動画像生成部１１に与える。一方、当該時間変化幅ΔＦＭｖが上記しきい値Ｍｖｔｈを超えていれば、立体強度調整部１７は、低空間周波数成分ＦＤｄ［ｎ］，ＦＤｄ［ｎ−１］を含む一群の低空間周波数成分ＦＤｄ［ｎ−ｐ］，ＦＤｄ［ｎ−ｐ＋１］，…，ＦＤｄ［ｎ＋ｑ−１］，ＦＤｄ［ｎ＋ｑ］（ｐ，ｑは所定の正整数）の表示深度を圧縮して調整された立体強度画像ＡＤｄを生成する。ここで、立体動画像の品質低下を抑えるために、低空間周波数成分ＦＤｄ［ｎ−ｐ］，…，ＦＤｄ［ｎ＋ｑ］に対して表示深度の圧縮倍率を緩やかに変化させることが望ましい。たとえば、図２の表示面５０ａの位置に相当する表示深度（たとえば、１２８の値）が固定されたまま飛び出し距離ΔＤ_Ｆまたは引っ込み距離ΔＤ_Ｂが圧縮されるように、低空間周波数成分に対して、それぞれ、０．１倍から開始して０．１刻みで１倍まで変化する圧縮倍率を設定することができる。立体動画像生成部１１は、立体強度調整部１７から調整後の立体強度画像ＡＤｄが供給されたとき、信号入力部５Ａから入力された立体強度画像Ｄｄの代わりに調整後の立体強度画像ＡＤｄを用いて、左眼用画像ＳＤＬと右眼用画像ＳＤＲとを生成する。

なお、立体強度調整部１７は、主制御部２２から与えられた立体視条件に応じた立体強度調整処理を実行する機能を有する。主制御部２２は、ユーザにより設定された立体視条件を記憶する設定条件記憶部２２ａを有しており、ユーザは、操作入力部２３を操作して立体視条件を選択または入力することができる。たとえば、立体視条件が立体強調処理を無効にする条件である場合、立体強度調整部１７は、立体強度調整処理を実行しないか、あるいは、一連の低空間周波数成分ＦＤｄをそのまま立体強度画像ＡＤｄとして立体動画像生成部１１に与えることができる。また、立体視条件が前述の圧縮倍率を制限または拡張する条件である場合、立体強度調整部１７は、この条件に従って低空間周波数成分ＦＤｄの表示深度を調整することができる。

上記立体強度調整処理（ステップＳ１８）の後、主制御部２２により立体強度補正処理を終了すると判定されるまで、最大値検出部１４Ａ，ＬＰＦ１５及び立体強度調整部１７は、上記ステップＳ１０〜Ｓ１８の手順を繰り返し実行する（ステップＳ２０のＮＯ）。立体強度補正処理を終了する旨が判定されたときは（ステップＳ２０のＹＥＳ）、最大値検出部１４Ａ，ＬＰＦ１５及び立体強度調整部１７は立体強度補正処理を終了する。

本実施の形態の３次元映像生成装置１Ａは、図４の立体強度補正処理を行う動作モードの他に、シーンチェンジ検出部２０の検出結果を用いた立体強度補正処理を行う動作モードを有している。シーンチェンジ検出部２０は、２次元画像Ｄａまたは立体強度画像Ｄｄのいずれか一方の入力画像に基づいてシーンチェンジを検出する機能を有する。ここで、シーンチェンジとは、動画像の時間的な連続性が途切れたことを意味する。動画像の物理量の時間変化量（物理変化量）が所定のしきい値以下の場合には、時間的な連続性があり、動画像の物理量の時間変化量が所定のしきい値を超える場合には、時間的な連続性が途切れた（シーンチェンジが検出された）と判断することができる。シーンチェンジ検出部２０は、たとえば、入力画像の輝度ヒストグラム（それぞれの輝度レベルに対する画素の総数あるいは出現確率を示す分布）に基づいて平均輝度または累積輝度の時間変化量を算出し、この平均輝度または累積輝度の時間変化量がしきい値を超えたときにシーンチェンジが生じたと判定することができる。シーンチェンジを検出すると、シーンチェンジ検出部２０は検出信号を立体強度調整部１７と最大値検出部１４Ａとに出力する。

以下、図５を参照しつつ、シーンチェンジ検出部２０の検出結果を用いた立体強度補正処理を説明する。図５は、この立体強度補正処理の手順を概略的に示すフローチャートである。図４と図５のフローチャートにおいて同一符号を付されたステップでは同一処理が実行されるので、その詳細な説明を省略する。

図５のステップＳ１０〜Ｓ１２の処理が実行された後、立体強度調整部１７は、シーンチェンジの有無を判定する（ステップＳ１３）。すなわち、立体強度調整部１７は、シーンチェンジ検出部２０から検出信号が入力されないとき、シーンチェンジが発生していないと判定し（ステップＳ１３のＮＯ）、検出信号が入力されたとき、シーンチェンジが発生したと判定する（ステップＳ１３のＹＥＳ）。シーンチェンジが発生しないと判定したとき（ステップＳ１３のＮＯ）、立体強度調整部１７はステップＳ２０に手順を移行する。一方、シーンチェンジが発生したと判定したとき（ステップＳ１３のＹＥＳ）、最大値検出部１４Ａは、時間変化幅ΔＭｖがしきい値Ｍｖｔｈを超えたか否かを判定する（ステップＳ１４）。その後、ステップＳ１５Ａ，Ｓ１８が順次実行される。立体強度調整処理（ステップＳ１８）の後は、主制御部２２により立体強度補正処理を終了すると判定されるまで、最大値検出部１４Ａ，ＬＰＦ１５及び立体強度調整部１７は、図５のステップＳ１０〜Ｓ１８の手順を繰り返し実行する（ステップＳ２０のＮＯ）。立体強度補正処理を終了する旨が判定されたときは（ステップＳ２０のＹＥＳ）、最大値検出部１４Ａ，ＬＰＦ１５及び立体強度調整部１７は立体強度補正処理を終了する。

上記したように図４の立体強度補正処理では、最大立体強度である面内最大深度の時間変化幅が常に監視され（図４のステップＳ１４）、当該時間変化幅がしきい値を超えたときに立体強度が適正に調整される（ステップＳ１４のＹＥＳ及びステップＳ１８）。これに対して、図５の立体強度補正処理では、シーンチェンジ発生時にのみ、最大立体強度である面内最大深度の時間変化幅が監視されるので（図５のステップＳ１３のＹＥＳ、及びステップＳ１４）、図４の立体強度補正処理と比べるとシステムの処理負荷を軽減することができる。

次に、ストリーム生成部１８について説明する。ストリーム生成部１８は、スイッチ部１２により出力された立体動画像データ（右眼用画像ＳＤＲと左眼用画像ＳＤＬ）と、最大値検出部１４Ａから与えられた面内最大深度Ｍｖ［ｎ］のデータ系列とを所定の記録フォーマットに従って多重化してストリームデータ１９ａを生成し、記憶媒体１９に格納する機能を有する。ストリーム生成部１８は、複数の記録フォーマットの中から記憶媒体１９の種類に応じた記録フォーマットを選択することができる。一例を挙げると、ＭＰＥＧ−２ ＴＳ（ＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）フォーマットに従って記録する場合には、ストリーム生成部１８は、スイッチ部１２の出力である映像データをエンコードして符号化映像ストリームを生成し、この符号化映像ストリームと音声や字幕などの映像以外のストリームとを多重化し、さらに立体強度に関する情報をも多重化してストリームデータ１９ａを生成し、記録媒体１５に記録することができる。あるいは、ストリーム生成部１８は、面内最大深度Ｍｖ［ｎ］をストリームデータ１９ａ内に多重化せずに記憶媒体１９内の管理テーブルデータ１９ｔに記録することもできる。

また、ストリーム生成部１８は、動画像を構成する一連の２次元画像Ｄａと、調整後の立体強度画像ＡＤｄとを所定の記録フォーマットに従って多重化してストリームデータ１９ａを生成し、記憶媒体１９に格納する機能をも有する。後述するように、ストリームデータ１９ａを記憶媒体１９から読み出して左眼用画像ＳＤＬと右眼用画像ＳＤＲとを生成することにより、調整された立体強度画像ＡＤｄを用いて左眼用画像ＳＤＬと右眼用画像ＳＤＲとを生成することができるので、立体強度が急激に変化する立体動画像（３次元映像）の表示を防ぐことができる。

次に、ＭＰＥＧ−２規格に従ってストリームデータ１９ａを生成し記録する場合について説明する。上記した立体強度画像ＡＤｄや面内最大深度などの立体強度情報は、ＭＰＥＧ−２によるビデオビットストリームに埋め込むことができる。図６（ａ），（ｂ）は、ＭＰＥＧ−２によるビデオビットストリームのデータ構造を概略的に示す図である。図６（ａ）のビデオビットストリームのデータ構造では、シーケンスヘッダ領域ＳＨと、ＳＥ（Ｓｅｑｕｅｎｃｅ Ｅｘｔｅｎｓｉｏｎ：シーケンス・イクステンション）領域６１４と、ＳＤ（Ｓｅｑｕｅｎｃｅ Ｄｉｓｐｌａｙ：シーケンス・ディスプレイ）領域６１５と、ＳＳ（Ｓｅｑｕｅｎｃｅ Ｓｃａｌａｂｌｅ：シーケンス・スケーラブル）領域６１６と、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）層６１７と、ピクチャ層６１８と、ＳＥＣ（Ｓｅｑｕｅｎｃｅ Ｅｎｄ Ｃｏｄｅ）領域６１９とがこの順番で配列される。

シーケンスヘッダ領域ＳＨでは、図６（ａ）に示されるように、ＳＨＣ（Ｓｅｑｕｅｎｃｅ Ｈｅａｄｅｒ Ｃｏｄｅ）領域６０１、ＨＳＶ（Ｈｏｒｉｚｏｎｔａｌ Ｓｉｚｅ Ｖａｌｕｅ）領域６０２、ＶＳＶ（Ｖｅｒｔｉｃａｌ Ｓｉｚｅ Ｖａｌｕｅ）領域６０３、ＡＲＩ（Ａｓｐｅｃｔ Ｒａｔｉｏ Ｉｎｆｏｒｍａｔｉｏｎ）領域６０４、ＦＲＣ（Ｆｒａｍｅ Ｒａｔｅ Ｃｏｄｅ）領域６０５、ＢＲＶ（Ｂｉｔ Ｒａｔｅ Ｖａｌｕｅ）領域６０６、ＭＲＫ（Ｍａｒｋｅｒ Ｂｉｔ）領域６０７、ＶＢＳＶ（ＶＢＶ Ｂｕｆｆｅｒ Ｓｉｚｅ Ｖａｌｕｅ）領域６０８、ＣＰＦ（Ｃｏｎｓｔｒａｉｎｅｄ Ｐａｒａｍｅｔｅｒ Ｆｌａｇ）領域６０９、ＬＩＱＭ（Ｌｏａｄ Ｉｎｔｒａ Ｑｕａｎｔｉｚｅｒ Ｍａｔｒｉｘ）領域６１０、ＩＱＭ（Ｉｎｔｒａ Ｑｕａｎｔｉｚｅｒ Ｍａｔｒｉｘ）領域６１１、ＬＮＩＱＭ（Ｌｏａｄ Ｎｏｎ Ｉｎｔｒａ Ｑｕａｎｔｉｚｅｒ Ｍａｔｒｉｘ）領域６１２及びＮＩＱＭ（Ｎｏｎ Ｉｎｔｒａ Ｑｕａｎｔｉｚｅｒ Ｍａｔｒｉｘ）領域６１３がこの順番で配列される。

ＭＰＥＧ−２規格によれば、ＩＱＭ領域６１１，ＮＩＱＭ領域６１３，ＳＤ領域６１５，ＳＳ領域６１６及びＧＯＰ領域６１７をそれぞれ省略することができる。また、ＧＯＰ層６１７とピクチャ層６１８の組み合わせを繰り返しビデオビットストリームに含めることができる。本実施の形態では、立体強度に関する情報は、シーケンスヘッダ領域ＳＨとＧＯＰ層６１７との間の拡張領域であるＳＤ領域６１５に埋め込まれる。

図６（ｂ）は、ＳＤ領域６１５のデータ構造を概略的に示す図である。図６（ｂ）に示されるように、ＳＤ領域６１５では、ＥＳＣ（Ｅｘｔｅｎｓｉｏｎ Ｓｔａｒｔ Ｃｏｄｅ）領域６２０、ＵＤＳＣ（Ｕｓｅｒ Ｄａｔａ Ｓｔａｒｔ Ｃｏｄｅ）領域６２１、ＵＤ（Ｕｓｅｒ Ｄａｔａ）領域６２２、ＥＳＣＩ（Ｅｘｔｅｎｓｉｏｎ Ｓｔａｒｔ Ｃｏｄｅ Ｉｄｅｎｔｉｆｉｅｒ）領域６２３、ＶＦ（Ｖｉｄｅｏ Ｆｏｒｍａｔ）領域６２４、ＣＤ（Ｃｏｌｏｒ Ｄｅｓｃｒｉｐｔｉｏｎ）領域６２５、ＣＰ（Ｃｏｌｏｒ Ｐｒｉｍａｒｉｅｓ）領域６２６、ＴＣ（Ｔｒａｎｓｆｅｒ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）領域６２７、ＭＸＣ（Ｍａｔｒｉｘ Ｃｏｅｆｆｉｅｎｔｓ）領域６２８、ＤＨＳ（Ｄｉｓｐｌａｙ Ｈｏｒｉｚｏｎｔａｌ Ｓｉｚｅ）領域６２９、ＭＲＫ（Ｍａｒｋｅｒ Ｂｉｔ）領域６３０及びＤＶＳ（Ｄｉｓｐｌａｙ Ｖｅｒｔｉｃａｌ Ｓｉｚｅ）領域６３１がこの順番で配列される。

図６（ｂ）に示されるように、ＳＤ領域６１５においては、ＭＰＥＧ−２規格に規定されているＥＳＣ領域６２０とＥＳＣＩ領域６２３との間にＵＤＳＣ領域６２１及びＵＤ領域６２２が追加されている。ＵＤＳＣ領域６２１は、３２ビット長を有し、ユーザデータの開始を示す同期コードを含む領域であり、ＵＤ領域６２２は、８の倍数のビット長のユーザ用データを含む領域である。なお、本実施の形態では、これらＵＤＳＣ領域６２１とＵＤ領域６２２はＥＳＣ領域６２０の直後に挿入されているが、これに限定されるものではない。ＵＤＳＣ領域６２１とＵＤ領域６２２とは、拡張データを挿入できる位置であれば、どの位置に挿入されてもよい。

図７（ａ），（ｂ）は、ＵＤ領域６２２のデータ構造を概略的に示す図である。図７（ａ）は、ＵＤ領域６２２の１バイト目の構造を示し、図７（ｂ）は、１バイト目に続く２バイト目の構造を示している。なお、図７（ａ），（ｂ）のＵＤ領域６２２のデータ構造は一例であり、これに限定されるものではない。図７（ａ）のＵＤ領域６２２の１バイト目は、３次元映像に関する情報を含む。第７ビット（ｂｉｔ７）の値が「１」のときは当該ビデオビットストリームが立体動画像データ（右眼用画像ＳＤＲと左眼用画像ＳＤＬ）を含むことを示す。第３ビット（ｂｉｔ３）の値が「１」のときは当該ビデオビットストリームに２次元画像Ｄａと立体強度画像Ｄｄとが含まれることを示す。第３ビット（ｂｉｔ３）の値が「０」の場合には、当該ビデオビットストリームは、右眼用画像と左眼用画像とから立体動画像データを構成することを目的とする種類のストリームであることを示す。第１ビット（ｂｉｔ１）は左眼用画像ＳＤＬまたは２次元画像Ｄａが有効であるか否かを表す値を有し、第０ビット（ｂｉｔ０）は右眼用画像ＳＤＲまたは立体強度画像Ｄｄが有効であるか否かを示す値を有する。他のビット（ｂｉｔ２，ｂｉｔ４，ｂｉｔ５，ｂｉｔ６）は予約（Ｒｅｓｅｒｖｅｄ）領域のビットである。

図７（ｂ）のＵＤ領域６２２の２バイト目は、ＵＤ領域６２２の１バイト目の情報に基づいた立体強度（表示深度または表示視差）の情報を８ビットで含むものである。本実施の形態１では、２バイト目は、１ＧＯＰ当たりの面内最大深度Ｍｖ［ｎ］の値を有するものとする。なお、ＵＤ領域６２２に３バイト目を設けて、ここに、当該面内最大深度Ｍｖ［ｎ］に対して前のフレームまたはフィールドの面内最大深度Ｍｖ［ｎ−１］を格納してもよい。

このように、ビデオビットストリーム中にＵＤＳＣ領域６２１とＵＤ領域６２２を追加することにより、ａ）２次元画像Ｄａと立体強度画像ＡＤｄと立体強度の情報との多重化データ、及び、ｂ）立体動画像データ（左眼用画像ＳＤＬと右眼用画像ＳＤＲとの組み合わせ）と立体強度の情報との多重化データという２種類（２つのタイプ）のデータをビデオビットストリームにおいて実現することができる。ユーザは、操作入力部２３を操作して、前記ａ），ｂ）の２種類のうち、どの種類（タイプ）の多重化データを生成するのかを主制御部２２に指定することができる。このとき、主制御部２２は、指定された種類の符号化データを含むビデオビットストリームをストリームデータ１９ａとしてストリーム生成部１８に生成させる。

また、当該ビデオビットストリーム１９ａから映像データを再生する際には、ＵＤＳＣ領域６２１とＵＤ領域６２２を参照することで、ビデオビットストリーム１９ａ中に埋め込まれた多重化データの種類をＧＯＰ単位で判別することができる。

さらに、ビデオビットストリーム１９ａ中に面内最大深度Ｍｖ［ｎ］の値が埋め込まれているので、当該ビデオビットストリーム１９ａから立体動画像データ（右眼用画像ＳＤＲと左眼用画像ＳＤＬ）を生成する際に、面内最大深度を検出せずに得ることができる。このため、ＣＰＵなどのプロセッサの処理負荷を軽減させることができ、再生ビットレートの高い高品質データの再生時においても、立体視条件に応じて立体強度を適切に調整することができるという効果が得られる。

立体強度情報をストリームデータ１９ａに付加するための記録フォーマットは、上記したストリームデータ１９ａに埋め込む方法と、ストリームデータ１９ａとは別の管理テーブルデータ１９ｔとして持つ方法とがあり、いずれか一方の方法のみでも、あるいは、両方の方法を採用してもよい。

ストリーム生成部１８は、一連のデータブロックからなるストリームデータ１９ａを記憶媒体１９に記録する。各データブロックにはヘッダが付加されており、このヘッダは、映像の再生位置に対応するタイムスタンプを含む。ストリーム生成部１８は、面内立体強度の最大値に対応するタイムスタンプ（たとえば、ＰＴＳ）を管理テーブルデータ１９ｔに記録することができる。ＭＰＥＧ−２規格の場合、データブロックは、ＴＳパケットと、このＴＳパケットに付加された所定バイト長のヘッダとで構成されたソースパケットとすることができる。このヘッダには、ＴＳパケットの番号を表すＳＰＮ（Ｓｏｕｒｃｅ ｐａｃｋｅｔ ｎｕｍｂｅｒ）とタイムスタンプとが含まれる。

図８（ａ）は、ストリームデータ１９ａを概略的に示す図であり、図８（ｂ）は、映像用の再生時刻情報であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）に対する面内最大深度の時間的な変化の推移を概略的に示す図である。図８（ａ）に示すように、ストリームデータ１９ａは、一連のソースパケットＳＰ，…，ＳＰからなり、各ソースパケットＳＰにヘッダが付加されている。図８（ｂ）に示されるように、ＰＴＳ値がＰ_０，Ｐ_１，Ｐ_２のときに面内最大深度が急激に変化してその時間変化幅ΔＭｖがしきい値Ｍｖｔｈを超える。このとき、これらＰＴＳ値Ｐ_０，Ｐ_１，Ｐ_２が管理テーブルデータ１９ｔに記録される。

上記したように、実施の形態１の３次元映像生成装置１Ａは、調整された立体強度画像ＡＤｄを用いて左眼用画像ＳＤＬと右眼用画像ＳＤＲとを生成するので、立体強度が急激に変化する立体動画像（３次元映像）の表示を防ぐことができ、観察者の眼の負担を軽減することができる。

実施の形態２．
次に、本発明に係る実施の形態２について説明する。図９は、実施の形態２の３次元映像生成装置１Ｂの概略構成を示す機能ブロック図である。この３次元映像生成装置１Ｂの構成は、信号入力部５Ｂと信号処理部８Ｂと最大値検出部１４Ｂを除いて、上記実施の形態１の３次元映像生成装置１Ａの構成と同じである。

主制御部２２は、ストリームデータ１９ａのみ、あるいは、ストリームデータ１９ａと管理テーブルデータ１９ｔとの組み合わせを記憶媒体１９から読み出し、入力信号ＩＤ３として信号入力部５Ｂに転送することができる。信号入力部５Ｂは、主制御部２２からの指令に従って、入力信号ＩＤ２，ＩＤ３のうちのいずれか一方の入力信号を選択し、当該選択した入力信号を信号処理部８Ｂに出力する。ここで、信号入力部５Ｂは、入力信号ＩＤ２が入力信号ＩＤ３とは異なるフォーマットの信号である場合は、入力信号ＩＤ２を入力信号ＩＤ３と同じフォーマットの信号に変換して信号処理部８Ｂに出力することができる。

信号入力部５Ｂの出力であるデータストリーム（たとえば、トランスポートストリーム）には、映像や音声の符号化ビットストリームが多重化されている。信号処理部８Ｂは、信号入力部５Ｂの出力から映像の符号化ビットストリームを分離（デマルチプレクス）し、この符号化ビットストリームを復号（デコード）して一連の２次元画像（静止画像）Ｄａと一連の立体強度画像Ｄｄとを生成し、立体動画像生成部１１に出力する機能を有する。符号化ビットストリームは、一連のデータパケット（たとえば、一連のＰＥＳパケット）からなり、信号処理部８Ｂは、データパケットに含まれているタイムスタンプやデータパケットの解析情報などの情報Ｃｄを最大値検出部１４Ｂに供給する。

以下、図１０を参照しつつ、実施の形態２に係る立体強度補正処理を説明する。図１０は、この立体強度補正処理の手順を概略的に示すフローチャートである。図１０のフローチャートは、ステップＳ１５Ｂを除いて、実施の形態１に係る図４のフローチャートと同じである。

図１０のステップＳ１０〜Ｓ１２の処理が実行された後、時間変化幅ΔＭｖがしきい値Ｍｖｔｈを超えたと判定したとき（ステップＳ１４のＹＥＳ）、最大値検出部１４Ｂは、面内最大深度Ｍｖ［ｎ−１］，Ｍｖ［ｎ］をストリーム生成部１８に通知するととともに、当該面内最大深度Ｍｖ［ｎ−１］，Ｍｖ［ｎ］とこれらに対応するタイムスタンプとパケット番号とをメモリ（図示せず）に保存する（ステップＳ１５Ｂ）。これらタイムスタンプとパケット番号は、信号処理部８Ｂにより供給された情報Ｃｄから得たものである。また、最大値検出部１４Ａは、時間変化幅ΔＭｖがしきい値Ｍｖｔｈを超えた旨を立体強度調整部１７に通知する。その後、立体強度調整処理（ステップＳ１８）及び判定処理（ステップＳ２０）が順次実行される。

次に、シーンチェンジ検出部２０の検出結果を用いた立体強度補正処理を説明する。図１１は、この立体強度補正処理の手順を概略的に示すフローチャートである。図１１のフローチャートは、ステップＳ１５Ｂを除いて、実施の形態１に係る図５のフローチャートと同じである。

図１１のステップＳ１０〜Ｓ１２の処理が実行された後、立体強度調整部１７は、シーンチェンジの有無を判定する（ステップＳ１３）。すなわち、立体強度調整部１７は、シーンチェンジ検出部２０から検出信号が入力されないとき、シーンチェンジが発生していないと判定し（ステップＳ１３のＮＯ）、検出信号が入力されたとき、シーンチェンジが発生したと判定する（ステップＳ１３のＹＥＳ）。シーンチェンジが発生しないと判定したとき（ステップＳ１３のＮＯ）、立体強度調整部１７はステップＳ２０に手順を移行する。一方、シーンチェンジが発生したと判定したとき（ステップＳ１３のＹＥＳ）、最大値検出部１４Ａは、時間変化幅ΔＭｖがしきい値Ｍｖｔｈを超えたか否かを判定する（ステップＳ１４）。その後、最大値検出部１４Ｂは、面内最大深度Ｍｖ［ｎ−１］，Ｍｖ［ｎ］をストリーム生成部１８に通知するととともに、当該面内最大深度Ｍｖ［ｎ−１］，Ｍｖ［ｎ］とこれらに対応するタイムスタンプとパケット番号とをメモリ（図示せず）に保存する（ステップＳ１５Ｂ）。また、最大値検出部１４Ａは、時間変化幅ΔＭｖがしきい値Ｍｖｔｈを超えた旨を立体強度調整部１７に通知する。その後、ステップＳ１８，Ｓ２０が順次実行される。

ストリーム生成部１８は、上記ステップＳ１５Ｂにおいて保存されたタイムスタンプを、立体強度の変化が大きい再生位置を示すタイムスタンプとして管理テーブルデータ１９ｔに記録することができ、上記ステップＳ１５Ｂにおいて保存されたパケット番号を、ストリームデータ１９ａを構成するソースパケットのヘッダに含めるＳＰＮ（Ｓｏｕｒｃｅ ｐａｃｋｅｔ ｎｕｍｂｅｒ）として利用することができる。

実施の形態３．
次に、本発明に係る実施の形態３について説明する。図１２は、実施の形態３の３次元映像生成装置１Ｃの概略構成を示す機能ブロック図である。この３次元映像生成装置１Ｃの構成は、信号処理部８Ｃと最大値検出部１４Ｃを除いて、上記実施の形態２の３次元映像生成装置１Ｂの構成と同じである。

本実施の形態に係る信号処理部８Ｃは、信号入力部５Ｂの出力に面内最大深度に関するストリーム情報Ｍｖ０が含まれている場合には、当該ストリーム情報Ｍｖ０を抽出して最大値検出部１４Ｃに出力する機能を有している。ストリーム情報Ｍｖ０は、上記ストリームデータ１９ａと同じ記録フォーマットを有するデータ、あるいは、上記管理テーブルデータ１９ｔと同じフォーマットを持つデータから抽出される情報である。

最大値検出部１４Ｃは、上記最大値検出部１４Ｂと同様に、当該立体強度画像Ｄｄの面内立体強度の最大値（面内最大深度）を検出する機能を有する。最大値検出部１４Ｃは、さらに、信号処理部８Ｃからストリーム情報Ｍｖ０が入力されたときは、面内立体強度の最大値を検出する処理を実行せずに、ストリーム情報Ｍｖ０に含まれる面内最大深度を利用することができる。これにより、最大値検出部１４Ｃの処理負荷（または、最大値検出部１４Ｃの機能を実現するＣＰＵなどのプロセッサの処理負荷）を軽減することができ、再生ビットレートの高い高品質データの再生時においても、立体視条件に応じて立体強度を適切に調整することができるという効果が得られる。

また、ストリーム情報Ｍｖ０が管理テーブルデータ１９ｔを含む場合には、最大値検出部１４Ｃは、ストリーム情報Ｍｖ０から、面内立体強度の最大値とこれに対応するＰＴＳ値（再生時刻情報）とを取得し利用することができる。これにより、最大値検出部１４Ｃは、ＰＴＳ値を参照して、立体強度が激しく変化する時間を事前に知ることができるため、観察者への警告や、立体強度調整部１７に立体強度調整をタイミングよく実施させることができる。

実施の形態４．
次に、本発明に係る実施の形態４について説明する。図１３は、実施の形態４の３次元映像生成装置２Ａの概略構成を示す機能ブロック図である。上記実施の形態１〜３の３次元映像生成装置１Ａ，１Ｂ，１Ｃは、２次元画像Ｄａと立体強度画像Ｄｄとに基づいて、立体動画像データを構成する左眼用画像ＳＤＬと右眼用画像ＳＤＲを生成するものであるが、本実施の形態の３次元映像生成装置２Ａは、左眼用画像ＳＤＬと右眼用画像ＳＤＲとからなる立体動画像データの表示視差を補正するものである。

図１３に示されるように、３次元映像生成装置２Ａは、信号入力部２５Ａ，視差検出部３１，立体強度調整部３２，スイッチ部３３，フレームメモリ３４及び画像表示部５０を備えている。３次元映像生成装置２Ａは、さらに、最大値検出部３５Ａ，ローパスフィルタ（ＬＰＦ）３６，ストリーム生成部３８，記憶媒体３９，主制御部４０，操作入力部４１及びシーンチェンジ検出部４２を備えている。記憶媒体３９は、上記記憶媒体１９と同様に、不揮発性メモリや光ディスクやＨＤＤ（ハードディスクドライブ）で構成される。また、操作入力部４１は、上記操作入力部２３と同様に、たとえば、キー入力デバイスやポインティングデバイスである。ユーザは、この操作入力部４１を操作して情報を入力することができる。

信号入力部２５Ａは、立体動画像を構成する左眼用画像ＳＤＬと右眼用画像ＳＤＲとを入力信号ＩＤ４から抽出し、視差検出部３１に与える。視差検出部３１は、左眼用画像ＳＤＬと右眼用画像ＳＤＲとから表示視差の２次元分布（以下、表示視差分布と呼ぶ。）Ｄｐを生成し、最大値検出部３５ＡとＬＰＦ３６とに出力する。

また、視差検出部３１は、左眼用画像ＳＤＬと右眼用画像ＳＤＲとをそのまま立体強度調整部３２に出力する。立体強度調整部３２は、左眼用画像ＳＤＬと右眼用画像ＳＤＲとに立体強度調整処理を施して調整された左眼用画像ＡＤＬと右眼用画像ＡＤＲとを生成し、スイッチ部３３に出力する機能を有する。視差検出部３１は、たとえば、左眼用画像ＳＤＬと右眼用画像ＳＤＲとの間の同一画像パターンを基準とした位置ずれの２次元分布を表示視差分布（立体強度画像）Ｄｐとして検出することができる。スイッチ部３３は、調整後の左眼用画像ＡＤＬと右眼用画像ＡＤＲとを交互に選択し、フレームメモリ３４に出力する。そして、フレームメモリ３４は、スイッチ部３３から入力された左眼用画像ＡＤＬと右眼用画像ＡＤＲとを一時的に記憶しつつ、記憶済みの左眼用画像ＡＤＬと右眼用画像ＡＤＲとを所定のフレームレート（たとえば、入力動画像のフレームレートの倍のレート）で交互に画像表示部５０に出力する。

本実施の形態では、視差検出部３１，最大値検出部３５Ａ，ＬＰＦ３６及び立体強度調整部３２によって立体動画像データ（右眼用画像ＳＤＲと左眼用画像ＳＤＬ）に対する補正処理（以下、表示視差補正処理と呼ぶ。）が実行される。以下、図１４を参照しつつ、本実施の形態に係る表示視差補正処理について説明する。図１４は表示視差補正処理の手順を概略的に示すフローチャートである。

視差検出部３１は、立体動画像データ（一対の左眼用画像ＳＤＬと右眼用画像ＳＤＲ）が入力されると（ステップＳ３０ＰのＹＥＳ）、当該立体動画像データから表示視差分布Ｄｐを生成し、ＬＰＦ３６と最大値検出部３５Ａに出力する（ステップＳ３０）。最大値検出部３５Ａは、視差検出部３１から表示視差分布Ｄｐが入力されると、当該表示視差分布Ｄｐの面内最大視差（面内立体強度）の最大値（面内最大視差）Ｍｄ［ｍ］を検出する（ステップＳ３１）。ここで、ｍは、ｍ番目の表示視差分布Ｄｐを指す番号である。上述の通り、表示視差は表示深度に変換できるため、面内最大視差の最大値を求めることは面内最大深度を求めることと原理は同じである。

その後、最大値検出部３５Ａは、前のフレームまたはフィールドの表示視差分布Ｄｐの面内最大視差Ｍｄ［ｍ−１］と、現フレームまたは現フィールドの表示視差分布Ｄｐの面内最大視差Ｍｄ［ｍ］とを比較して時間変化幅ΔＭｄ（＝｜Ｍｄ［ｍ−１］−Ｍｄ［ｍ］｜）を算出する（ステップＳ３２）。次いで、最大値検出部３５Ａは、時間変化幅ΔＭｄがしきい値Ｍｄｔｈを超えたか否かを判定する（ステップＳ３４）。しきい値Ｍｄｔｈは、事前の実験によって最適な値に設定できる。時間変化幅ΔＭｄがしきい値Ｍｄｔｈ以下であるとき（ステップＳ３４のＮＯ）、最大値検出部３５Ａは、ステップＳ４０に手順を移行する。一方、時間変化幅ΔＭｄがしきい値Ｍｄｔｈを超えたとき（ステップＳ３４のＹＥＳ）、最大値検出部３５Ａは、面内最大視差Ｍｄ［ｍ−１］，Ｍｄ［ｍ］をストリーム生成部３８に通知する（ステップＳ３５Ａ）。また、最大値検出部３５Ａは、時間変化幅ΔＭｄがしきい値Ｍｄｔｈを超えた旨を立体強度調整部３２に通知する。

ところで、ＬＰＦ３６は、高周波数成分（ノイズ成分など）を除去するために、表示視差分布Ｄｐにフィルタリングを施して表示視差分布Ｄｐのうち空間周波数の低い成分ＦＤｐを抽出し、立体強度調整部３２に出力している。時間変化幅ΔＭｄがしきい値Ｍｄｔｈを超えた旨の通知を最大値検出部３５Ａから受けたとき、立体強度調整部３２は、一連の低空間周波数成分ＦＤｐに立体強度調整処理を施して、面内表示視差の最大値の時間変化幅が上記しきい値Ｍｄｔｈ以下となるように立体動画像データ（左眼用画像ＳＤＬと右眼用画像ＳＤＲ）の表示視差を補正する（ステップＳ３８）。

ここで、立体強度調整部３２は、主制御部４０から与えられた立体視条件に応じた立体強度調整処理を実行する機能を有する。主制御部４０は、ユーザにより設定された立体視条件を記憶する設定条件記憶部４０ａを有しており、ユーザは、操作入力部４１を操作して立体視条件を選択または入力することができる。

上記立体強度調整処理（ステップＳ３８）の後、主制御部４０により表示視差補正処理を終了すると判定されるまで、視差検出部３１，最大値検出部３５Ａ，ＬＰＦ３６及び立体強度調整部３２は、上記ステップＳ３０Ｐ〜Ｓ３８の手順を繰り返し実行する（ステップＳ４０のＮＯ）。表示視差補正処理を終了する旨の判定がなされたときは（ステップＳ４０のＹＥＳ）、視差検出部３１，最大値検出部３５Ａ，ＬＰＦ３６及び立体強度調整部３２は、表示視差補正処理を終了する。

実施の形態４の３次元映像生成装置２Ａは、図１４の表示視差補正処理を行う動作モードの他に、シーンチェンジ検出部４２の検出結果を用いた表示視差補正処理を行う動作モードを有している。シーンチェンジ検出部４２は、右眼用画像ＳＤＲ及び左眼用画像ＳＤＬの一方または双方に基づいてシーンチェンジを検出する機能を有する。シーンチェンジを検出すると、シーンチェンジ検出部４２は、検出信号を立体強度調整部３２と最大値検出部３５Ａとに出力する。

以下、図１５を参照しつつ、シーンチェンジ検出部４２の検出結果を用いた立体強度補正処理を説明する。図１５は、この立体強度補正処理の手順を概略的に示すフローチャートである。図１４と図１５のフローチャートにおいて同一符号を付されたステップでは同一処理が実行されるので、その詳細な説明を省略する。

図１５のステップＳ３０Ｐ〜Ｓ３２の処理が実行された後、立体強度調整部３２は、シーンチェンジの有無を判定する（ステップＳ３３）。すなわち、立体強度調整部３２は、シーンチェンジ検出部４２から検出信号が入力されないとき、シーンチェンジが発生していないと判定し（ステップＳ３３のＮＯ）、検出信号が入力されたとき、シーンチェンジが発生したと判定する（ステップＳ３３のＹＥＳ）。シーンチェンジが発生しないと判定したとき（ステップＳ３３のＮＯ）、立体強度調整部３２はステップＳ４０に手順を移行する。一方、シーンチェンジが発生したと判定したとき（ステップＳ３３のＹＥＳ）、最大値検出部３５Ａは、時間変化幅ΔＭｄがしきい値Ｍｄｔｈを超えたか否かを判定する（ステップＳ３４）。その後、ステップＳ３５Ａ，Ｓ３８が順次実行される。立体強度調整処理（ステップＳ３８）の後は、主制御部２２により立体強度補正処理を終了すると判定されるまで、視差検出部３１，最大値検出部３５Ａ，ＬＰＦ３６及び立体強度調整部３２は、図１５のステップＳ３０Ｐ〜Ｓ３８の手順を繰り返し実行する（ステップＳ４０のＮＯ）。立体強度補正処理を終了する旨が判定されたときは（ステップＳ４０のＹＥＳ）、視差検出部３１，最大値検出部３５Ａ，ＬＰＦ３６及び立体強度調整部３２は立体強度補正処理を終了する。

上記したように図１４の立体強度補正処理では、最大立体強度である面内最大視差の時間変化幅が常に監視され（図１４のステップＳ３４）、当該時間変化幅がしきい値を超えたときに立体強度が適正に調整される（ステップＳ３４のＹＥＳ及びステップＳ３８）。これに対して、図１５の表示視差補正処理では、シーンチェンジ発生時にのみ、最大立体強度である面内最大視差の時間変化幅が監視されるので（図１５のステップＳ３３のＹＥＳ、及びステップＳ３４）、図１４の表示視差補正処理と比べるとシステムの処理負荷を軽減することができる。

ストリーム生成部３８は、上記実施の形態１のストリーム生成部１８（図１）と同様の機能を有する。すなわち、ストリーム生成部３８は、スイッチ部３３により出力された立体動画像データ（右眼用画像ＡＤＲと左眼用画像ＡＤＬ）と、最大値検出部３５Ａから与えられた面内最大視差Ｍｄ［ｍ］のデータ系列とを所定の記録フォーマットに従って多重化してストリームデータ３９ａを生成し、記憶媒体３９に格納する機能を有する。ストリーム生成部３８は、複数の記録フォーマットの中から記憶媒体３９の種類に応じた記録フォーマットを選択することができる。

また、ストリーム生成部３８は、面内最大視差Ｍｄ［ｍ］をストリームデータ３９ａ内に多重化せずに記憶媒体３９内の管理テーブルデータ３９ｔに記録することもできる。

上記したように実施の形態４の３次元映像生成装置２Ａは、表示視差が調整された左眼用画像ＡＤＬと右眼用画像ＡＤＲとを生成するので、立体強度が急激に変化する立体動画像（３次元映像）の表示を防ぐことができ、観察者の眼の負担を軽減することができる。

実施の形態５．
次に、本発明に係る実施の形態５について説明する。図１６は、実施の形態５の３次元映像生成装置２Ｂの概略構成を示す機能ブロック図である。この３次元映像生成装置２Ｂの構成は、信号入力部２５Ｂと信号処理部２８Ｂと最大値検出部３５Ｂを除いて、上記実施の形態４の３次元映像生成装置２Ａの構成と同じである。

主制御部４０は、ストリームデータ３９ａのみ、あるいは、ストリームデータ３９ａと管理テーブルデータ３９ｔとの組み合わせを記憶媒体３９から読み出し、入力信号ＩＤ６として信号入力部２５Ｂに転送することができる。信号入力部２５Ｂは、主制御部２２からの指令に従って、入力信号ＩＤ５，ＩＤ６のうちのいずれか一方の入力信号を選択し、当該選択した入力信号を信号処理部２８Ｂに出力する。ここで、信号入力部２５Ｂは、入力信号ＩＤ５が入力信号ＩＤ６とは異なるフォーマットの信号である場合は、入力信号ＩＤ５を入力信号ＩＤ６と同じフォーマットの信号に変換して信号処理部２８Ｂに出力することができる。

信号入力部２５Ｂの出力であるデータストリーム（たとえば、トランスポートストリーム）には、映像や音声の符号化ビットストリームが多重化されている。信号処理部２８Ｂは、信号入力部２５Ｂの出力から映像の符号化ビットストリームを分離（デマルチプレクス）し、この符号化ビットストリームを復号（デコード）して左眼用画像ＳＤＬと右眼用画像ＳＤＲとを生成し、視差検出部３１に出力する機能を有する。符号化ビットストリームは、一連のデータパケット（たとえば、一連のＰＥＳパケット）からなり、信号処理部２８Ｂは、データパケットに含まれているタイムスタンプやデータパケットの解析情報などの情報Ｃｄを最大値検出部３５Ｂに供給する。

以下、図１７を参照しつつ、実施の形態５に係る表示視差補正処理を説明する。図１７は、この表示視差補正処理の手順を概略的に示すフローチャートである。図１７のフローチャートは、ステップＳ３５Ｂを除いて、実施の形態４に係る図１４のフローチャートと同じである。

図１７のステップＳ３０Ｐ〜Ｓ３２の処理が実行された後、時間変化幅ΔＭｄがしきい値Ｍｄｔｈを超えたと判定したとき（ステップＳ３４のＹＥＳ）、最大値検出部３５Ｂは、面内最大視差Ｍｄ［ｍ−１］，Ｍｄ［ｍ］をストリーム生成部３８に通知するとともに、当該面内最大視差Ｍｄ［ｍ−１］，Ｍｄ［ｍ］とこれらに対応するタイムスタンプとパケット番号とをメモリ（図示せず）に保存する（ステップＳ３５Ｂ）。これらタイムスタンプとパケット番号は、信号処理部２８Ｂにより供給された情報Ｃｄから得たものである。また、最大値検出部３５Ｂは、時間変化幅ΔＭｄがしきい値Ｍｄｔｈを超えた旨を立体強度調整部３２に通知する。その後、立体強度調整処理（ステップＳ３８）及び判定処理（ステップＳ４０）が順次実行される。

次に、シーンチェンジ検出部４２の検出結果を用いた表示視差補正処理を説明する。図１８は、この表示視差補正処理の手順を概略的に示すフローチャートである。図１８のフローチャートは、ステップＳ３５Ｂを除いて、実施の形態４に係る図１５のフローチャートと同じである。

図１８のステップＳ３０Ｐ〜Ｓ３２の処理が実行された後、立体強度調整部３２は、シーンチェンジの有無を判定する（ステップＳ１３）。すなわち、立体強度調整部３２は、シーンチェンジ検出部４０から検出信号が入力されないとき、シーンチェンジが発生していないと判定し（ステップＳ３３のＮＯ）、検出信号が入力されたとき、シーンチェンジが発生したと判定する（ステップＳ３３のＹＥＳ）。シーンチェンジが発生しないと判定したとき（ステップＳ３３のＮＯ）、立体強度調整部３２はステップＳ４０に手順を移行する。一方、シーンチェンジが発生したと判定したとき（ステップＳ３３のＹＥＳ）、最大値検出部３５Ｂは、時間変化幅ΔＭｄがしきい値Ｍｄｔｈを超えたか否かを判定する（ステップＳ３４）。その後、最大値検出部３５Ｂは、面内最大視差Ｍｄ［ｍ−１］，Ｍｄ［ｍ］をストリーム生成部３８に通知するととともに、当該面内最大視差Ｍｄ［ｍ−１］，Ｍｄ［ｍ］とこれらに対応するタイムスタンプとパケット番号とを保存する（ステップＳ３５Ｂ）。これらタイムスタンプとパケット番号は、信号処理部２８Ｂにより供給された情報Ｃｄから得たものである。また、最大値検出部３５Ｂは、時間変化幅ΔＭｄがしきい値Ｍｄｔｈを超えた旨を立体強度調整部３２に通知する。その後、ステップＳ３８，Ｓ４０が順次実行される。

ストリーム生成部３８は、上記ステップＳ３５Ｂにおいて保存されたタイムスタンプを、立体強度の変化が大きい再生位置を示すタイムスタンプとして管理テーブルデータ３９ｔに記録することができ、上記ステップＳ３５Ｂにおいて保存されたパケット番号を、ストリームデータ３９ａを構成するソースパケットのヘッダに含めるＳＰＮ（Ｓｏｕｒｃｅ ｐａｃｋｅｔ ｎｕｍｂｅｒ）として利用することができる。

実施の形態６．
次に、本発明に係る実施の形態６について説明する。図１９は、実施の形態６の３次元映像生成装置２Ｃの概略構成を示す機能ブロック図である。この３次元映像生成装置２Ｃの構成は、信号処理部２８Ｃと最大値検出部３５Ｃを除いて、上記実施の形態５の３次元映像生成装置２Ｂの構成と同じである。

本実施の形態に係る信号処理部２８Ｃは、信号入力部２５Ｂの出力に面内最大視差に関するストリーム情報Ｍｕ０が含まれている場合には、当該ストリーム情報Ｍｕ０を抽出して最大値検出部３５Ｃに出力する機能を有する。ストリーム情報Ｍｕ０は、上記ストリームデータ３９ａと同じ記録フォーマットを有するデータ、あるいは、上記管理テーブルデータ３９ｔと同じフォーマットを持つデータから抽出される情報である。

最大値検出部３５Ｃは、上記最大値検出部３５Ｂと同様に、表示視差分布Ｄｐの面内立体強度の最大値（面内最大視差）を検出する機能を有する。最大値検出部３５Ｃは、さらに、信号処理部２８Ｃからストリーム情報Ｍｕ０が入力されたときは、面内最大視差を検出する処理を実行せずに、ストリーム情報Ｍｕ０に含まれる面内最大視差を利用することができる。これにより、最大値検出部３５Ｃの処理負荷（または、最大値検出部３５Ｃの機能を実現するＣＰＵなどのプロセッサの処理負荷）を軽減することができ、再生ビットレートの高い高品質データの再生時においても、立体視条件に応じて立体強度を適切に調整することができるという効果が得られる。

また、ストリーム情報Ｍｕ０が管理テーブルデータ３９ｔを含む場合には、最大値検出部３５Ｃは、ストリーム情報Ｍｕ０から、面内最大視差とこれに対応するＰＴＳ値（再生時刻情報）とを取得し利用することができる。これにより、最大値検出部３５Ｂは、管理テーブルデータ３９ｔのＰＴＳ値を参照して、立体強度が激しく変化する時間を事前に知ることができるため、観察者への警告や、立体強度調整部３２に立体強度調整をタイミングよく実施させることができる。

実施の形態７．
次に、本発明に係る実施の形態７について説明する。図２０は、実施の形態７の３次元映像生成装置２Ｄの概略構成を示す機能ブロック図である。この３次元映像生成装置２Ｄの構成は、デジタル放送受信部４４を有する点を除いて、上記実施の形態６の３次元映像生成装置２Ｃの構成と同じである。

デジタル放送受信部４４は、チューナ４４Ａ及び復調器４４Ｂを有する。チューナ４４Ａは、選局先放送プログラムを伝送する物理チャネル（周波数帯域）に同期して放送信号を受信する。チューナ４４Ａはさらに、受信した放送信号を中間周波数帯域のアナログ信号に変換しＡ／Ｄ変換してＯＦＤＭ（Ｏｒｔｈｏｇｏｎａｌ Ｆｒｅｑｕｅｎｃｙ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅｘｉｎｇ）変調信号を生成する。復調器４４Ｂは、このＯＦＤＭ変調信号に復調処理や誤り訂正を施して、一連のＴＳパケットからなるトランスポートストリームを生成し主制御部４０に出力する。

主制御部４０は、このトランスポートストリームを入力信号ＩＤ６として信号入力部２５Ｂに転送する機能を有する。生放送で３次元映像が放送される場合には、複数のカメラを使用して左眼用画像と右眼用画像を分けて撮像し、これら左眼用画像と右眼用画像が配信されることが予想される。この場合、立体感の調整が不十分なままのカメラを通した３次元映像がそのまま伝送されることがあると予想される。本実施の形態７の３次元映像生成装置２Ｄは、かかる場合でも、配信された立体動画像データの表示視差を適切に調整することができる。

また、当該トランスポートストリームが、立体動画像データ（３次元映像データ）を含み、記憶媒体３９に格納されているストリームデータ３９ａと同じフォーマットを有する場合、信号入力部２５Ｂは、入力信号ＩＤ６から面内最大視差に関するストリーム情報Ｍｕ０を抽出して最大値検出部３５Ｃに出力することができる。このとき、最大値検出部３５Ｃは、面内最大視差を検出する処理を実行せずに、ストリーム情報Ｍｕ０に含まれる面内最大視差を利用することができる。これにより、立体動画像データ（左眼用画像ＳＤＬと右眼用画像ＳＤＲ）の表示視差を適切に調整することができる。

また、主制御部４０は、放送されているＥＰＧ（電子番組ガイド）から番組編成情報を取得し、これに基づいて立体強度調整部３２の動作を制御する機能を有する。たとえば、生放送番組が受信される場合には、主制御部４０は、表示視差の調整を強制的に有効にし、極端に表示視差の大きい３次元映像を表示することを避けるように立体強度調整部３２を制御することができる。あるいは、主制御部４０は、最大表示視差があらかじめ設定した上限（しきい値）以上にならないように立体強度調整部３２を制御して、表示面５０ａ（図２）から飛び出し過ぎた立体像と引っ込み過ぎた立体像を表示しないようにすることもできる。また、立体強度調整がなされて放送される番組であるアニメーション番組では、綺麗な３次元映像が再現されることが期待される一方で、エンターテイメント性を追求した映像が作られる傾向があるため、このような場合、主制御部４０は、面内最大視差の上限を低めに設定するように立体強度調整部３２を制御することができる。さらに、ドラマや映画などの実写映像では極端に表示視差が大きい３次元映像が作られにくいことと、製作者の意図を忠実に再現したほうが観察者への感動を高めることができるということから、かかる場合には、主制御部４０は、表示視差の調整は行わないように立体強度調整部３２を制御することができる。このように、主制御部４０は、番組ジャンルに合わせた立体強度調整が行われるように立体強度調整部３２を制御することができる。これにより、観察者の目に与える負担を軽減できる３次元映像を表示することができるとともに、放送番組の製作者の意図を曲げない表示を実現することができる。

実施の形態１〜７の変形例．
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。たとえば、映像を観察する場合には、画面周辺部分には観察者は注目しておらず、映像の周辺部分の立体強度が強くなっていても、観察者の目に与える疲労感への影響は小さいため、画面全体を視差の調整対象としなくてもいい。かかる観点から、上記実施の形態１〜７の３次元映像生成装置１Ａ，１Ｂ，１Ｃ，２Ａ，２Ｂ，２Ｃ，２Ｄの立体強度調整部１７または立体強度調整部３２は、図２１に示されるように、立体強度画像Ｄｄまたは立体動画像データ（右眼用画像ＳＤＲと左眼用画像ＳＤＬ）の有効表示領域６０のうち、中心位置を含む所定範囲６０Ｃに対して立体強度調整処理を実行し、所定範囲６０Ｃ以外の周辺領域６０Ｐに対しては立体強度調整処理を実行しないことも可能である。これにより、処理の対象領域を小さくすることができるため、処理速度が速くなるという効果を奏する。

また、設定条件記憶部２２ａ，４０ａに記憶される立体視条件は、観察者（ユーザ）の年齢条件に合わせて設定されてもよい。世代の異なる観察者が複数いた場合、同じ３次元映像を見ても目の疲労を感じない人がいる一方で、年齢が低い幼児などは映像観察による感受性が強く現れ、目の疲労や体調の不良を訴えることがある。また、高齢者においては立体感を強く表現することよりも映像の見易さを重視するほうが、より快適に観察できる。たとえば、ユーザが表示視差を小さめに設定する対象の年齢に属するとの年齢条件が設定された場合には、主制御部２２，４０は、この年齢条件を有効にして、表示視差を無しにするか、面内最大視差の上限またはしきい値を低い値に設定するように立体強度調整部１７，３２を制御することができる。これにより、観察者に見やすい３次元映像を画像表示部５０に表示することができる。

年齢条件は、観察者を撮像デバイスで撮像して得られる画像に基づいて設定してもよい。たとえば、図２０の主制御部４０は、撮像デバイス４３で撮像された画像からユーザの顔画像や容姿画像を識別し、この識別結果に基づいてユーザの年齢条件を設定することが可能である。

また、上記実施の形態１，２に係る図５，１１のフローチャートでは、シーンチェンジ検出部２０によりシーンチェンジが検出されたとき（ステップＳ１３のＹＥＳ）、ステップＳ１４の監視処理が実行されるが、システムの処理負荷軽減のために、ステップＳ１４の監視処理を飛び越してステップＳ１５Ａ，Ｓ１５Ｂを実行してもよい。上記実施の形態４，５に係る図１５，１８のフローチャートにおいても、シーンチェンジ検出部４２によりシーンチェンジが検出されたとき（ステップＳ３３のＹＥＳ）、ステップＳ３４の監視処理が実行されるが、システムの処理負荷軽減のために、ステップＳ３４の監視処理を飛び越してステップＳ３５Ａ，Ｓ３５Ｂを実行してもよい。

また、上記実施の形態１〜７の３次元映像生成装置１Ａ，１Ｂ，１Ｃ，２Ａ，２Ｂ，２Ｃ，２Ｄの構成の機能ブロックの全部または一部は、たとえば、ＣＰＵなどのマイクロプロセッサ，ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ），タイマー回路，入出力インターフェース及び専用処理ユニットを含む集積回路で構成することができる。これら機能ブロックの全部または一部は、ハードウェアで実現されてもよいし、あるいは、マイクロプロセッサにより実行されるコンピュータプログラムで実現されてもよい。これら機能ブロックの全部または一部の機能がコンピュータプログラム（実行形式のファイルを含む。）で実現される場合、マイクロプロセッサは、コンピュータ読み取り可能な記憶媒体（たとえば、記憶媒体１９，３９）から当該コンピュータプログラムをロードし実行することによって当該機能を実現することができる。

１Ａ，１Ｂ，１Ｃ，２Ａ，２Ｂ，２Ｃ，２Ｄ ３次元映像生成装置、 ５Ａ，５Ｂ 信号入力部、 ８Ａ〜８Ｃ，２８Ａ〜２８Ｃ 信号処理部、 １１ 立体動画像生成部、 １２，３３ スイッチ部、 １３，３４ フレームメモリ、 １４Ａ，１４Ｂ，１４Ｃ 最大値検出部、 １５，３６ ローパスフィルタ（ＬＰＦ）、 １７ 立体強度調整部、 １８，３８ ストリーム生成部、 １９，３９ 記憶媒体、 ２０，４２ シーンチェンジ検出部、 ２２，４０ 主制御部、 ２３，４１ 操作入力部、 ２５Ａ，２５Ｂ 信号入力部、 ３１ 視差検出部、 ３２ 立体強度調整部、 ３５Ａ，３５Ｂ，３５Ｃ 最大値検出部、 ５０ 画像表示部。

Claims (20)

1. 動画像を構成する一連の２次元画像に対応し立体像の奥行き情報を表す一連の立体強度画像各々の面内立体強度の最大値を検出する最大値検出部と、
   前記最大値の時間変化幅が所定のしきい値を超えたときに、前記一連の立体強度画像のうち、前記しきい値を超えた時間変化幅に対応する立体強度画像群の面内立体強度の時間変化を緩和させる立体強度調整処理を実行する立体強度調整部と、
   前記一連の２次元画像と前記立体強度調整処理により時間変化が緩和された立体強度画像群とに基づいて立体動画像データを生成する立体動画像生成部と
   を備えることを特徴とする３次元映像生成装置。
2. 請求項１に記載の３次元映像生成装置であって、
   前記立体強度画像は、立体像の表示深度分布を示す画像であり、
   前記立体動画像データは、表示視差を形成する右眼用画像と左眼用画像との組み合わせからなることを特徴とする３次元映像生成装置。
3. 請求項１または２に記載の３次元映像生成装置であって、前記立体動画像データと前記一連の２次元画像とのいずれか一方と前記最大値のデータ系列とを所定の記録フォーマットに従って多重化してストリームデータを生成し記憶媒体に格納するストリーム生成部をさらに備えることを特徴とする３次元映像生成装置。
4. 表示視差を形成する右眼用画像と左眼用画像とからなる立体動画像データから一連の表示視差分布を一連の立体強度画像として生成する視差検出部と、
   前記一連の立体強度画像各々の面内立体強度の最大値を検出する最大値検出部と、
   前記最大値の時間変化幅が所定のしきい値を超えたときに、前記一連の立体強度画像のうち、前記しきい値を超えた時間変化幅に対応する立体強度画像群の面内立体強度の時間変化が緩和されるように前記立体動画像データの表示視差を補正する立体強度調整処理を実行する立体強度調整部と
   を備えることを特徴とする３次元映像生成装置。
5. 請求項４に記載の３次元映像生成装置であって、前記立体動画像データと前記最大値のデータ系列とを所定の記録フォーマットに従って多重化してストリームデータを生成し記憶媒体に格納するストリーム生成部をさらに備えることを特徴とする３次元映像生成装置。
6. 動画像を構成する一連の２次元画像に対応し立体像の奥行き情報を表す一連の立体強度画像各々の面内立体強度の最大値を検出する最大値検出部と、
   前記立体動画像データと前記一連の２次元画像とのいずれか一方と前記最大値のデータ系列とを所定の記録フォーマットに従って多重化して前記ストリームデータを生成し記憶媒体に格納するストリーム生成部と
   を備えることを特徴とする３次元映像生成装置。
7. 表示視差を形成する右眼用画像と左眼用画像とからなる立体動画像データから一連の表示視差分布を一連の立体強度画像として生成する視差検出部と、
   前記一連の立体強度画像各々の面内立体強度の最大値を検出する最大値検出部と、
   前記立体動画像データと前記最大値のデータ系列とを所定の記録フォーマットに従って多重化してストリームデータを生成し記憶媒体に格納するストリーム生成部と
   を備えることを特徴とする３次元映像生成装置。
8. 請求項２から７のうちのいずれか１項に記載の３次元映像生成装置であって、
   前記ストリームデータは、ＭＰＥＧ−２で規定されるビデオビットストリームを含み、
   前記最大値は、前記ビデオビットストリームにおけるシーケンスヘッダとＧＯＰ層との間の拡張領域に埋め込まれる
   ことを特徴とする３次元映像生成装置。
9. 請求項２から８のうちのいずれか１項に記載の３次元映像生成装置であって、
   前記ストリームデータは、一連のデータブロックからなり、
   前記各データブロックに前記最大値が埋め込まれている
   ことを特徴とする３次元映像生成装置。
10. 請求項２から９のうちのいずれか１項に記載の３次元映像生成装置であって、前記ストリーム生成部は、前記時間変化幅が前記しきい値を超えたときの時刻情報を管理テーブルデータに記録することを特徴とする３次元映像生成装置。
11. 請求項１０に記載の３次元映像生成装置であって、前記時刻情報はＰＴＳであることを特徴とする３次元映像生成装置。
12. 請求項１から１１のうちのいずれか１項に記載の３次元映像生成装置であって、ユーザにより設定された立体視条件を記憶する設定条件記憶部をさらに備え、
    前記立体強度調整部は、前記立体視条件に基づいて前記立体強度調整処理を実行することを特徴とする３次元映像生成装置。
13. 請求項１２に記載の３次元映像生成装置であって、前記立体視条件は、ユーザの年齢条件を含むことを特徴とする３次元映像生成装置。
14. 請求項１から１３のうちのいずれか１項に記載の３次元映像生成装置であって、前記立体強度調整部は、デジタル放送の番組編成情報に基づいて前記立体強度調整処理を実行することを特徴とする３次元映像生成装置。
15. 請求項１から１４のうちのいずれか１項に記載の３次元映像生成装置であって、シーンチェンジを検出するシーンチェンジ検出部をさらに備え、
    前記立体強度調整部は、前記シーンチェンジ検出部により前記シーンチェンジが検出されたときに前記立体強度調整処理を実行することを特徴とする３次元映像生成装置。
16. 請求項１から１５のうちのいずれか１項に記載の３次元映像生成装置であって、前記立体強度調整部は、有効表示領域のうち中心位置を含む所定範囲に対して前記立体強度調整処理を実行し、前記所定範囲以外の周辺領域に対して前記立体強度調整処理を実行しないことを特徴とする３次元映像生成装置。
17. 動画像を構成する一連の２次元画像に対応し立体像の奥行き情報を表す一連の立体強度画像各々の面内立体強度の最大値を検出するステップと、
    前記最大値の時間変化幅が所定のしきい値を超えたことを検出するステップと、
    前記時間変化幅が前記しきい値を超えたことが検出されたとき、前記一連の立体強度画像のうち、前記しきい値を超えた時間変化幅に対応する立体強度画像群の面内立体強度の時間変化を緩和させる立体強度調整処理を実行するステップと、
    前記一連の２次元画像と前記立体強度調整処理により時間変化が緩和された立体強度画像群とに基づいて立体動画像データを生成するステップと
    を備えることを特徴とする３次元映像生成方法。
18. 表示視差を形成する右眼用画像と左眼用画像とからなる立体動画像データから一連の表示視差分布を一連の立体強度画像として生成するステップと、
    前記立体強度画像の面内立体強度の最大値を検出するステップと、
    前記最大値の時間変化幅が所定のしきい値を超えたことを検出するステップと、
    前記時間変化幅が前記しきい値を超えたことが検出されたとき、前記一連の立体強度画像のうち、前記しきい値を超えた時間変化幅に対応する立体強度画像群の面内立体強度の時間変化が緩和されるように前記立体動画像データの表示視差を補正する立体強度調整処理を実行するステップと
    を備えることを特徴とする３次元映像生成装置。
19. 動画像を構成する一連の２次元画像に対応し立体像の奥行き情報を表す一連の立体強度画像各々の面内立体強度の最大値を検出するステップと、
    前記立体動画像データと前記一連の２次元画像とのいずれか一方と前記最大値のデータ系列とを所定の記録フォーマットに従って多重化して前記ストリームデータを生成し記憶媒体に格納するステップと
    を備えることを特徴とする３次元映像生成方法。
20. 表示視差を形成する右眼用画像と左眼用画像とからなる立体動画像データから一連の表示視差分布を一連の立体強度画像として生成するステップと、
    前記立体強度画像の面内立体強度の最大値を検出するステップと、
    前記立体動画像データと前記最大値のデータ系列とを所定の記録フォーマットに従って多重化してストリームデータを生成し記憶媒体に格納するステップと
    を備えることを特徴とする３次元映像生成方法。

Images