JP2015186100A - 立体画像生成装置、立体画像生成方法、及び立体画像生成プログラム - Google Patents

Abstract

【課題】視差を適切に調整して観察者にとって好適な立体映像を提供する。
【解決手段】飛び出し頻度算出部１４３１は、立体映像をなす一対の画像の視差情報にもとづいて立体映像の飛び出し度合いを取得する。部分視差調整部１４３２は、閾値から外れる視差を有する画素の視差を抑える。合成部１４３４は、画像における少なくとも一部の領域の奥行きを深くするための複数の奥行きモデルの少なくとも１つを選択し、その選択された少なくとも１つの奥行きモデルと、部分視差調整部１４３２による視差調整情報とを飛び出し度合いに応じた合成比率で合成する。一対の画像の視差は合成後の視差調整情報に基づいて変更される。
【選択図】図１０

Description

本発明は、立体画像生成技術に関し、特に立体映像をなす一対の画像を補正する立体画像生成技術に関する。

近年、立体画像（３Ｄ画像）を表示することができる３Ｄ画像表示装置が普及し始めている。テレビジョン放送でも３Ｄ映像信号による放送がなされ、３Ｄ映像信号を記録再生することができる３Ｄ信号記録装置も普及し始めている。放送用やパッケージメディア用の３Ｄ映像信号のコンテンツ（以下、「３Ｄコンテンツ」という）は、通常、２眼カメラで撮影した２視点映像信号である。２視点映像信号によれば、リアルな３Ｄ画像を表現することができる。

このような立体画像表示装置においては、観察者が注視している物体が飛び出した点に目の輻輳角を合わせながら、ディスプレイ表面にピントを合わせるという不整合があるため、飛び出し量が大きすぎると目の疲れを誘発する。また、観察者とディスプレイの表示面との距離や観察者の個人差によって、観察者にとって好適な奥行き感が異なる。

これらの問題に対して、特許文献１には、入力された画像の一対の画像の視差を、観察者とディスプレイ表面との距離や観察者の個人差によらず、好適な奥行き感の視差に変更して立体画像を表示する技術が開示されている。

特開２０１１−３５７１２号公報

しかしながら、特許文献１に開示された技術では、視差を調整する方法として各種方法が提案されているが、これらの方法の選択基準が画像の視差自体によらず固定的に決定されるため、映像によっては必ずしも最適な調整方法が選択されるとは限らないという問題があった。

本発明はこうした状況に鑑みてなされたものであり、その目的は、視差を適切に調整して観察者にとって好適な立体映像を提供することのできる立体画像生成技術を提供することにある。

上記課題を解決するために、本発明のある態様の立体画像生成装置は、立体映像をなす一対の画像の視差情報を取得する視差情報取得部と、前記視差情報にもとづいて立体映像の飛び出しまたは引っ込み度合いを取得する飛び出し／引っ込み度合い取得部と、前記視差情報を調整して視差調整情報を生成する視差調整部と、画像における少なくとも一部の領域の奥行きを深くするための複数の奥行きモデルの少なくとも１つを選択し、その選択された少なくとも１つの奥行きモデルと、前記視差調整部による視差調整情報とを前記飛び出しまたは引っ込み度合いに応じた合成比率で合成する合成部と、合成後の視差調整情報に基づいて前記一対の画像の視差を変更した新たな一対の画像を生成する画像生成部とを備える。

本発明の別の態様は、立体画像生成方法である。この方法は、立体映像をなす一対の画像の視差情報を取得するステップと、前記視差情報にもとづいて立体映像の飛び出しまたは引っ込み度合いを取得するステップと、前記視差情報を調整して視差調整情報を生成するステップと、画像における少なくとも一部の領域の奥行きを深くするための複数の奥行きモデルの少なくとも１つを選択し、その選択された少なくとも１つの奥行きモデルと、前記視差調整情報とを前記飛び出しまたは引っ込み度合いに応じた合成比率で合成するステップと、合成後の視差調整情報に基づいて前記一対の画像の視差を変更した新たな一対の画像を生成するステップとを備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、観察者にとって好適な立体映像を提供することができる。

本発明の実施の形態１に係る立体画像生成装置のブロック図である。 図１の画像信号変換部の構成図である。 図２のヒストグラム生成部の構成図である。 図２の視差調整部の構成図である。 図４の飛び出し頻度算出部が算出する飛び出し頻度Ｆ＿ｓｕｍの一例を説明する図である。 図６（ａ）は、図４の部分視差調整部による部分視差調整の一例を説明する図であり、図６（ｂ）は、図４の全体視差調整部による全体視差調整の一例を説明する図である。 図７（ａ）および図７（ｂ）は、図４の合成部による部分調整視差値と全体視差調整値の合成を説明する図である。 図１の立体画像生成装置に入力されるステレオ画像ペアの一例を示す図である。 図９（ａ）〜図９（ｄ）は、実施の形態１の立体画像生成装置によるシフト画像生成処理を説明する図である。 実施の形態２の視差調整部の構成図である。 図１１（ａ）〜図１１（ｃ）は、３つのタイプの基本奥行きモデルの一例を説明する図である。 図１２（ａ）および図１２（ｂ）は、実施の形態２の合成部による部分調整視差値と少なくとも１つのタイプの基本奥行きモデルの奥行き値の合成を説明する図である。 図１３（ａ）〜図１３（ｄ）は、実施の形態２の立体画像生成装置によるシフト画像生成処理を説明する図である。

［実施の形態１］
図１は、本発明の実施の形態１に係る立体画像生成装置１のブロック図である。立体画像生成装置１には、３Ｄ信号記録装置２とステレオ表示装置３とが接続されている。３Ｄ信号記録装置２は、３Ｄ映像を記録し、保持する。立体画像生成装置１は、３Ｄ信号記録装置２から３Ｄ映像を読み取る。ステレオ表示装置３は、立体画像生成装置１から左目画像および右目画像を受け取り、立体画像として表示する。

立体画像生成装置１は、入力信号取得部１１、３Ｄ信号デコード部１２、３Ｄ信号視差検出部１３、および画像信号変換部１４を備える。

入力信号取得部１１は、３Ｄ映像信号送信源である３Ｄ信号記録装置２から出力された３Ｄ映像信号及び３Ｄフォーマット識別信号を取得する。入力信号取得部１１は、例えば入力端子及び入力インタフェースを含む。３Ｄフォーマット識別信号とは、３Ｄコンテンツのフォーマットが、サイド・バイ・サイド方式，トップ・アンド・ボトム方式，ライン・バイ・ライン方式，フィールドシーケンシャル方式等のいずれであるかを示す信号である。

３Ｄ信号の送受信については一例としてＨＤＭＩ（登録商標）１．４ａで規格化されており、本実施の形態では、入力信号取得部１１は、ＨＤＭＩ（登録商標）１．４ａの規格に基づき３Ｄ映像信号及び３Ｄフォーマット識別信号を３Ｄ信号記録装置２から取得する。入力信号取得部１１が取得した３Ｄ映像信号及び３Ｄフォーマット識別信号は、３Ｄ信号デコード部１２に供給される。

３Ｄ信号デコード部１２は、３Ｄ映像信号を、３Ｄフォーマット識別信号に基づいて左目画像信号と右目画像信号とに分離する。左目画像信号と右目画像信号は、３Ｄ信号視差検出部１３及び画像信号変換部１４に供給される。左目画像信号と右目画像信号とはステレオ画像ペアを構成する。

３Ｄ信号視差検出部１３は、例えば視差算出手法の代表例であるステレオマッチング手法を用いて、ステレオ画像ペアの左目画像信号（または右目画像信号）を基準として左目画像信号と右目画像信号との間の３Ｄ信号視差値ＤＰＴを画素単位で検出して、ステレオ画像ペアの視差情報を取得する。ステレオマッチング手法とは、一方の撮像画像（基準画像）中にある画素ブロック、即ち、基準画像の一部を構成する小領域毎の画素群に関して、その相関先を他方の撮像画像（比較画像）において特定することで、撮像画像（基準画像）中の画素ブロック毎に視差値を求める手法である（たとえば、特開２００３−１６４２７号公報参照）。３Ｄ信号視差値ＤＰＴの値が正の場合は「飛び出し方向」、負の場合は「引っ込み方向」とする。

ここでは、左目画像信号と右目画像信号から視差を検出したが、立体映像信号に視差情報が含まれている場合は、信号から視差情報を取得してもよい。視差情報を取得する方法は様々な手法を用いることができ、３Ｄ信号視差検出部１３は視差情報取得部の一例である。

ここで３Ｄ信号視差値ＤＰＴは、左目画像の画素を基準として、対応する右目画像の画素がずれている量を示す左視差値ＤＰＴ＿Ｌと、右目画像の画素を基準にして、対応する左目画像の画素がずれている量を示す右視差値ＤＰＴ＿Ｒを含む。

３Ｄ信号視差値ＤＰＴ（ＤＰＴ＿ＬとＤＰＴ＿Ｒの少なくともどちらか一方）は、画像信号変換部１４へと供給される。

画像信号変換部１４は、３Ｄ信号デコード部１２より出力されたステレオ画像ペアである左目画像信号と右目画像信号との内の少なくとも一方の信号の画素をシフトさせて視差を調整して出力する。画像信号変換部１４は、例えば特開２００５−１５１５３４号公報に記載の疑似立体画像生成装置を用いて、画素をシフトさせる。同公報に記載の疑似立体画像生成装置は、いわゆる「２Ｄ３Ｄ変換」を行うものであり、２Ｄ画像から疑似立体画像を生成する。

図２は、画像信号変換部１４の構成図である。画像信号変換部１４は、ヒストグラム生成部１４１Ｌ、ヒストグラム生成部１４１Ｒ、左目視差調整部１４３Ｌ、右目視差調整部１４３Ｒ、左目シフト画像生成部１４５Ｌ、および右目シフト画像生成部１４５Ｒを備える。

ヒストグラム生成部１４１Ｌ、左目視差調整部１４３Ｌ、および左目シフト画像生成部１４５Ｌは、左目画像信号と左視差値ＤＰＴ＿Ｌにもとづいて左目画像信号の画素をシフトさせることで左目画像信号を変換する。ヒストグラム生成部１４１Ｌは、左視差値ＤＰＴ＿Ｌを受け取り、視差値の分布を示すヒストグラムを生成し、飛び出し頻度に関する情報を左目視差調整部１４３Ｌに供給する。左目視差調整部１４３Ｌは、画素毎の左視差値ＤＰＴ＿Ｌを受け取り、ヒストグラム生成部１４１Ｌから与えられた飛び出し頻度に関する情報にもとづいて、画素毎に左視差値ＤＰＴ＿Ｌを調整し、左視差調整値ＤＰＴ＿Ｌ＿ａｄｊを左目シフト画像生成部１４５Ｌに供給する。左目シフト画像生成部１４５Ｌは、左目画像信号を受け取り、左目視差調整部１４３Ｌから与えられた左視差調整値ＤＰＴ＿Ｌ＿ａｄｊにもとづいて左目画像をシフトし、シフト後の左目画像信号を出力する。

ヒストグラム生成部１４１Ｒ、右目視差調整部１４３Ｒ、および右目シフト画像生成部１４５Ｒは、右目画像信号と右視差値ＤＰＴ＿Ｒにもとづいて右目画像信号の画素をシフトさせることで右目画像信号を変換する。ヒストグラム生成部１４１Ｒは、右視差値ＤＰＴ＿Ｒを受け取り、視差値の分布を示すヒストグラムを生成し、飛び出し頻度に関する情報を右目視差調整部１４３Ｒに供給する。右目視差調整部１４３Ｒは、画素毎の右視差値ＤＰＴ＿Ｒを受け取り、ヒストグラム生成部１４１Ｒから与えられた飛び出し頻度に関する情報にもとづいて、画素毎に右視差値ＤＰＴ＿Ｒを調整し、右視差調整値ＤＰＴ＿Ｒ＿ａｄｊを右目シフト画像生成部１４５Ｒに供給する。右目シフト画像生成部１４５Ｒは、右目画像信号を受け取り、右目視差調整部１４３Ｒから与えられた右視差調整値ＤＰＴ＿Ｒ＿ａｄｊにもとづいて右目画像をシフトし、シフト後の右目画像信号を出力する。

左目画像信号の変換処理と右目画像信号の変換処理は、画像信号と視差値が、左目用であるか右目用であるかの違いを除けば、処理としては同じであるから、以下では、左目、右目を区別せずに処理を説明し、符号についてもＬ、Ｒの区別を外して参照する。

図３は、ヒストグラム生成部１４１の構成図である。ヒストグラム生成部１４１は、選択器群１４１１、累積カウンタ群１４１２、および保持レジスタ群１４１３を含む。

入力される各画素の３Ｄ信号視差値ＤＰＴは選択器群１４１１に供給される。この選択器群１４１１は複数の選択器により構成され、３Ｄ信号視差値ＤＰＴの取り得る範囲を複数のレベル領域に分割し、画素毎に３Ｄ信号視差値ＤＰＴがいずれのレベル領域に入るものであるかを判定する。

本実施の形態では、一例として、３Ｄ信号視差値ＤＰＴの範囲が−１２８〜１２７であるとして、これに１２８を加算し０〜２５５の２５６段階のレベルとし、３Ｄ信号視差値ＤＰＴのレベルの取り得る範囲を１６個のレベル領域に分割する。この１６個のレベル領域に対応して、選択器群１４１１には１６個の選択器が設けられる。第１の選択器は、０≦ＤＰＴ＜１６の範囲のレベル領域に対応し、第２の選択器は、１６≦ＤＰＴ＜３２の範囲のレベル領域に対応し、第３の選択器は、３２≦ＤＰＴ＜４８の範囲のレベル領域に対応し、…、第１６の選択器は、２４０≦ＤＰＴ＜２５６の範囲のレベル領域に対応する。選択器群１４１１において、入力された３Ｄ信号視差値ＤＰＴが属するレベル領域に対応する選択器が「１」を出力し、それ以外の選択器は「０」を出力する。

累積カウンタ群１４１２は、１６個の選択器のそれぞれに対応する１６個のカウンタを備える。各カウンタは対応する選択器の出力をカウントする。第ｉのカウンタは第ｉの選択器が出力した「１」の回数をカウントする。保持レジスタ群１４１３は、１６個のカウンタのそれぞれに対応する１６個のレジスタを備える。各レジスタは対応するカウンタの出力を保持する。各レジスタの値は視差調整部１４３に出力される。

例えば、３Ｄ信号視差値ＤＰＴのレベルが４０の画素であれば、第３の選択器から「１」が出力され、その他の選択器からは「０」が出力される。累積カウンタ群１４１２は１６個のカウンタにより構成され、１６個の選択器のそれぞれから出力された信号をカウントアップし、カウント値を１だけインクリメントする。このカウント値は、選択器群１４１１により分割されたレベル領域に含まれる画素の総数を示している。保持レジスタ群１４１３は、１６個のレジスタにより構成され、１６個のカウンタのそれぞれから出力されるカウント値を保持する。このように、ヒストグラム生成部１４１は、分割したレベル領域に含まれる画素数をカウントして、ヒストグラムデータを生成し、視差調整部１４３に供給する。

図４は、視差調整部１４３の構成図である。視差調整部１４３は、飛び出し頻度算出部１４３１、部分視差調整部１４３２、全体視差調整部１４３３、および合成部１４３４を備える。

飛び出し頻度算出部１４３１は、ヒストグラム生成部１４１からヒストグラムデータを受け取り、飛び出し頻度Ｆ＿ｓｕｍを算出し、合成部１４３４に供給する。

図５は、飛び出し頻度算出部１４３１が算出する飛び出し頻度Ｆ＿ｓｕｍの一例を説明する図である。

図５のグラフは、飛び出し頻度算出部１４３１に入力される視差値ＤＰＴのヒストグラムを示す。横軸は、視差値ＤＰＴを引っ込み側から飛び出し側まで１６段階に分割したレベル領域Ｌを示す。縦軸は、各レベル領域にある画素の数（頻度）Ｈｉｓｔ［Ｌ］を示す。Ｈｉｓｔ［０］〜Ｈｉｓｔ［７］は、ディスプレイ面より引っ込み方向にある画素の数を示し、Ｈｉｓｔ［８］〜Ｈｉｓｔ［１５］は、ディスプレイ面より飛び出し方向にある画素の数を示す。Ｈｉｓｔ［０］は最も奥にある画素の数、Ｈｉｓｔ［１５］は最も手前にある画素の数を表す。

飛び出し頻度算出部１４３１は、一例として、飛び出し頻度Ｆ＿ｓｕｍを式（１）により算出する。
Ｆ＿ｓｕｍ＝Ｈｉｓｔ［１２］＋Ｈｉｓｔ［１３］＋Ｈｉｓｔ［１４］＋Ｈｉｓｔ［１５］
・・・式（１）

なお、飛び出し頻度Ｆ＿ｓｕｍの算出方法は式（１）に限定するものではなく、画像中の画素の飛び出しの度合いを表すものであれば任意の指標を用いることができる。式（１）のように、画像中の飛び出し度合いが閾値以上の画素の総数を指標としてもよいし、ヒストグラムでピークを示すレベル領域に属する画素の数を指標としてもよい。また、本実施の形態では、画像の視差値のヒストグラムを求めて、ヒストグラムから飛び出し頻度を計算したがヒストグラムを用いないで飛び出し度合を求めてもよい。たとえば、ある閾値以上の視差値ＤＰＴをもつ画素の数をカウントして、その値を飛び出し度合いを表す指標としてもよい。

このようにして算出された飛び出し頻度Ｆ＿ｓｕｍは合成部１４３４に供給される。

再び図４を参照する。部分視差調整部１４３２は、３Ｄ信号視差値ＤＰＴを受け取り、部分視差調整値ＤＰＴ＿ｌｉｍを求め、合成部１４３４に供給する。

図６（ａ）は、部分視差調整部１４３２による部分視差調整の一例を説明する図である。

図６（ａ）のグラフは、視差値ＤＰＴと、調整後の視差値ＤＰＴ＿ｌｉｍとの関係を示す。図６（ａ）に示した破線は視差調整を行わない場合の視差値であり、実線が視差調整を行った場合の調整後の視差値である。

部分視差調整部１４３２は、図６（ａ）に示す部分視差調整特性にもとづいて部分視差調整値を算出する。この計算は式（２）により表される。
ＤＰＴ＿ｌｉｍ（ｘ，ｙ）＝ＬＩＭ （ＤＰＴ（ｘ，ｙ）≧ＬＩＭ）
ＤＰＴ＿ｌｉｍ（ｘ，ｙ）＝ＤＰＴ（ｘ，ｙ） （ＤＰＴ（ｘ，ｙ）＜ＬＩＭ）
・・・式（２）
ここでＤＰＴ（ｘ，ｙ）は、水平座標ｘ、垂直座標ｙの画素の視差値を表し、ＤＰＴ＿ｌｉｍ（ｘ，ｙ）は、水平座標ｘ、垂直座標ｙの画素の部分視差調整値を表す。

図６（ａ）の部分視差調整特性の場合、ディスプレイ面より手前に感じられていた画素のうち、視差値が閾値ＬＩＭより大きい画素について視差値を閾値ＬＩＭで制限される。

再び図４を参照する。全体視差調整部１４３３は、３Ｄ信号視差値ＤＰＴを受け取り、全体視差調整値ＤＰＴ＿ｏｆｓｔを求め、合成部１４３４に供給する。

図６（ｂ）は、全体視差調整部１４３３による全体視差調整の一例を説明する図である。

図６（ｂ）のグラフは、視差値ＤＰＴと、調整後の視差値ＤＰＴ＿ｏｆｓｔとの関係を示す。図６（ｂ）に示した破線は視差調整を行わない場合の視差値であり、実線が視差調整を行った場合の調整後の視差値である。

全体視差調整部１４３３は、図６（ｂ）に示す全体視差調整特性にもとづいて全体視差調整値を算出する。この計算は式（３）により表される。
ＤＰＴ＿ｏｆｓｔ（ｘ，ｙ）＝ＤＰＴ（ｘ，ｙ）−ＯＦＳＴ
・・・式（３）
ここでＤＰＴ（ｘ，ｙ）は、水平座標ｘ、垂直座標ｙの画素の視差値を表し、ＤＰＴ＿ｏｆｓｔ（ｘ，ｙ）は、水平座標ｘ、垂直座標ｙの画素の全体視差調整値を表す。

図６（ｂ）の全体視差調整特性の場合、視差値は全体的にオフセット量ＯＦＳＴだけ小さくなる。視差が小さくなると、ディスプレイ面より手前に感じられていた画素とディスプレイ面より奥に感じられていた画素の両方がより奥に感じられるようになる。つまり、画面全体が奥に引っ込むように感じられる。

このようにして算出された部分調整視差値ＤＰＴ＿ｌｉｍと全体視差調整値ＤＰＴ＿ｏｆｓｔは合成部１４３４に供給される。

再び図４を参照する。合成部１４３４は、飛び出し頻度Ｆ＿ｓｕｍにもとづいて、部分視差調整値ＤＰＴ＿ｌｉｍと全体視差調整値ＤＰＴ＿ｏｆｓｔを合成する比率を決定し、決定された合成比率で部分視差調整値ＤＰＴ＿ｌｉｍと全体視差調整値ＤＰＴ＿ｏｆｓｔを合成して視差調整値ＤＰＴ＿ａｄｊを計算する。合成後の視差調整値ＤＰＴ＿ａｄｊは、シフト画像生成部１４５に供給される。

図７（ａ）および図７（ｂ）は、合成部１４３４による部分調整視差値ＤＰＴ＿ｌｉｍと全体視差調整値ＤＰＴ＿ｏｆｓｔの合成を説明する図である。

図７（ａ）の横軸は飛び出し頻度Ｆ＿ｓｕｍを表しており、縦軸は部分視差調整値ＤＰＴ＿ｌｉｍに乗算する部分視差調整ゲインＧｌｉｍを表している。飛び出し頻度が大きくなるにつれて部分視差調整ゲインが小さくなるような特性を持たせている。

図７（ｂ）の横軸は飛び出し頻度Ｆ＿ｓｕｍを表しており、縦軸は全体視差調整値ＤＰＴ＿ｏｆｓｔに乗算する全体視差調整ゲインＧｏｆｓｔを表している。飛び出し頻度が大きくなるにつれて全体視差調整ゲインが大きくなるような特性を持たせている。

ここでは、部分視差調整ゲインＧｌｉｍと全体視差調整ゲインＧｏｆｓｔの間には、式（４）の関係が成り立つ。
Ｇｌｉｍ＋Ｇｏｆｓｔ＝１．０ ・・・式（４）

図７（ａ）および図７（ｂ）に示したゲイン特性はあくまでも一実施例であり、ゲイン特性はこれに限定されるものではない。一般には、飛び出し度合いが大きいほど、全体視差調整により視差を抑える度合いが増える一方、部分視差調整により視差を抑える度合いが減るように、全体視差調整と部分視差調整とを合成する比率を決めるのが好適である。

合成部１４３４は、飛び出し頻度Ｆ＿ｓｕｍが与えられたとき、図７（ａ）、図７（ｂ）に示したゲイン特性にもとづいて部分視差調整ゲインＧｌｉｍ、全体視差調整ゲインＧｏｆｓｔを求め、式（５）、式（６）のように、部分視差調整ゲインＧｌｉｍ、全体視差調整ゲインＧｏｆｓｔをそれぞれ部分視差調整の閾値ＬＩＭ、全体視差調整のオフセット値ＯＦＳＴに乗算して補正する。
ＬＩＭ’＝２５５−（２５５−ＬＩＭ）×Ｇｌｉｍ ・・・式（５）
ＯＦＳＴ’＝ＯＦＳＴ×Ｇｏｆｓｔ ・・・式（６）

さらに、合成部１４３４は、式（７）のように補正後の部分視差調整の閾値ＬＩＭ’を用いて部分視差調整値ＤＰＴ＿ｌｉｍ’（ｘ，ｙ）を求め、式（８）のように補正後の全体視差調整のオフセット値ＯＦＳＴ’を用いて全体視差調整値ＤＰＴ＿ｏｆｓｔ’（ｘ，ｙ）を求める。
ＤＰＴ＿ｌｉｍ’（ｘ，ｙ）＝ＬＩＭ’ （ＤＰＴ（ｘ，ｙ）≧ＬＩＭ’）
ＤＰＴ＿ｌｉｍ’（ｘ，ｙ）＝ＤＰＴ（ｘ，ｙ） （ＤＰＴ（ｘ，ｙ）＜ＬＩＭ’）
・・・式（７）
ＤＰＴ＿ｏｆｓｔ’（ｘ，ｙ）＝ＤＰＴ（ｘ，ｙ）−ＯＦＳＴ’
・・・式（８）

最後に、合成部１４３４は、式（９）に示すように、式（７）により得られた部分視差調整値ＤＰＴ＿ｌｉｍ’（ｘ，ｙ）と、式（８）により得られた全体視差調整値ＤＰＴ＿ｏｆｓｔ’（ｘ，ｙ）とを合成し、最終的な合成後の視差調整値ＤＰＴ＿ａｄｊを求める。
ＤＰＴ＿ａｄｊ（ｘ、ｙ）
＝ＤＰＴ＿Ｌｉｍ’（ｘ、ｙ）＋ＤＰＴ＿ｏｆｓｔ’−ＤＰＴ（ｘ、ｙ）
＝ＤＰＴ＿Ｌｉｍ’（ｘ、ｙ）−ＯＦＳＴ’
・・・式（９）

このように飛び出し頻度Ｆ＿ｓｕｍに基づき、部分視差調整と全体視差調整の合成比率が決定される。

最終的な視差調整データＤＰＴ＿ａｄｊはシフト画像生成部１４５に供給される。

シフト画像生成部１４５は、入力されたステレオ画像ペアのいずれか一方の画像信号（たとえば左目画像信号）の画素を、視差調整部１４３より出力された視差調整値ＤＰＴ＿ａｄｊに基づいてシフトさせることによって、シフトされた画像信号を生成する。視差調整値ＤＰＴ＿ａｄｊが、元の視差値ＤＰＴと同じであれば、画素はシフトされないが、視差調整値ＤＰＴ＿ａｄｊが元の視差値ＤＰＴと異なる画素についてはその差分だけ画素がシフトされる。シフト画像の生成方法は、たとえば特開２００５−１５１５３４号公報に記載されている。

図８および図９（ａ）〜図９（ｄ）を参照して本実施の形態のシフト画像生成処理の効果を説明する。

図８は、立体画像生成装置１に入力されるステレオ画像ペアの一例を示す図である。図８には、左目画像ＩＬと右目画像ＩＲが示されている。被写体ＯＢ１は飛び出し方向の視差値（ＤＰＴ値３０）を有し、被写体ＯＢ２はディスプレイ面にあって視差はなく（ＤＰＴ値０）、被写体ＯＢ３は引っ込み方向の視差値（ＤＰＴ値−５）を有している。この画像は、被写体ＯＢ１が過度の飛び出し方向の視差を有し、観察者の目の負担となっている例である。

図９（ａ）〜図９（ｄ）は、立体画像生成装置１によるシフト画像生成処理を説明する図である。

図９（ａ）は、図８に示した入力右目画像ＩＲである。図９（ｂ）は、図６（ａ）に示した部分視差調整特性を用いて入力右目画像ＩＲに部分視差調整を施した画像である。図９（ｂ）のグレー部分は、飛び出している被写体ＯＢ１の画素をシフトさせたことで生じたオクルージョン領域であり、入力された右目画像信号ＩＲには対応する画素が存在しない。オクルージョン領域では、正常に生成することができた周辺部のシフト画素データに基づき画素補間を行うことで画素データを生成するので、入力画像信号の再現が困難となることがある。この例では、オクルージョン領域が大きいため、画質劣化を招く恐れが大きい。

図９（ｃ）は、図６（ｂ）に示した全体視差調整特性を用いて入力右目画像ＩＲに全体視差調整を施した画像である。全体視差調整では、オクルージョン領域は発生しないが、全体的に画像をシフトするため、すべての被写体の奥行きが引っ込み方向に変化し、ディスプレイ面より手前にあった被写体ＯＢ１だけでなく、ディスプレイ面またはディスプレイ面より奥にあった被写体ＯＢ２、ＯＢ３までも奥に引っ込むことになる。また、全体を右にシフトすることにより、左端に黒領域が生まれる。

図９（ｄ）は、本実施の形態のシフト画像生成処理によって飛び出し頻度に応じて部分視差調整特性と全体視差調整特性を合成して生成されるシフト右目画像である。過度の飛び出し方向の視差を有する被写体ＯＢ１に関して部分視差調整によるシフトを抑えることでオクルージョン領域が小さくなるとともに、すべての被写体ＯＢ１〜ＯＢ３に関して全体視差調整によるシフトを抑えることで全体が引っ込み過ぎないようになる。

本実施の形態のシフト画像生成処理では、入力画像の特徴、特にヒストグラム解析に基づき、部分視差調整特性と全体視差調整特性を合成するため、部分視差調整により発生するオクルージョン領域を小さく抑えるとともに、全体視差調整による引っ込み方向にある被写体の移動を小さく抑えることができる。これにより、大きな画質劣化を伴わずに過度な飛び出しを抑制した視差調整を行うことができる。

図９（ａ）〜図９（ｄ）の例では、右目画像を右視差調整値にもとづいて画素シフトする場合を説明したが、左目画像の場合は、左視差調整値にもとづいて同様に画素シフトすることができる。本実施の形態では、画像の中心をずらさないように、左目画像と右目画像のそれぞれについて画素シフトする場合を説明したが、左目画像のみ、あるいは右目画像のみについて画素シフトしてもよい。

ステレオ表示装置３は、このようにして視差調整されたステレオ画像ペアを用いて立体画像を生成して表示する。ステレオ画像ペアを用いた立体画像の生成方法は、たとえばたとえば特開２００５−１５１５３４号公報に記載されている。

［実施の形態１の変形例］
実施の形態１の変形例として、飛び出し頻度の代わりに引っ込み頻度にもとづいてシフト画像を生成してもよい。この場合は、図５のヒストグラムにおいて、引っ込み頻度Ｆ＿ｓｕｍを一例として、
Ｆ＿ｓｕｍ＝Ｈｉｓｔ［０］＋Ｈｉｓｔ［１］＋Ｈｉｓｔ［２］＋Ｈｉｓｔ［３］
のように算出し、引っ込み頻度Ｆ＿ｓｕｍにもとづいて部分視差調整と全体視差調整を合成すればよい。

ただし、この場合、部分視差調整特性は、以下のように、ディスプレイ面より奥に感じられていた画素のうち、視差値が負の閾値−ＬＩＭより小さい画素について視差値を閾値−ＬＩＭで制限するものになる。
ＤＰＴ＿ｌｉｍ（ｘ，ｙ）＝−ＬＩＭ （ＤＰＴ（ｘ，ｙ）≦−ＬＩＭ）
ＤＰＴ＿ｌｉｍ（ｘ，ｙ）＝ＤＰＴ（ｘ，ｙ） （ＤＰＴ（ｘ，ｙ）＞−ＬＩＭ）

また、全体視差調整特性は、以下のように、視差値を全体的にオフセット量ＯＦＳＴだけ大きくすることで、画面全体が手前に飛び出すように視差値を調整する。
ＤＰＴ＿ｏｆｓｔ（ｘ，ｙ）＝ＤＰＴ（ｘ，ｙ）＋ＯＦＳＴ

以上述べたように、本実施の形態によれば、ステレオ画像ペアから取得された視差情報から飛び出しまたは引っ込みの度合いを検出し、飛び出しまたは引っ込みの度合いに応じて部分視差調整と全体視差調整の合成比率を決定する。これにより画素シフトに起因する画像の歪みを抑えながら、一定値より大きい飛び出し量あるいは引っ込み量を制限することができ、過度の飛び出しまたは引っ込みがある立体映像の視差を調整して、高品位で安全な立体映像を提供できる。

本実施の形態では、複数の視差調整手法の例として、部分視差調整と全体視差調整を挙げて説明したが、視差調整手法としてこれ以外の方法を用いて、２以上の視差調整手法を合成してもよい。たとえば、後述の実施の形態２で説明する基本奥行きモデルの選択にもとづく視差調整手法を組み合わせてもよい。

［実施の形態２］
本発明の実施の形態２に係る立体画像生成装置１は、画像信号変換部１４の視差調整部１４３の構成と動作が実施の形態１とは異なり、それ以外の構成と動作は同じである。ここでは、実施の形態１と共通する構成と動作については説明を適宜省略し、実施の形態１と異なる構成と動作について説明する。

図１０は、実施の形態２の視差調整部１４３の構成図である。視差調整部１４３は、飛び出し頻度算出部１４３１、部分視差調整部１４３２、複数の基本奥行きモデル１４３５ａ、１４３５ｂ、１４３５ｃ、および合成部１４３４を備える。

飛び出し頻度算出部１４３１および部分視差調整部１４３２の構成と動作は実施の形態１と同じであるから説明を省略する。

基本奥行きモデルは、基本となるシーン構造について奥行き値を示す。基本奥行きモデルは、本来複雑な構造である現実の３次元のシーンについて曲面や平面を用いて近似する。ここでは、３つのタイプの基本奥行きモデル１４３５ａ、１４３５ｂ、１４３５ｃがあるとして説明するが、基本奥行きモデルの数は任意である。

図１１（ａ）〜図１１（ｃ）は、３つのタイプの基本奥行きモデル１４３５ａ、１４３５ｂ、１４３５ｃの一例を説明する図である。

図１１（ａ）に示すタイプ１の基本奥行きモデル１４３５ａは、球状の凹面を有する立体構造によって、画面全体の奥行き値を定義する。画面の周辺部はディスプレイ面に対する奥行きはなく、画面周辺から画面中央に向かって徐々に奥に引っ込み、画面中央では最も遠距離になる。

図１１（ｂ）に示すタイプ２の基本奥行きモデル１４３５ｂは、画面上部の奥行き値を深くするものである。

図１１（ｃ）に示すタイプ３の基本奥行きモデル１４３５ｃでは、画面上部を遠景として平面近似し、画面下部については下に行くほど奥行き値を小さくするものである。

これらの３つのタイプの基本奥行きモデル１４３５ａ、１４３５ｂ、１４３５ｃについては、特開２００５−１５１５３４号公報に詳しく記載されている。

部分視差調整部１４３２により算出された部分調整視差値ＤＰＴ＿ｌｉｍと、３つのタイプの基本奥行きモデル１４３５ａ、１４３５ｂ、１４３５ｃとは合成部１４３４に供給される。

再び図１０を参照する。合成部１４３４は、飛び出し頻度Ｆ＿ｓｕｍにもとづいて、部分視差調整値ＤＰＴ＿ｌｉｍと少なくとも１つのタイプの基本奥行きモデルの奥行き値とを合成する比率を決定し、決定された合成比率で部分視差調整値ＤＰＴ＿ｌｉｍと少なくとも１つのタイプの基本奥行きモデルの奥行き値とを合成して視差調整値ＤＰＴ＿ａｄｊを計算する。合成後の視差調整値ＤＰＴ＿ａｄｊは、シフト画像生成部１４５に供給される。

図１２（ａ）および図１２（ｂ）は、合成部１４３４による部分調整視差値ＤＰＴ＿ｌｉｍと少なくとも１つのタイプの基本奥行きモデルの奥行き値の合成を説明する図である。

図１２（ａ）の横軸は飛び出し頻度Ｆ＿ｓｕｍを表しており、縦軸は部分視差調整値ＤＰＴ＿ｌｉｍに乗算する部分視差調整ゲインＧｌｉｍを表している。飛び出し頻度が大きくなるにつれて部分視差調整ゲインが小さくなるような特性を持たせている。

図１２（ｂ）は、飛び出し頻度Ｆ＿ｓｕｍに応じて、３つのタイプの基本奥行きモデルを選択し、混合する方法を示している。飛び出し頻度が大きくなるほど、画面中央の奥行きを深くするタイプ１の基本奥行きモデルを選択し、飛び出し頻度が小さくなるほど、画面下部の奥行きは調整しないタイプ３の基本奥行きモデルを選択する。飛び出し頻度が中間の値ではタイプ２の基本奥行きモデルを選択するが、飛び出し頻度が大きくなるとタイプ２にタイプ３を混合し、飛び出し頻度が小さくなるとタイプ２にタイプ１を混合する。異なるタイプの基本奥行きモデルの合成方法は、特開２００５−１５１５３４号公報に記載されている。

合成部１４３４は、飛び出し頻度Ｆ＿ｓｕｍが与えられたとき、図１２（ａ）に示したゲイン特性にもとづいて部分視差調整ゲインＧｌｉｍを求め、式（１０）のように、部分視差調整ゲインＧｌｉｍを部分視差調整の閾値ＬＩＭに乗算して補正する。
ＬＩＭ’＝２５５−（２５５−ＬＩＭ）×Ｇｌｉｍ ・・・式（１０）

さらに、合成部１４３４は、式（１１）のように補正後の部分視差調整の閾値ＬＩＭ’を用いて部分視差調整値ＤＰＴ＿ｌｉｍ’（ｘ，ｙ）を求める。
ＤＰＴ＿ｌｉｍ’（ｘ，ｙ）＝ＬＩＭ’ （ＤＰＴ（ｘ，ｙ）≧ＬＩＭ’）
ＤＰＴ＿ｌｉｍ’（ｘ，ｙ）＝ＤＰＴ（ｘ，ｙ） （ＤＰＴ（ｘ，ｙ）＜ＬＩＭ’）
・・・式（１１）

最後に、合成部１４３４は、式（１２）に示すように、式（１１）により得られた部分視差調整値ＤＰＴ＿ｌｉｍ’（ｘ，ｙ）と、飛び出し頻度Ｆ＿ｓｕｍに応じて選択された少なくとも１つの基本奥行きモデルの奥行き値Ｂａｓｉｃとを合成し、最終的な合成後の視差調整値ＤＰＴ＿ａｄｊを求める。
ＤＰＴ＿ａｄｊ（ｘ、ｙ）
＝ＤＰＴ＿Ｌｉｍ’（ｘ、ｙ）＋Ｂａｓｉｃ ・・・式（１２）

このように飛び出し頻度Ｆ＿ｓｕｍに基づき、部分視差調整と基本奥行きモデルの合成比率が決定される。

最終的な視差調整データＤＰＴ＿ａｄｊはシフト画像生成部１４５に供給される。シフト画像生成部１４５の構成と動作は実施の形態１と同じである。

図１３（ａ）〜図１３（ｄ）は、実施の形態２の立体画像生成装置によるシフト画像生成処理を説明する図である。

図１３（ａ）は、図８を参照して実施の形態１で説明した入力右目画像ＩＲである。図１３（ｂ）は、実施の形態１と同様の部分視差調整特性を用いて入力右目画像ＩＲに部分視差調整を施した画像である。図１３（ｂ）のグレー部分は、飛び出している被写体ＯＢ１の画素をシフトさせたことで生じたオクルージョン領域であり、入力された右目画像信号ＩＲには対応する画素が存在しない。オクルージョン領域では、正常に生成することができた周辺部のシフト画素データに基づき画素補間を行うことで画素データを生成するので、入力画像信号の再現が困難となることがある。この例では、オクルージョン領域が大きいため、画質劣化を招く恐れが大きい。

図１３（ｃ）は、飛び出し頻度に応じて選択、混合された基本奥行きモデルを示す。ここでは、タイプ１とタイプ２の基本奥行きモデルを混合することにより、画面全体で穏やかに画素を奥に移動させる。

図１３（ｄ）は、本実施の形態のシフト画像生成処理によって飛び出し頻度に応じて部分視差調整特性と基本奥行きモデルを合成して生成されるシフト右目画像である。過度の飛び出し方向の視差を有する被写体ＯＢ１の部分視差調整によるシフトを抑えることでオクルージョン領域が小さくなるとともに、混合された基本奥行きモデルを用いてすべての被写体ＯＢ１〜ＯＢ３を穏やかに奥に移動させることで全体が引っ込み過ぎないようになる。

本実施の形態のシフト画像生成処理では、入力画像の特徴、特にヒストグラム解析に基づき、部分視差調整特性と基本奥行きモデルを合成するため、部分視差調整により発生するオクルージョン領域を小さく抑えるとともに、混合された基本奥行きモデルによって被写体の移動を観察者にとって穏やかなものにすることができる。これにより、大きな画質劣化を伴わずに過度な飛び出しを抑制した視差調整を行うことができる。

［実施の形態２の変形例］
実施の形態２においても、実施の形態１の変形例と同様に、飛び出し頻度の代わりに引っ込み頻度にもとづいてシフト画像を生成してもよい。この場合、基本奥行きモデルとして、画像における少なくとも一部の領域が飛び出すように奥行き値を定義する曲面を用いる。たとえば球状の凸面を有する立体構造によって画面中央を飛び出させるモデルや、画面上部または下部を飛び出せるモデルなど複数の基本奥行きモデルを用いる。引っ込み頻度に応じて少なくとも一つの基本奥行きモデルを選択し、引っ込み頻度にもとづいて部分視差調整と少なくとも１つの基本奥行きモデルの奥行き値とを合成して視差調整値を求め、合成後の視差調整値にもとづいてシフト画像を生成する。これにより、過度の引っ込みを抑制した立体映像を生成することができる。

以上の実施の形態で述べた処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１ 立体画像生成装置、 ２ ３Ｄ信号記録装置、 ３ ステレオ表示装置、 １１ 入力信号取得部、 １２ ３Ｄ信号デコード部、 １３ ３Ｄ信号視差検出部、 １４ 画像信号変換部、 １４１ ヒストグラム生成部、 １４３ 視差調整部、 １４５ シフト画像生成部、 １４１１ 選択器群、 １４１２ 累積カウンタ群、 １４１３ 保持レジスタ群、１４３１ 飛び出し頻度算出部、 １４３２ 部分視差調整部、 １４３３ 全体視差調整部、 １４３４ 合成部 、１４３５ 基本奥行きモデル。

Claims (5)

1. 立体映像をなす一対の画像の視差情報を取得する視差情報取得部と、
   前記視差情報にもとづいて立体映像の飛び出しまたは引っ込み度合いを取得する飛び出し／引っ込み度合い取得部と、
   前記視差情報を調整して視差調整情報を生成する視差調整部と、
   画像における少なくとも一部の領域の奥行きを深くするための複数の奥行きモデルの少なくとも１つを選択し、その選択された少なくとも１つの奥行きモデルと、前記視差調整部による視差調整情報とを前記飛び出しまたは引っ込み度合いに応じた合成比率で合成する合成部と、
   合成後の視差調整情報に基づいて前記一対の画像の視差を変更した新たな一対の画像を生成する画像生成部とを備えることを特徴とする立体画像生成装置。
2. 前記視差調整部は、閾値から外れる視差を有する画素の視差を抑える部分視差調整部であることを特徴とする請求項１に記載の立体画像生成装置。
3. 前記合成部は、前記飛び出しまたは引っ込み度合いが大きいほど、前記複数の奥行きモデルの内、奥行きをより深くする奥行きモデルが選択される一方、前記部分視差調整部により視差を抑える度合いが減るように、前記複数の奥行きモデルの少なくとも１つと前記部分視差調整部による視差調整情報とを合成する合成比率を決定することを特徴とする請求項２に記載の立体画像生成装置。
4. 立体映像をなす一対の画像の視差情報を取得するステップと、
   前記視差情報にもとづいて立体映像の飛び出しまたは引っ込み度合いを取得するステップと、
   前記視差情報を調整して視差調整情報を生成するステップと、
   画像における少なくとも一部の領域の奥行きを深くするための複数の奥行きモデルの少なくとも１つを選択し、その選択された少なくとも１つの奥行きモデルと、前記視差調整情報とを前記飛び出しまたは引っ込み度合いに応じた合成比率で合成するステップと、
   合成後の視差調整情報に基づいて前記一対の画像の視差を変更した新たな一対の画像を生成するステップとを備えることを特徴とする立体画像生成方法。
5. 立体映像をなす一対の画像の視差情報を取得するステップと、
   前記視差情報にもとづいて立体映像の飛び出しまたは引っ込み度合いを取得するステップと、
   前記視差情報を調整して視差調整情報を生成するステップと、
   画像における少なくとも一部の領域の奥行きを深くするための複数の奥行きモデルの少なくとも１つを選択し、その選択された少なくとも１つの奥行きモデルと、前記視差調整情報とを前記飛び出しまたは引っ込み度合いに応じた合成比率で合成するステップと、
   合成後の視差調整情報に基づいて前記一対の画像の視差を変更した新たな一対の画像を生成するステップとをコンピュータに実行させることを特徴とする立体画像生成プログラム。