JP2011228950A - データ構造、画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】重畳情報を有する３Ｄ画像に対して、視差検出および視差制御の精度を向上させることができるようにする。
【解決手段】３Ｄ画像処理部５４は、左目用画像と右目用画像からなる３Ｄ画像の画像データと、左目用画像と右目用画像の重畳領域の情報である重畳領域情報を取得する。視差検出部７１は、左目用画像と右目用画像の重畳領域情報で特定される重畳領域を除いた領域の視差量を検出する。制御パラメータ算出部７２は、検出された視差量に基づいて制御パラメータを算出する。視差制御部７３は、制御パラメータに基づいて、左目用画像と右目用画像の視差を制御する。本発明は、例えば、取得された３Ｄ画像の画像データを処理する画像処理装置に適用できる。
【選択図】図８

Description

本発明は、データ構造、画像処理装置、画像処理方法、およびプログラムに関し、特に、重畳情報を有する３Ｄ画像に対して、視差検出および視差制御の精度を向上させることができるようにするデータ構造、画像処理装置、画像処理方法、およびプログラムに関する。

映画等の映像コンテンツとしては２Ｄ画像が主流であるが、最近では、３Ｄ画像が注目を集めており、３Ｄ画像の表示装置や、３Ｄ画像の符号化と復号の方法について様々な技術が提案されている（例えば、特許文献１，２参照）。

３Ｄ画像は、左目で視認する左目用画像と右目で視認する右目用画像により構成され、左目用画像と右目用画像に所定の視差が設定されていることにより、視聴者は画像を立体的に知覚することができる。

特開平１０−３２７４３０号公報 特開２００８−１８２６６９号公報

ところで、３Ｄ画像においても、２Ｄ画像と同様、字幕などの重畳情報が含まれる場合がある。このような重畳情報が含まれる３Ｄ画像に対して、視差検出等の処理を行った場合には、重畳情報があるために正確な視差検出を行うことができないことがある。

本発明は、このような状況に鑑みてなされたものであり、重畳情報を有する３Ｄ画像に対して、視差検出および視差制御の精度を向上させることができるようにするものである。

本発明の第１の側面の画像処理装置は、左目用画像と右目用画像からなる３Ｄ画像の画像データと、前記左目用画像と右目用画像に含まれる重畳領域の情報である重畳領域情報を取得する取得手段と、前記左目用画像と右目用画像の前記重畳領域情報で特定される重畳領域を除いた領域の視差量を検出する視差検出手段とを備える。

本発明の第１の側面の画像処理方法は、左目用画像と右目用画像からなる３Ｄ画像の画像処理を行う画像処理装置が、前記３Ｄ画像の画像データと、前記左目用画像と右目用画像に含まれる重畳領域の情報である重畳領域情報を取得し、前記左目用画像と右目用画像の前記重畳領域情報で特定される重畳領域を除いた領域の視差量を検出するステップを含む。

本発明の第１の側面のプログラムは、コンピュータに、左目用画像と右目用画像からなる３Ｄ画像の画像データと、前記左目用画像と右目用画像に含まれる重畳領域の情報である重畳領域情報を取得し、前記左目用画像と右目用画像の前記重畳領域情報で特定される重畳領域を除いた領域の視差量を検出するステップを含む処理を実行させるためのものである。

本発明の第１の側面においては、左目用画像と右目用画像からなる３Ｄ画像の画像データと、左目用画像と右目用画像に含まれる重畳領域の情報である重畳領域情報が取得され、左目用画像と右目用画像の重畳領域情報で特定される重畳領域を除いた領域の視差量が検出される。

本発明の第２の側面のデータ構造は、３Ｄコンテンツのコンテンツデータとして、左目用画像と右目用画像からなる３Ｄ画像の画像データと、前記左目用画像と右目用画像に含まれる重畳領域の情報である重畳領域情報とを含む。

本発明の第２の側面においては、３Ｄコンテンツのコンテンツデータとして、左目用画像と右目用画像からなる３Ｄ画像の画像データと、左目用画像と右目用画像に含まれる重畳領域の情報である重畳領域情報とが含まれている。

なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本発明の第１および第２の側面によれば、重畳情報を有する３Ｄ画像に対して、視差検出および視差制御の精度を向上させることができるようにする。

本発明のデータ構造を有する３Ｄコンテンツのデータを記録媒体に記録する記録装置の構成例を示すブロック図である。 図１の記録装置による記録処理を説明するフローチャートである 記録媒体に記録されるデータの階層構造を示す図である。 MPEG4のボックスの拡張領域の例を示す図である。 MPEG4のボックスの拡張領域の他の例を示す図である。 MPEG4のボックスの拡張領域のさらに他の例を示す図である。 本発明を適用した再生装置の一実施の形態の構成例を示すブロック図である。 ３Ｄ画像処理部の詳細構成例を示すブロック図である。 ３Ｄ画像処理部の効果を説明する図である。 ３Ｄ画像処理部の効果を説明する図である。 図７の再生装置による再生処理を説明するフローチャートである。 ３Ｄ画像処理部のその他の詳細構成例を示すブロック図である。 図１２の３Ｄ画像処理部による視差制御処理を説明するフローチャートである。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

＜記録装置の構成例＞
［記録装置の構成ブロック図］
図１は、本発明のデータ構造を有する３Ｄコンテンツのデータを記録媒体に記録する記録装置の構成例を示すブロック図である。

図１の記録装置１０は、ビデオエンコーダ１１、オーディオエンコーダ１２、多重化部１３、および記録制御部１４により構成される。

記録装置１０は、３Ｄコンテンツのコンテンツデータを符号化して、BDROM（Blu-Ray（登録商標） Disc Read Only Memory）等の記録媒体２０に記録させる。コンテンツデータは、３Ｄ画像の画像データ（以下、３Ｄビデオデータともいう。）、その画像データに対応する音声データを含み、３Ｄビデオデータは左目用画像の画像データと右目用画像の画像データとからなる。

また、コンテンツデータにはメタデータも含まれ、記録装置１０は、３Ｄ画像に対し、重畳情報が貼り付けられている領域である重畳領域を示す重畳領域情報をメタデータ（付加情報）として記録媒体２０に記録させる。ここで、重畳情報とは、字幕、OSD（On Screen Display）、メニュー画面（メニュー画像）、レターボックスの黒帯画像などの情報である。また、重畳領域情報は、例えば、矩形の重畳領域の左上隅の座標（画素位置）と縦方向および横方向の長さ、などの形式で表される。なお、重畳領域の特定の仕方は、これに限定されず、任意の方法を採用することができる。

記録装置１０のビデオエンコーダ１１は、外部から入力された３Ｄビデオデータを、MPEG2（Moving Picture Experts Group phase 2），MPEG4，AVC（Advanced Video Coding）等の符号化方式で符号化する。ビデオエンコーダ１１は、符号化の結果得られるES（Elementary Stream）であるビデオストリームを多重化部１３に供給する。

オーディオエンコーダ１２は、外部から入力された３Ｄビデオデータに対応するオーディオデータをMPEG等の符号化方式で符号化し、その結果得られるESであるオーディオストリームを多重化部１３に供給する。

多重化部１３は、ビデオエンコーダ１１から供給されるビデオストリームと、オーディオエンコーダ１２から供給されるオーディオストリームを多重化し、その結果得られる多重化ストリームを記録制御部１４に供給する。

記録制御部１４は、多重化部１３から供給される多重化ストリームを記録媒体２０に記録させる。また、記録制御部１４は、図示せぬ操作入力部等から入力される重畳領域情報を定義ファイルとして記録媒体２０に記録させる。

以上のように構成される記録装置１０では、３Ｄコンテンツのメタデータとして、重畳情報が貼り付けられている領域である重畳領域を示す重畳領域情報が記録媒体２０に記録される。これにより、再生時に重畳領域情報に基づいた適切な３Ｄ画像処理を行わせることができる。

［記録装置の記録処理の説明］
図２は、図１の記録装置１０による記録処理を説明するフローチャートである。この記録処理は、例えば、付加情報、３Ｄビデオデータ、およびオーディオデータが入力されたとき、開始される。

初めに、ステップＳ１０において、記録制御部１４は、操作入力部等で入力された重畳領域情報を定義ファイルとして記録媒体２０に記録させる。

ステップＳ１１において、ビデオエンコーダ１１は、外部から入力された３Ｄビデオデータを、MPEG2，MPEG4，AVC等の符号化方式で符号化する。そして、ビデオエンコーダ１１は、符号化の結果得られるビデオストリームを多重化部１３に供給する。

ステップＳ１２において、オーディオエンコーダ１２は、外部から入力された３Ｄビデオデータに対応するオーディオデータをMPEG等の符号化方式で符号化し、その結果得られるオーディオストリームを多重化部１３に供給する。

ステップＳ１３において、多重化部１３は、ビデオエンコーダ１１からのビデオストリームとオーディオエンコーダ１２からのオーディオストリームを多重化し、その結果得られる多重化ストリームを記録制御部１４に供給する。

ステップＳ１４において、記録制御部１４は、多重化部１３から供給される多重化ストリームを記録媒体２０に記録媒体に記録させ、処理を終了する。

[付加情報のデータ構造]
図３は、記録媒体２０に記録されるデータの階層構造を示す図である。

図３に示すように、記録媒体２０に記録されるデータの階層は、オーディオストリームやビデオストリーム等のESのレイヤＣ、多重化ストリームのシステムレイヤであるレイヤＢ、記録媒体２０に唯一の情報のレイヤＡ等により構成される。

上述した例では、付加情報としての重畳領域情報が記録媒体２０に唯一の定義ファイルとして、即ち、レイヤＡに記録されるように説明した。しかしながら、付加情報としての重畳領域情報は、レイヤＢやレイヤＣに記録されるようにすることもできる。

例えば、レイヤＣにおいて付加情報が記録される場合、符号化方式がAVCであれば、付加情報は、SEI（Supplemental Enhancement Information）として、または、SPS（Sequence Parameter Set）やPPS（Picture Parameter Set）の一部として記録される。また、符号化方式がMPEG2であれば、ビデオシーケンス（Video Sequence）やエクステンションアンドユーザデータ（extension_and_user_data）として記録される。

この場合、１つのビデオストリーム内で重畳領域情報を可変にすることができる。また、１つの記録媒体２０に異なる重畳領域情報が設定されている３Ｄ画像のビデオストリームが複数記録されている場合であっても、各重畳領域情報を再生装置に提供することができる。

一方、レイヤＢにおいて付加情報が記録される場合、付加情報は、TS（Transport Stream）のプライベートパケット、PS（Program Stream）のプライベートパック、MPEG4のコンフィグレーション（Config）情報に含まれるボックス（Box）の拡張領域等に記録される。

付加情報が記録されるMPEG4のボックスの拡張領域は、例えば、図４に示すように、ファイルの先頭に位置するftypボックスの直後のPrivate Extension ボックス(図４中uuid）に設けられる。この場合、記録媒体２０に記録された３Ｄビデオデータを再生する再生装置は、復号処理の前に重畳領域情報を取得することができるが、重畳領域情報はファイル内で不変となる。

なお、Private Extension ボックスには、重畳領域情報のほか、コーデックの種類、ビットレート、フレームサイズ、アスペクト比、画像が２Ｄ画像であるか３Ｄ画像であるかを示す情報等が記述される。

また、付加情報が記録されるMPEG4のボックスの拡張領域は、図５に示すように、moovボックス内のトラック情報（trak）の領域（図５中stsd）に設けられるようにしてもよい。この場合、ビデオストリームに参照先の付加情報の領域を表す情報が含まれており、再生装置は、その情報に基づいて、重畳領域情報を取得する。従って、この場合、ビデオストリーム内で重畳領域情報を可変にすることができる。但し、図４の場合に比べてアクセス性は悪い。

さらに、付加情報が記録されるMPEG4のボックスの拡張領域は、図６に示すように、mdatボックス内に設けられるようにしてもよい。即ち、付加情報が１つのメディアストリーム（side info.stream）として記録されるようにしてもよい。この場合、ビデオストリームと付加情報は時間情報で同期するため、重畳領域情報を時々刻々と変化させることができる。

なお、図４乃至図６の例では、ftypボックスの後に、moov ボックス、mdat ボックスが順に配置されているが、moov ボックスとmdat ボックスの配置はこれに限定されない。

＜本発明を適用した再生装置の実施の形態＞
[再生装置の構成ブロック図]
図７は、本発明を適用した再生装置の一実施の形態の構成例を示すブロック図である。

図７の再生装置５０は、読出部５１、分離部５２、ビデオデコーダ５３、３Ｄ画像処理部５４、およびオーディオデコーダ５５により構成される。再生装置５０は、記録媒体２０に記録されている３Ｄビデオデータとそれに対応する音声データを再生する。再生の際、再生装置５０は、記録媒体２０から読み出した付加情報である重畳領域情報に基づいて、適切に３Ｄ画像を画像処理し、処理後の画像データを出力する。

具体的には、再生装置５０の読出部５１は、記録媒体２０に記録されている重畳領域情報を読み出し、３Ｄ画像処理部５４に供給する。また、読出部５１は、記録媒体２０に記録されている多重化ストリームを読み出し、分離部５２に供給する。

分離部５２は、読出部５１から供給される多重化ストリームをビデオストリームとオーディオストリームに分離する。そして、分離部５２は、ビデオストリームをビデオデコーダ５３に供給し、オーディオストリームをオーディオデコーダ５５に供給する。

ビデオデコーダ５３は、分離部５２から供給されるビデオストリームを、図１のビデオエンコーダ１１における符号化方式に対応する方式で復号し、その結果得られる３Ｄビデオデータを３Ｄ画像処理部５４に供給する。

３Ｄ画像処理部５４は、ビデオデコーダ５３から供給される３Ｄビデオデータに対し、重畳領域情報を用いた所定の画像処理（後処理）を行う。本実施の形態では、３Ｄ画像処理部５４は、３Ｄ画像の重畳領域情報で特定される領域以外の領域に対して、左目用画像と右目用画像の視差を変更した３Ｄ画像を生成する処理を実行する。そして、３Ｄ画像処理部５４は、処理後の３Ｄビデオデータを表示部６１に出力する。

オーディオデコーダ５５は、分離部５２から供給されるオーディオストリームを、図１のオーディオエンコーダ１２における符号化方式に対応する方式で復号し、その結果得られるオーディオデータをスピーカ６２に供給する。

表示部６１は、３Ｄ画像処理部５４から供給される３Ｄビデオデータに対応する左目用画像と右目用画像を、例えば時分割で表示する。このとき、視聴者は、例えば、左目用画像と右目用画像の切り替えに同期したシャッタ付き眼鏡を装着し、左目用画像を左目だけで見て、右目用画像を右目だけで見る。これにより、視聴者は、３Ｄ画像を立体的に知覚することができる。

スピーカ６２は、オーディオデコーダ５５から供給されるオーディオデータに対応する音声を出力する。

［３Ｄ画像処理部５４の詳細構成例］
図８は、図７の３Ｄ画像処理部５４の詳細構成例を示すブロック図である。

３Ｄ画像処理部５４は、視差検出部７１、制御パラメータ算出部７２、および視差制御部７３により構成される。

読出部５１から供給される重畳領域情報は、視差検出部７１と視差制御部７３によって取得される。また、ビデオデコーダ５３から供給される３Ｄビデオデータは、視差検出部７１によって取得される。

視差検出部７１は、ビデオデコーダ５３から供給される３Ｄビデオデータを、そのまま視差制御部７３に供給する。また、視差検出部７１は、３Ｄビデオデータの左目用画像と右目用画像の、重畳領域情報で特定される重畳領域を除いた領域に対し、例えば、ブロックマッチングの手法等を用いて、左目用画像と右目用画像の各画素の視差量を検出する。視差検出部７１は、検出された左目用画像と右目用画像の各画素の視差量を、例えば、視差量の大きさを輝度値で表現した視差マップとして、制御パラメータ算出部７２に供給する。なお、制御パラメータ算出部７２では、検出された各画素の視差量が分かればよいので、視差マップに限らず、どのような形式で供給されても構わない。

制御パラメータ算出部７２は、視差検出部７１から供給される左目用画像と右目用画像の各画素の視差量に基づいて、視差制御部７３が行う視差制御のための制御パラメータを算出する。具体的には、視差制御部７３では、左目用画像と右目用画像を、視差の生じている方向（横方向）に画像をシフトする画像シフト処理が行われ、制御パラメータ算出部７２は、その画像シフト処理における画像シフト量を制御パラメータとして算出する。

例えば、制御パラメータ算出部７２は、視差検出部７１から供給される視差マップから、各画素の視差量の平均値を計算して、平均値が０になるような画像シフト量を算出する。各画素の視差量の平均値が５０ピクセルである場合には、画像シフト量として２５ピクセルが制御パラメータ算出部７２から視差制御部７３に供給される。このとき、視差制御部７３では、２５ピクセルの画像シフト量に基づいて、右目用画像を左に２５ピクセル、左目用画像を左に２５ピクセル、それぞれシフトすることで、視差量の平均値を０にすることができる。

また例えば、制御パラメータ算出部７２は、視差検出部７１から供給される視差マップから、各画素の視差量の最小値を計算して、その最小値が両眼間隔を超えないようにするために必要な画像シフト量を算出し、視差制御部７３に供給する。例えば、両眼間隔を６５ｍｍとし、ディスプレイサイズが４２インチであれば、制御パラメータ算出部７２は、視差量の最小値が１２２ピクセルを超えないような画像シフト量を算出する。

なお、本実施の形態において、視差量は、正が飛び出し方向（手前方向）を表し、負が引っ込み方向を表すものとする。

視差制御部７３は、制御パラメータ算出部７２から供給される制御パラメータに基づいて、３Ｄビデオデータの左目用画像と右目用画像の視差を制御する。即ち、視差制御部７３は、左目用画像と右目用画像の、重畳領域情報で特定される重畳領域を除いた領域に対し、制御パラメータ算出部７２から供給される画像シフト量に基づく画像シフト処理を実行する。視差制御部７３は、画像シフト処理後の左目用画像と右目用画像の画像データを、視差制御後の３Ｄビデオデータとして表示部６１（図７）に出力する。

［３Ｄ画像処理部５４の処理例］
図９は、３Ｄ画像処理部５４の処理例を示している。

ビデオデコーダ５３から供給される３Ｄビデオデータの左目用画像と右目用画像には、図９左側に示されるように、メニュー画面が貼り付けられている。即ち、この場合の重畳情報はメニュー画面であり、記録媒体２０から取得された重畳領域情報は、メニュー画面の領域（以下、メニュー領域という。）を特定する情報となっている。

視差検出部７１は、左目用画像と右目用画像の、重畳領域であるメニュー領域以外の領域の画像に対して、視差量を検出し、検出結果としての視差マップを制御パラメータ算出部７２に供給する。

制御パラメータ算出部７２は、視差検出部７１から供給された視差マップに基づいて、各画素の視差量の平均値を計算し、平均値が０になるような画像シフト量を算出する。図９の例では、りんごの視差量が０になるような画像シフト量が算出される。

視差制御部７３は、図９右側に示されるように、左目用画像と右目用画像の、重畳領域であるメニュー領域以外の領域の画像を、制御パラメータ算出部７２から供給された画像シフト量だけシフトする。このように、各画素の視差量の平均値が０になるような左目用画像と右目用画像とすることで、視聴するユーザの疲労感が少ない、見やすい画像にすることができる。

一方、図１０は、重畳領域情報が提供されず、視差制御部７３が左目用画像と右目用画像の全体を、制御パラメータ算出部７２から供給された画像シフト量だけシフトした結果を示している。

重畳領域を考慮しないと、図１０に示されるように、メニュー画面の一部が見えなくなってしまったり、メニュー画面に視差が発生して、メニュー画面の奥行きが変換することになり、見にくくなってしまう。

以上のように、重畳領域情報を用いて視差検出することで、視差検出の精度が向上するとともに、ユーザの視聴に適切な視差制御を実現することができる。その結果、ユーザに見やすい３Ｄ画像を提供することができる。

[再生装置の再生処理の説明]
図１１は、再生装置５０による再生処理を説明するフローチャートである。この再生処理は、例えば、記録媒体２０に記録されている３Ｄコンテンツの再生がユーザにより指示されたとき開始される。

初めに、ステップＳ３１において、読出部５１は、記録媒体２０に付加情報として記録されている重畳領域情報を読み出し、３Ｄ画像処理部５４の視差検出部７１と視差制御部７３に供給する。

ステップＳ３２において、再生装置５０は、記録媒体２０に記録されている３Ｄコンテンツの多重化ストリームを読み出し、復号する。即ち、読出部５１が、記録媒体２０から３Ｄコンテンツの多重化ストリームを読み出し、分離部５２に供給し、分離部５２は、多重化ストリームをビデオストリームとオーディオストリームに分離する。ビデオデコーダ５３は、ビデオストリームを、記録装置１０の符号化方式に対応する方式で復号し、その結果得られる３Ｄビデオデータを３Ｄ画像処理部５４に供給する。オーディオデコーダ５５は、オーディオストリームを、記録装置１０の符号化方式に対応する方式で復号し、その結果得られるオーディオデータをスピーカ６２に供給する。

ステップＳ３３において、３Ｄ画像処理部５４の視差検出部７１は、３Ｄビデオデータの左目用画像と右目用画像の、重畳領域情報で特定される重畳領域を除いた領域に対し、左目用画像と右目用画像の各画素の視差量を検出する。検出された各画素の視差量は、例えば、視差量の大きさを輝度値で表現した視差マップとして、制御パラメータ算出部７２に供給される。

ステップＳ３４において、制御パラメータ算出部７２は、視差検出部７１で検出された各画素の視差量に基づいて、視差制御部７３が行う視差制御のための制御パラメータを算出する。例えば、制御パラメータ算出部７２は、視差検出部７１から供給される視差マップから、各画素の視差量の平均値を計算して、平均値が０になるような画像シフト量を算出する。算出結果の画像シフト量は、視差制御部７３に供給される。

ステップＳ３５において、視差制御部７３は、制御パラメータ算出部７２で算出された制御パラメータに基づいて、３Ｄビデオデータの左目用画像と右目用画像の視差を制御する。具体的には、視差制御部７３は、３Ｄビデオデータの左目用画像と右目用画像の、重畳領域情報で特定される重畳領域を除いた領域に対し、制御パラメータ算出部７２から供給された画像シフト量による画像シフト処理を実行する。また、ステップＳ３５では、オーディオデコーダ５５が３Ｄビデオデータに対応するオーディオデータを出力し、処理は終了する。

以上のように、記録媒体２０には、３Ｄコンテンツの多重化ストリームに加えて、その３Ｄ画像の重畳領域情報が付加情報として記録されている。再生装置５０は、重畳領域情報を読み出し、復号により得られた３Ｄビデオデータの左目用画像と右目用画像に対して、重畳領域情報で特定される領域以外の領域に対して、左目用画像と右目用画像の視差検出および視差制御の処理を実行する。付加情報として提供される重畳領域情報を利用することで、重畳領域を有する３Ｄ画像に対して、視差検出および視差制御の精度を向上させることができる。

［３Ｄ画像処理部５４のその他の構成例］
図１２は、３Ｄ画像処理部５４のその他の詳細構成例を示すブロック図である。

図１２の３Ｄ画像処理部５４は、図８の３Ｄ画像処理部５４と同様の、視差検出部７１、制御パラメータ算出部７２、および視差制御部７３に加え、重畳領域情報検出部８１と重畳領域検出部８２を備える。

図１２の３Ｄ画像処理部５４は、記録媒体２０に付加情報としての重畳領域情報が記録されていない場合にも対応可能な構成となっている。即ち、図１２の３Ｄ画像処理部５４は、記録媒体２０に重畳領域情報が記録されているかを判定する。記録媒体２０に重畳領域情報が記録されていない場合、図１２の３Ｄ画像処理部５４は、３Ｄビデオデータの左目用画像と右目用画像から、自ら重畳領域を検出して、重畳領域情報を視差検出部７１および視差制御部７３に供給する。

記録媒体２０に重畳領域情報が記録されている場合、その重畳領域情報は読出部５１によって読み出され、重畳領域情報検出部８１に供給される。従って、重畳領域情報検出部８１は、読出部５１から重畳領域情報が供給されたか否かにより、記録媒体２０に付加情報として重畳領域情報が含まれているかを判定する。

読出部５１から重畳領域情報が供給された場合、重畳領域情報検出部８１は、取得した重畳領域情報をそのまま視差検出部７１と視差制御部７３に供給する。一方、読出部５１から重畳領域情報が供給されない場合、重畳領域情報検出部８１は、重畳領域を検出させる検出指令を重畳領域検出部８２に供給する。

重畳領域検出部８２には、ビデオデコーダ５３から３Ｄビデオデータが供給される。重畳領域検出部８２は、重畳領域情報検出部８１から検出指令が供給された場合、３Ｄビデオデータの左目用画像と右目用画像それぞれの重畳領域を検出する。重畳領域検出部８２は、検出の結果得られた重畳領域を、重畳領域情報検出部８１が出力する重畳領域情報と同一形式の重畳領域情報にして、視差検出部７１と視差制御部７３に供給する。

なお、重畳領域検出部８２が行う重畳領域の検出方法は特に限定されず、任意の検出方法を採用することができる。例えば、本出願人による特開２００８−１６６９８８号公報において開示されている、所定時間変化しない領域をテロップ領域として検出する処理などを採用することができる。

以上のように構成される３Ｄ画像処理部５４では、コンテンツデータに重畳領域情報が含まれている場合には、その重畳領域情報を用いて、視差検出および視差制御が行われる。一方、コンテンツデータに重畳領域情報が含まれていない場合には、３Ｄビデオデータの左目用画像と右目用画像から、重畳領域が検出され、検出された重畳領域の重畳領域情報を用いて、視差検出および視差制御が行われる。

［３Ｄ画像処理部５４の視差制御処理］
図１３は、図１２の３Ｄ画像処理部５４による視差制御処理のフローチャートである。

この視差制御処理では、初めに、ステップＳ５１として、重畳領域情報検出部８１が、読出部５１から重畳領域情報が供給されたかを判定する。

ステップＳ５１で、重畳領域情報が供給されたと判定された場合、処理はステップＳ５２に進み、重畳領域情報検出部８１は、読出部５１から供給された重畳領域情報を視差検出部７１と視差制御部７３に供給する。

一方、ステップＳ５１で、重畳領域情報が供給されないと判定された場合、処理はステップＳ５３に進み、重畳領域情報検出部８１は、重畳領域を検出させる検出指令を重畳領域検出部８２に供給する。そして、ステップＳ５４において、検出指令が供給された重畳領域検出部８２は、３Ｄビデオデータの左目用画像と右目用画像それぞれの重畳領域を検出し、その重畳領域情報を視差検出部７１と視差制御部７３に供給する。

ステップＳ５２またはＳ５４の処理の後に実行されるステップＳ５５乃至Ｓ５７の処理は、図１１のステップＳ３３乃至Ｓ３５の処理と同様であるので、その説明は省略する。

以上の視差制御処理によれば、図１２の３Ｄ画像処理部５４は、コンテンツデータに重畳領域情報が含まれていない場合には、３Ｄビデオデータの左目用画像と右目用画像の重畳領域を自ら検出する。そして、図１２の３Ｄ画像処理部５４は、３Ｄビデオデータの左目用画像と右目用画像の、検出された重畳領域を除く領域に対して、視差検出および視差制御の処理を実行する。これにより、重畳領域を有する３Ｄ画像に対して、視差検出および視差制御の精度を向上させることができる。

なお、上述した例では、本発明を再生装置に適用した例について説明したが、本発明は再生装置以外の装置にも適用することができる。例えば、３Ｄコンテンツのコンテンツデータは、衛星放送、ケーブルTV、インターネットなどのネットワークを介した伝送により提供されてもよい。従って、本発明はネットワークを介した伝送により送信されてくる３Ｄコンテンツのコンテンツデータに含まれる重畳領域情報を受信して、重畳領域情報で特定される領域以外の領域に対して所定の視差検出および視差制御の処理を行う表示装置や記録再生装置にも適用できる。また、３Ｄコンテンツのメタデータとしての重畳領域情報を取得するとともに、左目用画像と右目用画像の重畳領域情報で特定される領域以外の領域に対して所定の視差検出および視差制御の処理を行って出力する画像処理装置単体として構成してもよい。

[本発明を適用したコンピュータの説明]
上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図１４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としての記憶部１０８やROM（Read Only Memory）１０２に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブルメディア１１１に格納（記録）しておくことができる。このようなリムーバブルメディア１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア１１１としては、例えば、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブルメディア１１１からドライブ１１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部１０８にインストールすることができる。すなわち、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。

コンピュータは、CPU(Central Processing Unit)１０１を内蔵しており、CPU１０１には、バス１０４を介して、入出力インタフェース１０５が接続されている。

CPU１０１は、入出力インタフェース１０５を介して、ユーザによって、入力部１０６が操作等されることにより指令が入力されると、それに従って、ROM１０２に格納されているプログラムを実行する。あるいは、CPU１０１は、記憶部１０８に格納されたプログラムを、RAM(Random Access Memory)１０３にロードして実行する。

これにより、CPU１０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース１０５を介して、出力部１０７から出力、あるいは、通信部１０９から送信、さらには、記憶部１０８に記録等させる。

なお、入力部１０６は、キーボードや、マウス、マイク等で構成される。また、出力部１０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

上述した実施の形態は、３Ｄ画像として、視点の数が２個である２視点の３Ｄ画像について説明したが、視点の数が３以上の多視点の３Ｄ画像についても同様に適用できる。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

２０ 記録媒体， ５０ 再生装置， ５１ 読出部， ５４ ３Ｄ画像処理部， ７１ 視差検出部， ７２ 制御パラメータ算出部， ７３ 視差制御部， ８１ 重畳領域情報検出部， ８２ 重畳領域検出部

Claims (7)

1. 左目用画像と右目用画像からなる３Ｄ画像の画像データと、前記左目用画像と右目用画像に含まれる重畳領域の情報である重畳領域情報を取得する取得手段と、
   前記左目用画像と右目用画像の前記重畳領域情報で特定される重畳領域を除いた領域の視差量を検出する視差検出手段と
   を備える画像処理装置。
2. 前記左目用画像と右目用画像の視差を制御する視差制御手段と、
   前記視差検出手段で検出された前記視差量に基づいて、前記視差制御手段の視差制御のための制御パラメータを算出する制御パラメータ算出手段と
   をさらに備える
   請求項１に記載の画像処理装置。
3. 前記視差制御手段は、前記左目用画像と右目用画像の画像シフト処理を行い、
   前記制御パラメータ算出手段は、前記視差検出手段で検出された前記視差量に基づいて、前記画像シフト処理における画像シフト量を、前記制御パラメータとして算出する
   請求項２に記載の画像処理装置。
4. 前記３Ｄ画像の画像データの付加情報として、前記重畳領域情報が含まれているかを判定する重畳領域情報検出手段と、
   前記付加情報として前記重畳領域情報が含まれていない場合に、前記左目用画像と右目用画像それぞれの重畳領域を検出する重畳領域検出手段と
   をさらに備え、
   前記取得手段は、前記付加情報として前記重畳領域情報が含まれていない場合、前記重畳領域検出手段により検出された前記重畳領域の情報である重畳領域情報を取得する
   請求項１に記載の画像処理装置。
5. 左目用画像と右目用画像からなる３Ｄ画像の画像処理を行う画像処理装置が、
   前記３Ｄ画像の画像データと、前記左目用画像と右目用画像に含まれる重畳領域の情報である重畳領域情報を取得し、
   前記左目用画像と右目用画像の前記重畳領域情報で特定される重畳領域を除いた領域の視差量を検出する
   ステップを含む画像処理方法。
6. コンピュータに、
   左目用画像と右目用画像からなる３Ｄ画像の画像データと、前記左目用画像と右目用画像に含まれる重畳領域の情報である重畳領域情報を取得し、
   前記左目用画像と右目用画像の前記重畳領域情報で特定される重畳領域を除いた領域の視差量を検出する
   ステップを含む処理を実行させるためのプログラム。
7. ３Ｄコンテンツのコンテンツデータとして、
   左目用画像と右目用画像からなる３Ｄ画像の画像データと、
   前記左目用画像と右目用画像に含まれる重畳領域の情報である重畳領域情報と
   を含むデータ構造。

Images