JP2010273333A - 立体映像合成装置 - Google Patents

Abstract

【課題】主映像が拡大又縮小された場合であっても、より簡易な構成で、立体映像の主映像に対する付加映像（字幕映像や副映像等）の奥行き方向の表示位置を調整することのできる合成装置を提供する。
【解決手段】立体映像合成装置は、立体視を可能とする映像である主映像のデータと、主映像に合成されて表示される付加映像のデータと、前記付加映像を立体視する際の奥行き方向の表示位置を決定する位置情報と、を取得する取得手段と、主映像を拡大又は縮小するスケーリング手段と、主映像を拡大又は縮小する際の倍率に基づき位置情報を調整する調整手段と、調整された位置情報に基づき、付加映像を立体視可能とするように、付加映像を拡大又は縮小された主映像に合成する合成手段とを備える。
【選択図】図２

Description

本発明は、立体映像を表示する映像である主映像に付加的な映像を合成可能な映像合成装置に関する。

特許文献１は、主映像に字幕映像を合成する映像合成装置を開示する。また、特許文献１は、主映像に対して字幕映像が最適な位置に表示されるよう、字幕映像の視差情報を主映像や字幕映像に多重化して記憶する技術が開示している。

具体的には、立体映像のデータの編集側で、立体映像の主映像、字幕映像、字幕映像の視差情報（奥行き方向の表示位置を示す情報）を生成する。そして編集側で、その生成した主映像、字幕映像、字幕映像の視差情報を多重化して立体映像ストリームとして記憶する。

立体映像を表示する再生装置は、立体映像ストリームを分離して、主映像、字幕映像、視差情報を得て、その字幕情報の視差情報に基づいて主映像に字幕映像を合成する。そして、再生装置はその合成した合成映像を表示する。以上により、主映像に対して字幕映像が最適な位置に表示される。

なお、立体映像ストリームには、字幕映像だけでなく、副映像（ポップアップメニューやボーナスビュー映像など）が含まれる可能性がある。この場合、副映像に加えて、副映像の視差情報も立体映像ストリームに含まれる必要がある。

特開２００４−２７４１２５号公報

ところで、立体映像ストリームに含まれる主映像は、常に画面全体に表示されるわけではなく、縮小されて表示される場合がある。例えば、図１４に示すように、画面全体に副映像５２が表示され、主映像５０は縮小され副映像５２の一部の領域に表示される場合がある。このとき、字幕映像５４も主映像５０と同様に縮小して、主映像５０に合成する必要がある。その合成において字幕映像の視差情報を適切に調整せずに字幕映像を主映像に合成すると、合成映像に基づく立体映像が違和感のある映像になるという問題がある。例えば、主映像が示すオブジェクトに対して字幕が埋め込まれているように見えてしまうことがある。

また、主映像と字幕映像がＮＴＳＣやＰＡＬのＳｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ（ＳＤ）映像であり、副映像がＨｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ（ＨＤ）映像（垂直解像度が１０８０本や７２０本等の映像）である場合、主映像と字幕映像を副映像に合成する際には、主映像と字幕映像に拡大処理を施す必要がある。これは、ＮＴＳＣやＰＡＬの映像信号が長方画素に基づき、ＨＤ映像信号は正方画素に基づくからである。この場合も、視差情報を調整せずに字幕映像を主映像に合成すると、違和感のある映像になってしまう。

以上のように主映像を拡大または縮小して表示する場合にユーザが違和感なく立体映像を視認できるようにする映像合成技術が要望される。

本発明は、上記課題を解決すべくなされたものであり、主映像が拡大又は縮小された場合であっても、より簡易な構成で、立体映像の主映像に対する付加映像（字幕映像や副映像等）の奥行き方向の表示位置を適切に調整することのできる映像合成装置を提供することを目的とする。

本発明の第１の態様において、立体視を可能とする映像である主映像のデータと、主映像に合成されて表示される付加映像のデータと、前記付加映像を立体視する際の奥行き方向の表示位置を決定する位置情報と、を取得する取得手段と、主映像を拡大又は縮小するスケーリング手段と、主映像を拡大又は縮小する際の倍率に基づき位置情報を調整する調整手段と、調整された位置情報に基づき、付加映像を立体視可能とするように、付加映像を拡大又は縮小された主映像に合成する合成手段とを備える、立体映像合成装置が提供される。

上記構成により、主映像の拡大又は縮小の倍率に応じて、主映像に対する付加映像の合成位置を調整できる。これによって、ユーザに立体映像を提供する際、付加画像の奥行き方向の表示位置を適切に調整できる。

本発明の第２の態様において、立体視を可能とする映像である主映像と、副映像とを合成する立体映像合成装置が提供される。立体映像合成装置は、主映像のデータと、主映像に合成されて表示される付加映像のデータと、副映像のデータと、を取得する取得手段と、主映像を拡大または縮小する第１のスケーリング手段と、拡大または縮小された主映像と副映像とを、拡大または縮小された主映像が副映像の一部の領域で表示されるように合成する第１の合成手段と、付加映像を拡大または縮小する第２のスケーリング手段と、拡大または縮小された付加映像と、主映像と副映像の合成映像とを合成する第２の合成手段と、を備える。

上記構成により、主映像及び字幕映像それぞれに独立して拡大・縮小率を設定することが可能となり、種々の副映像の生成に適用できる。

本発明の第３の態様において、立体視を可能とする映像である主映像のデータと、主映像に合成されて表示される付加映像のデータと、付加映像を立体視する際の奥行き方向の表示位置を決定する位置情報と、を取得し、主映像を拡大又は縮小し、主映像を拡大又は縮小する際の倍率に基づき前記位置情報を調整し、調整された位置情報に基づき、付加映像を立体視可能とするように、付加映像を前記拡大又は縮小された主映像に合成する、立体映像合成方法が提供される。

本発明の第４の態様において、立体視を可能とする映像である主映像と、副映像とを合成する立体映像合成方法が提供される。その立体映像合成方法は、主映像のデータと、主映像に合成されて表示される付加映像のデータと、副映像のデータと、を取得し、主映像を拡大または縮小し、拡大または縮小された主映像と副映像とを、拡大または縮小された主映像が副映像の一部の領域で表示されるように合成し、付加映像を拡大または縮小し、拡大または縮小された付加映像と、主映像と副映像の合成映像とを合成する。

本発明によれば、拡大又は縮小された主映像に付加される付加映像（例えば、字幕映像）の奥行き方向の表示位置を適切に設定でき、視聴者が違和感を覚えることなく主映像及び付加映像を視認できる。

立体映像表示制御装置と他の装置の関係を示す図である。 立体映像表示制御装置の構成例を示す図である。 立体映像表示装置の構成例を示す図である。 立体映像の表示方法を説明するための図である。 立体映像の表示方法を説明するための図である。 立体映像ストリームの一例を示す図である。 字幕映像や装置画像を立体映像データに重ね合わせた場合の例を説明するための図である。 主映像、字幕映像及び副映像の合成を説明するための図である。 副映像表示ＯＮにされた場合の表示画像例を説明するための図である。 主映像が縮小された場合の字幕映像の視差情報の調整例を説明するための図である。 主映像が縮小された場合の字幕映像の視差情報の調整例を説明するための図である。 主映像がＮＴＳＣ又はＰＡＬである場合の主映像を１６：９のメニュー映像に拡大又は縮小して重複した場合の字幕映像の視差情報の調整例を説明するための図である。 主映像がＮＴＳＣ又はＰＡＬである場合の主映像を１６：９のメニュー映像に拡大又は縮小して重複した場合の字幕映像の視差情報の調整例を説明するための図である。 主映像がＮＴＳＣ又はＰＡＬである場合の主映像を１６：９のメニュー映像に拡大して重複した場合の字幕映像の視差情報の調整例を説明するための図である。 主映像がＮＴＳＣ又はＰＡＬである場合の主映像を１６：９のメニュー映像に拡大して重複した場合の字幕映像の視差情報の調整例を説明するための図である。 主映像がＮＴＳＣ又はＰＡＬである場合の主映像を１６：９のメニュー映像に拡大して重複した場合の字幕映像の視差情報の調整例を説明するための図である。 立体映像表示制御装置の動作例を説明するためのフローチャートである。 別の映像合成処理に関するＡＶ入出力回路の機能ブロックを示した図である。 課題となる合成画像の一例を説明するための図である。

以下添付の図面を参照して実施の形態を説明する。以下の実施の形態にて説明する立体映像表示制御装置は、主映像及び字幕映像を副映像に合成する場合に所定の手順にしたがって合成を行なう。また、立体映像表示制御装置は、主映像を拡大又は縮小する場合、拡大又は縮小倍率に応じて、主映像に合成される字幕映像の視差情報を調整（補正）する。以下、その詳細を説明する。

以下、好ましい実施形態の立体映像表示制御装置を説明する。図１は、立体映像表示制御装置１と他の装置との関係を示す図である。図２は、立体映像表示制御装置１の構成例を示す図である。以下、具体的に説明する。

１．立体映像表示システム
図１に、本実施形態の立体映像表示システムの構成を示す。立体映像表示システムは、立体映像表示制御装置１と立体映像表示装置２を含む。図２に、立体映像表示制御装置１の構成例を示す。図３に立体映像表示装置２の構成例を示す。

図１に示すように、立体映像表示制御装置１は、立体映像を表示する立体映像表示装置２と、立体映像ストリームが蓄積されているサーバ３と、及びアンテナ５とに接続されている。また、立体映像表示制御装置１には、光ディスク４及びメモリカード６が挿入されている。立体映像表示制御装置１は、サーバ３、光ディスク４、アンテナ５、またはメモリカード６から、立体映像を表示するための立体映像ストリームまたは立体映像ストリームを生成するための情報を取得する。

図３に示すように、立体映像表示装置２はディスプレイ２４を備え、映像データを表示する。ディスプレイ２４は例えば、液晶ディスプレイ、プラズマディスプレイ又は有機ＥＬディスプレイで構成される。立体映像表示装置２は、立体映像表示制御装置１から送信された映像データを表示可能である。立体映像表示装置２は、立体映像表示制御装置１からの要求信号に基づき、画面サイズに関する情報を立体映像表示制御装置１に送信可能である。

より具体的に、立体映像表示装置２は、コントローラ２２、メモリ２３、ディスプレイ２４、データ伝送インターフェース２１および通信インターフェース２５で構成されている。

メモリ２３には、立体映像表示装置２の画面サイズに関する情報が予め記憶されている。メモリ２３は例えばフラッシュメモリやＦＲＡＭで実現可能である。

コントローラ２２は、立体映像表示制御装置１から要求信号を受け付けると、メモリ２３に記憶された画面サイズに関する情報を読み出して、立体映像表示制御装置１に送信する。これによって、立体映像表示制御装置１は、立体映像表示装置２から画面サイズに関する情報を取得できる。なお、コントローラ２２は、例えば、マイクロプロセッサで実現できる。

データ伝送インターフェース２１は、立体映像表示制御装置１との間でデータの送受信を行なうためのインターフェースである。データ伝送インターフェース２１は、例えば、ＨＤＭＩ（High Definition Multimedia Interface）コネクタ等で実現できる。

通信インターフェース２５は、アクティブシャッターメガネ７と通信を行なうためのインターフェースである。通信インターフェース２５は、例えば、赤外線やＢｌｕｅｔｏｏｔｈなどの無線又は有線により、アクティブシャッターメガネ７との通信を確立する。

図１を参照し、サーバ３は、立体映像ストリームが蓄積されているネットワークサーバである。サーバ３は、ネットワークに接続されており、家庭内におかれた立体映像表示制御装置１と接続可能である。サーバ３は、立体映像表示制御装置１からのアクセス要求に対応して、立体映像ストリームを立体映像表示制御装置１（ネットワーク通信インターフェース１３）に送信することが可能である。

光ディスク４は、立体映像ストリームが記録された記録メディアである。光ディスク４は、立体映像表示制御装置１のディスクドライブ１１に挿入可能である。立体映像表示制御装置１（ディスクドライブ１１）は、光ディスク４に記録された立体映像ストリームを読み出すことが可能である。

アンテナ５は、放送局の放送装置から放送された立体映像ストリームを含む放送波を受信するためのアンテナである。アンテナ５は、立体映像表示制御装置１（チューナ１２）に対して、受信した立体映像ストリームを含む放送波を送信する。

メモリカード６は、立体映像ストリームが記録された半導体メモリカード、又は半導体メモリを内部に有した記録媒体である。メモリカード６は、立体映像表示制御装置１（データ伝送インターフェース１５）に挿入可能である。なお、立体映像表示制御装置１（データ伝送インターフェース１５）は、メモリカード６に記録された立体映像ストリームを読み出すことが可能である。

２．立体映像の表示方法
図４（ａ）及び図４（ｂ）を参照して立体映像の表示方法について説明する。立体映像表示装置２は、アクティブシャッターメガネ７を用いて立体映像を視聴可能にするための映像を表示する（図４（ａ）参照）。具体的には、立体映像表示制御装置１は、立体映像表示装置２に対して、左眼用の映像（以下「左眼映像」という）が示す画像データと右眼用の映像（以下「右眼映像」という）が示す画面データを交互に出力する。立体映像表示装置２は、立体映像表示制御装置１から取得した画面データをディスプレイ２４の画面上に順次表示する（図４（ｂ）参照）。ユーザは、このようにして立体映像表示装置２に表示された映像を、アクティブシャッターメガネ７を通して視認することで立体映像を認識できる。

アクティブシャッターメガネ７は、ユーザの左右の何れかの視野を遮ることが可能なシャッタを備えている。アクティブシャッターメガネ７は、立体映像表示装置２に左眼映像が表示されると、ユーザの立体映像表示装置２に対する右眼の視野を遮る一方で、立体映像表示装置２に右眼映像が表示されると、ユーザの立体映像表示装置２に対する左眼の視野を遮る。つまり、図４（ａ）、図４（ｂ）のように、立体映像表示装置２に左眼映像を示す画面が表示されている場合は、ユーザは、左眼で映像を見ることになり、立体映像表示装置２に右眼映像を示す画面が表示されている場合は、ユーザは、右眼で映像を見ることになる。これによって、ユーザは、立体映像表示装置２に順次表示された画面を立体映像として視認することができる。

なお、本実施の形態では、アクティブシャッターメガネ７を用いた例を説明したが、立体映像表示装置２に表示された右眼映像と左眼映像を使用者が別々に見ることができるのであれば、この方法に限られない。

３．立体映像ストリーム
本実施の形態において、立体映像表示制御装置１が、サーバ３、光ディスク４、アンテナ５及びメモリカード６などから取得する立体映像ストリームは、以下のような構成を有する。

図５に立体映像ストリームの構造の一例を示す。立体映像ストリームは、管理情報３１と、デコード情報３２と、主映像データ３３と、字幕映像データ３５と、字幕映像の視差情報３６と、副映像データ３７と、副映像の視差情報３８とを含んでいる。

上述した主映像データ３３、字幕映像データ３５、字幕映像の視差情報３６、副映像データ３７、副映像の視差情報３８は、任意の圧縮方式で符号化されているものとする。圧縮方式には、例えば、ＭＶＣ（Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）やＭＰＥＧ４−ＡＶＣ／Ｈ．２６４などが考えられるが、これに限られない。なお、圧縮された立体映像データには、上記圧縮方式で圧縮されているため、デコードするために必要な情報（デコード情報）が立体映像データに含まれている。

管理情報３１には、主映像、字幕映像、副映像の各々に関して、映像サイズ、及び、映像アスペクトを有している。

主映像データ３３は、複眼カメラの左右のカメラで撮影された左眼映像および右眼映像を含む。

字幕映像の視差情報３６は、左眼映像及び右眼映像に対して、字幕映像をどの程度ずらして重ね合わせればよいかを示している。本実施の形態では、字幕映像の視差情報は、主映像に対する相対的なズレ量を示している。例えば、字幕映像の視差情報がＹピクセルである場合、左眼用の主映像に対して字幕映像をＹピクセルだけ右方向にずらして重ね合わせ、右眼用の主映像に対して字幕映像をＹピクセルだけ左方向にずらして重ね合わせればよい。なお、副映像の視差情報３８（例えば、Ｘ）も字幕映像の視差情報３６と同様である。また、ズレ量をあらわす視差情報はピクセル単位で表現しているが、これに限られず、ｍｍ単位で表現してもよい。

立体映像表示制御装置１は、立体映像ストリームから上記情報を取得し、主映像に字幕映像又は副映像を合成して、立体映像表示装置２に表示させることが可能である。図６（ａ）、（ｂ）は、主映像、字幕映像、副映像の合成を説明した図である。図７（ａ）に示す主映像５０、字幕映像５２、副映像５４が合成されて、図６（ｂ）に示すような合成画像が生成される。このとき、左右の合成画像５０ａ、５０ｂにおいて、メニューアイコン５３及び字幕５５は主映像に対してそれぞれの視差情報Ｘ、Ｙだけずシフトされるように映像が合成される。

４．立体映像表示制御装置の構成
立体映像表示制御装置１の構成を説明する。図２に戻り、立体映像表示制御装置１は、ディスクドライブ１１、チューナ１２、ネットワーク通信インターフェース１３、メモリデバイスインターフェース１４、データ伝送インターフェース１５、バッファメモリ（フレームメモリ）１６、ＨＤドライブ１７、フラッシュメモリ１９及びＬＳＩ１８を備える。

ディスクドライブ１１は、光ピックアップを含み、光ディスク４から立体映像ストリームを読み出す。ディスクドライブ１１は、ＬＳＩ１８と接続されており、光ディスク４から読み出した立体映像ストリームをＬＳＩ１８に送信する。ディスクドライブ１１は、ＬＳＩ１８からの制御に応じて、光ディスク４から立体映像ストリームを読み出し、ＬＳＩ１８に送信する。

チューナ１２は、アンテナ５で受信した立体映像ストリームを含む放送波を取得する。チューナ１２は、取得した放送波から、ＬＳＩ１８によって指定された周波数の立体映像ストリームを取り出す。チューナ１２はＬＳＩ１８に接続されており、取り出した立体映像ストリームをＬＳＩ１８に送信する。

ネットワーク通信インターフェース１３は、ネットワークを介してサーバ３と接続可能である。ネットワーク通信インターフェース１３は、サーバ３から送信された立体映像ストリームを取得する。

メモリデバイスインターフェース１４は、メモリカード６を装着可能に構成されており、装着されたメモリカード６から立体映像ストリームを読み出すことが可能である。メモリデバイスインターフェース１４は、メモリカード６から読み出された立体映像ストリームを、ＬＳＩ１８に送信する。

ＨＤドライブ１７は、ハードディスクなどの記録媒体を内蔵し、記録媒体から読み出されたデータをＬＳＩ１８に送信する。また、ＨＤドライブ１７は、ＬＳＩ１８から受信したデータを記録媒体に記録する。

データ伝送インターフェース１５は、ＬＳＩ１８から送信されたデータを、外部の立体映像表示装置２に送信するためのインターフェースである。データ伝送インターフェース１５は、データ信号及びコントロール信号を、立体映像表示装置２との間で送受信可能に構成されている。したがって、ＬＳＩ１８は、データ伝送インターフェース１５を介して、立体映像表示装置２を制御することが可能である。データ伝送インターフェース１５は、例えば、ＨＤＭＩコネクタ等で実現可能である。なお、データ伝送インターフェース１５は、データ信号を立体映像表示装置２に送信できれば、どのような構成であってもかまわない。

バッファメモリ１６は、ＬＳＩ１８が処理を行う際に、ワークメモリとして機能する。バッファメモリ１６は、例えば、ＤＲＡＭやＳＲＡＭなどで実現可能である。

フラッシュメモリ１９は装置画像を予め格納している。装置画像は、例えば、チャンネルの情報や音量の情報、ディスプレイの輝度・コントラスト量・色温度などを調整するための情報、再生装置の画質を調整するための情報を示す画像を含む。すなわち、ＬＳＩ１８は、フラッシュメモリ１９から読み出した装置画像を映像データに重ね合わせて立体映像表示装置２に表示させることができる。これによって、ＬＳＩ１８は、装置の情報を視聴者に提示できる。また、ＬＳＩ１８は視聴者に設定画面を表示して、視聴者からの設定を受け付けることが可能になる。

ＬＳＩ１８は、立体映像表示制御装置１の各部を制御するシステムコントローラである。マイクロコンピュータで実現してもよく、ハードワイヤードな回路で実現してもよい。

ＬＳＩ１８の内部には、ＣＰＵ１８１、ストリームコントローラ１８２、デコーダ１８３、ＡＶ入出力回路１８４、システムバス１８５及びメモリコントローラ１８６が実装されている。

ＣＰＵ１８１はＬＳＩ１８全体を制御する。ＬＳＩ１８の各部は、ＬＳＩ１８からの制御に基づいて各種制御を行なうように構成されている。また、ＣＰＵ１８１は外部との通信も制御する。また、ＣＰＵ１８１は、サーバ３等から立体映像ストリームを取得する際、ディスクドライブ１１やチューナ１２、ネットワーク通信インターフェース１３、メモリデバイスインターフェース１４に制御信号を送信する。これによってディスクドライブ１１やチューナ１２、ネットワーク通信インターフェース１３、メモリデバイスインターフェース１４は、記録メディアや放送局等から立体映像ストリームを取得することができる。

ストリームコントローラ１８２は、サーバ３や光ディスク４、アンテナ５、メモリカード６、アクティブシャッターメガネ７との間のデータの送受信を制御する。例えば、ＣＰＵ１８１は、サーバ３から取得した立体映像ストリームを、メモリコントローラ１８６に送信する。

メモリコントローラ１８６は、ＬＳＩ１８の各部から送信されたデータを、バッファメモリ１６に書き込む。例えば、メモリコントローラ１８６は、ストリームコントローラ１８２から取得した立体映像ストリームを、バッファメモリ１６に記録する。また、メモリコントローラ１８６は、バッファメモリ１６に記録されたデータを、バッファメモリ１６から読み出す。そして、バッファメモリ１６は、読み出したデータをＬＳＩ１８の各部に送信する。

デコーダ１８３は、メモリコントローラ１８６からデータを取得すると、取得したデータをデコードする。ここで、デコーダ１８３に入力されるデータは、ＣＰＵ１８１の制御に基づいている。具体的には、ＣＰＵ１８１は、メモリコントローラ１８６を制御して、バッファメモリ１６に記録された立体映像ストリームを読み出させる。そして、ＣＰＵ１８１は、読み出した立体映像ストリームをデコーダ１８３に送信するようメモリコントローラ１８６を制御する。これによって、メモリコントローラ１８６からデコーダ１８３に立体映像ストリームが入力される。

また、デコーダ１８３は、立体映像ストリームに含まれるデコード情報に基づいて、圧縮された立体映像ストリームをデコードする。なお、デコーダ１８３は、デコードした情報をメモリコントローラ１８６に送信する。メモリコントローラ１８６では、取得した情報を、バッファメモリ１６に記録する。

ＡＶ入出力回路１８４は、バッファメモリ１６から情報を読み出して、立体映像表示装置２に表示させる表示画像を生成する。そして、ＡＶ入出力回路１８４は、生成した表示画像を、データ伝送インターフェース１５を介して立体映像表示装置２に送信する。

また、ＡＶ入出力回路１８４は、字幕映像（又は、立体映像に付加される副映像）を立体映像データに重ね合わせるよう設定された場合、以下のように制御を行なう。

ＡＶ入出力回路１８４は、字幕映像データ３５及び字幕映像の視差情報３６をバッファメモリ１６から取得し、字幕映像の視差情報３６に基づいて、左眼映像又は右眼映像に字幕映像を重ね合わせる。例えば、ＡＶ入出力回路１８４は、図６（ｂ）に示すように字幕映像の視差情報（ズレ量）がＹピクセルである場合、左眼映像５０ａに対して字幕映像５１をＹピクセル右方向にずらして重ね合わせ、右眼映像５０ｂに対して字幕映像５１をＹピクセル左方向にずらして重ね合わせる。立体映像５０ａ、５０ｂに付加される副映像５３も同様である。

なお、ＡＶ入出力回路１８４は、ユーザの操作によってリモコンから赤外線センサを介して入力した信号に基づいて、主映像に字幕映像が重ねあわせるか否か、すなわち、主映像に字幕映像を重ねて表示させるか否かを設定する。以下、字幕映像が表示される状態を、「字幕表示ＯＮ」と称し、字幕映像が表示されない状態を「字幕表示ＯＦＦ」と称する。ユーザは、リモコン操作によって字幕映像のＯＮとＯＦＦを切り換えることができる。副映像も字幕映像と同様に表示のＯＮとＯＦＦが切り換えられる。

５．縮小された主映像が合成された副映像
副映像の一例として、画面全体に表示され、その一部に縮小された主映像が表示されるものがある。このような画面には、例えば、種々の付加機能をユーザが選択できる機能選択画面がある。例えば、図７にそのような副画像の例を示す。そこには、副画像５２の一部の領域において縮小された主映像５０及び字幕映像５４が配置されている。主映像５０及び字幕映像５４は、副映像の基準位置（図７では左上端）からのオフセット値（Px, Py）だけ離れた位置を開始位置として配置される。オフセット値（Px, Py）の情報は管理情報３１内の含まれる。

図８Ａは字幕表示ＯＮの場合の表示の例を示した図である。図８Ａに示すような状態で、副映像の表示がＯＮにされると、図８Ｂに示すように、副映像５２が画面全体に表示される。その副映像５２の一部の領域において縮小された主映像５０が表示される。この場合、字幕５５も縮小されて副映像５２の一部の領域に表示される。なお、副映像５２に含まれるメニュー項目等の表示アイコン５３は、図８Ｂの場合、副映像５２領域内で、副映像５２の視差情報に基づいて合成位置が調整される。

このような副映像が表示されるように設定された場合、ＡＶ入出力回路１８４は、副映像の一部の領域に主映像が合成できるように倍率を設定し、その倍率で主映像を縮小する。またＡＶ入出力回路１８４は、主映像の縮小倍率に応じて字幕映像も縮小する。さらに、本実施形態では、ＡＶ入出力回路１８４は、主映像の縮小倍率に応じて字幕映像の視差情報を調整する。

そして、ＡＶ入出力回路１８４は、調整された字幕映像の視差情報に基づいて、字幕映像を主映像に合成した後、字幕映像が合成された主映像を副映像に合成する。ＡＶ入出力回路１８４は、このように合成した合成映像データを、データ伝送インタフェース１５を介して立体映像表示装置２に出力する。

このようにすれば、立体映像表示制御装置１は、主映像が拡大又は縮小された場合であっても、容易な構成で、字幕映像の視差情報を調整できる。
なお、図示しないが、立体映像表示制御装置１の各部には電源が接続されており、電源から電力が供給されるように構成されている。

６．字幕映像の視差情報の調整
本実施の形態において、立体映像表示制御装置１（すなわち、ＡＶ入出力回路１８４）は、前述の副映像に、拡大又は縮小した主映像及び字幕映像を合成する際には、字幕映像の視差情報を主映像の拡大又は縮小倍率に基づき調整する。以下、主映像の拡大または縮小倍率に応じた字幕映像の視差情報の調整について種々の例を挙げて説明する。

６．１ 第１の視差情報の調整例
視差情報の第１の調整例を説明する。ここでは、図９（ａ）に示す主映像５０及び字幕映像５４を合成して、図９（ｂ）に示す合成画像を生成する場合の、字幕映像の視差情報（水平オフセット量Ｚ）の調整を説明する。

図９（ａ）において、副映像５２は主映像を配置する領域５８を有する。字幕映像５４は字幕情報５５を含む。字幕映像５４において字幕情報５５以外の領域は透明な領域である。主映像５０は左目用の画像と右目用の画像とを含むが、副映像５２と字幕映像５４は１つの映像と視差情報とを有する。

図９（ｂ）に、条件（１）〜（４）に対する字幕映像の視差情報（水平オフセット量Ｚ）が示されている。条件（１）は、主映像５０、字幕映像５４及び副映像５２のそれぞれが、有効走査線数が１０８０本または７２０本であるＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像であり、主映像及び字幕映像が縮小されて副映像内に表示される場合の条件を示している。条件（５）〜（８）は、主映像５０、字幕映像５４及び副映像５２のそれぞれが、有効走査線数が４８０本または５７６本のＮＴＳＣやＰＡＬといったＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）映像であり、主映像５０及び字幕映像５４が縮小されて副映像５２内に表示させる場合の条件を示している。

図９（ｂ）の例では、副映像表示がＯＮになることによって、主映像および字幕映像が縮小されて副映像と合成される。その際に主映像の縮小倍率に応じて、字幕映像の視差情報が調整される。

例えば、図９（ｂ）の条件（１）のように、主映像が横１９２０×縦１０８０画素である場合において、主映像が横９６０×縦５４０画素に縮小（すなわち１／２に縮小）される場合、調整後の字幕映像の視差情報（水平オフセット量Ｚ）は、Ｙ×１／２で得られる。ここで、Ｙは字幕映像の元々の視差情報である。以下、これを詳細に説明する。

図９（ｂ）の条件（１）は以下の条件の映像ストリームを前提としている。
＜映像ストリーム＞
主映像 フレームアスペクト １６：９
ピクセル数 １９２０×１０８０
スケーリングファクタ １／２
字幕映像 フレームアスペクト １６：９
ピクセル数 １９２０×１０８０
副映像 フレームアスペクト １６：９
ピクセル数 １９２０×１０８０

ここで、フレームアスペクトは映像のアスペクト比である。ピクセル数は、映像の解像度（サイズ）であり、映像の横方向及び縦方向の画素数で表される。スケーリングファクタは、副映像（バックグラウンド映像）に主映像を合成する際の横縦方向の拡大又は縮小倍率である。ストリームの作成者は、スケーリングファクタを指定することで、副映像を表示する際の主映像の拡大又は縮小倍率を任意に指定できる。上記の情報は、管理情報３１内に含まれている。

ＡＶ入出力回路１８４は、副映像５２に主映像５０及び字幕映像５４を合成する場合、副映像５２と、主映像５０及び字幕映像５４との間で画素アスペクトが異なるか否かを判断する。ここで、画素アスペクトとは画素の縦横の比である。画素アスペクトが異なる場合、画素変換が必要になる。

ＡＶ入出力回路１８４は、各映像のフレームアスペクト及びピクセル数に基づいて画素アスペクトを判断する。この例では、主映像、字幕映像、及び副映像それぞれの画素アスペクトは、それぞれ１：１（正方画素）であり、同じであるため、画素変換は行わず、スケーリングファクタに基づくスケーリング処理のみを行う。

次にＡＶ入出力回路１８４は、スケーリングファクタ（＝１／２）にしたがい主映像を縮小する。例えば、スケーリングファクタが１／２の場合、ＡＶ入出力回路１８４は、横１９２０×縦１０８０画素の主映像を横９６０×縦５４０画素に縮小する。この際、ＡＶ入出力回路１８４は、主映像５０の縮小に用いたスケーリングファクタで字幕映像を縮小する。

さらに、ＡＶ入出力回路１８４は、スケーリングファクタに基づき、字幕映像５４の視差情報を調整する。この後、ＡＶ入出力回路１８４は、副映像に、縮小した主映像と字幕映像を合成する。

また、他の例である条件（６）の場合、スケーリングファクタ（＝１／４）に基づき、横７２０×縦４８０画素の主映像５０は横１８０×縦１２０画素の主映像に縮小される。この場合、調整後の視差情報（Ｚ）は、主映像の縮小率（１／４）に基づき、Ｙ×１／４で得られる。

上記の例では、画素アスペクトが同じであるため画素変換は行わず、主映像のスケーリングファクタのみに基づいて視差情報（Ｚ）を調整している。

６．２ 第２の視差情報の調整例
視差情報の調整の第２の例を説明する。ここでは、図１０（ａ）に示す主映像５０及び字幕映像５４を合成して、図１０（ｂ）に示す合成画像を生成する場合の、字幕映像の視差情報（水平オフセット量Ｚ）の調整を説明する。

図１０（ｂ）に、条件（１）〜（４）に対する字幕映像の視差情報（水平オフセット量Ｚ）が示されている。条件（１）〜（４）は、主映像５０及び字幕映像５４がともにＳＤ映像であり、副映像５２がＨＤ映像である場合に、副映像５２の一部の領域５３に拡大又は縮小した主映像５０を表示させる場合の条件を示している。

副映像表示がＯＮになることによって、画素変換を考慮した主映像の拡大又は縮小倍率に応じて、字幕映像の視差情報が調整される。

例えば、図１０（ｂ）の条件（１）のように、主映像が横７２０×縦４８０画素である場合において、主映像が横６４０×縦４８０画素に縮小される場合、調整後の字幕映像の視差情報（Ｚ）は、Ｙ×８／９で得ることができる。以下、これを詳細に説明する。

図１０（ｂ）の条件（１）は以下の条件の映像ストリームを前提としている。
＜映像ストリーム＞
主映像 フレームアスペクト ４：３
ピクセル数 ７２０×４８０
スケーリングファクタ １
字幕映像 フレームアスペクト ４：３
ピクセル数 ７２０×４８０
副映像 フレームアスペクト １６：９
ピクセル数 １９２０×１０８０

ＡＶ入出力回路１８４は、副映像５２に主映像５０及び字幕映像５４を合成する場合、副映像５２と、主映像５０及び字幕映像５４との間で画素アスペクトが異なるか否かを判断する。ＡＶ入出力回路１８４は、フレームアスペクト及びピクセル数に基づいて画素アスペクトを判断する。この例では、副映像の画素アスペクトは１：１であるが、主映像及び字幕映像の画素アスペクトは１：０．９となる。よって、副映像５２と、主映像５０及び字幕映像５４との間で画素アスペクトが異なる。このため、ＡＶ入出力回路１８４は画素変換処理を実施する。

ＡＶ入出力回路１８４は、主映像５０の画素アスペクトが副映像５２の画素アスペクトに合致するよう、主映像５０の画素変換を行なう。例えば、ＡＶ入出力回路１８４は、主映像の横縦の画素数の比が４：３になるようにピクセル数を調整する。

つまり、ＡＶ入出力回路１８４は、横７２０×縦４８０画素の主映像の横方向を画素変換パラメータ（＝８／９）で縮小する。その結果、横７２０×縦４８０画素の主映像は、横６４０×縦４８０画素の映像に縮小され、画素アスペクトは１：１になる。同様に、字幕映像５４も、主映像５０の縮小に応じて横方向に縮小される。なお、画素変換パラメータは、映像のフォーマットが決まっている場合、予め立体映像表示制御装置１のメモリに記憶しておけばよい。または、画素変換パラメータを映像ストリームから得られる情報により算出してもよい。

画素変換処理の終了後、スケーリングファクタに基づくスケーリング処理を行う。ＡＶ入出力回路１８４は、スケーリングファクタに基づいて主映像及び字幕映像を拡大又は縮小する。本例では、前提条件で示したようにスケーリングファクタが１であるので、主映像及び字幕映像の拡大、縮小処理は行わない。

次に、ＡＶ入出力回路１８４は、主映像の縮小倍率（換言すれば、画素変換パラメータ及びスケーリングファクタ）に基づいて、字幕映像の視差情報を調整する。例えば、主映像の縮小倍率は、画素変換パラメータ（＝８／９）×スケーリングファクタ（＝１）＝８／９で求まるので、ＡＶ入出力回路１８４は、この値により、字幕情報の視差情報Ｚを調整する。この後、ＡＶ入出力回路１８４は、副映像５２に、縮小された主映像５０と字幕映像５４を合成する。

以上のように、ＡＶ入出力回路１８４は、主映像と副映像の画素アスペクトが異なる場合、スケーリングファクタに加えて画素変換パラメータをも考慮して算出した値を用いて、字幕映像の視差情報Ｚを調整する。これによって、字幕映像の視差調整をより高い精度で調整できるようになる。

６．３ 第３の視差情報の調整例
視差情報の調整の第３の例を説明する。ここでは、図１１（ａ）に示す主映像５０及び字幕映像５４を合成して図１１（ｂ）または図１１（ｃ）に示す合成画像を生成する場合の、字幕映像の視差情報（水平オフセット量Ｚ）の調整を説明する。

図１１（ｂ）の条件（１）〜（２）は、主映像５０及び字幕映像５４が共にＳＤ映像であり、フレームアスペクトが４：３であり、副映像５２がＨＤ映像である場合に、副映像５２の一部の領域５８に拡大又は縮小された主映像５０を表示させる場合の条件を示している。図１１（ｃ）の条件（３）〜（４）は、主映像５０及び字幕映像５４が共にＳＤ映像であり、主映像５０および字幕映像５４のフレームアスペクトが１６：９であり、副映像５２がＨＤ映像である場合に、副映像５２の一部の領域５８に拡大又は縮小された主映像を表示させる場合の条件を示している。図１１（ｂ）、図１１（ｃ）の例では、副映像表示がＯＮになることによって、画素変換を考慮した主映像の拡大又は縮小倍率に応じて、字幕映像の視差情報が調整される。

例えば、図１１（ｃ）の条件（４）に示すように、横７２０×縦５７６画素の主映像を、横１９８０×縦１０８０画素に拡大する場合を検討する。この場合、調整後の字幕映像の視差情報（Ｚ）は、Ｙ×８／３で得ることができる。以下、これを詳細に説明する。

図１１（ｃ）の条件（４）は以下の条件の映像ストリームを前提としている。
＜映像ストリーム＞
主映像 フレームアスペクト １６：９
ピクセル数 ７２０×５７６
スケーリングファクタ １５／８
字幕映像 フレームアスペクト １６：９
ピクセル数 ７２０×５７６
副映像 フレームアスペクト １６：９
ピクセル数 １９２０×１０８０

ＡＶ入出力回路１８４は、副映像５２に主映像５０及び字幕映像５４を合成する場合、副映像５２と、主映像５０及び字幕映像５４との間で、フレームアスペクト及びピクセル数に基づいて画素アスペクトが異なるか否かを判断する。この例では、画素アスペクトが異なるため、ＡＶ入出力回路１８４は画素変換の処理を実施する。

ＡＶ入出力回路１８４は、主映像の画素アスペクトが副映像の画素アスペクトに合致するように主映像の画素変換を行なう。例えば、ＡＶ入出力回路１８４は、主映像の横縦のピクセル数の比が１６：９になるようにピクセル数を調整する。

つまり、ＡＶ入出力回路１８４は、横７２０×縦５７６画素の主映像の横方向を、画素変換パラメータ（６４／４５）で拡大する。その結果、横７２０×縦５７６画素の主映像が、横１０２４×縦５７６画素の映像に拡大される。字幕映像も主映像と同様に拡大される。

画素変換処理の後、スケーリングファクタに基づくスケーリング処理を行う。ＡＶ入出力回路１８４は、スケーリングファクタに基づいて主映像及び字幕映像を拡大又は縮小する。ここで、スケーリングファクタは１５／８であるので、以下のように拡大処理を行なう。

例えば、ＡＶ入出力回路１８４は、スケーリングファクタ＝１５／８に基づき、横１０２４×縦５７６画素の主映像を、横１９８０×縦１０８０画素の映像に拡大する。字幕映像も同様に拡大される。

そして、ＡＶ入出力回路１８４は、主映像の縮小倍率（換言すれば、画素変換パラメータ及びスケーリングファクタ）に基づいて、字幕映像の視差情報を調整する。例えば、主映像の縮小倍率は、画素変換パラメータ（＝６４／４５）×スケーリングファクタ（＝１５／８）＝８／３で求まるので、ＡＶ入出力回路１８４は、この値（８／３）を用いて、字幕情報の視差情報を調整する。この後、ＡＶ入出力回路１８４は、副映像に主映像と字幕映像を合成する。この際、拡大された主映像及び字幕映像において、主映像を配置する領域５８をはみ出した分はカットすればよい。

以上のように、ＡＶ入出力回路１８４は、主映像と副映像の画素アスペクトが異なる場合、スケーリングファクタだけでなく、画素変換パラメータをも考慮して、字幕映像の視差情報を調整する。これによって、字幕映像の視差調整をより高い精度で調整できるようになる。

なお、以上の例は、主映像の拡大および縮小処理の一例であり、主映像を任意の倍率に拡大、縮小してもよく、この場合においても、字幕映像は主映像の拡大／縮小倍率に応じて視差情報を調整するものとする。

７．立体映像表示制御装置の動作例
図１２のフローチャートを参照し、立体映像表示制御装置１の動作例を説明する。本動作例は、アンテナ５で得られた放送波に含まれる立体映像ストリームを立体映像表示装置２に表示させる場合を例にして説明を行なう。また、本動作例は、字幕表示ＯＮになり、副映像表示ＯＮになった状態の立体映像表示制御装置１の動作例である。

まず、ＬＳＩ１８は、チューナ１２を制御して、アンテナ５で受信した放送波から、立体映像ストリームを取得する（Ｓ１）。ＬＳＩ１８は、取得した立体映像ストリームをバッファメモリ１６に記憶する（Ｓ２）。ＬＳＩ１８は、バッファメモリ１６に記憶された立体映像ストリームを読み出し、立体映像ストリームを管理情報、デコード情報及び符号化データに分離する（Ｓ３）。ＬＳＩ１８は、分離した情報をバッファメモリ１６に記憶する。ＬＳＩ１８は、デコード情報に基づいて符号化データをデコードし（Ｓ４）、デコードした立体映像データをバッファメモリ１６に記憶する（Ｓ５）。

そしてＬＳＩ１８は、主映像を拡大又は縮小する必要があるか否かを判別する（Ｓ６）。拡大／縮小の必要性の判断手法は前述のとおりである。

主映像を拡大又は縮小する必要がない場合、ＬＳＩ１８は、字幕映像の視差情報及び副映像に視差情報に基づいて、字幕映像及び副映像を主映像に合成する（Ｓ１０）。この場合、例えば、図６（ｂ）に示すような合成映像が生成される。

一方、主映像を拡大又は縮小する必要がある場合、ＬＳＩ１８は、主映像及び字幕映像をそれぞれ拡大又は縮小する（Ｓ７）。ここで、字幕映像は、主映像と同じ拡大または縮小倍率で拡大又は縮小する。しかしながら、必ずしも倍率を同じにする必要はなく、任意の倍率で字幕映像を拡大又は縮小してもよいし、字幕映像を拡大又は縮小しなくてもよい。そして、ＬＳＩ１８は、主映像の水平方向の拡大又は縮小倍率に応じて、字幕映像の視差情報を調整する（Ｓ８）。主映像の拡大・縮小及び字幕映像の視差情報の調整については前述のとおりである。

その後、ＬＳＩ１８は、調整された視差情報に基づき字幕映像を主映像に合成する（Ｓ９）。また、ＬＳＩ１８は、字幕映像が合成された主映像を、副映像（所定の領域）に合成する。ここで、副映像に含まれるアイコンメニューは、副映像の視差情報に基づき、合成映像（主映像・字幕映像・副映像）に合成される。例えば、図９（ｂ）に示すような合成映像が生成される。

ＬＳＩ１８は、合成された合成映像を立体映像表示装置２に出力する（Ｓ１１）。上記動作を繰り返し行なうことで、ＬＳＩ１８は立体映像表示装置２に表示画面を順次出力する。

７．１ 別の映像合成処理
上述の例では、主映像に字幕映像を合成し、その後、字幕映像が合成された主映像を副映像に合成したが、合成処理はこれに限られない。以下、別の合成処理手順を説明する。図１３は、別の映像合成処理に関するＡＶ入出力回路１８４の機能ブロックを示した図である。第１のスケーリングブロック６１は主映像を入力し、前述の方法で拡大または縮小する。第１のスケーリングブロック６１はさらに、主映像の副映像上への配置位置（オフセット値Px、Py（図７参照））を求める。その後、第１の加算器６２にて、求めた配置位置に基づき、拡大または縮小された主映像を副映像に合成する。

第２のスケーリングブロック６５は、主映像に対する拡大率または縮小率と同じ倍率で、字幕映像を拡大または縮小する。さらに、第２のスケーリングブロック６５は字幕映像の視差情報（Ｚ）を決定する。視差情報（Ｚ）の決定方法は前述のとおりである。第２の加算器６３にて、主映像５０の配置位置及び決定した視差情報（Ｚ）に基づき、拡大または縮小された字幕映像を副映像（または主映像）に合成する。

第３のスケーリングブロック６６は、必要に応じてメニューアイコンを拡大または縮小し、さらに、メニューアイコンの視差情報を求める。第３の加算器６４にて、主映像５０の配置位置及び求めた視差情報に基づき、拡大または縮小されたメニューアイコンを副映像に合成する。

以上のようにして、副映像に対して主映像、字幕映像、メニューアイコンが合成される。

なお、主映像の拡大・縮小率と、字幕映像及びメニューアイコンの拡大・縮小率は異なっても良い。図１３に示す構成のように、主映像及び字幕映像に対してそれぞれ拡大・縮小を行った後、合成することで、それぞれ独立して拡大・縮小率を設定することが可能となり、副映像の生成時の汎用性が増す。

８．まとめ
本実施の形態の立体映像表示制御装置１は、立体視を可能とする映像である主映像のデータと、主映像に合成されて表示される字幕映像のデータと、字幕映像を立体視する際の奥行き方向の表示位置を決定する視差情報とを取得するＬＳＩ１８と、主映像を拡大又は縮小するＬＳＩ１８と、主映像を拡大又は縮小する際の倍率に基づき位置情報を調整するＬＳＩ１８と、調整された位置情報に基づき、字幕映像を立体視可能とするように、字幕映像を拡大又は縮小された主映像に合成するＬＳＩ１８とを備える。

この構成により、立体映像表示制御装置１は、主映像の拡大又は縮小の倍率に応じて、字幕映像の奥行き方向の表示位置を調整できる。これによって、ユーザは、主映像が拡大又は縮小された場合であっても、主映像に付加される字幕映像の奥行き方向の表示位置に違和感を覚えることが少なくなる。

また、本実施の形態の立体映像表示制御装置１は、立体視を可能とする映像である主映像のデータと、主映像に合成されて表示される字幕映像のデータと、副映像のデータと、を取得するＬＳＩ１８と、主映像を拡大または縮小するＬＳＩ１８と、拡大または縮小された主映像と副映像とを、拡大または縮小された主映像が副映像の一部の領域で表示されるように合成するＬＳＩ１８と、付加映像を拡大または縮小する第２のスケーリング手段と、拡大または縮小された付加映像と、主映像と副映像の合成映像とを合成する第２のＬＳＩ１８と、を備える。

この構成により、主映像及び字幕映像それぞれに独立して拡大・縮小率を設定することが可能となり、種々の副映像の生成に適用できる。例えば、上記構成は、以下の場合に特に有効となる。主映像と副映像が立体映像ストリームとして光ディスクに記録され、字幕映像が追加ストリームとしてネットワーク上のサーバに記録されている場合であって、主映像のピクセル数と、字幕映像のピクセル数が異なる場合である。例えば、立体映像表示制御装置が、光ディスクに記録された映像コンテンツを、ネットからダウンロードした字幕映像と合成して、再生する場合などである。
上記のような場合、主映像と字幕映像のスケーリング回路が同じ回路で実現されると、主映像と字幕映像のピクセル数が異なるため、映像の適切なスケーリングができなくなる。これでは、ユーザに対して最適な映像を提供したくてもできない。そこで、本実施の形態のように、主映像と字幕映像に対して、別々のスケーリング回路を設けることによって、主映像と字幕映像間の適切なスケーリングを実現できるようにしている。

なお、立体映像表示制御装置１は立体映像合成装置の一例である。また、字幕映像は、付加映像の一例である。字幕映像の視差情報は、奥行き方向の表示位置を示す位置情報の一例である。ＬＳＩ１８は、取得手段、スケーリング手段、調整手段、合成手段、付加映像スケーリング手段の一例である。

本発明の一実施形態として上記の例を示した。しかし、本発明の思想は上記の特定の実施の形態に限定されるものではない。すなわち、当業者にとっては他の多くの変形例、修正、他の利用が明らかである。

本発明は、立体映像を表示可能なテレビ受像機や、ディスプレイに接続可能な録再機または再生機に適用可能である。

１ 立体映像表示制御装置
２ 立体映像表示装置
３ サーバ
４ 光ディスク
５ アンテナ
６ メモリカード
７ アクティブシャッターメガネ
１１ ディスクドライブ
１２ チューナ
１３ ネットワーク通信インターフェース
１４ メモリデバイスインターフェース
１５ データ伝送インターフェース
１６ バッファメモリ
１７ ＨＤドライブ
１８ ＬＳＩ
１８１ ＣＰＵ
１８２ ストリームコントローラ
１８３ デコーダ
１８４ ＡＶ入出力回路
１８５ システムバス
１８６ メモリコントローラ
１９ フラッシュメモリ
２１ データ伝送インターフェース
２２ コントローラ
２３ メモリ

Claims (10)

1. 立体視を可能とする映像である主映像のデータと、前記主映像に合成されて表示される付加映像のデータと、前記付加映像を立体視する際の奥行き方向の表示位置を決定する位置情報と、を取得する取得手段と、
   前記主映像を拡大又は縮小するスケーリング手段と、
   前記主映像を拡大又は縮小する際の倍率に基づき前記位置情報を調整する調整手段と、
   前記調整された位置情報に基づき、前記付加映像を立体視可能とするように、前記付加映像を前記拡大又は縮小された主映像に合成する合成手段と、
   を備える立体映像合成装置。
2. 前記取得手段は、前記主映像が合成される副映像のデータと、前記主映像が副映像に合成される際の主映像のスケーリング倍率と、をさらに取得し、
   前記スケーリング手段は、前記主映像と前記副映像の間で、それぞれの映像を構成する画素の縦横の長さの比率である画素アスペクトが異なる場合、前記主映像の画素アスペクトを前記副映像の画素アスペクトに合致させるよう定められる係数である画素変換パラメータと、前記スケーリング倍率とに基づいて前記主映像を拡大又は縮小する、
   請求項１に記載の立体映像合成装置。
3. 前記取得手段は、前記主映像が合成される副映像のデータと、前記主映像が副映像に合成される際の主映像のスケーリング倍率と、をさらに取得し、
   前記スケーリング手段は、前記主映像と前記副映像の間で、それぞれの映像を構成する画素の縦横の長さの比率である画素アスペクトが異なる場合、前記主映像の画素アスペクトを前記副映像の画素アスペクトに合致させるように、前記主映像の画素数を変換する処理を行い、その後に、前記スケーリング倍率に基づいて前記主映像を拡大又は縮小する、
   請求項１に記載の立体映像合成装置。
4. さらに、前記付加映像を拡大または縮小する第２のスケーリング手段を備え、
   前記付加映像の拡大または縮小率は前記主映像の拡大または縮小率と同じである、請求項１に記載の立体映像合成装置。
5. 前記位置情報は主映像に対する付加映像のシフト量である、請求項１に記載の立体映像合成装置。
6. 前記付加映像は字幕情報を含む映像である、請求項１に記載の立体映像合成装置。
7. 立体視を可能とする映像である主映像と、副映像とを合成する装置であって、
   前記主映像のデータと、前記主映像に合成されて表示される付加映像のデータと、前記副映像のデータと、を取得する取得手段と、
   前記主映像を拡大または縮小する第１のスケーリング手段と、
   前記拡大または縮小された主映像と前記副映像とを、前記拡大または縮小された主映像が前記副映像の一部の領域で表示されるように合成する第１の合成手段と、
   前記付加映像を拡大または縮小する第２のスケーリング手段と、
   前記拡大または縮小された付加映像と、前記主映像と副映像の合成映像とを合成する第２の合成手段と、
   を備える立体映像合成装置。
8. 前記付加映像の拡大または縮小率は前記主映像の拡大または縮小率と同じである、請求項７に記載の立体映像合成装置。
9. 前記付加映像は字幕情報を含む映像である、請求項７に記載の立体映像合成装置。
10. 立体視を可能とする映像である主映像のデータと、前記主映像に合成されて表示される付加映像のデータと、前記付加映像を立体視する際の奥行き方向の表示位置を決定する位置情報と、を取得し、
    前記主映像を拡大又は縮小し、
    前記主映像を拡大又は縮小する際の倍率に基づき前記位置情報を調整し、
    前記調整された位置情報に基づき、前記付加映像を立体視可能とするように、前記付加映像を前記拡大又は縮小された主映像に合成する、
    立体映像合成方法。

Images