JP2013150103A - 映像処理装置および映像処理方法 - Google Patents

Abstract

【課題】消費電力の増大を抑えた状態で、異なる視点の立体視映像を、１つの画面から表示すること。
【解決手段】映像処理装置１００は、立体視空間におけるユーザ視点を選択する視点選択部１０２と、ユーザ視点ごとに、左目視点および右目視点として、１対の単視点を決定し、更に、ユーザ視点が複数選択されたとき、選択された複数のユーザ視点の間でいずれの単視点を共通使用することができるかを判断し、共通使用することができる複数の単視点を、対応する複数のユーザ視点の間で共通使用される１つの単視点に纏めることを決定する表示映像決定部１０４と、単視点の数に基づいて、単視点に対応する映像のフレームレートを決定する映像表示制御部１０５と、決定されたフレームレートに基づいて、単視点画像を表示する際の明るさレベルを決定する明るさ制御部１０８とを有する。
【選択図】図１

Description

本発明は、多視点立体視を得るための複数の映像に対する処理を行う、映像処理装置および映像処理方法に関する。

映画館での映画鑑賞や家族でのテレビの視聴など、１つの画面に映し出された映像を、複数のユーザが同時に見るケースは多い。近年では、立体視映像（３次元映像、立体視映像）を表示可能な設備や装置の普及が進んでおり、複数のユーザが立体視映像を視聴するケースが増えている。

ところが、立体視映像の飛び出し量の好みは、ユーザによって異なることが多い。そこで、特許文献１に記載の技術は、複数のユーザが１つの画面から立体視映像を得る環境において、立体視の飛び出し量をユーザごとに異ならせることを可能にする。

特許文献１に記載の技術（以下「従来技術」という）は、視点が異なる第１の映像および第２の映像を取得する。従来技術は、第１の映像と、第２の映像を第１のずれ量で左右方向にシフトさせた映像と、第２の映像を第２のずれ量で左右方向にシフトさせた映像という、３つの映像を表示する。具体的には、従来技術は、これら３つの映像を構成する単視点画像（フレーム）を、時分割で表示する。そして、従来技術は、各画像の時分割表示に同期して、ユーザが装着するシャッター付き眼鏡を動作させる。

これにより、第１の映像と第２の映像を第１のずれ量でシフトさせた映像とを見るユーザは、第１のずれ量に対応する飛び出し量の立体視映像を得ることができる。また、第１の映像と第２の映像を第２のずれ量でシフトさせた映像とを見るユーザは、第２のずれ量に対応する飛び出し量の立体視映像を得ることができる。すなわち、従来技術は、立体視映像の飛び出し量を、ユーザごとに異ならせることができる。

また、従来技術は、上記２つの立体視映像の間で、第１の映像を共通使用する。すなわち、従来技術は、第１の映像を構成する各単視点画像を、ユーザごとに表示するのではなく、複数のユーザに対して同時に表示する。

ところで、近年では、立体視映像装置の普及に伴い、立体視視点の位置を、ユーザごとに異ならせたいという要求が存在する。これは、例えば、立体視映像に映し出されている物体を、あるユーザは左側から見たいと考え、他のユーザは右側から見たいと考える場合があるからである。ここで、立体視視点とは、例えば、立体視映像が属する仮想的な空間における、立体視映像を視認する左右の目の位置の中点である。

ところが、上述の飛び出し量が変化しても、立体視視点は変化しない。すなわち、従来技術では、立体視視点の位置をユーザごとに異ならせたいという要求に応えることができない。

一方、近年、多数の立体視視点に対応した立体視（多視点立体視）を得る技術の開発が進んでおり、かかる技術を用いた多視点映像コンテンツが注目されている。多視点映像コンテンツは、視点の異なる３つ以上の映像から、任意の組み合わせの１対の映像を選択してユーザに表示する。これにより、多視点映像コンテンツは、複数の視点について立体視映像を表示することを可能にしている。

そこで、ユーザ視点ごとに、左目視点および右目視点に対応する１対の映像を取得し、各映像を構成する単視点画像を時分割で表示することが考えられる。このようにすれば、複数のユーザが１つの画面から立体視映像を得る環境において、立体視視点の位置をユーザごとに異ならせることができる。

特表２０１０−５０３８８８号公報

しかしながら、この場合、表示装置（特にディスプレイ部）の消費電力が増大してしまうという課題を有する。なぜなら、ユーザ一の数がＮの場合、Ｎ倍のフレームレートが必要となり、表示処理の負荷が高くなるからである。また、フレームレートがＮ倍になると、個々の画像の表示時間はＮ分の１となり、本来の輝度を確保するためには、表示の明るさをＮ倍にしなければならないからである。

本発明の目的は、消費電力の増大を抑えた状態で、異なる視点の立体視映像を、１つの画面から表示することである。

本発明の映像処理装置は、多視点立体視を得るための複数の映像に対する処理を行う映像処理装置であって、立体視空間におけるユーザ視点を選択する視点選択部と、前記ユーザ視点ごとに、前記立体視空間における左目視点および右目視点として、１対の単視点を決定し、更に、前記ユーザ視点が複数選択されたとき、選択された前記複数のユーザ視点の間でいずれの前記単視点を共通使用することができるかを判断し、共通使用することができる前記複数の単視点を、対応する複数の前記ユーザ視点の間で共通使用される１つの前記単視点に纏めることを決定する表示映像決定部と、前記単視点の数に基づいて、前記単視点に対応する前記映像のフレームレートを決定する映像表示制御部と、決定された前記フレームレートに基づいて、前記単視点画像を表示する際の明るさレベルを決定する明るさ制御部とを有する。

本発明の映像処理方法は、多視点立体視を得るための複数の映像に対する処理を行う映像処理方法であって、立体視空間におけるユーザ視点を選択するステップと、前記ユーザ視点ごとに、前記立体視空間における左目視点および右目視点として、１対の単視点を決定するステップと、前記ユーザ視点が複数選択されたとき、選択された前記複数のユーザ視点の間でいずれの前記単視点を共通使用することができるかを判断するステップと、共通使用することができると判断された複数の前記単視点が存在するとき、当該複数の前記単視点を、対応する複数の前記ユーザ視点の間で共通使用される１つの前記単視点に纏めることを決定するステップと、前記単視点の数に基づいて、前記単視点に対応する前記映像のフレームレートを決定するステップと、決定された前記フレームレートに基づいて、前記単視点画像を表示する際の明るさレベルを決定するステップとを有する。

本発明は、消費電力の増大を抑えた状態で、異なる視点の立体視映像を、１つの画面から表示することができる。

本発明の実施の形態１に係る映像処理装置の構成の一例を示すブロック図 本発明の実施の形態２に係る映像処理装置の構成の一例を示すブロック図 本発明の実施の形態２における元映像の視点とユーザ視点との関係の一例を示す模式図 本発明の実施の形態２に係る映像処理装置の動作の一例を示すフローチャート 本発明の実施の形態２における第１の設定例による各フレームおよび各フレームの表示区間の一例を示す模式図 本発明の実施の形態２における第２の設定例による各フレームおよび各フレームの表示区間の一例を示す模式図 本発明の実施の形態３に係る映像処理装置の構成の一例を示すブロック図 本発明の実施の形態３における元映像の視点とユーザ視点との関係の一例を示す模式図 本発明の実施の形態３に係る映像処理装置の動作の一例を示すフローチャート

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
本発明の実施の形態１は、本発明の基本的態様の一例である。

図１は、本実施の形態に係る映像処理装置の構成の一例を示すブロック図である。

図１において、映像処理装置１００は、多視点立体視を得るための複数の映像に対する処理を行う装置である。映像処理装置１００は、視点選択部１０２、表示映像決定部１０４、映像表示制御部１０５、および明るさ制御部１０８を有する。

視点選択部１０２は、立体視空間におけるユーザ視点を選択する。

表示映像決定部１０４は、ユーザ視点ごとに、立体視空間における左目視点および右目視点として、１対の単視点を決定する。更に、表示映像決定部１０４は、ユーザ視点が複数選択されたとき、選択された複数のユーザ視点の間でいずれの単視点を共通使用することができるかを判断する。そして、表示映像決定部１０４は、共通使用することができる複数の単視点を、対応する複数のユーザ視点の間で共通使用される１つの単視点に纏めることを決定する。

映像表示制御部１０５は、単視点の数に基づいて、単視点に対応する映像のフレームレートを決定する。

明るさ制御部１０８は、決定されたフレームレートに基づいて、単視点画像を表示する際の明るさレベルを決定する。

映像処理装置１００は、図示しないが、例えば、ＣＰＵ（central processing unit）、制御プログラムを格納したＲＯＭ（read only memory）などの記憶媒体、およびＲＡＭ（random access memory）などの作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

このような映像処理装置１００は、２つのユーザ視点の間で単視点を共通使用することができる場合に、かかる２つの単視点を１つの単視点に纏めることにより単視点の数を減らすことができる。そして、映像処理装置１００は、フレームレートおよび明るさレベルの増大を抑えることができる。すなわち、映像処理装置１００は、消費電力の増大を抑えた状態で、１つの画面から異なる視点の立体視映像を表示することができる。

（実施の形態２）
本発明の実施の形態２は、本発明を、視点が異なる複数の元映像から多視点立体視映像を生成して表示する装置に適用した例である。以下の説明において、元映像とは、単視点映像であり、時間軸に沿って並べられた複数の単視点画像（以下「フレーム」という）から構成されている映像である。

＜映像処理装置の構成＞
図２は、本実施の形態に係る映像処理装置の構成の一例を示すブロック図である。

図２において、映像処理装置１００は、リード制御部１０１、視点選択部１０２、パラメータ設定部１０３、表示映像決定部１０４、映像表示制御部１０５、画像処理部１０６、映像送信部１０７、明るさ制御部１０８、表示部１０９、および同期信号送信部１１０を有する。

リード制御部１０１は、多視点映像を入力する。具体的には、リード制御部１０１は、例えば、多視点映像のデータを格納したハードディスク（図示せず）にアクセスして、かかるデータを読み込むことにより、多視点映像を入力する。そして、リード制御部１０１は、入力した多視点映像を、画像処理部１０６へ出力する。

なお、多視点映像は、コンテンツ同一の対象を被写体とし左右方向に並ぶ複数の点をそれぞれ視点とした、複数の元映像から構成されている。

視点選択部１０２は、複数の元映像から得られる立体視空間における、ユーザ視点を選択する。ここで、ユーザ視点とは、各ユーザに対する表示の対象となる立体視映像の立体視視点である。本実施の形態において、ユーザ視点として選択可能な視点は、複数の元映像のうち隣り合う２つの元映像の組（以下「元映像対」という）のそれぞれから得られる立体視映像の視点に、限定されているものとする。例えば、視点選択部１０２は、複数の元映像対に対応する選択可能なユーザ視点として提示し、各ユーザから個別に選択を受け付ける。そして、視点選択部１０２は、選択した各ユーザ視点と対応するユーザの識別情報との組を、視点設定情報として、表示映像決定部１０４へ出力する。

図３は、複数の元映像の視点と選択可能なユーザ視点との関係の一例を示す模式図である。

なお、以下の説明において、フレームレートとは、１つの立体視映像を得る場合の、１秒間あたりの左目画像と右目画像との組の数を指すものとする。

図３に示すように、多視点映像１８０は、例えば、同一の対象１９０をそれぞれ第１〜第５の視点１８１〜１８５から撮影した、第１〜第５の元映像２０１〜２０５により構成される。第１〜第５の視点１８１〜１８５は、この順序で、左右方向に円弧状に並んでいる。また、第１〜第５の元映像２０１〜２０５のそれぞれのフレームレートは、例えば、６０［ｆｐｓ］（フレーム毎秒）である。すなわち、第１〜第５の元映像２０１〜２０５は、それぞれ、１／６０秒の長さで表示されるべきフレームを時系列で並べた映像である。

例えば、第１〜第５の視点１８１〜１８５の隣り合う組ごとに、その組の真ん中の位置が、この順序で、選択可能な第１〜第４のユーザ視点２１２、２２３、２３４、２４５となっている。

図２のパラメータ設定部１０３は、選択されたユーザ視点ごとに、立体視空間に関する所定のパラメータを決定する。ここで、所定のパラメータとは、立体視空間の飛び出し量を含むものとする。例えば、パラメータ設定部１０３は、１（最小、デフォルト値）〜５（最大）を、５段階の選択可能な飛び出し量として提示して、各ユーザから個別に選択を受け付ける。そして、パラメータ設定部１０３は、決定した各飛び出し量と対応するユーザの識別情報との組を、飛び出し量設定情報として、表示映像決定部１０４および画像処理部１０６へ出力する。

なお、視点設定情報と飛び出し量設定情報との対応付けは、例えば、それぞれに含まれるユーザの識別情報（以下「ユーザ情報」という）を介して行われる。ここで、ユーザ情報は、各ユーザが装着する、後述のシャッター付き眼鏡ごとに割り当てられている識別情報とする。

表示映像決定部１０４は、選択されたユーザ視点ごとに、立体視空間における左目視点および右目視点として、１対の単視点を決定する。以下、選択されたユーザ視点に対応する単視点は、「選択単視点」といい、選択単視点に対応する元映像は「選択元映像」という。

更に、表示映像決定部１０４は、ユーザ視点が２つ選択されたとき、２つのユーザ視点の間でいずれの単視点を共通使用することができるかを判断する。そして、表示映像決定部１０４は、共通使用することができる２つの単視点を、２つのユーザ視点の間で共通使用される１つの単視点（以下「共通使用単視点」という）とすることを決定する。

具体的には、例えば、表示映像決定部１０４は、予め、選択可能な複数のユーザ視点と、単視点対と、元映像との関係を示す情報（以下「位置対応付け情報」という）を、保持している。そして、表示映像決定部１０４は、入力された視点設定情報と、保持する位置対応付け情報とに基づいて、選択されたユーザ視点ごとに、単視点対および元映像対を決定する。ここで、元映像対とは、単視点対に対応する一対の元映像をいう。

そして、表示映像決定部１０４は、２つの単視点対の間で単視点が重複している場合には、その単視点を共通使用単視点に決定する。そして、表示映像決定部１０４は、共通使用単視点に対応する元映像を、２つの元映像対の間で共通使用される１つの映像（以下「共通使用映像」という）に決定する。

また、表示映像決定部１０４は、入力された飛び出し量設定情報と、決定した共通使用映像とに基づいて、飛び出し量調整対象となる映像（以下「飛び出し量調整映像」）を決定する。

更に、表示映像決定部１０４は、表示が必要な映像の数（つまり、表示の対象となる立体視映像の単視点の数、以下「表示映像数」という）を決定する。

そして、表示映像決定部１０４は、選択されたユーザ視点、決定された選択元映像、決定された飛び出し量調整映像、および決定された表示映像数を示す情報（以下「画像処理情報」という）、画像処理部１０６へ出力する。また、表示映像決定部１０４は、決定された表示映像数を示す情報を、映像表示制御部１０５および画像処理部１０６へ出力する。

なお、ユーザ視点を示す情報、飛び出し量を示す情報、元映像を示す情報、選択元映像を示す情報、および、飛び出し量調整映像を示す情報を含む、各情報間の対応付けは、例えば、映像の識別情報およびユーザ情報を介して行われる。

映像表示制御部１０５は、表示映像数に基づいて、選択単視点に対応して表示される各映像のフレームレートを決定する。そして、映像表示制御部１０５は、決定したフレームレートを示す情報（以下「フレームレート情報」という）を、画像処理部１０６、映像送信部１０７、明るさ制御部１０８、および表示部１０９へ出力する。

画像処理部１０６は、入力された複数の元映像から、複数の選択単視点に対応する複数の映像を取得する。また、画像処理部１０６は、決定された飛び出し量に基づいて、共通使用映像以外の映像に対して画像処理を行い、画像処理を行った後の複数の映像を、上述の複数の選択単視点に対応する複数の映像として取得する。そして、画像処理部１０６は、取得した映像を、当該映像の表示の対象となるユーザ視点を示すユーザ情報と対応付けて、映像送信部１０７へ出力する。

本実施の形態において、画像処理部１０６は、複数の元映像の中から、複数の選択単視点に対応する映像を取得するものとする。ただし、元映像のフレームレートと決定された映像のフレームレートとが一致しないとき、画像処理部１０６は、複数の元映像から必要な補間画像（補間フレーム）を生成して、当該補間画像を含む複数の映像を生成するものとする。

映像送信部１０７は、決定されたフレームレートとなるように、複数の映像を編集する。具体的には、映像送信部１０７は、入力された複数の映像を構成するフレームのそれぞれを、入力されたフレームレート情報が示すフレームレートに従って、所定の順序およびタイミングで表示部１０９へ出力する。また、映像送信部１０７は、映像ごとの各フレームの表示タイミング（出力タイミング）を示す表示タイミング情報と、表示の対象となるユーザ視点を示すユーザ情報とを、同期信号送信部１１０へ出力する。

明るさ制御部１０８は、決定されたフレームレートに基づいて、映像の（フレームの）明るさレベルを決定する。具体的には、明るさ制御部１０８は、入力されたフレームレート情報が示すフレームレートから、後述のバックライト（図示せず）の明るさを決定し、決定した明るさとなるように、表示部１０９に対して指示信号を出力する。

表示部１０９は、編集された複数の映像を表示する。具体的には、表示部１０９は、入力された複数のフレームのそれぞれを、その入力タイミングに従って表示する。本実施の形態において、表示部１０９は、１２０［ｆｐｓ］の表示性能を持つ液晶ディスプレイであり、明るさ制御部１０８から入力される指示信号に従って、バックライトの明るさを調整するものとする。

同期信号送信部１１０は、複数の映像からユーザ視点ごとに当該ユーザ視点における立体視を得るための光学機器に対する同期信号を、光学機器へ送信する。この同期信号は、複数のフレームのそれぞれの表示区間に同期して動作させるための信号である。本実施の形態において、同期信号は、無線信号であるものとする。また、光学機器は、同期信号に従って、左目用液晶ガラスと右目用液晶ガラスとを個別にオンオフ制御可能な、シャッター付き眼鏡であるものとする。

映像処理装置１００は、図示しないが、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭなどの記憶媒体、およびＲＡＭなどの作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

このような映像処理装置１００は、２つのユーザ視点の間で単視点を共通使用することができる場合に、かかる２つの単視点を１つの単視点に纏めることにより単視点の数を減らすことができる。そして、映像処理装置１００は、単視点の数に基づいて、立体視映像のフレームレートを決定し、決定したフレームレートに基づいて表示の明るさレベルを決定することができる。これにより、映像処理装置１００は、１つの画面から異なる視点の立体視映像を表示する場合であっても、フレームレートおよび明るさレベルの増大を極力抑えることができる。

また、映像処理装置１００は、ユーザごとに、ユーザ視点および飛び出し量の選択を受け付け、表示の対象となる映像の決定および画像処理を行うことができる。また、映像処理装置１００は、ユーザごとに、複数の映像を構成するフレームの表示に同期して、ユーザが装着するシャッター付き眼鏡を動作させることができる。これにより、映像処理装置１００は、複数のユーザのそれぞれに対して、ユーザが所望する方向かつ飛び出し量で、立体視映像を表示することができる。

＜映像処理装置の動作＞
図４ は、映像処理装置１００の動作の一例を示すフローチャートである。

まず、ステップＳ１０１０において、視点選択部１０２は、立体視映像の表示の対象となる、１つまたは複数のユーザ視点を選択する。また、パラメータ設定部１０３は、選択されたユーザ視点ごとに、飛び出し量を選択する。

そして、ステップＳ１０２０において、表示映像決定部１０４は、ユーザ視点ごとに、単視点対を決定する。

そして、ステップＳ１０３０において、表示映像決定部１０４は、ユーザ視点が２つ選択されているとき、これらの間でいずれかの単視点を共通使用することができるか否かを判断する。表示映像決定部１０４は、いずれかの単視点を共通使用することができる場合（Ｓ１０３０：ＹＥＳ）、ステップＳ１０４０へ進む。また、表示映像決定部１０４は、いずれかの単視点についても共通使用することができない場合（ユーザ視点が、１つしか選択されていない場合を含む）（Ｓ１０３０：ＮＯ）、ステップＳ１０５０へ進む。

そして、ステップＳ１０５０において、表示映像決定部１０４は、選択単視点を決定し、表示映像数を算出する。

表示映像決定部１０４は、例えば、ユーザ視点が２つ選択され、一方の右目視点の位置と他方の左目視点の位置とが一致する場合、これらを１つの単視点として扱い、表示映像数を３とする。また、表示映像決定部１０４は、例えば、ユーザ視点が２つ選択され、双方の右目視点の位置が一致し、双方の左目視点の位置も一致する場合、これらをそれぞれ１つの単視点として扱い、表示映像数を２とする。

そして、ステップＳ１０６０において、映像表示制御部１０５は、表示映像数から、表示の対象となる映像のフレームレートを決定する。

フレームレートの決定手法は、例えば、以下の通りである。映像表示制御部１０５には、表示部１０９の最大表示性能と、１映像あたりの最低フレームレートとが、予め設定されている。そして、映像表示制御部１０５は、最大表示性能を表示映像数で除した値が、最低フレームレート以上である場合、その算出結果を、各映像のフレームレートとして決定する。

例えば、最大表示性能は、１２０［ｆｐｓ］であり、最低フレームレートは３０［ｆｐｓ］であり、表示映像数が３であったとする。この場合、算出結果である１２０［ｆｐｓ］÷３＝４０［ｆｐｓ］は、３０［ｆｐｓ］よりも高い。したがって、映像表示制御部１０５は、４０［ｆｐｓ］を、各映像のフレームレートとして決定する。

そして、ステップＳ１０７０において、明るさ制御部１０８は、フレームレートから、明るさレベルを決定し、表示部１０９のバックライトを制御する。

そして、ステップＳ１０８０において、リード制御部１０１は、多視点映像を入力する。なお、リード制御部１０１は、ここで入力された各フレームが後続のフレームについて行われるフレーム補間に用いられる場合、そのフレーム補間が完了するまで保持する。

そして、ステップＳ１０９０において、画像処理部１０６は、元映像に対して、補間フレームの生成や映像の表示位置のシフトなどの必要な画像処理を行い、各選択単視点の映像を取得する。

そして、ステップＳ１１００において、映像送信部１０７は、決定されたフレームレートで、各映像のフレームを表示部１０９に表示させるとともに、各フレームの表示区間に同期して、シャッター付き眼鏡の動作を制御する。

そして、ステップＳ１１１０において、画像処理部１０６は、ユーザ操作などにより処理の終了を指示されたか否かを判断する。画像処理部１０６は、処理の終了を指示された場合（Ｓ１１１０：ＹＥＳ）、一連の処理を終了する。また、画像処理部１０６は、処理の終了を指示されていない場合（Ｓ１１１０：ＮＯ）、ステップＳ１１２０へ進む。

ステップＳ１１２０において、視点選択部１０２およびパラメータ設定部１０３は、ユーザ視点あるいは飛び出し量の選択の切り替えがあったか否かを判断する。視点選択部１０２およびパラメータ設定部１０３は、ユーザ視点および飛び出し量の選択の切り替えがない場合（Ｓ１１２０：ＮＯ）、ステップＳ１０８０へ戻る。また、視点選択部１０２およびパラメータ設定部１０３は、ユーザ視点あるいは飛び出し量の選択の切り替えがあった場合（Ｓ１１２０：ＹＥＳ）、ステップＳ１０２０へ戻る。この結果、選択切り替え後のユーザ視点および飛び出し量に基づいて、映像処理が行われることになる。

このような動作により、映像処理装置１００は、適宜、ユーザ視点あるいは飛び出し量の選択切り替えを受け付けることができる。そして、映像処理装置１００は、ユーザ視点の間で単視点を共通使用することができる場合に、かかる２つの単視点を１つの単視点としながら、映像表示を行うことができる。

なお、映像処理装置１００は、ユーザ視点が３つ以上選択されている場合、それらの中の２つのペアごとに、ステップＳ１０３０、Ｓ１０４０の処理を行い、選択単視点を決定してもよい。ただし、選択単視点が４つ以上連続している場合は、共通化できない単視点が発生することがある。この場合、映像処理装置１００は、その視点について、シフト方向の異なる、同じ視点からの２つの単視点映像を生成してもよい。

＜立体視映像の例＞
選択単視点、選択元映像、共通使用単視点、飛び出し量調整映像、表示映像数、画像処理の内容、各フレームの表示区間などのパラメータは、ユーザ視点の選択や飛び出し量の選択に応じて異なる。また、これらのパラメータが異なると、映像のフレームレートは異なる。以下では、ユーザ視点の設定例をいくつか挙げ、立体視映像の表示内容の違いについて説明する。

＜第１の設定例＞
第１の設定例は、図３に示す例において、第１のユーザが、第１のユーザ視点２１２と飛び出し量「５」とを選択し、第２のユーザが、第２のユーザ視点２２３と飛び出し量「１」とを選択した場合である。

この場合、第１のユーザに対して、第１の視点１８１および第２の視点１８２が決定され、第２のユーザに対して、第２の視点１８２および第３の視点１８３が決定される。したがって、表示映像決定部１０４は、第２の視点１８２を、共通使用単視点に決定し、表示映像数を「３」に決定する。

映像表示制御部１０５は、表示映像数「３」と、表示部１０９の表示レート性能１２０［ｆｐｓ］とから、各映像のフレームレートを４０［ｆｐｓ］に決定し、表示部１０９における１フレームあたりの表示時間を、１／１２０［ｓｅｃ］に決定する。すなわち、映像表示制御部１０５は、立体視映像全体のフレームレートを、１２０［ｆｐｓ］に決定する。

この結果、元映像のフレームレートが６０［ｆｐｓ］であるのに対し、表示される映像のフレームレートは、その２／３である。すなわち、個々のユーザに対して表示される立体視映像の単位時間当たりの表示時間は、２／３となる。したがって、明るさ制御部１０８は、バックライトの明るさが、１つの立体視映像を表示する場合の３／２となるように、表示部１０９を制御する。

そして、画像処理部１０６は、表示が必要な映像である、第１〜第３の元映像２０１〜２０３のみを入力する。そして、画像処理部１０６は、決定されたフレームレート「４０［ｆｐｓ］」に基づき、第１〜第３の元映像２０１〜２０３から、必要なフレームを抽出する。

この際、画像処理部１０６は、所望のタイミングのフレームが無い場合、そのタイミングの前後に存在するフレームから補間フレームを生成する。所望のタイミングのフレームとは、決定されたフレームレートにおいて同一のフレーム区間に属する全てのフレームの表示開始タイミングが、基のフレームレートにおいて同一のフレーム区間に収まっているようなフレームである。

ここでは、元映像のフレームレート６０［ｆｐｓ］に対し決定されたフレームレートは４０［ｆｐｓ］であるため、第１〜第３の元映像２０１〜２０３のフレームレートを落とす必要がある。以下、第１〜第３の元映像２０１〜２０３のフレームレートを落とした映像は、この順序で、第１〜第３の映像という。

ここでは、第２の映像が、共通使用映像となる。そして、飛び出し量がデフォルト値「１」ではない 第１のユーザ視点２１２に対応する、第１の映像および第２の映像のうち、共通使用映像ではない映像である第１の映像が、飛び出し量調整映像となる。したがって、画像処理部１０６は、第１の元映像２０１に対して、飛び出し量「５」に対応する量だけ右方向にシフトさせる画像処理を行う。

この結果、第１の設定例において、立体視映像は、第１〜第３の元映像２０１〜２０３のフレームレートを落として得られる第１〜第３の映像から成り、第１の映像をデフォルトの位置よりも右方向にシフトさせた内容となる。

図５は、第１の設定例による各フレームおよび各フレームの表示区間の一例を示す模式図である。ここで記号ｆは、元映像を構成するフレームを示す。また、記号Ｆは、表示の対象となる映像を構成するフレームを示す。

図５に示すように、画像処理部１０６は、第１のユーザに対して表示される映像のフレームＦ１１、Ｆ２１として、第１および第２の元映像２０１、２０２のフレームｆ１１、ｆ２１をそのまま使用する。また、画像処理部１０６は、第２のユーザに対して表示される映像のフレームＦ２１（第１のユーザと共通使用）、Ｆ３１として、第２および第３の元映像２０２、２０３のフレームｆ２１、ｆ３１をそのまま使用する。

ところが、その１／４０［ｓｅｃ］後にあたるフレームは、第１〜第３の元映像２０１〜２０３には存在しない。すなわち、フレームｆ１２、ｆ２２、ｆ３２のフレーム区間は、決定したフレームレートにおける後続の３つのフレームの表示開始タイミングに対応しない。

したがって、画像処理部１０６は、１／４０［ｓｅｃ］後のタイミングの前後フレームにあたるフレームｆ１２、ｆ１３と、フレームｆ２２、ｆ２３と、フレームｆ３２、ｆ３３とを取得する。そして、画像処理部１０６は、これらのフレームから、１／４０［ｓｅｃ］後のタイミングにあたる補間画像として、フレームＦ１２３、Ｆ２２３、Ｆ３２３を生成する。

そして、画像処理部１０６は、更に１／４０［ｓｅｃ］後のタイミングについて、フレームｆ１４、ｆ２４、ｆ３４が存在するので、これらをそのまま、フレームＦ１４、Ｆ２４、Ｆ３４のタイミングのフレームとして使用する。

＜第２の設定例＞
第２の設定例は、図３に示す例において、第１のユーザが、第２のユーザ視点２２３と飛び出し量「５」とを選択し、第２のユーザが、第３のユーザ視点２３４と飛び出し量「１」とを選択した場合である。

この場合には、第１のユーザに対して、第２の視点１８２および第３の視点１８３が決定され、第２のユーザに対して、第３の視点１８３および第４の視点１８４が決定される。したがって、表示映像決定部１０４は、第３の視点１８３を、共通使用単視点に決定し、表示映像数を「３」に決定する。

フレームレートの決定および画像処理は、第１の設定例と同様である。ただし、画像処理部１０６は、第２〜第４の元映像２０２〜２０４に対して画像処理を行う。

この結果、第２の設定例において、立体視映像は、第２〜第４の元映像２０２〜２０４のフレームレートを落として得られる第１〜第３の映像から成り、第１の映像をデフォルトの位置よりも右方向にシフトさせた内容となる。

図６は、第２の設定例による各フレームおよび各フレームの表示区間の一例を示す模式図であり、図５に対応するものである。

図６に示すように、画像処理部１０６は、最初のタイミングについて、フレームｆ２１、ｆ３１、ｆ４１が存在するので、これらをそのまま、フレームＦ２１、Ｆ３１、Ｆ４１のタイミングのフレームとして使用する。また、画像処理部１０６は、２／４０［ｓｅｃ］後のタイミングについても、フレームｆ２４、ｆ３４、ｆ４４が存在するので、これらをそのまま、フレームＦ２４、Ｆ３４、Ｆ４４のタイミングのフレームとして使用する。一方、１／４０［ｓｅｃ］後のタイミングについて、画像処理部１０６は、前後フレームにあたるフレームｆ２２、ｆ３２、ｆ４２、ｆ２３、ｆ３３、ｆ４３から、補間画像として、フレームＦ２２３、Ｆ３２３、Ｆ４２３を生成する。

＜第３の設定例＞
第３の設定例は、図３に示す例において、第１のユーザが、第１のユーザ視点２２３と飛び出し量「５」とを選択し、第２のユーザが、第３のユーザ視点２４５と飛び出し量「１」とを選択した場合である。

この場合には、第１のユーザに対して、第２の視点１８２および第３の視点１８３が決定され、第２のユーザに対して、第４の視点１８４および第５の視点１８５が決定される。

ここで、表示映像決定部１０４は、第３の視点１８３と第４の視点１８４とを、１つの単視点に纏めることができるか否かを判断する。すなわち、表示映像決定部１０４は、第３の元映像２０３と第４の元映像２０４とから、これらの２つの視点の間の位置を視点とする補間映像を合成することができるか否かを判断する。かかる補間映像は、例えば、第３の元映像２０３もしくは第４の元映像２０４のいずれか一方に対し、後述の視点変換処理を行うことにより、行われる。

補間映像を合成することができるか否かは、例えば、対応する両フレームにおいて映っているオブジェクトの全てが共通しているか否かによって判断することができる。すなわち、表示映像決定部１０４は、例えば、両方の映像を時間軸に沿って探索し、いずれか一方にしか映っていないオブジェクトが存在するか否かを判断する。そして、表示映像決定部１０４は、いずれか一方にしか映っていないオブジェクトが存在しなければ、補間映像を合成することができると判断する。また、表示映像決定部１０４は、いずれか一方にしか映っていないオブジェクトが存在すれば、補間映像を合成することができないと判断する。

表示映像決定部１０４は、補間映像を合成することができない場合、共通使用単視点を決定せず、表示映像数を「４」に決定する。そして、映像表示制御部１０５は、表示映像数「４」と、表示部１０９の表示レート性能１２０［ｆｐｓ］とから、各映像のフレームレートを３０ｆｐｓに決定する。更に、表示映像決定部１０４は、表示部１０９における１フレームあたりの表示時間を、１／１２０［ｓｅｃ］に決定する。すなわち、表示映像決定部１０４は、立体視映像全体のフレームレートを、１２０［ｆｐｓ］に決定する。

この結果、元映像のフレームレートが６０［ｆｐｓ］であるのに対し、表示される映像のフレームレートは、その１／２である。すなわち、個々のユーザに対して表示される立体視映像の単位時間当たりの表示時間は、１／２となる。したがって、明るさ制御部１０８は、通常の立体視映像表示時のバックライトの明るさの２倍の明るさとなるように、表示部１０９を制御する。そして、立体視映像は、第２〜第５の元映像２０２〜２０５のフレームレートを落として得られる第２〜第５の映像から成る。

また、表示映像決定部１０４は、補間映像を合成することができる場合、共通使用単視点を決定し、例えば、表示映像数を「３」に決定する。フレームレートの決定および画像処理は、第１の設定例と同様である。ただし、画像処理部１０６は、第２の元映像２０２、補間映像、および第５の元映像２０５に対して、画像処理を行う。

この結果、第３の設定例で共通使用単視点を決定する場合、立体視映像は、第２〜第５の元映像２０２〜２０５のフレームレートを落とし、かつ、映像の合成を行って得られる、第２の映像、補間映像、および第５の映像から成る。

すなわち、画像処理部１０６は、複数の単視点の位置が一致しないとき、複数の元映像から、当該複数の位置を代表する位置を視点とする補間画像を生成する。そして、画像処理部１０６は、当該補間画像を含む複数の映像を生成する。

以上説明したように、本実施の形態に係る映像処理装置１００は、２つのユーザ視点の間で単視点を共通使用することができる場合に、かかる２つの単視点を１つの単視点に纏めることにより単視点の数を減らすことができる。そして、映像処理装置１００は、単視点の数に基づいて、立体視映像のフレームレートを決定し、決定したフレームレートに基づいて表示の明るさレベルを決定することができる。これにより、映像処理装置１００は、１つの画面から異なる視点の立体視映像を表示する場合であっても、フレームレートおよび明るさレベルの増大を極力抑えることができる。

例えば、２つのユーザ視点が選択されている状況において、ユーザ視点ごとに個別に選択単視点を決定した場合は、共通使用することができる単視点が存在したとしても、選択単視点は４つとなり、表示映像数も４となる。そして、表示映像数に基づいてフレームレートを決定したり画像補間を行ったりせず、元映像を構成するフレームのそれぞれを表示する場合は、表示のフレームレートは元映像のフレームレートの倍となる。また、バックライトに必要な明るさは、１つの立体視映像を表示する場合の倍となる。

これに対し、本実施の形態に係る映像処理装置１００は、上述の通り、表示のフレームレートを、元映像のフレームレートの２／３とすることができ、バックライトの明るさの増大を、３／２とすることができる。

すなわち、映像処理装置１００は、消費電力の増大を抑えた状態で、１つの画面から異なる視点の立体視映像を表示することができる。

（実施の形態３）
本発明の実施の形態３は、元映像対から得られる立体視に対応した位置以外の位置を含む範囲からユーザ視点を選択することができるようにした例である。

図７は、本実施の形態に係る映像処理装置の構成の一例を示すブロック図であり、実施の形態２の図２に対応するものである。図２と同一部分には、同一符号を付し、これについての説明を省略する。

図７において、映像処理装置１００ａは、図２の視点選択部１０２、表示映像決定部１０４、および画像処理部１０６に代えて、視点選択部１０２ａ、表示映像決定部１０４ａ、および画像処理部１０６ａを有する。

視点選択部１０２ａは、実施の形態２の視点選択部１０２と同様の機能を有する。ただし、視点選択部１０２ａは、複数の元映像の視点のうち、両端の視点の間の任意の位置から、立体視空間におけるユーザ視点を選択する。例えば、視点選択部１０２ａは、両端の視点の間の任意の位置について、各ユーザから個別に選択を受け付ける。すなわち、本実施の形態において、選択されるユーザ視点は、元映像対から得られる立体視に対応する位置に、必ずしも一致しない。ユーザは、両端の視点の間の範囲内で、自己の立体視視点を自由に選択することができる。

図８は、本実施の形態における複数の元映像の視点と選択可能なユーザ視点との関係の一例を示す模式図であり、実施の形態２の図３に対応するものである。図３と同一部分には、同一符号を付し、これについての説明を省略する。

図３に示すように、例えば、第１の視点１８１と第２の視点１８２との間であって、少し第２の視点１８２側に寄っている位置が、第１の任意のユーザ視点６１２として選択される。また、例えば、第２の視点１８２と第３の視点１８３との間であって、少し第２の視点１８２側に寄っている位置が、第２の任意のユーザ視点６２３として選択される。

図７の表示映像決定部１０４ａは、実施の形態２の表示映像決定部１０４と同様の機能を有する。ただし、表示映像決定部１０４ａは、ユーザ視点ごとに、当該ユーザ視点を挟んで位置する単視点対を、立体視映像に用いる単視点対として決定する。また、表示映像決定部１０４ａは、ユーザ視点を示す情報を、画像処理情報に含めて、画像処理部１０６ａへ出力する。

画像処理部１０６ａは、実施の形態２の画像処理部１０６と同様の機能を有する。ただし、画像処理部１０６ａが行う画像処理は、選択されたユーザ視点に対応する左目位置および右目位置を、それぞれ視点としたときの映像に変換する処理（以下「視点変換処理」という）を含む。すなわち、画像処理部１０６ａは、表示される立体視映像に対応する位置が、選択されたユーザ視点に一致するように、各映像に対する視点変換処理を行う。

視点変換処理の内容は、特定のものに限定されない。例えば、画像処理部１０６ａは、元映像対からデプスマップ（奥行きを表現した画像データ）を生成する。そして、画像処理部１０６ａは、生成したデプスマップに基づいて、選択されたユーザ視点からの右目映像となるように、右目用の元映像の各画素のシフトと、オクルージョン領域の線形補間処理を実施する。これにより、画像処理部１０６ａは、右目映像の視点変換を行う。また、左目映像の視点変換のほうがより変換の度合が少なくて済む場合（つまり、左側にユーザ視点が寄っている場合には）、左目用の元映像に対して、同様の処理を行う。

図９は、映像処理装置１００ａの動作の一例を示すフローチャートであり、実施の形態２の図４に対応するものである。図４と同一部分には、同一ステップ番号を付し、これについての説明を省略する。

映像処理装置１００ａは、図４のステップＳ１０１０、Ｓ１０２０、Ｓ１０９０に代えて、ステップＳ１０１０ａ、Ｓ１０２０ａ、Ｓ１０９０ａの処理を行う。

ステップＳ１０１０ａにおいて、視点選択部１０２ａは、立体視映像の表示の対象となる、１つまたは複数のユーザ視点を、表示可能な範囲内の任意の位置から選択する。そして、パラメータ設定部１０３は、飛び出し量を選択する。

ステップＳ１０２０ａにおいて、表示映像決定部１０４ａは、選択されたユーザ視点ごとに、当該ユーザ視点を挟む単視点対を、使用する単視点対に決定する。

ステップＳ１０９０ａにおいて、画像処理部１０６ａは、元映像に対して、視点変換処理を含む必要な画像処理を行い、各選択単視点の映像を取得する。

このような映像処理装置１００ａは、表示の対象となる映像を、ユーザ視点に対応する左目位置および右目位置をそれぞれ視点としたときの映像に変換することができる。これにより、映像処理装置１００ａは、ユーザに対して、より自由な立体視視点の選択を可能にする。すなわち、映像処理装置１００ａは、低消費電力での複数の立体視映像の表示を、より自由に選択された視点についても行うことができる。

また、映像処理装置１００ａは、同数の元映像からより多くの視点の立体視映像を表示することができるため、必要な元映像の数を減らすことができる。

なお、以上説明した実施の形態２および実施の形態３において、リード制御部は、多視点映像をハードディスクからリードするとしたが、多視点映像の取得先はハードディスクに限定されない。例えば、リード制御部は、ＳＳＤ（Solid State Drive）やＤＲＡＭ（Dynamic Random Access Memory）などの記憶媒体、あるいは、無線ＬＡＮなどの通信インターフェースによりネットワークを介して接続するサーバから、多視点映像を取得してもよい。

また、パラメータ設定部が決定する所定のパラメータは、立体視映像の飛び出し量に限定されない。パラメータ設定部は、例えば、映像のコントラストや明るさ、拡大・縮小率など、画像処理に関連するパラメータを、ユーザ視点ごとに決定してもよい。また、この場合、画像処理部は、決定されたパラメータに従って、対応する映像のコントラストや明るさ、拡大・縮小率などを修正する。また、所定のパラメータは、実施の形態３におけるユーザ視点の位置を含んでもよい。この場合は、視点選択部を不要とすることができる。

また、リード制御部は、選択されたユーザ視点に対応する立体視映像に必要な元映像のみを取得するようにしてもよい。

また、明るさ制御部は、表示部のバックライトの制御以外の手段により、立体視映像の明るさレベルを制御してもよい。例えば、明るさ制御部は、表示部の液晶の開口率の制御により、または、かかる開口率の制御とバックライトの制御との併用により、明るさレベルを制御してもよい。

また、同期信号送信部は、赤外線（ＩＲ）信号などにより、シャッター付き眼鏡の動作を制御してもよい。

本発明は、消費電力の増大を抑えた状態で、異なる視点の立体視映像を、１つの画面から表示することができる映像処理装置および映像処理方法として有用である。特に、本発明は、画面が大きいテレビや、ノートパソコンなど、多視点立体視影像の視聴が行われる機会が増える可能性が高く、かつ、低消費電力が求められるような各種の装置に好適である。

１００、１００ａ 映像処理装置
１０１ リード制御部
１０２、１０２ａ 視点選択部
１０３ パラメータ設定部
１０４、１０４ａ 表示映像決定部
１０５ 映像表示制御部
１０６、１０６ａ 画像処理部
１０７ 映像送信部
１０８ 明るさ制御部
１０９ 表示部
１１０ 同期信号送信部

Claims (9)

1. 多視点立体視を得るための複数の映像に対する処理を行う映像処理装置であって、
   立体視空間におけるユーザ視点を選択する視点選択部と、
   前記ユーザ視点ごとに、前記立体視空間における左目視点および右目視点として、１対の単視点を決定し、更に、前記ユーザ視点が複数選択されたとき、選択された前記複数のユーザ視点の間でいずれの前記単視点を共通使用することができるかを判断し、共通使用することができる前記複数の単視点を、対応する複数の前記ユーザ視点の間で共通使用される１つの前記単視点に纏めることを決定する表示映像決定部と、
   前記単視点の数に基づいて、前記単視点に対応する前記映像のフレームレートを決定する映像表示制御部と、
   決定された前記フレームレートに基づいて、前記単視点画像を表示する際の明るさレベルを決定する明るさ制御部と、を有する、
   映像処理装置。
2. 同一の対象を被写体とし左右方向に並ぶ複数の点をそれぞれ視点とした、複数の元映像を入力するリード制御部と、
   前記複数の元映像から、前記複数の単視点に対応する複数の前記映像を取得する画像処理部と、
   決定された前記フレームレートとなるように、前記複数の映像を編集する映像送信部と、
   編集された前記複数の映像を表示する表示部と、
   前記複数の映像から前記ユーザ視点ごとに当該ユーザ視点における立体視を得るための光学機器を、前記複数の単視点画像のそれぞれの表示区間に同期して動作させるための同期信号を、前記光学機器へ送信する同期信号送信部と、を更に有する、
   請求項１記載の映像処理装置。
3. 前記視点選択部は、
   前記複数の元映像から得られる複数の立体視に対応する複数の視点位置の中から、前記ユーザ視点を選択し、
   前記画像処理部は、
   前記複数の元映像の中から、前記複数の単視点に対応するものを、前記複数の映像として取得する、
   請求項２記載の映像処理装置。
4. 前記画像処理部は、
   前記元映像のフレームレートと前記映像のフレームレートとが一致しないとき、前記複数の元映像から必要な補間画像を生成して、当該補間画像を含む前記複数の映像を生成する、
   請求項２記載の映像処理装置。
5. 前記画像処理部は、
   前記複数の単視点の位置が一致しないとき、前記複数の元映像から、当該複数の位置を代表する位置を視点とする補間画像を生成して、当該補間画像を含む前記複数の映像を生成する、
   請求項４記載の映像処理装置。
6. 前記ユーザ視点ごとに、前記立体視空間に関する所定のパラメータを決定するパラメータ設定部、を更に有し、
   前記画像処理部は、
   決定された前記所定のパラメータに基づいて、前記共通使用される前記単視点に対応する前記映像以外の前記映像に対して画像処理を行う、
   請求項５記載の映像処理装置。
7. 前記所定のパラメータは、前記立体視空間の飛び出し量を含み、
   前記画像処理は、前記映像の表示位置を左右方向においてシフトさせる処理を含む、
   請求項６記載の映像処理装置。
8. 前記所定のパラメータは、ユーザ視点の位置を含み、
   前記画像処理は、前記ユーザ視点に対応する左目位置および右目位置をそれぞれ視点としたときの映像に変換する処理を含む、
   請求項７記載の映像処理装置。
9. 多視点立体視を得るための複数の映像に対する処理を行う映像処理方法であって、
   立体視空間におけるユーザ視点を選択するステップと、
   前記ユーザ視点ごとに、前記立体視空間における左目視点および右目視点として、１対の単視点を決定するステップと、
   前記ユーザ視点が複数選択されたとき、選択された前記複数のユーザ視点の間でいずれの前記単視点を共通使用することができるかを判断するステップと、
   共通使用することができると判断された複数の前記単視点が存在するとき、当該複数の前記単視点を、対応する複数の前記ユーザ視点の間で共通使用される１つの前記単視点に纏めることを決定するステップと、
   前記単視点の数に基づいて、前記単視点に対応する前記映像のフレームレートを決定するステップと、
   決定された前記フレームレートに基づいて、前記単視点画像を表示する際の明るさレベルを決定するステップと、を有する、
   映像処理方法。

Images