JP2013161347A - 視差画像生成装置、視差画像生成方法、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】２次元画像を視差画像に変換する際に生じるスクリーン縦方向のフレームアウト領域を、実際に変換する前に確認でき、また簡単にその位置を変更することが可能な視差画像生成装置等を提供する。
【解決手段】仮想カメラ群の最端位置Ｃｘ及び視差画像の奥行き方向の拡がりに係るパラメータＤ_ｍｉｎ，Ｄ_ｍａｘが入力されると、制御部１１は入力されたパラメータ３に基づき、２次元画像２を視差画像に変換する際にフレームアウトするスクリーン縦方向の領域を除いたトリミング範囲を算出する。また制御部１１は、トリミング位置の変更入力を受け付け、算出されたトリミング範囲を２次元画像２上の入力されたトリミング位置に表示する。これにより、２次元画像を視差画像に変換する際に生じるスクリーン縦方向のフレームアウト領域を、実際に変換する前に確認できる。
【選択図】図７

Description

本発明は、２次元画像を、立体視を実現するための視差画像に変換する視差画像生成装置等に関し、更に詳しくは、２次元／３次元変換において生じるスクリーン縦方向のフレームアウト領域を明示する視差画像生成装置等に関する。

従来、３次元映像表示システムでは、大別して、２視差方式のものと、３以上の視差を持つ多視差方式のものがある。いずれの方式も、必要な視点数からシーンを見た映像を準備する必要がある。

最も直接的な映像の制作方法としては、必要な視差数分のカメラを用意し、同一シーンを所定の間隔に配置された複数のカメラで撮影する方法が考えられる。最近では２視差を直接撮影できるカメラが市販されているが、多視差を直接撮影できるカメラは一般的でない。

また、３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像を作成し、複数のカメラ位置を設定してレンダリングする方法も考えられる。３次元ＣＧ画像には奥行き情報が含まれており、３次元画像から多視差方式に対応した視差画像を作成することは可能である。しかし、カメラ位置の数が多い場合、レンダリング回数が多くなり、時間とコストがかかるという問題がある。
さらに、ほとんどの映像はＣＧ画像ではなく実写であり、２次元の実写映像から３次元映像を作成することが求められている。

実写映像による多視差映像を制作する為に、平面映像を基にして多視差映像に変換する手法（いわゆる２次元／３次元変換の手法）は、いくつか存在する（特許文献１、特許文献２）。
例えば本出願人は、特許文献１において、２次元画像、及び奥行き情報を持つ画像（以下、「デプス画像」という。）を入力とし、デプス画像と仮想カメラ位置との関係から視差を求め視差映像を生成する手法を提案している。この手法の２次元／３次元変換処理では、２次元画像を立体化し、それを改めて、通常、元の画像と同じサイズの視差画像を作成する。しかし、横方向には複数の視点からの視差画像を作成する必要があるため、元画像のサイズのままでは視差画像の左右に抜けができてしまう。これを回避するために元画像に基づく立体を、横方向に拡大して解釈する必要がある。この結果、視差画像は横方向に拡大され、元画像の縦横比が維持できないこととなってしまう。そこで、横方向の拡大率と同じ拡大を縦方向に行えば、元の画像の縦横比を視差画像にも維持することができる。
しかしながら、上述のように元画像を縦方向にも拡大すると、縦方向の上下いずれか一方または両方がスクリーンからフレームアウトする領域ができてしまうという問題があった。
なお、特許文献２には、視差画像生成時に被写体の縦横比が維持されない問題に着目し、縦方向の拡大縮小を行うことで変換処理前後の縦横比を維持することに言及している。

特願２０１０−１７６８６４号 特開２００７−９７１５５号公報

しかしながら、２次元画像を３次元画像に変換する作業において、縦方向にフレームアウトさせる位置をどの位置にするかをシステム側で一意に決めてしまうのは不都合なことがある。例えば、広告を目的として元の２次元画像を３次元画像に変換しようとする場合、企業ロゴや製品画像等、重要な対象がフレームアウトしないように配慮する必要がある。そのため、２次元／３次元画像変換の処理を行う前に、作業者がフレームアウト位置（トリミング位置）を容易に決定できるような支援ツールが要望されている。

本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、２次元画像を視差画像に変換する際に生じるスクリーン縦方向のフレームアウト領域を、実際に変換する前に確認でき、また簡単にその位置を変更することが可能な視差画像生成装置等を提供することである。

前述した目的を達成するための第１の発明は、入力された２次元画像を立体視を実現するための視差画像に変換する視差画像生成装置であって、仮想カメラ群の最端位置、及び前記視差画像の奥行き方向の拡がりに係る所定のパラメータを入力するパラメータ入力手段と、前記パラメータ入力手段により入力されたパラメータに基づき、前記２次元画像を視差画像に変換する際にフレームアウトするスクリーン縦方向の領域を除いたトリミング範囲を算出するトリミング範囲演算手段と、前記トリミング範囲演算手段により算出されたトリミング範囲の位置の変更を入力するトリミング位置入力手段と、前記２次元画像上の前記トリミング位置入力手段により入力された位置に、前記トリミング範囲を表示するトリミング範囲表示手段と、前記トリミング位置入力手段によって入力されたトリミング位置で前記２次元画像を視差画像へ変換する変換手段と、を具備することを特徴とする視差画像生成装置である。
第１の発明により、２次元画像を視差画像に変換する際に生じるスクリーン縦方向のフレームアウト領域を、実際に変換する前にトリミング範囲として確認できる。また簡単にトリミング位置を変更することができる。これにより、ユーザは２次元画像に含まれる重要な対象が視差画像からトリミングされてしまわないか容易に判断でき、２次元画像から視差画像への変換作業に役立つ。

第１の発明において、前記トリミング範囲演算手段は、更に、前記パラメータ入力手段により入力されたパラメータに基づきスクリーン横方向の全視点有効範囲を算出し、前記トリミング範囲表示手段は、更に、前記全視点有効範囲を前記２次元画像上に表示することが望ましい。
これによって、視差画像へ変換した際に元の２次元画像が全視点から必ず確認できるスクリーン横方向の範囲（全視点有効範囲）を、実際に変換する前に確認できる。

第１の発明において、前記２次元画像が複数フレームからなる動画である場合、前記動画に含まれるフレームを選択するためのフレーム選択手段を更に備え、前記トリミング範囲表示手段は、前記フレーム選択手段により選択されたフレームの２次元画像上に前記トリミング範囲を表示することが望ましい。
これによって、いずれのフレームにおいてもトリミング範囲を確認できる。

第１の発明において、前記パラメータ入力手段によりパラメータが変更入力されると前記トリミング範囲演算手段は変更入力されたパラメータに基づいて前記トリミング範囲を再算出し、前記トリミング範囲表示手段により表示されているトリミング範囲のサイズを変更して表示することが望ましい。
これによって、トリミング範囲を確認しながらパラメータの変更を行うことができ、トリミング範囲及びトリミング位置の調節が容易となる。

第１の発明において、前記トリミング位置入力手段は、前記トリミング位置を変更するためのトリミング位置変更用スライダを具備し、前記トリミング位置変更用スライダは前記トリミング範囲表示手段により表示される２次元画像の縦方向に移動操作されるように設けられることが望ましい。
これによって、トリミング位置変更用スライダの操作方向と同じ方向にトリミング位置が変更されるため、直観的な操作が行える。

第１の発明において、前記パラメータ入力手段は、前記視差画像の奥行き方向の拡がりに係るパラメータのうち奥方向の値を変更するための奥方向スライダ、及び手前方向の値を変更するための手前方向スライダを具備することが望ましい。
これにより、トリミング範囲及び全視点有効範囲に影響するパラメータの変更を直観的な操作で行うことができる。

第２の発明は、入力された２次元画像を立体視を実現するための視差画像に変換する視差画像生成方法であって、仮想カメラ群の最端位置、及び前記視差画像の奥行き方向の拡がりに係る所定のパラメータを入力するパラメータ入力ステップと、入力されたパラメータに基づき、前記２次元画像を視差画像に変換する際にフレームアウトするスクリーン縦方向の領域を除いたトリミング範囲を算出するトリミング範囲演算ステップと、算出されたトリミング範囲の位置の変更を入力するトリミング位置入力ステップと、前記２次元画像上の前記トリミング位置入力ステップにより入力された位置に、前記トリミング範囲を表示するトリミング範囲表示ステップと、前記トリミング位置入力ステップにより入力された位置で前記２次元画像を視差画像へ変換する変換ステップと、を含むことを特徴とする視差画像生成方法である。
第２の発明により、２次元画像を視差画像に変換する際に生じるスクリーン縦方向のフレームアウト領域を、実際に変換する前にトリミング範囲として確認できる。また簡単にトリミング位置を変更することができる。これにより、ユーザは２次元画像に含まれる重要な対象が視差画像からトリミングされてしまわないか容易に判断でき、２次元画像から視差画像への変換作業に役立つ。

第３の発明は、コンピュータを、仮想カメラ群の最端位置、及び視差画像の奥行き方向の拡がりに係る所定のパラメータを入力するパラメータ入力手段と、前記パラメータ入力手段により入力されたパラメータに基づき、２次元画像を視差画像に変換する際にフレームアウトするスクリーン縦方向の領域を除いたトリミング範囲を算出するトリミング範囲演算手段と、前記トリミング範囲演算手段により算出されたトリミング範囲の位置の変更を入力するトリミング位置入力手段と、前記２次元画像上の前記トリミング位置入力手段により入力された位置に、前記トリミング範囲を表示するトリミング範囲表示手段と、前記トリミング位置入力手段により入力された位置で前記２次元画像を視差画像へ変換する変換手段として機能させるためのプログラムである。
第３の発明に係るプログラムをコンピュータにインストールすることで、第１の発明に係る視差画像生成装置を得ることができる。

第４の発明は、コンピュータを、仮想カメラ群の最端位置、及び視差画像の奥行き方向の拡がりに係る所定のパラメータを入力するパラメータ入力手段と、前記パラメータ入力手段により入力されたパラメータに基づき、２次元画像を視差画像に変換する際にフレームアウトするスクリーン縦方向の領域を除いたトリミング範囲を算出するトリミング範囲演算手段と、前記トリミング範囲演算手段により算出されたトリミング範囲の位置の変更を入力するトリミング位置入力手段と、前記２次元画像上の前記トリミング位置入力手段により入力された位置に、前記トリミング範囲を表示するトリミング範囲表示手段と、前記トリミング位置入力手段により入力された位置で前記２次元画像を視差画像へ変換する変換手段と、して機能させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体である。

本発明により、２次元画像を視差画像に変換する際に生じるスクリーン縦方向のフレームアウト領域を、実際に変換する前に確認でき、また簡単にその位置を変更することが可能な視差画像生成装置等を提供することができる。

視差画像生成装置１のハードウエア構成図 視差画像生成装置１の入出力データを示す図 スクリーンＳ、カメラ、及び参照ボックス４０の位置関係を示す図 立体映像を生成する際に必要な横方向の拡大を説明するための図 スクリーンＳ、カメラ、及び参照ボックス４０の位置関係を示す平面図 視差画像生成装置１が実行する視差画像生成処理の詳細を示すフローチャート 操作画面７の一例を示す図

以下図面に基づいて、本発明の実施形態を詳細に説明する。
図１は、視差画像生成装置１のハードウエア構成図である。尚、図１のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
視差画像生成装置１は、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。

制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ ＯｎｌＹ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。
ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、視差画像生成装置１が行う後述する処理を実現する。
ＲＯＭは、不揮発性メモリであり、視差画像生成装置１のブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。
ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。

記憶部１２は、ＨＤＤ（ハードディスクドライブ）等であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳ（オペレーティングシステム）に相当する制御プログラムや、後述する処理を視差画像生成装置１に実行させるためのアプリケーションプログラムが格納されている。
これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。

メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。
通信制御部１４は、通信制御装置、通信ポート等を有し、視差画像生成装置１とネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他の装置間との通信制御を行う。ネットワークは、有線、無線を問わない。

入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。
入力部１５を介して、視差画像生成装置１に対して、操作指示、動作指示、データ入力等を行うことができる。
表示部１６は、ＣＲＴモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携して視差画像生成装置１のビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。

周辺機器Ｉ／Ｆ（インタフェース）部１７は、視差画像生成装置１に周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介して視差画像生成装置１は周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３５Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。
バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。

図２は、視差画像生成装置１の入出力データを示す図である。図２に示すように、視差画像生成装置１は、２次元画像２、パラメータ３、トリミング位置４、並びにフレーム選択指示５を入力データとする。また、視差画像生成装置１は、視差画像６を出力データとする。
２次元画像２は、静止画像または複数のフレーム画像からなる動画像（２次元映像）である。動画像（２次元映像）には、例えば、単位時間当たり所定のフレーム数（通常、１秒間に３０フレーム）のカラー静止画像が含まれており、各画素がＲＧＢ各２５６段階の階調を持つ。２次元画像２は、視差画像生成装置１の制御部１１が生成しても良いし、メディア入出力部１３、通信制御部１４等を介して外部から取得しても良い。

パラメータ３は、後述するトリミング範囲演算処理２１においてトリミング範囲を算出する際に用いる値である。トリミング範囲とは、視差画像を得るためにスクリーン横方向に所定の拡大を施した場合にスクリーン縦方向にフレームアウトしてしまう領域を除く範囲である。
パラメータ３には少なくとも、横方向（スクリーン面に平行かつスクリーンの左右方向）に並べられた複数のカメラ群のうち最端に位置するカメラの横方向位置Ｃｘ、及び生成しようとする立体映像の奥行き方向の拡がり範囲（手前方向Ｄ_ｍａｘ及び奥方向Ｄ_ｍｉｎ）の設定値が含まれる。その他、カメラ数ｎ、スクリーンサイズ、画面アスペクト比、視聴距離（スクリーン面からカメラまでの距離）、カメラ間隔等もパラメータ３として入力される。パラメータ３は、視差画像生成装置１の入力部１５を介して入力しても良いし、予めパラメータ３が定義されたパラメータファイルを外部から取得しても良い。

トリミング位置（トリミング位置指定データ）４は、上述のトリミング範囲をスクリーン縦方向のどの位置にするかを指定するためのデータであり、入力部１５を介してユーザにより任意に設定される。或いは、トリミング位置４は、「上寄せ」、「中央」、「下寄せ」のようにいくつかの選択肢から選択されるものとしても良い。

表示フレーム（表示フレーム選択指示データ）５は、入力される２次元画像２が複数フレームからなる動画像である場合、上述のトリミング範囲を表示するフレームを選択するための指示データであり、入力部１５を介してユーザにより任意に設定される。
視差画像６は、入力された２次元画像２を立体視を実現するために変換した視差画像であり、視差画像演算処理部２３により求められる。生成された視差画像６は生成装置１の記憶部１２に記憶されても良いし、表示部１６に表示されても良いし、メディア入出力部１３、通信制御部１４等を介して外部に出力しても良い。

トリミング範囲演算処理部２１は、入力されたパラメータ３及びトリミング位置指定データ４に基づいてトリミング範囲を算出する処理を実行する。
ここで、図３、図４を参照して、トリミング範囲の算出方法について説明する。
トリミング範囲演算処理では、図３に示すように、仮想的な３次元空間（ＸＹＺ空間）に、スクリーン面Ｓ、カメラ群を配置する。
スクリーン面Ｓは、２次元画像２を投影する領域であり、視差画像６の各画素が含まれる。図３に示す例では、スクリーン面ＳはＸＹ平面と一致し、スクリーン面Ｓの中央をＸＹＺ座標の原点とする。スクリーンサイズ、及び画面アスペクト比はパラメータ３として入力された値を用いる。

カメラ群は、パラメータ３として入力された値に基づき配置される。すなわち、横方向（Ｘ方向）に並べられた複数のカメラ群のうち最左端に位置するカメラＣｌの位置−Ｃｘ，最右端に位置するカメラＣｒの位置Ｃｘ、カメラ数ｎ、視聴距離（スクリーン面からカメラまでの距離Ｃｚ）、カメラ間隔等に基づき配置される。
図３に示す例では、カメラ数ｎが「８」、カメラ間隔が「等間隔」、奥行き値が「Ｃｚ」である。また、図３に示す例では、カメラ設置線３０は、スクリーン面Ｓと平行、かつ、スクリーン面Ｓとの距離が「Ｃｚ」の直線である。

図３に示す例では、カメラ間隔を等間隔としたが、これはディスプレイにおける画像の見せ方に依存する。カメラ間隔を等間隔とした場合、観察者がどの位置から見ても隣り合う視差画像６が見えるようになる。但し、他の見せ方を所望する場合には、カメラ間隔は等間隔でなくても良い。
また、図３に示す例では、カメラ設置線３０を直線としたが、これもディスプレイにおける画像の見せ方に依存する。例えば、ディスプレイが曲面の場合、カメラ設置線３０を曲線とすることが考えられる。

参照ボックス４０とは、２次元画像２を視差画像に変換する際に表現される奥行（手前方向及び奥方向の拡がり）を表すための立体的な範囲である。参照ボックス４０の最背面４１はスクリーン面Ｓと平行で、スクリーン面Ｓとの距離を｜Ｄ_ｍｉｎ｜とし、参照ボックス４０の最前面４２はスクリーン面Ｓと平行で、スクリーン面との距離が｜Ｄ_ｍａｘ｜とする。Ｄ_ｍｉｎ及びＤ_ｍａｘはパラメータ３としてユーザにより任意の値を設定可能である。

なお、参照ボックス４０は、スクリーンの前後方向（Ｚ方向）に拡張される他、元の２次元画像２のスクリーンサイズよりも横方向（Ｘ方向）に所定の拡大率で拡大される。これは、元の２次元画像を拡大しないでスクリーンと同じサイズで視差画像を作成すると、図４に示すように、スクリーンの左右に画像の割り当てのない範囲ができてしまうためである。２次元画像２の横方向の拡大率は、奥方向の奥行（Ｄ_ｍｉｎ）に依存する。そして、横方向に拡大を施した場合には元の画像の縦横比を維持するため、縦方向にも同じ拡大を施す。この際生じるスクリーン縦方向のフレームアウト領域を除いた範囲（トリミング範囲）は、後述する式（２）を用いて求められる。また、トリミング範囲を縦方向のどこにするかは、トリミング位置４として変更入力できる。

図５は、スクリーンＳ、カメラ群、及び参照ボックス４０の位置関係を示す平面図であり、図の左右方向をＸ方向、上下方向をＺ方向、鉛直方向をＹ方向として表したものである。
視差画像を作成するスクリーンＳの中央を原点Ｏとする。また、スクリーン面は元の２次元画像２のスクリーンサイズと同じでＸ方向に−Ｗ〜＋Ｗの範囲とする。元の２次元画像２は参照ボックス４０の範囲で立体的に分布することとなり、その奥行範囲は手前側の位置がＤ_ｍａｘ、奥側の位置がＤ_ｍｉｎである。ここで、Ｄ_ｍａｘ＞０、Ｄ_ｍｉｎ＜０である。
また、カメラは２以上の複数であり、左右端のカメラＣｌ，ＣｒはＹＺ平面に対称に置かれ、カメラＣｌ，ＣｒのＸ座標はそれぞれ「−Ｃｘ」、「＋Ｃｘ」である。Ｚ座標はともにＣｚとする。

図５の点線４５で示すように、最も左側のカメラＣｌからスクリーンＳの最も右側の画素を眺めた場合でも元の２次元画像の画像が全て含まれるためには、カメラＣｌからスクリーンＳの最も右側を結ぶ直線４５が参照ボックス４０の最背面４１の最右端を通るように元の２次元画像２を横方向（Ｘ方向）に拡大する必要がある。右側のカメラＣｒについても同様である。
２次元画像２の横方向の拡大率は、以下の式（１）で与えられる。

上述したように、視差画像にはスクリーン縦方向に、式（１）に示す拡大率の逆数の範囲しか元の画像が継承されず、一部はスクリーンの外にフレームアウトする。縦方向にフレームアウトする領域を除くトリミング範囲のサイズは、スクリーンの縦方向の長さに以下の式（２）を乗じた長さである。ただし、縦方向のどの位置にトリミング範囲を設定するか（トリミング位置）の自由度が残っている。

更に、トリミング範囲演算処理では、図５に示す全視点有効範囲を算出する。全視点有効範囲とは、すべてのカメラからその位置の画像が視差画像に継承される範囲である。すなわち、全視点有効範囲は、左端のカメラＣｌからスクリーン左端を結ぶ直線（図５の一点鎖線４６）と参照ボックス４０の最前面４１との交点（−Ｗ”，Ｄ_ｍａｘ）から、右端のカメラＣｒからスクリーン右端を結ぶ直線（図５の一点鎖線４７）と参照ボックス４０の最前面４２との交点（＋Ｗ”，Ｄ_ｍａｘ）の間の範囲である。Ｗ”は以下の式（３）で示される。

図２の説明に戻る。
トリミング範囲演算処理部２１は、入力されたパラメータ３に基づいて、上述の式（２）及び式（３）の値を算出する。

トリミング範囲表示処理部２２は、フレーム選択指示５により選択されたフレームの２次元画像２を表示するとともに、トリミング範囲演算処理部２１によって求められたトリミング範囲を示すライン（図７の横ライン６１ａ，６１ｂ）を２次元画像２上に重ねて表示する。なお、トリミング範囲演算処理部２１で算出した式（２）の値は、各ライン６１ａ，６１ｂの間の幅を決定するだけで、その位置は決定されていないため、入力されたトリミング位置４に基づいて、ライン６１ａ，６１ｂの表示位置を与える必要がある。例えば、初期状態では上下方向中央、上寄せ、または下寄せのいずれかの位置に横ライン６１ａ，６１ｂを表示するよう予め設定しておき、ユーザのトリミング位置変更操作によって、任意の位置に変更するようにしてもよい。

また、トリミング範囲表示処理部２２は、トリミング範囲演算処理部２１によって求められた全視点有効範囲を示すライン（図７の縦ライン６２ａ，６２ｂ）を２次元画像２上に重ねて表示する。

トリミング位置４の変更操作が行われると、トリミング範囲表示処理部２２は、その都度、ライン６１ａ，６１ｂの表示位置を上下方向に移動する。
また、パラメータ３の変更操作が行われると、トリミング範囲演算処理部２１は、入力されたパラメータ３に基づいて上述の式（２）及び式（３）の値を算出する。トリミング範囲表示処理部２２は、その都度、横ライン６１ａ，６１ｂの間の幅、または縦ライン６２ａ，６２ｂの間の幅を変更して表示する。

例えば、トリミング範囲のサイズ（横のライン６１ａ，６１ｂの間の幅）は式（２）に示すようにパラメータＤ_ｍｉｎに依存するため、パラメータＤ_ｍｉｎが変更されると、トリミング範囲表示処理部２２は、その都度、横ライン６１ａ，６１ｂの間の幅を変更して表示する。
一方、全視点有効範囲（縦のライン６２ａ，６２ｂの間の幅）は式（３）に示すように、パラメータＤ_ｍｉｎ及びパラメータＤ_ｍａｘに依存するため、パラメータＤ_ｍｉｎまたはパラメータＤ_ｍａｘが変更されると、トリミング範囲表示処理部２２は、その都度、縦ライン６２ａ，６２ｂの間の幅を変更して表示する。

また、フレーム選択指示５が入力されると、トリミング範囲表示処理部２２は、その都度、表示フレームを変更して表示する。

視差画像演算処理部２３は、設定されたパラメータ３及びトリミング位置４で、入力されている２次元画像の視差画像６を生成する。視差画像６の演算処理については、例えば、特開２０１０−２３３３９１号公報に開示されるような公知の手法、或いは本出願人が提案する特願２０１０−１７６８６４号、特願２０１１−５５８７８号等に記載されるような技術を利用すれば良い。

以下では、図６、図７を参照しながら、視差画像生成装置１の処理の詳細について説明する。
図６は、視差画像生成処理の詳細を示すフローチャートであり、図７は、操作画面７の一例である。

視差画像生成装置１の制御部１１は、まず操作画面７を表示部１６に表示する（ステップＳ１０１）。
図７に示すように、操作画面７には、パラメータ設定部７１、入力画像指定部７２、出力フォルダ設定部７３、２次元画像表示部７４、トリミング位置設定部７５、表示フレーム選択部７６、及び３Ｄ変換実行指示部７７が含まれる。

パラメータ設定部７１には、カメラ数、スクリーンサイズ、スクリーンアスペクト比、視聴距離、奥行き範囲等の各種パラメータ３の入力欄が設けられている。奥行き範囲の入力欄として、例えば、手前方向の範囲を指定する手前方向スライダ７１１及び数値入力欄７１２、奥方向の範囲を指定する奥方向スライダ７１３及び数値入力欄７１４を設けるようにしても良い。
入力画像指定部７２には、元となる２次元画像（図７では「ムービー」と表記）や、視差画像を生成するために必要なデプス画像等を指定するための入力欄が設けられる。
出力フォルダ設定部７３には、３Ｄ変換後の画像データの出力先を指定するための入力欄が設けられる。
２次元画像表示部７４には、表示フレーム選択部７６にて入力されたフレーム番号の２次元画像２が表示される。また、２次元画像表示部７４に表示される２次元画像には、トリミング範囲を示す横ライン６１ａ，６１ｂと全視点有効範囲を示す縦ライン６２ａ，６２ｂが重ねて表示される。
トリミング位置設定部７５は、スクリーン上下方向のトリミング位置４を指定するための入力部であり、例えば、図７に示すようなトリミング位置変更用スライダを設けることが好適である。トリミング位置変更用スライダは、操作方向が２次元画像２の縦方向に一致するように設けられることが好ましい。

表示フレーム選択部７６には、２次元画像表示部７４に表示するフレームを選択するための入力欄が設けられる。例えば、図７に示すように、ムービーの再生位置を手動で変更するためのフレーム選択用スライダ７６ａやフレーム番号を入力する数値入力欄７６ｂが設けられることが好ましい。
３Ｄ変換実行指示部７７は、３Ｄ画像の生成を開始する際に押下操作されるボタンである。３Ｄ変換実行指示部７７が押下されると、制御部１１は視差画像演算処理を実行する。

図６の説明に戻る。
操作画面７の２次元画像指定部７２にて元となる２次元画像２が指定されると、制御部１１は指定された２次元画像２を読み込む（ステップＳ１０２）。次に、制御部１１は、トリミング位置４及び表示フレーム５の初期設定を行い（ステップＳ１０３）、更に操作画面７のパラメータ設定部７１にパラメータ３が入力されると（ステップＳ１０４）、入力されたパラメータ３に基づいてトリミング範囲演算処理を行う（ステップＳ１０５）。トリミング範囲演算処理では、制御部１１は上述の式（２）に基づいてトリミング範囲を算出し、上述の式（３）に基づいて全視点有効範囲を算出する。
なお、トリミング位置４の初期設定値は、例えば上下方向中央のようにすればよい。また、表示フレーム５の初期設定値は、例えばムービーの１番目のフレームとすればよい。

次に制御部１１は、選択されたフレーム番号のフレーム（２次元画像２）を２次元画像表示部７４に表示するとともに、ステップＳ１０５で算出したトリミング範囲を示す横ライン６１ａ，６１ｂをステップＳ１０３で設定されたトリミング位置に表示する。また、全視点有効範囲を示す縦ライン６２ａ，６２ｂも２次元画像２上に表示する（ステップＳ１０６）。

操作画面７のトリミング位置設定部７５の操作によりトリミング位置が変更されると（ステップＳ１０７；Ｙｅｓ）、制御部１１はトリミング範囲を示す横ライン６１ａ，６１ｂの表示位置を変更する（ステップＳ１０６）。また、操作画面７の表示フレーム選択部７６にて表示フレームが変更されると（ステップＳ１０８；Ｙｅｓ）、制御部１１は２次元画像表示部７４に表示するフレームを変更して表示する（ステップＳ１０６）。パラメータ設定部７１において、パラメータ３が変更されると、制御部１１は変更されたパラメータ３に基づいて再度トリミング範囲演算処理を行い（ステップＳ１０５）、トリミング範囲を示す横ライン６１ａ，６１ｂ、及び全視点有効範囲を示す縦ライン６２ａ，６２ｂの表示位置を変更する（ステップＳ１０６）。

ユーザはトリミング位置４、パラメータ３、表示フレーム５の変更操作を２次元画像表示部７４に表示されるトリミング範囲を示すライン６１ａ，６１ｂ，６２ａ，６２ｂ等を参照しながら繰り返し、トリミング位置４が適切な位置となっているか否かを確認できる。例えば、重要な情報がトリミング範囲の外側に出ていないか確認できる。
その後、ユーザの操作により３Ｄ変換実行指示が入力されると（ステップＳ１１０；Ｙｅｓ）、制御部１１はその時点で設定されているトリミング位置４及びパラメータ３に基づいて視差画像演算処理を行う（ステップＳ１１１）。視差画像の生成が終了すると、制御部１１は生成した視差画像６を出力フォルダ設定部７３にて指定された出力先に出力して、本視差画像生成処理を終了する。

以上説明したように、本発明の視差画像生成装置１は、仮想カメラ群の最端位置Ｃｘ及び視差画像の奥行き方向の拡がりに係るパラメータＤ_ｍｉｎ，Ｄ_ｍａｘがパラメータ３として入力されると、制御部１１は入力されたパラメータ３に基づき、２次元画像２を視差画像６に変換する際にフレームアウトするスクリーン縦方向の領域を除いたトリミング範囲を算出する。また制御部１１は、トリミング位置の変更入力を受け付け、トリミング範囲を示すライン６１ａ，６１ｂを２次元画像２上の入力されたトリミング位置４に表示する。そして入力されたトリミング位置４で２次元画像２を視差画像６へ変換する。
これにより、２次元画像２を視差画像６に変換する際に生じるスクリーン縦方向のフレームアウト領域を、実際に変換する前にトリミング範囲として確認できる。また簡単にトリミング位置４を変更することができる。これにより、ユーザは２次元画像に含まれる重要な対象が視差画像６からトリミングされてしまわないか容易に判断でき、２次元画像２から視差画像６への変換作業に役立つ。

また、制御部１１は入力されたパラメータ３に基づきスクリーン横方向の全視点有効範囲を算出し、前記全視点有効範囲を２次元画像２上に表示する。これによって、視差画像６へ変換した際に元の２次元画像２が全視点から必ず確認できるスクリーン横方向の範囲（全視点有効範囲）を、実際に変換する前に確認できる。
また、制御部１１は２次元画像２が複数フレームからなる動画である場合、動画に含まれるフレームの選択を受け付け、選択されたフレームの２次元画像２上に上述のトリミング範囲を表示する。これによって、いずれのフレームにおいてもトリミング範囲を確認できる。
また、パラメータ３が変更入力されると、制御部１１は変更入力されたパラメータ３に基づいてトリミング範囲を再算出し、表示されているトリミング範囲のサイズを変更して表示する。これによって、トリミング範囲を確認しながらパラメータ３の変更を行うことができ、トリミング範囲及びトリミング位置の調節が容易となる。

また、トリミング位置４を変更するためのトリミング位置変更用スライダ７５を、２次元画像２の縦方向に移動操作されるように設けることが望ましい。これによって、トリミング位置変更用スライダ７５の操作方向と同じ方向にトリミング位置が変更されるため、直観的な操作が行える。
また、パラメータ設定部７１として、視差画像６の奥行き方向の拡がりに係るパラメータ３のうち奥方向の値Ｄ_ｍｉｎを変更するための奥方向スライダ７１１、及び手前方向の値Ｄ_ｍａｘを変更するための手前方向スライダ７１３を具備することが望ましい。これにより、トリミング範囲及び全視点有効範囲に影響するパラメータＤ_ｍａｘ，Ｄ_ｍｉｎの変更を直観的な操作で行うことができる。

以上、添付図面を参照しながら、本発明に係る視差画像生成装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１………視差画像生成装置
２………２次元画像
３………パラメータ
４………トリミング位置
５………表示フレーム
６………視差画像
７………操作画面
２１……トリミング範囲演算処理部
２２……トリミング範囲表示処理部
２３……視差画像演算処理部
７１１…手前方向スライダ
７１３…奥方向スライダ
７５……トリミング位置変更用スライダ（トリミング位置設定部）
６１ａ，６１ｂ………トリミング範囲を示す横ライン
６２ａ，６２ｂ………全視点有効範囲を示す縦ライン

Claims (9)

1. 入力された２次元画像を立体視を実現するための視差画像に変換する視差画像生成装置であって、
   仮想カメラ群の最端位置、及び前記視差画像の奥行き方向の拡がりに係る所定のパラメータを入力するパラメータ入力手段と、
   前記パラメータ入力手段により入力されたパラメータに基づき、前記２次元画像を視差画像に変換する際にフレームアウトするスクリーン縦方向の領域を除いたトリミング範囲を算出するトリミング範囲演算手段と、
   前記トリミング範囲演算手段により算出されたトリミング範囲の位置の変更を入力するトリミング位置入力手段と、
   前記２次元画像上の前記トリミング位置入力手段により入力された位置に、前記トリミング範囲を表示するトリミング範囲表示手段と、
   前記トリミング位置入力手段により入力された位置で前記２次元画像を視差画像へ変換する変換手段と、
   を具備することを特徴とする視差画像生成装置。
2. 前記トリミング範囲演算手段は、更に、前記パラメータ入力手段により入力されたパラメータに基づきスクリーン横方向の全視点有効範囲を算出し、
   前記トリミング範囲表示手段は、更に、前記全視点有効範囲を前記２次元画像上に表示することを特徴とする請求項１に記載の視差画像生成装置。
3. 前記２次元画像が複数フレームからなる動画である場合、前記動画に含まれるフレームを選択するためのフレーム選択手段を更に備え、
   前記トリミング範囲表示手段は、前記フレーム選択手段により選択されたフレームの２次元画像上に前記トリミング範囲を表示することを特徴とする請求項１または請求項２に記載の視差画像生成装置。
4. 前記パラメータ入力手段によりパラメータが変更入力されると前記トリミング範囲演算手段は変更入力されたパラメータに基づいて前記トリミング範囲を再算出し、前記トリミング範囲表示手段により表示されているトリミング範囲のサイズを変更して表示することを特徴とする請求項１から請求項３のいずれかに記載の視差画像生成装置。
5. 前記トリミング位置入力手段は、前記トリミング位置を変更するためのトリミング位置変更用スライダを具備し、前記トリミング位置変更用スライダは前記トリミング範囲表示手段により表示される２次元画像の縦方向に移動操作されるように設けられることを特徴とする請求項１から請求項４のいずれかに記載の視差画像生成装置。
6. 前記パラメータ入力手段は、前記視差画像の奥行き方向の拡がりに係るパラメータのうち奥方向の値を変更するための奥方向スライダ、及び手前方向の値を変更するための手前方向スライダを具備することを特徴とする請求項１から請求項５のいずれかに記載の視差画像生成装置。
7. 入力された２次元画像を立体視を実現するための視差画像に変換する視差画像生成方法であって、
   仮想カメラ群の最端位置、及び前記視差画像の奥行き方向の拡がりに係る所定のパラメータを入力するパラメータ入力ステップと、
   入力されたパラメータに基づき、前記２次元画像を視差画像に変換する際にフレームアウトするスクリーン縦方向の領域を除いたトリミング範囲を算出するトリミング範囲演算ステップと、
   算出されたトリミング範囲の位置の変更を入力するトリミング位置入力ステップと、
   前記２次元画像上の前記トリミング位置入力ステップにより入力された位置に、前記トリミング範囲を表示するトリミング範囲表示ステップと、
   前記トリミング位置入力ステップにより入力された位置で前記２次元画像を視差画像へ変換する変換ステップと、
   を含むことを特徴とする視差画像生成方法。
8. コンピュータを、
   仮想カメラ群の最端位置、及び視差画像の奥行き方向の拡がりに係る所定のパラメータを入力するパラメータ入力手段と、
   前記パラメータ入力手段により入力されたパラメータに基づき、２次元画像を視差画像に変換する際にフレームアウトするスクリーン縦方向の領域を除いたトリミング範囲を算出するトリミング範囲演算手段と、
   前記トリミング範囲演算手段により算出されたトリミング範囲の位置の変更を入力するトリミング位置入力手段と、
   前記２次元画像上の前記トリミング位置入力手段により入力された位置に、前記トリミング範囲を表示するトリミング範囲表示手段と、
   前記トリミング位置入力手段により入力された位置で前記２次元画像を視差画像へ変換する変換手段と、
   して機能させるためのプログラム。
9. コンピュータを、
   仮想カメラ群の最端位置、及び視差画像の奥行き方向の拡がりに係る所定のパラメータを入力するパラメータ入力手段と、
   前記パラメータ入力手段により入力されたパラメータに基づき、２次元画像を視差画像に変換する際にフレームアウトするスクリーン縦方向の領域を除いたトリミング範囲を算出するトリミング範囲演算手段と、
   前記トリミング範囲演算手段により算出されたトリミング範囲の位置の変更を入力するトリミング位置入力手段と、
   前記２次元画像上の前記トリミング位置入力手段により入力された位置に、前記トリミング範囲を表示するトリミング範囲表示手段と、
   前記トリミング位置入力手段により入力された位置で前記２次元画像を視差画像へ変換する変換手段と、
   して機能させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images