JP2018046448A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】仮想カメラの高度や移動速度を任意に設定でき、かつ容易な操作で短時間に自由視点映像を得る。
【解決手段】複数のカメラを用いて撮影した多視点映像から、仮想カメラから見た自由視点映像を生成する画像処理装置１００は、仮想カメラの移動の軌跡を示すカメラパス及び仮想カメラが注視する先である注視点の移動の軌跡を示す注視点パスを、ユーザが指定するためのユーザインタフェース１０４と、ユーザインタフェースを介して指定されたカメラパス及び注視点パスに基づいて、自由視点映像を生成する生成手段とを備える。ユーザインタフェースは、多視点映像の撮影シーンを俯瞰的に捉えた2次元画像を用いたUI画面に、多視点映像のうち自由視点映像の生成対象となるタイムフレームにおける被写体の時系列の変化を表示部１０５に表示し、ユーザが、2次元画像に対する入力操作によって軌跡を描くことで、カメラパス及び注視点パスが指定される。
【選択図】図１

Description

本発明は、自由視点映像生成時における仮想カメラの経路を設定する技術に関する。

複数台の実カメラで撮影した映像を用いて、3次元空間内に仮想的に配置した実際には存在しないカメラ（仮想カメラ）からの映像を再現する技術として、自由視点映像技術がある。自由視点映像を得るためには、仮想カメラの経路等を設定する必要があり、それには仮想カメラの位置(x,y,z)、回転方向(φ)、画角(θ)、注視点(xo,yo,zo)といったパラメータを時間軸(t)に沿って適切に制御する必要がある。これら多くのパラメータを適切に設定・制御するには熟練が必要で、訓練を積んだ専門家でなければ操作が困難である。この点、例えば特許文献１には、対象となる3次元空間を上から見たときの平面図（例として美術館内の間取り図）を基に仮想カメラのパラメータを設定し、指定した位置における自由視点映像を確認する手法が開示されている。

特開２０１３−９０２５７号公報

上記特許文献１の手法では、平面図上での仮想カメラのパラメータ設定、当該設定に従った自由視点映像の全シーケンス確認、パラメータの修正（再設定）という一連の操作を何度も繰り返す必要があり、作業時間が長大化するという問題がある。また、この手法では、そもそも仮想カメラの高度や移動速度については設定ができず、これらのパラメータを変更した自由視点映像を得ることができない。

そこで、本発明では、仮想カメラの高度や移動速度についても任意に設定でき、かつ容易な操作で短時間に自由視点映像を得ることを目的とする。

本発明に係る画像処理装置は、複数のカメラを用いて撮影した多視点映像から、仮想カメラから見た映像である自由視点映像を生成する画像処理装置であって、前記仮想カメラの移動の軌跡を示すカメラパス及び前記仮想カメラが注視する先である注視点の移動の軌跡を示す注視点パスを、ユーザが指定するためのユーザインタフェースと、前記ユーザインタフェースを介して指定された前記カメラパス及び注視点パスに基づいて、前記自由視点映像を生成する生成手段と、を備え、前記ユーザインタフェースは、前記多視点映像の撮影シーンを俯瞰的に捉えた2次元画像を用いたUI画面に、前記多視点映像のうち前記自由視点映像の生成対象となるタイムフレームにおける被写体の時系列の変化を表示し、前記ユーザが、当該2次元画像に対する入力操作によって前記軌跡を描くことで、前記カメラパス及び注視点パスが指定されるように構成されることを特徴とする。

本発明によれば、仮想カメラの高度や移動速度についても任意に設定でき、かつ容易な操作で短時間に自由視点映像を得ることができる。

自由視点映像システムの構成の一例を示す図である。 カメラ群を構成する各カメラの配置例を示した図である。 実施例１に係る、自由視点映像生成時に用いるGUI画面の一例を示す図である。 実施例１に係る、自由視点映像を生成する処理の大まかな流れを示したフローチャートである。 実施例１に係る、仮想カメラ設定処理の詳細を示すフローチャートである。 （ａ）は被写体の位置及び3D形状が投影された静的2Dマップの一例、（ｂ）は注視点パスとカメラパスが指定された結果の一例、（ｃ）はサムネイル配置処理の結果の一例を示す図である。 サムネイル配置処理の詳細を示すフローチャートである。 サムネイル配置処理の過程を説明する図である。 カメラパス調整処理の詳細を示すフローチャートである。 カメラパス調整処理の過程を説明する図である。 （ａ）はグラデーションアイコンが付加された状態を示す図、（ｂ）は各サムネイル画像、仮想カメラの移動速度、及び自由視点映像の再生時間の関係を説明する図である。 注視点パス調整処理の詳細を示すフローチャートである。 注視点パス調整処理の過程を説明する図である。 実施例２に係る、自由視点映像生成時のGUI画面の一例を示した図である。 実施例２に係る、自由視点映像を生成する処理の大まかな流れを示したフローチャートである。 実施例２に係る、仮想カメラ設定処理の詳細を示すフローチャートである。 （ａ）は動的2Dマップの開始フレームの一例、（ｂ）〜（ｄ）は動的2Dマップ上に注視点パスが指定される様子を時系列で示す図である。 注視点パスの指定を終えた後の動的2Dマップ上に、カメラパスを指定する様子を時系列で示す図である。 カメラパスを指定する際のモードによる違いを説明する図である。 被写体情報を空間的に絞り込んだ一例を示す図である。 注視点パス指定受付処理の詳細を示すフローチャートである。 カメラパス指定受付処理の詳細を示すフローチャートである。 パス調整処理の詳細を示すフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

図１は、本実施例における、自由視点映像システムの構成の一例を示す図である。図１に示す自由視点映像システムは、画像処理装置１００と複数の撮像装置（カメラ群）１０９とで構成される。そして、画像処理装置１００は、CPU１０１、メインメモリ１０２、記憶部１０３、入力部１０４、表示部１０５、外部I/F１０６を備え、各部がバス１０７を介して接続されている。まず、CPU１０１は、画像処理装置１００を統括的に制御する演算処理装置であり、記憶部１０３等に格納された各種プログラムを実行して様々な処理を行う。メインメモリ１０２は、各種処理で用いるデータやパラメータなどを一時的に格納するほか、CPU１０１に作業領域を提供する。記憶部１０３は、各種プログラムやGUI（グラフィカル・ユーザ・インターフェイス）表示に必要な各種データを記憶する大容量記憶装置で、例えばハードディスクやシリコンディスク等の不揮発性メモリが用いられる。入力部１０４は、キーボードやマウス、電子ペン、タッチパネル等の装置であり、ユーザからの操作入力を受け付ける。表示部１０５は、液晶パネルなどで構成され、自由視点映像生成時の仮想カメラの経路設定のためのGUI表示などを行う。外部I/F部１０６は、カメラ群１０９を構成する各カメラとLAN１０８を介して接続され、映像データや制御信号データの送受信を行う。バス１０７は上述の各部を接続し、データ転送を行う。

カメラ群１０９は、LAN１０８経由で画像処理装置１００と接続されており、画像処理装置１００からの制御信号をもとに、撮影の開始や停止、カメラ設定（シャッタースピード、絞りなど）の変更、撮影した映像データの転送を行う。

なお、システム構成については、上記以外にも、様々な構成要素が存在するが、本発明の主眼ではないので、その説明は省略する。

図２は、カメラ群１０９を構成する各カメラの配置例を示した図である。ここでは、ラグビーを行う競技場に10台のカメラを設置したケースで説明する。競技を行うフィールド２０１上に被写体２０２としての選手とボールが存在し、10台のカメラ２０３がフィールド２０１を取り囲むように配置されている。カメラ群１０９を構成する個々のカメラ２０３は、フィールド２０１全体、或いはフィールド２０１の注目領域が画角内に収まるように、適切なカメラの向き、焦点距離、露出制御パラメータ等を設定している。

図３は、本実施例に係る、自由視点映像生成時に用いるGUI画面の一例を示した図である。図３（ａ）は当該GUI画面の基本画面であり、俯瞰画像表示領域３００、操作ボタン領域３１０、仮想カメラ設定領域３２０から構成される。

俯瞰画像表示領域３００は、仮想カメラの経路や仮想カメラが注視する先である注視点の経路を指定する操作・確認に利用される。操作ボタン領域３１０には、多視点映像データの読み込み、自由視点映像の生成対象となる多視点映像データの範囲（タイムフレーム）の設定、仮想カメラの設定を行うためのボタン３１１〜３１３が存在する。また、操作ボタン領域３１０には、生成した自由視点映像を確認するための確認ボタン３１４が存在し、これが押下されることにより、図３（ｂ）に示す自由視点映像プレビューウィンドウ３３０に遷移する。これにより、仮想カメラから見た映像である自由視点映像を確認することが可能になる。

仮想カメラ設定領域３２０は、仮想カメラ設定ボタン３１３の押下に応じて表示される。そして、その領域３２０内には、注視点の経路や仮想カメラの経路を指定するためのボタン、指定された経路に従って自由視点映像の生成開始を指示するためのOKボタン３２１〜３２３が存在する。また、仮想カメラ設定領域３２０には、仮想カメラ（Camera）及び注視点（Point of Interest）の高度や移動速度を表示する表示欄３２４及び３２５が存在し、その表示対象を切り替えるためのドロップダウンリスト３２６が存在する。

図４は、自由視点映像を生成する処理の大まかな流れを示したフローチャートである。この一連の処理は、CPU１０１が、所定のプログラムを記憶部１０３から読み込んでメインメモリ１０２に展開し、これをCPU１０１が実行することで実現される。

ステップ４０１では、多視点（ここでは、10台のカメラそれぞれに対応する10視点）から撮影された映像データが取得される。具体的には、ユーザが前述の多視点映像データ読み込みボタン３１１を押下することで、記憶部１０３から予め撮影された多視点映像データが読み込まれる。予め撮影した多視点映像データがない場合には、多視点映像データ読み込みボタン３１１の押下に応答して撮影を行なうことで多視点映像データを直接取得してもよい。すなわち、画像処理装置１００からカメラ群１０９に対して、撮影時の露光条件等の撮影パラメータと撮影開始の信号をカメラ群１０９に送信し、各カメラで撮影された映像データをLAN１０８経由で直接取得してもよい。

ステップ４０２では、取得した多視点映像データの撮影シーン（ここではラグビー場のフィールド）を俯瞰的に捉えた静止画の2次元画像（以下、「静的2Dマップ」と呼ぶ。）が生成される。この静的2Dマップは、取得した多視点映像データにおける任意のフレームを用いて生成される。例えば、多視点映像データのうち任意の視点（カメラ）で撮影された1の映像データの特定フレームを射影変換することでえることができる。或いは多視点映像データのうち任意の2以上の視点に対応する映像データの特定フレームをそれぞれ射影変換して得られた画像を合成することで得ることができる。さらには、撮影シーンが事前に判明している場合には、予め作成しておいた静的2Dマップを読み込むことで取得してもよい。

ステップ４０３では、取得した多視点映像データのうち、自由視点映像生成の対象範囲となるタイムフレームが設定される。具体的には、ユーザは別モニタ等に表示される映像を確認しながら、前述のタイムフレーム設定ボタン３１２を押下して、自由視点映像を生成したい時間の範囲（開始時刻及び終了時刻）を設定する。例えば、取得された全映像データが120分あり、その開始から63分が経過した時点からの10秒間を設定する場合には、開始時刻1:03:00、終了時刻1:03:10といった具合に、対象のタイムフレームが設定される。取得した多視点映像データが60fpsで撮影されており、上記のように10秒分の映像データが対象範囲として設定された場合には、60(fps)×10(sec)×10(台)＝6000フレームの静止画像データを基に、自由視点映像が生成されることになる。

ステップ４０４では、設定された対象範囲に含まれる全フレームにおいて、被写体２０２の位置とその3次元形状（以下、3D形状）が推定される。推定の手法としては、被写体の輪郭情報を用いるVisual-hull手法や、三角測量を用いたMulti-view stereo手法などの既存の手法を用いる。推定した被写体の位置と3D形状の情報は、被写体情報として記憶部１０３に保存される。なお、撮影シーンに複数の被写体が存在する場合には、各被写体についてその位置と3D形状の推定がなされる。

ステップ４０５では、仮想カメラの設定処理が行われる。具体的には、ユーザが前述の仮想カメラ設定ボタン３１３を押下することで、仮想カメラ設定領域３２０が表示され、ユーザは当該領域３２０内にあるボタン等を操作して、仮想カメラの経路や注視点の経路を設定する。この仮想カメラ設定処理の詳細に関しては、後述する。

ステップ４０６では、ユーザによる前述のOKボタン３２３の押下に応答して、ステップ４０５でなされた仮想カメラに関する設定内容に基づき、自由視点映像が生成される。自由視点映像は、被写体の3D形状に対して、仮想カメラから見た映像をコンピュータグラフィックスの技術を用いることで生成することができる。

ステップ４０７では、仮想カメラの設定内容を変更して新たな自由視点映像を生成するかどうかが判定される。この処理は、自由視点映像プレビューウィンドウ３３０に表示された自由視点映像を見て、その画質等を確認したユーザからの指示に基づいてなされる。ユーザが自由視点映像を生成し直したいと考えた場合は、仮想カメラ設定ボタン３１３を再び押下し、改めて仮想カメラに関する設定を行なう（ステップ４０５に戻る。）。仮想カメラ設定領域３２０において設定内容を変更して、再び「OK」ボタンが押下されると、変更後の内容で自由視点映像が生成される。一方、生成された自由視点映像に問題がなければ本処理を終える。以上が、本実施例に係る、自由視点映像が生成されるまでの大まかな流れである。

続いて、前述のステップ４０５における仮想カメラ設定処理について詳しく説明する。図５は、本実施例に係る、仮想カメラ設定処理の詳細を示すフローチャートである。本フローは、前述の仮想カメラ設定ボタン３１３が押下されることで実行される。

ステップ５０１では、設定されたタイムフレームにおける被写体情報と静的2Dマップが記憶部１０３から読み込まれる。読み込んだ被写体情報と静的2Dマップはメインメモリ１０２に格納される。

ステップ５０２では、読み込んだ被写体情報と静的2Dマップとに基づいて、図3に示すGUI画面の俯瞰画像表示領域３００上に、被写体の位置及び3D形状が投影された静的2Dマップが表示される。図６（ａ）は、図２に示すフィールド２０１の静的2Dマップの上に、ボールを保持した選手の被写体２０２を投影した結果を示している。被写体２０２の位置と形状は、時間軸に沿って遷移するため、ユーザによって設定されたタイムフレーム内における被写体が全て投影される。この場合において、全フレーム分の全被写体を投影すると、投影結果が重なり、視認性・閲覧性が低下する。そこで、全フレームを一定の間隔（例えば5sec）でサンプリングし、所定のフレーム（図６（ａ）の例ではt0、t1、t2、t3）における被写体のみが投影される。また、図６（ａ）の例では、時間の経過と共に被写体が透過される（透過率が上がる）ように表示している。これによりユーザは、設定したタイムフレーム内での時間経過を一目で把握することができる。なお、本実施例では、被写体の透過率を異ならせているが、時間の経過が分かるような表示であればよく、例えば輝度を段階的に下げるなど他の態様であってもよい。こうして得られた投影結果は、俯瞰画像表示領域３００に表示される。

ステップ５０３では、自由視点映像データにおける自由視点を特定する情報、すなわち、仮想カメラの向く方向である注視点が移動する経路（以下、注視点パス）と、仮想カメラが移動する経路（以下、カメラパス）がユーザによって指定される。ユーザは、仮想カメラ設定領域３２０内の注視点パス指定ボタン３２１又はカメラパス指定ボタン３２２を押下した後、俯瞰画像表示領域３００内の静的2Dマップ上に、指、マウス、電子ペン等で軌跡を描く。これにより、注視点パス及びカメラパスがそれぞれ指定される。図６（ｂ）は、注視点パスとカメラパスが指定された結果を示している。図６（ｂ）において、破線の矢印６０１が注視点パス、実線の矢印６０２がカメラパスである。つまり、生成される自由視点映像は、仮想カメラの注視点が破線矢印６０１の示す曲線上を移動しつつ、仮想カメラ自体は実線矢印６０２の示す曲線上を移動した場合の仮想的な映像となる。この場合において、注視点及び仮想カメラの、フィールド２０１からの高度はそれぞれデフォルト値が設定される。例えば、撮影シーンが図２に示すようなラグビーの試合であれば、デフォルト値には、被写体である選手全体が仮想カメラの画角内に収まるよう、注視点の高度が1.5m、仮想カメラの高度が10mといった具合に設定される。また、注視点及び仮想カメラの移動速度は、指定された経路の移動距離を、図４のフローのステップ４０２で設定されたタイムフレームで割った値が設定される。

ステップ５０４では、設定されたカメラパスに沿って、時間軸方向に一定の間隔で仮想カメラから見た場合の静止画像（サムネイル画像）が生成される。本ステップにおける「一定の間隔」は、上述のステップ５０２における「一定の間隔」と同じであってもよいし、異なる間隔であってもよい。また、サムネイル画像は、自由視点映像の出来上がりを予測し、注視点パスやカメラパスの修正等の参考にするもので、その目的が達成可能な程度の解像度（相対的に低い解像度）が設定される。これにより処理負荷が軽くなり、高速な処理が可能になる。

ステップ５０５では、生成したサムネイル画像を、被写体２０２が投影された静的2Dマップに描かれたカメラパスに沿って配置する処理（サムネイル配置処理）がなされる。サムネイル配置処理の詳細に関しては後述する。図６（ｃ）は、サムネイル配置処理の結果の一例を示す図であり、指定されたカメラパス６０２に沿って5つのサムネイル画像６０３が配置されている。このようにして俯瞰画像表示領域３００には、静的2Dマップ上に描かれたカメラパスに沿って一定間隔で複数のサムネイル画像が並んだ状態が表示されることになる。そして、サムネイル画像をカメラパス（＝時間軸）に沿って閲覧することで、ユーザはどのような自由視点映像が生成されるかを瞬時に理解することができる。その結果、前述の図４のフローにおけるステップ４０４〜ステップ４０６の繰り返し回数の大幅な削減に繋がる。

以降のステップ５０６〜５０８は、カメラパス又は注視点パスの調整を行う場合の処理である。ユーザがサムネイル画像から推測される自由視点映像に満足できず、調整を行いたいと考えた場合には、俯瞰画像表示領域３００上に表示された複数のサムネイル画像のいずれか又は注視点パス上のいずれかの位置を選択する。本実施例の場合、例えば指等で任意のサムネイル画像６０３のいずれか又は注視点パスを表す破線矢印６０１の任意の箇所をタッチすることでこの選択がなされる。

ステップ５０６では、ユーザが何らかの選択を行ったかどうかが判定される。ユーザによってサムネイル画像が選択された場合にはステップ５０７へ進み、注視点パス上の任意の箇所が選択された場合にはステップ５０８に進む。一方、いずれの選択もされずにOKボタン３２３が押下された場合には、本処理を抜け、自由視点映像の生成処理（図４のフローのステップ４０５）に移行することになる。

ステップ５０７では、選択されたサムネイル画像に対するユーザ指示に従って、仮想カメラの経路、高度、移動速度を調整する処理（カメラパス調整処理）が実行される。カメラパス調整処理の詳細に関しては後述する。

ステップ５０８では、注視点パス上の選択箇所を示すマーク（本実施例では×印）に対するユーザ指示に従って、注視点の経路、高度、移動速度を調整する処理（注視点パス調整処理）が実行される。注視点パス調整処理の詳細に関しては後述する。以上が、仮想カメラ設定処理の内容である。

図７は、サムネイル配置処理（ステップ５０５）の詳細を示すフローチャートである。まず、ステップ７０１では、時間軸方向に一定間隔でサンプリングして生成したサムネイル画像が、ステップ５０３で設定されたカメラパスに沿って配置される。そして、ステップ７０２では、サムネイル画像同士の間隔が適正化される。具体的には、一定間隔で配置された結果に対して、サムネイル画像同士が密集し重なりが生じている箇所については、重ならないように間引く処理がなされる。さらに、カメラパスの始点や終点、並びにカメラパスの変化が大きい変曲点について、新たにサムネイル画像を生成し追加する処理がなされる。そして、ステップ７０３では、間隔が適正化された各サムネイル画像と、投影されている被写体（投影被写体）とが重ならないように、サムネイル画像の位置をずらす補正処理がなされる。これにより、各投影被写体の視認性が確保され、ユーザはその後の編集作業を円滑に進めることができる。

図８は、サムネイル配置処理の過程を説明する図である。図８（ａ）はステップ７０１の結果であり、生成されたサムネイル画像８０１のすべてがカメラパスに沿って一定間隔で配置された結果、ほとんどのサムネイル画像が他のサムネイル画像と重なった状態になっている。図８（ｂ）はステップ７０２の結果であり、カメラパスの終点に新たなサムネイル画像８０２が追加された上で、サムネイル画像同士の重なりが解消されている。ただし、t1〜t3にかけて投影被写体やカメラパスと一部のサムネイル画像とが重なった状態となっている。図８（ｃ）はステップ７０３の結果であり、投影被写体やカメラパスと重なっていたサムネイル画像が移動し、すべての投影被写体とサムネイル画像の視認性が確保された状態となっている。以上が、サムネイル配置処理の内容である。

続いて、カメラパス調整処理について説明する。図９は、カメラパス調整処理の詳細を示すフローチャートである。前述の通り、本処理は、ユーザが仮想カメラの位置や高度を変更したい箇所のサムネイル画像を選択することで開始する。図１０は、カメラパス調整処理の過程を説明する図である。図１０（ａ）に示すように、ユーザが選択したサムネイル画像１００１は、例えば太枠で強調表示される。また、このときドロップダウンリスト３２６で「Camera」を選択しておくことで、選択に係るサムネイル画像に対応する位置の、注目フレームにおける仮想カメラの高度と移動速度が、表示欄３２４及び３２５にそれぞれ表示される。もちろん、注目フレームだけではなく、自由視点映像を生成するタイムフレーム全体について、仮想カメラの高度と移動速度を表やグラフ等で表示してもよい。また、設定できる仮想カメラのパラメータは高度や移動速度に限定されない。例えば、カメラの画角などを表示してもよい。この状態から、カメラパス調整処理が開始する。

ステップ９０１では、強調表示されたユーザ選択に係るサムネイル画像（以下、「選択サムネイル」と呼ぶ。）に対する、ユーザ指示がなされたかどうかが判定される。本実施例では、ユーザ自身の指を使ったタッチ操作が検知されると、ユーザ指示があったと判断され、ステップ９０２に進む。

ステップ９０２では、ユーザ指示の内容に応じた処理の切り分けがなされる。ユーザ指示が、選択サムネイルに対する1本指でのドラッグ操作であればステップ９０３に、2本指でのピンチ操作であればステップ９０４に、2本指でのスワイプ操作であればステップ９０５にそれぞれ進む。

ステップ９０３では、1本指のドラッグ操作による選択サムネイルの移動に応じて、仮想カメラの経路を変更する。図１０（ｂ）は、選択サムネイル１００１がドラッグ操作によって１００１’の位置に移動された結果に応じて仮想カメラの経路が変更される様子を示す図である。図１０（ａ）において実線矢印１０１０のような軌跡を示していたカメラパスが、図１０（ｂ）では実線矢印１０２０のような異なる軌跡のカメラパスへと変更されているのが分かる。なお、選択中のサムネイル画像と隣接するサムネイル画像との間のカメラパスは、スプライン曲線等で補間される。

ステップ９０４では、2本指のピンチ操作（2本指で間隔を広くする、または狭める）による選択サムネイルのサイズ変化に応じて、仮想カメラの高度を変更する。図１０（ｃ）には、ピンチ操作によってサイズが拡大された選択サムネイル１００２が示されている。ピンチ操作により、選択サムネイルのサイズが拡大または縮小するので、例えばサイズが大きくなるのに伴って高度が低く、サイズが小さくなるのに伴って高度が高くなるようにする。もちろん、サムネイル画像サイズの大小と仮想カメラの高度との関係は逆でもよく、例えばサイズが大きくなるのに伴って高度が高くなるようにしてもよい。すなわち、選択サムネイルのサイズと、その位置における仮想カメラの高度が連動するようになっていればよい。このとき、サイズ変化に応じた仮想カメラの高度を示す数値が、ドロップダウンリスト３２６で「Camera」を選択しておくことで、表示欄３２４に表示される。なお、選択中のサムネイル画像と隣接するサムネイル画像との間のカメラパスは、スプライン補間等で修整される。

ステップ９０５では、2本指のスワイプ操作による選択サムネイルへの所定のアイコンの付加に応じて、仮想カメラの移動速度を変更する。図１１（ａ）は、開始時刻から数えて4つ目の選択サムネイルへの2本指のスワイプ操作によって、濃度が段階的に変化するグラデーションアイコン１１００が付加された状態を示す図である。このとき、グラデーションアイコン１１００の形状と移動速度との間に相関を持たせるようにする。例えば、グラデーションアイコン１１００の長さが長い程、移動速度が速く、グラデーションアイコンの長さが短い程、移動速度が遅い、といった具合である。このように、選択サムネイルへの付加アイコンの形状が、その位置における仮想カメラの移動速度を表すようにする。また、付加アイコンの形状変化に応じた仮想カメラの移動速度を示す数値が、ドロップダウンリスト３２６で「Camera」を選択しておくことで、表示欄３２５に表示される。図１１（ｂ）は、各サムネイル画像、仮想カメラの移動速度、及び自由視点映像の再生時間との関係を説明する図であり、上段は移動速度の変更前、下段は移動速度の変更後の状態を表している。そして、丸印は図１１（ａ）における5つのサムネイル画像を表し、上段における各サムネイル画像は、設定されたタイムフレームの再生時間を均等に分割した時刻にそれぞれ対応している。ここでは、開始時刻から4つ目のサムネイル画像が選択されて移動速度が調整された例を示している。いま、選択サムネイルに対してスワイプ操作を行って仮想カメラの移動速度を上げたとする。この場合、図１１（ｂ）の下段の太線矢印１１０１に示すように、選択中の4つ目のサムネイル画像とその未来に当たる左隣のサムネイル画像との間の再生時間が短縮される。この結果、両サムネイル画像間に相当するフレームにおける被写体の動きも再生時間に合わせて速くなる。また、最終的に出来上がる自由視点映像全体の再生時間もその分だけ短縮される。これとは逆に、選択サムネイルの移動速度を下げた場合は、再生時間がその分だけ延びることになる。さらにこの時、両サムネイル画像間に相当する仮想カメラの移動速度と注視点の移動速度が異なるため、対応する注視点の移動速度を自動的に修整することで、自由視点映像全体の再生時間を一致させてもよい。或いは、後述のステップ１２０５において注視点の移動速度を変更した後に、仮想カメラの移動速度か注視点の移動速度のどちらかを修整してもよい。

ステップ９０６では、上記のような変更後の内容で、各サムネイル画像が更新される。以上が、カメラパス調整処理の内容である。なお、本実施例では、ユーザ指示を、ユーザ自身の指を使ったタッチ操作の種類によって処理を切り分けているが、電子ペンやマウスによる場合には、例えば「Ctrl」キーや「Shift」キーを押しながらの操作であるかどうかによって処理を切り分ければよい。

次に、注視点パス調整処理について説明する。図１２は、注視点パス調整処理の詳細を示すフローチャートである。前述の通り、本処理は、ユーザがその位置や高度を変更したい注視点パス上の任意の箇所を選択することで開始する。図１３は、注視点パス調整処理の過程を説明する図である。図１３（ａ）に示すように、ユーザ選択に係る注視点パス上の任意の箇所（選択箇所）は、例えば太線の×印１３０１で強調表示される。また、このときドロップダウンリスト３２６で「Point of Interest」を選択しておくことで、選択箇所に対応する位置の注視点の高度と移動速度が、表示欄３２４及び３２５にそれぞれ表示される。この状態から、注視点パス調整処理が開始する。

ステップ１２０１では、注視点パス上の選択箇所を示す×印１３０１に対して、ユーザ指示がなされたかどうかが判定される。本実施例では、ユーザ自身の指を使ったタッチ操作が検知されると、ユーザ指示があったと判断され、ステップ１２０２に進む。

ステップ１２０２では、ユーザ指示の内容に応じた処理の切り分けがなされる。ユーザ指示が、選択箇所を示す×印１３０１に対する1本指でのドラッグ操作であればステップ１２０３に、2本指でのピンチ操作であればステップ１２０４に、2本指でのスワイプ操作であればステップ１２０５にそれぞれ進む。

ステップ１２０３では、1本指のドラッグ操作による×印１３０１の移動に応じて、注視点の経路を変更する。図１３（ｂ）は、×印１３０１がドラッグ操作によって１３０１’の位置に移動された結果に応じて、注視点の経路が変更される様子を示す図である。図１３（ａ）において破線矢印１３００のような軌跡を示していた注視点パスが、図１３（ｂ）では破線矢印１３００’のような異なる軌跡の注視点パスへと変更されているのが分かる。なお、選択中のサムネイル画像と隣接するサムネイル画像との間の注視点パスは、スプライン曲線等で補間される。

ステップ１２０４では、2本指のピンチ操作による×印１３０１のサイズ変化に応じて、注視点の高度を変更する。図１３（ｃ）には、ピンチ操作によってサイズが拡大された×印１３０１”が示されている。ピンチ操作により、選択サムネイルのサイズが拡大または縮小するので、例えばサイズが大きくなるのに伴って高度が低く、サイズが小さくなるのに伴って高度が高くなるようにする。もちろん、×印のサイズの大小と注視点の高度との関係は逆でもよく、例えばサイズが大きくなるのに伴って高度が高くなるようにしてもよい。すなわち、選択箇所を示す×印のサイズと、その位置における注視点の高度が連動するようになっていればよい。このとき、サイズ変化に応じた注視点の高度を示す数値が、ドロップダウンリスト３２６で「Point of Interest」を選択しておくことで、表示欄３２４に表示される。このとき、高度変化が急激にならないよう、選択箇所を挟む所定範囲内の注視点パスの高度も、スプライン補間等で修整される。

ステップ１２０５では、2本指のスワイプ操作による×印１３０１への所定アイコンの付加に応じて、注視点の移動速度を変更する。図１３（ｄ）は、×印１３０１への2本指のスワイプ操作によって、濃度が段階的に変化するグラデーションアイコン１３１０が付加された状態を示す図である。このとき、グラデーションアイコン１３１０の形状と移動速度との間に相関を持たせるようにする。例えば、グラデーションアイコン１３１０の長さが長い程、移動速度が速く、グラデーションアイコンの長さが短い程、移動速度が遅い、といった具合である。このように、選択箇所を示すマーク（ここでは×印）への付加アイコンの形状が、その位置における注視点の移動速度を表すようにする。また、付加アイコンの形状変化に応じた注視点の移動速度を示す数値が、ドロップダウンリスト３２６で「Point of Interest」を選択しておくことで、表示欄３２５に表示される。

ステップ１２０６では、上記のような変更後の内容で、注視点パスが更新される。以上が、注視点パス調整処理の内容である。

以上のとおり本実施例によれば、視覚的に分かりやすく、簡単かつ短時間での仮想カメラパス設定が可能となる。また、従来困難であった、2次元画像上での仮想カメラの高度や移動速度の設定も可能となる。

実施例１のGUI画面は、静止画による2次元画像上に仮想カメラの経路等を指定する態様であった。次に、動画による2次元画像上で仮想カメラの経路等を指定する態様について、実施例２として説明する。なお、画像処理装置１００の基本構成など実施例１と共通する部分は説明を省略し、以下では差異点である、動画の2次元画像を用いた仮想カメラの設定処理を中心に説明するものとする。

図１４は、本実施例に係る、自由視点映像生成時に用いるGUI画面の一例を示した図である。図１４は本実施例に係るGUI画面の基本画面であり、俯瞰画像表示領域１４００、操作ボタン領域１４１０、仮想カメラ設定領域１４２０から構成される。なお、本実施例では、注視点パスやカメラパスの指定といった入力操作が電子ペンによって行なわれるものとして、説明を行うものとする。

俯瞰画像表示領域１４００は、仮想カメラの経路や注視点の経路を指定する操作・確認に利用され、撮影シーンを俯瞰的に捉えた動画の2次元画像（以下、「動的2Dマップ」と呼ぶ。）が表示される。そして、俯瞰画像表示領域１４００内には、対象タイムフレームに対応する動的2Dマップの再生・停止、進行状況を表示するプログレスバー１４０１や、動的2Dマップの再生速度を調整するための調整バー１４０２が存在する。さらに、仮想カメラの経路や注視点の経路を指定する際のモードを表示するモード表示欄１４０３も存在する。ここで、モードには、“Time-sync”と“Pen-sync”の2種類がある。“Time-sync”は、動的2Dマップの再生が進むに従って、仮想カメラや注視点の経路を入力するモードである。“Pen-sync”は、電子ペン等で入力された経路の長さに比例して動的2Dマップの再生が進むモードである。

操作ボタン領域１４１０には、多視点映像データの読み込み、自由視点映像生成の対象タイムフレームの設定、仮想カメラの設定を行うためのボタン１４１１〜１４１３が存在する。また、操作ボタン領域１４１０には、生成した自由視点映像を確認するための確認ボタン１４１４が存在し、これが押下されることにより、自由視点映像プレビューウィンドウ（実施例１の図３（ｂ）を参照）に遷移する。これにより、仮想カメラから見た映像である自由視点映像を確認することが可能になる。

仮想カメラ設定領域１４２０は、仮想カメラ設定ボタン１４１３の押下に応じて表示される。そして、その領域１４２０内には、注視点や仮想カメラの経路を指定するためのボタン、経路を指定する際のモード指定を行うためのボタン、指定された経路に従って自由視点映像の生成開始を指示するためのOKボタン１４２１〜１４２４が存在する。また、仮想カメラ設定領域１４２０には、仮想カメラ（Camera）及び注視点（Point of Interest）の高度と移動速度を表示するグラフ１４２５と、その表示対象を切り替えるためのドロップダウンリスト１４２６が存在する。グラフ１４２５は、縦軸が高度、横軸がフレーム数を表し、各点は設定タイムフレームを所定数で分割したときの各時点（ここではt0〜t5）を示している。この場合において、t0は開始フレームに対応し、t5は最終フレームに対応している。仮に、開始時刻1:03:00、終了時刻1:03:25のように25秒分の対象タイムフレームが設定されたとする。多視点映像データが60fpsであれば、60(fps)×25(sec)＝1500フレームが、このときの動的2Dマップの全フレーム数となる。ユーザは、グラフ１４２５上の各点を電子ペンで選択して上下方向に移動させることで、対象タイムフレームにおける任意の時点の仮想カメラや注視点の高度を変更することができる。

図１５は、本実施例に係る、自由視点映像を生成する処理の大まかな流れを示したフローチャートである。以下、実施例１の図４のフローとの違いを中心に説明を行う。

ステップ１５０１で多視点映像データが取得されると、続くステップ１５０２では、取得した多視点映像データのうち、自由視点映像生成の対象タイムフレーム（開始時刻及び終了時刻）が設定される。動的2Dマップは、対象タイムフレームに対応する撮影シーンを俯瞰的に見た場合の2次元動画であるため、対象タイムフレームの設定を待って生成されることになる。

ステップ１５０３では、設定されたタイムフレームに対応する動的2Dマップが生成し、記憶部１０３に保存する。具体的な動的2Dマップ作成方法としては、多視点映像データのうち任意の1の視点に対応する映像データの設定されたタイムフレームにおける映像を射影変換する。或いは多視点映像データのうち任意の2以上の視点に対応する映像データの設定されたタイムフレームにおける映像をそれぞれ射影変換し、得られた複数の映像データを合成することでも得ることができる。この場合、後者の方が被写体形状のつぶれ等が抑制され高画質となるが、その分だけ処理負荷が重くなる。前者であれば画質が劣るものの処理負荷が軽いためより高速な処理が可能となる。

ステップ１５０４〜ステップ１５０６は、実施例１の図４のフローにおけるステップ４０５〜ステップ４０７にそれぞれ対応する。ただし、後述の通り、ステップ１５０４における仮想カメラ設定処理の中身は、使用する2Dマップが静止画ではなく動画であることから、以下に述べるとおり異なる箇所が多く存在する。

以上が、本実施例における自由視点映像が生成されるまでの大まかな流れである。

続いて、上述の動的2Dマップを使用した仮想カメラ設定処理について説明する。図１６は、本実施例に係る、仮想カメラ設定処理の詳細を示すフローチャートである。本フローは、前述の仮想カメラ設定ボタン１４１３が押下されることで実行される。

ステップ１６０１では、設定されたタイムフレームの動的2Dマップが記憶部１０３から読み込まれる。読み込んだ動的2Dマップはメインメモリ１０２に格納される。

ステップ１６０２では、読み込んだ動的2Dマップの開始フレーム（t0時点のフレーム）が、図１４に示すGUI画面の俯瞰画像表示領域１４００上に表示される。図１７（ａ）は、動的2Dマップの開始フレームの一例である。本実施例では、ユーザによって設定されたタイムフレームを一定の間隔（例えば5sec）でサンプリングした箇所（t0〜t5）のうち、現在再生中の時点から所定の時点までのフレームを重ねて表示する。図１７（ａ）の例では、開始フレームから15sec分に相当するt0〜t3までのフレームが重ねて表示されている。この際、現在から遠いフレームにおける被写体ほど透過する（透過率が上がる）ように表示する点は、実施例１と同じである。これによりユーザは、設定したタイムフレーム内での時間経過を一目で把握することができ、さらに表示範囲を時間的に限定することで閲覧性が向上する。

ステップ１６０３では、注視点パスやカメラパスを指定する際のモードのユーザ選択を受け付け、“Time-sync”又は“Pen-sync”のいずれかが設定される。設定された内容は、俯瞰画像表示領域１４００内のMode表示欄１４０３に表示される。なお、ユーザ選択がなければ、デフォルト設定の内容（例えば“Time-sync”）で次の処理に移行するようにしてもよい。

ステップ１６０４では、注視点パスの指定を受け付ける処理（注視点パス指定受付処理）がなされる。ユーザは電子ペンを用いて、仮想カメラ設定領域１４２０内の注視点パス指定ボタン１４２１を押下した後、俯瞰画像表示領域１４００内の動的2Dマップ上に軌跡を描く。これにより注視点パスが指定される。図１７（ｂ）〜（ｄ）は、図１７（ａ）に示す動的2Dマップ上に注視点パスが指定される様子を時系列で示す図であり、破線の矢印１７０１が指定された注視点パスである。図１７（ｂ）は現在がt0の時点、同（ｃ）は現在がt1の時点、同（ｄ）は現在がt2の時点における動的2Dマップの状態をそれぞれ表している。例えば図１７（ｃ）では、現在がt1の時点であるので、過去になったt0時点の被写体（フレーム）が表示されなくなる代わりに、t4時点の被写体（フレーム）が表示されている。このように表示する被写体の範囲を時間的に限定することで閲覧性を向上させることができる。なお、設定されたタイムフレームが短時間である場合等の一定の条件下で、時間的な限定を行うことなく、設定されたタイムフレーム間の全フレームを表示するようにしてもよい。この場合、過去分のフレームについても被写体を透過させる等の処理を行って、時間の経過をユーザが把握できるようにしてもよい。注視点パス指定受付処理は、ステップ１６０３で指定されたモードによってその内容が異なる。モードに応じた注視点パス指定受付処理の詳細については後述する。

ステップ１６０５では、カメラパスの指定を受け付ける処理（カメラパス指定受付処理）がなされる。上述の注視点パスと同様、ユーザは電子ペンを用いて、仮想カメラ設定領域１４２０内のカメラパス指定ボタン１４２２を押下した後、俯瞰画像表示領域１４００内の動的2Dマップ上に軌跡を描く。これによりカメラパスが指定される。図１８（ａ）〜（ｃ）は、注視点パスの指定を終えた後の動的2Dマップ上（図１７（ｄ）を参照）に、カメラパスを指定する様子を時系列で示す図である。図１８（ａ）〜（ｃ）において、×印１８００は指定された注視点パス１７０１上の注視点の現在位置を示し、実線の矢印１８０１は指定されたカメラパスを示している。図１８（ａ）は現在がt0の時点、同（ｂ）は現在がt1の時点、同（ｃ）は現在がt2の時点における動的2Dマップの状態をそれぞれ表している。例えば図１８（ｂ）では、現在がt1の時点であるので、t0時点の被写体（フレーム）が表示されなくなる代わりに、t4時点の被写体（フレーム）が表示されている。カメラパス指定受付処理の内容も、ステップ１６０３で指定されたモードによってその内容が異なる。モードに応じたカメラパス指定受付処理の詳細については後述する。

ステップ１６０６では、ユーザが調整のための何らかの選択を行ったかどうかが判定される。ユーザによって、動的2Dマップ上の注視点パス又はカメラパス、或いはグラフ１４２５上の点が選択された場合には、ステップ１６０７へ進む。一方、いずれの選択もされずにOKボタン１４２４が押下された場合には、本処理を抜け、自由視点映像の生成処理（図１５のフローのステップ１５０５）に移行することになる。

ステップ１６０７では、選択された注視点パス又はカメラパスに対する入力操作に従って、仮想カメラの経路、高度、移動速度を調整する処理（パス調整処理）が実行される。パス調整処理の詳細に関しては後述する。

続いて、注視点パス指定受付処理（ステップ１６０４）及び、カメラパス指定受付処理（ステップ１６０５）について説明する。各処理の詳細に入る前に、カメラパスを指定する際のモードによる違いを、図１９を参照して説明する。図１９において、（ａ）は“Time-sync”モード、同（ｂ）は“Pen-sync”モードの場合をそれぞれ示している。図１９（ａ）及び（ｂ）において、実線の矢印１９０１及び１９０２が指定された経路をそれぞれ示している。図１９（ａ）に示す“Time-sync”では、動的2Dマップが5秒進行する間にユーザが電子ペンを操作した軌跡がパス１９０１となる。これに対し、図１９（ｂ）に示す“Pen-sync”では、ユーザが電子ペンを操作して描いた軌跡（＝パス１９０２）の長さが5秒分であることを意味する。なお、図１９では、説明の便宜上、異なる時間軸の被写体を省略しているが、前述の通り、実際のGUI画面では例えば透過率を変えるなどして異なる時間軸の被写体も表示される。また、カメラパスの指定を受け付ける際、例えば図２０に示すように、現在位置の注視点を中心とした所定範囲内（その注視点の周辺のみ）を表示するようにして、表示する被写体を空間的に絞り込んでもよい。図２０において、（ａ）は空間的な絞込みを行う前の俯瞰図（動的2Dマップにおける1フレーム）の一例であり、同（ｂ）は空間的な絞込みを行なった俯瞰図の一例である。このように、注視点から離れた場所にいる被写体を不可視の状態にすることで閲覧性を向上させることができる。

図２１は、注視点パス指定受付処理の詳細を示すフローチャートであり、（ａ）が“Time-sync”の場合、（ｂ）が“Pen-sync”の場合である。前述の通り、本処理はユーザが注視点パス指定ボタン１４２１を押下することで開始する。

まず、“Time-sync”の場合について、図２１（ａ）のフローに沿って説明する。ステップ２１０１では、動的2Dマップ上でユーザが行った電子ペンによる入力操作を受け付ける。ステップ２１０２では、電子ペンの入力操作を受け付けた時点からの経過時間が、画像処理装置内１００が備えるタイマ（不図示）に基づき算出される。ステップ２１０３では、ユーザによる電子ペンの入力操作の軌跡を表示しながら（前述の図１７の例では破線矢印）、算出された経過時間に相当するフレーム数分、動的2Dマップが進められる。この時、調整バー１４０２を調整することで、算出された経過時間に対して、どの程度動的2Dマップを進めるか調整できる。例えば、調整バー１４０２によって、再生速度を半分にすると、算出された電子ペン入力の経過時間5秒に対して、動画を2.5秒進めるようなスロー再生ができる。こうして動的2Dマップ上に表示された電子ペンでの入力操作の軌跡が注視点パスとなる。ステップ２１０４では、設定されたタイムフレーム全体について注視点パスの指定がなされたかどうかが判定される。未処理のフレームがあれば、ステップ２１０２に戻って処理を繰り返す。一方、対象タイムフレーム全体について注視点パスの指定が完了していれば、本処理を抜ける。以上が、“Time-sync”の場合の注視点パス指定受付処理の内容である。

続いて、“Pen-sync”の場合について、図２１（ｂ）のフローに沿って説明する。ステップ２１１１では、動的2Dマップ上でユーザが行った電子ペンによる入力操作を受け付ける。ステップ２１１２では、電子ペンの入力操作を受け付けた時点からの、電子ペンの軌跡の長さの累積値（累積軌跡長）が算出される。ステップ２１１３では、電子ペンの入力操作の軌跡を表示しながら、算出された累積軌跡長に相当するフレーム数分、動的2Dマップが進められる。例えば、累積軌跡長を動的2Dマップ上の画素数で換算する場合、累積軌跡長1画素につき1フレーム分動画が進む例が考えられる。またこの時、調整バー１４０２を調整することで、再生速度を半分にすると、累積軌跡長2画素につき、動画を1フレーム進めるようなスロー再生ができる。ステップ２１１４では、設定されたタイムフレーム全体について注視点パスの指定がなされたかどうかが判定される。未処理のフレームがあれば、ステップ２１１２に戻って処理を繰り返す。一方、対象タイムフレーム全体について注視点パスの指定が完了していれば、本処理を抜ける。以上が、“Pen-sync”の場合の注視点パス指定受付処理の内容である。

図２２は、カメラパス指定受付処理の詳細を示すフローチャートであり、（ａ）が“Time-sync”の場合、（ｂ）が“Pen-sync”の場合である。前述の通り、本処理はユーザがカメラパス指定ボタン１４２２を押下することで開始する。

まず、“Time-sync”の場合について、図２２（ａ）のフローに沿って説明する。ステップ２２０１では、動的2Dマップ上に前述のステップ１６０４で指定された注視点パスと当該注視点パスにおける開始点（初期注視点）が表示される。図１８の例では、注視点パスが破線矢印１７０１、初期注視点が×印１８００である。ステップ２２０２では、動的2Dマップ上でユーザが行った電子ペンによる入力操作を受け付ける。ステップ２２０３では、前述のステップ２１０２と同様、電子ペンの入力操作を受け付けた時点からの経過時間が算出される。ステップ２２０４では、受け付けた電子ペンの入力操作の軌跡を、注視点パスとの混同が生じないように表示しながら（例えば線の種類や色を変える等）、算出された経過時間に相当するフレーム数分、動的2Dマップが進められる。この際、注視点の現在位置も時間の経過に合わせて移動する。このようにして、電子ペンでの入力操作の軌跡がカメラパスとして表示される。前述の図１８の例では、カメラパスを実線矢印１８０１で示すことで、破線矢印１７０１で示す注視点パスと区別している。ステップ２２０５では、設定されたタイムフレーム全体についてカメラパスの指定がなされたかどうかが判定される。未処理のフレームがあれば、ステップ２２０３に戻って処理を繰り返す。一方、対象タイムフレーム全体についてカメラパスの指定が完了していれば、本処理を抜ける。以上が、“Time-sync”の場合のカメラパス指定受付処理の内容である。

続いて、“Pen-sync”の場合について、図２２（ｂ）のフローに沿って説明する。ステップ２２１１では、動的2Dマップ上に前述のステップ１６０４で指定された注視点パスと当該注視点パスの初期注視点が表示される。ステップ２２１２では、動的2Dマップ上でユーザが行った電子ペンによる入力操作を受け付ける。ステップ２２１３では、電子ペンの入力操作を受け付けた時点からの、電子ペンの軌跡の長さの累積値（累積軌跡長）が算出される。ステップ２２１４では、電子ペンの入力操作の軌跡を、注視点パスとの混同が生じないように表示（例えば線の種類や色を変える等）しながら、算出された累積軌跡長に相当するフレーム数分、動的2Dマップが進められる。この際、注視点の現在位置も動的2Dマップの進みに合わせて移動する。このようにして電子ペンでの入力操作の軌跡がカメラパスとして表示される。ステップ２２１５では、電子ペンによる入力操作が停止しているかどうかが判定される。例えば、電子ペンの位置座標を現フレームと直近フレームとで比較し、変化がなければ電子ペンの入力操作が停止していると判定する。判定の結果、電子ペンの入力操作が停止している場合はステップ２２１６に進み、停止していない場合はステップ２２１７に進む。ステップ２２１６では、電子ペンの入力操作の停止状態が、例えば5secなど一定時間以上継続しているかどうかが判定される。判定の結果、停止状態が一定時間以上継続している場合はステップ２２１７に進み、停止状態が一定時間以上継続していない場合はステップ２２１３に戻って処理を続行する。ステップ２２１７では、電子ペンの入力操作がなされた時点までの自由視点映像の生成が、図１５のフローのステップ１５０５を待たずに実行される。この際には、入力操作が済んだ分までのカメラパスに従って自由視点映像の生成が行われる。リソースの空き時間を有効活用するためである。ステップ２２１８では、設定されたタイムフレーム全体についてカメラパスの指定がなされたかどうかが判定される。未処理のフレームがあれば、ステップ２２１３に戻って処理を繰り返す。一方、対象タイムフレーム全体についてカメラパスの指定が完了していれば、本処理を抜ける。以上が、“Pen-sync”の場合のカメラパス指定受付処理の内容である。

続いて、本実施例に係るパス調整処理について説明する。図２３は、本実施例のパス調整処理の詳細を示すフローチャートである。前述の通り本処理は、ユーザが、動的2Dマップ上の注視点パス又はカメラパス、或いはグラフ１４２５上の点を選択することで開始する。グラフ１４２５上の点を選択した際のドロップダウンリスト１４２６が「Camera」であればカメラパスについて、「Point of Interest」であれば注視点パスについての調整処理となる。

ステップ２３０１では、ユーザ選択に係るカメラパス又は注視点パス或いはグラフ１４２５上の点に対する、ユーザ指示がなされたかどうかが判定される。本実施例では、電子ペンによる入力操作が検知されると、ユーザ指示があったと判断され、ステップ２３０２に進む。

ステップ２３０２では、ユーザ指示の内容に応じた処理の切り分けがなされる。ユーザ指示が、注視点パスに対するドラッグ操作であればステップ２３０３に、カメラパスに対するドラッグ操作であればステップ２３０４に、グラフ１４２５上の点に対するドラッグ操作であればステップ２３０５にそれぞれ進む。

ステップ２３０３では、ドラッグ操作による注視点パスの移動に応じて、注視点の経路を変更する。ここで、パス指定のモードが“Time-sync”であったとする。この場合において、ユーザが注視点パス上の任意の中間点を選択していた場合には、その開始点と終了点を維持したまま、移動先に沿って経路が変更される。この際、変更後の注視点パスが滑らかになるようにスプライン補間等の処理がなされる。一方、ユーザが注視点パスの開始点又は終了点を選択していた場合には、移動先に応じて、注視点パスの長さが伸縮される。このとき、注視点パスの長さが伸びるケースでは注視点の移動速度が速くなることを意味し、逆に長さが短くなるケースでは注視点の移動速度が遅くなることを意味する。パス指定のモードが“Pen-sync”の場合も基本的には同じであるが、注視点パスの長さを変更するような調整はできない。“Pen-sync”においてはパスの長さ＝再生時間だからである。“Pen-sync”の場合における注視点の移動速度の調整は、動的2Dマップの再生速度を調整するための調整バー１４０２によって行うことになる。

ステップ２４０４では、ドラッグ操作によるカメラパスの移動に応じて、仮想カメラの経路を変更する。その内容は、前述の注視点パスの経路変更と同じであるので説明を省略する。ステップ２４０５では、ドラッグ操作によるグラフ上の点の移動に応じて、「Camera」を選択中であれば仮想カメラの高度が、「Point of Interest」を選択中であれば注視点の高度が、その移動先の点の位置に応じて変更される。以上が、本実施例に係るパス調整処理の内容である。

本実施例によれば、実施例１の効果に加え、以下のような利点がある。まず、仮想カメラ設定のための事前処理（被写体の位置と3次元形状の推定）が不要で処理負荷が軽く、カメラパスや注視点パスの設定をより早く開始することができる。また、サムネイル画像を用いないため、仮想カメラ等の経路を指定する際の画面がシンプルで被写体を見やすい。さらに、動画の進行に沿って仮想カメラ等の経路を指定するため、被写体の動きの把握が容易で予測しやすい。これらの効果によって、より使いやすいユーザインタフェースとなる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (27)

1. 複数のカメラを用いて撮影した多視点映像から、仮想カメラから見た映像である自由視点映像を生成する画像処理装置において、
   前記仮想カメラの移動の軌跡を示すカメラパス及び前記仮想カメラが注視する先である注視点の移動の軌跡を示す注視点パスを、ユーザが指定するためのユーザインタフェースと、
   前記ユーザインタフェースを介して指定された前記カメラパス及び注視点パスに基づいて、前記自由視点映像を生成する生成手段と、
   を備え、
   前記ユーザインタフェースは、前記多視点映像の撮影シーンを俯瞰的に捉えた2次元画像を用いたUI画面に、前記多視点映像のうち前記自由視点映像の生成対象となるタイムフレームにおける被写体の時系列の変化を表示し、前記ユーザが、当該2次元画像に対する入力操作によって前記軌跡を描くことで、前記カメラパス及び注視点パスが指定されるように構成される
   ことを特徴とする画像処理装置。
2. 前記2次元画像を前記多視点映像から生成する生成手段をさらに備えたことを特徴とする請求項１に記載の画像処理装置。
3. 前記2次元画像は静止画であり、
   前記ユーザインタフェースは、前記タイムフレームを一定の間隔でサンプリングした所定のフレームにおける各被写体を時間軸方向に異なる態様で前記静止画に重ねて表示することで、前記被写体の時系列の変化を表示するように構成される、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記異なる態様は、透過率を異ならせることであることを特徴とする請求項３に記載の画像処理装置。
5. 前記ユーザインタフェースは、ユーザが指定した前記カメラパスに沿って、時間軸方向に一定の間隔で前記仮想カメラから見た場合のサムネイル画像を配置し、当該サムネイル画像に対するユーザの入力操作を介して、前記仮想カメラの経路、高度、移動速度が調整されるように構成されることを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記サムネイル画像は、前記カメラパスの変化が大きい変曲点に配置されることを特徴とする請求項５に記載の画像処理装置。
7. 前記サムネイル画像は、サムネイル画像同士が重ならないように配置されることを特徴とする請求項５に記載の画像処理装置。
8. 前記サムネイル画像は、前記被写体と重ならないように配置されることを特徴とする請求項５に記載の画像処理装置。
9. 前記サムネイル画像の位置が変更されることにより、指定された前記カメラパスの経路が変化することを特徴とする請求項５乃至８のいずれか１項に記載の画像処理装置。
10. 前記サムネイル画像のサイズが変更されることにより、指定された前記カメラパスの当該サムネイル画像に対応する位置における前記仮想カメラの高度が変化することを特徴とする請求項５乃至８のいずれか１項に記載の画像処理装置。
11. 前記サムネイル画像に所定のアイコンを付加する操作をユーザが行うことによって、指定された前記カメラパスの当該サムネイル画像に対応する位置における前記仮想カメラの移動速度が変化することを特徴とする請求項５乃至８のいずれか１項に記載の画像処理装置。
12. 前記所定のアイコンは、そのサイズによって移動速度の違いを表すことを特徴とする請求項１１に記載の画像処理装置。
13. 前記2次元画像は動画であり、
    前記生成手段は、前記多視点映像のうち前記タイムフレームに相当する映像を用いて前記動画を生成し、
    前記ユーザインタフェースは、前記動画を再生することで、前記被写体の時系列の変化を表示するように構成される、
    ことを特徴とする請求項２に記載の画像処理装置。
14. 前記生成手段は、前記多視点映像のうち任意の１の視点に対応する映像の前記タイムフレームにおける映像を射影変換すること、又は前記多視点映像のうち任意の2以上の視点に対応する映像の前記タイムフレームにおける映像をそれぞれ射影変換して得られた複数の映像を合成することで、前記動画を生成することを特徴とする請求項１３に記載の画像処理装置。
15. 前記ユーザインタフェースは、前記タイムフレームを一定の間隔でサンプリングした箇所のうち、現在再生中の時点から所定の時点までのフレームを重ねて表示することで、前記被写体の時系列の変化を表示するように構成される、ことを特徴とする請求項１３又は１４に記載の画像処理装置。
16. 前記現在再生中の時点から所定の時点までのフレームにおける各被写体を時間軸方向に異なる態様で表示することで、前記被写体の時系列の変化を表示する、ことを特徴とする請求項１５に記載の画像処理装置。
17. 前記異なる態様は、透過率を異ならせることであることを特徴とする請求項１６に記載の画像処理装置。
18. 前記ユーザインタフェースは、前記カメラパス及び注視点パスを指定する際のモードとして、前記動画の再生が進むのに従って前記注視点や仮想カメラの経路をユーザが入力する第１のモードと、ユーザが入力した前記注視点や仮想カメラの経路の長さに比例して前記動画の再生が進む第２のモードと、を有するように構成されることを特徴とする請求項１３に記載の画像処理装置。
19. 前記ユーザインタフェースは、前記第１のモードの場合、ユーザの入力操作を受け付けた時点からの経過時間に相当するフレーム数分だけ前記動画を進めながら、当該入力操作の軌跡を表示することで、前記注視点パス又はカメラパスの指定を受け付けるように構成されることを特徴とする請求項１８に記載の画像処理装置。
20. 前記ユーザインタフェースは、前記注視点パスの指定を前記カメラパスの指定よりも前に受け付け、前記カメラパスの指定を受け付ける際に、既に指定された前記注視点パスを表示するように構成されることを特徴とする請求項１９に記載の画像処理装置。
21. 前記ユーザインタフェースは、前記第２のモードの場合、ユーザの入力操作を受け付けた時点からの、当該入力操作の累積軌跡長に相当するフレーム数分だけ前記動画を進めながら、当該入力操作の軌跡を表示することで、前記注視点パス又はカメラパスの指定を受け付けるように構成されることを特徴とする請求項１８に記載の画像処理装置。
22. 前記生成手段は、前記カメラパスの指定の受け付け中に、前記入力操作の停止状態が一定時間以上継続している場合、当該カメラパスの指定の受け付け完了を待たずに、当該入力操作がなされた時点までの自由視点映像を生成することを特徴とする請求項２１に記載の画像処理装置。
23. 前記ユーザインタフェースは、ユーザが指定した前記注視点パス及びカメラパスに対するユーザの入力操作を介して、前記注視点パス及びカメラパスの経路が調整されるように構成されることを特徴とする請求項１３乃至２２のいずれか１項に記載の画像処理装置。
24. 前記ユーザインタフェースは、前記第１のモードの場合、前記注視点パス及び前記カメラパスの長さが変更されることにより、前記注視点及び仮想カメラの移動速度が変化することを特徴とする請求項１３乃至２２のいずれか１項に記載の画像処理装置。
25. 前記ユーザインタフェースは、ユーザが指定した前記注視点パス及びカメラパスの高度を示す情報を表示し、当該情報に対するユーザの入力操作を介して、前記注視点パス及びカメラパスの高度が調整されるように構成されることを特徴とする請求項１３乃至２２のいずれか１項に記載の画像処理装置。
26. 前記入力操作は、ユーザ自身の指、電子ペン、マウスのいずれかによって行われることを特徴とする請求項１乃至２４のいずれか１項に記載の画像処理装置。
27. コンピュータを、請求項１乃至２６のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images