JP2020102124A - 画像生成装置、画像生成方法及びプログラム - Google Patents

Abstract

【課題】仮想視点画像の生成が完了するタイミングを早くする。【解決手段】本発明は、仮想視点画像を生成する画像生成装置であり、仮想視点画像を生成するための処理に関するジョブを生成し、さらに、そのジョブの実行を制御するジョブ制御部（２０４）を備え、ジョブ制御部は、仮想視点画像を生成するための処理に関するジョブのうち、仮想視点情報を必要とする処理に関するジョブと仮想視点情報を必要としない処理に関するジョブとをそれぞれ生成し、その生成した複数のジョブを個別に実行するように制御する。【選択図】図２

Description

本発明は、仮想視点画像を生成するための技術に関する。

昨今、異なる位置に配置された複数のカメラで撮影した画像を用いて、画像処理により空間中の任意の位置からの視点（仮想視点）における画像を生成する、仮想視点画像生成技術が知られている（特許文献１）。

特開２００８−１５７５６号公報

しかしながら、特許文献１の仮想視点画像生成装置は、撮影画像、カメラの設置情報を示すパラメータ等が取得されている場合であっても、ユーザが仮想視点情報の設定を完了していなければ、仮想視点画像の生成処理を開始しない。

そのため、画像が撮影されてから仮想視点画像の生成処理を開始するまでに充分な時間があっても、ユーザが仮想視点情報の設定を完了してから生成処理を開始するため、仮想視点画像の生成が完了するタイミングが遅くなるという課題がある。

本発明は、前記従来の課題に鑑みてなされたものであって、その目的は、仮想視点画像の生成が完了するタイミングを早くすることである。

本発明は、仮想視点画像を生成する画像生成装置であって、前記仮想視点画像を生成するための処理に関するジョブを生成する生成手段と、前記ジョブの実行を制御する制御手段とを備え、前記生成手段は、前記仮想視点画像を生成するための処理に関するジョブのうち、仮想視点情報を必要とする処理に関するジョブと前記仮想視点情報を必要としない処理に関するジョブとをそれぞれ生成し、前記制御手段は、前記生成手段により生成された複数のジョブを個別に実行するように制御することを特徴とする。

本発明によれば、仮想視点画像の生成が完了するタイミングを早くすることができる。

仮想視点画像生成システムの構成を示す図である。 仮想視点画像生成システムの機能構成を示す図である。 仮想視点画像生成処理部における仮想視点画像を生成する処理の手順を示すフローチャートである。 ジョブ制御部における仮想視点画像生成処理部にジョブを送信する処理の手順を示すフローチャートである。 仮想視点画像生成システムの機能構成を示すブロック図である。 自動前処理制御部におけるジョブ制御部にジョブの生成を要求するまでの処理の手順を示すフローチャートである。 仮想視点画像生成処理部における仮想視点画像を生成する処理の手順を示すフローチャートである。 情報処理装置のハードウェア構成図である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は、本発明を限定するものではなく、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。その他、本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれ、また、以下の実施形態の一部を適宜組み合わせることもできる。

＜実施形態１＞
本実施形態では、あるシーンの撮影画像データを取得して、そのシーンの仮想視点画像を生成する仮想視点画像生成システムについて説明する。

なお、ここで、シーンとは、複数カメラにより同期して撮影が行われる撮影期間に含まれる、連続した時間的区間のことである。また、本実施形態に係る仮想視点画像生成システムに関して、適切に条件を設定することで様々な撮影対象についての仮想視点画像の生成に適用することが可能であるが、以下では、撮影対象がサッカーである場合の例を中心に説明する。

（システム構成）
図１は、本実施形態に係る仮想視点画像生成システムの構成を示す図である。仮想視点画像生成システムは、図１に示されるように、複数のカメラ１０１、情報処理装置１０３、表示装置１０４、入力装置１０５を備える。

複数のカメラ１０１は、サッカースタジアムにおいて、例えば、サッカーフィールドの片面のペナルティマークを中心とした円領域を取り囲むように配置される。複数のカメラ１０１は、同期撮影した画像を情報処理装置１０３に転送する。オブジェクト１０２は、仮想視点画像生成システムの撮影対象である被写体であり、具体的には、例えば、サッカー選手、審判、ボール等である。

情報処理装置１０３は、仮想視点画像を生成する画像生成装置である。なお、図１において、複数のカメラ１０１と情報処理装置１０３は、スター型に接続されているが、ディジーチェーン型に接続されてもよい。また、情報処理装置１０３には、転送された画像、情報処理装置１０３の処理結果を表示する表示装置１０４と、情報処理装置１０３への入力を行うための入力装置１０５が接続される。

次に、図２を用いて、本実施形態に係る仮想視点画像生成システムの機能構成について説明する。仮想視点画像生成システムは、図２に示されるように、カメラ画像取得部２０１、記憶部２０２、仮想視点画像生成処理部２０３、ジョブ制御部２０４、入力部２０５、表示部２０６、カメラパス生成部２０７、自動前処理制御部２０８を備える。

カメラ画像取得部２０１は、複数のカメラ１０１により撮影された画像を取得し、撮影時のタイムスタンプ情報を付加して記憶部２０２に記憶する。記憶部２０２は、カメラ画像取得部２０１により取得された画像、仮想視点画像生成処理部２０３により生成された仮想視点画像及び中間出力、カメラパス生成部２０７により生成されたカメラパスを記憶する。なお、カメラパスは、複数の時点に対応する複数の仮想視点を示す情報であり、ここでは、時間に応じて変化する仮想視点を表すものとする。本実施形態において、カメラパスは、３次元で示される仮想視点の位置、仮想視点の向き（回転パラメータ）が１次元で示される時間軸方向に変化する、７次元の情報で表現される。

仮想視点画像生成処理部２０３は、仮想視点画像を生成するための画像処理を行う。仮想視点画像を生成するための画像処理は、複数の処理工程を含む。本実施形態では、例えば、背景画像の生成処理、前景マスク画像の生成処理、三次元形状の推定処理、カメラパスへのレンダリング処理等の処理工程を含む。

また、仮想視点画像を生成するための画像処理は、ジョブ制御部２０４から送信されるジョブ（指示情報）により実行される。指示情報は、具体的には、例えば、処理内容に関する情報、処理対象シーンのタイムスタンプ、カメラパスの指定情報、ジョブの生成元（即ち、入力部２０５又は自動前処理制御部２０８）に関する情報等を含む。

仮想視点画像生成処理部２０３は、ジョブ制御部２０４から送信されるジョブに基づいて、そのジョブの実行に必要なデータを記憶部２０２から取得し、そのジョブに指定された処理を実行すると、生成した仮想視点画像及び中間出力を記憶部２０２に記憶する。なお、仮想視点画像生成処理部２０３は、ジョブを実行する上で、ジョブを複数のプロセッサに割り当てることで、ジョブを並列に実行させることができる。また、仮想視点画像生成処理部２０３は、定期的に、ジョブ制御部２０４にジョブの実行状態やＣＰＵ（Central Processing Unit）の使用率の状態等に関する情報を送信する。

ジョブ制御部２０４は、仮想視点画像生成処理部２０３において実行されるジョブを生成し、さらに、その生成したジョブを保持する。また、ジョブは、入力部２０５又は自動前処理制御部２０８からの要求によって生成される。

入力部２０５からの要求によってジョブが生成される場合、ジョブ制御部２０４は、記憶部２０２に、処理対象とするシーンの前処理結果が既に出力されているか否かを確認（判定）し、その判定結果に応じた処理が実行されるようにジョブを生成する。本実施形態における前処理とは、仮想視点画像を生成するために用いられるすべてのデータが揃う前に実行可能な処理であり、例えば、仮想視点の位置及び方向を示す仮想視点情報を用いずに実行可能な処理である。仮想視点情報を用いずに実行可能な処理としては、複数のカメラにより複数の方向から撮影領域を撮影することで得られる複数の画像データを用いて、撮影領域内の特定のオブジェクトの３次元モデルを生成する処理等がある。ただし、前処理の内容はこれに限定されない。

ジョブ制御部２０４は、前処理が実施されていないシーンの仮想視点画像生成ジョブの生成を入力部２０５から要求された場合、ジョブの処理内容に仮想視点画像生成処理の全てが実行されるように指定する。さらに、ジョブ制御部２０４は、処理対象とするシーンのタイムスタンプ、入力部２０５において入力されたカメラパス指定情報、ジョブの生成元を入力部２０５（ユーザ入力）とした情報をジョブに組み込む。また、ジョブ制御部２０４は、処理対象とするシーンの前処理結果が出力されていた場合や前処理ジョブが実行中の場合は、追加で必要な処理（即ち、レンダリング処理）を処理内容としたジョブを生成する。

また、自動前処理制御部２０８からの要求（即ち、前処理の実施に関するジョブの生成指示）によってジョブが生成される場合、ジョブ制御部２０４は、処理対象とするシーンについて、処理内容に前処理を指定したジョブを生成する。

さらに、ジョブ制御部２０４は、仮想視点画像生成処理部２０３の処理（動作）状態を取得し、その処理状態に応じて、保持したジョブの中から仮想視点画像生成処理部２０３に実行させるジョブを選択し、仮想視点画像生成処理部２０３に送信する。例えば、ジョブ制御部２０４は、仮想視点画像生成処理部２０３において、既に実行中のジョブの数が所定数を超過している場合やＣＰＵの使用率が一定以上である場合には、仮想視点画像生成処理部２０３へのジョブの送信を控える。

入力部２０５は、ユーザからの操作入力を受け付ける。例えば、ユーザからの操作入力が仮想視点画像の生成の実行に関するものであった場合、入力部２０５は、仮想視点画像生成ジョブの生成指示をジョブ制御部２０４に送信する。また、ユーザからの操作入力がカメラパス編集に関するものであった場合、入力部２０５は、カメラパス生成部２０７に編集操作指示を送信する。また、ユーザからの操作入力が表示データの表示に関するものであった場合、入力部２０５は、表示部２０６に表示指示を送信する。

表示部２０６は、記憶部２０２から必要に応じてデータを取得し、表示装置１０４に表示させる。なお、表示装置１０４に表示させるデータは、状況により変化する。例えば、表示部２０６は、複数のカメラ１０１のうちの特定のカメラから取得した画像を表示させる指示を受信した場合、その特定のカメラにより撮影された画像を記憶部２０２から取得し、表示装置１０４に表示させる。

また、表示部２０６は、入力部２０５からカメラパス生成部２０７が保持する編集中データを表示させる指示を受信した場合、その編集中データをカメラパス生成部２０７から取得し、表示装置１０４に表示させる。その他、表示部２０６は、入力部２０５から仮想視点画像生成処理部２０３が生成した仮想視点画像を表示させる指示を受信した場合、その仮想視点画像を記憶部２０２から取得し、表示装置１０４に表示させる。

カメラパス生成部２０７は、入力部２０５からカメラパス編集指示を受信し、その編集指示に基づいてカメラパスを生成する。また、カメラパス生成部２０７は、カメラパスの保存指示を受信した場合、記憶部２０２に生成したカメラパスを記憶（保存）する。その他、カメラパス生成部２０７は、表示部２０６からのカメラパスの取得要求に応じて、編集中のカメラパスを送信する。

自動前処理制御部２０８は、記憶部２０２に記憶された撮影画像データを監視し、ユーザにより予め設定されたフレーム数が新たに保存された場合に、そのフレームに対応するシーンの前処理を実施するジョブの生成指示をジョブ制御部２０４に送信する。即ち、自動前処理制御部２０８は、ジョブ制御部２０４にジョブの生成を指示する指示手段の一例である。

（処理フロー）
次に、仮想視点画像生成処理部２０３における仮想視点画像を生成するための画像処理の手順について図３のフローチャートを用いて、また、ジョブ制御部２０４におけるジョブの送信処理の手順について図４のフローチャートを用いて、説明する。なお、フローチャートの説明における記号「Ｓ」は、ステップを表すものとする。また、この点、以降のフローチャートの説明においても同様とする。

先ず、図３を用いて、ジョブ制御部２０４からのジョブを受けて、仮想視点画像生成処理部２０３において実行される仮想視点画像を生成するための画像処理を、その画像処理の手順に従って説明する。

Ｓ３０１において、仮想視点画像生成処理部２０３は、ジョブ制御部２０４から送信されたジョブを取得する。Ｓ３０２において、仮想視点画像生成処理部２０３は、記憶部２０２からジョブを実行する上で必要なデータを取得する。例えば、ジョブの処理内容に前処理が含まれる場合、処理対象とするシーンに撮影された全てのカメラの撮影画像、背景画像の生成に必要な画像（即ち、そのシーンの前の一定時間に撮影された画像）、前処理に用いる各種パラメータを取得する。また、ジョブの処理内容に前処理が含まれない場合、既に実行された前処理の結果（即ち、後述のＳ３０９の処理結果）を取得する。その他、ジョブの処理内容にレンダリングが含まれる場合、レンダリングの実行時に用いるパラメータやカメラパスを取得する。

Ｓ３０３において、仮想視点画像生成処理部２０３は、ジョブにおいて指定された処理内容に前処理が含まれているか否かを判定し、前処理が含まれる場合はＳ３０４に処理を移行させ、前処理が含まれない場合はＳ３０７に処理を移行させる。

Ｓ３０４において、仮想視点画像生成処理部２０３は、前処理のうちの一つの処理である背景画像の生成処理を実行する。ここで、背景画像は、例えば、同一カメラで連続的に一定期間撮影された画像から、画素毎の輝度の時間的平均を算出する等により生成することができる。なお、背景画像に関して、本実施形態のようにジョブ毎に生成するのではなく、予め、背景画像を生成するために用意した撮影シーンの画像から生成し、記憶部２０２に記憶させておいたものを取得して使用してもよい。

Ｓ３０５において、仮想視点画像生成処理部２０３は、前処理のうちの一つの処理である前景マスク画像の生成処理を実行する。前景マスク画像は、対象シーンの画像内に写る背景画像と同一の領域、即ち、背景領域を「０」、背景画像に含まれない被写体の領域、即ち、前景領域を「１」として示した二値画像である。なお、前景マスク画像は、Ｓ３０５において生成又は取得した背景画像と、処理対象とするシーンの画像の全てのフレームの画像毎の輝度差分を算出し、閾値処理を実行することで生成される。

Ｓ３０６において、仮想視点画像生成処理部２０３は、前処理のうちの一つの処理である三次元形状の生成処理を実行する。仮想視点画像生成処理部２０３は、Ｓ３０５において生成した前景マスク画像と、Ｓ３０２において取得した複数カメラ１０１の設置情報を示すパラメータから、例えば、Ｃｏｎｖｅｘ Ｈｕｌｌアルゴリズム等を用いて、三次元形状を３Ｄモデルとして生成する。ここで、複数カメラ１０１の設置情報を示すパラメータは、例えば、カメラの位置及び姿勢を示す変数、焦点距離や光軸中心位置を示す変数、レンズ歪みの補正のための変数等を含む。なお、三次元形状の出力形式としては、例えば、複数カメラ１０１から見た深度マップ等、他の形式であってもよい。

Ｓ３０７において、仮想視点画像生成処理部２０３は、ジョブにおいて指定された処理内容にカメラパスへのレンダリング処理が含まれているか否かを判定する。カメラパスへのレンダリング処理が含まれる場合はＳ３０８に処理を移行させ、カメラパスへのレンダリング処理が含まれない場合はＳ３０９に処理を移行させる。

Ｓ３０８において、仮想視点画像生成処理部２０３は、Ｓ３０２で取得したパラメータとカメラパスに基づいて、前処理によって生成された三次元形状、又はＳ３０２で取得した三次元形状をレンダリングし、仮想視点画像を生成する。

Ｓ３０９において、仮想視点画像生成処理部２０３は、上述の処理を実行した結果（処理結果）を記憶部２０２に記憶する。具体的には、仮想視点画像生成処理部２０３は、前処理を実施した場合、例えば、背景画像、前景マスク画像、３Ｄモデル等を処理結果として記憶部２０２に記憶する。また、仮想視点画像生成処理部２０３は、レンダリングを実行した場合、仮想視点画像を処理結果として記憶部２０２に記憶する。

次に、図４を用いて、ジョブ制御部２０４において実行される仮想視点画像生成処理部２０３にジョブを送信する処理を、その処理の手順に従って説明する。なお、図４に示される処理は、ジョブ制御部２０４において、仮想視点画像生成処理部２０３に送信されず、保持されているジョブがある場合に、所定の期間毎に実行される。

Ｓ４０１において、ジョブ制御部２０４は、ジョブ制御部２０４において保持され、実行待ち状態となっているジョブを取得する。Ｓ４０２において、ジョブ制御部２０４は、取得したジョブのうち、ユーザ入力によって生成されたジョブが含まれているか否かを判定する。

ジョブ制御部２０４は、ユーザ入力によって生成されたジョブが含まれていると判定すると（Ｓ４０２ Ｙｅｓ）、処理をＳ４０３に移行させ、そのユーザ入力によって生成されたジョブの中から実行対象とするジョブの候補を設定する。また、ジョブ制御部２０４は、ユーザ入力によって生成されたジョブが含まれないと判定すると（Ｓ４０２ Ｎｏ）、処理をＳ４０４に移行させ、Ｓ４０１で取得した全てのジョブの中から実行対象とするジョブの候補を設定する。

このように、ユーザの入力（要求）によって生成されたジョブは、自動前処理制御部２０８の要求によって生成されたジョブよりも優先される。但し、ユーザの入力によってジョブが生成される前に自動前処理制御部２０８の要求によって生成されたジョブは、ユーザの入力によって生成されるジョブが実行される前に、自動で実行されることになる。

Ｓ４０５において、ジョブ制御部２０４は、仮想視点画像生成処理部２０３の処理（動作）状態を取得する。ここで、処理状態は、例えば、仮想視点画像生成処理部２０３の占有するＣＰＵやメモリの使用率、仮想視点画像生成処理部２０３において実行されるジョブの数等で示される。

Ｓ４０６において、ジョブ制御部２０４は、仮想視点画像生成処理部２０３の処理状態とユーザにより予め設定されたパラメータから仮想視点画像生成処理部２０３においてジョブを実行できると判定すると、ジョブを仮想視点画像生成処理部２０３に送信する。

以上、説明したように、仮想視点画像生成処理において、仮想視点情報を必要とする処理と必要としない処理を分けて実行でき、あるシーンの撮影画像データを取得したことに応じて、仮想視点画像を生成するための一部の処理を自動で開始させることができる。そのため、ユーザが仮想視点情報の設定を完了する以前に、一部の処理を開始させることができ、仮想視点画像が生成されるまでの時間を短縮することができる。

＜実施形態２＞
上述の実施形態１では、記憶部２０２に記憶された全てのシーンの撮影画像に対して、仮想視点画像生成処理のうち、仮想視点情報を必要としない前処理を実行していた。但し、仮想視点画像の前処理に要する計算コストは大きいため、ユーザが仮想視点画像の生成を要求するシーンが限られている場合、全てのシーンの撮像画像に対して前処理を実行してしまうと、不要な計算コストが嵩むことになる。

そこで、実施形態２では、ユーザが仮想視点画像の生成を要求するか否かを推測し、前処理を実施するか否かを判定することで、仮想視点画像が生成されるまでの待ち時間を短縮しつつ、不要な計算コストを抑える仮想視点画像生成システムについて説明する。

（システム構成）
図５は、本実施形態に係る仮想視点画像生成システムの機能構成を示す図である。なお、以下の説明において、実施形態１と共通する内容については、その説明を省略し、実施形態１と異なる部分に着目して説明する。

本実施形態に係る仮想視点画像生成システムには、その構成として、上述の実施形態１の仮想視点画像生成システムに、自動前処理制御部２０８に組み込まれる形態で、シーン評価部５０８ａ、前処理実施判定部５０８ｂが追加される。

自動前処理制御部２０８は、記憶部２０２に記憶された撮影画像データを監視し、シーン評価部５０８ａの評価結果と前処理実施判定部５０８ｂの判定結果から、新規に記憶されたシーンの撮影画像について前処理を実施すべきか否かを判定する。そして、自動前処理制御部２０８は、前処理を実施すべきであると判定すると、ジョブ制御部２０４に、そのシーンの撮影画像に対して前処理を実施するように、ジョブの生成を指示する。

シーン評価部５０８ａは、シーンを評価し、例えば、数値尺度と分類ＩＤ等をシーン評価情報として出力する。具体的には、例えば、前景の画像に占める比率である前景比率、被写体として設定する物体のリストとそれぞれの種類ＩＤ、被写体として設定する人物の動作の解析結果、取得される動作種類ＩＤ等が用いられる。

なお、シーン評価情報は、仮想視点画像生成システムにおいて生成する仮想視点画像の被写体として設定されるものに大きく依存する。例えば、サッカーを被写体として設定する場合、サッカーはボールを中心に試合が進行するため、ボールに関連した条件が有効であるが、ボール等の用具を使用しない陸上競技のようなスポーツを被写体として設定する場合、この条件を用いることができない。そのため、シーン評価情報は、被写体に合わせて適切に設定する必要がある。前処理実施判定部５０８ｂは、シーン評価部５０８ａにより出力されたシーン評価情報と予め設定された閾値に基づいて、前処理を行うべきか否かを判定する。

（処理フロー）
次に、シーン評価部５０８ａ、前処理実施判定部５０８ｂが組み込まれた自動前処理制御部２０８における、前処理を実施すべきか否かを判定し、判定結果に応じてジョブの生成を要求するまでの処理の手順について、図６のフローチャートを用いて説明する。なお、図６に示される処理は、自動前処理制御部２０８が記憶部２０２に記憶された撮影画像データを監視し、ユーザにより予め設定されたフレーム数が新規に記憶された場合に、それらを処理対象として実行される。

Ｓ６０１において、シーン評価部５０８ａは、処理対象とするシーンの数値尺度を算出する上で必要なデータを記憶部２０２から取得する。具体的には、先ず、シーン評価部５０８ａは、その処理対象とするシーンに撮影された複数カメラ１０１の先頭の１フレームの画像を、全てのカメラについて取得する。なお、ここでは、先頭の１フレームの画像として説明するが、その処理対象とするシーンの時間的に中央に位置するフレームを用いたり、複数のフレームを用いたりしてもよい。また、複数カメラ１０１の全てのカメラの画像を用いるものとして説明するが、複数カメラ１０１のうちの一部のカメラの画像を用いることとしてもよい。

次に、シーン評価部５０８ａは、ユーザにより予め設定された一定時間の前までに撮影された画像から、ユーザにより予め設定されたフレーム間隔の画像を取得する。なお、ここで取得する画像に関して、図６に示す処理における計算コストを節約するために、解像度を低下させる処理を施してもよい。また、ここで取得する画像に関して、撮影された画像ではなく、他のシーンについて、後述のＳ６０２を実行した際の背景画像を用いてもよい。さらに、シーン評価部５０８ａは、数値尺度を算出するために、必要なパラメータを取得する。

Ｓ６０２において、シーン評価部５０８ａは、その処理対象とするシーンの画像について、前景比率を算出する。具体的には、先ず、シーン評価部５０８ａは、Ｓ６０１において取得され、ユーザにより予め設定された一定時間の前までに撮影された画像から、Ｓ３０４と同様の処理によって、背景画像を生成する。次に、シーン評価部５０８ａは、その処理対象とするシーンの撮影画像について、Ｓ３０５と同様の処理によって、前景マスク画像を生成し、その生成した前景マスク画像の前景領域が画像領域全体に占める割合を算出することで、前景比率を取得する。そして、シーン評価部５０８ａは、この前景比率を、複数フレーム分、複数カメラ分の画像について、各々、算出し、さらに、その算出した前景比率の平均値を計算することで、Ｓ６０２における処理の出力とする。なお、前景比率に関して、平均値以外に最大値や最小値を出力してもよいし、また、これらの計算を行うことなく、複数フレーム分、複数カメラ分の前景比率を個別に出力するようにしてもよい。

Ｓ６０３において、シーン評価部５０８ａは、その処理対象とするシーンにおいて、被写体の解析を実行し、被写体とする物体とその物体の種別ＩＤのリストを生成する。具体的には、先ず、シーン評価部５０８ａは、Ｓ６０２において生成した前景マスク画像から分離された前景領域を連続する画素に基づいて抽出し、例えば｛前景領域１、前景領域２、…｝のようにリスト化する。次に、シーン評価部５０８ａは、リスト中の各前景領域について、対応する撮影画像データにおいて物体を識別し、さらに、その物体の種別によりＩＤを割り振ることで、物体と種別ＩＤのリストを取得する。

ここで、物体の識別に関して、輝度値の分布や色相、局所的な輝度値の勾配情報等を特徴量として、ユーザにより予め設定された閾値や機械学習によって得られたモデルに基づいて判別するようにしてもよい。また、画像を入力とした畳み込みニューラルネットワークによって、分類（判別）するようにしてもよい。その他、物体の種別により割り振るＩＤに関して、例えば、「選手」、「審判」、「ボール」等を指定する。

Ｓ６０４において、シーン評価部５０８ａは、その処理対象とするシーンにおいて人物動作の解析を実行し、その処理対象とするシーンに現れる人物とその人物が行っている動作の動作ＩＤのリストを生成する。具体的には、Ｓ６０３において、物体の種別に「人間」が割り当てられたリストにおいて、その人間が行っている動作を解析することで、動作ＩＤが取得（決定）される。

ここで、動作ＩＤを決定する方法に関して、局所的な輝度値の勾配情報等を特徴量として、人物の関節位置を所定の閾値や機械学習によって得られたモデルに基づいて判別し、動作ＩＤに予め紐づけられた関節位置のテンプレートと照合することで決定される。また、画像を入力とした畳み込みニューラルネットワークによって、分類（決定）するようにしてもよい。その他、動作ＩＤとして割り振られる動作として、例えば、「走る」、「しゃがむ」、「シュート」等の動作がある。

Ｓ６０５において、前処理実施判定部５０８ｂは、記憶部２０２から前処理実行ポリシーを取得し、シーン評価部５０８ａによりＳ６０２、Ｓ６０３、Ｓ６０４において処理された結果であるシーン評価情報と比較し、前処理を実施するか否かを判定する。そして、前処理実施判定部５０８ｂは、その判定した結果を、ブール値（Ｔｒｕｅ、Ｆａｌｓｅ）として出力する。

なお、前処理実行ポリシーは、シーン評価情報である数値尺度と分類ＩＤについての閾値条件であり、この閾値条件を満たす場合に前処理を実施することを意図して、ユーザにより予め設定される。ユーザは、前処理実行ポリシーとして、例えば、「前景率が３％以上、又は動作ＩＤが『走る』の人物が４人以上」や「『ボール』が１つ以上」等の閾値条件を設定する。そして、前処理実施判定部５０８ｂは、シーン評価情報がこの閾値条件を充足する場合にＴｒｕｅ、充足しない場合にＦａｌｓｅを出力することで、前処理の実施を判定する。

Ｓ６０６において、自動前処理制御部２０８は、Ｓ６０５における前処理実施判定部５０８ｂの出力結果（判定結果）を受けて、その後の処理を分岐させる。Ｓ６０５において、前処理を実施するように判定された場合、即ち、Ｔｒｕｅが出力された場合、自動前処理制御部２０８は、処理をＳ６０７に移行させ、その処理対象とするシーンの仮想視点画像生成の前処理ジョブの生成要求をジョブ制御部２０４に送信する。また、前処理を実施しないように判定された場合、即ち、Ｆａｌｓｅが出力された場合、自動前処理制御部２０８は、その処理対象とするシーンにおける図６に示す処理を終了する。

以上、説明したように、仮想視点画像生成処理において、ユーザが仮想視点画像の生成を指示する可能性の高いシーンか否かを判定した上で、自動で前処理を開始させることで、不要なコストの発生を抑えることができる。

＜実施形態３＞
上述の実施形態２では、処理対象とするシーンの撮影画像に対して、シーン評価部５０８ａにより評価した結果に基づいて、前処理（即ち、背景画像の生成処理、前景マスク画像の生成処理、三次元形状の推定処理）を全体として実施すべきか否かを判定した。但し、シーン評価部５０８ａにより評価した結果に基づいて、前処理を実施するか否かだけではなく、実施する前処理の内容まで決定することができれば、より計算コストの抑制をより適切に行うことが可能になる。

そこで、実施形態３では、シーン評価部５０８ａにより評価した結果に基づいて、前処理を実施する場合において実施する前処理の内容を決定することで、より効果的に不要な計算コストの発生を抑える仮想視点画像生成システムについて説明する。

（システム構成）
本実施形態に係る仮想視点画像生成システムの構成は、上述の実施形態２に係る仮想視点画像システムの構成（即ち、図５に示される構成）と同様である。但し、本実施形態では、ジョブを生成する上で、ジョブの処理内容をより詳細に設定することから、自動前処理制御部２０８、ジョブ制御部２０４における処理の一部が、実施形態１、実施形態２と異なる。具体的には、自動前処理制御部２０８は、ジョブの生成要求と併せて、ジョブ制御部２０４に前処理内容ＩＤを送信する。ジョブ制御部２０４は、自動前処理制御部２０８からジョブの生成要求と併せて前処理内容ＩＤを受信すると、その前処理内容ＩＤをジョブの処理内容に反映する（即ち、ジョブの処理内容を詳細に設定する）。なお、前処理内容ＩＤについては、後述する。

（処理フロー）
次に、自動前処理制御部２０８における処理の手順について説明する。なお、自動前処理制御部２０８における処理の手順について、上述の図６を用いて説明することとし、また、実施形態２と共通する内容については、その説明を省略し、実施形態２と異なる部分に着目して説明する。

Ｓ６０１からＳ６０４までの処理の内容及び手順については、上述の実施形態２と同様である。Ｓ６０５において、前処理実施判定部５０８ｂは、シーン評価部５０８ａより出力されるシーン評価情報と前処理実行ポリシーを比較し、前処理を実施するか否かの判定、また、前処理を実施する場合には、実施する前処理の内容を決定する。具体的には、前処理実施判定部５０８ｂは、「前処理を実施しない」、「背景画像の生成まで前処理を実施する」、「前景マスク画像の生成まで前処理を実施する」、「全ての前処理を実施する」の４つ状態を示す前処理内容ＩＤを出力する。

なお、この場合、前処理実行ポリシーにおいても、前処理の条件として、背景画像の生成まで前処理を実施する条件、前景マスク画像の生成まで前処理を実施する条件、全ての前処理を実施する条件が設定される。具体的には、例えば、背景画像の生成までを実行する条件として「前景率が１％以上」及び「ボールが１つ以上」が設定される。また、前景マスク画像の生成までを実行する条件として「前景率が２％以上」及び「ボールが１つ以上」が設定され、全ての前処理を実施する条件として「前景率が３％以上」、「動作ＩＤ『走る』の人物が４人以上」、及び「ボールが１つ以上」が設定される。

この場合には、前処理が背景画像の生成から順に行われるものであり、前処理内容ＩＤは何種類の処理を実行すべきかを表すものであると言える。ただし、実施される前処理の内容やその決定方法はこれに限定されない。これら複数の前処理が異なる順番で行われてもよいし、途中の処理から（例えば背景画像の生成を省略して前景マスク画像の生成から）実施されてもよい。また、前処理実施判定部５０８ｂは、何れの前処理を実施すべきかを指定するユーザ入力を受け付け、受け付けたユーザ入力に基づいて実施すべき前処理の内容を決定してもよい。

Ｓ６０６において、自動前処理制御部２０８は、前処理内容ＩＤが「前処理を実施しない」であるか否かにより、その後の処理を分岐させる。前処理内容ＩＤが「前処理を実施しない」以外である場合、自動前処理制御部２０８は、処理をＳ６０７に移行させ、前処理ジョブの生成要求と併せてＳ６０５において前処理実施判定部５０８ｂにより出力された前処理内容ＩＤをジョブ制御部２０４に送信する。また、前処理内容ＩＤが「前処理を実施しない」である場合、自動前処理制御部２０８は、その処理対象とするシーンにおける図６に示す処理を終了する。

次に、図７を用いて、ジョブ制御部２０４からのジョブを受けて、仮想視点画像生成処理部２０３において実行される仮想視点画像を生成するための画像処理を、その画像処理の手順に従って説明する。なお、本実施形態では、上述のように、前処理を実施する場合において、実施する前処理の内容を指定することができる。

以下、仮想視点画像生成処理部２０３における処理の手順について説明する。なお、Ｓ７０１、Ｓ７０２、Ｓ７０４、Ｓ７０６、Ｓ７０８〜Ｓ７１１の処理は各々、上述のＳ３０１、Ｓ３０２、Ｓ３０４、Ｓ３０５、Ｓ３０６〜Ｓ３０９の処理と同様であることから、ここでは、その説明を省略する。また、補足として、図３からの変更点を説明すると、図７では、Ｓ３０３のジョブにおいて指定された処理内容に前処理が含まれているか否かを判定する処理が処理の手順から削除され、代わりに、Ｓ７０３、Ｓ７０５、Ｓ７０７の処理が追加される。

Ｓ７０３において、仮想視点画像生成処理部２０３は、ジョブの処理内容に背景画像の生成が含まれているか否かを判定する。仮想視点画像生成処理部２０３は、ジョブの処理内容に背景画像の生成が含まれていると判定すると（Ｓ７０３ Ｙｅｓ）、処理をＳ７０４に移行させる。また、ジョブの処理内容に背景画像の生成が含まれていないと判定すると（Ｓ７０３ Ｎｏ）、処理をＳ７０５に移行させる。

Ｓ７０５において、仮想視点画像生成処理部２０３は、ジョブの処理内容に前景マスク画像の生成が含まれているか否かを判定する。仮想視点画像生成処理部２０３は、ジョブの処理内容に前景マスク画像の生成が含まれていると判定すると（Ｓ７０５ Ｙｅｓ）、処理をＳ７０６に移行させる。また、ジョブの処理内容に前景マスク画像の生成が含まれていないと判定すると（Ｓ７０５ Ｎｏ）、処理をＳ７０７に移行させる。

Ｓ７０７において、仮想視点画像生成処理部２０３は、ジョブの処理内容に三次元形状の生成が含まれているか否かを判定する。仮想視点画像生成処理部２０３は、ジョブの処理内容に三次元形状の生成が含まれていると判定すると（Ｓ７０７ Ｙｅｓ）、処理をＳ７０８に移行させる。また、ジョブの処理内容に三次元形状の生成が含まれていないと判定すると（Ｓ７０７ Ｎｏ）、処理をＳ７０９に移行させる。

以上、説明したように、仮想視点画像生成処理において、前処理を実施するか否かを判定し、さらに、前処理を実施する場合において処理内容を詳細に指定して前処理を実施することで、より最適化された計算コストの抑制が可能になる。

補足として、上述の情報処理装置は、図８に示されるように、一般的なコンピュータの構成と同様の構成により実現することができる。ＣＰＵ（Central Processing Unit）８０１は、入力されたデータ、また後述のＲＯＭ８０２やＲＡＭ８０３に格納されているコンピュータプログラムを用いて、装置全体の動作を制御する。

なお、ＣＰＵ８０１とは異なる専用の１又は複数のハードウェア或いはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備え、ＣＰＵ８０１による処理の少なくとも一部を専用のハードウェア又はＧＰＵが行うようにしてもよい。また、専用のハードウェアとしては、例えば、ＡＳＩＣ（特定用途向け集積回路）及びＤＳＰ（デジタルシグナルプロセッサ）等がある。

ＲＯＭ（Read-Only Memory）８０２は、装置における各部の設定を行う設定パタメータやブートプログラム等を格納する。ＲＡＭ（Random Access Memory）８０３は、外部記憶装置８０４から読み取ったコンピュータプログラムやデータ、後述の汎用インタフェース８０５を介して外部から受信したデータを一時的に記憶する記憶領域を有する。また、ＲＡＭ８０３は、ＣＰＵ８０１が各種、処理を実行するときに用いる記憶領域として使用される。

外部記憶装置８０４は、ＣＰＵ８０１が各種の処理を実行するために必要な各種データ等を記憶する記憶装置であり、例えば、ＨＤＤ（Hard Disk Drive）等である。汎用インタフェース８０５は、外部装置８０６と通信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）インタフェース等である。

また、上述の構成において、装置の各機能は、ＣＰＵ８０１が図３、図４、図６、図７等に示される処理の流れ（フローチャート）を実現可能なプログラムを読み出し実行することで、実現される。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０３ 仮想視点画像生成処理部
２０４ ジョブ制御部
２０８ 自動前処理制御部

Claims (10)

1. 仮想視点画像を生成する画像生成装置であって、
   前記仮想視点画像を生成するための処理に関するジョブを生成する生成手段と、
   前記ジョブの実行を制御する制御手段と
   を備え、
   前記生成手段は、前記仮想視点画像を生成するための処理に関するジョブのうち、仮想視点情報を必要とする処理に関するジョブと前記仮想視点情報を必要としない処理に関するジョブとをそれぞれ生成し、
   前記制御手段は、前記生成手段により生成された複数のジョブを個別に実行するように制御することを特徴とする画像生成装置。
2. 前記制御手段は、前記仮想視点情報の設定が完了する前に、前記仮想視点情報を必要としない処理に関するジョブを実行するように制御することを特徴とする請求項１に記載の画像生成装置。
3. 前記仮想視点情報を必要とする処理は、レンダリング処理であり、
   前記仮想視点情報を必要としない処理は、背景画像の生成処理、前景マスク画像の生成処理、三次元形状の推定処理の少なくともいずれかを含む前処理であることを特徴とする請求項１又は２に記載の画像生成装置。
4. 前記仮想視点情報は、仮想視点の位置と向きを表すパラメータであることを特徴とする請求項１から３のいずれか１項に記載の画像生成装置。
5. 複数の撮影装置から取得した撮影画像データを記憶する記憶手段と、
   前記記憶手段において、前記撮影画像データが所定のフレーム数、記憶された場合に、前記生成手段に、前記仮想視点情報を必要としない処理に関するジョブの生成を指示する指示手段と
   をさらに備えることを特徴とする請求項１から４のいずれか１項に記載の画像生成装置。
6. 前記指示手段は、
   前記撮影画像データのシーンを評価する評価手段を有し、
   前記評価手段による評価結果に基づいて、前記生成手段に、前記仮想視点情報を必要としない処理に関するジョブの生成を指示することを特徴とする請求項５に記載の画像生成装置。
7. 前記指示手段は、
   前記評価手段による評価結果に基づいて、実行する前記仮想視点情報を必要としない処理の処理内容を決定する決定手段をさらに有し、
   前記生成手段に、さらに、前記決定手段により決定された前記仮想視点情報を必要としない処理の処理内容を付加して指示することを特徴とする請求項６に記載の画像生成装置。
8. 前記評価手段は、画像に占める前景領域の比率である前景比率、被写体とする物体と当該物体の種別、当該被写体として設定する人物の動作の解析結果の少なくともいずれかに基づいて評価することを特徴とする請求項６又は７に記載の画像生成装置。
9. 仮想視点画像を生成する画像生成装置における画像生成方法であって、
   前記仮想視点画像を生成するための処理に関するジョブを生成する生成ステップと、
   前記ジョブの実行を制御する制御ステップと
   を含み、
   前記生成ステップにおいて、前記仮想視点画像を生成するための処理に関するジョブのうち、仮想視点情報を必要とする処理に関するジョブと前記仮想視点情報を必要としない処理に関するジョブとをそれぞれ生成し、
   前記制御ステップにおいて、前記生成ステップにおいて生成された複数のジョブを個別に実行するように制御することを特徴とする画像生成方法。
10. コンピュータを、請求項１から８のいずれか１項に記載の画像生成装置の各手段として機能させるためのプログラム。

Images