JP2021090155A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】撮影時に仮想視点コンテンツを生成するための画像と、撮影後に仮想視点コンテンツを生成するための画像とを状況に応じて伝送できるようにする。【解決手段】画像選択部３０６は、撮影装置から撮影画像が入力されている時刻である場合には、画像加工部３０１で処理された画像を選択して画像出力部３０７から出力し、撮影装置から撮影画像が入力されていない時刻である場合は、画像蓄積部３０５によって一旦蓄積された画像を選択して画像出力部３０７から出力する。但し、撮影装置から撮影画像が入力されている時刻であっても、蓄積された画像からの仮想視点コンテンツの伝送を優先している時刻である場合は、画像蓄積部３０５によって一旦蓄積された画像を選択して画像出力部３０７から出力する。【選択図】図３

Description

本発明は、特に、被写体を複数の方向から撮影した画像を用いて仮想視点コンテンツを生成するために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。

近年、複数の撮影装置をそれぞれ異なる位置に設置して同一の被写体をそれぞれの撮影装置から多視点で同期撮影し、当該撮影により得られた複数視点からの画像を用いて仮想視点コンテンツを生成する技術が注目されている。このように複数の撮影装置で異なる視点は、一般的に自由視点と称されている。このような仮想視点コンテンツを生成する技術を用いれば、例えば、サッカーやバスケットボールなどのハイライトシーンを様々な視点から視聴することができる。その結果、単一の撮影装置が撮影した画像コンテンツと比較してユーザに高臨場感を与えることができる。

ここで、仮想視点コンテンツの生成方法としては、撮影時に仮想視点コンテンツを生成する方法と、撮影画像を蓄積して撮影後に仮想視点コンテンツを生成する方法との二種類に分類できる。

撮影時に仮想視点コンテンツを生成する方法では、撮影装置から画像処理装置までの伝送帯域を重視するため、ユーザへコンテンツを即時に提供できる。しかしながら、システムの伝送帯域で伝送可能なデータ量に画像データを圧縮することなどが実施されるため、画質劣化が生じやすい。また、撮影画像を蓄積して撮影後に仮想視点コンテンツを生成する方法では、撮影時に生成する方法とは逆に、撮影画像を劣化させずに高画質なコンテンツを生成できる。しかしながら、撮影時間より長い伝送時間を要し、且つ、撮影時に生成する方法より高度な画像処理を行うことなどから、ユーザへコンテンツを提供するまでに多くの時間を要することが一般的である。

そこで、このような弱点を克服するために様々な提案がなされている。特許文献１には、余剰帯域で高解像度の画像を伝送する技術が開示されており、特許文献２には、撮影後に一度撮影画像の蓄積を行い、次以降の時刻で残帯域を確認しながら伝送する技術が開示されている。

特開２０１７−６９７１８号公報 特開２０１７−９４８５６号公報

しかしながら、時間帯によって、ユーザはリアルタイムに伝送されるコンテンツを優先的に要求したい場合と高画質なコンテンツを優先的に要求したい場合とがある。このように要求が異なることに対応するためには、撮影時に生成する仮想視点コンテンツと、撮影画像を蓄積して撮影の後に生成する仮想視点コンテンツとの両方を生成できるようにすることが望ましい。

特許文献１に記載の技術では、ユーザが指定した時刻において、画質の劣化が少ない撮影画像を伝送することができず、撮影装置が送信可能な時刻の画像のみを伝送する。その結果、撮影画像を蓄積して撮影後に仮想視点コンテンツを生成することはできない。また、特許文献２に記載の技術では、撮影画像を一度蓄積して伝送が可能であるか否かを確認するため、撮影時に仮想視点コンテンツを生成することができない。

以上のように、特許文献１及び２に記載の技術では、撮影時に生成する仮想視点コンテンツと、撮影画像を蓄積して撮影の後に生成する仮想視点コンテンツの両方を生成することはできない。

本発明は前述の問題点に鑑み、撮影時に仮想視点コンテンツを生成するための画像と、撮影後に仮想視点コンテンツを生成するための画像とを状況に応じて伝送できるようにすることを目的としている。

本発明に係る画像処理装置は、複数の視点の中の１つの視点で被写体が撮影された画像を取得する取得手段と、前記取得手段によって取得された画像に対して所定の画像処理を施す画像処理手段と、前記取得手段によって取得された画像を記憶部に蓄積する蓄積手段と、前記画像処理手段によって画像処理された画像、及び前記記憶部に蓄積された画像の少なくとも一方を、時刻に応じて選択する選択手段と、前記選択手段によって選択された画像を、前記複数の視点の中の異なる視点で前記被写体が同期に撮影された画像を用いて仮想視点コンテンツを生成する装置へ出力する出力手段と、を有することを特徴とする。

本発明によれば、撮影時に仮想視点コンテンツを生成するための画像と、撮影後に仮想視点コンテンツを生成するための画像とを状況に応じて伝送することができる。

撮影装置及び画像処理を施す機器等のシステム構成の一例を示す図である。 画像処理装置のハードウェア構成例を示すブロック図である。 画像処理装置の機能構成例を示すブロック図である。 画像の伝送方式を判定する処理手順の一例を示すフローチャートである。 蓄積している画像の画像管理テーブルの一例を示す図である。 優先順位を付与する処理手順の一例を示すフローチャートである。 伝送する画像を選択する処理手順の一例を示すフローチャートである。 伝送する画像を検索する処理手順の一例を示すフローチャートである。 撮影が終了した場合の実施形態に係る処理を時系列に示した図である。 蓄積画像の伝送を優先する時刻に到達した場合の実施形態に係る処理を時系列に示した図である。

（第１の実施形態）
以下、本発明の実施形態における画像処理装置の動作を説明する。本実施形態では、撮影時に仮想視点コンテンツを生成する方法と、撮影画像を蓄積して撮影後に仮想視点コンテンツを生成する方法との両方に対応して、ユーザの要求に応じて時分割で画像を伝送する動作を説明する。

［機器構成］
図１は、本実施形態に係る、撮影装置及び画像処理を施す機器等のシステム構成の一例を示す図である。本実施形態に係るシステムでは、複数の撮影装置１０〜１３、それぞれの撮影装置１０〜１３に接続された同数の画像処理装置１４〜１７、画像合成装置１８、及び配信装置１９を備えている。なお、本実施形態では、４台の撮影装置と４台の画像処理装置とを含む例を示すが、撮影装置及び画像処理装置の台数はそれよりも多くても少なくてもよい。

撮影装置１０〜１３はそれぞれが撮影した撮影画像を、それぞれ画像処理装置１４〜１７に伝送する。画像処理装置１４〜１７は、撮影画像を蓄積したり仮想視点コンテンツの生成方法に応じた画像処理を施して画像合成装置１８に伝送したりする。本実施形態では、画像合成装置１８に対して複数の画像処理装置１４〜１７をディジーチェーン形式で接続するが、スター形式で接続してもよい。画像合成装置１８は複数の画像処理装置１４〜１７から取得した画像を用いて画像を合成し、仮想視点コンテンツを生成して配信装置１９に伝送する。配信装置１９はユーザに対して仮想視点コンテンツを送信する。

次に、画像処理装置１４のハードウェア構成について、図２を用いて説明する。なお、画像処理装置１５〜１７のハードウェア構成も、以下で説明する画像処理装置１４の構成と同様である。画像処理装置１４は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、通信Ｉ／Ｆ２１７、及びバス２１８を有する。

ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いて画像処理装置１４の全体を制御することで、後述の図３に示す画像処理装置１４の各機能を実現する。なお、画像処理装置１４がＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

通信Ｉ／Ｆ２１７は、画像処理装置１４の外部の装置との通信に用いられる。例えば、画像処理装置１４が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１７に接続される。画像処理装置１４が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１７はアンテナを備える。バス２１８は、画像処理装置１４の各部をつないで情報を伝達する。

［画像処理装置１４の内部ブロック図］
図３は、本実施形態に係る画像処理装置１４の機能構成例を示すブロック図である。画像処理装置１４は、画像入力部３００、画像加工部３０１、優先順位判定部３０４、画像蓄積部３０５、画像選択部３０６、画像出力部３０７、システム制御部３０８、撮影制御部３０９、及び残帯域算出部３１０を備えている。なお、画像加工部３０１は、本実施形態で以下に説明する画像処理と異なる処理を行うことができるようにしてもよい。

また、本実施形態においては、撮影装置１０と接続された画像処理装置１４の動作について説明するが、画像処理装置１５〜１７も同様の動作が可能である。以下、各ブロックについて動作を説明する。

画像入力部３００は、通信Ｉ／Ｆ２１７を介して撮影装置１０から撮影画像を取得し、画像加工部３０１または優先順位判定部３０４に送る。そして、撮影装置１１〜１３でそれぞれ撮影され、画像処理装置１５〜１７で画像処理が施された画像を、画像処理装置１５を経由して取得する。画像処理装置１５〜１７から取得した画像については、画像入力部３００は画像出力部３０７にそのまま送る。なお、画像加工部３０１または優先順位判定部３０４に撮影画像を送る制御方法については図４を用いて後述する。

画像加工部３０１はさらに、座標補正部３０２、及び前景背景生成部３０３を備えている。座標補正部３０２は、画像入力部３００から送られた撮影画像に対して、歪補正や撮影装置の振動補正など座標の補正に係る処理を施し、前景背景生成部３０３に送る。前景背景生成部３０３は、座標補正部３０２から取得した画像から被写体画像と背景画像とを生成して画像選択部３０６に送る。本実施形態では、座標補正部３０２及び前景背景生成部３０３の処理は、撮影時に仮想視点コンテンツを生成する場合に行われる処理であるが、画像蓄積部３０５によって蓄積することを目的としてこの処理を行ってもよい。

優先順位判定部３０４は、画像入力部３００から取得した撮影画像について、システム制御部３０８からの指示を受けて優先順位を付与する。優先順位を付与する詳細な方法については、図５及び図６を用いて後述する。優先順位を付与した後に画像蓄積部３０５に画像を送る。なお、優先順位判定部３０４は、画像加工部３０１で処理された画像について優先順位を付与してもよい。画像蓄積部３０５は、優先順位判定部３０４から取得した画像を記憶部である補助記憶装置２１４に蓄積し、画像選択部３０６の要求に応じて蓄積した画像を画像選択部３０６に送る。また、画像蓄積部３０５は、画像加工部３０１で処理された画像を蓄積することもできる。

画像選択部３０６は、撮影制御部３０９から撮影装置の撮影状況やユーザ設定などの情報を取得する。また、画像選択部３０６は、システム制御部３０８から配信先の解像度及びフレームレートの情報を取得し、さらに、残帯域算出部３１０から画像出力部３０７が伝送に使用できる帯域幅の算出結果を取得する。そして、画像選択部３０６は、ある時刻毎にどの画像を伝送するかを判定し、判定結果に応じて前景背景生成部３０３または画像蓄積部３０５から画像を取得し、画像出力部３０７に送る。また、画像選択部３０６は、配信装置１９が要求する解像度及びフレームレート、並びに画像出力部３０７が伝送に使用できる帯域幅の算出結果から、解像度の変換及びフレームレートの変換が必要か否かを判定したり伝送時間を算出したりする。

画像出力部３０７は、画像選択部３０６から、画像合成装置１８へ伝送する画像とともに、解像度の変換及びフレームレートの変換の要否に関する情報を取得する。そして、必要に応じて、解像度及びフレームレートの変換を実施し、通信Ｉ／Ｆ２１７を介して画像合成装置１８に画像を伝送する。また、画像出力部３０７は、画像入力部３００から取得した、画像処理装置１５〜１７から取得した画像も伝送する。

システム制御部３０８は、画像処理装置１４全体を制御する。また、システム制御部３０８は、撮影装置１０から取得した撮影画像が、撮影時に仮想視点コンテンツを生成する目的か、撮影画像を一旦蓄積した後に仮想視点コンテンツを生成する目的か、その両方かを画像入力部３００に指示する。この目的の切り替えは、ユーザから予めその情報を取得し、その取得した情報に基づいて行われる。

さらにシステム制御部３０８は、画像を一旦蓄積する場合に、予めユーザ等から、グループＩＤを付与する画像群の区切りの情報および伝送の優先順位に係る情報を取得し、保持している。そして、システム制御部３０８は、優先順位判定部３０４が１つの画像群に対して新たなグループＩＤを設定して優先順位を付与する際に指示を送る。また、システム制御部３０８は、配信装置１９が要求する解像度及びフレームレートの情報を予め保持している。

撮影制御部３０９は、撮影装置１０に対して撮影の実行及び停止を指示する。また、撮影制御部３０９は、ユーザにより指示された、蓄積された画像からの仮想視点コンテンツの伝送を優先する時刻の情報を取得し、保持している。例えば、蓄積された画像からの仮想視点コンテンツの伝送を優先する時刻に到達すると、その時刻において撮影装置１０からの撮影画像を取得する必要がない場合もある。そのような場合に撮影制御部３０９は、撮影の休憩時間を設定し、撮影装置１０に対して一時的に撮影の停止を指示することもできる。

残帯域算出部３１０は、画像出力部３０７から画像合成装置１８へ画像を伝送する際の残帯域の帯域幅を算出する。具体的には、本システムの撮影装置の台数や、他の撮影装置１１〜１３からの画像のフレームレート、解像度などから残帯域の帯域幅を算出する。

［画像入力部３００の動作］
次に、画像入力部３００による、撮影時に仮想視点コンテンツを生成する目的で画像を伝送するか、撮影画像を一旦蓄積した後に仮想視点コンテンツを生成する目的で画像を伝送するかを判定する手順について説明する。なお、本実施形態において、両方の目的が必要な場合は、両方と判定するものとする。

図４は、本実施形態において、画像の伝送方式を判定する処理手順の一例を示すフローチャートである。
ステップＳ４００において、画像入力部３００は、システム制御部３０８からの指示に基づき、撮影時に仮想視点コンテンツを生成するか否かを判定する。この判定の結果、撮影時に仮想視点コンテンツを生成する場合はステップＳ４０１に進み、撮影時に仮想視点コンテンツを生成しない場合はステップＳ４０３に進む。

ステップＳ４０１において、画像入力部３００は、撮影装置１０から取得した撮影画像を画像加工部３０１に送る。そして、ステップＳ４０２に進む。
ステップＳ４０２において、画像入力部３００は、システム制御部３０８からの指示に基づき、撮影装置１０から取得した撮影画像が画像蓄積部３０５により補助記憶装置２１４に蓄積する画像であるか否かを判定する。この判定の結果、画像蓄積部３０５により蓄積する画像である場合はステップＳ４０３に進み、画像蓄積部３０５によって蓄積しない画像である場合はステップＳ４０４に進む。

ステップＳ４０３において、優先順位判定部３０４は、画像入力部３００から撮影画像を取得し、システム制御部３０８の指示に応じて優先順位を付与した後に、画像蓄積部３０５に送る。そして、ステップＳ４０４に進む。なお、優先順位を付与する詳細な手順については図６を用いて後述する。

ステップＳ４０４において、画像入力部３００は、システム制御部３０８からの指示に基づき、次の時刻の画像について処理を継続するか否かを判定する。この判定の結果、処理を継続する場合はステップＳ４００に戻り、次の時刻の画像について処理を行う。一方、処理を終了する場合はそのまま処理を終了する。

以上の動作により、画像入力部３００はシステム制御部３０８の指示に応じて、どのような仮想視点コンテンツを生成するかを判定し、判定結果に応じて画像の伝送先を切り替える。

［優先順位判定部３０４の動作、及び画像蓄積部３０５の画像管理テーブル］
次に、撮影装置１０が撮影した画像を蓄積して撮影後に仮想視点コンテンツを生成する場合に、画像蓄積部３０５による画像の蓄積に係る画像管理テーブルについて説明する。

図５は、画像蓄積部３０５が管理する蓄積している画像の画像管理テーブルの一例を示す図である。本実施形態では、画像蓄積部３０５は、時刻が連続している画像群を１つの単位としてグループＩＤと紐づけて管理する。また、画像管理テーブルには、グループＩＤとは別に伝送する順序を示す優先順位、画像出力部３０７から伝送したか否かを示す伝送状況、画像群の開始及び終了のタイムスタンプを示す開始時刻及び終了時刻などの情報も含む。

図５のグループＩＤ毎に優先順位を付与する動作について、図６のフローチャートを用いて説明する。前述したように、優先順位を付与する動作は、優先順位判定部３０４が行う。
まず、ステップＳ６００において、優先順位判定部３０４は、画像入力部３００から取得した撮影画像について、新たにグループＩＤを設定する。本実施形態では例えば新たなグループＩＤとして「Ｍ」を設定する。なお、グループＩＤを設定する対象となる画像は、画像加工部３０１で処理された画像であってもよい。そして、ステップＳ６０１に進む。

ステップＳ６０１において、優先順位判定部３０４は、システム制御部３０８から取得した優先順位の情報に応じて、Ｓ６００で設定したグループＩＤに係る画像の優先順位を設定する。本実施形態では例えば優先順位を「Ｐ」と設定する。そして、ステップＳ６０２に進む。

ステップＳ６０２において、優先順位判定部３０４は、初期設定として変数Ｌに０を代入する。ここで変数Ｌは、全てのグループＩＤと紐づく優先順位を検索して更新が必要か否かを確認するために用意したグループＩＤの変数である。そして、ステップＳ６０３に進む。
ステップＳ６０３において、優先順位判定部３０４は、変数Ｌに１を加算する。そして、ステップＳ６０４に進む。

ステップＳ６０４において、優先順位判定部３０４は、変数ＬとグループＩＤ数とを比較し、全てのグループＩＤに紐づく優先順位を確認したか否かを判定する。この判定の結果、全てのグループＩＤに紐づく優先順位を確認した場合は処理を完了し、そうでない場合はステップＳ６０５に進む。

ステップＳ６０５において、優先順位判定部３０４は、グループＩＤが変数Ｌと等しい画像群の優先順位を画像蓄積部３０５が管理する画像管理テーブルから取得する。本実施形態では、例えば取得した優先順位を「Ｋ」とする。そして、優先順位「Ｋ」とステップＳ６０１で設定した優先順位「Ｐ」とで大小関係を比較する。そして、ステップＳ６０６に進む。

ステップＳ６０６において、優先順位判定部３０４は、ステップＳ６０５での比較の結果、Ｋ≧Ｐの条件を満たしいているか否かを判定する。この判定の結果、Ｋ≧Ｐの条件を満たしている場合は優先順位の割り込みが発生するためステップＳ６０７に進み、Ｋ＜Ｐである場合はグループＩＤが変数Ｌと等しい画像群の優先順位は変わらないためステップＳ６０３に戻る。
ステップＳ６０７において、画像蓄積部３０５は優先順位「Ｋ」に１を加算し、画像管理テーブルを更新する。そして、ステップＳ６０３に戻る。

以上の動作により、画像入力部３００から取得した撮影画像から新規のグループＩＤを作成する場合に、システム制御部３０８が指示した優先順位に応じて新規のグループＩＤと紐づけることができる。また、新規のグループＩＤを作成する前に蓄積された画像群の優先順位を更新し、優先順位の整合性を保つことができる。

なお、図６に示す処理は、１つの画像群の最初の撮影画像が優先順位判定部３０４に入力されたときに行われる処理であり、それ以降に同一の画像群に属する撮影画像が入力されても既に優先順位の整合が取れているため、図６の処理は不要となる。画像蓄積部３０５は、１つの画像群に属する全ての撮影画像が入力された段階で終了時刻を確定し、画像管理テーブルを更新する。

［画像選択部３０６による伝送する画像の選択動作］
次に、画像選択部３０６が画像蓄積部３０５または画像加工部３０１から画像を取得し、画像出力部３０７に送る動作について、図７のフローチャートを用いて説明する。

ステップＳ７００において、画像選択部３０６は、残帯域算出部３１０から画像出力部３０７が伝送に使用できる帯域幅の情報を取得する。そして、ステップＳ７０１に進む。
ステップＳ７０１において、画像選択部３０６は、システム制御部３０８から配信装置１９が要求する解像度及びフレームレートの情報を取得する。そして、ステップＳ７０２に進む。

ステップＳ７０２において、画像選択部３０６は、撮影制御部３０９から、ユーザが蓄積された画像からの仮想視点コンテンツの伝送を優先している時刻の情報を取得する。そして、ステップＳ７０３に進む。

ステップＳ７０３において、画像選択部３０６は、画像入力部３００が撮影装置１０から撮影画像を取得する時刻の情報を撮影制御部３０９から取得する。そして、ステップＳ７０４に進む。
ステップＳ７０４において、画像選択部３０６は、画像蓄積部３０５が管理する画像管理テーブルから、未伝送の蓄積された画像が補助記憶装置２１４に存在するか否かを確認する。そして、ステップＳ７０５に進む。

ステップＳ７０５において、画像選択部３０６は、ステップＳ７０３で取得した情報に基づいて、現在の時刻が画像入力部３００が撮影装置１０から撮影画像を取得する時刻であるか否かを判定する。この判定の結果、現在の時刻が画像入力部３００が撮影装置１０から撮影画像を取得している時刻である場合はステップＳ７０６に進み、そうでない場合はステップＳ７２０に進む。

ステップＳ７０６において、画像選択部３０６は、ステップＳ７０２で取得した情報に基づいて、現在の時刻が蓄積された画像からの仮想視点コンテンツの伝送を優先している時刻であるか否かを判定する。この判定の結果、現在の時刻が蓄積された画像からの仮想視点コンテンツの伝送を優先している時刻である場合はステップＳ７３０に進み、そうでない場合はステップＳ７０７に進む。

ステップＳ７０７において、画像選択部３０６は、画像入力部３００が撮影装置１０から取得した画像をそのまま画像合成装置１８に伝送するため、撮影時に仮想視点コンテンツを生成する旨をシステム制御部３０８に通知する。この処理により、システム制御部３０８は、画像入力部３００に対して、撮影時に仮想視点コンテンツを生成する設定とすることを指示し、画像入力部３００は、この指示を受けた場合に図４のステップＳ４００でＹｅｓと判定する。そして、ステップＳ７０８に進む。

ステップＳ７０８において、図４のＳ４０１の処理に基づき、画像加工部３０１は画像入力部３００から撮影画像を取得する。そして、座標補正部３０２及び前景背景生成部３０３は、それぞれ所定の画像処理を施し、画像選択部３０６に送る。そして、ステップＳ７０９に進む。
ステップＳ７０９において、画像選択部３０６は、画像出力部３０７に画像を送る。これにより、画像出力部３０７は、ステップＳ７０１で取得された解像度及びフレームレート、及びステップＳ７００で取得した伝送に使用できる帯域幅に基づいて解像度及びフレームレートを変換し、画像合成装置１８に画像を伝送する。そして、ステップＳ７１０に進む。

ステップＳ７１０において、画像選択部３０６は、画像蓄積部３０５により補助記憶装置２１４に蓄積された画像の伝送が可能であるか否かを判定する。この処理では、ステップＳ７００で取得した画像出力部３０７が伝送に使用できる帯域幅と、画像出力部３０７が伝送した画像のデータ量（ここではＤとする）との差に基づいて、蓄積された画像の伝送が可能であるか否かを判定する。例えば、画像出力部３０７が伝送に使用できる帯域幅をＲとし、蓄積された画像のフレームレートをＦＲ、蓄積された画像の解像度をＸＹ、蓄積された画像の１画素辺りのビット数をＢとする。この場合、（Ｒ／ＦＲ−Ｄ）＞（ＸＹ×Ｂ）であれば、画像蓄積部３０５により蓄積された画像の伝送が可能であると判定する。なお、この判定方法については、他の手法を用いてもよい。ステップＳ７１０の判定の結果、伝送可能である場合はステップＳ７２０に進み、そうでない場合はステップＳ７２４に進む。

ステップＳ７２０においては、画像選択部３０６は、画像蓄積部３０５が管理する画像管理テーブルを参照し、補助記憶装置２１４に伝送可能な画像が存在するか否かを確認する。この確認の結果、伝送可能な画像が補助記憶装置２１４に存在する場合はステップＳ７２１に進み、そうでない場合はステップＳ７００に戻る。

ステップＳ７２１において、画像選択部３０６は、画像蓄積部３０５によって蓄積された画像を画像合成装置１８に伝送するため、蓄積された画像から仮想視点コンテンツを生成する旨をシステム制御部３０８に通知する。そして、ステップＳ７２２に進む。

ステップＳ７２２において、画像選択部３０６は、画像蓄積部３０５が蓄積した画像の中から伝送の対象となる画像を検索する。この処理の詳細については、図８を用いて後述する。そして、ステップＳ７２３に進む。
ステップＳ７２３において、画像選択部３０６は、画像蓄積部３０５から伝送の対象となる画像を取得し、画像出力部３０７に送る。そして、ステップＳ７２４に進む。

ステップＳ７２４において、画像選択部３０６は、システム制御部３０８の指示に応じて動作を継続するか否かを判定する。この判定の結果、動作を継続する場合はステップＳ７００に戻り、動作を継続しない場合はそのまま処理を終了する。

ステップＳ７３０において、画像選択部３０６は、画像合成装置１８へ伝送する画像群の伝送時間を算出する。伝送時間の算出方法としては、例えば、ステップＳ７００で取得した画像出力部３０７が伝送に使用できる帯域幅をＲとし、画像管理テーブルで管理されている伝送する画像群のグループＩＤに紐づく開始時刻をＴ１、終了時刻をＴ２とする。また、ステップＳ７０１で取得したフレームレートをＦＲ、解像度をＸＹ、１画素辺りのビット数をＢとする。その場合、１つの画像群での伝送時間は（Ｂ×ＸＹ×ＦＲ）×（Ｔ２−Ｔ１）／Ｒで求めることができる。そして、未伝送である全ての伝送可能なグループＩＤの画像群で伝送時間を求める。そして、ステップＳ７３１に進む。

ステップＳ７３１において、画像選択部３０６は、システム制御部３０８にステップＳ７３０で求めた伝送時間を通知する。これにより、システム制御部３０８は、ユーザに対して伝送時間を直接または間接的に通知することができる。そして、ステップＳ７２１に進む。

［画像蓄積部３０５に対する画像選択部３０６の蓄積画像検索の動作］
次に、画像選択部３０６が蓄積された画像から伝送する画像を検索する動作について、図８のフローチャートを用いて説明する。

ステップＳ８００において、画像選択部３０６は、初期設定として変数Ｎに０を代入する。ここで変数Ｎは、グループＩＤとの比較に使用する際の優先順位の変数である。そして、ステップＳ８０１に進む。
ステップＳ８０１において、画像選択部３０６は、変数Ｎに１を加算する。そして、ステップＳ８０２に進む。

ステップＳ８０２において、画像選択部３０６は、画像蓄積部３０５が管理する画像管理テーブルから、優先順位「Ｎ」のグループＩＤを取得する。そして、ステップＳ８０３に進む。
ステップＳ８０３において、画像選択部３０６は、さらに画像蓄積部３０５が管理する画像管理テーブルから、ステップＳ８０２で取得した優先順位「Ｎ」のグループＩＤに係る画像群の伝送状況の情報を取得する。そして、ステップＳ８０４に進む。

ステップＳ８０４において、画像選択部３０６は、ステップＳ８０３で取得した伝送状況を確認する。この確認の結果、伝送状況が未伝送である場合はステップＳ８０５に進み、伝送状況が伝送済である場合はステップＳ８０６に進む。

ステップＳ８０５において、画像選択部３０６は、優先順位「Ｎ」のグループＩＤの画像群を画像出力部３０７に送ることを決定し、システム制御部３０８にその旨を通知する。そして、処理を終了する。

ステップＳ８０６においては、画像選択部３０６は、変数Ｎとグループの総数とが一致しているか否かを判定する。この判定の結果、変数Ｎとグループの総数とが一致しない場合はステップＳ８０１に戻り、変数Ｎとグループの総数とが一致する場合はステップＳ８０７に進む。
ステップＳ８０７において、画像選択部３０６は、画像蓄積部３０５によって補助記憶装置２１４に蓄積されている全ての画像が画像出力部３０７から伝送されたと判定し、その旨をシステム制御部３０８に通知する。そして、処理を終了する。

以上の動作により、システム制御部３０８が指定した優先順位に応じて、画像蓄積部３０５によって蓄積された画像を画像合成装置１８に伝送することができる。

［処理結果］
図９は、撮影が終了した場合の上述の処理を時系列に示したタイムチャートである。図９において、横軸は時間を示し、縦軸は各処理ブロックの結果を示す。ここで、「入力画像」は画像入力部３００が取得する画像を表し、「蓄積画像」は、画像蓄積部３０５が蓄積する画像を表す。また、「画像加工」は画像加工部３０１が処理を行う画像を表し、「画像選択結果」は、画像選択部３０６が選択した画像を表し、「画像出力」は、画像出力部３０７から伝送された画像を表す。

図９に示す例では、時刻Ｔ０〜時刻Ｔ２において画像入力部３００は画像Ｆ０〜ＦＴ２を取得する。一方、時刻Ｔ１〜Ｔ２においては、並行して画像の蓄積を行い、画像蓄積部３０５は時刻Ｔ１〜Ｔ２において画像ＦＳＴ１〜ＦＳＴ２を蓄積する。ここで、画像ＦＴ２及び画像ＦＳＴ２は同じ時刻の画像であることを示している。次に、時刻Ｔ２以降は撮影を中止したところ、画像選択部３０６は、時刻（Ｔ２＋１）から蓄積画像を伝送するように判定し、その結果、画像出力部３０７は時刻（Ｔ２＋２）から蓄積画像の伝送を開始する。

図１０は、蓄積された画像の伝送を優先する時刻に到達した場合の上述の処理を時系列に示したタイムチャートである。図９と同様に、横軸は時間を示し、縦軸は各処理ブロックの結果を示す。また、「ユーザ設定」は、蓄積画像の伝送を優先するか否かの設定である。

図１０に示す例では、時刻Ｔ３〜Ｔ６において、画像入力部３００は撮影装置１０から画像ＦＴ３〜ＦＴ６＋１を取得する。また、時刻Ｔ３〜Ｔ４と時刻Ｔ５〜Ｔ６とにおいては、並行して画像の蓄積を行い、画像蓄積部３０５はそれぞれの時間において、画像ＦＳＴ３〜ＦＳＴ４、ＦＳＴ５〜ＦＳＴ６＋１の蓄積を行う。このとき、システム制御部３０８からの指示により、時刻Ｔ５〜Ｔ６の蓄積画像が時刻Ｔ３〜Ｔ４の蓄積画像より優先順位が高く設定される。そして、ユーザ設定では、時刻Ｔ６から蓄積画像優先となっている。その場合、画像選択部３０６は、時刻（Ｔ６＋１）から蓄積画像を伝送するように判定し、その結果、画像出力部３０７は時刻（Ｔ６＋２）から優先順位の高い画像ＦＳＴ５から伝送を開始する。

以上のように本実施形態によれば、撮影時に仮想視点コンテンツを生成するための画像と、撮影画像を蓄積して撮影後に仮想視点コンテンツを生成するための画像とを、ユーザの要求に応じて時分割で伝送するようにした。これにより、画像合成装置１８では、撮影時に仮想視点コンテンツを生成するのみならず、蓄積した画像から、より高画質な仮想視点コンテンツを生成することができる。また、ユーザの要求に応じて遅滞なく画像を伝送できるため、ユーザが時間的なストレスを感じることなく仮想視点コンテンツを提供することができる。

また、本実施形態によれば、例えば、サッカーの前半と後半の休憩時間などで、優先的に蓄積画像を伝送することにより、前半のハイライトシーンを仮想視点コンテンツとして遅滞なく生成することができる。その結果、仮想視点コンテンツを生成する際に、時間遅延によるユーザのストレスを軽減することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３００ 画像入力部、３０１ 画像加工部、３０５ 画像蓄積部、３０６ 画像選択部、３０７ 画像出力部

Claims (12)

1. 複数の視点のうちの１つの視点で被写体が撮影されることにより取得された画像を取得する取得手段と、
   前記取得手段によって取得された画像に対して所定の画像処理を施す画像処理手段と、
   前記取得手段によって取得された画像を記憶部に蓄積する蓄積手段と、
   前記画像処理手段によって画像処理された画像、及び前記記憶部に蓄積された画像の少なくとも一方を、時刻に応じて選択する選択手段と、
   前記選択手段によって選択された画像を、前記複数の視点で前記被写体が撮影されることにより取得された複数の画像に基づいて仮想視点コンテンツを生成する装置へ出力する出力手段と、
   を有することを特徴とする画像処理装置。
2. 前記取得手段によって画像が取得されない時刻に到達した場合に、前記選択手段は、前記記憶部に蓄積された画像を選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記記憶部に蓄積された画像の出力を優先する時刻に到達した場合に、前記選択手段は、前記記憶部に蓄積された画像を選択することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記記憶部に蓄積された画像の出力を優先する時刻に到達した場合に、前記選択手段は、前記記憶部に蓄積された画像を選択するとともに、前記出力手段から前記選択した画像を出力した際の伝送時間を算出することを特徴とする請求項３に記載の画像処理装置。
5. 前記蓄積手段によって蓄積される画像に対して、前記出力手段から出力される優先順位を付与する付与手段をさらに有し、
   前記選択手段は、前記記憶部に蓄積された画像の中から、前記優先順位に応じて選択することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記蓄積手段は、前記記憶部に蓄積する画像に対して、複数の画像をまとめたグループごとに管理し、
   前記付与手段は、前記グループごとに優先順位を付与することを特徴とする請求項５に記載の画像処理装置。
7. 前記出力手段から出力が可能な帯域幅を算出する算出手段をさらに有し、
   前記出力手段は、前記算出手段によって算出された帯域幅に応じて解像度及びフレームレートを変換して出力することを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
8. 前記選択手段は、前記算出手段によって算出された帯域幅に応じて、前記画像処理手段によって画像処理された画像を選択するとともに、前記記憶部に蓄積された画像を選択することを特徴とする請求項７に記載の画像処理装置。
9. 前記蓄積手段は、さらに前記画像処理手段によって画像処理された画像を前記記憶部に蓄積することを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
10. 前記所定の画像処理は、座標の補正する処理と、被写体画像及び背景画像を生成する処理とを含むことを特徴とする請求項１〜９の何れか１項に記載の画像処理装置。
11. 複数の視点のうちの１つの視点で被写体が撮影されることにより取得された画像を取得する取得工程と、
    前記取得工程において取得された画像に対して所定の画像処理を施す画像処理工程と、
    前記取得工程において取得された画像を記憶部に蓄積する蓄積工程と、
    前記画像処理工程において画像処理された画像、及び前記記憶部に蓄積された画像の少なくとも一方を、時刻に応じて選択する選択工程と、
    前記選択工程において選択された画像を、前記複数の視点で前記被写体が撮影されることにより取得された複数の画像に基づいて仮想視点コンテンツを生成する装置へ出力する出力工程と、
    を有することを特徴とする画像処理方法。
12. コンピュータを、請求項１〜１０の何れか１項に記載の画像処理装置として機能させるためのプログラム。

Images