JP2018180655A - 画像処理装置、画像生成方法及びプログラム - Google Patents

Abstract

【課題】 仮想視点画像内の不適切な領域に仮想オブジェクトが表示される虞を低減する。【解決手段】 画像処理システム１０は、複数のセンサシステム１０１によりそれぞれ異なる方向から撮影が行われることで得られる複数の撮影画像と仮想視点の指定に応じた情報とに基づいて仮想視点画像を生成する。ここで生成される仮想視点画像には、複数の撮影画像には含まれない仮想オブジェクトが挿入される。そして、画像処理システム１０に含まれるバックエンドサーバ１０４は、３次元座標系に設定される制限領域５０１であって仮想オブジェクトの表示が制限される制限領域５０１を特定するための特定情報を取得する。またバックエンドサーバ１０４は、取得した特定情報により特定される制限領域５０１の内部の仮想オブジェクトの、仮想視点画像内における表示を制限する。【選択図】 図７

Description

本発明は、仮想視点画像を生成する技術に関するものである。

従来、異なる位置に設置された複数のカメラにより複数の方向から被写体を撮影し、当該撮影により得られた複数の撮影画像（複数視点画像）を用いて仮想視点画像を生成する技術が提案されている。このように生成される仮想視点画像は、仮想的な視点における見えを表す画像である。仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度の視点で視聴することが可能になり、通常の撮影画像よりも高い臨場感を視聴者に与えることが出来る。

特許文献１には、複数視点画像には含まれない仮想オブジェクトとしての広告を仮想視点画像に挿入して表示させることが記載されている。また、指定された仮想視点に応じて異なる広告を表示させることが記載されている。

特許第５５９３３５６号公報

しかしながら、従来の技術では、仮想視点画像の不適切な領域に仮想オブジェクトが表示される場合が考えられる。例えば、仮想視点画像に含まれる重要度の高い被写体が仮想オブジェクトにより遮蔽されてしまう虞がある。また例えば、注目すべき領域の近傍に仮想オブジェクトが位置することにより、視聴者が当該領域に注目しづらくなる虞がある。また例えば、重要度の高い被写体が移動する可能性が高い領域が仮想オブジェクトにより遮蔽されてしまうことで、当該領域の状況が分かりづらくなってしまう虞がある。また例えば、仮想オブジェクトが広範囲に表示されることで、被写体と仮想オブジェクトとの区別がつきづらくなる虞がある。

本発明は上記の課題に鑑みてなされたものであり、仮想視点画像の不適切な領域に仮想オブジェクトが表示される虞を低減することを目的とする。

上記の課題を解決するため、本発明に係る画像処理装置は、例えば以下の構成を有する。すなわち、複数のカメラによりそれぞれ異なる方向から撮影が行われることで得られる複数の撮影画像と仮想視点の指定に応じた情報とに基づく仮想視点画像であって前記複数の撮影画像には含まれない仮想オブジェクトが挿入された仮想視点画像が生成されるシステムに含まれる画像処理装置であって、３次元座標系に設定される制限領域であって仮想オブジェクトの表示が制限される制限領域を特定するための特定情報を取得する取得手段と、仮想視点画像における仮想オブジェクトの表示を制限する制御手段であって、前記取得手段により取得される前記特定情報により特定される制限領域の内部における仮想オブジェクトの表示を制限する制御手段とを有する。

本発明によれば、仮想視点画像の不適切な領域に仮想オブジェクトが表示される虞を低減できる。

画像処理システム１０の構成を説明するための図である。 バックエンドサーバ１０４の機能構成について説明するための図である。 仮想広告の挿入について説明するための図である。 シーンの設定について説明するための図である。 制限領域５０１について説明するための図である。 制限領域５０１に関する領域情報について説明するための図である。 バックエンドサーバ１０４による処理について説明するためのフローチャートである。 広告判定部２０８による仮想広告の表示制限に係る処理について説明するためのフローチャートである。 仮想広告が挿入された仮想視点画像の例について説明するための図である。 自動で設定される制限領域５０１について説明するための図である。 仮想広告が制限領域５０１を隠すかの判定について説明するための図である。 仮想広告が挿入された仮想視点画像の例について説明するための図である。

以下、本発明の実施形態について図面を参照して説明する。なお、以下で説明する実施形態は、本発明を実施した場合の一例を示すものであり、本発明はこれに限定されるものではない。

［システム構成］
図１（ａ）は、本実施形態に係る画像処理システム１０の全体構成を説明するための図である。画像処理システム１０は、センサシステム１０１ａ、センサシステム１０１ｂ、センサシステム１０１ｃ、…、及びセンサシステム１０１ｎのｎ個のセンサシステムを有する。本実施形態において、特別な説明がない場合は、ｎ個のセンサシステムを区別せずセンサシステム１０１と記載する。画像処理システムはさらに、フロントエンドサーバ１０２、データベース１０３、バックエンドサーバ１０４、視点指定装置１０５及び端末装置１０６を有する。

各センサシステム１０１は、カメラとマイクを有する。複数のセンサシステム１０１が有する複数のカメラは、それぞれ異なる方向から同期して撮影を行う。また、複数のセンサシステム１０１が有する複数のマイクはそれぞれ異なる方向から音声を集音する。フロントエンドサーバ１０２は、複数のセンサシステム１０１により撮影された複数の撮影画像（複数視点画像）と、複数のセンサシステム１０１による集音により生成された音声データとを取得し、取得した撮影画像及び音声をデータベース１０３に出力する。なお、本実施形態ではフロントエンドサーバ１０２が複数の撮影画像と複数の音声データとをいずれもセンサシステム１０１ｎを介して取得するものとする。ただしこれに限らず、フロントエンドサーバ１０２は各センサシステム１０１から撮影画像と音声データを直接取得してもよい。

また、センサシステム１０１が撮影画像の一部を切り出す処理を行い、フロントエンドサーバ１０２は切り出された画像を撮影画像の代わりに取得してもよい。さらに、センサシステム１０１が、仮想視点画像の生成のための処理の一部（例えば、撮影画像を所定の被写体に対応する前景画像とそれ以外の部分に対応する背景画像に分離する処理）を行ってもよい。この場合、センサシステム１０１は、前景画像を背景画像よりも高いフレームレートでフロントエンドサーバ１０２に送信してもよい。

データベース１０３は、フロントエンドサーバ１０２から入力された撮影画像及び音声データを保持し、保持している撮影画像及び音声データを、バックエンドサーバ１０４からの要求に応じてバックエンドサーバ１０４に出力する。なお、データベース１０３は、撮影画像そのものに限らず、複数の撮影画像に対する画像処理により生成された画像データなどの撮影に基づくデータをバックエンドサーバ１０４に出力してもよい。同様に、データベース１０３は音声処理により生成されたデータをバックエンドサーバ１０４に出力してもよい。

視点指定装置１０５は、仮想視点画像の生成に係る仮想視点を指定するための操作者による操作を受け付け、仮想視点の指定に応じた視点情報をバックエンドサーバ１０４へ出力する。バックエンドサーバ１０４は、視点指定装置１０５から取得した視点情報により特定される仮想視点に応じて、データベース１０３から必要な撮影画像及び音声データを取得し、レンダリング処理を行って仮想視点画像と仮想聴取点音声を生成する。端末装置１０６は、バックエンドサーバ１０４により生成された仮想視点画像を取得して表示部に表示させる。また端末装置１０６は、バックエンドサーバ１０４により生成された仮想聴取点音声を取得しスピーカを介して出力する。端末装置１０６は、例えば放送局や視聴者が有する装置であり、具体的にはＰＣやスマートフォンなどである。

本実施形態における仮想視点画像は、仮想的な視点（仮想視点）から被写体を撮影した場合に得られる画像を表す。言い換えると、仮想視点画像は、指定された視点における見えを表す画像である。仮想視点は、操作者により指定されても良いし、画像解析の結果等に基づいて自動的に指定されても良い。すなわち仮想視点画像には、操作者が任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の候補から操作者が指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。なお本実施形態では、特に断りがない限り、画像という文言が動画と静止画の両方の概念を含むものとして説明する。すなわち、本実施形態の画像処理システム１０は、静止画及び動画の何れについても処理可能である。

また、本実施形態では、画像処理システム１０が仮想的な聴取点における聞こえを表す仮想聴取点音声を仮想視点画像と共に生成する場合を中心に説明するが、これに限らない。例えば、画像処理システム１０が仮想視点画像のみを生成しても良い。以下では説明の簡略化のため、部分的に音声の処理に関する説明を省略する。

本実施形態において、バックエンドサーバ１０４により生成される仮想視点画像には、センサシステム１０１により撮影された複数視点画像には含まれない仮想オブジェクトが挿入されうる。なお本実施形態では、仮想オブジェクトが、仮想視点画像内に広告を表示させるための仮想広告である場合を中心に説明する。ただし、仮想オブジェクトは広告に限らない。例えば仮想オブジェクトとして、試合の途中経過に関する情報や試合に関する統計情報が表示されてもよいし、人物などの被写体を説明する文字や画像、当該人物の生体情報などが表示されてもよい。

なお本実施形態では、バックエンドサーバ１０４を操作して仮想オブジェクトの表示を制御するユーザが、視点指定装置１０５を操作して仮想視点を指定する操作者や、端末装置１０６を操作して仮想視点画像を視聴する視聴者とは区別されるものとする。ただし、上記のユーザと操作者が同一であってもよいし、上記のユーザと視聴者が同一であってもよいし、上記のユーザ、操作者及び視聴者すべてが同一であってもよい。

図１（ｂ）は、競技場に複数のセンサシステム１０１を設置した例を表している。図１（ｂ）では、競技場内のサッカーのフィールドを囲むように、６台のセンサシステム１０１が設置されている。仮想カメラ１０７は、どのセンサシステム１０１に含まれるカメラの視点とも異なる仮想視点において撮影を行うことができる仮想的なカメラである。即ち、画像処理システム１０において生成される仮想視点画像は、仮想カメラ１０７による撮影画像を表す。なお、センサシステム１０１による撮影対象はサッカーに限らず、ラグビーや相撲など他の競技であってもよいし、ステージでのライブなどであってもよい。また、複数のセンサシステム１０１はフィールドやステージなどの被写体を複数の方向から撮影できるように設置されていればよく、被写体の周囲全体にわたって設置されていなくてもよい。

［装置構成］
図１（ｃ）は、本実施形態に係るバックエンドサーバ１０４のハードウェア構成について説明するための図である。なお、画像処理システム１０に含まれるその他の装置の構成もバックエンドサーバ１０４と同様である。ただし、センサシステム１０１は以下の構成に加えてマイクとカメラを有する。バックエンドサーバ１０４は、ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３、入力部１１４、外部インタフェース１１５、及び出力部１１６を有する。

ＣＰＵ１１１は、ＲＡＭ１１２やＲＯＭ１１３に格納されているコンピュータプログラムやデータを用いてバックエンドサーバ１０４の全体を制御する。なお、バックエンドサーバ１０４がＣＰＵ１１１とは異なる専用の１又は複数のハードウェアやＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、ＣＰＵ１１１による処理の少なくとも一部をＧＰＵや専用のハードウェアが行ってもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＡＭ１１２は、ＲＯＭ１１３から読みだされたコンピュータプログラムやデータ、及び外部インタフェース１１５を介して外部から供給されるデータなどを一時的に記憶する。ＲＯＭ１１３は、変更を必要としないコンピュータプログラムやデータを保持する。

入力部１１４は、例えばジョイスティック、ジョグダイヤル、タッチパネル、キーボード、及びマウスなどで構成され、ユーザによる操作を受け付けて各種の指示をＣＰＵ１１１に入力する。外部インタフェース１１５は、データベース１０３、視点指定装置１０５、及び端末装置１０６などの外部の装置と通信を行う。外部の装置との通信はＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブルやＳＤＩ（Ｓｅｒｉａｌ Ｄｅｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）ケーブルなどを用いて有線で行われてもよいし、アンテナを介して無線で行われてもよい。出力部１１６は、例えば、ディスプレイなどの表示部やスピーカなどの音声出力部で構成され、ユーザがバックエンドサーバ１０４を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示したりガイド音声を出力したりする。

図２は、本実施形態にかかるバックエンドサーバ１０４の機能構成を説明するためのブロック図である。バックエンドサーバ１０４は、視点取得部２０１、画像生成部２０２、広告保持部２０３、シーン設定部２０４、領域制御部２０５、広告判定部２０８、広告合成部２０９、及び画像出力部２１０を有する。領域制御部２０５には、領域保持部２０６と領域設定部２０７とが含まれる。

視点取得部２０１は、視点指定装置１０５から視点情報を取得する。視点情報は、仮想カメラ１０７の位置と姿勢（仮想的な視点の位置と視線の方向）を特定する情報である。例えば、仮想カメラ１０７の位置は被写体となるスタジアムを基準とする座標系における座標値で表され、仮想カメラ１０７の姿勢は回転行列を用いて表される。

画像生成部２０２は、センサシステム１０１により撮影された複数視点画像をデータベース１０３から取得し、視点取得部２０１が取得した視点情報に対応する仮想視点画像を生成する。具体的には、画像生成部２０２は、まず、センサシステム１０１が撮影した複数視点画像から、選手やボールなどの所定の被写体の３次元形状や位置を取得する。次に画像生成部２０２は、取得した３次元形状や位置から、所定の被写体の画像を仮想カメラ１０７の視点に応じて再構成し、フィールドなどを表す背景画像に合成して、仮想視点画像を生成する。

広告保持部２０３は、仮想視点画像に挿入される仮想オブジェクトとしての仮想広告の情報を保持する。スタジアム内のサッカーフィールドに対応する３次元座標系に仮想広告を配置した例を図３（ａ）に示す。本実施形態における３次元座標系とは、実空間に対応する仮想的な３次元空間を規定する座標系である。広告３０１ａは、コーナーＤのそばに置かれた円柱状の仮想広告である。広告３０１ｂは、センターサークルの上空に置かれた球状の仮想広告である。広告３０１ｃは、センターサークルに置かれた板状の仮想広告である。このように、実空間上では広告の看板などを設置すると競技の邪魔になってしまうような位置にも、仮想視点画像内では競技の表示を妨げずに仮想広告を配置することができる。広告保持部２０３が保持する情報は、これらの仮想広告の位置や形状、表示内容（画像データ）などである。

仮想広告の位置は、スタジアムのフィールドなどの被写体を基準とする座標系における座標値として保持される。例えば、センターサークルの中心を原点とし、図３（ｂ）に示すようなＸ軸、Ｙ軸、及びＺ軸で規定される空間上の座標（Ｘ，Ｙ，Ｚ）で仮想広告の位置が表される。なお、本実施形態では、仮想広告は３次元座標系において仮想視点に応じて変化しない固定位置に対応するものとする。例えば広告３０１ｂは常にセンターサークルの真上に位置する。こうすることで、仮想視点画像において、仮想広告をあたかもフィールドに実際に存在しているかのように違和感なく表示できる。ただし、仮想広告は３次元座標系の予め定められた範囲を移動してもよい。仮想広告の形状は、例えば３次元モデルとして保持される。広告の表示内容は、例えば、静止画データや動画データとして保持される。これらの仮想広告の位置や形状、及び表示内容は、競技の主催者、関係者、及び広告主などが事前に決定して広告保持部２０３に保持させておく。

シーン設定部２０４は、仮想視点画像に挿入される仮想広告を決定するために、複数のセンサシステム１０１により撮影される競技やイベントのシーンを設定する。例えば、競技のシーンを指定するユーザ操作をバックエンドサーバ１０４の入力部１１４が受け付け、シーン設定部２０４は受け付けられた操作に基づいてシーンを設定する。具体的には、シーン設定部２０４は、予め定められた複数のシーンの候補の中から、試合の進行に合わせて行われたユーザ操作に基づいて適切なシーンを設定する。予め定められたシーンの候補は競技ごとに異なる。例えば、撮影対象の競技がサッカーの場合、「インプレー」、「ＣＫ（コーナーキック）」、及び「ＰＫ（ペナルティーキック）」などがシーンの候補となる。バスケットボールの場合、「インプレー」、「フリースロー」などがシーンの候補となる。

シーン設定部２０４は、例えば、出力部１１６にシーンの候補の一覧を表示する。ユーザは、試合の進行に応じた適切なシーンを、入力部１１４を介して指定する。シーン設定部２０４は、指定に基づいて新しいシーンを設定する。シーンの設定の例を図４に示す。最初に、審判の合図に従い試合が開始される。ユーザが入力部１１４によって「インプレー」を指定すると、シーン設定部２０４がその時点の撮影対象のシーンとして「インプレー」を設定する。ボールがゴールラインを割って審判がＣＫの合図を出し、ユーザが入力部１１４によって「ＣＫ」を指定すると、シーン設定部２０４がその時点のシーンとして「ＣＫ」を設定する。審判が試合再開の合図を出し、ユーザが入力部１１４によって「インプレー」を指定すると、シーン設定部２０４がその時点のシーンとして「インプレー」を設定する。以下、試合が終了するまで同様の処理が行われる。なお、シーンの設定は映像解析及び／又は音声解析の結果に従って自動で行われるようにしてもよい。

領域制御部２０５は、シーン設定部２０４により設定されたシーンに応じて、仮想広告の表示よりも試合に関する表示を優先する領域、すなわち仮想広告の表示が制限される制限領域５０１を、仮想的な３次元座標系に設定する。ここで試合に関する表示とは、選手やボール、ゴールポストなど実空間上の所定の被写体の表示である。設定された制限領域５０１に対して行われる表示制限の詳細については後述するが、例えば、制限領域５０１の内部に位置する仮想広告が表示されなくなる。バックエンドサーバ１０４は、仮想広告の表示が制限される制限領域５０１を設定することで、仮想視点画像に含まれる選手やボールなどの重要度の高い被写体が仮想広告により遮蔽されてしまう虞を低減する。また、制限領域５０１の設定により、注目すべき領域の近傍に仮想広告が位置することにより視聴者が当該領域に注目しづらくなる虞も低減される。

制限領域５０１の例を図５に示す。図５（ａ）は、フィールド全体を囲む領域を制限領域５０１とした例を表している。図５（ｂ）は、図３（ａ）におけるゴールＡの近傍の領域を制限領域５０１とした例を表している。図５（ｃ）は、コーナーＡとゴールＡとを囲む領域を制限領域５０１とした例を表している。なお、図５の例では制限領域５０１を直方体としたが、制限領域５０１の形状はこれに限らず、例えば楕円柱としてもよいし、その他の形状としてもよい。

領域制御部２０５に含まれる領域保持部２０６は、制限領域５０１の候補となる領域に関する領域情報を保持する。図６（ａ）は、それぞれのシーンと制限領域５０１の候補となる領域とを対応づける領域情報の例である。シーンの「ＰＫ（Ａ）」は図３のゴールＡ側のＰＫを表す。「ＰＫ（Ｂ）」はゴールＢ側のＰＫを表す。「ＣＫ（Ａ）」はコーナーＡにおけるＣＫを表す。制限領域５０１の候補となる領域は、例えば図６（ｂ）に示すような、直方体の領域の対角にある頂点６０１と頂点６０２の３次元座標系における座標で表される。

図５に示す制限領域５０１と各シーンとの対応としては、例えば、シーンの「インプレー」に対応する制限領域５０１が図５（ａ）に示す領域となる。インプレーにおいては、フィールド内の広い範囲を選手やボールが移動する可能性が高いためである。また、シーンの「ＰＫ（Ａ）」に対応する制限領域５０１が図５（ｂ）に示す領域となる。ＰＫにおいては注目すべき選手やボールがゴールの周辺に集まり、それ以外の領域の被写体がもし仮想広告で隠れたとしても、視聴者にとっての仮想視点画像の見やすさへの影響が小さいからである。また、シーンの「ＣＫ（Ａ）」に対応する制限領域５０１が図５（ｃ）に示す領域となる。ＣＫにおいては注目すべき選手やボールがコーナーとゴールの周辺に集まるからである。

このように、設定される制限領域５０１は、複数のセンサシステム１０１により撮影される競技のシーンが「ＰＫ」や「ＣＫ」などのセットプレーであるか否かに応じて異なる。また、設定される制限領域５０１は、競技のシーンとしてのセットプレーの種別に応じても異なる。競技種別はサッカーに限らず、例えばラグビーなどにおいても、セットプレーであるか否か及びセットプレーの種別に応じて制限領域５０１が設定されてもよい。このようにして制限領域５０１を決定することで、選手の動きが多い領域やボールが位置する可能性が高い領域など、視聴者が特に注目する領域における仮想広告の表示を制限することができる。その結果、視聴者にとっての仮想視点画像の見やすさの低下を抑制しつつ、仮想視点画像内に仮想広告を表示させることができる。なお、シーンと制限領域５０１の対応関係や、指定されるシーンの候補及び制限領域５０１の候補は、ここで例示したものに限定されない。

領域制御部２０５に含まれる領域設定部２０７は、シーン設定部２０４から設定されたシーンを示す特定情報を取得し、取得した特定情報と領域保持部２０６が保持する領域情報とを参照して、制限領域５０１を設定する。例えば、シーン設定部２０４がシーンとして「インプレー」を設定していた場合、領域設定部２０７は、図５（ａ）に示す制限領域５０１を設定する。すなわち、領域設定部２０５は、設定されるべき制限領域５０１を特定するための情報として、シーンを示す特定情報を取得する。

ただし、制限領域５０１は撮影対象のシーンに基づいて設定されるものに限らない。例えば、領域制御部２０５は、予め定められた制限領域５０１の候補である複数の候補領域を、出力部１１６を介してユーザに対して表示させ、それらの候補領域の中から制限領域５０１を決定するユーザ操作に基づいて、制限領域５０１を設定してもよい。すなわち、領域制御部２０５は、設定されるべき制限領域５０１を特定するための特定情報として、ユーザにより選択された領域を識別する情報を取得してもよい。

また例えば、領域制御部２０５は、入力部１１４が有するマウスなどを用いてユーザにより直接指定された領域を、制限領域５０１として設定してもよい。すなわち、領域制御部２０５は、設定されるべき制限領域５０１を特定するための特定情報として、ユーザにより指定された領域の座標を示す情報を取得してもよい。なおこの場合、ユーザは３次元座標系における制限領域５０１の位置を指定してもよいし、例えばフィールド面に対応する２次元座標系における制限領域５０１の位置を指定してもよい。具体的には、領域制御部２０５はフィールドを真上からみた画像を、出力部１１６を介してユーザに対して表示させ、フィールド上の位置（２次元座標系における位置）を指定するユーザ操作に基づいて、制限領域５０１を設定してもよい。ユーザが２次元座標系における位置を指定した場合、予め定められた値や２次元座標系における制限領域５０１の面積に応じた値が、制限領域５０１の３次元座標系における高さとして設定されてもよい。

また例えば、ユーザが入力部１１４を介して表示を制限すべき仮想広告を指定し、領域制御部２０５はユーザにより指定された仮想広告に対応する領域を、制限領域５０１として設定してもよい。また、領域制御部２０５は、制限領域５０１を示す情報とは逆に、仮想広告の表示が許可される許可領域を示す情報を特定情報として取得してもよい。そして領域制御部２０５は、取得した特定情報に基づいて、制限領域５０１及び／または許可領域を設定してもよい。

なお、複数の候補領域から制限領域５０１を選択する方法や、シーンを指定する方法の方が、制限領域５０１を直接指定する方法よりも簡単に制限領域５０１を設定できる。一方、制限領域５０１を直接指定する方法の方が、より細かく制限領域５０１を設定できる。そのため、領域制御部２０５は、制限領域５０１を設定する方法を切り替えられるように構成されていてもよい。例えば、領域制御部２０５は、複数視点画像からリアルタイムに生成された仮想視点画像が生放送される場合には、制限領域５０１を複数の候補の中からユーザが選択できるように表示制御を行ってもよい。そして領域制御部２０５は、収録された複数視点画像に基づく仮想視点画像が生成される場合には、制限領域５０１をユーザが直接指定できるように表示制御を行ってもよい。

広告判定部２０８は、領域制御部２０５により設定された制限領域５０１に応じて、広告保持部２０３に保持された情報に対応する仮想広告のそれぞれを有効とするか無効とするかを判定する。具体的には、制限領域５０１の内部の位置に対応する仮想広告が無効と判定され、制限領域５０１の外部の位置に対応する仮想広告が有効と判定される。有効とされた仮想広告は表示対象となり、仮想視点の視野にその仮想広告の位置が含まれる場合には、仮想視点画像内にその仮想広告が表示される。一方、無効とされた仮想広告は表示対象とはならず、仮想視点の視野にその仮想広告の位置が含まれても、仮想視点画像内にその広告は表示されない。

図５を用いて具体例を説明する。図５（ａ）の例では、広告３０１ａ、広告３０１ｂ及び広告３０１ｃのすべてが制限領域５０１に含まれる。よって、すべての仮想広告が無効（非表示）と判定される。図５（ｂ）の例では、広告３０１ａのみが制限領域５０１に含まれる。よって、制限領域５０１に含まれない広告３０１ｂと広告３０１ｃが有効と判定される。図５（ｃ）の例では、制限領域５０１に含まれる仮想広告はない。よって、すべての仮想広告が有効と判定される。

広告合成部２０９は、画像生成部２０２が生成した仮想視点画像に、広告判定部２０８により有効と判定された仮想広告の画像を合成する。合成される仮想広告の画像は、広告保持部２０３が保持している仮想広告の表示内容の画像を、仮想カメラ１０７から見た画像に変換したものである。具体的には、仮想カメラ１０７の位置と姿勢から決まる透視投影行列を用いた変換が行われる。仮想広告が合成される位置は、広告保持部２０３が保持する仮想広告の位置に対応する。

つまり、あたかも実空間におけるフィールドに広告が配置されているかのように、仮想視点画像内に仮想広告が挿入され表示される。その結果、仮想カメラ１０７から見て仮想広告よりも手前に位置する被写体は、仮想広告の一部または全部を隠すことになる。一方、仮想カメラ１０７から見て仮想広告よりも奥に位置する被写体は、仮想広告によって一部または全部が隠されることになる。なお、仮想視点画像に合成される仮想広告は、仮想カメラ１０７の画角内（仮想視点の視野）に入る仮想広告のみである。有効と判定された仮想広告であっても、仮想カメラ１０７の画角内に入らない仮想広告は合成されない。また、無効と判定された仮想広告は、仮想カメラ１０７に画角内に入っていたとしても、合成されない。

以上のように、広告合成部２０９は、各仮想広告が広告判定部２０８により有効と判定されたか否かに基づいて、制限領域５０１の内部の位置に対応する仮想広告の表示を制限する。なお本実施形態では、仮想視点画像内における仮想広告の表示を制限する方法として、制限領域５０１の内部の位置に対応する仮想広告が仮想視点画像内に表示されないような表示制限が行われる場合を中心に説明する。ただし表示制限の内容はこれに限らず、表示制限の対象となる仮想広告を目立ちにくくする処理が行われればよい。例えば広告合成部２０９は、各仮想広告が広告判定部２０８により有効と判定されたか否かに基づいて、仮想広告の透過性やサイズを制御してもよい。

具体的には、広告合成部２０９は、制限領域５０１の内部の位置に対応する仮想広告の透過性の程度が、制限領域５０１の内部に位置しない場合の当該仮想広告の透過性の程度よりも高くなるように、合成する仮想広告の画像を変換してもよい。また広告合成部２０９は、制限領域５０１の内部の位置に対応する仮想広告のサイズが、制限領域５０１の内部に位置しない場合の当該仮想広告のサイズよりも小さくなるように、合成する仮想広告の画像を変換してもよい。このような内容の表示制限によっても、重要度の高い被写体が仮想広告により遮蔽される虞や、視聴者が注目すべき領域に注目しづらくなる虞を低減できる。さらに、仮想広告を非表示にする表示制限を行う場合よりも、広告の効果を向上させることができる。

画像出力部２１０は、広告合成部２０９により仮想広告が合成された仮想視点画像を端末装置１０６に出力する。なお本実施形態では、制限領域５０１を設定する領域制御部２０５、表示が制限される仮想広告を判定する広告判定部２０８、及び仮想広告の表示の制限に応じた仮想視点画像を生成する広告合成部２０９が何れもバックエンドサーバ１０４に含まれるものとする。ただしこれに限らず、例えば画像生成部２０２及び広告合成部２０９が、バックエンドサーバ１０４とは異なる画像生成装置の内部に存在していてもよい。そしてこの場合、広告判定部２０８は、仮想広告の表示の有無に関する情報及び仮想広告の表示に関するパラメータの少なくとも何れかを当該画像生成装置へ出力することで、仮想広告の表示を制限してもよい。ここで仮想広告の表示に関するパラメータとは、例えば仮想広告の透過性の程度を表すパラメータや、仮想広告のサイズを表すパラメータなどである。また、データベース１０３や視点指定装置１０５などがバックエンドサーバ１０４と一体となって構成されていてもよい。

［動作フロー］
次に図７を用いて、本実施形態にかかるバックエンドサーバ１０４の処理手順について説明する。図７に示す処理は、仮想視点画像の生成を開始するためのユーザによる操作を入力部１１４が受け付けたタイミングで開始される。ユーザによる操作は、例えば、センサシステム１０１による撮影対象となる試合の開始に応じて行われる。なお、仮想視点画像の生成はリアルタイムで行われるものに限らず、例えば試合中に収録された撮影画像に基づいて、試合の終了後に仮想視点画像の生成が開始されてもよい。図７に示す処理は、ＣＰＵ１１１がＲＯＭ１１３に格納されたプログラムをＲＡＭ１１２に展開して実行することで実現される。なお、図７に示す処理の少なくとも一部を、ＣＰＵ１１１とは異なる専用の１又は複数のハードウェアやＧＰＵにより実現してもよい。

Ｓ７０１で、シーン設定部２０４が、撮影対象のシーンが変化したかを判定する。具体的には、新しいシーンを指定するユーザ操作が行われた場合に、シーンが変化したと判定され、新しいシーンを設定してＳ７０２へ進む。シーンが変化していない場合はステップＳ７０５へ進む。なお、シーンの指定が以前に一度も行われていない場合は、デフォルトのシーンを設定してＳ７０２へ進む。また、シーンの判定は、ユーザ操作によって行われる場合に限らない。つまりシーンの変化の判定は、映像解析及び／又は音声解析の結果に従って実施されるようにしてもよい。Ｓ７０２で、領域制御部２０５が、制限領域５０１を特定するための情報としてシーンの設定を示す特定情報をシーン設定部２０４から取得し、さらに、設定されたシーンに対応する制限領域５０１の情報を、領域保持部２０６から取得する。Ｓ７０３で、領域設定部２０７が、設定されたシーンに対応する制限領域５０１を設定する。制限領域５０１は３次元座標系に設定される領域であり、仮想オブジェクトの表示が制限される領域である。

Ｓ７０４で、広告判定部２０８が、広告保持部２０３が保持する情報に対応する仮想広告のそれぞれを有効とするかを判定する。これにより、表示対象となる仮想広告が変更される。具体的には、設定された制限領域５０１の内部の位置に対応する仮想広告の表示が制限され、仮想視点画像内において非表示となる。なお、仮想広告の非表示に代えて、透過性やサイズの変更を行ってもよい。透過性やサイズを変更する場合は、Ｓ７０４において透過の程度や縮小の程度が決定される。

Ｓ７０５で、視点取得部２０１が、仮想視点の指定に応じた情報である視点情報を視点指定装置１０５から取得する。また、画像生成部２０２が、複数のセンサシステム１０１によりそれぞれ異なる方向から撮影が行われることで得られる複数の撮影画像をデータベース１０３から取得する。Ｓ７０６で、画像生成部２０２が、取得された視点情報と複数の撮影画像とを用いて、仮想視点画像を生成する。Ｓ７０７で、広告合成部２０９が、生成された仮想視点画像に、Ｓ７０４において有効と判定された仮想広告の画像を合成する。Ｓ７０８で、画像出力部２１０が、仮想広告が挿入された仮想視点画像を端末装置１０６に出力する。なお、Ｓ７０４において有効と判定された仮想広告が１つも無い場合は、Ｓ７０７の処理は実施されない。

Ｓ７０９で、バックエンドサーバ１０４は、仮想視点画像の生成を終了するかを判定する。例えば、バックエンドサーバ１０４は、出力部１１６のディスプレイに表示された「終了」ボタンを押すユーザ操作を受け付けた場合、生成を終了すると判定する。仮想視点画像の生成を終了しないと判定された場合はＳ７０１に戻り、仮想視点画像の生成が継続される。

次に図８を用いて、仮想広告の表示制限に係る処理の手順についてより詳細に説明する。図８は、図７のＳ７０４における処理の詳細なフローを示している。Ｓ８０１で、広告判定部２０８が、広告保持部２０３が保持している仮想広告の情報の中に、未処理の情報があるかを判定する。未処理の情報がある場合はステップＳ８０２へ進む。すべての仮想広告の情報を処理済みである場合は処理を終了し、ステップＳ７０５へ進む。

Ｓ８０２で、広告判定部２０８が、未処理の仮想広告の情報を広告保持部２０３から１つ取得する。Ｓ８０３で、広告判定部２０８が、設定されている制限領域５０１に、取得した情報に対応する仮想広告の位置が含まれるか判定する。この判定は、制限領域５０１の座標と仮想広告の座標とを参照して行われる。Ｓ８０４では、Ｓ８０３における判定結果に応じて処理が分岐する。Ｓ８０３で仮想広告が制限領域５０１に含まれると判定された場合は、当該仮想広告を無効と判定し、当該仮想広告を処理済みとしてＳ８０１へ戻る。仮想広告が制限領域５０１に含まれないと判定された場合は、Ｓ８０５へ進んで当該仮想広告を有効と判定し、当該仮想広告を処理済みとしてＳ８０１へ戻る。

［仮想視点画像の例］
図９は、仮想広告が挿入された仮想視点画像の例である。ここでは、図３（ａ）に示す広告３０１ａ、広告３０１ｂ、及び広告３０１ｃの３つの仮想広告の情報が広告保持部２０３に保持されているものとする。図９（ｂ）と図９（ｃ）はいずれも、図９（ａ）の仮想カメラ１０７に対応する仮想視点画像である。

図９（ｂ）は、「ＰＫ（Ａ）」のシーンにおいてボールを蹴ろうとしている選手をゴールキーパーから見た視点に対応する仮想視点画像を示している。ここでは図５（ｂ）に示す制限領域５０１が設定されており、制限領域５０１に含まれない広告３０１ｂと広告３０１ｃが有効と判定される。有効と判定された仮想広告の中で、仮想カメラ１０７の画角内に入る広告３０１ｃが、仮想視点画像に合成される。一方、広告３０１ｂは、仮想カメラ１０７の画角内に入らないため合成されない。ＰＫのシーンにおいては、ボールを蹴る選手、ゴールキーパー及びゴールが重要度の高い被写体である。そのため、センターサークルの近傍に仮想広告を挿入しても、視聴者による視聴を妨げない。すなわち、図９（ｂ）に示すように、ゴールキーパーの視点に対応する仮想視点画像においてボールを蹴る選手よりも奥に仮想広告が表示されても、視聴の妨げにはならない。一方、図９（ｃ）は「インプレー」のシーンにおけるゴールキーパーの視点に対応する仮想視点画像である。ここでは図５（ａ）に示す制限領域５０１が設定されており、有効と判定される仮想広告はなく、仮想視点画像に仮想広告が合成されない。

図９（ｅ）と図９（ｆ）はいずれも、図９（ｄ）の仮想カメラ１０７に対応する仮想視点画像である。図９（ｅ）は、「ＣＫ（Ａ）」のシーンにおいてボールを蹴ろうとしている選手を後方から見た視点に対応する仮想視点画像である。ここでは図５（ｃ）に示す制限領域５０１が設定されており、制限領域５０１に含まれない、広告３０１ａと広告３０１ｂ、及び広告３０１ｃが有効と判定される。有効と判定された仮想広告の中で、仮想カメラ１０７の画角内に入る広告３０１ａが、コーナーＤのそばに合成される。広告３０１ｂと広告３０１ｃは、仮想カメラ１０７の画角内に入らないため合成されない。ＣＫのシーンにおいては、ボールを蹴る選手と、ゴール付近の選手が重要度の高い被写体である。そのため、ボールと反対側のコーナーに仮想広告を合成しても、視聴者による視聴を妨げない。一方、図９（ｆ）は「インプレー」のシーンにおけるコーナーから見た視点に対応する仮想視点画像である。ここでは図５（ａ）に示す制限領域５０１が設定されており、有効と判定される仮想広告はなく、仮想視点画像に仮想広告が合成されない。

なお、以上の説明においては、制限領域５０１がユーザによるシーンの指定に応じて設定される場合を中心に説明したが、これに限らず、制限領域５０１が自動で設定または調整されてもよい。例えば、シーン設定部２０４が、センサシステム１０１により取得された撮影画像や音声データから、シーンを認識する構成としてもよい。シーンを認識する方法としては、例えば、撮影画像から特徴量を抽出する画像解析処理であるＧＭＭ ＳｕｐｅｒｖｅｃｔｏｒｓやＢａｇ ｏｆ Ｖｉｓｕａｌ Ｗｏｒｄｓなどの方法を用いることができる。ただしシーンの認識方法はこれに限らない。領域制御部２０５は、シーン設定部２０４により画像解析処理で認識されたシーンを示す情報を、制限領域５０１を特定するための特定情報として取得し、制限領域５０１を設定する。これにより、ユーザがシーンを指定する手間を削減することができる。

シーン設定部２０４は、例えば、審判の合図に応じてシーン設定を行う。具体的には、審判がＣＫの合図を出したことを認識すると、シーンとして「ＣＫ」を設定する。また、審判が試合再開の合図を出したことを認識すると、シーンとして「インプレー」を設定する。なお、シーン設定部２０４がシーンを認識するタイミングとシーンを設定するタイミングとをずらしてもよい。例えば、シーンが「ＣＫ」である場合に、シーン設定部２０４は、審判が試合再開の合図を出したことを認識してもすぐには「インプレー」のシーン設定をせず、ＣＫを蹴る選手が動いたことを認識したタイミングで「インプレー」のシーン設定をしてもよい。また、コーナーに置かれたボールが蹴られたことを認識したタイミングで「インプレー」のシーン設定がされてもよい。このようにシーン設定のタイミングを決めることで、視聴者にとっての仮想視点画像の見やすさの低下を抑制しつつ、より長い時間仮想広告を表示させることが可能になる。また、シーン設定部２０４は、シーンを設定するタイミングを、仮想広告の広告料に応じて異ならせてもよい。

また、領域制御部２０５は、ユーザによる操作やシーン設定部２０４による画像解析処理に基づいて設定された制限領域５０１を、自動で調整してもよい。例えば、領域制御部２０５は、データベース１０３から撮影画像を取得し、撮影画像から特徴量を抽出する画像解析処理を行って、撮影画像内の所定の被写体を検出する。検出されるべき所定の被写体は、予め決められていてもよいし、シーンに応じて決定されてもよい。例えば、「ＦＫ（フリーキック）」のシーンでは、フィールド内のボールが所定の被写体として検出される。

そして、領域制御部２０５は、検出された被写体の位置に応じて、制限領域５０１を動的に設定する。設定の方法は、シーンごとに異なってもよい。例えば、「ＦＫ」のシーンでは、認識したボールからゴールラインまでの領域が制限領域５０１として設定される。図１０（ａ）と図１０（ｂ）に例を示すように、検出されたボール１１０１の位置に応じて、制限領域５０１が決まる。これにより、注目すべき領域がボールとゴールとの位置関係に応じて異なるフリーキックのようなシーンにおいても、視聴者にとっての仮想視点画像の見やすさの低下を抑制しつつ、仮想広告を表示させることができるようになる。

なお、領域制御部２０５は、ボールに限らず、例えば特定の選手を所定の被写体として検出してもよい。そして、検出された選手を囲む領域が制限領域５０１として設定されてもよい。このように設定される制限領域５０１は、仮に当該制限領域５０１の内部の位置に対応する仮想広告が仮想視点画像内に表示された場合に選手が遮蔽されてしまうような領域である。図１０（ｃ）は、選手１１０２を中心とした楕円柱の制限領域５０１が設定される例を示す。ここでは、領域制御部２０５が、選手１１０２の移動ベクトル１１０３を計算し、選手の移動方向前方の領域が、選手の後方の領域に比べて広くなるように、制限領域５０１が設定されている。これにより、特定の選手を仮想広告が遮蔽してしまわないように、仮想視点画像に仮想広告を挿入することができる。

このように、設定される制限領域５０１は、複数のセンサシステム１０１により撮影される所定の被写体の位置に応じて異なっていてもよい。これにより、シーンの指定に基づいて一意に制限領域５０１を設定する場合よりも、被写体の状況に応じたより適切な制限領域５０１を設定することができる。また、領域制御部２０５は、シーンに依らず所定の被写体の位置に応じて制限領域５０１を設定してもよい。すなわち領域制御部２０５は、シーン設定部２０４によるシーン判定の結果は用いず、撮影画像に対する画像解析処理により検出された所定の被写体の位置を示す情報を特定情報として取得し、当該特定情報に基づいて制限領域５０１を決定してもよい。これにより例えば、３次元座標系において所定の被写体に重なる仮想広告や所定の被写体の近傍に位置する仮想オブジェクトの表示を制限することができる。

また、以上の説明においては、設定される制限領域５０１が、仮想視点画像の生成に係る仮想視点の位置に依らずに決まる場合について説明した。これにより、仮想視点の移動に伴って仮想広告の表示が頻繁に変化することにより視聴者が被写体に注目しづらくなる虞を低減できる。ただしこれに限らず、仮想視点の位置に応じて制限領域５０１が異なってもよい。また、広告判定部２０８は、制限領域５０１と仮想カメラ１０７の位置及び姿勢に応じて、仮想広告を有効とするか否かを判定してもよい。例えば、３次元座標系に配置される仮想広告の中で、仮想カメラ１０７から見て制限領域５０１を隠さない仮想広告を有効と判定してもよい。一方、制限領域５０１の外にある仮想広告であっても、仮想カメラ１０７から見て制限領域５０１を隠す仮想広告は無効と判定してもよい。

このように、仮想カメラ１０７の位置及び姿勢に応じて仮想広告を有効とするか否かを判定する場合、図８のＳ８０３において広告判定部２０８は、仮想カメラ１０７から見て仮想広告が制限領域５０１を隠すかを判定する。仮想広告が制限領域５０１を隠すと判定された場合はＳ８０１に進み、仮想広告が制限領域５０１を隠さないと判定された場合はＳ８０５に進んで当該仮想広告が有効と判定される。

仮想広告が制限領域５０１を隠すか否かの判定には、例えば、Ｚバッファのアルゴリズムを用いることができる。図１１を用いて、この方法について説明する。まず、仮想カメラ１０７に対応する画像面１３１１上の点１３１２に射影される点として、広告３０１上の点１３１３と、制限領域５０１上の点１３１４が求められる。次に、仮想カメラ１０７の光学中心１３１０から点１３１３と点１３１４までの距離が求められる。そして、画像面１３１１上のすべての点について以上の処理が繰り返される。その結果、点１３１３までの距離が、点１３１４までの距離よりも短いような点１３１２が一つでもあれば、仮想広告が制限領域５０１を隠すと判定される。

図１２は、仮想広告が合成された仮想視点画像の例を示す。ここでは、図３（ａ）に示す広告３０１ａ、広告３０１ｂ、及び広告３０１ｃの３つの仮想広告のうち有効と判定された仮想広告が表示されるものとする。図１２（ｂ）と図１２（ｃ）はいずれも、図１２（ａ）に示す仮想カメラ１０７に対応する仮想視点画像である。

図１２（ｂ）のシーンは「ＦＫ」であり、ボール１１０１の位置に基づいて、図１０（ａ）に示す制限領域５０１が設定されている。よって、仮想カメラ１０７から見て制限領域５０１を隠さない広告３０１ａと広告３０１ｂが有効と判定される。有効と判定された仮想広告の中で、仮想カメラ１０７の画角内に入る広告３０１ｂが、仮想視点画像に合成される。

一方、図１２（ｃ）のシーンは「ＦＫ」であり、ボール１１０１の位置に基づいて、図１０（ｂ）に示す制限領域５０１が設定されている。よって、仮想カメラ１０７から見て制限領域５０１を隠さない広告３０１ａが有効と判定される。有効と判定された仮想広告の中で、仮想カメラ１０７の視界に入る仮想広告はないため、仮想視点画像に仮想広告が合成されない。図１２（ｃ）の状況は、図１２（ｂ）の状況と比べて、シーンおよび仮想カメラ１０７の位置は同じである。しかし、ボール１１０１の位置が異なるため、制限領域５０１も異なる。そのため、有効と判定される仮想広告が異なる。

なお、図１２（ｂ）に示すように、広告合成部２０９は、仮想視点画像に仮想広告の影１４０１を合成してもよい。影１４０１を合成することで、影１４０１を合成しない場合と比べて、仮想広告を実空間上に存在する広告であるかのように視聴者に感じさせることができる。仮想広告の影１４０１は、例えば、太陽や照明の位置、スタジアムの位置、及び仮想広告の位置などから計算して求めることができる。また、単に仮想広告の真下の位置に影１４０１を合成してもよい。なお、上空に位置する広告３０１ｂの影１４０１だけでなく、地上に位置する広告３０１ａや広告３０１ｂに対応する影が仮想視点画像に合成されてもよい。

以上説明したように、本実施形態に係る画像処理システム１０は、複数のセンサシステム１０１によりそれぞれ異なる方向から撮影が行われることで得られる複数の撮影画像と仮想視点の指定に応じた情報とに基づいて仮想視点画像を生成する。ここで生成される仮想視点画像には、複数の撮影画像には含まれない仮想オブジェクトが挿入される。そして、画像処理システム１０に含まれるバックエンドサーバ１０４は、３次元座標系に設定される制限領域５０１であって仮想オブジェクトの表示が制限される制限領域５０１を特定するための特定情報を取得する。またバックエンドサーバ１０４は、取得した特定情報により特定される制限領域５０１の内部の仮想オブジェクトの、仮想視点画像内における表示を制限する。

このような構成によれば、仮想視点画像内の不適切な領域に仮想オブジェクトが表示される虞を低減できる。例えば、仮想視点画像に含まれる重要度の高い被写体が仮想オブジェクトにより遮蔽されてしまう虞が低減するように、仮想オブジェクトの表示を制限することができる。また例えば、注目すべき領域の近傍に仮想オブジェクトが位置することにより視聴者が当該領域に注目しづらくなる虞が低減するように、仮想オブジェクトの表示を制限することもできる。すなわち、本実施形態に係るバックエンドサーバ１０４によれば、仮想視点画像内に表示される仮想オブジェクトによって視聴者にとっての仮想視点画像の見やすさが低下する虞を低減できる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

１０ 画像処理システム
１０１ センサシステム
１０４ バックエンドサーバ
５０１ 制限領域

Claims (20)

1. 複数のカメラによりそれぞれ異なる方向から撮影が行われることで得られる複数の撮影画像と仮想視点の指定に応じた情報とに基づく仮想視点画像であって前記複数の撮影画像には含まれない仮想オブジェクトが挿入された仮想視点画像が生成されるシステムに含まれる画像処理装置であって、
   ３次元座標系に設定される制限領域であって仮想オブジェクトの表示が制限される制限領域を特定するための特定情報を取得する取得手段と、
   仮想視点画像における仮想オブジェクトの表示を制限する制御手段であって、前記取得手段により取得される前記特定情報により特定される制限領域の内部における仮想オブジェクトの表示を制限する制御手段とを有することを特徴とする画像処理装置。
2. 前記制御手段は、前記特定情報により特定される制限領域の内部の仮想オブジェクトが仮想視点画像に表示されないように当該仮想オブジェクトの表示を制限することを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記特定情報により特定される制限領域の内部の仮想オブジェクトの透過性の程度が、当該制限領域の内部に位置しない場合の当該仮想オブジェクトの透過性の程度よりも高くなるように、当該仮想オブジェクトの表示を制限することを特徴とする請求項１に記載の画像処理装置。
4. 前記制御手段は、前記特定情報により特定される制限領域の内部の仮想オブジェクトのサイズが、当該制限領域の内部に位置しない場合の当該仮想オブジェクトのサイズよりも小さくなるように、当該仮想オブジェクトの表示を制限することを特徴とする請求項１に記載の画像処理装置。
5. 前記取得手段は、制限領域の候補である複数の候補領域の中から前記設定される制限領域を決定するためのユーザ操作に基づいて前記特定情報を取得することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記取得手段は、前記複数のカメラにより撮影される競技のシーンを指定するユーザ操作に基づいて前記特定情報を取得することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
7. 前記設定される制限領域は、前記複数のカメラにより撮影される競技のシーンがセットプレーであるか否かに応じて異なることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
8. 前記設定される制限領域は、前記複数のカメラにより撮影される競技のシーンとしてのセットプレーの種別に応じて異なることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
9. 前記取得手段は、撮影画像から特徴量を抽出する画像解析処理の結果に基づいて前記特定情報を取得することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
10. 前記設定される制限領域は、前記複数のカメラにより撮影される所定の被写体の位置に応じて異なることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
11. 前記設定される制限領域は、当該制限領域の内部の仮想オブジェクトが仮想視点画像に表示される場合に、前記複数のカメラにより撮影される所定の被写体が遮蔽されるような領域であることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
12. 前記制御手段は、３次元座標系における固定位置であって仮想視点画像の生成に係る仮想視点に応じて変化しない固定位置に対応する仮想オブジェクトの表示を制限することを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
13. 前記設定される制限領域は、仮想視点画像の生成に係る仮想視点に依らずに決まることを特徴とする請求項１乃至１２の何れか１項に記載の画像処理装置。
14. 前記制御手段は、仮想視点画像に広告を表示させるための仮想オブジェクトの表示を制限することを特徴とする請求項１乃至１３の何れか１項に記載の画像処理装置。
15. 前記制御手段による仮想オブジェクトの表示の制限に応じた仮想視点画像を生成する生成手段を有することを特徴とする請求項１乃至１４の何れか１項に記載の画像処理装置。
16. 前記制御手段は、仮想オブジェクトの表示の有無に関する情報及び仮想オブジェクトの表示に関するパラメータの少なくとも何れかを、仮想視点画像を生成する画像生成装置へ出力することで、仮想オブジェクトの表示を制限することを特徴とする請求項１乃至１４の何れか１項に記載の画像処理装置。
17. 複数のカメラによりそれぞれ異なる方向から撮影が行われることで得られる複数の撮影画像と仮想視点の指定に応じた情報とに基づく仮想視点画像であって前記複数の撮影画像には含まれない仮想オブジェクトが挿入された仮想視点画像を生成する画像生成方法であって、
    ３次元座標系に設定される制限領域であって仮想オブジェクトの表示が制限される制限領域を特定するための特定情報を取得する取得工程と、
    仮想視点画像における仮想オブジェクトの表示を制限する制御工程であって、前記取得工程において取得される前記特定情報により特定される制限領域の内部における仮想オブジェクトの表示を制限する制御工程とを有することを特徴とする画像生成方法。
18. 前記制御工程においては、前記特定情報により特定される制限領域の内部の仮想オブジェクトが仮想視点画像に表示されないように当該仮想オブジェクトの表示が制限されることを特徴とする請求項１７に記載の画像生成方法。
19. 前記取得工程においては、前記複数のカメラにより撮影される競技のシーンを指定するユーザ操作に基づいて前記特定情報が取得されることを特徴とする請求項１７又は請求項１８に記載の画像生成方法。
20. コンピュータを、請求項１乃至１６の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images