JP2021015417A - 画像処理装置、画像配信システム、および画像処理方法 - Google Patents

Abstract

【課題】イベントにおける出演者の視認性と客席の臨場感を両立させる。【解決手段】画像処理装置は（ａ）に示す、コンサート会場の全体を撮影した映像を取得し、そのフレームにおいて、舞台上方の可動範囲１３２に限定した探索を行うことにより、演者１３０ａ、１３０ｂ、１３０ｃの像を抽出する。当該像を拡大し、各演者の中心軸１３４ａ、１３４ｂ、１３４ｃから所定範囲内に中心軸が位置するように合成することにより、（ｂ）のように演者が拡大された表示画像を生成する。【選択図】図７

Description

本発明は、画像表示を伴うコンテンツを処理する画像処理装置、画像配線システム、および画像処理方法に関する。

画像処理技術の進歩やネットワーク環境の拡充により、動画やゲームといった電子コンテンツを、様々な形態で気軽に楽しめるようになっている。例えばヘッドマウントディスプレイを用い、それを装着したユーザの顔の向きに対応する視野でパノラマ映像を表示させることにより、映像世界への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることが可能になる。また各種ウェアラブルディスプレイにおいて、ユーザの視野で撮影されたリアルタイムの映像や眼鏡部分を透過した実像などに合う位置に仮想オブジェクトを合成することにより、現実世界と仮想世界を融合させることも可能になっている。

コンサートやスポーツなど各種イベントの映像を配信することで、その場にいなくてもリアルタイムで楽しめるようにしたり、録画されたものを後から見られるようにしたりすることは、表示形式によらず広く行われている。イベントの規模が大きくなるほど、客席から演者や選手など被鑑賞者までの距離が遠くなりやすいため、近くから撮影した映像を見た方が被鑑賞者の様子がわかりやすいという利点がある。一方、そのような映像では、会場全体の盛り上がりや、被鑑賞者と観客の一体感などが伝わりにくい。ヘッドマウントディスプレイにより客席にいるような感覚を演出する場合は特に、臨場感を優先するほど被鑑賞者が見づらくなるというジレンマがある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、イベント映像における被鑑賞者の視認性と客席の臨場感を両立できるコンテンツの表示技術を提供することにある。

本発明のある態様は画像処理装置に関する。この画像処理装置は、鑑賞対象の空間を表す動画像のデータを取得する画像取得部と、動画像のフレームから対象物の像を抽出する像抽出部と、抽出された対象物の像を、その他の像と異なる倍率で、当該対象物に対応する位置に表示させる倍率制御部と、を備えたことを特徴とする。

本発明の別の態様は画像配信システムに関する。この画像配信システムは、動画像のフレームから対象物の像を抽出する対象物情報取得部と、抽出された対象物の像と動画像のデータを送信する配信処理部と、を備えたサーバと、サーバが出力したデータを、ネットワークを介して取得する画像取得部と、対象物の像を、その他の像と異なる倍率で、フレームのうち当該対象物に対応する位置に表示させる倍率制御部と、を備えた画像処理装置と、を含むことを特徴とする。

本発明のさらに別の態様は画像処理方法に関する。この画像処理方法は画像処理装置が、鑑賞対象の空間を表す動画像のデータを取得するステップと、動画像のフレームから対象物の像を抽出するステップと、抽出された対象物の像を、その他の像と異なる倍率で、当該対象物に対応する位置に表示させるステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、イベント映像における被鑑賞者の視認性と客席の臨場感を両立させたコンテンツを提供できる。

本実施の形態におけるヘッドマウントディスプレイの外観例を示す図である。 本実施の形態を適用できるコンテンツ処理システムの構成例を示す図である。 本実施の形態で処理対象とするコンテンツの画像を例示する図である。 本実施の形態において表示画像を生成する手順を説明するための図である。 本実施の形態における画像処理装置の内部回路構成を示す図である。 本実施の形態における画像処理装置およびサーバの機能ブロックの構成を示す図である。 本実施の形態において、拡大した対象物の像を合成する前後の画像の例を模式的に示す図である。 本実施の形態において、３次元空間での位置を考慮して対象物の像を合成する手法を説明するための図である。 本実施の形態の画像処理装置において付加画像を合成した画像の例を模式的に示す図である。 本実施の形態における画像処理装置がコンテンツの画像を表示する処理手順を示すフローチャートである。

本実施の形態はコンサートやスポーツ競技など、観客と被鑑賞者を含むイベント会場の映像表示に関する。その限りにおいてイベントの種類、表示の目的、リアルタイムの映像か録画か、表示装置の形態などは特に限定されない。以下、代表的な例として、ヘッドマウントディスプレイにコンサートの画像を表示させる態様を主に説明する。図１は、本実施の形態のヘッドマウントディスプレイの外観例を示している。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。

出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、画像を拡大するレンズを備えてよい。表示パネルを左右に分割してなる各領域に、両眼の視差に対応するステレオ画像を表示することにより立体視を実現してもよい。

ヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。この例でヘッドマウントディスプレイ１００は、筐体１０８の前面にステレオカメラ１１０を備え、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。さらにヘッドマウントディスプレイ１００は筐体１０８の内部あるいは外部に、加速度センサ、ジャイロセンサ、地磁気センサなど、ヘッドマウントディスプレイ１００の動き、姿勢、位置などを導出するための各種センサのいずれかを備えてよい。

図２は、本実施の形態を適用できるコンテンツ処理システムの構成例を示している。ヘッドマウントディスプレイ１００は無線通信により画像処理装置１０に接続される。ただしＵＳＢなどによる有線接続としてもよい。画像処理装置１０はネットワーク８を介してサーバ２００に接続される。サーバ２００は、上述したようなイベントの映像や音声を、コンテンツのデータとして画像処理装置１０に送信する。

画像処理装置１０は、サーバ２００から送信されたコンテンツのデータに必要な処理を施し、ヘッドマウントディスプレイ１００に送信する。あるいは画像処理装置１０は、内部で保持しているコンテンツのデータを処理して画像や音声のデータを生成したり、ヘッドマウントディスプレイ１００のステレオカメラ１１０が撮影している動画像に所定の処理を施したりして、ヘッドマウントディスプレイ１００に送信してもよい。これらの場合、サーバ２００はなくてもよい。また画像処理装置１０はヘッドマウントディスプレイ１００の内部に設けてもよい。

さらに上述のとおり、本実施の形態においてコンテンツの画像を表示する装置はヘッドマウントディスプレイに限らず、テレビ受像器などの平板型のディスプレイ、携帯端末、プロジェクタなどでもよい。ヘッドマウントディスプレイ１００を採用した場合、画像処理装置１０は例えば、それを装着したユーザの頭部の位置や姿勢を、ヘッドマウントディスプレイ１００が内蔵するモーションセンサの計測値やステレオカメラ１１０による撮影画像などに基づき継続的に取得し、それに応じた視野で表示画像を生成する。

このような表示技術の代表的な例として、仮想世界を表す３次元空間や撮影済みのパノラマ画像のうちユーザの視野に対応する画像を表す仮想現実（VR）がある。また画像処理装置１０は、ステレオカメラ１１０が撮影しているリアルタイムの画像の適切な位置に仮想オブジェクトを描画することで、拡張現実（AR）を実現してもよい。あるいは画像処理装置１０はコンテンツの画像を、ユーザの頭部の動きによらず固定された視野で再生してもよい。

図３は、本実施の形態で処理対象とするコンテンツの画像を例示している。この例では、スタジアムなど広い場所で開催されているコンサートの映像を想定している。この場合、会場全体を撮影した画像１２０によれば、観客の多さや盛り上がりを伝えることができる。また画像１２０のような広角で撮影された画像を用いれば、ヘッドマウントディスプレイ１００を装着したユーザの頭部の動きに対応する視野で会場を視認でき、客席にいる臨場感を演出できる。

一方で、画像１２０のような全体画像では、会場が広くなるほど演者の像１２２が小さくなってしまい、その表情やパフォーマンスが見づらくなる。演者の近景画像１２４を表示対象とすれば見やすくなるが、観客の盛り上がりや舞台上の演出など、視野外の様子や雰囲気を伝えるのが難しくなる。このように、会場全体と演者の双方の様子を同時に楽しむことは困難であった。また近景画像１２４では客席にいる臨場感が得られにくく、ヘッドマウントディスプレイ１００との親和性の点でも課題がある。

図４は、本実施の形態において表示画像を生成する手順を説明するための図である。本実施の形態では、イベントにおける被鑑賞者など所定の対象物の像を、その他の像と異なる倍率で表示させる。図示する例では、コンサートの全体を撮影した画像１２０から演者の像１２２を抽出して拡大し（Ｓ２）、その像１２８を当該演者の位置に合成することで表示画像１２６を生成する（Ｓ４）。ただし像１２８の抽出元は、合成先の画像１２０に限らず、それと同時に撮影されている別の画像でもよい。

例えば図３で示した近景画像１２４では、演者の像が元から高い倍率で表されているため、それを抽出して会場全体の画像１２０に合成すれば、拡大せずとも表示画像１２６と同様の画像を生成できる。拡大させたい対象が複数存在する場合は、それぞれの近景画像から像を抽出してもよい。いずれにしろ図示するような合成を、動画像のフレームごとに実施することにより、倍率の異なる像が同じフレームに含まれる動画像を表示させる。

このとき像１２２を輪郭に合わせて抽出し、倍率を調整したうえ本来の演者の位置、あるいはそれに近い位置に合成することにより、会場全体として統一感のある画像となる。また演者が舞台上などを移動すれば、合成する像１２８も移動することになるため、会場全体における位置の変化として、そのような動きを自然に視認させることができる。ヘッドマウントディスプレイ１００などによりユーザの頭部の動きに合わせて視野を変化させる場合も、合成した像１２８とその他の像が一体化しているため、自然な視野の転換が可能となり、臨場感が損なわれることが少ない。

ここで演者の像１２８およびその他の像の少なくとも一方は、３次元のデータを有し自由な視点から見ることのできるボリュメトリック映像としてもよい。コンサートやスポーツ競技を多数のカメラで撮影し、ボクセルのデータとして記録することにより、あたかもそこにいるような感覚を見る者に与える没入型メディアは近年、実用化されつつある。本実施の形態では表示対象の少なくとも一部に当該技術を採用してもよいし、全てを平面に表した従来型の動画像としてもよい。

図５は、画像処理装置１０の内部回路構成を示している。画像処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなり、サーバ２００やヘッドマウントディスプレイ１００と通信を確立する通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、ヘッドマウントディスプレイ１００へデータを出力する出力部３６、ヘッドマウントディスプレイ１００などからデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより画像処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。なおサーバ２００も同様の回路構成としてよい。

図６は、画像処理装置１０およびサーバ２００の機能ブロックの構成を示している。同図に示す各機能ブロックは、ハードウェア的には図５で示したＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現でき、ソフトウェア的には、記録媒体からメモリにロードした、情報処理機能、画像描画機能、データ入出力機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像処理装置１０は、表示に用いる動画像のデータを取得する画像取得部６０、動画像のフレームから対象物の像を抽出する像抽出部６２、対象物の像をその他の像と異なる倍率で、当該対象物に対応する位置に表示させる倍率制御部６６、画像平面あるいは３次元空間での対象物の位置を取得する位置情報取得部６４、表示に用いるオブジェクトデータを格納するオブジェクトデータ記憶部６８、およびヘッドマウントディスプレイ１００に表示画像のデータを出力する出力部７０を備える。

画像取得部６０はサーバ２００から、ユーザが選択するなどしたコンテンツを表す動画像や音声のデータを取得する。あるいは画像取得部６０は、画像処理装置１０内の記憶装置に格納されたコンテンツのデータを読み出してもよい。そして画像取得部６０は必要に応じて、取得した画像のデータを復号伸張し、少なくとも像抽出部６２および倍率制御部６６に供給する。上述のとおり表示に用いる動画像は、１つであっても複数であってもよい。

複数の動画像を用いる場合、画像取得部６０は、同じ時間軸で表され、少なくとも視野の一部が重複する動画像のデータを取得する。例えば画像取得部６０は図３で示したように、複数のカメラにより撮影された、同じ対象物の像の大きさが異なる複数の動画像のデータを取得する。画像取得部６０はそのほか、対象物の抽出に必要なデータ、対象物の可動範囲に係る情報、対象物の３次元空間での位置情報、抽出する像以外に表すべき対象の識別情報、の少なくともいずれかをサーバ２００から取得してよい。

像抽出部６２は、画像取得部６０が復号伸張した動画像の各フレームから、所定の対象物の像を抽出する。上述したように像抽出部６２は、輪郭の形状に沿って像を抽出することが望ましい。抽出対象は動画の内容によって様々でよく、一度に抽出する像の数も限定されない。例えばコンサートの場合、抽出対象は上述した演者のほか、楽器、舞台装置、小道具などが考えられる。またスポーツ競技の場合、抽出対象は選手、用具、得点掲示板などが考えられる。画像から特定の対象物の像を抽出する技術としては、顔検出、顔認識、パターンマッチング、背景差分、動き抽出など様々なものが実用化されており、本実施の形態ではそのいずれを採用してもよい。

画像中の何を対象物とするか、およびその像の抽出に用いるデータは、コンテンツのデータとともにサーバ２００から取得してもよいし、像抽出部６２がコンテンツのカテゴリなどに対応付けて内部で保持していてもよい。また画像取得部６０が、動画像のフレームにおける対象物の可動範囲の領域情報をサーバ２００から取得し、像抽出部６２はその領域に限定して探索を行うことで像の抽出を効率化してもよい。例えばコンサートの画像における舞台の領域は当該可動範囲となり得る。

定点カメラから撮影した画像など、画像平面において可動範囲が動かない場合、画像取得部６０は、サーバ２００からコンテンツのデータを取得する最初のタイミングで可動範囲に係る情報を取得すればよい。撮影するカメラを切り替えたり実空間で可動範囲が動いたりする場合、画像取得部６０は、カメラを切り替えるタイミングや動画像のフレームごとなど適切なタイミングで可動範囲に係る情報を取得する。

なお像抽出部６２が抽出する像は、拡大させたい対象物に限らない。すなわち像抽出部６２は、強調対象と定めた対象物以外の像を、縮小させる目的で抽出してもよい。例えば像抽出部６２は、コンサートの動画像の各フレームから演者以外の像を抽出する。この場合、抽出した像を縮小して、演者の像と位置が合うように合成することにより、同じ面積の表示画面でもより広い視野での表示が可能になる。あるいは像抽出部６２は、拡大対象の像と縮小対象の像の双方を抽出してもよい。

倍率制御部６６は、抽出された像を必要に応じて拡大、あるいは縮小し、それを同じ時刻のフレームにおける対象物の位置に合成することにより、異なる倍率の像が含まれる表示画像のフレームを生成する。上述のとおり同じ対象物の像の大きさが異なる複数の動画像を利用し、対象物の像の抽出に用いた動画像と異なる動画像のフレームを合成先とする場合は、抽出された像を拡大あるいは縮小しなくてもよい場合がある。抽出した像を同じ動画像に合成する場合は適宜拡大あるいは縮小する。像の拡大率や縮小率は、画像取得部６０がコンテンツのデータとともにサーバ２００から取得しておく。

倍率制御部６６は、合成する対象物の像とその他の像で、フレームレート、すなわち像を構成する画素の更新頻度に差を設けてもよい。例えば倍率制御部６６は、合成先の動画像のフレームレートを低減させ、合成する対象物の像をそれより高い頻度で更新してもよい。あるいは倍率制御部６６は、合成する対象物の像とその他の像で解像度に差を設けてもよい。例えば倍率制御部６６は、合成先の動画像の解像度を低減させ、対象物の像をそれより高い解像度で合成してもよい。これにより、表示画像のデータサイズを抑えつつ、対象物の細かい動きを表現したりより鮮明に見せたりすることができる。

倍率制御部６６は、像抽出部６２が動画像から抽出した像以外の画像を合成してもよい。例えばコンサートにおけるレーザー光線、電飾、テープなどの特殊効果は、出現するタイミングが適切である限り厳密に再現しなくても大きな影響はない場合が多い。そこで倍率制御部６６自らがそのような演出ツールの像（以下、「付加画像」と呼ぶ）を生成し合成することにより、サーバ２００から伝送すべきデータのサイズや、像抽出部６２における処理の負荷を軽減できる。また当該付加画像も会場全体などその他の像より高い倍率で表示すれば、観客席で見るより迫力のある映像表現を実現できる。

この場合、画像取得部６０は、付加画像として表現すべき対象物を識別するための情報や、その倍率、表示位置、表示タイミングなどの情報をサーバ２００から取得する。そして倍率制御部６６は、オブジェクトデータ記憶部６８から、付加画像の生成に必要なデータを読み出し、サーバ２００からの指定に応じた内容で像を生成し合成する。この処理自体には一般的なコンピュータグラフィクスの技術を利用できる。あるいはオブジェクトデータ記憶部６８に、前もって実写された付加画像のデータを格納しておき、倍率制御部６６はそれを読み出して適宜倍率を調整し合成してもよい。

倍率制御部６６はさらに、これまで述べたように倍率調整の対象となる物が写る動画像以外のコンテンツの画像、例えば広告バナーなどを合成してもよい。この場合も画像取得部６０は、表示対象の画像のデータ、表示倍率、表示位置、表示タイミングなどの情報をサーバ２００から取得し、倍率制御部６６がそれらに基づき画像を合成する。表示対象の画像のデータなど一部の情報は、あらかじめオブジェクトデータ記憶部６８に格納しておいてもよい。

倍率制御部６６は上述したように、合成先の画像のフレームにおいて、対象物に対応する位置に、異なる倍率で当該対象物の像を合成する。例えば倍率制御部６６は、拡大した対象物の像を、当該対象物の像の元の位置から所定範囲内に表示させる。あるいは倍率制御部６６は、動画像が表す３次元の被写空間において対象物がいる位置に存在するように、拡大した対象物の像を表示させる。

このため位置情報取得部６４は、抽出した像の合成位置を決定づける、画像平面上での対象物の像の位置、あるいは３次元の被写空間での対象物の位置を、フレーム単位、または所定の時間間隔で取得する。像の抽出に用いた動画像と同じ動画像のフレームを合成先とする場合、像抽出部６２が像を抽出した際に、対象物の元の位置も同時に取得できるため、位置情報取得部６４の機能を省略できる。一方、対象物の像を抽出した動画像と異なる動画像を合成先とする場合、位置情報取得部６４は例えば、合成先の動画像の各フレームにおける対象物の像の位置を取得する。

この場合、位置情報取得部６４は、像抽出部６２と同様の手法により対象物の像を検出すればよい。あるいは対象物の３次元空間での位置情報を取得する場合、位置情報取得部６４は、コンテンツのデータとともにサーバ２００から送信された位置情報を取得してもよい。あるいは位置情報取得部６４がコンテンツの画像、あるいはそれとともにサーバ２００から送信されたデプス画像のデータを解析することにより、位置情報を取得してもよい。

デプス画像は、カメラから被写体までの距離を、その像の画素値として表した、画像解析においては一般的な画像である。出力部７０は、倍率制御部６６が生成した表示画像のデータを、ヘッドマウントディスプレイ１００に所定のレートで出力する。なお出力部７０はコンテンツのデータに含まれる音声のデータも並行して出力してよいが、音声に係る処理については図示を省略している。

サーバ２００は、コンテンツのデータを配信する配信処理部５０、コンテンツのデータを格納するコンテンツデータ記憶部５２、および、対象物の情報を取得する対象物情報取得部５４を備える。配信処理部５０は、画像処理装置１０からの要求などに応じて、コンテンツデータ記憶部５２からコンテンツのデータを読み出し送信する。ただし配信処理部５０は、図示しないカメラが撮影したリアルタイムの映像を即時送信してもよい。

対象物情報取得部５４は、画像処理装置１０において対象物の像を抽出する際に必要な情報を取得する。この情報には、対象物たる演者の顔や服装などの外観的な特徴、対象物の可動範囲、画像平面での対象物の位置や大きさ、被写空間における対象物の位置、の少なくともいずれかが含まれる。それらの情報のうち、前もって取得できるものについては、コンテンツデータ記憶部５２に格納しておき、画像処理装置１０への送信段階で対象物情報取得部５４が読み出せばよい。特に録画されたコンテンツの場合、時間をかけて画像解析を行っておくことで、詳細な情報を準備しておくことができる。

一方、リアルタイムの映像を配信する場合、対象物情報取得部５４は、撮影された動画像のフレーム単位、あるいは所定の時間間隔で、対象物の位置情報をその場で取得していく。例えば対象物情報取得部５４は、所定の間隔で左右に設置した一対のカメラで被写空間を撮影したステレオ画像を用い、三角測量の原理で被写体までの距離を取得する。あるいは対象物情報取得部５４は、赤外線などの参照光を被写体に照射し、その反射光を検出するまでの時間に基づき被写体の距離を取得する。これらの測距技術は広く知られている。

あるいは対象物情報取得部５４は、会場を俯瞰する画角で撮影された画像を別途取得することにより、舞台など対象物が存在する場所の上面における対象物の位置を、頭の位置などから推定してもよい。なおこれらの処理の一部は、画像処理装置１０の位置情報取得部６４が担ってもよい。例えばサーバ２００側でおよその位置を見積もっておき、画像処理装置１０側ではそれより細かい分解能で位置を求めてもよい。あるいはサーバ２００側で位置情報を詳細に取得しておくことにより、画像処理装置１０側の位置情報取得部６４は処理を省略してもよい。

また対象物情報取得部５４は、画像処理装置１０において付加画像を表示させるのに必要な情報も取得してよい。例えば対象物情報取得部５４は、上述した特殊効果などの演出ツールのうち、実際に導入された演出ツールの識別情報、それが発現した時間、画像平面での位置あるいは被写空間における位置を取得する。それらの情報のうち、前もって取得できるものについては、コンテンツデータ記憶部５２に格納しておき、画像処理装置１０への送信段階で対象物情報取得部５４が読み出せばよい。

リアルタイムの映像を配信する場合は、対象物情報取得部５４は、撮影された動画像のフレーム単位、あるいは所定の時間間隔で画像解析を行い、それらの情報を取得してもよい。したがってコンテンツデータ記憶部５２には、コンテンツの動画像や音声のデータのほか、対象物の像の抽出、生成、倍率調整、合成に必要なデータを適宜格納しておく。コンテンツデータ記憶部５２にはさらに、上述した広告バナーなど、対象物が写る動画像以外のコンテンツの画像データを格納してもよい。

配信処理部５０はコンテンツのデータのほかに、対象物情報取得部５４が取得した対象物に係る情報や表示倍率、像の抽出元および合成先の動画像の指定、同時に表示させるべき別のコンテンツの画像データなどを、コンテンツのデータと同期させて適切なタイミングで画像処理装置１０に送信する。

なお付加画像として表す対象物の識別情報を送信する場合、配信処理部５０は、当該対象物の像を、コンテンツの画像から削除したり、当該領域の圧縮率を上げたりして、送信すべきデータのサイズを軽減させてもよい。一方、サーバ２００の対象物情報取得部５４において対象物の像の抽出を行っておき、配信処理部５０が、全体的な動画像のデータと同期させて当該対象物の像のデータを送信してもよい。この場合、送信すべきデータのサイズが増加する可能性がある一方、画像処理装置１０における像抽出部６２の機能を省略できる。

図７は、本実施の形態において、拡大した対象物の像を合成する前後の画像の例を模式的に示している。（ａ）は合成前の動画像の１フレームを示しており、３人の演者１３０ａ、１３０ｂ、１３０ｃがいる舞台と客席を含むコンサート会場の全体像が表されている。サーバ２００は、当該フレームを含む動画像のデータとともに、例えば演者の可動範囲１３２の情報を画像処理装置１０に送信する。図示するようなコンサートの映像を定点カメラで撮影している場合、可動範囲１３２は舞台の上面が写る固定された領域である。

視点の異なる複数台のカメラで撮影された映像を切り替えて表示させる場合は、カメラごとに可動範囲が決定する。これらの場合、カメラの設置時に画像上の可動範囲も判明するため、当該情報を事前に取得しておくことにより、配信処理部５０が適切なタイミングで画像処理装置１０に送信する。ハンディカメラなどにより動的な視点で撮影する場合、可動範囲は経時変化する。したがって対象物情報取得部５４は画像解析などにより舞台の上面の像を検出し、それに対応する可動範囲の領域をフレームごとまたは所定の時間間隔で取得する。

いずれにしろ画像処理装置１０の像抽出部６２は、サーバ２００から送信された動画像のフレームのうち、可動範囲１３２に限定して対象物の像を探索することにより、演者１３０ａ、１３０ｂ、１３０ｃの像を効率的に抽出できる。そして倍率制御部６６は、抽出された像を拡大して元の画像に合成し、（ｂ）に示すような表示画像を生成する。このとき拡大後の像の中心軸が、合成前の画像平面における各演者１３０ａ、１３０ｂ、１３０ｃの中心軸１３４ａ、１３４ｂ、１３４ｃから所定範囲内に入るように合成位置を決定する。

これにより、合成前の画像における本来の位置から乖離することなく、サイズのみを大きくした像を表示できる。例えば元の画像における可動範囲１３２の領域ごと拡大して貼り付けた場合、演者の間の空間も拡大されてしまうため、演者が舞台端に移動した場合などに表示範囲から外れてしまうことが考えられる。また舞台上の位置と拡大された像の位置が対応しないため、演者が舞台上に存在しているようには見えない。（ｂ）に示すように対象物の像をおよそ輪郭に沿って個別に抽出し、位置は踏襲するように合成することにより、拡大された像であっても実際に舞台上にいるような状態を演出できる。

なお合成にあたっては、合成先の画像における拡大前の像をそのまま残し、拡大した像を重畳させてもよいし、拡大前の像を削除したうえで拡大した像を合成しもよい。また上述のように合成に用いる像は、合成先の動画像と同時に撮影された、異なる視点からの動画像から抽出してもよい。例えば（ａ）に示した画像を撮影したカメラより舞台に近いカメラから撮影した画像から像を抽出し合成すれば、拡大せずに（ｂ）に示した画像を生成できる。このように、合成先の動画像と異なる動画像から像を抽出する場合は、合成先のフレームと同じ時刻または時間差が所定値以下のフレームから像を抽出することにより、対象物と周囲の動きのずれや、像と音声のずれなどが認識されないようにする。

図８は、本実施の形態において、３次元空間での位置を考慮して対象物の像を合成する手法を説明するための図である。図の左端はコンサート会場おける舞台１４０、舞台上の演者１４２ａ、１４２ｂ、１４２ｃ、およびカメラ１４４を含む実空間の俯瞰図を示している。演者１４２ａ、１４２ｂ、１４２ｃは例えば、図７に示した演者１３０ａ、１３０ｂ、１３０ｃを上から見た状態に対応する。

対象物情報取得部５４の機能として上述したように、カメラ１４４から演者１４２ａ、１４２ｂ、１４２ｃまでの距離は、一般的な測距技術を用いて取得できる。カメラ１４４が撮影する画像平面における演者１４２ａ、１４２ｂ、１４２ｃの像の位置と、カメラ１４４からのそれらの被写体までの距離が特定できれば、カメラ１４４を原点とする３次元座標における、演者１４２ａ、１４２ｂ、１４２ｃの位置座標を取得できる。この処理は、仮想３次元空間に配置したオブジェクトをビュースクリーンに射影する一般的なコンピュータグラフィクスの演算の逆変換である。

一方、図７で説明したように、画像平面で舞台の上方にある領域をまとめて抽出し、拡大した場合、演者の間の空間も拡大されてしまう。すなわち俯瞰図で考えた場合、舞台ごと拡大された状態１４６ａのようになり、丸印で示した拡大された演者が、本来の舞台１４８からはみ出てしまうといったことが起こり得る。すると表示画像１５０ａのように、拡大した像が不自然な位置に表示されたり、一部が表示範囲から外れてしまったりすることが考えられる。

そこで倍率制御部６６は状態１４６ｂのように、演者１４２ａ、１４２ｂ、１４２ｃの３次元空間での位置が変化しないように、拡大された像を配置する。演者１４２ａ、１４２ｂ、１４２ｃの３次元空間での位置は上述のとおりサーバ２００の対象物情報取得部５４が取得してもよいし、画像処理装置１０の位置情報取得部６４が取得してもよい。３次元空間での位置が判明している演者１４２ａ、１４２ｂ、１４２ｃの像が、カメラ１４４が撮影した画像のどこに写るかは、上述したコンピュータグラフィクスの射影変換により容易に特定できる。

ヘッドマウントディスプレイ１００により立体映像を表示させる場合は、拡大前後で左右の画像の視差が変化しないようにすることで、拡大された演者の像が舞台上の同じ位置に存在するように表現する。なお３次元空間での位置を上述のように厳密に求める代わりに、演者と舞台の接点、すなわち立ち位置を特定し、当該位置を変化させずに拡大した像を配置するようにしてもよい。このようにすることで、演者が実際に舞台上にいるような状態の表示画像１５０ｂを生成できる。なおこの場合も、合成にあたっては、合成先の画像における拡大前の像をそのまま残し、拡大した像を重畳させてもよいし、拡大前の像を削除したうえで拡大した像を合成しもよい。

図９は、画像処理装置１０において付加画像を合成した画像の例を模式的に示している。この例で倍率制御部６６は、図７、８で示したように、コンサートの画像１５２において演者の像を拡大して合成している。倍率制御部６６はさらに、付加画像としてレーザー光線の像１５４を生成し合成している。この場合、サーバ２００は上述のとおり、レーザー光線を示す識別情報、表示の期間、表示位置などの情報を画像処理装置１０に送信する。

その他、付加画像として表示させるべき対象によって、色や大きさ、それらの時間変化などの情報を適宜送信する。当該対象は実際に会場に出現したものでもよいし、架空のものでもよい。また実際と同じサイズで表してもよいし、拡大させて表してもよい。実際に会場でなされた演出ツールを合成する場合などは、サーバ２００側で当該像を削除したり、その領域の圧縮率を高くしたり、周波数成分を限定したりしたデータを送信することによりデータサイズを削減できる。

また演出ツールを実際より拡大して表示することにより、演出を強調することができる。なお同図は、動画のフレームから抽出した像の拡大および合成と、付加画像の生成および合成の双方を実施した画像の例を示しているが、それに限る趣旨ではなく、倍率制御部６６はどちらか一方のみを実施してもよい。さらに倍率制御部６６は上述のとおり、広告バナーなど別のコンテンツの画像を合成してもよい。

次に、以上の構成によって実現される画像処理装置１０の動作について説明する。図１０は、本実施の形態における画像処理装置１０がコンテンツの画像を表示する処理手順を示すフローチャートである。このフローチャートは、ヘッドマウントディスプレイ１００を装着したユーザが画像処理装置１０に対し、視聴したいコンテンツを選択する入力を行うことにより開始される。まず画像処理装置１０の画像取得部６０は、選択されたコンテンツの動画像のうち最初のフレームのデータを取得する（Ｓ１０）。

上述のとおり当該データはサーバ２００から送信されたものでもよいし、画像処理装置１０内部で保持しているものでもよいが、ここではサーバ２００から取得するとする。また画像取得部６０は、異なる視点から撮影された複数の動画像のうち、同じ時刻の複数のフレームを取得してもよい。像抽出部６２は、合成に用いる動画像のフレームから所定の対象物の像を抽出する（Ｓ１２）。この際、像抽出部６２は、サーバ２００から画像のデータと同時に送信された、対象物の可動範囲を示す情報に基づき、当該範囲に限定して像を探索してよい。

これと並行して位置情報取得部６４は、合成先の動画像のフレームにおける対象物の位置情報、例えば像の中心軸の位置を取得する（Ｓ１４）。Ｓ１２で像を抽出した動画像を合成先とする場合は、像の抽出とともに位置が判明しているためＳ１４の処理を省略できる。あるいは位置情報取得部６４は、３次元空間での対象物の位置を取得してもよい。当該位置情報はサーバ２００から送信されたものを取得してもよいし、位置情報取得部６４自体が画像解析により取得してもよい。

倍率制御部６６は、Ｓ１２で抽出された対象物の像を必要に応じて適切な倍率に調整し、Ｓ１４で取得された対象物の位置に合成する（Ｓ１６）。より詳細には倍率制御部６６は、画像平面において合成前後で同じ対象物の像の中心軸が所定範囲内となるように合成先の位置を決定する。あるいは倍率制御部６６は、合成前後で同じ対象物の３次元空間での位置が所定範囲内となるように合成先の位置を決定する。サーバ２００が付加画像の合成を指示している場合（Ｓ１８のＹ）、倍率制御部６６はサーバ２００から送信された識別情報や位置情報に基づき、対応する付加画像を生成し合成する（Ｓ２０）。

また広告バナーなど、対象物が写っていない別のコンテンツの画像を表示させる必要があれば、倍率制御部６６は当該画像をさらに合成する。この際、Ｓ１４において特定されている、対象物の位置から所定距離以上、離れた領域に表示させることにより、対象物の隠蔽を防止できる。合成すべき画像のデータは、その都度、サーバ２００から取得してもよいし、画像処理装置１０側で保持していてもよい。表示させるタイミングは、対象物が写っているコンテンツの画像のデータにおいて規定してもよいし、サーバ２００がその都度、指定するようにしてもよい。

付加画像や別のコンテンツを合成する必要がない場合は、Ｓ２０の処理を省略する（Ｓ１８のＮ）。そのようにして対象物の倍率を他の像と異ならせた表示画像のデータを、出力部７０がヘッドマウントディスプレイ１００に出力する（Ｓ２２）。Ｓ１０〜Ｓ２２の処理を、コンテンツの動画のフレームごとに繰り返す（Ｓ２４のＮ）。そして、コンテンツの動画が終了したり、ユーザが停止操作を行ったりして表示を終了させる必要が生じたら、全ての処理を終了させる（Ｓ２４のＹ）。

以上述べた本実施の形態によれば、コンテンツの動画像において所定の対象物の像を、他の像と異なる倍率で表示させる。これにより、表示対象の場所の全体像を把握しながら、特定の対象物の視認性を上げることができる。例えばユーザは、コンサートやスポーツ競技などにおいて、会場の盛り上がりを感じながら、拡大された被鑑賞者の像により、表情や動きなどの詳細を確認できる。このとき、対象物の輪郭に概ね沿うように像を抽出したうえ、フレームごとに元の像と対応する位置に合成することにより、対象物の移動を含め実際に近い状態を大きな像で再現できる。

ヘッドマウントディスプレイを用いた画像表現では特に、客席にいる臨場感が損なわれることなく対象物の視認性を向上させることができる。また対象物の３次元空間での位置を特定し、略同じ位置に像を配置することにより、立体映像を提示する場合であっても違和感なく像のサイズのみを調整できる。

さらに、特殊効果などの演出ツールは、識別情報によって指定することで、あらかじめ準備されたオブジェクトデータなどを用いて表示時に像を生成し、合成する。これにより像を抽出する処理の負荷を軽減できるとともに、元のコンテンツデータのサイズを削減でき、サーバから当該データを送信する場合には伝送帯域を節約できる。また付加画像についても倍率を自由に変化させられることから、必要に応じて拡大することにより、視認性を高めたり迫力のある映像表現を実現したりできる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば本実施の形態では、動画像から抽出した対象物の像を、適宜倍率を調整して同じ動画像あるいは同時に撮影された別の動画像に合成する態様を主に説明した。一方、実世界の像を透過させる眼鏡において、実像に融合するように仮想オブジェクトを表示するＡＲ眼鏡を利用してもよい。この場合、対象物の像以外は眼鏡を透過した実像となる。画像処理装置１０の倍率制御部６６は、ユーザがＡＲ眼鏡を介して見ている空間を同時に撮影している動画像のフレームから対象物の像を抽出し、ＡＲ眼鏡を介して見られている実像のうち対象物の像に対応する位置に、それと異なる倍率で、抽出した像を表示させる。このようにしても、本実施の形態で述べたのと同様の効果が得られる。

１０ 画像処理装置、 ２３ ＣＰＵ、 ２４ ＧＰＵ、 ２６ メインメモリ、 ３２ 通信部、 ３４ 記憶部、 ３６ 出力部、 ３８ 入力部、 ４０ 記録媒体駆動部、 ５０ 配信処理部、 ５２ コンテンツデータ記憶部、 ５４ 対象物情報取得部、 ６０ 画像取得部、 ６２ 像抽出部、 ６４ 位置情報取得部、 ６６ 倍率制御部、 ６８ オブジェクトデータ記憶部、 ７０ 出力部、 １００ ヘッドマウントディスプレイ、 １１０ ステレオカメラ、 ２００ サーバ。

Claims (17)

1. 鑑賞対象の空間を表す動画像のデータを取得する画像取得部と、
   前記動画像のフレームから対象物の像を抽出する像抽出部と、
   抽出された前記対象物の像を、その他の像と異なる倍率で、当該対象物に対応する位置に表示させる倍率制御部と、
   を備えたことを特徴とする画像処理装置。
2. 前記画像取得部は１つのカメラにより撮影された動画像のデータを取得し、
   前記倍率制御部は、前記像抽出部が前記対象物の像の抽出に用いた前記動画像のフレームに、拡大した前記対象物の像を合成することを特徴とする請求項１に記載の画像処理装置。
3. 前記倍率制御部は、拡大した前記対象物の像を、当該対象物の像の元の位置から所定範囲内に表示させることを特徴とする請求項１または２に記載の画像処理装置。
4. ３次元の被写空間における対象物の位置情報を取得する位置情報取得部をさらに備え、
   前記倍率制御部は、前記被写空間における当該対象物から所定範囲内に存在するように、拡大した前記対象物の像を表示させることを特徴とする請求項１または２に記載の画像処理装置。
5. 前記倍率制御部は、前記動画像のフレームのうち強調対象と定めた前記対象物以外の像を縮小し、前記対象物の像と合成することを特徴とする請求項１に記載の画像処理装置。
6. 前記画像取得部は、前記動画像のデータと、前記対象物の可動範囲に係る情報を、ネットワークを介してサーバから取得し、
   前記像抽出部は、前記可動範囲に係る情報に基づき限定した領域において、前記対象物の像を探索することを特徴とする請求項１から５のいずれかに記載の画像処理装置。
7. 前記画像取得部は、前記動画像のデータと、前記対象物の識別情報を、ネットワークを介してサーバから取得し、
   前記倍率制御部はさらに、前記識別情報に対応する対象物の像を表示させることを特徴とする請求項１から６のいずれかに記載の画像処理装置。
8. 前記画像取得部は、複数のカメラにより撮影された、同じ対象物の像の大きさが異なる複数の動画像のデータを取得し、
   前記倍率制御部は、前記抽出部が前記対象物の像の抽出に用いた前記動画像と異なる動画像のフレームに、抽出された前記対象物の像を合成することを特徴とする請求項１に記載の画像処理装置。
9. 前記画像取得部は、観客と被鑑賞者を含むイベント会場を撮影した動画像のデータを取得し、
   前記倍率制御部は、前記対象物として前記被鑑賞者および演出ツールの少なくともいずれかの像を拡大して表示させることを特徴とする請求項１から８のいずれかに記載の画像処理装置。
10. 前記倍率制御部は、前記対象物の像およびその他の像の少なくともいずれかをボリュメトリック映像として表すことを特徴とする請求項１から９のいずれかに記載の画像処理装置。
11. 前記倍率制御部は、前記対象物が写る動画像以外のコンテンツの画像をさらに表示させることを特徴とする請求項１から１０のいずれかに記載の画像処理装置。
12. 前記倍率制御部は、前記対象物の像を前記動画像のフレームに合成し、当該対象物の像を、その他の像より高い頻度で更新することを特徴とする請求項１から１１のいずれかに記載の画像処理装置。
13. 前記倍率制御部は、前記対象物の像を、その他の像より高い角解像度で、前記動画像のフレームに合成することを特徴とする請求項１から１２のいずれかに記載の画像処理装置。
14. 前記倍率制御部は、抽出された前記対象物の像を、前記動画像が表す空間を見るユーザが装着した拡張現実眼鏡の視野のうち対応する領域に、当該対象物の見かけ上の大きさと異なる大きさで表示させることを特徴とする請求項１に記載の画像処理装置。
15. 動画像のフレームから対象物の像を抽出する対象物情報取得部と、
    抽出された前記対象物の像と前記動画像のデータを送信する配信処理部と、
    を備えたサーバと、
    前記サーバが出力したデータを、ネットワークを介して取得する画像取得部と、
    前記対象物の像を、その他の像と異なる倍率で、前記フレームのうち当該対象物に対応する位置に表示させる倍率制御部と、
    を備えた画像処理装置と、
    を含むことを特徴とする画像配信システム。
16. 鑑賞対象の空間を表す動画像のデータを取得するステップと、
    前記動画像のフレームから対象物の像を抽出するステップと、
    抽出された前記対象物の像を、その他の像と異なる倍率で、当該対象物に対応する位置に表示させるステップと、
    を含むことを特徴とする画像処理装置による画像処理方法。
17. 鑑賞対象の空間を表す動画像のデータを取得する機能と、
    前記動画像のフレームから対象物の像を抽出する機能と、
    抽出された前記対象物の像を、その他の像と異なる倍率で、当該対象物に対応する位置に表示させる機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。