JP2021018575A - 画像処理装置、画像配信システム、および画像処理方法 - Google Patents

Abstract

【課題】画像表示を含むコンテンツにおいて情報を好適に提示する。【解決手段】画像処理装置の領域抽出部は、コンテンツの動画像において、注目対象に含まれない対象物の像として空の像１２０を、画素値の変化、視線の向く頻度、カメラからの距離、対象物を指定する登録情報などの少なくともいずれかに基づき抽出する。別画像提示部は、抽出された領域に、空の像と異なる別画像として、選手の拡大像や応援の文字情報を表す画像１２２を表示させる。【選択図】図３

Description

本発明は、画像表示を伴うコンテンツを処理する画像処理装置、画像配信システム、および画像処理方法に関する。

画像処理技術の進歩やネットワーク環境の拡充により、動画やゲームといった電子コンテンツを、様々な形態で気軽に楽しめるようになっている。例えばヘッドマウントディスプレイを用い、それを装着したユーザの顔の向きに対応する視野でパノラマ映像を表示させることにより、映像世界への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることが可能になる。また各種ウェアラブルディスプレイにおいて、ユーザの視野で撮影されたリアルタイムの映像や眼鏡部分を透過した実像に合う位置に仮想オブジェクトを合成することにより、現実世界と仮想世界を融合させることも可能になっている。

上記のようなコンテンツを楽しんでいるユーザに、コンテンツの内容と異なる各種通知や広告などを認識させたい場合、それらの情報を表した画像をユーザの視界に入るように表すことが考えられる。しかしながらそのような付加的な画像によりコンテンツの一部が隠蔽されると、違和感や煩わしさの原因となり得る。画面内の別の領域に別途表示させることも考えられるが、コンテンツから視線を大きく移す必要があり注目されにくい。

本発明はこうした課題に鑑みてなされたものであり、その目的は、画像表示を含むコンテンツにおいて情報を好適に提示できる技術を提供することにある。

本発明のある態様は画像処理装置に関する。この画像処理装置は、鑑賞対象の空間を表す動画像のデータを取得する画像取得部と、動画像のフレームにおいて、注目対象に含まれない、いずれかの対象物の像の領域を非注目領域として抽出する領域抽出部と、非注目領域に、対象物の像と異なる画像を表し出力する別画像提示部と、を備えたことを特徴とする。

本発明の別の態様は画像配信システムに関する。この画像配信システムは、上記画像処理装置と、動画像のデータを画像処理装置に送信するサーバであって、画像処理装置が出力した画像を見るユーザの視線の方向に係る情報を取得し、異なる画像が表される前後における視線の方向の変化に基づき、当該異なる画像の視認率を算出する視認率算出部を備えたサーバと、を含むことを特徴とする。

本発明のさらに別の態様は画像配信システムに関する。この画像配信システムは、鑑賞対象の空間を表す動画像のデータを取得する画像取得部と、動画像のフレームにおいて、注目対象に含まれない、いずれかの対象物の像の領域を非注目領域として抽出する領域抽出部と、非注目領域に、対象物の像と異なる画像を表す別画像提示部と、を備えたサーバと、サーバが出力した、別画像を表した動画像のデータを、ネットワークを介して取得し表示装置に表示させる画像処理装置と、を含むことを特徴とする。

本発明のさらに別の態様は画像処理方法に関する。この画像処理方法は画像処理装置が、鑑賞対象の空間を表す動画像のデータを取得するステップと、動画像のフレームにおいて、注目対象に含まれない、いずれかの対象物の像の領域を非注目領域として抽出するステップと、非注目領域に、対象物の像と異なる画像を表し出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、画像表示を含むコンテンツにおいて情報を好適に提示できる。

本実施の形態におけるヘッドマウントディスプレイの外観例を示す図である。 本実施の形態を適用できるコンテンツ処理システムの構成例を示す図である。 本実施の形態で処理対象とするコンテンツの画像を例示する図である。 本実施の形態における画像処理装置の内部回路構成を示す図である。 本実施の形態における画像処理装置およびサーバの機能ブロックの構成を示す図である。 本実施の形態において別画像提示部が非注目領域に別画像を提示するタイミングを説明するための図である。 本実施の形態において表示される画像の例を模式的に示す図である。 本実施の形態で、実世界でのコンサートにおいて観客がかけているＡＲ眼鏡に別画像を表示させた場合の視認率の取得について説明するための図である。 本実施の形態における画像処理装置がコンテンツの画像を表示する処理手順を示すフローチャートである。

本実施の形態は画像表示を含むコンテンツの処理技術に関する。その限りにおいて画像が表す内容、表示の目的、リアルタイムの映像か録画か、実像を含むか否か、表示装置の形態などは特に限定されない。以下、代表的な例として、ヘッドマウントディスプレイに動画像を表示させる態様を主に説明する。図１は、本実施の形態のヘッドマウントディスプレイの外観例を示している。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。

出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、画像を拡大するレンズを備えてよい。表示パネルを左右に分割してなる各領域に、両眼の視差に対応するステレオ画像を表示することにより立体視を実現してもよい。

ヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。この例でヘッドマウントディスプレイ１００は、筐体１０８の前面にステレオカメラ１１０を備え、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。さらにヘッドマウントディスプレイ１００は筐体１０８の内部あるいは外部に、加速度センサ、ジャイロセンサ、地磁気センサなど、ヘッドマウントディスプレイ１００の動き、姿勢、位置などを導出するための各種センサのいずれかを備えてよい。

図２は、本実施の形態を適用できるコンテンツ処理システムの構成例を示している。ヘッドマウントディスプレイ１００は無線通信により画像処理装置１０に接続される。ただしＵＳＢなどによる有線接続としてもよい。画像処理装置１０はネットワーク８を介してサーバ２００に接続される。サーバ２００は、表示対象の動画像や音声を、コンテンツのデータとして画像処理装置１０に送信する。

画像処理装置１０は、サーバ２００から送信されたコンテンツのデータに必要な処理を施し、ヘッドマウントディスプレイ１００に送信する。あるいは画像処理装置１０は、内部で保持しているコンテンツのデータを処理して画像や音声のデータを生成したり、ヘッドマウントディスプレイ１００のステレオカメラ１１０が撮影している動画像に所定の処理を施したりして、ヘッドマウントディスプレイ１００に送信してもよい。これらの場合、サーバ２００はなくてもよい。また画像処理装置１０はヘッドマウントディスプレイ１００の内部に設けてもよい。

さらに上述のとおり、本実施の形態において動画像を表示する装置はヘッドマウントディスプレイに限らず、各種ウェアラブルディスプレイ、テレビ受像器などの平板型のディスプレイ、携帯端末、プロジェクタなどでもよい。ヘッドマウントディスプレイ１００を採用した場合、画像処理装置１０は例えば、それを装着したユーザの頭部の位置や姿勢を、ヘッドマウントディスプレイ１００が内蔵するモーションセンサの計測値やステレオカメラ１１０による撮影画像などに基づき継続的に取得し、それに応じた視野で表示画像を生成する。

このような表示技術の代表的な例として、仮想世界を表す３次元空間や撮影済みのパノラマ画像のうちユーザの視野に対応する画像を表す仮想現実（VR）がある。また画像処理装置１０は、ステレオカメラ１１０が撮影しているリアルタイムの画像の適切な位置に仮想オブジェクトを描画することで、拡張現実（AR）を実現してもよい。あるいは画像処理装置１０はコンテンツの画像を、ユーザの頭部の動きによらず固定された視野で再生してもよい。

図３は、本実施の形態で処理対象とするコンテンツの画像を例示している。この例では、球場での野球の試合の映像を想定している。例えば試合中の球場全体を広角で撮影し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の動きに対応する視野で（ａ）に示すような画像を表示させれば、遠隔地にいるユーザであっても客席から試合を見ている臨場感が得られる。なお同様の画像を、視差を有する左目用、右目用のステレオ画像として表示させれば立体視も可能である。このような画像は、実際に客席にいるユーザが装着するヘッドマウントディスプレイ１００のステレオカメラ１１０によっても得られる。

（ａ）に示す画像が表示された場合、ユーザが注目する対象は主として選手がいるピッチであり、例えば空の像１２０などが注目される可能性は少ない。そこで本実施の形態では、そのような注目対象から外れた領域を利用して、様々な画像や情報を提示する。すなわち注目対象に含まれない、いずれかの対象物の像の領域を「非注目領域」として抽出し、当該対象物と異なる画像を表示させる。

図示する例では（ｂ）に示すように、空の像の領域に、選手の拡大像や応援の文字情報を表す画像１２２を表示している。表示する対象は同一空間に存在するものに限らず、別の空間で撮影された画像、ユーザへの通知、広告、同じ映像を見ている他ユーザのコメントなど様々でよく、動画像、静止画像、文字情報、またはそれらの組み合わせのいずれでもよい。以後、非注目領域とする対象物を「置換対象」、非注目領域に表示させる、置換対象の像と異なる画像を「別画像」と呼ぶ。

非注目領域を適切に選択することにより、注目対象を隠蔽することなく、かつ視線の移動を最小限に、必要な情報を視認させることができる。また実際に写っている対象物の像を置き換えることにより、元の映像と別画像に統一感が生まれる。特にヘッドマウントディスプレイ１００などによりユーザの頭部の動きに合わせて視野を変化させる場合、別画像とその他の像が一体化していることにより、視野の転換時にも違和感が少なく、臨場感が損なわれにくい。

図４は、画像処理装置１０の内部回路構成を示している。画像処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなり、サーバ２００やヘッドマウントディスプレイ１００と通信を確立する通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、ヘッドマウントディスプレイ１００へデータを出力する出力部３６、ヘッドマウントディスプレイ１００などからデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより画像処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。なおサーバ２００も同様の回路構成としてよい。

図５は、画像処理装置１０およびサーバ２００の機能ブロックの構成を示している。同図に示す各機能ブロックは、ハードウェア的には図５で示したＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現でき、ソフトウェア的には、記録媒体からメモリにロードした、情報処理機能、画像描画機能、データ入出力機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像処理装置１０は、鑑賞対象の空間を表す動画像のデータを取得する画像取得部６０、動画像のフレームから置換対象の像の領域を非注目領域として抽出する領域抽出部６２、非注目領域に別画像を表示させる別画像提示部６６、３次元の被写空間における被写体の位置を取得する位置情報取得部６４、別画像のデータを格納する別画像データ記憶部６８、ユーザの視線の方向に係る情報を取得する視線情報取得部７２、およびヘッドマウントディスプレイ１００に表示画像のデータを出力する出力部７０を備える。

画像取得部６０は、ユーザが選択するなどしたコンテンツのデータをサーバ２００から取得する。あるいは画像取得部６０は、当該コンテンツのデータを、画像処理装置１０内の記憶装置から読み出してもよい。そして画像取得部６０は必要に応じて、取得した画像のデータを復号伸張し、少なくとも領域抽出部６２および別画像提示部６６に供給する。画像取得部６０はそのほか、非注目領域を抽出するのに必要な情報または非注目領域を指定する情報、動画像に写っている被写体の３次元空間での位置情報、表示させるべき別画像のデータまたはそれを指定する情報、のうち必要な情報をサーバ２００から取得してよい。

領域抽出部６２は、画像取得部６０が復号伸張した動画像の各フレームにおいて、置換対象の像の領域を非注目領域として抽出する。例えば領域抽出部６２は、次のような条件で抽出を行う。
１．構成する画素値の時間変化が所定値以下の物の像
２．一般的な傾向として注目されることが少ない物の像
３．ユーザの視線の向く頻度が所定値以下の物の像
４．３次元の被写空間において動画像を撮影するカメラからの距離が所定値以上の物の像

上記１、３、４の条件において判定基準とするしきい値は、動画像ごとに設定してもよいし全ての動画像で共通としてもよい。上記２の条件は、まず空や天井など一般的な傾向として注目されにくい物自体を置換対象として決定し、その名称、色、形状、特徴点の分布など、その像の抽出に必要な情報を、動画像ごと、または全ての動画像で共通に登録しておく。この場合、領域抽出部６２は、パターンマッチング、特徴点比較、背景差分など既存の対象物認識技術により、登録されている置換対象の像を抽出する。

例えば図３で示した空の像は、上記１から４の条件のいずれにも該当し得る。ただし非注目領域の抽出条件を上記に限る趣旨ではない。例えば領域抽出部６２は、フレーム間差分に基づき像の動き検出を行い、動きがないと見なされる像の領域を抽出してもよい。場合によっては領域抽出部６２は、非注目領域自体を指定した登録情報をサーバ２００などから取得し、当該情報を別画像提示部６６に供給するのみでもよい。また領域抽出部６２は、１つの条件を満たした領域を抽出してもよいし、２つ以上の条件を満たした領域を抽出してもよい。

なお一般的な画像は、中央から下方にかけて注目対象が集中する構成となることが多いため、動画像のフレームを所定の割合で上下に分割した領域のうち上側の領域であることを条件に加えてもよい。いずれにしろ領域抽出部６２は、被写体の像の単位で、好適には置換対象の輪郭形状に沿って非注目領域を抽出する。これにより上述のとおり、他の被写体との統一感が生まれ、臨場感が損なわれにくくなる。

なお領域抽出部６２は、複数の非注目領域を抽出してもよいし、動画像の構成の変化や表示領域の変化に応じて注目領域を移動させてもよい。さらに領域抽出部６２は、一旦抽出した非注目領域についても、抽出した条件から逸脱しないか監視を続け、逸脱した場合は非注目領域から除外する。そして再び条件を満たしたら、領域抽出部６２は同じ領域を非抽出領域として抽出してよい。

別画像提示部６６は、動画像のフレームごとに、非注目領域に別画像を合成することにより表示画像のフレームを生成する。図３に示した空の像のように、別画像提示部６６は非注目領域全体を別画像に置き換えてもよいし、そのうち一部の領域のみに別画像を表してもよい。また別画像として文字情報を表す場合、別画像提示部６６は、塗りつぶし画像などの背景とともに文字を表してもよいし、文字のみを直接、置換対象の像の上に表してもよい。

またユーザの頭部の動きに応じて視野を変化させる表示形態においては、別画像提示部６６は、視野の変化に追随するように別画像の表示位置を移動させてもよい。例えば図３の画像の例では、ユーザが右方向へ顔を向けると、視野に入る空の領域が移動する。そこで別画像の表示位置を当該移動に追随するようにシフトさせれば、別画像を常に視野内の空の領域に表示させ続けることができる。あるいは一度表示させた別画像は、視野の変化に関わらず置換対象の像の同じ位置に表示させ続けてもよい。この場合、別画像が対象物に貼り付いているように見せることができる。

別画像提示部６６は別画像のデータを、別画像データ記憶部６８から読み出してもよいし、サーバ２００から直接、取得してもよい。前者の場合も、表示すべき別画像のデータの識別情報や表示のタイミングなどの情報をサーバ２００から取得してもよい。画像合成の手法自体には、一般的なコンピュータグラフィクスの技術を利用できる。また別画像提示部６６は、別画像のフレームレートおよび解像度の少なくともいずれかを、合成先の動画像より低くしてもよい。これにより、表示画像のデータサイズを抑えることができる。

位置情報取得部６４は、動画像に写る被写体の、３次元の被写空間における位置情報を取得する。位置情報取得部６４は当該位置情報を、コンテンツのデータとともにサーバ２００から取得してもよい。あるいは位置情報取得部６４がコンテンツの画像、あるいはそれとともにサーバ２００から送信されたデプス画像のデータを解析することにより、位置情報を取得してもよい。デプス画像は、カメラから被写体までの距離を、その像の画素値として表した、画像解析においては一般的な画像である。

位置情報取得部６４は取得した位置情報を、領域抽出部６２および別画像提示部６６の少なくともいずれかに供給する。領域抽出部６２は上記４、すなわち３次元の被写空間において動画像を撮影するカメラからの距離が所定値以上の物の像を非注目領域として抽出する際、当該位置情報を利用する。例えば屋外のイベントを撮影した画像の場合、カメラからの距離が、会場の広さと比較し十分遠いと見なせる被写体は、画像上の背景である空や山など、注目対象でない可能性が高い。

屋内の場合も天井や壁など注目されにくい物は、メインの対象を撮影しているカメラからは遠いことが多い。したがって撮影対象の空間の規模に応じて、カメラからの距離に適切なしきい値を設定することにより、注目されることの少ない被写体を適切に特定できる。一方、別画像提示部６６は、抽出された非注目領域に別画像を合成する際、カメラから置換対象までの距離に基づき別画像の表示倍率を決定する。具体的には置換対象が遠いほど、そこに表示させる別画像の倍率を低くする。

これにより別画像提示部６６は、置換対象と同じ距離感で別画像を表現でき、被写空間の一部に近い形で別画像を認識させることができる。なお視差を有するステレオ画像により立体視を実現する場合は、別画像提示部６６は、置換対象と同じように視差を与えることにより、同じ位置に別画像が存在するように見せる。ただし非注目領域の抽出に別の条件を用いたり、別画像の表示倍率を固定としたりする場合、位置情報取得部６４の機能は省略してもよい。

視線情報取得部７２は、ユーザの視線の方向に係る情報を所定のレートで取得する。視線情報取得部７２は例えば、ヘッドマウントディスプレイ１００が内蔵する図示しないモーションセンサの計測値からユーザの頭部の動きを取得し、顔面の法線が向く方向を視線の方向と見なして取得する。ヘッドマウントディスプレイ１００などのウェアラブルディスプレイを装着したユーザの頭部の動き、ひいては顔の向く方向を取得する技術はその他、様々な手法が実用化されており、本実施の形態ではそのいずれを採用してもよい。

あるいは視線情報取得部７２は、ヘッドマウントディスプレイ１００の内部に備えた注視点検出器からの情報に基づき、表示画像上で実際に注視されている位置を取得してもよい。ユーザの眼球に赤外線などの参照光を照射し、その反射光の分布から瞳孔の向き、ひいては注視点を取得する技術は一般に知られている。その他注視点検出器として実用化されている技術のいずれを採用してもよい。

視線情報取得部７２は取得した視線に係る情報を、必要に応じて領域抽出部６２およびサーバ２００の一方、あるいは双方に供給する。領域抽出部６２は上記３、すなわちユーザの視線の向く頻度が所定値以下の物の像を非注目領域として抽出する際、当該視線の情報を利用する。例えば領域抽出部６２は、直近の所定時間に視線が向けられた累積時間が所定値以下の被写体の像を非注目領域として抽出する。このように「視線の向く頻度」は、視線の向く時間の割合であってもよい。

あるいは領域抽出部６２は、直近の所定時間に視線が向いた回数が所定値以下の被写体の像を抽出してもよい。サーバ２００側では、後述するように非注目領域の抽出や、別画像の視認率の算出に視線の情報を利用する。ただし本実施の形態は、非注目領域の抽出に視線の情報を用いたり、視認率を算出したりすることに限定されない。視線の情報を必要としない場合、視認情報取得部２の機能は省略できる。

出力部７０は、別画像提示部６６が生成した表示画像のデータを、ヘッドマウントディスプレイ１００に所定のレートで出力する。なお出力部７０はコンテンツのデータに含まれる音声のデータも並行して出力してよいが、音声に係る処理については図示を省略している。

サーバ２００は、コンテンツのデータを配信する配信処理部５０、コンテンツのデータを格納するコンテンツデータ記憶部５２、非注目領域に係る情報を取得する領域情報取得部５４、および、別画像の視認率を算出する視認率算出部５６を備える。配信処理部５０は、画像処理装置１０からの要求などに応じて、コンテンツデータ記憶部５２からコンテンツのデータを読み出し送信する。あるいは配信処理部５０は、図示しないカメラが撮影したリアルタイムの映像を即時送信してもよい。

領域情報取得部５４は、画像処理装置１０において非注目領域を抽出する際に必要な情報を取得する。例えば領域情報取得部５４は、あらかじめ決定しておいた置換対象の識別情報やその特徴、非注目領域の抽出に用いるべきパラメータや判定に用いるしきい値などを取得する。当該情報はコンテンツデータ記憶部５２にあらかじめ準備されたものを読み出して取得してもよいし、領域情報取得部５４自体が動画像を解析することによって取得してもよい。特に録画されたコンテンツの場合、時間をかけて画像解析を行っておくことで、詳細な情報を準備しておくことができる。

あるいは領域情報取得部５４は、取得したそれらの情報を用いて、非注目領域自体を抽出してもよい。また領域情報取得部５４は、３次元の被写空間での被写体の位置を取得してもよい。リアルタイムで撮影される映像を配信する場合、領域情報取得部５４は、撮影された動画像のフレーム単位、あるいは所定の時間間隔で、非注目領域の抽出や、被写体の位置情報の取得を実施する。非注目領域を抽出する場合、領域情報取得部５４は画像処理装置１０の領域抽出部６２と同様の手法を用いて抽出を行う。

上記４の条件により、画像処理装置１０におけるユーザの実際の視線に応じて置換対象を決定する場合、領域情報取得部５４は、画像処理装置１０の視線情報取得部７２が取得した視線の情報を取得する。被写空間での被写体の位置を取得する場合、領域情報取得部５４は、例えば所定の間隔で左右に設置した一対のカメラで被写空間を撮影したステレオ画像を用い、三角測量の原理で被写体までの距離を取得する。

あるいは領域情報取得部５４は、赤外線などの参照光を被写体に照射し、その反射光を検出するまでの時間に基づき被写体の距離を取得する。これらの測距技術は広く知られている。なおこれらの処理の一部は、画像処理装置１０の位置情報取得部６４が担ってもよい。例えばサーバ２００側でおよその位置を見積もっておき、画像処理装置１０側ではそれより細かい分解能で位置を求めてもよい。あるいはサーバ２００側で非注目領域や被写体の３次元空間での位置を詳細に取得しておくことにより、画像処理装置１０側の領域抽出部６２や位置情報取得部６４の処理を省略してもよい。

また領域情報取得部５４は、非注目領域に表示させるべき別画像のデータや、その表示タイミング、表示倍率などの表示規則をコンテンツデータ記憶部５２から読み出してもよい。あるいは領域情報取得部５４は、置換対象のカメラからの距離に応じて、別画像の表示倍率を決定してもよい。領域情報取得部５４は、取得した情報を適宜、配信処理部５０に供給する。

これにより配信処理部５０は、コンテンツのデータのほかに、領域情報取得部５４が取得した、非注目領域の抽出に必要な情報、別画像の表示に必要な情報などを画像処理装置１０に送信する。この際、配信処理部５０は、領域情報取得部５４が非注目領域として抽出した置換対象の像を、動画像から削除したり、当該領域の圧縮率を上げたりして情報量を削減し、送信すべきデータのサイズを軽減させてもよい。

視認率算出部５６は、別画像が表示される前後におけるユーザの視線の方向の変化を取得し、それに基づき当該別画像の視認率を推定する。例えば視認率算出部５６は、別画像が表示される前の状態を基準とし、別画像が表示された後に置換対象へ視線が向けられた頻度の割合を視認率として算出する。あるいは別画像が表示されたことによる、置換対象へ視線が向けられた頻度の増加分を視認率としてもよい。

視線が向けられた頻度は上述と同様、所定時間において視線が向けられた累積時間、あるいはその割合でもよいし、所定時間に視線が向けられた回数でもよい。なおサーバ２００側で別画像を表示させるタイミングを取得していない場合、画像処理装置１０の視線情報取得部７２は、領域抽出部６２から当該タイミングを取得し、サーバ２００に通知する。視認率は、別画像を表示させる効果を示す指標となる。したがって例えば、別画像を広告とする場合の表示料金の根拠に用いることができる。

図６は、別画像提示部６６が非注目領域に別画像を提示するタイミングを説明するための図である。この例は上記１の条件に基づき、画素値の時間変化が所定値以下の物の像を非注目領域とし、別画像を表示させる場合を示している。ここで図の縦軸に示す画素値変化量は例えば、動画像に写っている被写体の像を構成する画素、あるいはそのうちのサンプリング点の画素値の、単位時間当たりの変化量の平均値である。

領域抽出部６２は、そのような画素値の変化量を、図の横軸に示す時間の経過に対し所定の時間間隔で取得していく。画素値の変化量を取得する対象は、像の色や位置などに基づき絞りこんでおいてもよい。図の時刻０から所定の時刻Ｔ１までの判定期間において、取得した画素値の変化量がしきい値Ｐｔｈを超えなければ、領域抽出部６２は当該像を非注目領域として決定する。

これに応じて別画像提示部６６は、時刻Ｔ１から当該非注目領域への別画像の合成を開始する。その一方、領域抽出部６２は、元の動画像における画素値の変化量を継続して取得する。図示する例では、非注目領域における画素値の変化量がある時点から増加し、時刻Ｔ２でしきい値Ｐｔｈより大きくなっている。例えば通常は注目されにくい空などの背景であっても、イベントの余興として花火が上がったりレーザー光線を照らしたりして一時的に大きく変化する場合がある。このとき、注目されていなかった対象が突然、注目対象となる可能性が高い。

そこで領域抽出部６２は、一旦、非注目領域と決定した領域についても、画素値の変化を監視することにより、非注目領域でなくなったことを検出する。すなわち領域抽出部６２は、時刻Ｔ２で画素値の変化量がしきい値Ｐｔｈを超えたことを検出し、当該領域を非注目領域から除外する。これに応じて別画像提示部６６は、それまで当該領域に表示させていた別画像を非表示とする。これにより、花火などの注目対象が別画像で隠蔽されて見えないといった状況を回避する。

そして時刻Ｔ３において、画素値の変化量がしきい値Ｐｔｈ以下となったとき、領域抽出部６２は、当該領域が再び非注目領域となったことを検出する。これに応じて別画像提示部６６は、当該非注目領域への別画像の合成を再開させる。なお図示するような別画像の表示／非表示の制御は、画素値の変化量の代わりに、ユーザの視線が向いた頻度としても実現できる。また別画像を表示から非表示とするしきい値と、非表示から表示とするしきい値は同一でも異なっていてもよい。

さらに別画像の表示／非表示を判定する基準に複数のパラメータを用いてもよい。例えば時刻Ｔ１における、非注目領域の決定は、画素値の変化量やユーザの視線が向いた頻度などに基づき決定する一方、別画像を非表示とする期間Ｔ２〜Ｔ３は、花火が打たれる期間など、別画像の表示が望ましくない期間を前もって特定しておき、人手により設定してもよい。また図示するような別画像の表示期間の全てにおいて別画像を表示しなくてもよい。例えば当該表示期間において、サーバ２００が指定するタイミングで別画像を表示してもよい。

図７は、本実施の形態において表示される画像の例を模式的に示している。図示する画像はカーレースの映像の１フレームであり、缶製品の広告を表す２つの別画像１３０、１３２が合成されている。このうち比較的近景である山の像に表示させる別画像１３０は、遠景である空の像に表示させる別画像１３２より大きい倍率で表示している。

このように、置換対象の実際の距離に対応する倍率で別画像を表示させることにより、元の映像との統一感を出せる。なお置換対象の表面がカメラに対し傾斜していたり湾曲していたりして、同一面でも位置によって距離が異なる場合、そこに合成する１つの別画像の表示倍率も位置によって変化させてよい。これにより、置換対象に別画像が貼り付いている状況を擬似的に作り出せる。一方、そのような場合でも１つの別画像に対しては、位置によらず表示倍率を固定とすることにより、見やすさを優先させることもできる。

これまでは、ヘッドマウントディスプレイ１００に表示させる動画像のうち非注目領域に別画像を合成する態様を主に説明したが、実世界の像を透過させるＡＲ眼鏡において、実像に融合するように別画像を表示させてもよい。この場合も、画像処理装置１０の領域抽出部６２は、ユーザがＡＲ眼鏡を介して見ている空間を同時に撮影している動画像のフレームから非注目領域を抽出する。そして別画像提示部６６は、ＡＲ眼鏡を介して見られている実像のうち非注目領域に対応する領域、すなわち置換対象の実像の領域に、別画像を表示させる。

図８は、実世界でのコンサートにおいて観客がかけているＡＲ眼鏡に別画像を表示させた場合の視認率の取得について説明するための図である。まず（ａ）は、実世界におけるコンサート会場を示している。客席１４０にいる観客はＡＲ眼鏡をかけているとする。別画像が表示されない状態では、観客の視線は当然、舞台上にいる演者に集まる。図では観客の視線の一部を矢印で示している。

一方、（ｂ）は、会場の左右の壁を置換対象とし、別画像１４２、１４４を表した状態を示している。つまり実際には（ａ）の状態であるが、ＡＲ眼鏡をかけた観客には左右の壁に別画像１４２、１４４が表示されているように見える。このような状態においては、矢印で示すように、観客の視線が別画像に向く可能性が高まる。そこで視認率算出部５６は上述のように、別画像の表示前後における視線の変化を取得する。具体的には視認率算出部５６は、観客がかけているＡＲ眼鏡に画像を表示させている画像処理装置１０から、各観客の視線の動きを収集する。

そして視認率算出部５６は、所定時間において、左右の壁に視線が向けられた累積時間の、観客１人当たりの平均値を算出する。例えば別画像を表示する前と後における平均値をそれぞれｔ１、ｔ２とすると、視認率算出部５６はｔ２／ｔ１またはｔ２−ｔ１を視認率として算出する。あるいは視線が向けられた累積時間の代わりに、視線が向けられた回数などを用いてもよい。視認率が大きいほど、別画像を表示させた効果が高いといえるため、例えば広告料金の根拠や、別画像を表示させる置換対象の最適化に用いることができる。

なお同様の視認率は、ヘッドマウントディスプレイ１００に表示させる動画像に別画像を合成する態様においても取得できる。すなわち画像処理装置１０は、（ａ）で示したようなコンサートの動画像を表示させている状況で、（ｂ）に示すように別画像１４２、１４４を合成する。この場合も、ヘッドマウントディスプレイ１００を装着しているユーザ個人の視線の変化が得られる。サーバ２００の視認率算出部５６は、複数のユーザの視線の変化を収集すれば、上述と同様に視認率を算出できる。

次に、以上の構成によって実現される画像処理装置１０の動作について説明する。図９は、本実施の形態における画像処理装置１０がコンテンツの画像を表示する処理手順を示すフローチャートである。このフローチャートは、ヘッドマウントディスプレイ１００を装着したユーザが画像処理装置１０に対し、視聴したいコンテンツを選択する入力を行うことにより開始される。まず画像処理装置１０の画像取得部６０は、選択されたコンテンツの動画像のデータ取得を開始する（Ｓ１０）。

上述のとおり当該データはサーバ２００から送信されたものでもよいし、画像処理装置１０内部で保持しているものでもよい。領域抽出部６２は、所定の条件に基づき、動画像における非注目領域を抽出する（Ｓ１２）。抽出に必要な情報は、サーバ２００から取得してもよいし、画像処理装置１０内部で保持していてもよい。また位置情報取得部６４が被写体の位置情報を取得し、それを非注目領域の抽出に利用してもよい。

抽出条件によっては、抽出までに一定以上の時間を要する場合があるため、出力部７０はＳ１２の処理と並行して、動画像のデータをヘッドマウントディスプレイ１００に出力してよい。抽出された直後は、当該非注目領域の画素値の変化量や視線が向けられる頻度がしきい値以下であることは明らかなため（Ｓ１４のＹ）、別画像提示部６６は、抽出された非注目領域に別画像を表示させる（Ｓ１６）。

この際、別画像提示部６６は、位置情報取得部６４が取得した、置換対象の距離に応じて、別画像の表示倍率を決定してもよい。別画像のデータは、別画像データ記憶部６８から読み出してもよいし、その都度、サーバ２００から取得してもよい。出力部７０は別画像が合成された表示画像のデータを、ヘッドマウントディスプレイ１００に出力する（Ｓ１８）。表示を終了させる必要がなければ（Ｓ２０のＮ）、後続のフレームについても別画像を表示させ、出力する（Ｓ１４のＹ、Ｓ１６、Ｓ１８）。

ただし非注目領域の画素値の変化量、あるいは視線が向けられる頻度がしきい値を超えたことが領域抽出部６２により検出されたら（Ｓ１４のＮ）、Ｓ１６の処理をスキップすることにより別画像を非表示とする。なおＳ１４の判定は、フレーム単位で行うことを必須とする趣旨ではなく、好適には所定の判定時間を設けることにより、別画像の表示／非表示が短期間に切り替わらないようにする。動画が終了したり、ユーザが停止操作を行ったりして表示を終了させる必要が生じたら、全ての処理を終了させる（Ｓ２０のＹ）。

以上述べた本実施の形態によれば、コンテンツの動画像において注目対象に含まれない対象物の像の領域を非注目領域として抽出し、そこに当該対象物とは別の画像を表示させる。これにより、元の画像の構成を踏まえたうえで画面を有効に活用し、様々な情報を同時に提示することができる。また、実際に写っている像を別画像の表示先とすることで、画像全体で統一感を出すことができる。結果としてユーザは、視線を動画像から大きく移すことなく自然に、提示された情報を認識できる。

また対象物の位置、像の表れ方、ユーザが視線を向けているか否か、といった実情に即して別画像表示の是非を判定したり、表示倍率を決定したりすることにより、動画の内容やユーザの動向を尊重し無理なく別画像を表せる。ヘッドマウントディスプレイを用いた画像表現では特に、単に画面上の固定された領域に情報を表示させるのに比べ臨場感が損なわれにくい。また元の置換対象の像の情報を削減しておくことにより、サーバから送信すべきデータのサイズを軽減させることもできる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば本実施の形態では画像処理装置１０が、表示の直前に別画像を合成したが、サーバ２００において別画像を合成したうえで画像処理装置１０に配信しても同様の効果が得られる。この場合、サーバ２００に画像取得部６０、領域抽出部６２、別画像提示部６６を設け、配信処理部５０は、別画像が合成された動画像のデータを画像処理装置１０に送信すればよい。

１０ 画像処理装置、 ２３ ＣＰＵ、 ２４ ＧＰＵ、 ２６ メインメモリ、 ３２ 通信部、 ３４ 記憶部、 ３６ 出力部、 ３８ 入力部、 ４０ 記録媒体駆動部、 ５０ 配信処理部、 ５２ コンテンツデータ記憶部、 ５４ 領域情報取得部、 ５６ 視認率算出部、 ６０ 画像取得部、 ６２ 領域抽出部、 ６４ 位置情報取得部、 ６６ 別画像提示部、 ６８ 別画像データ記憶部、 ７０ 出力部、 ７２ 視線情報取得部、 １００ ヘッドマウントディスプレイ、 １１０ ステレオカメラ、 ２００ サーバ。

Claims (16)

1. 鑑賞対象の空間を表す動画像のデータを取得する画像取得部と、
   前記動画像のフレームにおいて、注目対象に含まれない、いずれかの対象物の像の領域を非注目領域として抽出する領域抽出部と、
   前記非注目領域に、前記対象物の像と異なる画像を表し出力する別画像提示部と、
   を備えたことを特徴とする画像処理装置。
2. 前記領域抽出部は、構成する画素値の時間変化が所定値以下の領域を、前記非注目領域として抽出することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像取得部は、前記対象物を指定した登録情報を取得し、
   前記領域抽出部は、前記登録情報を参照して特定した前記非注目領域を抽出することを特徴とする請求項１または２に記載の画像処理装置。
4. ユーザの視線の方向に係る情報を取得する視線情報取得部をさらに備え、
   前記領域抽出部は前記非注目領域として、前記視線の向く頻度が所定値以下の像の領域を抽出することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 前記領域抽出部は、前記対象物として空または天井の像の領域を抽出することを特徴とする請求項１から４のいずれかに記載の画像処理装置。
6. 前記領域抽出部は、前記フレームを上下に分割した領域のうち上の領域から前記非注目領域を抽出することを特徴とする請求項１から５のいずれかに記載の画像処理装置。
7. ３次元の被写空間における被写体の位置情報を取得する位置情報取得部をさらに備え、
   前記領域抽出部は前記非注目領域として、前記動画像を撮影するカメラからの距離が所定値以上の被写体の像の領域を抽出することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
8. 前記別画像提示部は、前記非注目領域に写る対象物の、前記動画像を撮影するカメラからの距離に対応する倍率で、前記異なる画像を表すことを特徴とする請求項１から７のいずれかに記載の画像処理装置。
9. 前記領域抽出部は、前記非注目領域を構成する画素値の時間変化が所定値を超えている期間を検出し、
   前記別画像提示部は、前記期間において前記異なる画像を非表示とすることを特徴とする請求項１から８のいずれかに記載の画像処理装置。
10. 前記画像取得部は、前記動画像のフレームのうち前記非注目領域における前記対象物の像の情報量を削減した前記動画像のデータを、ネットワークを介してサーバから取得することを特徴とする請求項１から９のいずれかに記載の画像処理装置。
11. 前記画像取得部は、前記動画像のデータと、前記非注目領域を抽出するための条件に係る情報を、ネットワークを介してサーバから取得し、
    前記領域抽出部は、前記条件に係る情報に基づき前記非注目領域を抽出することを特徴とする請求項１から１０のいずれかに記載の画像処理装置。
12. 前記別画像提示部は、前記動画像が表す空間を見るユーザが装着した拡張現実眼鏡の視野のうち前記非注目領域に対応する領域に、前記異なる画像を表すことを特徴とする請求項１から９のいずれかに記載の画像処理装置。
13. 請求項１から１２のいずれかに記載の画像処理装置と、
    前記動画像のデータを前記画像処理装置に送信するサーバであって、
    前記画像処理装置が出力した画像を見るユーザの視線の方向に係る情報を取得し、前記異なる画像が表される前後における前記視線の方向の変化に基づき、当該異なる画像の視認率を算出する視認率算出部を備えたサーバと、
    を含むことを特徴とする画像配信システム。
14. 鑑賞対象の空間を表す動画像のデータを取得する画像取得部と、
    前記動画像のフレームにおいて、注目対象に含まれない、いずれかの対象物の像の領域を非注目領域として抽出する領域抽出部と、
    前記非注目領域に、前記対象物の像と異なる画像を表す別画像提示部と、
    を備えたサーバと、
    前記サーバが出力した、前記異なる画像を表した動画像のデータを、ネットワークを介して取得し表示装置に表示させる画像処理装置と、
    を含むことを特徴とする画像配信システム。
15. 鑑賞対象の空間を表す動画像のデータを取得するステップと、
    前記動画像のフレームにおいて、注目対象に含まれない、いずれかの対象物の像の領域を非注目領域として抽出するステップと、
    前記非注目領域に、前記対象物の像と異なる画像を表し出力するステップと、
    を含むことを特徴とする画像処理装置による画像処理方法。
16. 鑑賞対象の空間を表す動画像のデータを取得する機能と、
    前記動画像のフレームにおいて、注目対象に含まれない、いずれかの対象物の像の領域を非注目領域として抽出する機能と、
    前記非注目領域に、前記対象物の像と異なる画像を表し出力する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。