JP2022032483A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】適切な仮想視点画像を生成すること。【解決手段】画像処理装置１０２は、仮想視点の位置及び前記仮想視点からの視線方向を少なくとも示す仮想視点情報を取得する仮想視点制御部３０２と、仮想視点情報と、複数の視点で撮像されることにより取得された複数の画像とに基づく仮想視点画像であって、仮想視点情報に基づいて決定された特定の領域に対して秘匿化処理が行われた仮想視点画像を生成する仮想視点画像生成部３０４とを有する。【選択図】図３

Description

本開示は、仮想視点画像を生成する技術に関する。

複数台の実カメラで撮像した画像を用いて、３次元空間内に仮想的に配置した視点（仮想視点）からの映像を再現する技術として、仮想視点画像生成技術がある。ユーザは、例えばタブレットのタッチパネルディスプレイを使って、ＵＩ画面上で仮想視点画像を表示しつつ所望の仮想視点画像となるように仮想視点の操作を行うことができる。ユーザが直接仮想視点の操作を行うことで、臨場感ある仮想視点画像を楽しむことが可能となる。

一方で、ユーザは、コンテンツ配信元の意向に反した仮想視点の操作も可能となる。例えばサッカーの試合のコンテンツであれば、ユーザが、選手ではなく観客の監視を行うような仮想視点の操作をする場合もあり得る。そのため、観客のプライバシー保護の強化が望まれる。

特許文献１には、被写体の所定の動作を検出した場合に、被写体を不可視化する不可視化処理を停止することで、被写体の表示と非表示とを切り替える技術が記載されている。

特開２０１４－２１６６６７号公報

しかしながら、特許文献１では、画像を視聴するユーザによる操作に応じて被写体の表示と非表示とを切り替えることができない。適切ではない仮想視点画像が生成される場合が考えられる。

本開示は、適切な仮想視点画像を生成することを目的とする。

本開示の一態様に係る画像処理装置は、仮想視点の位置及び前記仮想視点からの視線方向を少なくとも示す仮想視点情報を取得する取得手段と、前記仮想視点情報と、複数の視点で撮像されることにより取得された複数の画像とに基づく仮想視点画像であって、前記仮想視点情報に基づいて決定された特定の領域に対して秘匿化処理が行われた仮想視点画像を生成する生成手段とを有することを特徴とする。

本開示によれば、適切な仮想視点画像を生成することができる。

システム構成と画像処理装置のブロックとを示す図である。 画像処理システムの一例を説明する図である。 画像処理装置の機能構成の一例を示す図である。 プライバシーマスクの表示または非表示を切り替えの一例を示す図である。 プライバシーマスクの表示または非表示を切り替える方法を説明する図である。 プライバシーマスクの表示または非表示を切り替える方法を説明する図である。 画像処理の一例を示すフローチャートである。 プライバシーマスクの判定処理の流れを示すフローチャートの一例である。 プライバシーマスクの表示方法が段階的に変化する方法の一例を示す図である。 プライバシーマスクの判定処理の流れを示すフローチャートである。

以下、添付図面を参照して本開示の好適な実施形態について詳細に説明する。なお、以下の実施形態は本開示事項を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本開示の解決手段に必須のものとは限らない。

＜＜第１実施形態＞＞
本実施形態では、仮想視点を示すパラメータ（情報）である仮想視点情報に基づいて秘匿化処理を行う領域を決定する例を説明する。尚、仮想的な空間に、あたかも仮想的なカメラを配置したかのように扱ってもよく、仮想視点のことを仮想カメラからの視点と表現してもよい。仮想視点情報は、仮想視点の位置及び仮想視点からの視線方向を少なくとも示す情報である。仮想視点情報には、仮想視点の移動方向、向き（姿勢）、回転、移動距離、または移動速度などが含まれる。これらはユーザ操作によってパラメータが指定される。そして、指定されたパラメータに従って仮想視点が設定されることになる。

本実施形態では、秘匿化処理としてプライバシーマスクを表示する処理を行う。プライバシーマスクの表示とは、人物などの被写体（以下、オブジェクトともいう）のプライバシーを保護するために、オブジェクトの表示を仮想視点画像上で不鮮明にすることである。プライバシーマスクの詳細は後述する。

前述のように、ユーザ操作によって任意の視点から見た仮想視点画像をユーザは視聴することができる。この場合、例えば観客のプライバシーの保護の強化が求められる。そのために、仮想視点画像において、観客にプライバシーマスクを常に表示することが考えられる。この場合、観客のプライバシーは保護されるが、仮想視点画像の臨場感を低減させてしまう。例えばゴールシーンの観客席の映像は、スタジアムの盛り上がりをユーザに伝え臨場感を高めることができる。ゴールシーンにおいて、観客席の観客にプライバシーマスクを表示した状態の画像を表示すると、臨場感が低下してしまう。そのため、本実施形態では、ユーザが被写体（オブジェクト）のプライバシーの保護を適切にできないような仮想視点の操作を行った場合にプライバシーマスクを表示し、そうでない場合はプライバシーマスクを非表示にする例を説明する。例えば、ユーザが、選手を注視する仮想視点の操作を行っている場合は、観客が映っていたとしてもプライバシーマスクを非表示とする。一方で、ユーザが観客を注視する仮想視点の操作を行った場合に、プライバシーマスクを表示とするといった処理が行われる。以下、仮想視点を示すパラメータに基づいてプライバシーマスクの表示と非表示の切り替えを自動的に判定する処理を説明する。

＜画像処理システムのハードウェア構成＞
図１は、本実施形態のシステム構成と画像処理装置のブロックとを示す図である。図１（ａ）は、本実施形態に係る画像処理システム１０の全体構成の一例を示す図である。尚、仮想視点画像とは、ユーザ又は選任のオペレータ等が自由に仮想視点の位置及び姿勢を操作することによって生成される画像であり、自由視点画像または任意視点画像などとも呼ばれる。また、特に断りがない限り、画像という文言が動画像及び静止画像の両方の概念を含むものとして説明する。すなわち、画像処理システム１０は、静止画像及び動画像の何れについても処理可能である。

画像処理システム１０は、撮像システム１０１、画像処理装置１０２、及び情報処理装置１０３を含む。撮像システム１０１と画像処理装置１０２とは、ネットワークなどを介して通信可能に構成されている。また、画像処理装置１０２と情報処理装置１０３ともまた、ネットワーク等を介して通信可能に構成されている。画像処理システム１０は、仮想視点画像を生成することが可能である。

撮像システム１０１は、複数のカメラ（撮像装置）を異なる位置に配置し、複数視点からの画像（複数の画像）を同期撮像する。撮像システム１０１は、複数視点から同期撮像した複数画像を、画像処理装置１０２に送信する。

画像処理装置１０２は、複数視点から同期撮像した複数画像を元に、仮想視点から見た仮想視点画像を生成する。画像処理装置１０２は、撮像システム１０１が有する、いずれカメラとも異なる視点から見た画像、即ち、仮想視点画像を生成することができる。仮想視点は、後述する外部の情報処理装置１０３から受信した仮想視点（仮想カメラ）の操作量に基づいて決定した仮想視点情報（パラメータ）によって設定される。画像処理装置１０２は、受信した複数画像から順次仮想視点画像を生成する。

情報処理装置１０３は、仮想視点を制御するためのコントローラと、仮想視点の状態などを表示する表示部とを有する。コントローラは、キーボードまたはマウスといったユーザが入力操作を行うための一般的なデバイスの他、仮想視点を操作するためのジョイスティック、つまみ、またはジョグダイヤル等を含む。表示部は、ユーザに必要な情報を表示するための１又は複数の表示デバイス（以下、「モニタ」と表記）である。表示デバイスとして例えばタッチパネルディスプレイを採用した場合は、タッチパネルが上述のコントローラを兼ねることもできる。モニタには、仮想視点画像又は仮想視点制御用のＵＩ画面が表示される。ユーザは、モニタを見ながら仮想視点の操作量、つまり移動方向、向き（姿勢）、回転、移動距離、または移動速度などを決定し、それらを、情報処理装置１０３を通じて画像処理装置１０２に送信する。また、情報処理装置１０３は、画像処理装置１０２が生成した仮想視点画像を受信しモニタに表示する。

図１（ｂ）は、画像処理装置１０２のハードウェア構成の一例を示す図である。画像処理装置１０２は、ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３、及び通信部１１４を含む。

ＣＰＵ１１１は、ＲＡＭ１１２をワークメモリとして、ＲＯＭ１１３に格納されたプログラムを実行し、画像処理装置１０２の各構成部を統括的に制御するプロセッサである。これにより、ＣＰＵ１１１が、各種プログラムを実行することで、後述の図３に示す各処理部の機能が実現される。なお、画像処理装置１０２がＣＰＵ１１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ１１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

ＲＡＭ１１２は、ＲＯＭ１１３から読み出されたコンピュータプログラム又は計算の途中結果などを一時的に記憶する。ＲＯＭ１１３は、変更を必要としないコンピュータプログラム又はデータを保持する。通信部１１４は、Ｅｔｈｅｒｎｅｔ又はＵＳＢなどの通信手段を有し、撮像システム１０１及び情報処理装置１０３との通信を行う。

図２は、画像処理システム１０の一例を説明する図である。図２のカメラ群２０１、画像処理サーバ２０２及びタブレット２０３は、それぞれ撮像システム１０１、画像処理装置１０２及び情報処理装置１０３に対応している。カメラ群２０１は、複数のカメラを含み、各カメラはそれぞれ異なる方向からオブジェクトを撮像する。そして各カメラで撮像された撮像画像は、画像処理サーバ２０２に送信される。

画像処理サーバ２０２は、後述のタブレット２０３から受信した仮想視点の操作量から仮想視点を示すパラメータを決定し、そのパラメータに基づき、受信した撮像画像にレンダリングなどの処理を施し仮想視点画像を生成する。仮想視点画像の生成に際し、画像処理サーバ２０２は、仮想視点を示すパラメータに基づき仮想視点画像にプライバシーマスクを表示するかを判定する。即ち、画像処理サーバ２０２は、仮想視点を示すパラメータが所定条件を満たす領域を、仮想視点画像に秘匿化処理を行う秘匿化領域（特定の領域）として決定する。そして、プライバシーマスクを表示する場合（秘匿化処理を行う場合）には、仮想視点画像の一部にマスク処理を行う。そして、画像処理サーバ２０２は、生成した仮想視点画像を、インターネットを介してユーザの持つタブレット２０３に送信する。

タブレット２０３は、ユーザがタブレット２０３のタッチパネルを用いてＵＩ画面上で仮想視点２０４を操作したことに応じて、画像処理サーバ２０２に仮想視点２０４の操作量を送信する。また、タブレット２０３は、画像処理サーバ２０２から受信した仮想視点画像をＵＩ画面上に表示する。このＵＩ画面により、ユーザは、タブレット２０３に表示された仮想視点画像を見ながらタッチパネルを用いて仮想視点２０４を操作し、任意の視点で生成した仮想視点画像を楽しむことが可能となる。なお、タブレット２０３は、画像処理サーバ２０２から受信した仮想視点画像をモニタに表示するとしたが、この例に限られない。タブレット２０３は、画像処理サーバ２０２から、仮想視点画像を生成するためのデータを受信し、タブレット２０３で仮想視点画像の生成及びプライバシーマスクの表示をしてもよい。即ち、情報処理装置１０３が画像処理装置１０２の一部の機能を担ってもよい。また、タブレット２０３は、ユーザによる仮想視点の操作量を画像処理サーバ２０２に送信するとしたが、タブレット２０３がその操作量に基づき仮想視点を示すパラメータを決定してもよい。そして、そのパラメータをタブレット２０３が画像処理サーバ２０２に送信してもよい。この場合、画像処理サーバ２０２は、受信した仮想視点を示すパラメータに基づき仮想視点画像を生成することになる。また、本実施形態では情報処理装置１０３としてタブレット２０３を用いる例を中心に説明を行うが、これに限らず、情報処理装置１０３は、仮想視点を制御するコントローラ又は仮想視点画像を表示するモニタを持つコンピュータ等でもよい。

＜画像処理装置のソフトウェア構成＞
図３は、画像処理装置１０２における、仮想視点を示すパラメータを用いてプライバシーマスクの表示または非表示の切り替えを行う処理に係る機能構成の一例を示す図である。画像処理装置１０２は、通信制御部３０１、仮想視点制御部３０２、秘匿化領域決定部３０３、仮想視点画像生成部３０４、及び秘匿化処理部３０５を有する。

通信制御部３０１は、通信部１１４を用いて、撮像システム１０１における複数のカメラが異なる方向からオブジェクトを撮像した画像データ、及び、情報処理装置１０３からの仮想視点の操作量などの情報を受信する。そして受信したデータ等を仮想視点制御部３０２及び仮想視点画像生成部３０４に出力する。また、通信制御部３０１は、仮想視点画像生成部３０４から仮想視点画像の画像データを受信し、受信した仮想視点画像の画像データを情報処理装置１０３に送信する。

仮想視点制御部３０２は、通信制御部３０１から出力された仮想視点の操作量から仮想視点を示すパラメータを決定する。仮想視点を示すパラメータは、位置、姿勢、またはズームの少なくとも何れか１つを指定するためのパラメータを含んでもよい。仮想視点を示すパラメータにより指定される仮想視点の位置は、３次元座標を示すものであってもよい。また、このパラメータにより指定される位置は、Ｘ軸、Ｙ軸、Ｚ軸の３軸の直交座標系の座標により示されてもよい。なお、原点は３次元空間内の任意の位置としてもよい。また、仮想視点を示すパラメータにより指定される仮想視点の姿勢は、パン、チルト、ロールの３軸とのなす角度により示されてもよい。仮想視点を示すパラメータにより指定される仮想視点のズームは、例えば、焦点距離の１軸により示される。仮想視点制御部３０２は、これらのパラメータを制御可能である。なお、仮想視点を示すパラメータは、他の要素を規定するパラメータを含んでもよいし、上述したパラメータの全てを含まなくてもよい。仮想視点制御部３０２は、決定した仮想視点を示すパラメータ（パラメータ群）を秘匿化領域決定部３０３及び仮想視点画像生成部３０４へ出力する。このパラメータを入力すると、秘匿化領域決定部３０３は、入力したパラメータから秘匿化処理を行う領域を決定し、仮想視点画像生成部３０４は、入力したパラメータにおける仮想視点画像を生成する。

秘匿化領域決定部３０３は、仮想視点制御部３０２から出力された仮想視点を示すパラメータに基づいて、プライバシーマスクを表示するか、または、非表示にするかを判定する。例えば、秘匿化領域決定部３０３は、プライバシーマスクを表示する領域を決定する。プライバシーマスクを表示する場合、秘匿化領域決定部３０３は、仮想視点画像にマスク処理を施す領域を仮想視点画像生成部３０４に出力する。プライバシーマスクの表示・非表示の判定方法は、具体例を用いて後述する。また、秘匿化領域決定部３０３は、予めＲＯＭ１１３に保存したマスク処理の判定条件のためのパラメータ、例えば後述する図８の閾値ＴｈをＲＯＭ１１３から取得してもよい。秘匿化領域決定部３０３は、プライバシーマスクの表示・非表示の判定に必要なデータ、例えばオブジェクトの位置情報または仮想視点画像を、仮想視点画像生成部３０４から取得してもよい。プライバシーマスクを表示するマスク領域の形は、長方形でも多角形でもよいし、オブジェクトに応じた任意の形状でもよい。さらに、プライバシーマスクの表示・非表示の判定は、顔検出アルゴリズム、被写体検出アルゴリズム、又は動き検出アルゴリズムの判定結果と連動してもよい。

仮想視点画像生成部３０４は、仮想視点を示すパラメータに基づき仮想視点画像を生成する。仮想視点画像の生成は、仮想視点制御部３０２から入力する仮想視点を示すパラメータ、及び、通信制御部３０１から入力する複数のオブジェクトの撮像画像に基づいて行われる。例えば、オブジェクトの３次元形状を生成したオブジェクトの３次元モデル（３Ｄモデル）、および、予めＲＯＭ１１３に記憶し取得した背景の３Ｄモデルを色付けすることにより仮想視点画像の生成が行われる。オブジェクトとは、例えば、カメラ群２０１の撮像範囲内に存在する人物または動体などである。オブジェクトは、背景に対応して前景と呼ばれることもある。なお、仮想視点画像の生成方法はこれに限らない。仮想視点画像生成部３０４は、生成したオブジェクトの３Ｄモデル、その位置情報、および生成した仮想視点画像などを秘匿化領域決定部３０３に送信してもよい。

また、仮想視点画像生成部３０４は、秘匿化領域決定部３０３から入力したマスク領域について、プライバシーマスクを表示するよう秘匿化処理部３０５に指示する。例えば、仮想視点画像生成部３０４は、生成した仮想視点画像と、入力したマスク領域とを秘匿化領域決定部３０３に出力する。マスク領域へのマスク処理は、秘匿化処理部３０５で行われる。なお、仮想視点画像生成部３０４は、仮想視点画像を生成する際に、このマスク領域内を色付けしてもよいし、しなくてもよい。色付けしない場合、例えば仮想視点画像の初期状態が黒で塗りつぶされていれば、マスク領域を黒で塗りつぶした（マスクした）状態、つまりプライバシーマスクが表示された状態となる。その場合、秘匿化処理部３０５がプライバシーマスクの表示を行う必要はない。つまり、秘匿化処理の内容によっては、仮想視点画像生成部３０４で秘匿化処理が行われてもよい。

また、仮想視点画像生成部３０４は、仮想視点制御部３０２から入力した仮想視点を示すパラメータを秘匿化処理部３０５に送信してもよい。仮想視点画像生成部３０４は、生成した仮想視点画像（秘匿化処理部３０５によって秘匿化処理がされた場合には、秘匿化処理後の画像）を通信制御部３０１に送信する。

秘匿化処理部３０５は、仮想視点画像生成部３０４から入力したマスク領域にプライバシーマスクを表示する処理、つまりマスク処理を行う。マスク処理は、マスク領域を黒又は他の色で塗りつぶすことで元の画像から不鮮明な画像にする処理としてもよい。また、マスク処理は、モザイク処理などのように元の画像自体を不鮮明にする処理をしてもよいし、元の画像とは異なる画像を張り付けることで元の画像を不鮮明にする処理としてもよい。

図４は、仮想視点の状態に応じて、プライバシーマスクの表示または非表示を切り替えの一例を示す図である。以下、具体的な例を用いてプライバシーマスクの表示・非表示の判定方法を説明する。図４では、ユーザがタブレットを用いてサッカーの試合の仮想視点画像を観る場合における適用例を説明する。

図４（ａ）においてユーザ４０１およびユーザ４０２は、ともにタブレット上に仮想視点画像を表示しつつ、タッチパネルを操作し仮想視点の移動方向および移動量等を指示している。図４（ａ）においてユーザ４０１は、サッカーをするフィールド上の選手４０３を注視している。一方、ユーザ４０２は、サッカーを観戦する観客席の観客４０４を注視している。なお、ユーザ４０１のタブレットにも同じ観客４０４が表示されているものの、ユーザ４０１がフィールド上の選手４０３を注視していることから、観客４０４は、ユーザ４０２のタブレット上に比べて非常に小さく表示されている。このように、ユーザ４０１およびユーザ４０２が持つ両方のタブレットに観客４０４が表示されているが、観客を注視しているユーザ４０２のタブレットに表示する仮想視点画像のみに、プライバシーマスクを表示することが期待される。そこで、画像処理装置１０２は、仮想視点を示すパラメータに基づいて、観客を注視しているか否かを判定する。図４（ａ）の例では、ユーザ４０２の持つタブレットが、観客を注視していると判定される。この結果、図４（ｂ）に示すうように、ユーザ４０２の持つタブレットに表示された観客４０４のみに、プライバシーマスクを表示する処理が行われる。なお、画像処理装置１０２は、仮想視点を示すパラメータに基づいて、ユーザ４０２が観客を注視するのを止めたと判定した場合、プライバシーマスクを非表示にする。

このような処理を行うことで、プライバシーマスクの表示と非表示とを切り替えることが可能となる。このため、仮想視点画像に映る観客にプライバシーマスクを常に表示する場合と比べ、仮想視点画像の臨場感の低減を抑えることが可能となる。なお、本実施形態では、プライバシーマスクを適用するオブジェクト（被写体）として観客を例に説明いているが、観客に限らず、スタッフまたは控えの選手などをプライバシー保護対象としてもよい。また、選手４０３であっても、注視の方法が、一般的に想定される方法と異なる場合、選手４０３にもプライバシーマスクを表示してもよい。

＜プライバシーマスクの表示・非表示の判定方法の説明＞
次に、本実施形態においてユーザが観客を注視した場合、仮想視点を示すパラメータに基づいてプライバシーマスクの表示または非表示の切り替えを行う方法の例を２通り説明する。ただし、切り替えの方法はここで説明する２通りの方法に限らない。

図５は、第１の方法を説明する図である。第１の方法は、オブジェクトの解像度に応じてプライバシーマスクの表示または非表示を切り替える方法である。図５を用いて仮想視点から見た観客の解像度（観客の大きさ）に応じて、プライバシーマスクの表示と非表示とを切り替える方法を説明する。図５（ａ）、図５（ｂ）、図５（ｃ）はそれぞれ、仮想視点から見た同一の観客５０１を、解像度を変えて表示したイメージ図である。観客５０１の解像度は、仮想視点が、図５（ａ）から図５（ｂ）のように観客５０１に近づくにつれ上がっていく。しかし、観客５０１がある解像度、つまり所定の閾値以上になったときに、図５（ｃ）に示すように、観客５０１の表情を識別できなくなるようプライバシーマスクが表示される。解像度は、観客５０１の位置に基づき仮想視点から観客５０１までの距離を導出し、その距離と仮想視点における焦点距離との関係から観客１ピクセル当たりの大きさにより導出される。なお、選手と観客との判別は、オブジェクトの位置に基づき行うことができる。オブジェクトの位置がフィールド内であれば選手と判別し、フィールド外であれば観客と判別する。なお、観客の解像度（観客の大きさ）によるプライバシーマスクの表示と非表示との切り替えは、この方法に限らず、顔検出アルゴリズムまたは被写体検出アルゴリズム等の判定結果に基づき行われてもよい。そして、顔又はオブジェクトと検出された領域の面積が、仮想視点画像に占める所定の割合以上になった場合にプライバシーマスクの表示を行ってもよい。このように、第１の方法は、ある単一フレーム中で得られる情報に基づいて判定が行われる例である。

図６は、第２の方法を説明する図である。第２の方法は、オブジェクトが観察されている時間に応じてプライバシーマスクの表示または非表示を切り替える方法である。図６を用いて、仮想視点から見た画像が、観客をある一定時間以上表示する場合に、プライバシーマスクの表示と非表示を切り替える方法を説明する。図６（ａ）、図６（ｂ）、図６（ｃ）はそれぞれ、仮想視点から見た同一の観客６０１を、時間が経過しながら表示し続けている様子を示したイメージ図である。図６（ａ）のある時刻から少し経過した図６（ｂ）の時刻までは、観客６０１はプライバシーマスクが非表示である。一方、観客６０１を映した時間がある一定時間以上になったときに、図６（ｃ）に示すように観客６０１にはプライバシーマスクが表示される。このように、第２の方法は、第１の方法がある単一フレームにおいてプライバシーマスクを表示するか否かを判定するのとは異なり、あるフレームより過去の複数フレームにおいて観客を映したか否かの状態に基づき判定が行われる。即ち、第２の方法は、時間的に連続する複数のフレームから得られる情報に基づいて判定が行われる例である。仮想視点から見た画像が観客を映しているか否かの判定は、選手を映さず観客のみ映しているかに基づいてもよいし、顔検出アルゴリズムまたは人物追跡アルゴリズム等を用いて、ある観客が映された時間に基づいてもよい。

ここでは、プライバシーマスクの表示または非表示の切り替えを行う２通りの方法を説明したが、これに限られない。例えば、仮想視点の動く速度または仮想視点の移動量などに基づいてもよい。仮想視点の動く速度が所定の速度より遅かったり、仮想視点の移動量が所定の閾値よりも少なかったりする場合には、同様にプライバシーの保護の強化が求められるからである。このように、プライバシーマスクの表示また非表示の判定方法は、仮想視点を示すパラメータに基づく方法であればよい。また、本実施形態では、ある一つの判定基準によりプライバシーマスクの切り替えを行っているが、複数の判定方法の結果に基づきプライバシーマスクの表示を行ってもよい。つまり、仮想カメラが観客を高解像度に映し、かつ仮想カメラがゆっくり動く、もしくは止まっている状態だと判定された場合にプライバシーマスクを表示してもよい。

＜プライバシーマスクの表示・非表示の制御の説明＞
図７は、本実施形態に係る画像処理の一例を示すフローチャートである。図７では、プライバシーマスクの表示または非表示の切り替えを制御する処理の流れを示している。図７に示すフローは、画像処理装置１０２におけるＲＯＭ１１３に格納された制御プログラムがＲＡＭ１１２に読み出され、ＣＰＵ１１１がこれを実行することによって実現される。あるいはまた、図７におけるステップの一部または全部の機能をＡＳＩＣまたは電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味する。図７の処理は、情報処理装置１０３からの仮想視点の操作量と撮像システム１０１からの複数カメラの撮像画像とを画像処理装置１０２が受信し、通信制御部３０１が仮想視点制御部３０２へ受信情報の出力をトリガとして開始される。

Ｓ７０１では、仮想視点制御部３０２が、通信制御部３０１からの入力値に基づき、仮想視点を示すパラメータを生成する。生成されたパラメータは、秘匿化領域決定部３０３と仮想視点画像生成部３０４とに出力される。

Ｓ７０２では、仮想視点画像生成部３０４が、仮想視点制御部３０２から入力した仮想視点を示すパラメータと、通信制御部３０１から入力した撮像データとに基づいて、仮想視点画像を生成する。仮想視点画像を生成する際には、主な被写体（オブジェクト）である前景を背景部分から切り離してモデル化した上でレンダリングする処理が行われる。前景をモデル化する際には、複数のカメラから見たときの前景のシルエットに相当する前景マスクの情報と前景のテクスチャの情報（例えば前景の各画素のＲ、Ｇ、Ｂの色情報）とを用いて行われる。前景のモデル化は、複数視点の前景マスクおよび前景テクスチャを用いて、撮影シーン内に存在する各オブジェクトの３次元形状推定処理を実行することで行われる。推定手法としては、オブジェクトの輪郭情報を用いるＶｉｓｕａｌ－ｈｕｌｌ手法、または三角測量を用いたＭｕｌｔｉ－ｖｉｅｗ ｓｔｅｒｅｏ手法など公知の手法を適用すればよい。これにより、オブジェクトの３次元形状を表すデータ（例えば、ポリゴンデータまたはボクセルデータ）が生成される。そして、仮想視点画像生成部３０４は、仮想視点を示すパラメータに従って、仮想視点画像を生成する。仮想視点画像は、形状推定処理で得られたオブジェクトの３次元形状データを用いて、仮想視点から見た画像をコンピュータグラフィックスの技術を用いることで生成することができる。この生成処理には公知の技術を適宜適用すればよい。

Ｓ７０３では、秘匿化領域決定部３０３が、仮想視点制御部３０２から入力した仮想視点を示すパラメータに基づいて、プライバシーマスクを表示するか否かを判定する。そして、プライバシーマスクを表示する場合は、その表示領域を仮想視点画像生成部３０４に出力する。Ｓ７０３の処理の詳細は、後述する。

Ｓ７０４では、仮想視点画像生成部３０４は、マスクが必要な領域があるかを判定する。即ち、仮想視点画像生成部３０４は、Ｓ７０３における判定結果に従って処理の切り分けを行う。具体的には、Ｓ７０３においてプライバシーマスクを表示するとの判定であった場合にはＳ７０５に進み、非表示との判定であった場合には本フローを終了する。

Ｓ７０５では、秘匿化処理部３０５が、仮想視点画像とプライバシーマスクが必要な領域とを仮想視点画像生成部３０４から受け取り、仮想視点画像にプライバシーマスクを表示するマスク処理を行う。その後、秘匿化処理部３０５は、マスク処理後の仮想視点画像を仮想視点画像生成部３０４に出力し、本フローを終了する。本フローが終了した後、生成された仮想視点画像は、仮想視点画像生成部３０４から通信制御部３０１を介して情報処理装置１０３に送信される。

＜プライバシーマスクの表示・非表示の判定の制御の説明＞
図８は、図７のＳ７０３におけるプライバシーマスクの表示または非表示の判定処理の流れを示すフローチャートの一例である。図８の処理は、秘匿化領域決定部３０３によって行われる。ここでは、プライバシーマスクの表示・非表示の判定は、図５を用いて説明した、仮想視点から見た仮想視点画像における観客の解像度に基づき行う。すなわち、仮想視点から見た仮想視点画像において観客が一定の解像度以上で生成されたときにプライバシーマスクが非表示から表示へと判定結果が変化する。図８のフローは、仮想視点制御部３０２からの仮想視点を示すパラメータの入力、及び、仮想視点画像生成部３０４から取得した観客の３Ｄモデル又は位置情報の入力をトリガとして、実行される。尚、観客と選手との区別は、オブジェクトの位置がフィールド内か否かにより判定されているものとする。

Ｓ８０１では、秘匿化領域決定部３０３は、仮想視点を示すパラメータ、及び、観客の３Ｄモデル又は位置情報に基づき、仮想視点と観客（客席）との距離Ｄを導出する。

Ｓ８０２では、秘匿化領域決定部３０３は、仮想視点の焦点距離ｆに基づき、仮想視点画像の各画素において１ピクセルに含まれる距離Ｄ離れた位置の大きさＳを導出する。

Ｓ８０３では、秘匿化領域決定部３０３は、予め決められた閾値Ｔｈに基づき切り分けを行う。具体的には、大きさＳが閾値Ｔｈ以下であれば、Ｓ８０４に進みプライバシーマスクを非表示と判定し、閾値Ｔｈより大きければ、Ｓ８０５に進みプライバシーマスクを表示と判定する。

Ｓ８０１からＳ８０５の処理を仮想視点画像の各画素で行い、プライバシーマスクを表示と判定された領域を決定する。そして秘匿化領域決定部３０３は、プライバシーマスクを表示する領域（秘匿化領域）を仮想視点画像生成部３０４に送る。

以上説明したように、本実施形態では、仮想視点を示すパラメータに基づきプライバシーマスクの所定の判定条件が満たされた場合に、仮想視点画像に映るオブジェクトにマスク処理が行われる。仮想視点を示すパラメータは、仮想視点画像を視聴するユーザのユーザ操作によって任意に変更可能である。このため、ユーザ操作がプライバシーの保護を適切に行えないような操作である場合には、プライバシーを保護するためにマスク処理が行われる。ユーザ操作がプライバシーの保護を適切に行える場合には、マスク処理は行われない。これにより、仮想視点画像の臨場感の低減を抑えつつ被写体（オブジェクト）のプライバシーを保護することが可能となる。

＜＜第２実施形態＞＞
第１実施形態では、仮想視点を示すパラメータに基づいて、プライバシーマスクの表示と非表示とを切り替える処理を説明した。本実施形態では、プライバシーマスクを表示する際の表示態様を第１実施形態と異ならせる例を説明する。本実施形態では、プライバシーマスクを表示すると判定される状況下において、ユーザによる仮想視点の操作に応じて、プライバシーマスクの表示方法が段階的に変化する例を説明する。なお、画像処理装置のハードウェア構成およびソフトウェア構成などの第１実施形態と共通する部分は、説明を省略ないしは簡略化し、以下ではプライバシーマスクの表示方法の決定制御を中心に説明を行うものとする。

図９は、本実施形態に係る、仮想視点を示すパラメータに応じて、プライバシーマスクの表示方法が段階的に変化する方法の一例を示す図である。図１０は、本実施形態に係る、プライバシーマスクの判定処理の流れを示すフローチャートである。

図９の観客９０１は、図５の観客５０１に対応している。図９は、図５と同様に、仮想視点が、図９（ａ）から図９（ｃ）に示すように、観客９０１に徐々に近づく例を示している。しかしながら、図５と異なり、図９（ｂ）に示すように、観客９０１の顔が判別できなくなるまでの途中の観客９０１においても、プライバシーマスクが表示される。図９（ｂ）では、観客の顔を薄くするマスク処理を行い、この結果、観客９０１の顔が判別しづらくなるように表示されている。そして、図９（ｃ）では、観客９０１の顔が判別できない程度までマスク処理が進められている。すなわち、本例では、仮想視点が観客に近づくに従い、プライバシーマスクの表示方法が徐々に変化している。

図１０に示すフローは、第１実施形態で説明した図７のＳ７０３における詳細処理を示す図であり、秘匿化領域決定部３０３により実行される。図１０のフローは、仮想視点制御部３０２からの仮想視点を示すパラメータの入力、及び、仮想視点画像生成部３０４から取得した観客の３Ｄモデル又は位置情報の入力をトリガとして、実行される。

Ｓ１００１～Ｓ１００４は、第１実施形態の図８のフローにおけるＳ８０１～Ｓ８０４とそれぞれ同等の処理であるので、説明を省略する。

本実施形態では、Ｓ１００３において大きさＳが閾値Ｔｈ以下でないと判定すると、Ｓ１００５に進む。Ｓ１００５では、秘匿化領域決定部３０３は、仮想視点と観客との距離Ｄ、仮想視点の焦点距離ｆにより導出された１ピクセルに含まれる距離Ｄ離れた位置の大きさＳ、及び、閾値Ｔｈの関係から、プライバシーマスクの表示方法を決定する。表示方法の決定は、例えば、プライバシーマスクでモザイク処理を行う場合を例に挙げて説明すると、大きさＳと閾値Ｔｈとの差分が小さい場合はモザイクレベルを低くし、差分が大きくなるにつれてモザイクレベルを高く設定していく。決定したモザイクレベルは仮想視点画像生成部３０４を介して秘匿化処理部３０５に伝えられ、秘匿化処理部３０５はそのレベルに応じてモザイク処理を行う。即ち、秘匿化処理部３０５は、大きさＳが閾値Ｔｈ以下でない場合において、大きさＳと閾値Ｔｈとの差が第一の値である場合、この差が第一の値よりも大きい第二の値の場合よりも、マスク処理の強度を弱くするような制御が行われる。

以上説明したように、本実施形態によれば、ユーザによる仮想視点の操作に応じて、プライバシーマスクの表示方法が段階的に変化する。このため、プライバシーマスクの表示と非表示との切り替えが目立つのを抑制することができる。仮に、仮想視点を操作している際に、プライバシーマスクの表示と非表示とが頻繁に切り替われば、プライバシーマスクに注意が向き、仮想視点画像の臨場感が低減させてしまう虞がある。本実施形態では、例えば、ユーザが仮想視点を操作し、悪意なく観客を注視するような仮想視点を指定した場合でも、プライバシーマスクが徐々に変化する。このため、プライバシーマスクの切り替えが際立つことを抑制することができる。

なお、本実施形態では、プライバシーマスクの表示方法の決定を仮想視点から見た画像の観客の解像度に基づき行ったが、これに限らない。第１実施形態で説明した各種の方法を用いてよい。例えば、図６で説明したように、仮想視点からの画像が観客をある一定時間以上映すような場合に、観客を映した時間によりプライバシーマスクの表示方法を変化させてもよい。以上のような処理によれば、ユーザが誤って被写体のプライバシーの保護を適切に行えないような仮想視点の操作を行っても、プライバシーマスクの表示と非表示との切り替えが目立たず、仮想視点画像の臨場感の低減を抑制することが可能となる。

＜＜その他の実施形態＞＞
上記の実施形態では、秘匿化領域決定部３０３、仮想視点画像生成部３０４、および秘匿化処理部３０５を別の構成として説明したが、これらの複数または全部が一体化した構成であってもよい。例えば、仮想視点画像を生成する段階で、秘匿化領域を決定することも可能であり、また、秘匿化領域に秘匿化処理を行うことも可能である。このため、仮想視点画像生成部３０４が、仮想視点画像を生成する際に、秘匿化領域に秘匿化処理を施した仮想視点画像を生成するように構成されていてもよい。

上記の実施形態では、仮想視点画像中におけるオブジェクト（被写体）が、本来注視すべき対象ではない観客か、本来注視すべき選手かの区別を、仮想視点画像生成部３０４から取得した観客の３Ｄモデル又は３次元空間上の位置情報を用いて行う例を説明した。しかしながら、この例に限られるものではなく、プライバシーを保護する対象であるかを任意の方法で判別してよい。例えば、撮像システム１０１で撮像されたシーンを示すシーン情報を画像処理装置１０２が取得してもよい。前述した実施形態の例では、シーン情報としてサッカーの試合であるという情報を取得する。また、画像処理装置１０２は、各シーン情報に応じたプライバシー保護対象を定義付けた情報も取得する。そして、これらの取得した情報を用いてプライバシー保護対象を判別してよい。即ち、シーン情報に基づき、サッカーの試合であると決定し、さらに定義情報を参照して、サッカーの試合に応じたプライバシー保護対象として観客を決定することができる。その後、画像処理装置１０２は、前述したように、３Ｄモデル又は３次元空間上の位置情報を用いてプライバシー保護対象を判別してもよい。

また、上記の例では、サッカーの試合のシーンを例に挙げて説明したが、ラグビーまたは野球などの他のスポーツの試合であってもよい。また、コンサートまたは演劇などのように観客を集めて行われるイベントのシーンであってもよい。

また、上述した実施形態では、プライバシーマスクを表示することで、オブジェクトを不鮮明にする例を説明したが、ユーザに注意を喚起するために、表示を禁止しているようなマークをプライバシーマスクとして表示してもよい。また、プライバシーマスクを表示する際に、ユーザに、仮想視点を移動させるように促す通知を併せて表示してもよい。

また、プライバシーの強化に用いられるだけでなく、その他の様々な目的にも用いられてもよい。例えば、野球などの競技において、選手への監督やコーチからの指示（サイン）は、チーム関係者以外には秘匿することが求められることが考えられる。そのような指示が仮想視点画像により鮮明に表示されることを抑制する目的で秘匿化処理が行われてもよい。また、秘匿化処理を用いれば、営業秘密や機密情報やそれに類する情報などが意図せず仮想視点画像に表示されることも抑制することもできる。

秘匿化処理は、ユーザからの要求に応じて行われてもよい。また、秘匿化処理を解除することも、ユーザからの要求に応じて行われてもよい。また、秘匿化処理として、仮想オブジェクトを秘匿化すべき領域に付加するようにしてもよい。仮想オブジェクトとしては、例えば、アバターや仮想広告を用いることができる。また、撮影の対象となるイベントに参加した観客が、自身に代えて、仮想オブジェクトを表示するように要求し、その要求により仮想オブジェクトが表示されてもよい。また、その観客により複数の候補から選択された仮想オブジェクトが表示されたり、その観客が提供する仮想オブジェクトが表示されたりしてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２・・・画像処理装置
３０２・・・仮想視点制御部
３０３・・・秘匿化領域決定部
３０４・・・仮想視点画像生成部
３０５・・・秘匿化処理部

Claims (17)

1. 仮想視点の位置及び前記仮想視点からの視線方向を少なくとも示す仮想視点情報を取得する取得手段と、
   前記仮想視点情報と、複数の視点で撮像されることにより取得された複数の画像とに基づく仮想視点画像であって、前記仮想視点情報に基づいて決定された特定の領域に対して秘匿化処理が行われた仮想視点画像を生成する生成手段と
   を有することを特徴とする画像処理装置。
2. 前記生成手段は、前記仮想視点情報が所定条件を満たす領域を、前記特定の領域として決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記仮想視点画像は、複数のフレームで構成された動画像であり、
   前記所定条件は、単一のフレームにおける前記仮想視点情報に基づく条件であることを特徴とする請求項２に記載の画像処理装置。
4. 前記所定条件は、前記単一のフレームにおけるオブジェクトの解像度が所定の閾値以上であることに対応することを特徴とする請求項３に記載の画像処理装置。
5. 前記仮想視点画像は、複数のフレームで構成された動画像であり、
   前記所定条件は、複数のフレームにおける前記仮想視点情報に基づく条件であることを特徴とする請求項２に記載の画像処理装置。
6. 前記所定条件は、前記複数のフレームにおけるオブジェクトが含まれる時間が所定の閾値以上であることに対応することを特徴とする請求項５に記載の画像処理装置。
7. 前記所定条件は、前記複数のフレームにおける仮想視点の移動量が所定の閾値よりも少ないことに対応することを特徴とする請求項５に記載の画像処理装置。
8. 前記所定条件は複数あり、
   前記生成手段は、前記仮想視点情報が前記複数の所定条件を全て満たす前記領域を前記特定の領域として決定することを特徴とする請求項２乃至７のいずれか一項に記載の画像処理装置。
9. 前記生成手段は、３次元空間上の位置に応じて前記秘匿化処理の対象となるオブジェクトを判別することを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
10. 前記生成手段は、前記特定の領域を不鮮明にする処理を行うことで、前記秘匿化処理を行うことを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
11. 前記生成手段は、前記特定の領域にマスク処理を行うことで前記秘匿化処理を行うことを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
12. 前記生成手段は、前記仮想視点情報が所定条件を満たす場合、段階的に前記マスク処理を行うことを特徴とする請求項１１に記載の画像処理装置。
13. 前記生成手段は、前記仮想視点情報と前記所定条件に含まれる閾値との差が第一の値である場合、前記仮想視点情報と前記所定条件に含まれる閾値との差が前記第一の値よりも大きい第二の値の場合よりも、前記マスク処理の強度を弱くすることを特徴とする請求項１２に記載の画像処理装置。
14. 前記取得手段は、ユーザによる仮想視点の操作量に応じて決定された前記仮想視点情報を外部の装置から受信し、前記受信した前記仮想視点情報を取得することを特徴とする請求項１乃至１３のいずれか一項に記載の画像処理装置。
15. 前記取得手段は、ユーザによる仮想視点の操作量を外部の装置から受信し、前記操作量に応じた仮想視点情報を決定し、前記決定した仮想視点情報を取得することを特徴とする請求項１乃至１４のいずれか一項に記載の画像処理装置。
16. 仮想視点の位置及び前記仮想視点からの視線方向を少なくとも示す仮想視点情報を取得する取得ステップと、
    前記仮想視点情報と、複数の視点で撮像されることにより取得された複数の画像とに基づく仮想視点画像であって、前記仮想視点情報に基づいて決定された特定の領域に対して秘匿化処理が行われた仮想視点画像を生成する生成ステップと
    を有することを特徴とする画像処理方法。
17. コンピュータを、請求項１乃至１５のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images