JP2023013538A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】適切な背景画像の生成に要する時間を短縮する装置及び方法を提供する。【解決手段】画像生成装置において、設定受信部は、前景オブジェクトの中から背景化する対象としてユーザが選択したオブジェクトを特定する情報を取得する。背景化対象決定部は、取得したオブジェクトを特定する情報と三次元形状データとに基づき、オブジェクトのモデルＩＤを特定する。背景化対象決定部は、三次元形状データに基づき、特定したモデルＩＤに対応する実カメラの撮像画像における前景ＩＤを特定し、特定した前景ＩＤに対応する前景データに含まれる座標情報とマスク情報を取得し、補正用前景マスクを生成し、補正用マスクを画像処理部の背景補正部へ送信する。背景補正部は、背景化対象決定部で生成した補正用前景マスクを使用して撮像画像をマスクし、補正画像を生成し、補正画像を背景生成部から取得した背景画像に重畳し、補正背景画像として出力する。【選択図】図４

Description

本開示は、複数の撮像画像を用いて仮想視点画像を生成するための技術に関する。

従来、異なる位置に設置された複数の撮像装置により複数の方向から同期して被写体（オブジェクト）を撮像し、その撮像により得られた複数の撮像画像を用いて仮想視点画像を生成する技術が提案されている。このように生成される仮想視点画像は、撮像装置の設置位置に限定されない仮想的な視点における見え方を表す画像である。

仮想視点画像は、複数の撮像画像の前景と背景を分離して、前景の３Ｄモデルを生成し、生成した前景の３Ｄモデルに対してそれぞれレンダリングを行うことで実現できる。このように仮想視点画像を生成する場合には前景と背景を分離する、すなわち前景を抽出する必要があるが、その方法の１つとして背景差分法がある。

背景差分法とは、動く物体が無い画像（背景画像）を予め生成しておき、前景を抽出する対象の撮像画像と背景画像との対応する画素における輝度差が閾値以上の領域を移動物体（前景）として抽出する手法である。この背景差分法を用いて撮像画像から前景を抽出するためには、背景画像に映る背景オブジェクトの位置が撮像画像に映る背景オブジェクトの位置と一致するように対応付けられていることが必要である。そのため、対象の撮像画像に映る背景オブジェクトの位置が変化すると、適切に前景を抽出することができなくなる。

この点、特許文献１では、一定期間静止している物体を検出した場合、その物体を表示している領域を背景画像に書き込む技術が開示されている。この特許文献１の技術を用いることで、背景オブジェクトが動いて前景オブジェクトとして扱われてしまったとしても、そのオブジェクトは所定の時間が経過すれば背景画像に書き込まれて前景として抽出されなくなる。

特開２０２０－０４６９６０号公報

しかし、特許文献１では、静止しているか否かを判定するために所定の時間が経過するのを待たなければならず、適切な背景画像を生成するのに時間を要するという課題がある。

そこで本開示は、画像処理装置であって、複数の撮像装置で撮像して得られた複数の撮像画像を取得する取得手段と、前記複数の撮像画像に基づき、撮像装置別の撮像画像に対応する複数の背景画像を生成する背景生成手段と、前記複数の撮像画像の各撮像画像と前記複数の背景画像のうち当該各撮像画像に対応する背景画像との差分を前景領域としてオブジェクト単位で抽出する前景抽出手段と、前記撮像装置別の撮像画像のそれぞれにおける、ユーザが指定したオブジェクトに対応する前景領域を決定する決定手段と、を備え、前記背景生成手段は、前記複数の背景画像のそれぞれを、対応する前記撮像装置別の撮像画像における前記決定された前景領域に基づき更新する、ことを特徴とする。

本開示によれば、適切な背景画像の生成に要する時間を短縮することができる。

本開示の一実施形態に係るシステム構成を示す図 複数の実カメラの配置例を示す図 本開示の一実施形態に係る画像生成装置のハードウェア構成を示す図 本開示の一実施形態に係る画像生成装置の機能構成を示す図 本開示の一実施形態に係る仮想視点映像の生成過程の例を示す図 前景データリストの例を示す図 モデルＩＤと実カメラ毎の撮像画像に含まれる前景ＩＤとの対応表を示す図 静止物移動時の仮想視点映像の例を示す図 前景データリストの例を示す図 モデルＩＤと実カメラ毎の撮像画像に含まれる前景ＩＤとの対応表を示す図 本開示の実施形態１に係る補正用前景マスクを生成するための処理フローを示す図 本開示の一実施形態に係る背景化するオブジェクトを選択するＵＩの例を示す図 本開示の一実施形態に係る補正用前景マスクの例を示す図 本開示の一実施形態に係る背景補正部の処理フローを示す図 本開示の一実施形態に係る背景補正部の処理を説明する図 本開示の一実施形態に係るベース背景利用時の仮想視点映像の例を示す図 本開示の実施形態２に係る補正用前景マスクを生成するための処理フローを示す図

本実施形態における情報処理システムについて説明する。本実施形態における情報処理システムは、例えば放送カメラ等、実際に撮像を行うための撮像装置（以降、実カメラという）の撮像映像（以降、実カメラ映像ともいう）と、仮想視点に対応する仮想視点映像とを切り替えて出力する機能を有する。仮想視点とは、ユーザにより指定される視点である。また、以下の説明においては、説明の便宜のため、仮想視点の位置に仮想的に配置されるカメラ（以降、仮想カメラという）を使用して説明を行う。すなわち、仮想視点の位置及び仮想視点からの視線方向は、それぞれ、仮想カメラの位置及び姿勢に対応する。また、仮想視点からの視界（視野）は、仮想カメラの画角に対応する。

また、本実施形態における仮想視点映像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する映像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点映像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点映像が動画である場合を中心に説明する。仮想視点映像は、仮想カメラにより撮像される映像であるといえる。

以下、図面を参照して、本開示の実施形態を説明する。

［実施形態１］
本実施形態では、複数の撮像装置で撮像して得られた複数の撮像画像を前景領域と背景領域とに分離し、少なくとも前景領域に対応する前景オブジェクトを表す仮想視点画像を生成した後、ユーザが仮想視点画像上で背景化したい前景オブジェクトを選択する。そして、選択した前景オブジェクトに対応する、撮像装置別の撮像画像について前景領域を特定し、特定した前景領域に基づき、撮像装置別の撮像画像ごとに用意された背景画像を更新する。更新された背景画像に基づき撮像画像の前景背景分離を行うことで、仮想視点画像も更新される。

図１は、本実施形態における仮想視点画像を生成する画像処理システム１０の構成の一例を示す。画像処理システム１０は、実カメラ１０１～１１０を有する実カメラ群１００と、実カメラ１０１～１１０のそれぞれと接続されたハブ２１０、ハブ２１０を介して実カメラ群１００と接続された仮想視点画像を生成する画像生成装置２２０を備える。さらに、画像生成装置２２０を操作するためのＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部２３０、画像生成装置２２０で生成された仮想視点画像を表示する画像表示装置２４０を有する。

なお、画像処理システム１０の構成は図１に示すものに限定されるものではない。実カメラ群１００に含まれる複数の実カメラ１０１～１１０は、画像生成装置２２０に直接接続されていても良いし、実カメラ同士がデイジーチェーンで接続されて、１つの実カメラだけが画像生成装置２２０に接続されていても良い。画像生成装置２２０は、複数の装置により構成されていてもよいし、画像生成装置２２０がＵＩ部２３０を内部に有していてもよい。画像処理システム１０に含まれる各装置は有線で接続されていてもよいし、無線で接続されていてもよい。

図２は、実カメラ群１００の実カメラ１０１～１１０の配置の一例を示している。実カメラ１０１～１１０は、撮像対象となる撮像領域２００を取り囲むように配置されており、仮想視点画像を生成するためにそれぞれ異なる位置から撮像して撮像画像を取得する。カメラ群１００に含まれる各実カメラ１０１～１１０は、例えばデジタルカメラであり、静止画像を撮像する撮像装置であっても、動画像を撮像する撮像装置であっても、静止画像と動画像の両方を撮像する撮像装置であっても良い。本実施形態では、画像という文言を、特に断りがない限り静止画及び動画を含むものとして説明する。なお、本実施形態では、撮像センサを有する撮像部と、光線を撮像センサに集めるレンズとを合わせて撮像装置又は実カメラと呼ぶ。画像処理システム１０は、実カメラ群１００で撮像して得られた複数の撮像画像を用いて撮像領域２００内の仮想視点画像を生成するものである。なお、実カメラ群１００に含まれる実カメラの台数は本実施形態で例示する１０台に限定されるものではなく、複数の実カメラが含まれていれば良い。また、実カメラ群１００は撮像領域２００を全方向から取り囲んでいなくても良い。

実カメラ群１００で撮像されて得られた撮像画像は、ハブ２１０を介して画像生成装置２２０へ送られる。画像生成装置２２０は、ＵＩ部２３０を介して仮想視点画像の生成処理に関する指示を受け付け、受け付けた指示において設定された仮想視点の位置と視線方向に従って仮想視点画像を生成する。ＵＩ部２３０は、マウスやキーボード、操作ボタン、タッチパネルなどの操作部を有し、ユーザによる操作を受け付ける。

画像生成装置２２０は、実カメラ１０１～１１０で撮像して得られた複数の撮像画像に基づき、少なくとも前景の３Ｄモデル（三次元形状データ）を生成し、設定された仮想視点の位置と視線方向に応じて三次元形状データに対しレンダリング処理を行う。このようにして画像生成装置２２０は、仮想視点における見えを表す仮想視点画像を生成する。複数の撮像画像から仮想視点画像を生成する処理には、Ｖｉｓｕａｌ Ｈｕｌｌなどの既知の方法を用いることができる。なお、仮想視点画像を生成するアルゴリズムはこれに限るものではなくても良い。

画像表示装置２４０は、画像生成装置２２０が生成した仮想視点画像を取得して表示する。

図３は、画像生成装置２２０のハードウェア構成の一例を示している。画像生成装置２２０は、ＣＰＵ２２０１、ＲＯＭ２２０２、ＲＡＭ２２０３、補助記憶装置２２０４、通信Ｉ／Ｆ２２０５、及びバス２２０６を有する。ＣＰＵ２２０１は、ＲＯＭ２２０２やＲＡＭ２２０３に格納されているコンピュータプログラムやデータを用いて画像生成装置２２０の全体を制御する。なお、画像生成装置２２０がＣＰＵ２２０１とは異なる１又は複数の専用の処理回路を有し、ＣＰＵ２２０１による処理の少なくとも一部を専用の処理回路が実行してもよい。専用の処理回路の例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、及びＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２２０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ２２０３は、補助記憶装置２２０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２２０５を介して外部から供給されるデータなどを一時的に記憶する。補助記憶装置２２０４は、例えばＳＳＤやＨＤＤ等で構成され、画像や音声などの種々のコンテンツデータを記憶する。

通信Ｉ／Ｆ２２０５は、実カメラ群１００などの外部の装置との通信に用いられる。例えば、画像生成装置２２０が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２２０５に接続される。画像生成装置２２０が外部の装置と無線通信する機能を有する場合、通信Ｉ／Ｆ２２０５はアンテナを備える。バス２２０６は、画像生成装置２２０の各部を繋いで情報を伝達する。なお、画像生成装置２２０がＵＩ部２３０を内部に有している場合には、図３に示す構成に加え、画像生成装置２２０は表示部や操作部を有する。

図４は、本開示の一実施形態に係る画像生成装置２２０の機能構成を示している。画像生成装置２２０は、撮像画像処理部３０１、三次元形状データ生成部３５０、仮想視点画像生成部３６０、設定受信部３７０、背景化対象決定部３８０を有する。

撮像画像処理部３０１は、実カメラ１０１から出力された撮像画像を受信し、背景差分法により前景領域と背景領域とに分離し、前景領域を抽出して出力する。撮像画像処理部３０１は実カメラ１０１～１１０のそれぞれに対応する複数の処理部を含み、各処理部は対応する実カメラから撮像画像を受信し、前景領域を抽出して出力する。撮像画像処理部３０１の各処理部は、画像受信部３１０、背景生成部３２０、背景補正部３３０、前景抽出部３４０を有する。

画像受信部３１０は、ハブ２１０を介して、実カメラ１０１～１１０のうちの１つから出力された撮像画像を受信し、背景生成部３２０、背景補正部３３０、前景抽出部３４０へ撮像画像を出力する。

背景生成部３２０は、画像受信部３１０から撮像画像を受信し、ユーザの指示などにより指定された撮像画像を背景画像として記憶する。記憶するタイミングは、ユーザの指示を受けた時でなくても良く、特に限定されない。背景生成部３２０は、記憶した背景画像を背景補正部３３０へ出力する。

背景補正部３３０は、後述する背景化対象決定部３８０から補正用前景マスクを取得し、画像受信部３１０から取得した撮像画像に対して補正用前景マスクを適用して補正画像を生成する。そして、背景生成部３２０から取得した背景画像に補正画像を重畳して補正背景画像を生成し、前景抽出部３４０へ出力する。補正画像が無い場合は、背景画像をそのまま前景抽出部３４０へ出力する。処理の詳細については後述する。

前景抽出部３４０は、画像受信部３１０から取得した撮像画像と、背景補正部３３０から取得した背景画像又は補正背景画像との差分を求め、撮像画像における差分値が所定の閾値以上と判定した画素からなる領域を前景領域として抽出する。そして、前景抽出部３４０は、オブジェクト単位で前景ＩＤ情報、座標情報、前景領域の輪郭を規定するマスク情報、及び前景領域のテクスチャ情報を含む前景データを生成して三次元形状データ生成部３５０へ出力する。前景データの詳細については後述する。撮像画像処理部３０１の各処理部から出力された実カメラ１０１～１１０に対応する前景データは、三次元形状データ生成部３５０に集約される。

三次元形状データ生成部３５０は、撮像画像処理部３０１の各処理部から取得した実カメラ１０１～１１０ごとの前景データに基づき、三次元形状データを生成する。三次元形状データを生成する手法は、一般的に使用されている視体積交差法などを用いる。視体積交差法とは、異なる実カメラで同時刻に撮像して得られた複数の撮像画像から生成された複数の前景データのマスク情報に基づき、三次元空間に形成した視体積の交差部分を求めることにより、三次元形状データを得る手法である。三次元形状データ生成部３５０は、生成した三次元形状データを仮想視点画像生成部３６０へ出力する。なお、この三次元形状データを生成する過程で、実カメラ別の撮像画像間で同一オブジェクトについての前景データ同士が関連付けられる。

仮想視点画像生成部３６０は、設定された仮想視点に基づき、三次元形状データ生成部３５０から取得した前景の三次元形状データ及び対応する前景データに含まれるテクスチャ情報を用いてレンダリング処理を行い、前景の仮想視点画像を生成する。このとき、背景の仮想視点画像を同様に生成し、前景の仮想視点画像と背景の仮想視点画像とを組み合わせてもよい。なお、前景及び背景を含む仮想視点画像は、前景と背景とを別々にレンダリングしたものを組み合わせて生成してもよいし、前景と背景とを同時にレンダリングして生成してもよい。

設定受信部３７０は、ＵＩ部２３０からユーザ指示情報を取得する。ユーザ指示情報には、背景記憶指示情報、背景補正制御指示情報、背景化オブジェクト選択指示情報がある。

背景記憶指示情報は、背景画像の記憶を指示する情報で、背景生成部３２０へ出力される。背景生成部３２０は、受信したタイミングで画像受信部３１０から取得した撮像画像を背景画像として記憶し、背景補正部３３０に出力する。

背景補正制御指示情報は、記憶された背景画像を補正する機能のオン・オフを制御するための情報で、背景補正部３３０へ出力される。背景補正部３３０は、受信したタイミングで背景生成部３２０に記憶された背景画像の補正処理の有効・無効を切り替える。補正オフ情報を受信した場合は、補正処理を無効化する。つまり、背景生成部３２０から出力された背景画像を受信し、そのまま前景抽出部３４０へ出力する。

背景化オブジェクト選択指示情報は、仮想視点画像生成部３６０にて生成された仮想視点画像において背景としたい前景オブジェクトを特定する情報で、三次元形状データ生成部３５０へ出力される。

背景化対象決定部３８０は、設定受信部３７０から背景化オブジェクト情報を取得する。背景化オブジェクト情報とは、仮想視点画像上に表示されている前景オブジェクトのうち背景化したいオブジェクトに関する情報である。背景化対象決定部３８０は、取得した背景化オブジェクト情報が示す前景オブジェクトに対応する三次元形状データを三次元形状データ生成部３５０から取得した三次元形状データから検出する。そして背景化対象決定部３８０は、その検出した三次元形状データに関連付けられた実カメラ毎の前景データを特定する。この背景化したいオブジェクトに対応する前景データを特定する処理の詳細は後述する。背景化対象決定部３８０は、取得した実カメラ毎の前景データに基づき、実カメラ毎の背景化オブジェクトマスクを生成し、撮像画像処理部３０１の対応する各処理部の背景補正部３３０へ出力する。処理の詳細は後述する。

図５（ａ）～（ｃ）は、正常時の撮像画像、背景画像、仮想視点画像の表示例を示している。正常時とは、所望のオブジェクトが前景として抽出された仮想視点画像が生成されているときを意味している。図５（ａ）は、実カメラ１０１が撮像領域２００の一部を撮像して得られた撮像画像４００を示している。撮像画像４００には、円柱４０１とボックス４０２とケーブル４０３が映っている。図５（ｂ）は、実カメラ１０１が撮像領域２００を撮像して得られた撮像画像のうち、円柱４１１とケーブル４１３が映り、ボックス４０２が映っていない撮像画像である背景画像４１０を示している。なお、背景画像４１０は、複数の撮像画像からボックス４０２が映っていない領域の画像を合成して生成したものでもよい。このような図５（ａ）、（ｂ）の画像に対して背景差分法を用いて処理すると、ボックス４０２が前景として抽出される。図５（ｃ）は、全ての実カメラで同時刻に撮像領域２００を撮像して得られた撮像画像から抽出された前景データに基づき生成された仮想視点映像４２０を示している。オブジェクト４２１は、図５（ａ）に示すボックス４０２に対応するオブジェクトである。

図６は、前景抽出部３４０で抽出した前景データの一例を示しており、図５（ａ）、（ｂ）に示す撮像画像４００と背景画像４１０に対して背景差分法を用いて抽出した前景領域に基づき生成された前景データを表している。前景データは、各撮像画像のオブジェクト単位の前景領域を識別するための前景ＩＤ情報と、前景領域が撮像画像のどこに映っているかを表す座標情報、前景領域の輪郭を規定するマスク情報、オブジェクトの表面の色味や質感を表すテクスチャ情報で構成される。

図７は、三次元形状データ生成部３５０で生成したオブジェクト単位の三次元形状データを識別するモデルＩＤと、オブジェクト単位の三次元形状データを生成するために用いた実カメラ毎の撮像画像における前景ＩＤとの対応表である。この対応表は、連続する空間を構成するオブジェクト単位の三次元形状を識別するためのモデルＩＤ情報と、モデルＩＤ情報で特定される三次元形状データの生成に利用した実カメラ毎の撮像画像から生成された前景データにおける前景ＩＤ情報とを対応付ける。モデルＩＤ１は、図５（ｃ）のオブジェクト４２１を表しており、各実カメラの撮像画像に映っている図５（ａ）のボックス４０２に対応するオブジェクトを前景として抽出して三次元形状データを生成したことを示している。

図８（ａ）～（ｃ）は、異常時の撮像画像、背景画像、仮想視点画像の表示例を示している。異常時とは、前景としたくないオブジェクトが前景としてレンダリングされた仮想視点画像が生成されているときを意味している。本例では、図５に示すケーブル４０３が移動したことにより仮想視点画像上にも移動したケーブルに対応するオブジェクトが前景として映った場合を示す。図８（ａ）は、実カメラ１０１が撮像領域２００の一部を撮像して得られた撮像画像５００を示している。撮像画像５００には、図５（ａ）と同様に円柱５０１とボックス５０２とケーブル５０３が映っているが、ケーブル５０３は図５（ａ）に示す正常時の撮像画像４００に映るケーブル４０３の位置から移動している。図８（ｂ）は、実カメラ１０１が撮像領域２００の一部を撮像して得られた撮像画像のうち、円柱５１１とケーブル５１３が映り、ボックス５０２に対応するものが映っていない撮像画像である背景画像５１０を示しており、図５（ｂ）と同じである。なお、背景画像５１０は、図５（ｂ）と同様に複数の撮像画像のうちボックス５０２が映っていない領域を合成して生成されたものでもよい。このような、図８（ａ）、（ｂ）の画像に対して背景差分法を用いて処理すると、ボックス５０２とケーブル５０３、さらに背景画像５１０上のケーブルが存在する領域に対応する撮像画像５００上の領域が前景として抽出される。図８（ｃ）は、全ての実カメラで同時刻に撮像領域２００を撮像して得られた撮像画像から生成された前景データに基づき生成された仮想視点画像５２０を示している。オブジェクト５２１は、撮像画像５００に映るボックス５０２に対応するオブジェクトである。オブジェクト５２２は、撮像画像５００に映るケーブル５０３に対応するオブジェクト、オブジェクト５２３は、背景画像５１０に映るケーブル５０３が位置する撮像画像５００上の領域に対応するオブジェクトである。

図９は、前景抽出部３４０で生成した前景データの一例を示しており、実カメラ１０１から得られた図８（ａ）に示す撮像画像５００と図８（ｂ）に示す背景画像５１０に対して背景差分法を用いて抽出した前景領域に基づき生成した前景データを表している。撮像画像５００に映るケーブル５０３の位置が背景画像５１０に映るケーブル５１３に対して動いてしまったことにより、前景ＩＤ１の前景領域以外に前景ＩＤ２と前景ＩＤ３の２つの余計な前景領域が抽出されている。

図１０は、三次元形状データ生成部３５０で生成したオブジェクト単位の三次元形状データを識別するモデルＩＤと、オブジェクト単位の三次元形状データを生成するために用いた実カメラ毎の撮像画像における前景ＩＤとの対応表である。なお、このモデルＩＤと実カメラ毎の撮像画像における前景ＩＤとの対応を示す情報は三次元形状データに含まれる。モデルＩＤ１、モデルＩＤ２、モデルＩＤ３は、図８（ｃ）の仮想視点画像５２０に映るオブジェクト５２１、５２２、５２３に対応している。三次元形状データのモデルＩＤを確認することで、その三次元形状データを生成するのに利用した実カメラ毎の撮像画像における前景ＩＤを特定することが可能である。仮想視点画像５２０を、正常時の仮想視点画像４２０のようにボックス５０２に対応するオブジェクト５２１のみを前景として表示させるためには、モデルＩＤ２とモデルＩＤ３を背景化する必要がある。

図１１は、背景画像を補正するための補正用前景マスクを生成するための処理フローを示している。

まずＳ６０１では、設定受信部３７０は、ＵＩ部２３０から画像表示装置２４０に表示されている仮想視点画像上の前景オブジェクトの中から背景化する対象としてユーザが選択したオブジェクトを特定する情報を取得する。

Ｓ６０２では、背景化対象決定部３８０は、Ｓ６０１で取得した情報と三次元形状データとに基づき、選択されたオブジェクトのモデルＩＤを特定する。

Ｓ６０３では、背景化対象決定部３８０は、実カメラを識別するための識別子Ｎを初期化する。本実施形態では、Ｎの初期値を１０１とし、実カメラ１０１で撮像して得られた撮像画像から処理を行う。

Ｓ６０４では、背景化対象決定部３８０は、三次元形状データに基づき、Ｓ６０２で特定したモデルＩＤに対応する実カメラＮの撮像画像における前景ＩＤを特定する。なお、実カメラの位置・姿勢によっては、特定したモデルＩＤに対応する前景ＩＤがない場合もある。このような場合、撮像タイミングが異なる別の撮像画像、又は撮像画像が動画であれば別のフレームから、特定されたモデルＩＤに対応する前景ＩＤがあるものを処理対象とて用いるようにすればよい。

Ｓ６０５では、背景化対象決定部３８０は、Ｓ６０４で特定した前景ＩＤに対応する前景データに含まれる座標情報とマスク情報を取得し、補正用前景マスクを生成する。

Ｓ６０６では、背景化対象決定部３８０は、Ｓ６０５で生成した補正用マスクを画像処理部３０１の実カメラＮに対応する処理部の背景補正部３３０へ送信する。

Ｓ６０７では、背景化対象決定部３８０は、処理していない撮像画像が有るか否かを判定し、有る場合（Ｓ６０７ Ｙｅｓ）はＳ６０８を介してＳ６０４に戻り、全撮像画像の処理が終了した場合（Ｓ６０４ Ｎｏ）は本処理を終了する。

Ｓ６０８では、背景化対象決定部３８０は、実カメラの識別子ＮをカウントアップしてＳ６０４に戻る。

図１２（ａ）、（ｂ）は、仮想視点画像上で背景化する前景オブジェクトを選択する際、Ｓ６０１で画像表示装置２４０に表示される表示例である。画像７０１は、画像表示装置２４０の出力映像である。ポインタ７０２は、背景化したい前景オブジェクトを選択するためのポインタであり、ＵＩ部２３０により制御される。図１２（ａ）は前景オブジェクト未選択時を示しており、図１２（ｂ）は前景オブジェクト選択時を示している。ポインタ７０２を背景化したい前景オブジェクト上に移動し、ＵＩ部２３０にて決定操作を実行すると、オブジェクト７０３のように前景オブジェクトの輪郭を強調し、選択中であることを表す表示に変化する。なお、ポインタ７０２の形状は、前景オブジェクトを選択できるものであれば良く、特に限定されない。また、前景オブジェクト選択中の表示は、前景オブジェクトの輪郭強調である必要はなく、選択中であることを示す表示であれば他の表示でも良く、特定の表示に限定されない。また、仮想視点画像上で前景オブジェクトを指定するのではなく、前景オブジェクトをリスト表示して、リストから選択するようにしてもよい。更には、画像表示装置２４０に仮想視点画像やリストを表示せずとも前景オブジェクトを選択できれば他の構成でも良い。最後に、前景オブジェクト選択処理の終了操作により、選択中の前景オブジェクトを背景化オブジェクトとして決定する。

図１３は、Ｓ６０６で生成される補正用前景マスクの一例を示している。図１３は、背景化オブジェクトとして図１０のモデルＩＤ２とモデルＩＤ３を選択した時の実カメラ１０１で撮像して得られた撮像画像に適用する補正用前景マスクを表している。Ｓ６０４で、三次元形状データからモデルＩＤ２とモデルＩＤ３に対応する前景ＩＤ２と前景ＩＤ３の前景データに含まれる座標情報及びマスク情報を取得する。そして、前景ＩＤ２のマスク情報に基づくマスク８０２と前景ＩＤ３のマスク情報に基づくマスク８０３をそれぞれの座標情報の示す位置に配置することで１つの補正用前景マスク８０１を生成する。

なお、背景化オブジェクトと決定し、前景として表示されなくなったオブジェクトを再度前景として表示する機能を有しても良い。例えば、背景化オブジェクトのモデルＩＤのリストを保持している場合、そのリストにあるモデルＩＤのオブジェクトを仮想視点映像上に選択中の状態で再表示し、選択を解除されたオブジェクトを背景化オブジェクトのリストから削除する。背景化オブジェクトのリストから削除したモデルＩＤと対応付けられた補正用前景マスクや補正用前景マスクを用いて生成された背景画像を補正するための補正画像についても削除する。これにより背景画像にはリストから削除したモデルＩＤに対応するオブジェクトがなくなるので、再表示するように決定したオブジェクトが前景として抽出されるようになり、仮想視点映像上に前景として再度表示されるようになる。

図１４は、背景補正部３３０の処理フローを示している。まず、背景補正部３３０は、背景補正機能の状態を確認する。状態の変更は、前述したＵＩ部２３０から出力される背景補正制御指示情報に基づいて実施する。

Ｓ９０１では、背景補正部３３０は、背景補正機能がオフか否かを判定する。背景補正機能がオフの場合（Ｓ９０１ Ｙｅｓ）、Ｓ９０２に移行し、オンの場合（Ｓ９０１ Ｎｏ）、Ｓ９０４に移行する。

Ｓ９０２では、背景補正部３３０は、背景画像に対して既に補正画像を重畳した補正背景画像を使用しているか否かを判定する。補正背景画像を使用している場合（Ｓ９０２ Ｙｅｓ）、Ｓ９０３に移行し、補正背景画像を使用していない場合（Ｓ９０２ Ｎｏ）、処理を終了する。

Ｓ９０３では、背景補正部３３０は、補正背景画像に含まれる補正画像の使用を停止する。

このように、背景補正機能オフの場合（Ｓ９０１ Ｙｅｓ）は、補正されていない更新前の背景画像が前景抽出部３４０へ出力される。

Ｓ９０４では、背景補正部３３０は、補正背景画像にベース背景画像を利用するかを確認する。ベース背景画像とは、撮像領域２００内に前景となり得るオブジェクトが何も映っていない画像である。ベース背景画像を利用するか否かは、ユーザからのＵＩ部２３０を介したユーザ入力に基づき決定する。ベース背景画像を利用しない場合（Ｓ９０４ Ｙｅｓ）、Ｓ９０５に移行し、ベース背景画像を利用する場合（Ｓ９０４ Ｎｏ）、Ｓ９０７に移行する。

Ｓ９０５では、背景補正部３３０は、背景化対象決定部３８０で生成した補正用前景マスクを使用して撮像画像をマスクし、補正画像を生成する。

Ｓ９０６では、背景補正部３３０は、生成した補正画像を背景生成部３２０から取得した背景画像に重畳し、補正背景画像として前景抽出部３４０へ出力する。図１５は、補正背景画像の生成過程を説明する図である。図１５（ａ）は、実カメラ１０１の図８（ａ）の撮像画像５００と背景化対象決定部３８０で生成した図１３の補正用前景マスク８０１とを示している。図１５（ｂ）は、撮像画像５００と補正用前景マスク８０１から生成された補正画像１５００と図８（ｂ）の背景画像５１０とを示している。補正画像１５００は、撮像画像５００に対して補正用前景マスク８０１でマスクすることにより生成される。図１５（ｃ）は、補正画像１５００を図８（ｂ）の背景画像に重畳することで生成された補正背景画像１５１０を示している。この補正背景画像１５１０は、補正前の背景画像５１０に対し、ケーブルが移動した状態の補正された背景画像となっている。前景抽出部３４０がこの補正背景画像１５１０に基づく背景差分法で前景抽出を行うことにより、ケーブルを前景として抽出することがなくなり、ケーブルが背景化された仮想視点画像を出力することができる。

Ｓ９０７では、背景補正部３３０は、ベース背景画像を補正背景画像として前景抽出部３４０へ出力する。図１６は、ベース背景画像を補正背景画像として使用したときの状況を説明する図である。図１６（ａ）は、実カメラ１０１で撮像して得られた撮像画像１６００を示している。図１６（ｂ）は、実カメラ１０１で撮像して得られた撮像画像用のベース背景画像１６１０を示している。ベース背景画像１６１０は、撮像領域２００に前景オブジェクトが何も無い状態で実カメラ１０１によって撮像して得られた撮像画像、又は複数の撮像画像から前景オブジェクトが無い領域を集めて合成して得られた画像である。図１６（ｃ）は、実カメラ毎の撮像画像に対してベース背景画像を使用して前景抽出し、得られた前景領域に基づき生成した仮想視点画像を示している。

ベース背景画像は、撮像領域２００内に置いているオブジェクトを一旦全て仮想視点画像上に表示させる場合などに有効である。また、背景画像に最初から映っているオブジェクトはその後前景として抽出できないのに対し、一度前景とされたオブジェクトは背景にも変更可能であるので、背景画像の自由度を高めたい場合にもベース背景画像は有効である。ベース背景画像から所望の背景画像を生成するには、仮想視点画像上に前景として表示されたオブジェクトから、背景化したいオブジェクトをユーザに選択させ、選択されたオブジェクトに対応する補正画像をベース背景画像１６１０に重畳すればよい。

背景補正部３３０は、生成した補正背景画像を前景抽出部３４０へ出力することで、背景画像を更新することができる。

なお、仮想視点画像の生成には、前景抽出や三次元形状データ生成など高負荷な処理が必要なため時間がかかる。背景画像の補正を行った後の仮想視点画像も、仮想視点画像が表示される時刻より前の時刻の撮像画像に基づき生成される。そのため、撮像領域内のオブジェクトが動いている状況で、ユーザが背景化するオブジェクトを選択した場合、選択した時刻の撮像画像を用いると、既にその位置にはオブジェクトが存在しないこともある。そこで、背景補正部３３０は、画像受信部３１０から取得した撮像画像を一定期間分保持する機能を有しても良い。例えば、表示されている仮想視点画像で使用された撮像画像まで保持するようにしてもよい。

更に、背景補正制御指示情報にユーザがオブジェクトを選択した時点のタイムコードを含めるようにし、背景補正部３３０がそのタイムコードに対応する撮像画像を用いて補正背景画像を生成する機能を有しても良い。

また、三次元形状データ生成部３５０も同様に、前景抽出部３４０から取得した前景データを一定期間分保持する機能を有しても良い。更に、ユーザがオブジェクトを選択した時点のタイムコードに対応する前景データを用いて背景化オブジェクトを特定し、その背景化オブジェクトに対応する座標情報とマスク情報を背景化対象決定部３８０へ出力する機能を有しても良い。

以上により、撮像画像から背景差分法を用いて前景抽出する際、仮想視点画像上で前景として表示させたくないオブジェクトを選択し、実カメラ毎の背景画像を補正することで、所望のオブジェクトのみを前景として仮想視点画像上に表示させることができる。

［実施形態２］
本実施形態では、仮想視点画像上で指定した位置に対応する各撮像画像における前景ＩＤを、仮想視点画像上で指定した位置から三次元座標を求め、求めた三次元座標を撮像画像上の二次元座標に変換し、変換した二次元座標に基づいて求める。

図１７は、仮想視点画像に前景としては不要なオブジェクトを背景化するための画像生成装置２２０の処理フローを示している。なお、ここでは実施形態１において図１１で示した処理フローと同等の処理を行うステップについては、同一の符号を付け、詳細な説明については省略する。

まずＳ６０１で、設定受信部３７０は、ユーザがＵＩ部２３０を用いて画像表示装置２４０に表示されている仮想視点画像における前景オブジェクトの中から選択した、背景化したいオブジェクトを特定するための情報を取得する。本実施形態では、オブジェクトを特定する情報として、仮想視点画像上の座標を取得する。

Ｓ１００１で、ユーザがオブジェクトを選択した際に表示されていた仮想視点画像の仮想視点の座標情報及び選択されたオブジェクトの仮想視点画像上での座標情報に基づき、それらの座標を結ぶ直線の三次元空間上の座標を算出する。その直線上に位置するオブジェクトのうち、最も仮想視点に近いオブジェクトを選択されたオブジェクトと特定する。

Ｓ６０３では、背景化対象決定部３８０は、実カメラを識別するための識別子Ｎを初期化する。本実施形態では、Ｎの初期値を１０１とし、実カメラ１０１で撮像して得られた撮像画像から処理を行う。

Ｓ１００２では、Ｓ１００１で算出した選択されたオブジェクトが位置する三次元座標に対応する、実カメラＮの撮像画像上の二次元座標を算出する。例えば、選択されたオブジェクトが存在する三次元座標と実カメラＮの存在する三次元座標とを結ぶ直線、並びに実カメラＮの画角及び視線方向に基づき、選択されたオブジェクトが位置する撮像画像上の二次元座標を算出する。また、オブジェクトが特定の二次元平面上に存在する場合、三次元座標を二次元平面に投影し、その特定の二次元平面上の二次元座標を各撮像画像上の二次元座標に変換することで、選択されたオブジェクトが位置する撮像画像上の二次元座標を算出してもよい。

Ｓ１００３では、背景化対象決定部３８０は、三次元形状データ生成部３５０で算出した実カメラＮの撮像画像上の二次元座標上に存在する領域に映るオブジェクトに対応する前景ＩＤを特定する。実カメラＮの撮像画像における前景領域は、前景データの座標情報とマスク情報により求めることができるので、二次元座標がどの前景領域内に存在するかを検出できる。

Ｓ６０５では、背景化対象決定部３８０は、Ｓ１００３で特定した全ての前景ＩＤに対応する前景データに含まれる座標情報とマスク情報を取得し、補正用前景マスクを生成する。

以降の処理（Ｓ６０６～Ｓ６０８）は実施形態１と同等のため省略する。

以上により、撮像映像から背景差分法を用いて前景抽出する際、不要な前景の特定を座標変換により求め、各実カメラの背景画像を短時間で補正することで、仮想視点画像上に前景として表示したくないオブジェクトを背景化できる。

（その他の実施例）
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２２０ 画像生成装置
２３０ ＵＩ部
２４０ 画像表示装置

Claims (13)

1. 複数の撮像装置で撮像して得られた複数の撮像画像を取得する取得手段と、
   前記複数の撮像画像に基づき、撮像装置別の撮像画像に対応する複数の背景画像を生成する背景生成手段と、
   前記複数の撮像画像の各撮像画像と前記複数の背景画像のうち当該各撮像画像に対応する背景画像との差分を前景領域としてオブジェクト単位で抽出する前景抽出手段と、
   前記撮像装置別の撮像画像のそれぞれにおける、ユーザが指定したオブジェクトに対応する前景領域を決定する決定手段と、
   を備え、
   前記背景生成手段は、前記複数の背景画像のそれぞれを、対応する前記撮像装置別の撮像画像における前記決定された前景領域に基づき更新する、
   ことを特徴とする画像処理装置。
2. 前記決定手段は、前記前景抽出手段が抽出した前景領域を用いて仮想視点画像を生成する際に設定された前記撮像装置別の撮像画像の間の関連付け情報を取得し、当該関連付け情報に基づき、前記撮像装置別の撮像画像のそれぞれにおいて前記前景領域を決定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記ユーザが前記仮想視点画像において指定したオブジェクトに基づき、前記ユーザが指定したオブジェクトを特定する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、前記関連付け情報として前記仮想視点画像の三次元形状を示す形状データを取得し、当該形状データに基づき前記ユーザが指定したオブジェクトが位置する三次元座標から前記撮像装置別の撮像画像のそれぞれにおける前記ユーザが指定したオブジェクトに対応する前景領域を決定する、
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記前景抽出手段によって得られた前記前景領域に基づき、前記オブジェクトごとの三次元形状を示す形状データを生成する形状データ生成手段と、
   前記形状データに基づき前記仮想視点画像を生成する画像生成手段と、
   をさらに備えることを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記画像生成手段は、前記決定された前景領域に基づき生成された前記形状データを使用しない、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記形状データ生成手段は、前記前景領域について一定期間分を保持し、
   前記決定手段は、前記ユーザがオブジェクトを指定した前記仮想視点画像を生成するために使用された撮像画像において前記前景領域を決定する、
   ことを特徴とする請求項５又は６に記載の画像処理装置。
8. 前記背景生成手段は、前記撮像画像について一定期間分を保持し、ユーザがオブジェクトを指定した前記仮想視点画像を生成するために用いた前記撮像画像を、前記背景画像を更新するために用いる、
   ことを特徴とする請求項２乃至７のいずれか１項に記載の画像処理装置。
9. 前記決定手段は、前記撮像装置別の撮像画像ごとに前記決定された前景領域以外をマスクする補正用前景マスクを生成し、
   前記背景生成手段は、対応する前記撮像装置別の撮像画像に対して前記補正用前景マスクを適用して抽出した画像を、対応する前記背景画像に重畳して前記背景画像を更新する、
   ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記背景生成手段は、前記撮像装置別の撮像画像ごとに、前景となり得るオブジェクトが無い状態の撮像画像から生成したベース背景画像を予め記憶しておき、前記ベース背景画像に前記ユーザが指定したオブジェクトに対応する前景領域を重畳したものを更新された前記背景画像とする、
    ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記背景生成手段は、ユーザから前記背景画像を更新する否かを示す制御指示情報を取得し、当該制御指示情報に基づき前記背景画像を更新しない場合、更新前の前記背景画像を出力する、
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 複数の撮像装置で撮像して得られた複数の撮像画像を取得するステップと、
    前記複数の撮像画像に基づき、撮像装置別の撮像画像に対応する複数の背景画像を生成するステップと、
    前記複数の撮像画像の各撮像画像と前記複数の背景画像のうち当該各撮像画像に対応する背景画像との差分を前景領域としてオブジェクト単位で抽出するステップと、
    前記撮像装置別の撮像画像のそれぞれにおける、ユーザが指定したオブジェクトに対応する前景領域を決定するステップと、
    を有し、
    前記背景画像を生成するステップは、前記複数の背景画像のそれぞれを、対応する前記撮像装置別の撮像画像における前記決定された前景領域に基づき更新する、
    ことを特徴とする画像処理方法。
13. コンピュータを請求項１乃至１１のいずれかの画像処理装置として機能させるためのプログラム。

Images