JP2013041338A

JP2013041338A - 画像処理装置及びプログラム

Info

Publication number: JP2013041338A
Application number: JP2011176227A
Authority: JP
Inventors: Atsushi Shingu; 淳新宮
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2011-08-11
Filing date: 2011-08-11
Publication date: 2013-02-28

Abstract

【課題】撮像手段によって撮像された撮像画像に含まれる人物の画像が貼り付けられるオブジェクトと撮像画像に含まれる背景の画像が貼り付けられるオブジェクトとが配置される仮想空間を仮想カメラから見た画像、がユーザに与える違和感を緩和する。
【解決手段】制御部は、カメラにより撮像された撮像画像のうちで人物が写っている人物領域を特定し（Ｓ１０２）、人物領域の画像を示す人物テクスチャ画像を生成し（Ｓ１０３）、人物領域の少なくとも一部を内部に含むスポット領域を設定し、スポット領域のうち人物領域を除く領域の画像を示す背景テクスチャ画像を生成する（Ｓ１０７）。
【選択図】図６

Description

本発明は、画像処理装置及びプログラムに関する。

下記特許文献１には、対象の写真を照明条件を変えて撮影し、撮影した画像に基づいて任意の照明条件での写真を生成すること、が記載されている。

特開２００２−１５０３１５号公報

本発明の目的は、撮像手段によって撮像された撮像画像に含まれる人物の画像が貼り付けられる物体と撮像画像に含まれる背景の画像が貼り付けられる物体とが配置される仮想空間を仮想カメラから見た画像、がユーザに与える違和感を緩和することである。

上記課題を解決するための請求項１の発明は、第１画像が貼付される第１物体と、第２画像が貼付される第２物体と、が配置された仮想空間を所与の仮想カメラから見た画像を表示手段に表示させる表示制御手段と、実空間に配置された撮像手段により撮像された撮像画像のうちで、前記実空間に存在する人物が写っている領域である人物領域を特定する人物領域特定手段と、前記人物領域の少なくとも一部を内部に含む閉領域を設定する閉領域設定手段と、前記撮像画像に基づいて、前記人物領域の画像を示す前記第１画像を生成する第１画像生成手段と、前記撮像画像に基づいて、前記閉領域のうちの前記人物領域を除く領域の画像を示す前記第２画像を生成する第２画像生成手段と、を含むことを特徴とする画像処理装置である。

また、請求項２の発明は、請求項１の発明において、複数ある前記人物の注目部位それぞれの前記撮像画像における位置を特定する位置特定手段をさらに含み、前記閉領域設定手段は、前記位置特定手段により特定された複数の位置の少なくとも一部に基づいて、前記閉領域を設定することを特徴とする。

また、請求項３の発明は、請求項２の発明において、前記閉領域は予め定められた形状を有し、前記複数の注目部位の各々には重要度が設定され、前記閉領域設定手段は、前記複数の位置の少なくとも一部を注目位置として仮設定する仮設定手段と、注目位置が仮設定された場合に、前記仮設定された注目位置に基づいて設定される閉領域が予め定められた条件を満足するか否かを判定する判定手段と、前記仮設定された注目位置に基づいて設定される閉領域が前記条件を満足すると判定される場合に、前記仮設定された注目位置に基づいて前記閉領域を設定する手段と、を含み、前記仮設定手段は、前記仮設定された注目位置に基づいて設定される閉領域が前記条件を満足しないと判定される場合に、重要度に基づいて、前記仮設定された注目位置の一部を新たな注目位置として再び仮設定すること、を特徴とする。

また、請求項４の発明は、請求項１の発明において、前記実空間における前記撮像手段の位置を取得する撮像位置取得手段と、前記実空間における前記人物の位置を取得する人物位置取得手段と、前記撮像位置取得手段により取得された位置と、前記人物位置取得手段により取得された位置と、の位置関係が所与の位置関係にある場合に、前記第１テクスチャ画像を加工する加工手段と、をさらに含むことを特徴とする。

また、請求項５の発明は、請求項１の発明において、前記第２画像生成手段は、前記撮像画像のうちの、前記閉領域外の部分及び前記人物領域内の部分、を加工することによって、前記第２画像を生成し、前記画像処理装置は、前記実空間における前記撮像手段の位置を取得する撮像位置取得手段と、前記実空間における前記撮像手段の位置に対応する前記仮想空間内の位置を取得する仮想空間位置取得手段と、をさらに含み、前記第２画像生成手段は、前記仮想空間位置取得手段により取得された位置と、前記仮想カメラの位置と、の位置関係に応じた度合いで、前記閉領域外の部分を加工することを特徴とする。

上記課題を解決するための請求項６の発明は、第１画像が貼付される第１物体と、第２画像が貼付される第２物体と、が配置された仮想空間を所与の仮想カメラから見た画像を表示手段に表示させる表示制御手段、実空間に配置された撮像手段により撮像された撮像画像を示す撮像画像のうちで、前記実空間に存在する人物が写っている領域である人物領域を特定する人物領域特定手段、前記人物領域の少なくとも一部を内部に含む閉領域を設定する閉領域設定手段、前記撮像画像に基づいて、人物領域内の画像を示す前記第１画像を生成する第１画像生成手段、前記撮像画像に基づいて、前記閉領域のうちの前記人物領域を除く領域内の画像を示す前記第２画像を生成する第２画像生成手段、としてコンピュータを機能させるためのプログラムである。

請求項１及び６の発明によれば、撮像手段によって撮像された撮像画像に含まれる人物の画像が貼り付けられる物体と撮像画像に含まれる背景の画像が貼り付けられる物体とが配置される仮想空間を仮想カメラから見た画像、がユーザに与える違和感を緩和することができる。

請求項２の発明によれば、本構成を有しない場合に比して、上記画像がユーザに与える違和感をより緩和することができる。

請求項３の発明によれば、本構成を有しない場合に比して、上記画像がユーザに与える違和感をより緩和することができる。

請求項４の発明によれば、本構成を有しない場合に比して、上記画像がユーザに与える違和感をより緩和することができる。

請求項５の発明によれば、仮想カメラの位置がどの位置であっても、上記画像がユーザに与える違和感をより緩和することができる。

画像処理装置の構成の一例を示す図である。作業空間の一例を示す図である。撮像画像を例示する図である。仮想空間の一例を示す図である。状況データの一例を示す図である。制御部が実行する処理を例示するフロー図である。人物領域を例示する図である。人物テクスチャ画像を例示する図である。人物テクスチャ画像を例示する図である。人物テクスチャ画像を例示する図である。制御部が実行する処理を例示するフロー図である。複製画像を例示する図である。スポット領域を例示する図である。制御部が実行する処理を例示するフロー図である。基準矩形領域を例示する図である。距離ａと距離ｂとを説明するための図である。背景テクスチャ画像を例示する図である。制御部が実行する処理を例示するフロー図である。仮想空間の一例を示す図である。

以下、本発明の実施形態の例について図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係る画像処理装置２の構成の一例を示す図である。同図に示すように、画像処理装置２は、制御部４と、記憶部６と、入出力インタフェース８と、ネットワークインタフェース１０と、を含む。

制御部４は、記憶部６に記憶されるプログラムに従って各種情報処理を実行する。記憶部６は、上記プログラムを格納する。このプログラムは、ＤＶＤ（登録商標）−ＲＯＭ等のコンピュータ読取可能な情報記憶媒体から読み出されて記憶部６に格納されてもよいし、ネットワーク等の通信網から供給されて記憶部６に格納されてもよい。また、記憶部６には、情報処理の過程で必要となる各種データも格納される。

入出力インタフェース８は、画像処理装置２を外部機器と接続するためのインタフェースである。本実施形態の場合、画像処理装置２は、入出力インタフェース８を介して、デジタルカメラであるカメラ１２と接続されている。カメラ１２が所定時間間隔で撮像を行う毎に、入出力インタフェース８を介して撮像画像が入力される。また、ネットワークインタフェース１０は、画像処理装置２をネットワークと接続するためのインタフェースである。画像処理装置２は、ネットワークを介して、クライアント端末１４とデータ授受可能である。

なお、クライアント端末１４は、液晶ディスプレイなどの表示手段を備えたコンピュータであり、画像処理装置２から受信した画像を表示手段に表示させる。

画像処理装置２及びカメラ１２とは下記に説明する作業空間に設置されている。図２は、作業空間の一例を示す図である。同図に示すように、作業空間には、予め定められた位置にカメラ１２が固定されている。カメラ１２の視線方向及び視野範囲は予め決まっている。一点鎖線が、カメラ１２の視野範囲の境界を示している。カメラ１２は、作業空間にいるユーザ１５を撮像する。図３に、カメラ１２により撮像された撮像画像を例示した。撮像画像には、ユーザ１５の画像と背景の画像とが含まれる。また、撮像画像には、互いに直交する２つの座標軸（すなわち、Ｘ２軸、Ｙ２軸）が設定されており、座標軸により、撮像画像のおける任意の位置が表される。なお、図２では、ユーザ１５が一人しか描かれていないが、実際にはユーザ１５が複数存在する。また、図２では、ユーザ１５以外の物体が描かれていないが、実際には、例えば机、椅子などが存在する。

また、作業空間には、互いに直交する３つの座標軸（すなわち、Ｘ１軸、Ｙ１軸、及びＺ１軸）が設定されており、座標値により、作業空間における任意の位置が表される。

この画像処理装置２では、作業空間をカメラ１２以外の視点から見た様子を示す空間画像が、カメラ１２により撮像された撮像画像から生成され、ユーザ１５を監視する監視者のクライアント端末１４へと送信されるようになっている。空間画像の生成のため、記憶部６には下記に説明する仮想空間が構築される。

図４は、仮想空間の一例を示す図である。同図に示すように、仮想空間には、互いに直交する３つの座標軸（すなわち、Ｘ３軸、Ｙ３軸、及びＺ３軸）が設定される。この座標値により、仮想空間における任意の位置が表される。また、仮想空間には、人物オブジェクト１６（第１物体）と、背景オブジェクト１８（第２物体）と、が設置される。人物オブジェクト１６は、垂直方向に伸びる平板オブジェクトであり、ユーザ１５の作業空間における位置、に対応する位置に設置される。なお、人物オブジェクト１６は、人物モデルと呼ばれる場合もある。背景オブジェクト１８は、水平に伸びる平板オブジェクトである。背景オブジェクト１８は、背景モデルと呼ばれる場合もある。

また、仮想空間には、仮想カメラ１４が設置される。仮想カメラ１４は、カメラ１２の作業空間における位置に対応する位置Ｑとは異なる位置に設置され、その視線方向及び視野範囲が予め決まっている。なお、一点鎖線は、カメラ１２の視野範囲に対応する仮想空間内の範囲を示している。

図４では、図示していないが、人物オブジェクト１６及び背景オブジェクト１８には、それぞれ、撮像画像から生成された、人物テクスチャ画像２０（図８参照）及び背景テクスチャ画像２２が貼り付けられる。人物テクスチャ画像２０が「第１画像」に相当し、背景テクスチャ画像２２が「第２画像」に相当する。この画像処理装置２では、仮想空間を仮想カメラ１４から見た様子を示す画像が上記空間画像として繰り返し生成され、クライアント端末１４へと送信されるようになっており、監視者は空間画像を頼りにユーザ１５の監視を行う。

以下、画像処理装置２の具体的構成について説明する。なお、以下、作業空間内の位置を示す座標値（Ｘ１，Ｙ１，Ｚ１）のことを第１座標値と表記し、撮像画像内の位置を示す座標値（Ｘ２，Ｚ２）のことを第２座標値と表記し、仮想空間内の位置を示す座標値（Ｘ３，Ｙ３，Ｚ３）のことを第３座標値と表記する。

図５は、記憶部６に記憶される状況データの一例を示す図である。状況データは、現況を示すデータであり、ユーザ１５ごとに、そのユーザの作業空間における現在位置を示す第１座標値と、そのユーザの仮想空間における現在位置を示す第３座標値と、を保持している。また、ここでは、図示していないが、状況データには、仮想カメラ１４の位置、視線方向、及び視野範囲を示す第３座標値や、カメラ１２の位置、視線方向、及び視野範囲を示す第１座標値や、カメラ１２の位置、視線方向、及び視野範囲を示す第３座標値等も保持される。なお、各ユーザ１５の作業空間における現在位置は、公知の位置検出手法によって検出される。例えば、作業空間の各所にその場所の第１座標値を格納したＲＦＩＤタグを配置しておき、各ユーザが携帯しているＲＦＩＤリーダがＲＦＩＤタグから第１座標値を読み取るようにしてよい。また、本実施形態の場合、各ユーザ１５の仮想空間における現在位置は、そのユーザ１５の作業空間における現在位置を用いて所定の演算をすることにより算出される。

図６は、画像処理装置２に撮像画像が入力された場合に制御部４が実行する処理を例示するフロー図である。この処理は、制御部４が上記プログラムに従って動作することにより実行される。

まず、制御部６（撮像位置取得手段、人物位置取得手段、仮想空間位置取得手段）は、記憶部６から上記状況データを読み出す（Ｓ１０１）。

そして、制御部６は、撮像画像のうちでユーザ１５が写っている領域である人物領域を特定する（Ｓ１０２）。本実施形態の場合、制御部６は、作業空間にユーザ１５が一人もいない状態でカメラ１２により撮像された画像（以下、基準画像と表記する）を記憶部６から読み出し、撮像画像と基準画像との差分画像を生成する。そして、制御部６は、生成した差分画像に基づいて、人物領域を示す第１座標値を特定する。図７に人物領域を例示した。点線で示す領域が人物領域を示している。なお、人物領域は、撮像画像に写っているユーザ１５ごとに特定される。

そして、制御部６（第１画像生成手段）は、撮像画像に基づいて、人物領域の画像を示す人物テクスチャ画像２０を生成する（Ｓ１０３）。具体的には、制御部６は、撮像画像の複製画像を生成し、複製画像の人物領域を除く部分を透明に設定することにより、人物テクスチャ画像２０を生成する。図８に、人物テクスチャ画像２０を例示した。

そして、制御部６は、人物テクスチャ画像２０のうちに、足部分が欠けた状態で写っているユーザの画像があるか否かを判定する（Ｓ１０４）。例えば、制御部６は、カメラ１２の視野範囲内にいるユーザ１５を特定することにより、撮像画像に写っているユーザ１５（以下、撮像ユーザと表記する）を特定する。そして、制御部６は、撮像ユーザの各々について、足部分が欠けた状態で写っているか否かを判定するために、カメラ１２の位置からその撮像ユーザの位置へと伸びる直線とＸ１−Ｙ１平面とのなす角度ω１が、カメラ１２の視線方向とＸ１−Ｙ１平面とのなす角度ω２より所定値Δω以上大きいか否かを判定する。いずれかの撮像ユーザに関し、角度ω１が角度ω２よりΔω以上大きいと判定した場合、すなわち、足部分が欠けた状態で写っていると判定した場合、制御部６は、人物テクスチャ画像２０のうちに、足部分が欠けた状態で写っているユーザの画像があると判定する。図９Ａに、足部分が欠けた状態で写っているユーザ１５の画像を含む人物テクスチャ画像２０を例示した。一方、いずれの撮像ユーザに関しても、角度ω１が角度ω２よりΔω以上大きいと判定しなかった場合、すなわち、足部分が欠けた状態で写っていると判定しなかった場合、制御部６は、人物テクスチャ画像２０のうちに、足部分が欠けた状態で写っているユーザの画像がないと判定する。

人物テクスチャ画像２０のうちに、足部分が欠けた状態で写っているユーザの画像がある場合（Ｓ１０４のＹ）、制御部６（加工手段）は、人物テクスチャ画像２０を加工する（Ｓ１０５）。本実施形態の場合、制御部６は、各撮像ユーザの作業空間における位置と各人物領域の位置とから、足部分が欠けた状態で写っている撮像ユーザの人物領域を特定する。そして、制御部６は、人物テクスチャ画像２０の底辺を下に所定距離だけ下に移動させるとともに、移動した後の底辺と上記特定した人物領域の底部との間の領域の色を所定色（例えば、灰色）に設定する。図９Ｂに加工された後の人物テクスチャ画像２０を例示した。

Ｓ１０４のステップ又はＳ１０５のステップにより、人物テクスチャ画像２０を生成すると、制御部６は、人物テクスチャ画像２０を、人物オブジェクト１６に貼り付ける（Ｓ１０６）。本実施形態の場合、制御部６は、点Ｑ（図４及び図１８参照）を投影中心として人物テクスチャ画像２０を透視投影変換することによって、人物テクスチャ画像２０を、撮像ユーザのうちから選択される注目ユーザの位置に配置された人物オブジェクト１６に貼り付ける。なお、制御部６は、例えば、撮像ユーザのうち予め定められた優先順位が最も上位の撮像ユーザを注目ユーザとして選択する。

人物テクスチャ画像２０を人物オブジェクト１６に貼り付けると、制御部６（第２画像生成手段）は、図１０に示す処理を実行して、背景テクスチャ画像２２（図１６参照）を生成する（Ｓ１０７）。

すなわち、制御部６は、撮像画像の複製画像を生成し、複製画像のうちの各人物領域の色を黒色に設定する（Ｓ２０１）。図１１に、各人物領域の色が黒色に設定された後の複製画像を例示した。人物領域以外の領域には背景の画像が含まれる。

Ｓ２０１の後、人物領域の色が黒色に設定された上記複製画像を背景テクスチャ画像２２として用いててもよいように思われる。しかしながら、この場合、黒色に設定された部分が目立ってしまい、上記空間画像が監視者に違和感を与えてしまう可能性がある。

この点、この画像処理装置２では、制御部６が、上記複製画像をさらに加工することで背景テクスチャ画像２２を生成するようになっている。こうすることにより、ユーザ１５にスポットライトが当たっているような演出がなされ、その結果として、黒色に設定された部分が目立ちにくくなるようになっている。

すなわち、まず、制御部６（閉領域設定手段）は、Ｓ２０２のステップで、少なくとも一部の撮像ユーザの各々について図１３に示す処理を実行することにより、当該撮像ユーザが写っている人物領域ごとに、当該人物領域を少なくとも一部に含むスポット領域を設定する。例えば、制御部６は、全撮像ユーザについて図１３に示す処理を実行する。また、例えば、制御部６は、注目ユーザのみについて図１３に示す処理を実行する。なお、ここでは、注目ユーザのみについて図１３に示す処理が実行する場合を例に取り上げる。図１２に、ある人物領域を少なくとも一部に含むスポット領域を例示した。一点鎖線内の領域２３がスポット領域を示している。本実施形態の場合、スポット領域は円形状を有しているが、スポット領域の形状はどのような形状であってもよく、例えば楕円形状であってもよい。なお、「ｒ」は、スポット領域の半径を示し、点Ｏは、スポット領域の中心を表している。

以下、図１３に示す処理について説明する。なお、図１３に示す処理対象となっている撮像ユーザ（ここでは、注目ユーザ）のことを、処理対象ユーザと表記する。

すなわち、制御部６（位置特定手段）は、まず、上記複製画像のうちの処理対象ユーザが写っている人物領域の画像に基づいて、予め定められた複数の注目部位それぞれの位置を示す第２座標値を特定する（Ｓ３０１）。各注目部位に位置の特定方法はどのような方法であってもよい。ここでは、制御部６は、いわゆる肌色検出処理を行って複数の肌色部分を検出し、上から一番目に位置する肌色部分の代表位置（例えば、重心）を、注目部位である頭部の位置として特定し、上から二番目に位置する肌色部分の代表位置と上から三番目に位置する肌色部分の代表位置とをそれぞれ、注目部位である手の位置として特定する。

そして、制御部６（仮設定手段）は、Ｓ３０１の特定した位置の集合Ｓを注目位置Ｆの集合Ｓ１として設定する（Ｓ３０２）。そして、制御部６（閉領域設定手段）は、集合Ｓ１に属する注目位置Ｆに基づいて、スポット領域を設定するための基礎となる基準矩形領域を特定する（Ｓ３０３）。図１４に基準矩形領域を例示した。点線で示す領域が基準矩形領域を示す。同図に示すように、基準矩形領域は、人物領域の少なくとも一部を含む。本実施形態の場合、基準矩形領域の左上の頂点Ｐ１の第２座標値は、左から一番目に位置する注目位置ＦのＸ２座標値「Ｘ_ｍｉｎ」と、上から一番目に位置する注目位置ＦのＹ２座標値「_Ｙｍａｘ」と、で表され、右下の頂点Ｐ２の第２座標値は、右から一番目に位置する注目位置ＦのＸ２座標値「Ｘ_ｍａｘ」と、下から一番目に位置する注目位置ＦのＹ２座標値「Ｙ_ｍｉｎ」と、で表される。

そして、制御部６（判定手段）は、この基準矩形領域を基礎に設定されるスポット領域全体が背景テクスチャ画像２２に収まるか否かを判定するために、下記に説明する距離ａが下記に説明する距離ｂ以下であるか否かを判定する（Ｓ３０４）。図１５は、上記距離ａと上記距離ｂとを説明するための図である。点線で示す領域は基準矩形領域を示し、点Ｏ１は、基準矩形領域の中心を表している。同図に示すように、距離ａは、点Ｏ１から基準矩形領域のいずれかの頂点までの距離であり、距離ｂは、点Ｏ１から画像の枠までの最短距離である。後に説明するように、点Ｏ１がスポット領域の中心Ｏとして設定され、距離ａがスポット領域の半径ｒとして設定される。そのため、距離ａが距離ｂ以下である場合、スポット領域全体が背景テクスチャ画像２２に収まることになる。

距離ａが距離ｂ以下である場合（Ｓ３０４のＹ）、制御部６（閉領域設定手段）は、点Ｏ１をスポット領域の中心Ｏとして設定し、距離ａをスポット領域の半径ｒとして設定する（Ｓ３０５）。

なお、距離ａが距離ｂより長い場合（Ｓ３０４のＮ）、制御部６（仮設定手段）は、注目位置の集合Ｓ１から一つの注目位置Ｆを削除する（Ｓ３０６）。本実施形態の場合、各注目部位には重要度が設定されており、制御部６は、集合Ｓ１に属する注目位置Ｆのうち、重要度が最も低い注目部位の注目位置Ｆを集合Ｓ１から削除する。そして、制御部６は、Ｓ３０３以降のステップを再実行する。

こうして、制御部６は、Ｓ２０２のステップで処理対象ユーザが写っている人物領域ごとにスポット領域を設定すると、制御部６（第１テクスチャ画像生成手段）は、Ｓ２０１のステップでの加工が施された上記複製画像のうちの、各スポット領域外の部分の明度を下げる（Ｓ２０３）。こうすることにより、制御部６は、背景テクスチャ画像２２を生成する。図１６に、背景テクスチャ画像２２を例示した。

本実施形態の場合、制御部６は、Ｓ２０３のステップで図１７に示す処理を実行する。こうすることにより、制御部６は、スポット領域外の部分の明度の下げ具合を、点Ｑと仮想カメラ１４の位置との位置関係に応じて調整する。すなわち、制御部６は、点Ｑ（図４参照）と仮想カメラ１４との位置関係を示す位置関係情報θを算出する（Ｓ４０１）。本実施形態の場合、制御部６は、点Ｑから人物オブジェクト１６の位置（ここでは、注目ユーザの仮想空間における位置）へと伸びるベクトルの水平方向の成分と、仮想カメラ１４から人物オブジェクト１６の位置へと伸びるベクトルの水平方向の成分と、がなす角度を位置関係情報θとして算出する。なお、制御部６は、点Ｑと仮想カメラ１４との距離を位置関係情報θとして算出してもよい。

そして、制御部６は、記憶部６に記憶される明度制御データを読み出し、位置関係情報θと、明度制御データと、に基づいて明度の減少量Δを決定する（Ｓ４０２）。本実施形態の場合、明度制御データは、位置関係情報θに関する条件と、減少量Δの候補値と、を対応付けてなるデータであり、位置関係情報θが大きいほど減少量Δの候補値が大きくなるように設定されている。制御部６は、Ｓ４０２のステップにおいて、位置関係情報θが満足する条件に対応付けられた候補値を特定し、特定した候補値を減少量Δとして決定する。

そして、制御部６は、スポット領域外の部分の明度を減少量Δだけ下げる（Ｓ４０３）。なお、制御部６は、Ｓ４０３のステップの後、スポット領域内に含まれる背景の画像に所定のシェーディング処理を施してもよい。

Ｓ１０７のステップにおいて背景テクスチャ画像２２を生成すると、制御部６は、点Ｑ（図４及び図１８参照）を投影中心として背景テクスチャ画像２２を透視投影変換することによって、背景テクスチャ画像２２を、背景オブジェクト１８に貼り付ける（Ｓ１０８）。図１８に、人物テクスチャ画像２０に人物オブジェクト１６に貼り付けられ、且つ、背景テクスチャ画像２２が背景オブジェクト１８に貼り付けられたときの仮想空間を例示した。

そして、制御部６は、仮想カメラ１４から仮想空間を見たときの様子を示す空間画像を生成する（Ｓ１０９）。また、制御部６（表示制御手段）は、空間画像をクライアント端末１４に表示させるために、空間画像をクライアント端末１４へと送信する（Ｓ１１０）。

なお、本発明の実施形態は上記実施形態だけに限らない。

例えば、制御部６は、人物領域の外接矩形を含むの領域をスポット領域として設定してもよい。

また、例えば、記憶部６には、最近の複数個の撮像画像が記憶されてもよい。そして、制御部６は、これら撮像画像の各々から特定される人物領域全部を含む領域をスポット領域として設定してもよい。

また、以上では、点Ｑ（図４参照）と仮想カメラ１４との位置関係に応じて各スポット領域外の部分の明度の下げ具合を調整しているが、点Ｑと仮想カメラ１４との位置関係に関わらず、各スポット領域外の部分の色を黒色に設定してもよい。

また、以上では、例えば、人物テクスチャ画像２０が注目ユーザの仮想空間における位置に配置された人物オブジェクト１６のみに貼り付けられていたが、人物テクスチャ画像２０が各撮像ユーザの仮想空間における位置に配置された人物オブジェクト１６それぞれに貼り付けられてもよい。この場合、人物テクスチャ画像２０の部分部分が、それぞれの人物オブジェクト１６に貼り付けられることになる。

２画像処理装置、４制御部、６記憶部、８入出力インタフェース、１０ネットワークインタフェース、１２カメラ、１４クライアント端末、１５ユーザ、１６人物オブジェクト、１８背景オブジェクト、２０人物テクスチャ画像、２２背景テクスチャ画像、２３領域、Ｐ１，Ｐ２，Ｑ，Ｏ，Ｏ１点、Ｆ注目位置。

Claims

第１画像が貼付される第１物体と、第２画像が貼付される第２物体と、が配置された仮想空間を所与の仮想カメラから見た画像を表示手段に表示させる表示制御手段と、
実空間に配置された撮像手段により撮像された撮像画像のうちで、前記実空間に存在する人物が写っている領域である人物領域を特定する人物領域特定手段と、
前記人物領域の少なくとも一部を内部に含む閉領域を設定する閉領域設定手段と、
前記撮像画像に基づいて、前記人物領域の画像を示す前記第１画像を生成する第１画像生成手段と、
前記撮像画像に基づいて、前記閉領域のうちの前記人物領域を除く領域の画像を示す前記第２画像を生成する第２画像生成手段と、
を含むことを特徴とする画像処理装置。
複数ある前記人物の注目部位それぞれの前記撮像画像における位置を特定する位置特定手段をさらに含み、
前記閉領域設定手段は、
前記位置特定手段により特定された複数の位置の少なくとも一部に基づいて、前記閉領域を設定すること、
を特徴とする請求項１に記載の画像処理装置。
前記閉領域は予め定められた形状を有し、
前記複数の注目部位の各々には重要度が設定され、
前記閉領域設定手段は、
前記複数の位置の少なくとも一部を注目位置として仮設定する仮設定手段と、
注目位置が仮設定された場合に、前記仮設定された注目位置に基づいて設定される閉領域が予め定められた条件を満足するか否かを判定する判定手段と、
前記仮設定された注目位置に基づいて設定される閉領域が前記条件を満足すると判定される場合に、前記仮設定された注目位置に基づいて前記閉領域を設定する手段と、を含み、
前記仮設定手段は、
前記仮設定された注目位置に基づいて設定される閉領域が前記条件を満足しないと判定される場合に、重要度に基づいて、前記仮設定された注目位置の一部を新たな注目位置として再び仮設定すること、
を特徴とする請求項２に記載の画像処理装置。
前記実空間における前記撮像手段の位置を取得する撮像位置取得手段と、
前記実空間における前記人物の位置を取得する人物位置取得手段と、
前記撮像位置取得手段により取得された位置と、前記人物位置取得手段により取得された位置と、の位置関係が所与の位置関係にある場合に、前記第１テクスチャ画像を加工する加工手段と、
をさらに含むことを特徴とする請求項１に記載の画像処理装置。
前記第２画像生成手段は、
前記撮像画像のうちの、前記閉領域外の部分及び前記人物領域内の部分、を加工することによって、前記第２画像を生成し、
前記画像処理装置は、
前記実空間における前記撮像手段の位置を取得する撮像位置取得手段と、
前記実空間における前記撮像手段の位置に対応する前記仮想空間内の位置を取得する仮想空間位置取得手段と、をさらに含み、
前記第２画像生成手段は、
前記仮想空間位置取得手段により取得された位置と、前記仮想カメラの位置と、の位置関係に応じた度合いで、前記閉領域外の部分を加工すること、
を特徴とする請求項１に記載の画像処理装置。
第１画像が貼付される第１物体と、第２画像が貼付される第２物体と、が配置された仮想空間を所与の仮想カメラから見た画像を表示手段に表示させる表示制御手段、
実空間に配置された撮像手段により撮像された撮像画像を示す撮像画像のうちで、前記実空間に存在する人物が写っている領域である人物領域を特定する人物領域特定手段、
前記人物領域の少なくとも一部を内部に含む閉領域を設定する閉領域設定手段、
前記撮像画像に基づいて、人物領域内の画像を示す前記第１画像を生成する第１画像生成手段、
前記撮像画像に基づいて、前記閉領域のうちの前記人物領域を除く領域内の画像を示す前記第２画像を生成する第２画像生成手段、
としてコンピュータを機能させるためのプログラム。