JP2017201745A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】撮像画像中の特定の物体とその他の物体とを適切に区別し、適切な画像処理を施す。【解決手段】画像処理装置３０は、複数のカメラ２０によりそれぞれ撮像された複数の画像に基づいて、画像中の特定物体の三次元位置を推定する。また、画像処理装置３０は、推定された特定物体の三次元位置に基づいて、画像中における、所定の三次元領域内に存在する特定物体を包含する領域である第一領域と、三次元領域外に存在する特定物体を包含する領域である第二領域とをそれぞれ抽出する。さらに、画像処理装置３０は、第一領域と第二領域との重複領域を特定する。そして、画像処理装置３０は、重複領域を含む第一領域に画像処理を施す。【選択図】 図５

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

近年、監視カメラの普及が進んでいる。これに伴い、公共の場で監視カメラによって撮像された画像（映像）に映っている個人の容姿を他人が容易に見ることができるようになり、プライバシーの観点から問題となっている。
そこで、カメラの撮像画像から監視対象となる特定の人物を抽出し、抽出した特定の人物のみを表示し、それ以外の人物のプライバシーを保護する技術が提案されている。特許文献１には、撮像画像中の人物の行動や状態を表す特徴量を評価することで、異常行動を行った人物を特定の人物として抽出する方法が開示されている。

特開２０１１−１３０２０３号公報

しかしながら、特許文献１に記載の技術では、異常ではない状態を異常状態であると誤認識してしまうと、プライバシーを保護したい人物が表示されてしまう。このように、特許文献１に記載の技術では、特定の物体とその他の物体とを適切に区別することができず、適切な画像処理を施すことができない場合があった。
そこで、本発明は、撮像画像中の特定の物体とその他の物体とを適切に区別し、適切な画像処理を施すことを目的としている。

上記課題を解決するために、本発明に係る画像処理装置の一態様は、複数の撮像手段によりそれぞれ撮像された複数の画像を取得する取得手段と、前記取得手段により取得された複数の画像に基づいて、前記画像中の特定物体の三次元位置を推定する第一の推定手段と、前記第一の推定手段により推定された前記特定物体の三次元位置に基づいて、前記画像中における、所定の三次元領域外に存在する前記特定物体を包含する領域である第一領域と、前記三次元領域内に存在する前記特定物体を包含する領域である第二領域とをそれぞれ抽出する抽出手段と、前記第一領域と前記第二領域との重複領域を特定する特定手段と、前記特定手段により特定された重複領域を含む前記第一領域に画像処理を施す画像処理手段と、を備える。

本発明によれば、撮像画像中の特定の物体とその他の物体とを適切に区別し、適切な画像処理を施すことができる。

画像処理システムの一例を示すネットワーク接続構成図である。 画像処理装置のハードウェア構成の一例を示す図である。 撮像装置の機能ブロック図である。 画像処理装置の機能ブロック図である。 画像処理装置が実施する画像処理の流れを説明する図である。 画像処理装置の動作を説明するためのフローチャートである。 カメラ設置例を示す図である。 人体位置推定処理の手順を説明するためのフローチャートである。 人体位置推定処理におけるキャリブレーションの説明図である。 人体位置推定処理における人体対応付け探索の説明図である。 人体位置推定処理における検出漏れ補完の説明図である。 推定人体領域を示す図である。 人体領域と透明化領域とを示す図である。 合成マップの一例である。 画像処理装置の動作を説明するためのフローチャートである。 画像補完処理の説明図である。 画像補完処理の説明図である。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
（第一の実施形態）
図１は、本実施形態における画像処理システムの動作環境の一例を示したネットワーク接続構成図である。本実施形態では、画像処理システムをネットワークカメラシステムに適用する。
ネットワークカメラシステム１０は、少なくとも２台のネットワークカメラ（以下、単に「カメラ」ともいう）２０と、少なくとも１台の画像処理装置３０とを備える。カメラ２０と画像処理装置３０とは、ネットワーク回線であるＬＡＮ（Local Area Network）４０によって接続されている。なお、ネットワーク回線はＬＡＮに限定されるものではなく、インターネットやＷＡＮ（Wide Area Network）などであってもよい。また、ＬＡＮ４０への物理的な接続形態は、有線であってもよいし、無線であってもよい。さらに、図１において、カメラ２０および画像処理装置３０は、それぞれ２台ずつＬＡＮ４０に接続されているが、接続台数は図１に示す数に限定されない。

カメラ２０は、所定の画角で被写体を撮像する、監視カメラ等の撮像装置である。複数のカメラ２０は、同一の被写体を同時に撮像可能な視野重複のある画角で設置されている。また、カメラ２０は、撮像画像（以下、単に「画像」ともいう。）を、ＬＡＮ４０を介して画像処理装置３０に送信可能である。
画像処理装置３０は、例えばパーソナルコンピューター（ＰＣ）により構成されており、ユーザ（例えば、監視員）が操作可能である。この画像処理装置３０は、カメラ２０によって撮像された画像から所定の条件に合致した物体（人体を含む）を検出するための画像解析処理を行う。ここで、画像解析処理は、動体検出、動体追尾、物体領域検出、人体検出、顔認識等の処理の少なくとも１つを含む。

また、画像処理装置３０は、カメラ２０から配信される画像や、後述する画像処理結果を表示部（ディスプレイ）に表示させるための表示制御機能を有する。さらに、情報処理装置３０は、画像解析処理に関する領域設定等のパラメータ設定のための操作を行うための入力手段の機能を有していてもよい。
図２は、画像処理装置３０のハードウェア構成を示す図である。
画像処理装置３０は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、外部メモリ３４と、表示部３５と、入力部３６と、通信Ｉ／Ｆ３７と、システムバス３８とを備える。
ＣＰＵ３１は、画像処理装置３０における動作を統括的に制御するものであり、システムバス３８を介して、各構成部（３２〜３７）を制御する。ＲＯＭ３２は、ＣＰＵ３１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ３４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。ＲＡＭ３３は、ＣＰＵ３１の主メモリ、ワークエリアとして機能する。すなわち、ＣＰＵ３１は、処理の実行に際してＲＯＭ３２から必要なプログラムをＲＡＭ３３にロードし、ロードしたプログラムを実行することで各種の機能動作を実現する。

外部メモリ３４は、ＣＰＵ３１がプログラムを用いた処理を行う際に必要な各種データや各種情報を記憶している。また、外部メモリ３４には、ＣＰＵ３１がプログラムを用いた処理を行うことにより得られる各種データや各種情報が記憶される。表示部３５は、液晶ディスプレイ（ＬＣＤ）等のモニタにより構成される。入力部３６は、キーボードやマウス等のポインティングデバイスによって構成される。通信Ｉ／Ｆ３７は、外部装置（本実施形態では、カメラ２０）と通信するためのインタフェースである。通信Ｉ／Ｆ３７は、例えばＬＡＮインタフェースである。システムバス３８は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、外部メモリ３４、表示部３５、入力部３６および通信Ｉ／Ｆ３７を通信可能に接続する。
なお、カメラ２０の場合は、ハードウェア構成として、図２の構成に加えてさらに撮像部を具備する。ここで、撮像部は、被写体の撮像を行うための構成であり、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等の撮像素子を含む。また、カメラ２０の場合は、入力部として、キーボード等ではなく電源ボタンや各種設定ボタンを具備してもよい。

図３は、カメラ２０の機能構成を示すブロック図である。カメラ２０は、撮像センサ部２０１と、現像処理部２０２と、映像符号化部２０３と、通信Ｉ／Ｆ部２０４と、を備える。この図３に示すカメラ２０の各部の機能は、カメラ２０のＣＰＵがプログラムを実行することで実現され得る。ただし、図３で示す各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、カメラ２０のＣＰＵの制御に基づいて動作する。
撮像センサ部２０１は、上述した撮像部の撮像面に結像された光像を光電変換によりデジタル電気信号に変換し、これを現像処理部３０２に出力する。現像処理部２０２は、撮像センサ部２０１により光電変換されて得られたデジタル電気信号に対して、所定の画素補間や色変換処理を行い、ＲＧＢあるいはＹＵＶなどのデジタル映像を生成する。また、現像処理部２０２は、現像を施した後のデジタル映像を用いて所定の演算処理を行い、得られた演算結果に基づいてホワイトバランス、シャープネス、コントラスト、色変換などの映像処理を行う。

映像符号化部２０３は、現像処理部２０２から入力されるデジタル映像信号に対して、配信用に圧縮、フレームレート設定などを施し、符号化する。ここでの配信用の圧縮方式は、ＭＰＥＧ４、Ｈ．２６４、ＭＪＰＥＧまたはＪＰＥＧなどの規格に基づく。また、映像符号化部２０３は、さらにｍｐ４形式やｍｏｖ形式などで映像データのファイル化をも行う。通信Ｉ／Ｆ部２０４は、外部装置（本実施形態では、画像処理装置３０）と通信するためのインタフェースを制御して、上記外部装置との通信を行う。

図４は、画像処理装置３０の機能構成を示すブロック図である。画像処理装置３０は、複数のカメラ２０により撮像された画像をもとに画像解析処理を行い、画像中の特定の領域内に存在する物体とその他の物体とを区別する機能を有する。
具体的には、画像処理装置３０は、複数のカメラ２０により撮像された複数の画像をもとに、画像中の物体に含まれる特定物体の三次元位置を推定する。そして、画像処理装置３０は、所定の三次元領域内に存在する特定物体と三次元領域外に存在する特定物体とを区別する。本実施形態では、特定物体を人体とし、画像処理装置３０は、三次元領域内に存在する人体については撮像画像のまま表示し、それ以外の人体を含む物体に対しては、プライバシーを保護するための抽象化処理を施すといった画像処理を行う。
なお、本実施形態においては画像処理装置としているが、映像を取得し、映像中の各フレーム（画像）を１枚ごとに処理しても処理内容は同一であるため、映像処理装置にも適用可能である。

画像処理装置３０は、画像取得部３０１と、物体検出部３０２と、物体領域検出部３０３と、人体位置推定部３０４と、人体領域推定部３０５と、領域設定部３０６と、人体領域抽出部３０７と、を備える。さらに、画像処理装置３０は、背景画像取得部３０８と、合成マップ生成部３０９と、画像処理部３１０と、出力部３１１と、を備える。この図４に示す画像処理装置３０の各部の機能は、図２に示すＣＰＵ３１がプログラムを実行することで実現され得る。ただし、図４で示す各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ３１の制御に基づいて動作する。
画像取得部３０１は、カメラ２０から送信された映像データを受信し、伸長、復号化して画像（動画像若しくは静止画像）を取得する（図５（ａ））。そして、画像取得部３０１は、取得した画像を順次、物体検出部３０２へ送出する。

なお、画像の供給元については特に限定するものではなく、供給元は、有線若しくは無線を介して画像を供給するサーバ装置や録画映像管理装置、あるいはカメラ２０以外の撮像装置であってもよい。また、画像取得部３０１は、画像処理装置３０内のメモリ（例えば、外部メモリ３４）から画像を取得するようにしてもよい。以下の説明では、画像取得部３０１が動画像を取得した場合であっても静止画像を取得した場合であっても、画像取得部３０１は、物体検出部３０２へ１枚の画像を送出する場合について説明する。前者の場合は、上記１枚の画像が動画像を構成する各フレームに相当し、後者の場合は、上記１枚の画像が静止画像に相当する。

物体検出部３０２は、画像取得部３０１から取得した画像をもとに、背景差分法等により、画像中の物体を検出し、検出した物体の情報を物体領域検出部３０３に出力する。なお、物体の検出方法は、背景差分法等の特定の方法に限定するものではなく、画像中の物体を検出可能な方法であれば適宜適用可能である。
物体領域検出部３０３は、物体検出部３０２により検出された物体の画像中における領域（物体領域）を検出する（図５（ｂ））。本実施形態では、物体領域は、画像における動体領域であり、検出された物体を包含する領域とする。物体領域の情報は、画像上での位置やサイズの情報を含む。

人体位置推定部３０４は、物体検出部３０２が物体を検出した画像上の領域（物体領域検出部３０３により検出された物体領域）のうち人体である領域を判別する人体検出処理を行う。次に、人体位置推定部３０４は、画像取得部３０１から取得した複数のカメラの画像に基づいて、人体検出処理により検出された人体に対して三角測量の方式を用いた三次元空間における人体位置推定処理を行う。これにより、画像中の人体の三次元位置（推定人体位置）が推定される。本実施形態では、人体位置推定部３０４は、推定人体位置として、人体の頭頂部の三次元位置を推定する。

人体領域推定部３０５は、画像取得部３０１から取得した画像について、人体位置推定部３０４により推定された推定人体位置に基づいて、画像中の人体が含まれると思われる領域（推定人体領域）を推定する（図５（ｃ））。推定人体領域は、人体検出処理により検出された人体（特定物体）をそれぞれ包含する所定形状（例えば矩形形状）の特定物体領域である。
人体位置推定部３０４による人体検出処理および人体位置推定処理により、人体の頭頂部の位置に加えて、顔のサイズや身長も取得可能である。そのため、人体領域推定部３０５は、人体の頭頂部の位置を基準とした矩形範囲を推定人体領域として推定することができる。この人体領域推定部３０５により推定される推定人体領域は、物体領域検出部３０３により検出された物体領域中に含まれる。

領域設定部３０６は、実空間（三次元空間）における所定の三次元領域を設定する領域設定処理を行う（図５（ｄ））。本実施形態では、三次元領域は、この領域に侵入した人物が要注意人物として監視すべき（表示すべき）対象となるような領域である。例えば、重要な場所（重要な扉など）がある領域を、上記三次元領域として設定することができる。この三次元領域は、円柱形状や立方体形状など、任意の形状を有する領域とすることができる。また、この三次元領域は、画像処理装置３０のユーザが入力部３６を操作して設定してもよいし、予め画像処理装置３０内のメモリに記憶されていてもよい。

人体領域抽出部３０７は、人体領域推定部３０５により推定された推定人体領域に基づいて、人体検出処理により検出された人体が、領域設定部３０６により設定された三次元領域内に存在する人体か否かを判定する。そして、人体領域抽出部３０７は、その判定結果をもとに、推定人体領域から特定の人体領域を抽出する。本実施形態では、人体領域抽出部３０７は、三次元領域内に存在する人体に対応する推定人体領域を、人体領域として抽出する（図５（ｅ））。
背景画像取得部３０８は、予めメモリに記憶された被写体の映っていない背景のみの画像（背景画像）を取得する（図５（ｆ））。
合成マップ生成部３０９は、物体領域検出部３０３により検出された物体領域と、人体領域抽出部３０７により抽出された人体領域との情報に基づいて、合成マップを生成する（図５（ｇ））。合成マップは、画像取得部３０１により取得された画像（撮像画像）と背景画像取得部３０８により取得された背景画像とを合成する際に用いるマップである。具体的には、合成マップは、各画素における撮像画像と背景画像とを合成する比率を表すマップである。

本実施形態では、合成マップ生成部３０９は、物体領域検出部３０３により検出された物体領域のうち、人体領域抽出部３０７により抽出された人体領域以外の推定人体領域に対して、抽象化処理がなされるような合成マップを生成する。抽象化処理としては、背景画像が表示される透明化処理を採用することができる。透明化処理は、具体的には、所定色を用いて人体領域内を半透明化した処理を含む。さらに、合成マップ生成部３０９は、人体領域抽出部３０７により抽出された人体領域においては、撮像画像がそのまま表示されるような合成マップを生成する。

画像処理部３１０は、合成マップ生成部３０９により生成された合成マップを用いて、画像取得部３０１により取得された撮像画像と背景画像取得部３０８により取得された背景画像とを合成する（図５（ｈ））。これにより、領域設定部３０６において設定された三次元領域内に存在する人体はそのまま表示され、三次元領域外に存在する人体および画像中の人体以外の物体は透明化処理されて非表示とされた表示画像が生成される。つまり、この表示画像は、三次元領域内に存在する人体以外の物体（人体を含む）のプライバシーを保護する画像である。
出力部３１１は、画像処理部３１０により生成された画像処理後の表示画像を表示部３５に出力することで、表示部３５に表示画像を表示させる表示制御を行う。

次に、画像処理装置３０の動作について、図６を参照しながら説明する。
図６に示す処理は、例えばカメラ２０から画像が送信されたタイミングで開始され、カメラ２０から画像が送信されるたびに繰り返して実行される。ただし、図６の処理の開始タイミングは、上記のタイミングに限らない。画像処理装置３０は、ＣＰＵ３１が必要なプログラムを読み出して実行することにより、図６に示す各処理を実現することができる。
ただし、上述したように、図４に示す各要素のうち少なくとも一部が専用のハードウェアとして動作することで図６の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ３１の制御に基づいて動作する。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。

まずＳ１において、画像取得部３０１は、複数のカメラ２０から同時刻に撮像された画像を取得する。これは、複数画像間で撮像時刻にずれがある場合、複数画像をもとに人体の三次元位置を推定する人体位置推定処理において、移動中の人体の正確な人体位置が推定できないためである。同時刻の保証方法としては、同時刻にカメラ画像を受信する方法を採用してもよいし、画像の付加データとして含まれる撮像時刻情報を利用する方法を採用してもよい。
図７は、複数のカメラ２０（２０Ａ〜２０Ｄ）の設置例を示す図である。４台のカメラ２０Ａ〜２０Ｄは、同一の被写体を同時に撮像可能とするために、視野重複のある画角で設置されている。図７においては、４台のカメラ２０Ａ〜カメラ２０Ｄは、人物Ｐ１およびＰ２と領域５０１とを同時に撮像できる画角で設置されている。領域５０１は、領域設定部３０６によって設定される三次元領域であり、図７では矩形を底面とした十分に高い高さを持つ立方体形状としている。図７のようなカメラ配置の場合、Ｓ１において画像取得部３０１は、４台のカメラ２０Ａ〜２０Ｄからそれぞれ画像を取得する。

Ｓ２では、物体検出部３０２は、Ｓ１において取得された画像をもとに、背景差分法等により画像中の物体を検出し、物体領域検出部３０３は、画像中において検出された物体を含む物体領域を検出する。本実施形態では、上述したように、物体領域は画像における動体領域である。
Ｓ３では、人体位置推定部３０４は、Ｓ１において取得された複数の画像をもとに、撮像されている人体に対して三角測量の方式を用いた人体位置推定処理を行う。この人体位置推定処理について、図８を参照しながら詳細に説明する。

まずＳ３１において、人体位置推定部３０４は、複数のカメラ２０により撮像された物体の画像上の座標と、その物体の三次元空間上の実際の座標とを関連付けるためのキャリブレーションを行う。例えば、図９のカメラ２０Ａが撮像した人物Ｐの画像上の座標（Ｘ₁，Ｙ₁，Ｚ₁）と、三次元空間上の実際の人物Ｐの座標（Ｘ_a，Ｙ_a，Ｚ_a）とが同じであることを関連付ける処理を行う。同様の処理を、監視範囲に設置されているカメラ２０Ｂおよび２０Ｃに対しても行う。
なお、上記キャリブレーション処理に際し、関連付けに用いる三次元空間における位置座標は、予め測定し記憶しておく。関連付けに用いる物体の位置は、図９のように同一の人体の頭頂部であってもよいし、同一の人体の顔中央部や両肩中央点、人体の中央点であってもよい。また、関連付けに用いる物体の位置は人体以外の物体の位置であってもよい。この場合、対象となる同一物体における共通の点が分かればよく、三次元空間範囲内において任意に設定した目印となる所定の箇所や、実カメラ位置などを用いることができる。このようなキャリブレーション処理により、後述する人体の三次元位置座標の推定処理（Ｓ３４）において、撮像画像中における実距離（例えば、頭頂部の床面からの高さ＝身長）を取得することが可能となる。

図８に戻って、Ｓ３２では、人体位置推定部３０４は、人体検出処理により、画像から人体を検出する。具体的には、人体位置推定部３０４は、予め記憶した照合パターン辞書等を用い、物体領域検出部３０３により検出された物体領域に対して人体検出処理を実施して人体を検出する。なお、人体検出処理は、画像から人体を検出する処理であればよく、上記のパターン処理に限定されない。
また、本実施形態では、三次元位置座標の推定対象となる特定物体を人体としているが、人体に限定されるものではない。上記特定物体は、人物の顔、自動車、動物、ナンバープレート、サッカーボールなどであってもよい。さらに、複数種類の特定物体を検出する特定物体検出部を備えてもよく、同時に複数の検出が可能であるならば、複数の特定物体検出処理を実施してもよい。さらに、人体検出処理を行う領域は、必ずしも物体領域検出部３０３により検出された物体領域である必要はない。例えば、人体検出処理は、画像の全領域に対して行うようにしてもよい。

次にＳ３３では、人体位置推定部３０４は、三次元位置座標の推定対象である人体に対して、多視点幾何を利用したカメラ間の人体の対応付け探索を行う。具体的には、あるカメラの画像上の１点は、別のカメラの画像上では線に対応することを利用して、複数の画像間での人体の対応付けを行う。つまり、図１０に示すように、カメラ２０Ａの撮像画像上で点Ｐ１１に位置する人体は、カメラ２０Ｂの撮像画像上では線Ｌ１１上に位置し得ることを利用する。
次にＳ３４では、人体位置推定部３０４は、カメラ２０Ａとカメラ２０Ｂとから三角測量の方式により、Ｓ３３において対応付け探索がなされた人体の三次元位置座標を推定する。このＳ３４では、人体位置推定部３０４は、人体の頭頂部の三次元位置座標を、当該人体の推定人体位置として推定する。但し、推定人体位置は、人体の頭頂部の三次元位置座標に限定されず、人体の顔中央部の三次元位置座標であってもよい。

Ｓ３５では、人体位置推定部３０４は、各カメラにおける人体の検出漏れを補完する処理を行う。例えば、図１１に示すように、カメラ２０Ａおよび２０Ｂにおいて対応付けがなされた人物Ｐが、カメラ２０Ｃの画像中に検出されなかった場合には、カメラ２０Ｃの画像に対して人物Ｐの三次元位置座標を射影し、カメラ２０Ｃでの検出漏れを補完する。
Ｓ３６では、人体位置推定部３０４は、検出されたすべての人体について三次元位置座標を推定したか否かを判定する。そして、人体位置推定部３０４は、三次元位置座標を推定していない人体が存在すると判定した場合にはＳ３２に戻り、すべての人体について三次元位置座標の推定が完了していると判定した場合には、図８の処理を終了する。なお、上記の人体位置推定処理は一例であって、人体検出だけでなく人体の追尾を各カメラ画像について行い、人体検出の確度を高めるようにしてもよい。

図６に戻って、Ｓ４では、人体領域推定部３０５は、Ｓ１において取得された複数のカメラ画像について、Ｓ３において推定された推定人体位置に基づいて画像中の推定人体領域を推定する。このＳ４における処理について、図１２を用いて説明する。
図１２は、図７に示すカメラ配置および人物配置におけるカメラ２０Ａの画像である。この図１２において、領域５０２は、図７の領域５０１をカメラ２０Ａから見た領域である。Ｓ３における人体位置推定処理により、人物Ｐ１およびＰ２の頭頂部の位置が推定されている。そこで、人体領域推定部３０５は、推定された頭頂部の位置座標から画像上の床面に対応する位置までを推定人体領域として設定する。ここで、推定人体領域は、人体を包含する所定形状（矩形形状）で表現されているが、この限りではない。図１２に示す画像については、人体領域推定部３０５は、人物Ｐ１の推定人体領域５１１と、人物Ｐ２の推定人体領域５１２とを推定する。

次に図６のＳ５では、人体領域抽出部３０７は、Ｓ３における人体検出処理によって検出された人体のうち、領域５０１内に存在する人体が存在するか否かを判定する。具体的には、人体領域抽出部３０７は、Ｓ４において推定された推定人体領域の床面に対応する部分（図１２の推定人体領域５１１および推定人体領域５１２の下端部）が、領域５０２内に位置しているか否かを判定する。そして、人体領域抽出部３０７は、領域５０１内に人体が存在しないと判定した場合には後述するＳ１０に移行し、領域５０１内に人体が存在すると判定した場合には、Ｓ６において、その人体に対応する推定人体領域を人体領域として抽出する。

例えば図１２に示す画像の場合、人体領域抽出部３０７は、推定人体領域５１１は領域５０２外に位置し、推定人体領域５１２は領域５０２内に位置すると判定する。したがって、この場合、人体領域抽出部３０７は、人物Ｐ２に対応する推定人体領域５１２を人体領域として抽出する。
Ｓ７では、人体領域抽出部３０７は、Ｓ６において抽出された人体領域に、三次元領域外に存在すると判定された人体に対応する推定人体領域との重複領域が存在するか否かを判定する。そして、人体領域抽出部３０７は、重複領域が存在しないと判定した場合には後述するＳ１０に移行し、重複領域が存在すると判定した場合にはＳ８に移行する。
Ｓ８では、人体領域抽出部３０７は、Ｓ７において検出された重複領域を人体領域から除外するか否かを判定する。つまり、人体領域抽出部３０７は、重複領域に対し、三次元領域外に存在すると判定された人体に対応する推定人体領域に対する画像処理（透明化処理）を施すか否かを判定する。

具体的には、Ｓ８において人体領域抽出部３０７は、Ｓ５において領域５０１に対応する三次元領域内に存在すると判定された人体領域に対応する人体と、当該人体に重複している人体とのカメラに対する前後位置関係を判定する。そして、人体領域抽出部３０７は、領域５０１に対応する三次元領域内に存在すると判定された人体領域に対応する人体よりも、当該人体に重複している人体がカメラに対して手前側に位置すると判定した場合、重複領域を人体領域から除外すると判断する。つまり、重複領域に透明化処理を施すと判断する。一方、人体領域抽出部３０７は、領域５０１に対応する三次元領域内に存在すると判定された人体領域に対応する人体よりも、当該人体に重複している人体がカメラに対して奥側に位置すると判定した場合、重複領域を人体領域から除外しないと判断する。つまり、重複領域に透明化処理を施さないと判断する。

図１２に示すように、人物Ｐ２に対応する人体領域５１２に、人物Ｐ１に対応する推定人体領域５１１との重複領域が存在する場合、人体領域抽出部３０７は、人物Ｐ１およびＰ２の推定人体位置に基づいて人物Ｐ１と人物Ｐ２との前後位置関係を判定する。ここで、図７に示すように、人物Ｐ２は、人物Ｐ１よりもカメラ２０Ａに対して手前に位置している。そのため、この場合、人体領域抽出部３０７は、カメラ２０Ａに対して後方に位置すると判定された人物Ｐ２の人体領域５１２から重複領域を除外した領域を、最終的な人物Ｐ２の人体領域５１２として抽出する。
つまり、推定人体領域５１１と人体領域５１２との重複領域は、カメラ２０Ａに対して前方に位置する人物Ｐ１の推定人体領域５１１に含まれ、人物Ｐ２に対応する人体領域５１２は、図１３に示すような形状となる。そのため、人物Ｐ２の人体部分５２２のうち人物Ｐ１に対応する推定人体領域５１１と重複する人体部分５２２ａは、人物Ｐ１の人体部分５２１と同様に透明化処理されることになる。

また、人体領域抽出部３０７は、人体の推定人体位置に基づいて、その近傍で顔検出や肩、腕検出などを用いた人体輪郭検出処理をさらに行い、検出した輪郭の情報に基づいて人体領域を抽出してもよい。これにより、人体領域のより高精度な背景分離や人体同士の重なり分離が可能となる。本実施形態のように推定人体領域を矩形形状とした場合、例えば図１３の人体領域５１２において、人物Ｐ２の後方に存在する領域５０１外の人物が、人物Ｐ２の頭部周辺に表示されてしまう場合がある。上記の輪郭検出処理を行えば、プライバシーを保護すべき人物の一部が表示されてしまうといった事態を回避することができる。なお、人物の顔領域を検出する処理や人物の向きを判定する処理を用いることでも、人体輪郭検出処理を行う場合と同様の効果が得られる。

人体領域抽出部３０７は、図６のＳ８において重複領域を透明化処理すると判定した場合はＳ９に移行し、重複領域を透明化処理しないと判定した場合にはＳ１０に移行する。Ｓ９では、人体領域抽出部３０７は、Ｓ６において抽出された人体領域からＳ７において抽出された重複領域を除外し、Ｓ１０に移行する。
Ｓ１０では、合成マップ生成部３０９は、Ｓ２において抽出された物体領域と、Ｓ５からＳ９において抽出された人体領域とに基づいて、撮像画像と背景画像とを合成するための合成マップを生成する。その際、合成マップ生成部３０９は、Ｓ２において検出された物体領域から、Ｓ５からＳ９において抽出された人体領域を除いた領域が、透明化処理の対象である透明化領域となるような合成マップを生成する。
合成マップは、上記の透明化領域の画素に対して実数値ｋ（但し、０≦ｋ＜１）、それ以外の領域の画素に対して実数値１を割り当てたマップである。本実施形態では、ｋ＝０とする。図１３に示す画像に対応する合成マップの例を図１４に示す。図１４の合成マップＭにおいて、領域Ａ０の画素値はｋであり、領域Ａ１の画素値は１である。

次にＳ１１では、画像処理部３１０は、Ｓ１０において生成された合成マップＭを用いて、撮像画像と背景画像とを合成する。ここで、背景画像は、事前に人物が存在しない状態でカメラ２０によって撮像された画像である。
画像処理部３１０は、画素（ｉ，ｊ）における撮像画像の画素値をＰ_A（ｉ，ｊ）、背景画像の画素値をＰ_B（ｉ，ｊ）、合成マップＭの値をα（ｉ，ｊ）とした場合、次式のように合成後の画像の画素値Ｐ（ｉ，ｊ）を算出する。
Ｐ（ｉ，ｊ）＝α（ｉ，ｊ）×Ｐ_A（ｉ，ｊ）＋（１−α（ｉ，ｊ））×Ｐ_B（ｉ，ｊ） ………（１）

つまり、合成後の画像における合成マップＭの領域Ａ１（画素値＝１）に対応する領域は、撮像画像のままとなり、合成マップＭの領域Ａ０（画素値＝ｋ）に対応する領域は、撮像画像と背景画像とが比率ｋ：（１−ｋ）でブレンドされる。本実施形態のようにｋ＝０である場合、合成マップＭの領域Ａ０に対応する領域は完全に背景画像に置き換えられることになる。つまり、領域５０１外に位置する物体（人体を含む）は、完全に背景画像に置き換えられる。これに対して、ｋの値を０．１等の値に設定した場合、領域５０１外に位置する物体（人体を含む）を半透明化して表示し、場所は分かるが個人の特定はできないような画像に置き換える半透明化処理を行うことができる。なお、ｋの値は、予め設定されていてもよいし、ユーザが任意に設定可能であってもよい。

次にＳ１２では、出力部３１１は、Ｓ１１までの処理によって生成された画像処理後の画像を表示部３５に出力する。これにより、画像処理後の画像がユーザに提示される。
なお、本実施形態では、領域５０１外の物体に対して抽象化処理を施す場合について説明したが、反対に領域５０１内の物体のみに対して抽象化処理を施すようにしてもよい。この場合、領域５０１外の領域を、領域設定部３０６において設定される三次元領域とし、上述した画像解析処理および画像処理を行えばよい。

また、本実施形態では、抽象化処理として透明化処理や半透明化処理を行う場合について説明したが、ぼかし処理を行うこともできる。この場合、画像処理部３１０は、撮像画像と背景画像との合成処理を行う代わりに、合成マップの値を用いて撮像画像にぼかし処理を行えばよい。同様に、抽象化処理として、モザイク処理や塗りつぶし処理を行うこともできる。
以上説明したとおり、画像処理装置３０は、複数のカメラ２０によってそれぞれ撮像された複数の画像を取得し、取得した複数の画像に基づいて、画像中の特定物体の三次元位置を推定する。また、画像処理装置３０は、推定された特定物体の三次元位置に基づいて、画像中における、所定の三次元領域外に存在する特定物体を包含する領域（第一領域）と、上記所定の三次元領域内に存在する特定物体を包含する領域（第二領域）とをそれぞれ抽出する。

さらに、画像処理装置３０は、第一領域と第二領域との重複領域を特定し、重複領域に画像処理を施すか否かを判定する。そして、画像処理装置３０は、重複領域に画像処理を施すと判定した場合、重複領域を含む第一領域に画像処理を施し、重複領域に画像処理を施さないと判定した場合、重複領域を除外した第一領域に画像処理を施す。ここで、特定物体は、人体を含む。
これにより、画像処理装置３０は、画像中の特定の物体とその他の物体とを区別し、適切に画像処理を行うことができる。画像処理装置３０は、第一領域と第二領域との重複領域について画像処理を行うか否かを判定するので、画像処理すべき領域を適切に特定することができる。したがって、画像処理すべき領域に画像処理が施されなかったり、反対に、画像処理すべきでない領域に画像処理が施されてしまったりすることを抑制することができる。

また、画像処理装置３０は、画像処理として、画像を抽象化して表示するための抽象化処理を行うことができる。なお、画像処理装置３０は、第一領域のみに対して抽象化処理を行ってもよいし、第一領域と第二領域とで異なる抽象化処理を行ってもよい。抽象化処理は、透明化処理、半透明化処理、ぼかし処理、モザイク処理および塗りつぶし処理のいずれかの処理とすることができる。
これにより、特定領域外に存在する人物のプライバシーを保護したり、特定領域内に存在する人物と特定領域外に存在する人物とを異なる抽象化レベルで表示したりすることができる。

さらに、画像処理装置３０は、物体が撮像されていない背景画像を取得し、画像処理として、撮像画像と背景画像とを所定の比率で合成する処理を行ってもよい。その際、画像処理装置３０は、第一領域と第二領域とで異なる比率で撮像画像と背景画像とを合成する処理を行ってもよい。これにより、特定領域内の人体と特定領域外の人体とを異なる透明度で表示することが可能となる。例えば、特定領域内の人体をそのまま表示し、特定領域外の人体を透明化して、特定領域外の人物のプライバシーを保護するといった処理が可能となる。

また、画像処理装置３０は、第一領域の画像処理に際し、上述したように、第一領域内の重複領域に画像処理を施すか否かを判定する。その際、画像処理装置３０は、重複領域を有する第一領域および第二領域にそれぞれ対応する特定物体のカメラ２０に対する前後位置関係を判定する。そして、画像処理装置３０は、第一領域に対応する特定物体がカメラ２０に対して前方に位置すると判定した場合に、重複領域に画像処理を施すと判定する。
これにより、画像処理を施すべき領域をより適切に特定することができる。例えば、特定領域内に存在する人体の推定人体領域内の一部にプライバシーを保護すべき特定領域外の人物の人体が入りこんでいる場合であっても、表示領域を適切に設定することができる。したがって、プライバシーを保護したい人物が意図せずに表示されてしまうことを適切に抑制することができる。

なお、画像処理装置３０は、重複領域に画像処理を施すか否かを判定することなく、重複領域を含む第一領域に画像処理を施してもよい。この場合、重複領域については、無条件に画像処理を行うことができる。つまり、特定領域外の人体が含まれる領域に対して、確実に透明化処理などの画像処理を施すことができる。したがって、特定領域外の人物のプライバシーを確実に保護することができる。
さらに、画像処理装置３０は、重複領域を除く第一領域と、重複領域とに、同じ画像処理を行うことができる。この場合、画像処理が、例えば透明化処理である場合、重複領域を含む第一領域全体に透明化処理が施される。このように、重複領域を含む第一領域全体に同じ画像処理を施すので、容易かつ適切に特定領域外の人物のプライバシーを保護することができる。

さらに、画像処理装置３０は、複数のカメラ２０を用いて人体の三次元位置推定を行う。人体の三次元位置の推定に際し、まず画像処理装置３０は、複数のカメラ２０によって撮像された複数の画像に基づいて、複数の画像間で対応付けられた人体を検出する。そして、画像処理装置３０は、複数の画像に基づいて、当該複数の画像間で対応付けられた人体の三次元位置を三角測量の方式を用いて推定する。したがって、人体が特定領域内に存在するか否かを確実に判断することができ、特定の人体とその他の人体とを適切に区別することができる。

また、画像処理装置３０は、画像中の物体（人体を含む）の物体領域を検出し、その物体領域から第一領域および第二領域を除く領域に、第一領域に対する画像処理および第二領域に対する画像処理のいずれか一方を施すこともできる。つまり、画像処理装置３０は、特定領域内に存在する人体をそのまま表示し、特定領域外に存在する人体と画像中の人体以外の物体とを非表示とすることができる。また、画像処理装置３０は、特定領域内に存在する人体と画像中の人体以外の物体とをそのまま表示し、特定領域外に存在する人体を非表示とすることもできる。このように、三次元位置が推定されていない特定物体以外の物体についても、目的に応じて適切な画像処理を施すことができる。
このように、本実施形態における画像処理装置３０は、マルチカメラを用いた三次元位置推定により特定物体の位置を推定し、所定の三次元領域内の特定物体と三次元領域外の特定物体とを区別して適切な画像処理を行うことができる。したがって、特定位置の人物と他の人物とを区別して適切にプライバシー保護を行うことができる。

（第二の実施形態）
次に、本発明における第二の実施形態について説明する。
上述した第一の実施形態では、三次元領域内に存在すると判定された人体領域に対応する人体よりも、当該人体に重複している人体がカメラに対して手前側に位置すると判定した場合、重複領域を透明化処理する場合について説明した。第二の実施形態では、透明化処理に替えて、画像補完処理を行う場合について説明する。
図１５は、第二の実施形態における画像処理装置３０の動作を示すフローチャートである。この図１５に示す処理は、図６に示す処理と同様のタイミングで実行される。画像処理装置３０は、ＣＰＵ３１が必要なプログラムを読み出して実行することにより、図１５に示す各処理を実現することができる。ただし、上述したように、図４に示す各要素のうち少なくとも一部が専用のハードウェアとして動作することで図１５の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ３１の制御に基づいて動作する。

図１５に示す処理は、図６におけるＳ７〜Ｓ９の処理がＳ２１およびＳ２２の処理に置換され、Ｓ１１の処理の後にＳ２３の処理が追加されていることを除いては、図６と同様である。したがって、図６と同様の処理には同一ステップ番号を付し、以下、図６とは処理の異なる部分を中心に説明する。
Ｓ２１では、画像処理部３１０は、Ｓ６において抽出された人体領域に、三次元領域外に存在すると判定された人体に対応する推定人体領域によって遮蔽される遮蔽領域が存在するか否かを判定する。具体的には、画像処理部３１０は、まず、Ｓ６において抽出された人体領域に、三次元領域外に存在すると判定された人体に対応する推定人体領域との重複領域が存在するか否かを判定する。次に、画像処理部３１０は、重複領域が存在すると判定すると、Ｓ５において領域５０１に対応する三次元領域内に存在すると判定された人体領域に対応する人体と、当該人体に重複している人体とのカメラに対する前後位置関係を判定する。そして、画像処理部３１０は、領域５０１に対応する三次元領域内に存在すると判定された人体領域に対応する人体よりも、当該人体に重複している人体がカメラに対して手前側に位置すると判定した場合、上記人体領域に遮蔽領域が存在すると判定する。つまり、遮蔽領域は、重複領域に相当する。

図１２に示すように、人物Ｐ２に対応する人体領域５１２に、人物Ｐ１に対応する推定人体領域５１１との重複領域が存在する場合、画像処理部３１０は、人物Ｐ１およびＰ２の推定人体位置に基づいて人物Ｐ１と人物Ｐ２との前後位置関係を判定する。ここで、図７に示すように、人物Ｐ２は、人物Ｐ１よりもカメラ２０Ａに対して手前に位置している。そのため、この場合、画像処理部３１０は、上記重複領域を、人体領域５１２を遮蔽する遮蔽領域として判定する。
画像処理部３１０は、このＳ２１において遮蔽領域が存在しないと判定した場合にはＳ１０に移行し、遮蔽領域が存在すると判定した場合には、遮蔽領域に対して画像補完処理を施すとしてＳ２２に移行する。
Ｓ２２では、画像処理部３１０は、画像補完処理の対象である遮蔽領域に対して、画像補完処理を施すための補完画像を生成する。図１６は、図１３における人体領域５１２を切り出した図である。画像補完処理の対象となる遮蔽領域は、人体領域５１２に存在する推定人体領域５１１との重複領域であり、図１６の領域５１２ａである。

画像補完処理に際し、画像処理部３１０は、先ずＳ３により推定された推定人体位置を利用し、遮蔽領域に対応する他のカメラの画像領域を推定する。図１６に示すカメラ２０Ａの画像の場合、人体領域５１２に対する遮蔽領域５１２ａの割合と位置とを算出する。ここで、遮蔽領域５１２ａの割合は、人体領域５１２に対する縦方向の割合Ａと横方向の割合Ｂとで表すことができる。次に画像処理部３１０は、算出した遮蔽領域５１２ａの割合と位置とを、カメラ２０Ｂの撮像画像における人物Ｐ２に対応する推定人体領域に適用する。このようにして、画像処理部３１０は、遮蔽領域に対応する他のカメラの画像領域を推定する。

そして、画像処理部３１０は、人体領域５１２に対する遮蔽領域５１２ａの割合ＡおよびＢを用いて、上記の他のカメラの画像領域に対して投影変換等の画像変換を行い、人体領域５１２の補完画像を生成する。この補完画像は、図１６の遮蔽領域５１２ａに対応する画像となる。
なお、カメラ２０Ｂの画像においても、人物Ｐ２が他の人物などにより隠れており対応画像領域が取得できない場合は、さらにカメラ２０Ｃ、カメラ２０Ｄ等の画像を用いて補完画像を生成するようにしてもよい。但し、補完画像の生成元となる撮像画像は、カメラ２０Ａとなるべく近い位置に配置されたカメラの画像であることが望ましい。

Ｓ２３では、画像処理部３１０は、Ｓ１１において生成された合成後の画像の遮蔽領域に、Ｓ２２において生成された補完画像を重畳することで、カメラ２０Ａの画像を補完する。なお、本実施形態では、補完処理として、補完画像を遮蔽領域に重畳する処理について説明したが、遮蔽領域に対応する他のカメラの画像領域を含む領域の他カメラ画像を、遮蔽領域の近傍の別枠内に重畳するようにしてもよい。
上記の画像補完処理により、図１７に示すように、人物Ｐ２の人体部分５２２のうち人物Ｐ１に対応する推定人体領域５１１と重複する人体部分は、擬似再現されて表示されることになる。つまり、人物Ｐ１の人体部分（図１２では肩部）によって隠されていた人物Ｐ２の人体部分（図１２では脚部）も、上記の画像補完処理により表示させることができる。一方、人物Ｐ１の人体部分５２１は、人物Ｐ２に対応する人体領域５１２と重複する人体部分についても、適切に透明化処理されることになる。

以上のように、画像処理装置３０は、第一領域の画像処理に際し、重複領域（遮蔽領域）を除く第一領域に第一の画像処理を施し、重複領域（遮蔽領域）に第二の第一の画像処理とは異なる第二の画像処理を施す。ここで、第一の画像処理は、透明化処理などの抽象化処理とし、第二の画像処理は、第二領域における上記重複領域に対応する遮蔽領域を補完する画像補完処理とすることができる。
その際、画像処理装置３０は、遮蔽領域が存在する第一の画像を撮像したカメラ２０とは異なる別のカメラ２０によって撮像された第二の画像に基づいて、遮蔽領域を補完する。具体的には、画像処理装置３０は、第二の画像中における遮蔽領域に対応する画像領域を推定し、推定された画像領域の画像を投影変換等により第一の画像中の遮蔽領域に対応する画像に変換し、第一の画像の遮蔽領域に重畳する。これにより、遮蔽領域の擬似再現が可能となり、ユーザに遮蔽領域に対応する画像を提示することができる。
なお、画像処理装置３０は、第二の画像中における遮蔽領域に対応する画像領域を推定した場合、推定された画像領域を含む領域の画像を、第一の画像の遮蔽領域の近傍に重畳してもよい。この場合、複雑な処理を必要とすることなく、ユーザに遮蔽領域に対応する画像を提示することができる。

（変形例）
上記実施形態においては、画像処理の対象を物体および人体としているが、人体のみを画像処理の対象とする場合には、画像処理装置３０は、図４の物体検出部３０２や物体領域検出部３０３を備えていなくてもよい。
また、上記実施形態においては、画像処理装置３０は、特定領域内の人物以外のプライバシーを保護することを目的とした画像処理を行う場合について説明したが、画像処理の内容は上記に限定されない。例えば、特定領域内に進入した人物を容易に確認することを目的として、特定領域内の人体のみを強調表示するといった画像加工を施してもよい。このように、画像処理の内容は、目的に応じて適宜選択可能である。
さらに、上記実施形態においては、カメラ２０が監視カメラである場合について説明したが、公共の場での放送映像用のカメラであってもよい。この場合、特定領域内（例えば、画面中央）に位置するアナウンサーだけを表示し、他の物体（人体を含む）はぼかしたりするような処理を行うことができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０…ネットワークカメラシステム、２０…カメラ、３０…画像処理装置、４０…ＬＡＮ、３０１…画像取得部、３０２…物体検出部、３０３…物体領域検出部、３０４…人体位置推定部、３０５…人体領域推定部、３０６…領域設定部、３０７…人体領域抽出部、３０８…背景画像取得部、３０９…合成マップ生成部、３１０…画像処理部、３１１…出力部

Claims (17)

1. 複数の撮像手段によりそれぞれ撮像された複数の画像を取得する取得手段と、
   前記取得手段により取得された複数の画像に基づいて、前記画像中の特定物体の三次元位置を推定する第一の推定手段と、
   前記第一の推定手段により推定された前記特定物体の三次元位置に基づいて、前記画像中における、所定の三次元領域外に存在する前記特定物体を包含する領域である第一領域と、前記三次元領域内に存在する前記特定物体を包含する領域である第二領域とをそれぞれ抽出する抽出手段と、
   前記第一領域と前記第二領域との重複領域を特定する特定手段と、
   前記特定手段により特定された重複領域を含む前記第一領域に画像処理を施す画像処理手段と、を備えることを特徴とする画像処理装置。
2. 前記特定物体の三次元位置に基づいて、前記重複領域を有する前記第一領域および前記第二領域にそれぞれ対応する特定物体の前記撮像手段に対する前後位置関係を判定し、前記第一領域に対応する特定物体が前記撮像手段に対して前方に位置すると判定した場合に、前記重複領域に前記画像処理を施すと判定する判定手段をさらに備え、
   前記画像処理手段は、
   前記判定手段により前記重複領域に画像処理を施すと判定された場合に、前記重複領域を含む前記第一領域に前記画像処理を施し、前記判定手段により前記重複領域に前記画像処理を施さないと判定された場合は、前記第一領域から前記重複領域を除外した領域に前記画像処理を施すことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理手段は、
   前記判定手段により前記重複領域に画像処理を施すと判定された場合、前記重複領域を除く前記第一領域と、前記重複領域とに、同じ画像処理を施すことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像処理手段は、
   前記判定手段により前記重複領域に画像処理を施すと判定された場合、前記重複領域を除く前記第一領域に第一の画像処理を施し、前記重複領域に前記第一の画像処理とは異なる第二の画像処理を施すことを特徴とする請求項１または２に記載の画像処理装置。
5. 前記画像処理手段は、
   前記第二の画像処理として、前記第二領域における前記重複領域に対応する遮蔽領域を補完する処理を行う補完手段を備えることを特徴とする請求項４に記載の画像処理装置。
6. 前記補完手段は、
   前記取得手段により取得された複数の画像のうち、前記遮蔽領域が存在する第一の画像を撮像した前記撮像手段とは異なる前記撮像手段によって撮像された第二の画像において、前記遮蔽領域に対応する画像領域を推定する第二の推定手段と、
   前記第二の画像における前記第二の推定手段によって推定された画像領域を含む領域の画像を、前記第一の画像の前記遮蔽領域の近傍に重畳する重畳手段と、を備えることを特徴とする請求項５に記載の画像処理装置。
7. 前記補完手段は、
   前記取得手段により取得された複数の画像のうち、前記遮蔽領域が存在する第一の画像を撮像した前記撮像手段とは異なる前記撮像手段によって撮像された第二の画像において、前記遮蔽領域に対応する画像領域を推定する第二の推定手段と、
   前記第二の画像における前記第二の推定手段によって推定された画像領域の画像を、前記第一の画像の前記遮蔽領域に対応する画像に変換し、前記第一の画像の前記遮蔽領域に重畳する重畳手段と、を備えることを特徴とする請求項５に記載の画像処理装置。
8. 前記抽出手段は、
   前記第一の推定手段により推定された前記特定物体の三次元位置に基づいて、前記画像中における前記特定物体を包含する領域を、所定形状の領域として抽出することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記抽出手段は、
   前記特定物体の輪郭を検出する輪郭検出手段を有し、
   前記輪郭検出手段によって検出された輪郭の情報に基づいて、前記画像中における前記特定物体を包含する領域を抽出することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記画像処理は、前記画像を抽象化して表示するための抽象化処理を含むことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記画像処理手段は、
    前記抽象化処理として、透明化処理、半透明化処理、ぼかし処理、モザイク処理および塗りつぶし処理のいずれかの処理を行うことを特徴とする請求項１０に記載の画像処理装置。
12. 前記画像処理手段は、
    前記抽象化処理として、前記取得手段により取得された画像と背景画像とを合成する処理を行うことを特徴とする請求項１０に記載の画像処理装置。
13. 前記特定物体は、人体を含むことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記取得手段により取得された複数の画像に基づいて、前記複数の画像間で対応付けられた人体を検出する検出手段をさらに備え、
    前記第一の推定手段は、
    前記取得手段により取得された複数の画像に基づいて、前記検出手段により検出された人体の三次元位置を推定することを特徴とする請求項１３に記載の画像処理装置。
15. 複数の撮像手段と、
    請求項１から１４のいずれか１項に記載の画像処理装置と、
    前記画像処理手段による画像処理後の画像を表示手段に表示させる表示制御手段と、を備えることを特徴とする画像処理システム。
16. 複数の撮像手段によりそれぞれ撮像された複数の画像を取得するステップと、
    前記複数の画像に基づいて、前記画像中の特定物体の三次元位置を推定するステップと、
    前記特定物体の三次元位置に基づいて、前記画像中における、所定の三次元領域外に存在する前記特定物体を包含する領域である第一領域と、前記三次元領域内に存在する前記特定物体を包含する領域である第二領域とをそれぞれ抽出するステップと、
    前記第一領域と前記第二領域との重複領域を特定するステップと、
    前記重複領域を含む前記第一領域に画像処理を施すステップと、を含むことを特徴とする画像処理方法。
17. コンピュータを、請求項１から１４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images