JP2019125911A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】適切な背景画像を使ったプライバシ保護画像の生成を可能とする画像処理装置を提供すること。【解決手段】画像処理装置は、撮像手段により撮像した撮像画像について所定のオブジェクトを検出する検出手段と、前記検出手段による所定のオブジェクトの検出に基づいて、前記オブジェクトを検出していない期間に撮像した撮像画像を第一の画像として取得する第一の取得手段と、前記検出手段によって所定のオブジェクトを検出している撮像画像を第二の画像として取得する第二の取得手段と、前記第一の画像と前記第二の画像から前記オブジェクトのマスク画像を作成する作成手段と、前記マスク画像と、前記第一の画像または第二の画像とを合成する合成手段と、を備える。【選択図】 図２

Description

本発明は、画像処理装置および画像処理方法に関する。

近年、監視カメラや、監視カメラの映像を保存するＶＭＳ（Ｖｉｄｅｏ Ｍａｎａｇｅｍｅｎｔ Ｓｏｆｔｗａｒｅ）システムが広く設置されている。また、監視カメラ映像に写る個人のプライバシ保護の重要性が高まっている。特許文献１は、人体検出結果を利用して人体領域をマスク化した映像を作成する技術（モニタリング装置）を開示している。特許文献２は、監視モジュールで抽出した画像と基準画像との差分領域の輪郭情報を受信ユニットに送り、受信ユニットで輪郭情報を背景画像に合成して表示する技術を開示している。

特許第５８３４１９３号公報 特許第４５７８０４４号公報

特許文献１のモニタリング装置は、人物を除去した背景画像を複数の画像を用いて生成し、生成した背景画像上にマスク画像を重畳してプライバシ保護画像を生成している。従って、特許文献１のモニタリング装置では、人物を除去した背景画像を生成するための時間・処理が必要である。また、人物が存在する画像を背景画像にしてしまうと、プライバシが保護された画像にならない。
特許文献２では、固定的な背景画像に輪郭情報を合成する。従って、特許文献２では、カメラがとらえる実世界の変化を背景に反映させることができず、環境変化などの情報を監視者に十分に提供することができない。
本発明は上述した課題を解決するためになされたものであり、適切な背景画像を使ったプライバシ保護画像の生成を可能とする画像処理装置および画像処理方法を提供することを目的とする。

上記目的を達成するための本発明の１つの態様によれば、画像処理装置は、撮像手段により撮像した撮像画像について所定のオブジェクトを検出する検出手段と、前記検出手段による所定のオブジェクトの検出に基づいて、前記オブジェクトを検出していない期間に撮像した撮像画像を第一の画像として取得する第一の取得手段と、前記検出手段によって所定のオブジェクトを検出している撮像画像を第二の画像として取得する第二の取得手段と、前記第一の画像と前記第二の画像から前記オブジェクトのマスク画像を作成する作成手段と、前記マスク画像と、前記第一の画像または第二の画像とを合成する合成手段と、を備える。

本発明によれば、適切な背景画像を使ったプライバシ保護画像を生成することができる。

実施形態１の画像処理装置のハードウェア構成の一例を示す図。 実施形態１の画像処理装置のソフトウェア構成の一例を示す図。 実施形態１のプライバシ保護対象体検出タイミングと録画期間を説明する図。 実施形態１のプライバシ保護画像作成のフローチャート。 実施形態１の画像処理装置に接続された表示部を示す図。 実施形態２のプライバシ保護対象体検出タイミングと録画期間を説明する図。

以下に、本発明の好ましい実施形態を、添付図面に基づいて詳細に説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置やシステムの構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。

＜実施形態１＞
（画像処理装置のハードウェア構成）
図１は、本実施形態の画像処理装置１０のハードウェア構成の概念図である。
画像処理装置１０は、ＣＰＵ１１と、メモリ１２と、画像処理部１３と、プライバシ保護処理部１４と、システムバス１５と、ＩＦ（インタフェース）１６と、録画制御部１７と、ＨＤＤ１８と、ＮＩＣ１９と、外部センサ入力部２０とを有する。ＨＤＤはＨａｒｄ Ｄｉｓｃ Ｄｒｉｖｅの略である。ＮＩＣはＮｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略である。画像処理装置１０は、例えば、監視エリアに設置された撮像部３０の撮影映像（画像群）から検出された人体領域をシルエット化（マスク化）し、プライバシ保護画像として出力する。撮像部３０は、レンズやセンサを備えたカメラなどで構成されている。本実施形態では、撮像部３０は１台のカメラを備えているとする。カメラは、例えば、ネットワークカメラである。

ＣＰＵ１１は、システムバス１５に接続された各部１２〜１４、１６〜２０の制御を行う。
メモリ１２は、ＢＩＯＳのプログラムやブートプログラムを格納する。ＢＩＯＳは、Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍの略である。また、メモリ１２は、ＣＰＵ１１の主記憶装置として使用される。メモリ１２は、例えば、ＲＯＭ、ＲＡＭ、フラッシュメモリまたは着脱可能なＳＤカードなどの記憶媒体により構成される。
画像処理部１３は、動体検出、人体検出、顔検出などの画像処理機能を有する機能ブロックである。動体、人体、顔などの検出対象は、オブジェクトと称することができる。画像処理部１３の画像処理機能は、ＣＰＵ１１の指示により制御される。画像処理部１３には、システムバス１５を介して各部１１、１２、１４、１６〜２０からデータの送受信が行われる。画像処理部１３は、撮像画像について所定のオブジェクトを検出する。

プライバシ保護処理部１４は、画像のプライバシ保護処理を行う機能ブロックである。プライバシ保護処理部１４のプライバシ保護処理機能は、ＣＰＵ１１の指示により制御される。プライバシ保護処理部１４には、システムバス１５を介して各ブロック１１〜１３、１６〜２０からデータの送受信が行われる。
インタフェース１６には、キーボード、マウスなどの操作部４０と表示部５０が接続される。表示部５０はＧＵＩを有する（図５を参照して後述する）。ＧＵＩは、Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅの略である。表示部５０は、インタフェース１６を介してＣＰＵ１１から指示を受け取り、例えば、画像を表示する。操作部４０や表示部（ＧＵＩ）５０は、画像処理装置１０のユーザがデータ、情報、指示などを入力する際に使用される。表示部５０は、音声出力部を有してもよい。
録画制御部１７は、ＣＰＵ１１や他の機能ブロック（画像処理部１３、プライバシ保護処理部１４）からの指示・要求によりハードディスク（ＨＤＤ）１８へのデータ（画像）の書き込み、読み出しを行う。

ＨＤＤ１８は、２つの領域を有する画像保存部である。ＨＤＤ１８の１つの領域は、撮像部３０が撮像した画像を常時保存・常時録画する領域である。この領域には、撮像部３０からの入力画像が順次保存・録画される。常時録画できる期間はＨＤＤ１８のメモリ容量などにより決まっており、所定時間が経過した録画は上書き録画される。上書きされた画像は、他のメモリ領域に移動し保存するなどの処理が行われない限り、消去される。ＨＤＤ１８のもう１つの領域は、オブジェクト（例えば、人体）の検出があった場合に、検出期間中の画像を保存・録画する領域である。検出期間中の画像は、本実施形態において実行されるプライバシ保護処理のための画像である。この領域の画像は、少なくともプライバシ保護処理が終わるまで、上書き録画されない。

ＮＩＣ１９は、ネットワークに有線または無線で接続し、ネットワークを介しての情報通信や画像通信を行う。実施形態１では、撮像部３０は、ネットワークを介してＮＩＣ１９に接続される。なお、撮像部３０は、画像処理装置１０に、ネットワーク以外を介して通信可能に接続されていてもよい。
外部センサ入力部２０は、外部センサ（照明センサ、赤外センサ、音センサ、自動ドアセンサ、距離センサ、温度センサなど）６０に有線または無線で接続されている。外部センサ入力部２０は、外部センサ６０からの情報を受け取る。赤外センサや距離センサは、例えば、人感センサとして使用することができる。

（画像処理装置のソフトウェア構成）
図２は画像処理装置１０のソフトウェア機能ブロック図である。画像処理装置１０は、画像入力部１０１と、画像録画機能部１０２と、画像処理部１０３と、プライバシ保護処理部１０４と、を含んでいる。
画像入力部１０１は、撮像部３０から所定の間隔で画像を順次取得して、当該画像を画像録画機能部１０２および画像処理部１０３へ提供する。なお、画像入力部１０１に入力された画像は、表示部５０に表示されてもよい。

画像録画機能部１０２は、撮像部３０から入力された画像（入力画像）をＨＤＤ１８（図１）に保存する。これは、常時録画のための保存である。保存する入力画像は、画像処理装置１０の設定に従い、すべての入力画像を保存したり、所定時間の画像を間引き処理して保存したりする。画像録画機能部１０２は、常時録画を行っており、人体等を検出したという検出情報（検出イベント情報）を画像処理部１０３から受信した少し前の時刻からの録画画像をＨＤＤ１８に保存する機能を持っている。また、画像録画機能部１０２は、検出イベント終了後の所定時間の画像をＨＤＤ１８に保存する機能も持っている。
さらに、画像録画機能部１０２は、画像処理部１０３からの検出情報に基づいて録画（プライバシ保護処理のための録画）を開始したり、終了することができる。つまり、画像録画機能部１０２は、検出イベントの発生から終了までの画像（検出期間の画像）をＨＤＤ１８に保存・録画する機能も持っている。

画像処理部１０３は、動体検出処理、人体検出処理、顔検出処理などの画像処理を行う。画像処理部１０３は、画像入力部１０１から入力された画像の中に人体が検出されるなどの検出イベントが発生した場合、画像処理装置１０の設定によりプライバシ保護処理部１０４へ検出情報（検出イベント情報や発生時刻などの情報）を送信する。本実施形態では、画像処理部１０３は人体を検出することとする。人体が検出されなくなると、画像処理部１０３は当該検出情報（人体が検出されなくなったという情報）をプライバシ保護処理部１０４へ送信する。また、人体が検出されなくなると、画像処理部１０３は、プライバシ保護画像作成終了の要求をプライバシ保護処理部１０４へ送信してもよい。図２の画像処理部１０３は、図１の画像処理部１３に相当する。

プライバシ保護処理部１０４は、プライバシ保護対象（人体）部分をマスク画像でマスクしたプライバシ保護画像を作成する。プライバシ保護画像を作成する場合、プライバシ保護処理部１０４は、まず、人体の写っていない背景のみの画像データ（以下、「背景画像」と称する）を取得する。次に、プライバシ保護処理部１０４は、マスクをする領域を抽出するため、背景画像と入力画像との差分を計算し、前景画像の作成を行う。前景画像は、背景画像に存在しない人体の形をした画像である。本実施形態では、前景画像の全体を灰色のシルエット画像とし、当該シルエット画像をマスク画像として使用する。プライバシ保護処理部１０４は、マスク画像と背景画像を合成することにより、人体領域をマスクしたプライバシ保護画像を生成する。図２のプライバシ保護処理部１０４は、図１のプライバシ保護処理部１４に相当する。
生成されたプライバシ保護画像は、画像処理装置１０から随時出力されてもよいし、画像処理装置１０内部のＨＤＤ１８に保存し、外部からの要求に応じて出力されるようにしてもよい。プライバシ保護画像は、例えば、表示部５０に出力される。また、プライバシ保護画像は、ネットワークを介して外部装置に出力されてもよい。

プライバシ保護処理部１０４がプライバシ保護処理を開始するタイミングは、例えば、画像録画機能部１０２から画像がプライバシ保護処理部１０４へ入力される時か、画像録画機能部１０２が画像の録画を行う時（図３のタイミング３０２）でよい。あるいは、画像処理部１０３からの検出情報（検出イベント情報）がプライバシ保護処理部１０４に入力された時に、プライバシ保護処理部１０４がプライバシ保護処理を開始してもよい。
ＨＤＤ１８に録画された画像をプライバシ保護処理したい場合は、例えば、ユーザが画像処理装置１０の操作部４０を使ってプライバシ保護処理を指示すると、プライバシ保護処理部１０４がプライバシ保護処理を開始する。

図３は、本実施形態において、検出イベントが発生したときの録画期間と録画開始（プライバシ保護処理開始）トリガとの関係を説明する図である。
図３の横軸３０１は時間経過を示している。録画開始（プライバシ保護対処理開始）トリガとなる検出イベントタイミングは矢印３０２で示され、検出終了タイミングは矢印３０３で示されている。矢印３０２と３０３の間の期間が検出期間３０４である。矢印３０２は検出期間３０４の始点を示し、矢印３０３は検出期間３０４の終点を示す。画像録画機能部１０２は、検出期間３０４の画像群（以下、「画像」と称する）３０５を録画するとともに、検出イベント発生タイミング（検出開始タイミング）３０２の時刻より所定時間前から常時録画していた画像３０６も保存する。検出開始タイミング３０２の時刻より所定時間前から常時録画している期間は、図３では符号３０７で示している。また、画像録画機能部１０２は、検出終了タイミング３０３の時刻から所定時間後の画像３０８も保存する。検出終了タイミング３０３の時刻から所定時間後の期間は、図３では符号３０９で示している。上記した所定時間は画像処理装置１０（画像録画機能部１０２）の設定により決定することができる。画像３０６は検出期間外で且つ検出期間３０４の始点に近接する時点の（直前の）画像である。画像３０８は検出期間外であって且つ検出期間３０４の終点に近接する時点の（直後の）画像である。検出期間外とは、所定のオブジェクトを検出していない期間である。

（プライバシ保護画像を作成するための動作フロー）
次にプライバシ保護画像を作成するための動作フローを図４のフローチャートにより説明する。図４のフローチャートは、画像処理装置１０のＣＰＵ１１がメモリ１２に記憶されるプログラムを実行することにより処理される。図４のフローチャートが開始される前に、ＨＤＤ１８には背景画像となる画像３０６とプライバシ保護対象画像３０５が保存されているとする。
はじめにＳ４１において、プライバシ保護処理部１０４はプライバシ保護画像作成要求を受信する。プライバシ保護画像作成要求は、画像処理部１０３が人体検出（検出イベント）を検出情報としてプライバシ保護処理部１０４に通知することにより成される。これは、人体が監視エリアに存在しない場合はプライバシ保護処理を行わず、人体が検出された場合のみ、プライバシ保護処理した画像を取得したい場合に有効である。

プライバシ保護画像作成要求を受けたプライバシ保護処理部１０４は、Ｓ４２において、背景画像の取得を行う。背景画像は被写体の写っていない背景のみの画像を用いることが好ましい。本実施形態では、検出開始タイミング（図３の符号３０２）以前の画像３０６（より正確には、期間３０７中の画像群の中の１枚の画像）を背景画像として採用する。検出開始タイミング３０２以前の画像には、人体が存在しないと考えられるからである。画像３０６は、検出開始タイミング３０２の直前の（近接する時点の）画像である。プライバシ保護処理部１０４は、画像３０６を画像録画機能部１０２（ＨＤＤ１８）から取得し、背景画像として設定する。
プライバシ保護処理部１０４が画像録画機能部１０２（ＨＤＤ１８）から画像を取得する場合、図２の「画像要求」がプライバシ保護処理部１０４から画像録画機能部１０２に送られる。

Ｓ４３において、プライバシ保護処理部１０４は、プライバシ保護処理対象となる画像３０５を画像録画機能部１０２（ＨＤＤ１８）から取得する。
Ｓ４４において、プライバシ保護処理部１０４は、Ｓ４３で取得した画像３０５に基づいて、Ｓ４２で取得した背景画像の更新を行い、背景画像を最新の状態（直近の背景画像）にする。
Ｓ４５において、プライバシ保護処理部１０４はマスク画像の作成を行う。具体的には、プライバシ保護処理部１０４は、プライバシ保護対象画像３０５と背景画像３０６の差分を計算し、当該差分を用いてマスク画像を作成する。
Ｓ４６において、プライバシ保護処理部１０４は、Ｓ４５で作成されたマスク画像を背景画像に合成することでプライバシ保護画像を作成する。

Ｓ４７において、プライバシ保護処理部１０４は、Ｓ４６で作成されたプライバシ保護画像を出力する。
Ｓ４８において、プライバシ保護処理部１０４は、画像処理部１０３からプライバシ保護画像作成終了の要求を受信したかを判定する。画像処理部１０３の検出期間３０４が終了すると、画像処理部１０３は、プライバシ保護画像作成終了の要求をプライバシ保護処理部１０４に送信する。つまり人体が検出されなくなると、画像処理部１０３はプライバシ保護画像作成終了の要求をプライバシ保護処理部１０４に送信する。プライバシ保護処理部１０４がプライバシ保護画像作成終了の要求を受信すると、図４のフローは終了する。

プライバシ保護処理部１０４がプライバシ保護画像作成終了の要求を受信しなければ（Ｓ４８：Ｎｏ）、プライバシ保護処理部１０４の処理は、Ｓ４３へ戻りＳ４３〜Ｓ４７が実行される。つまり、プライバシ保護処理部１０４は、プライバシ保護画像の作成および出力を継続する。
なお、プライバシ保護処理の実行時間に制限を設けるために、プライバシ保護処理の開始から時間をカウント（計測）するタイマをプライバシ保護処理部１０４に設けてもよい。その場合、Ｓ４８において、プライバシ保護処理部１０４は、タイマによる計測時間が設定時間を超えたならば、プライバシ保護画像の作成を終了する。

（表示部のモニタとＧＵＩ）
図５は、表示部５０のモニタ５１とＧＵＩ５２を示している。撮像部３０は、廊下の天井に設置されて、廊下を歩く人を撮像できるようになっているとする。
図５（ａ）のモニタ５１に表示されている画像は、廊下に人がいないときの撮像画像であり、撮像部３０から画像処理装置１０を経由して表示部５０に送られた画像である。図５（ａ）の画像には、廊下の右壁５３Ｒ、左壁５３Ｌ、床５４が映っている。撮像時刻は８時３６分０５秒である。
モニタ５１の下には、ＧＵＩ５２が設けられている。ＧＵＩ５２は、タイムライン５６を有する。タイムライン５６の上に示した矢印３０２と３０３は、図３の矢印と同じものである。
図５（ｂ）のモニタ５１に表示されている画像は、廊下を人５５が歩いているときの画像である。図５（ｂ）の画像は、プライバシ保護画像であり、検出された人体は灰色のシルエット画像になっている。撮像時刻は８時３６分０９秒である。

図５（ａ）の画像の撮像時刻が０８：３６：０５で、図５（ｂ）の画像の撮像時刻が０８：３６：０９であるので、図５（ａ）の画像を撮像してから４秒以内に人体が検出されている。よって、図５（ａ）の画像は、人体検出の直前の画像であり、図３の画像３０６に該当する。ＧＵＩ５２のタイムライン５６上には、図３に示した期間３０４、３０７、３０９が帯状に示されている。矢印３０２の左の長方形（帯）が期間３０７で、矢印３０２と３０３の間の長方形が期間３０４で、矢印３０３の右の長方形が期間３０９である。例えば、期間３０４は赤色で表示され、期間３０７と３０９はピンク色で表示される。また、タイムライン５６上には、背景画像の取得タイミングを示す太線Ａが表示される。よって、ユーザには、期間３０７の中の太線Ａの時刻で取得された画像がＳ４２の背景画像として使用されることが分かる。なお、太線Ａの近傍に、より正確な撮像時刻を示す「８：３６：０５．６７９」が表示されている。

画像処理装置１０のユーザは、ＧＵＩ５２の録画再生ボタン５７ａ、巻き戻しボタン５７ｂ、早送りボタン５７ｃ、５７ｄ、ツマミ（スライダ）５８等を操作して、８時３６分０５秒の画像を表示部５０に表示することを、画像処理装置１０に指示できる。つまり、ユーザは、８時３６分０５秒の画像をＳ４２の背景画像として使用するように、プライバシ保護処理部１０４に指示を送ることができる。このようにすると、ユーザは、図５（ａ）の画像に人が映っていないことを確認した上で、図５（ａ）の画像を背景画像として使用するように指示を出すことができる。例えば、図５（ａ）の画像に人の一部が映っていた場合には、ユーザは、ツマミ５８を少し左に移動し、人が全く映っていない画像を探して、背景画像として使用することを決定する。
図５（ｂ）の太線Ｂは、図５（ｂ）の画像の撮像時刻を示す線である。

（変形例）
上記した実施形態においてプライバシ保護処理に使用する背景画像を取得する期間は、検出開始タイミング３０２の前の期間３０７であるとした。本発明はこのような実施形態に限定されず、検出終了タイミング３０３の後の期間３０９の画像３０８を背景画像としてもよい。例えば監視エリアに自動照明が設置されている場合などは、人体が検出されると照明が点灯する。よって、期間３０７の画像３０６と期間３０４の画像３０５では、明るさが異なってしまい、期間３０７の画像３０６を背景画像として用いることが適切ではなくなる場合もある。自動照明が設置された場所では、検出開始タイミング３０２以前の画像３０６の明るさは安定しておらず、画像３０６の明るさが変化している可能性がある。一方、検出終了タイミング３０３の後の期間３０９は、照明が点灯されて十分な時間が経過している期間であるため、カメラパラメータも安定し、画像３０８の明るさの変化も少ない。このような場合は、検出終了タイミング３０３の後の期間３０９の画像３０８を背景画像とすることで、より好適な背景画像とすることができる。画像３０８を背景画像とする場合には、図４のＳ４２で背景画像を取得する際に、画像３０８を取得する。照明が点灯した場合、例えば、外部センサ６０が照明の発光を検出し、外部センサ６０は、当該検出結果（情報）を外部センサ入力部２０に入力する。
なお、外部センサが音センサである場合、当該音センサが異常音を検出したならば、異常音が発生する前の画像を背景画像として採用するようにしてもよい。

上記した実施形態では、画像処理部１０３は、人体検出処理（画像処理）を行い、検出情報を生成し、画像録画機能部１０２とプライバシ保護処理部１０４に検出情報を提供していた。本発明はこのような実施形態に限定されない。例えば、外部に設けられた人感センサや照明センサなどの外部センサ６０からの検出情報に基づいて録画制御やプライバシ保護処理を実行してもよい。つまり、画像処理部１０３が外部センサ処理部として機能してもよい。
この場合、図２において画像処理部１０３を外部センサ処理部とすることで、図２と同じ構成の画像処理装置を使用することができる。画像処理部（外部センサ処理部）は外部センサ６０から検出情報を受け取り、当該検出情報を画像録画機能部１０２とプライバシ保護処理部１０４に送る。
また、画像処理部１０３は、画像を処理して検出情報を生成するという機能を保持すると共に、外部センサ６０からの検出情報も受け取るように構成されてもよい。この場合、画像処理により得た検出情報と、外部センサ６０から得た検出情報とが、画像録画機能部１０２およびプライバシ保護処理部１０４に供給される（動作トリガとなる）。

図４のフローチャートでは、Ｓ４３の次に背景画像の更新を行った（Ｓ４４）。本実施形態は、このようなフローに限定されない。背景画像の更新が必要ない（または背景画像の更新を望まない）場合も有り得るので、その場合には、Ｓ４４のステップは実行せずＳ４３からＳ４５に進む。また、図４のフローチャートでは背景画像にマスク画像を合成した（Ｓ４６）が、入力画像にマスク画像を合成してもよい。
図１に示す各機能モジュール（画像処理部１３、プライバシ保護処理部１４、画像制御部１７）はソフトウェアによって実現されてもよい。ソフトウェアによって実現される場合、前述した各機能モジュールの機能を提供するためのプログラムがメモリ１２のＲＯＭに記憶される。記憶されたプログラムは、適宜、メモリ１２のＲＡＭに読み出され、ＣＰＵ１１が当該プログラムを実行することにより、それら機能モジュールの機能が実現される。

図２に示す各機能ブロック（画像入力部１０１、画像録画機能部１０２、画像処理部１０３、プライバシ保護処理部１０４）は、ハードウェアによって実現されてもよい。ハードウェアにより実現される場合、例えば、所定のコンパイラを用いることで、各機能ブロックの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。
なお、図１および図２に示したモジュールやブロックの構成は一例であり、複数の機能モジュール（ブロック）が１つの機能モジュール（ブロック）を構成するようにしてもよい。あるいは、いずれかの機能モジュール（ブロック）が複数の機能を行うモジュール（ブロック）に分かれてもよい。

実施形態１では、図２に示すように、画像入力部１０１と、画像録画機能部１０２と、画像処理部１０３と、プライバシ保護処理部１０４が１つの画像処理装置１０の中に存在する。本実施形態は、このような構成に限定されない。例えば、画像入力部１０１と、画像録画機能部１０２と、画像処理部１０３と、プライバシ保護処理部１０４が機能ごとに別々の装置に分離されてもよいし、特定の機能部だけを別の装置としてもよい。例えば、画像入力部１０１と、画像録画機能部１０２と、画像処理部１０３を１つの装置とし、プライバシ保護処理部１０４を別の装置としてもよい。
プライバシ保護処理部１０４を別の装置とした場合、当該装置には画像入力部１０１から入力画像が送られるようにしてもよい。この場合、プライバシ保護処理部１０４は、撮像部からの入力画像を直接取得する。また、プライバシ保護処理部１０４は、画像３０５と共に検出情報を示すメタデータを、画像録画機能部１０２から取得する。メタデータは、画像３０５に含まれていてよい。プライバシ保護処理部１０４は、メタデータに基づいて、検出期間３０４の直前の画像３０６を、入力画像から取得して背景画像とする。そして、プライバシ保護処理部１０４は、当該背景画像と画像３０５に基づいて、マスク画像を生成し、プライバシ保護画像を生成することができる。

実施形態１では、画像処理装置１０と撮像部３０はネットワークを介して接続されていた。画像処理装置１０と撮像部３０により、画像処理システムが構成されていると考えてもよい。また、画像処理装置１０と撮像部３０は分離されていたが、画像処理装置１０と撮像部３０は一体化されもよい。
マスク画像の例として、人体の形をして全体が灰色のシルエット画像を説明したが、マスク画像はシルエット画像に限定されない。例えば、性別、身長、髪型、衣服、体型などがはっきり分からないようにデフォルメ加工などを施した画像をマスク画像として用いてもよい。
実施形態１では画像を保存するＨＤＤ１８が画像処理装置１０の中に設けられたが、ＨＤＤ１８は画像処理装置１０の外に設けてもよい。また、外部センサ６０がない環境では、画像処理装置１０に外部センサ入力部２０を設けなくてもよい。

（実施形態１の効果）
本実施形態によれば、プライバシ保護対象画像３０５の直前の画像３０６を背景画像として用いるので、適切な背景画像を使ったプライバシ保護画像を生成するこができる。プライバシ保護対象画像３０５の直前の画像３０６を背景画像として用いるので、プライバシを適切に保護した画像を生成・出力できると共に、映像閲覧者への実世界で起こる環境変化などの情報提供も適切に行うことができる。
本実施形態では、画像処理により人体を検出した際のプライバシ保護画像の作成、あるいは外部センサ６０により人体を検出した際のプライバシ画像の作成において、背景画像として、検出タイミング前の画像、あるいは検出終了後の画像を使う。これにより人体検出期間に近い状況の画像を背景画像として使用することができるため、人体が存在しない背景画像を検索したり、背景画像の合成に時間および計算コストをかけることなく、プライバシ画像生成をすることができる。

＜実施形態２＞
実施形態１では１台の撮像部（カメラ）からの画像を画像処理装置１０に入力・録画して、プライバシ保護処理を行う場合について説明したが、本発明は、複数台のカメラが連携した場合にも適用できる。例えば、監視エリアが広いために１台のカメラでは監視エリア全体を監視できない場合、複数のカメラを用いて、監視エリア全体を監視できるようにする。以下、３台のカメラＡ、Ｂ、Ｃが連携した場合を実施形態２として説明する。カメラＡとＢの撮像領域は一部重複しており、カメラＢとＣの撮像領域は一部重複しているとする。カメラＡ、Ｂ、Ｃは画像処理装置１０にネットワークを介して接続されているとする。また、ＨＤＤ１８は、各カメラ毎に、画像を保存、録画する保存領域を持っているとする。

図６は、３台のカメラＡ、Ｂ、Ｃの録画期間とプライバシ保護対象体検出タイミングを説明する図である。図６（ａ）の横軸６０１はカメラＡの時間経過を示し、図６（ｂ）の横軸６１１はカメラＢの時間経過を示し、図６（ｃ）の横軸６２１はカメラＣの時間経過を示している。それぞれ図３と同様に、矢印６０２、６１２、６２２は検出開始タイミングを示し、矢印６０３、６１３、６２３は、検出終了タイミングを示している。期間６０４、６１４、６２４は検出期間であり、検出期間の録画画像は画像６０５、６１５、６２５である。検出開始タイミング６０２、６１２、６２２の時刻より所定時間前から常時録画していた画像は画像６０６、６１６、６２６である。画像６０６、６１６、６２６の録画期間は期間６０７、６１７、６２７である。検出終了タイミング６０３、６１３、６２３の時刻から所定時間後の画像は、画像６０８、６１８、６２８である。画像６０８、６１８、６２８の録画期間が期間６０９、６１９、６２９である。

カメラＡ、Ｂ、Ｃは、例えば廊下の天井または壁に、廊下の長手方向に沿って所定の間隔を置いて設置されているとする。また、人が廊下を歩行する場合、カメラＡ、Ｂ、Ｃの順に人体が撮影されると予測がつくものとする。以下の説明では、カメラＡ、Ｂ、Ｃの順に、人体が撮影されるとする。また、カメラＡの画像における検出開始タイミング６０２からカメラＣの画像における検出終了タイミング６２３までの間、人体が検出され続けているとする。人体が一定速度で歩行しているとすると、カメラＡの撮像範囲は、期間６０７、６０４、６０９の合計に相当し、カメラＢの撮像範囲は、期間６１７，６１４、６１９の合計に相当し、カメラＣの撮像範囲は、期間６２７、６２４、６２９の合計に相当する。
カメラＡの画像については、実施形態１で説明されたような動作・処理により、画像処理装置１０は、人体（プライバシ保護対象）を検出する。そして、画像処理装置１０は、検出開始タイミング６０２から検出終了タイミング６０３の間の検出期間６０４とその前後の期間６０７および６０９の画像を保存、録画する。そして、画像処理装置１０は、画像６０５と６０６に基づいて、あるいは、画像６０５と６０８に基づいて、プライバシ保護画像を作成する。画像処理装置１０は、生成したプライバシ保護画像を表示部５０に出力する。

カメラＢの画像については、画像処理装置１０は、カメラＡの検出開始タイミング６０２から背景画像６１６の保存を開始する。画像処理装置１０は、カメラＡの画像において人体検出があったことが分かるので、カメラＢの画像については、検出タイミング６１２を待たずに、プライバシ保護画像の作成を開始することができる。
カメラＡの検出開始タイミング６０２から所定期間経過後の検出タイミング６１２において、画像処理装置１０は、カメラＢが撮像した画像中に人体を検出する。そして、画像処理装置１０は、カメラＢの画像にプライバシ保護処理をするための録画を開始する。カメラＢの画像における検出期間６１４は、検出終了タイミング６１３まで継続する。画像処理装置１０は、マスク画像を作成し、マスク画像を背景画像６１６に合成する。この合成により、カメラＢの画像についてのプライバシ保護画像が生成される。画像処理装置１０は、プライバシ保護画像を表示部５０に出力する。
このように、カメラＡの画像についてプライバシ保護画像を作成するのと平行して、カメラ画像Ｂの画像について背景画像の取得を開始する。つまり、カメラＡの画像についてプライバシ保護画像を作成するのと平行して、カメラＢの画像についてプライバシ保護画像の作成を開始する。

カメラＣの画像については、画像処理装置１０は、カメラＢの検出開始タイミング６１２から背景画像６２６の保存を開始する。画像処理装置１０は、カメラＢの画像において人体検出があったことが分かるので、カメラＣの画像については、検出タイミング６２２を待たずに、プライバシ保護画像の作成を開始することができる。
カメラＢの検出開始タイミング６１２から所定期間経過後の検出タイミング６２２において、画像処理装置１０は、カメラＣが撮像した画像中に人体を検出する。そして、画像処理装置１０は、カメラＣの画像にプライバシ保護処理をするための録画を開始する。カメラＣの画像における検出期間６２４は、検出終了タイミング６２３まで継続する。画像処理装置１０は、マスク画像を作成し、マスク画像を背景画像６２６に合成する。この合成により、カメラＣの画像についてのプライバシ保護画像が生成される。画像処理装置１０は、プライバシ保護画像を表示部５０に出力する。
このように、カメラＢの画像についてプライバシ保護画像を作成するのと平行して、カメラ画像Ｃの画像について背景画像の取得を開始する。つまり、カメラＢの画像についてプライバシ保護画像を作成するのと平行して、カメラＣの画像についてプライバシ保護画像の作成を開始する。

（実施形態２の効果）
本実施形態によれば、実施形態１の効果に加え、以下の効果が得られる。
カメラＢの画像について画像処理装置１０が作成するプライバシ保護画像で使う背景画像は、カメラＢの画像における検出タイミング６１２を待たず、カメラＡの画像における検出タイミング６０２で保存を開始する。よって、カメラＢの画像については、カメラＢの検出開始タイミング６１２以前からプライバシ保護画像の作成を開始することができる。このように、本実施形態によれば、複数のカメラを用いる場合であっても、画像処理装置１０の負担を軽減しつつプライバシ保護画像の作成を開始することができる。カメラＢの画像とＣの画像におけるプライバシ保護画像の作成ついても、同様な効果が得られる。

＜その他の実施形態＞
上記した実施形態１および２では画像処理装置１０を説明したが、本発明は他の実施形態でも実施（実現）することができる。例えば、本発明は、システム、装置、方法、プログラム（コンピュータプログラム）若しくは記録媒体(記憶媒体)等として実施（具現化）することができる。具体的には、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、一つの機器からなる装置に適用しても良い。

本発明をプログラムとして実施する場合は、上述した実施形態の１以上の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を、ネットワークまたは記録媒体（記憶媒体）を介して、システムまたは装置に供給する。そして、当該システムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ）における１つ以上のプロセッサが記録媒体に格納されたプログラムコードを読み出し実行することによって、本発明を実現することができる。この場合、記憶媒体は、コンピュータ読み取り可能な記憶媒体であり、プログラムコードを記録した記録媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムを実行することにより、実施形態の機能が実現されるだけでなく、プログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって上記した実施形態の機能が実現されてもよい。

１０…画像処理装置、１０１…画像入力部、１０２…画像録画機能部、１０３…画像処理部、１０４…プライバシ保護処理部、３０２…検出タイミング、３０３…検出終了タイミング、３０５…プライバシ保護対象画像、３０６…背景画像

Claims (18)

1. 撮像手段により撮像した撮像画像について所定のオブジェクトを検出する検出手段と、
   前記検出手段による所定のオブジェクトの検出に基づいて、前記オブジェクトを検出していない期間に撮像した撮像画像を第一の画像として取得する第一の取得手段と、
   前記検出手段によって所定のオブジェクトを検出している撮像画像を第二の画像として取得する第二の取得手段と、
   前記第一の画像と前記第二の画像から前記オブジェクトのマスク画像を作成する作成手段と、
   前記マスク画像と、前記第一の画像または第二の画像とを合成する合成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記第一の取得手段は、前記オブジェクトの検出に基づいて前記オブジェクトを検出していない期間で且つ前記オブジェクトの検出期間の始点若しくは終点に近接する時点の撮像画像を第一の画像として取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記オブジェクトの検出は、動体検出、人体検出および顔検出の少なくとも１つである請求項１または２に記載の画像処理装置。
4. 外部から前記画像処理装置に入力された入力画像に、前記動体検出、前記人体検出および前記顔検出の少なくとも１つを行う検出手段をさらに備える請求項３に記載の画像処理装置。
5. 前記オブジェクトの検出は、外部センサにより行われ、前記外部センサは、前記動体検出、前記人体検出および前記顔検出の少なくとも１つを行い、外部センサは、検出結果を前記画像処理装置に入力する請求項３に記載の画像処理装置。
6. 前記外部センサは、照明センサ、音センサ、赤外センサ、温度センサ、自動ドアセンサおよび距離センサの少なくとも１つからなる請求項５に記載の画像処理装置。
7. 前記第一の画像は、前記オブジェクトの検出期間の前の撮像画像である請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記第一の画像は、前記オブジェクトの検出期間の後の撮像画像である請求項１乃至６のいずれか１項に記載の画像処理装置。
9. 前記第一の取得手段は、前記外部センサから取得した情報に基づいて、前記第一の画像として取得する請求項５または６に記載の画像処理装置。
10. 前記外部センサは照明センサからなり、当該照明センサが発光を検出した場合、前記第一の取得手段は、前記第一の画像として、前記オブジェクトの検出期間の後の撮像画像を取得する請求項９に記載の画像処理装置。
11. 前記第二の画像に基づいて、前記第一の画像を更新する更新手段をさらに備える請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記第一の取得手段がどの時刻の撮像画像を前記第一の画像として取得するかを、前記第一の取得手段に指示する指示手段をさらに備える請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記第二の画像は、前記オブジェクトの検出期間を示すメタデータを含む請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記オブジェクトの検出に基づいて、前記オブジェクトの検出期間の撮像画像と、前記オブジェクトを検出していない期間の撮像画像とを保存する保存手段をさらに備え、
    前記第一の取得手段は、前記保存手段から前記第一の画像を取得し、前記第二の取得手段は、前記保存手段から前記第二の画像を取得する請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 第一の撮像部から第一の入力画像が前記画像処理装置に入力され、第二の撮像部から第二の入力画像が前記画像処理装置に入力され、前記第一の撮像部と第二の撮像部は、異なる撮像領域を撮像し、
    前記第一の入力画像に対しては、前記第一の取得手段、前記第二の取得手段、前記作成手段および前記合成手段は、前記第一の入力画像を用いて前記第一の画像の取得、前記第二の画像の取得、前記マスク画像の作成および前記画像の合成を行い、
    前記第二の入力画像に対しては、前記第一の取得手段、前記第二の取得手段、前記作成手段および前記合成手段は、前記第二の入力画像を用いて前記第一の画像の取得、前記第二の画像の取得、前記マスク画像の作成および前記画像の合成を行い、且つ、前記第一の取得手段は、前記第一の入力画像における前記オブジェクトの検出から前記第二の入力画像における前記オブジェクトの検出までの間の画像を、前記第一の画像として取得することを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 請求項１乃至１５のいずれか１項に記載の画像処理装置と、
    所定の撮像領域の画像を撮像して、当該撮像画像を前記画像処理装置に供給する撮像部と、
    を備える画像処理システム。
17. 撮像手段により撮像した撮像画像について所定のオブジェクトを検出するステップと、
    前記所定のオブジェクトの検出に基づいて、前記オブジェクトを検出していない期間に撮像した撮像画像を第一の画像として取得するステップと、
    前記所定のオブジェクトを検出している撮像画像を第二の画像として取得するステップと、
    前記第一の画像と前記第二の画像から前記オブジェクトのマスク画像を作成するステップと、
    前記マスク画像と、前記第一の画像または第二の画像とを合成するステップと、
    を有することを特徴とする画像処理方法。
18. コンピュータが読み取り実行することで、前記コンピュータを、請求項１乃至１６のいずれか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images