JP2018160884A - 画像処理装置、画像処理装置の制御方法及びプログラム - Google Patents

Abstract

【課題】より柔軟で利便性の高いプライバシ保護を実現する。
【解決手段】画像処理システム１における画像処理装置１００であって、撮影装置１１１により撮影された画像を取得する取得部１０１と、取得部により取得された画像から人物を認識する人物認識部１０４と、人物認識部により認識される人物について期限を設定する期限設定部１０６と、期限設定部により設定した期限を過ぎた人物が含まれる画像についてプライバシを保護するための処理を実行するプライバシ処理部１０５とを備える。
【選択図】図１

Description

本発明は、画像処理装置、画像処理装置の制御方法及びプログラムに関する。

近年、監視カメラが広く設置されている一方で、監視カメラで撮影された画像に映る個人情報保護の重要性が高まっている。

特許文献１では、動画内の領域ごとにプライバシ保護処理の対象とするか否かを設定し、プライバシ保護対象に設定された動体のみをプライバシ保護処理する技術が開示されている。

また、特許文献２では、画像解析結果に基づいて特定の事象の発生（物体の置き去り等）を検知した場合に、動体のプライバシ保護を解除する技術が開示されている。

特開２０１６−１５８１５６号公報 特開２０１１−０９１７０５号公報 特開２０１６−００９５４３号公報

[Ｄａｌａｌ '０５] Ｄａｌａｌ． Ｎ， Ｔｒｉｇｇｓ． Ｂ， "Ｈｉｓｔｏｇｒａｍｓ ｏｆ ＯｒｉｅｎｔｅｄＧｒａｄｉｅｎｔｓｆｏｒＨｕｍａｎＤｅｔｅｃｔｉｏｎ",ＩＥＥＥＣＶＰＲ,ｐｐ.８８６-８９３（２００５）．

しかしながら、従来の技術では、柔軟にプライバシ保護のための処理を適用することができないので利便性が低いという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、より柔軟で利便性の高いプライバシ保護を実現するための技術を提供することを目的とする。

上記の目的を達成する本発明に係る画像処理装置は、
撮影装置により撮影された画像を取得する取得手段と、
前記取得手段により取得された画像から人物を認識する認識手段と、
前記認識手段により認識される人物について期限を設定する設定手段と、
前記設定手段により設定した期限を過ぎた人物が含まれる画像についてプライバシを保護するための処理を実行する処理手段と、
を備えることを特徴とする。

本発明によれば、より柔軟で利便性の高いプライバシ保護を実現することができる。

実施形態１に係る画像処理装置の構成の一例を示す図である。 実施形態１に係る画像処理装置の処理の一例を示すフローチャートである。 実施形態１に係る人事管理システムのユーザインタフェースの一例を示す図である。 実施形態１に係る人事管理システムおよび画像処理装置が保持するデータテーブルの一例である。 実施形態１に係るプライバシ保護処理の前後のフレーム画像の一例である。 実施形態２に係る画像処理装置の構成の一例を示す図である。 実施形態２に係る画像処理装置の処理の一例を示すフローチャートである。 実施形態２に係る人事管理システムのユーザインタフェースの一例を示す図である。 実施形態３に係る画像処理装置の処理の一例を示すフローチャートである。 実施形態３に係る人事管理システムおよび画像処理装置が保持するデータテーブルの一例である。 実施形態４に係る画像処理装置の処理の一例を示すフローチャートである。 実施形態５に係る画像処理装置の処理の一例を示すフローチャートである。 実施形態５に係る人事管理システムのユーザインタフェースの一例を示す図である。

以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

（実施形態１）
実施形態１では、あらかじめ特定の人物（以下、プライバシ保護対象者）に対して管理期限が設定されている場合に、動画の管理期限が過ぎていることを検知し、プライバシ保護処理を実施する例を説明する。本実施形態は、例えば、録画された動画について、社員ごとに管理期限が設定されている場合（例えば、契約社員など、在籍期間があらかじめ分かっている場合）に適用可能である。管理期限を過ぎて退職となる契約社員に対して、画像にプライバシ保護のための処理を実施することが想定される。

ここで、プライバシ保護のための処理（以下、プライバシ保護処理と称す）とは、動画内の人物を抽象化（匿名化）する処理である。具体的には画像中の人物を、人物のシルエット、輪郭のみの画像へ変換したり、２値画像に置き換える処理やマスク処理（矩形や人物形状の画像で覆い隠す処理）を行ったりするなどして、抽象化（匿名化）し、個人を特定し難い画像に変換するものである。なお、シルエットの様に黒色でなくてもよく、輪郭と輪郭内は背景と区別できる色であればよい。また、顔領域や人物の領域をモザイク処理したりぼかし処理をしたりする様な技術を用いてもよい。

＜画像処理システムの構成＞
図１は、本実施形態に係る画像処理システムの構成の一例を示す図である。画像処理システム１は、撮影装置１１１と、画像処理装置１００とを含む。画像処理装置１００は、所定の人物のプライバシを保護すべき事象を検知した場合に、その人物のプライバシ保護処理を行う。画像処理システム１は、社員の情報等を管理する人事管理システム１１２とは独立して動作するシステムであり、当該人事管理システム１１２と連携して動作可能である。また、画像処理システム１は、人物照合データベース１１３を参照することも可能である。なお、撮影装置１１１と、画像処理装置１００と、人事管理システム１１２と、人物照合データベース１１３とを含めて画像処理システム１として構成してもよい。

撮影装置１１１は、撮影面に結像された光像を光電変換によりデジタル電気信号に変換するＣＭＯＳなどの撮影素子を備えた装置である。撮影装置１０は、たとえば監視カメラであり、静止画または動画を取得する。

画像処理装置１００は、画像取得部１０１と、保存部１０２と、事象検知部１０３と、人物認識部１０４と、プライバシ処理部１０５と、期限設定部１０６とを備えている。各処理部の機能は不図示の制御部（例えばＣＰＵ）が保存部１０２に保存されたプログラムを読み出して実行することにより実現される。

画像取得部１０１は、撮影装置１１１により撮影された静止画または動画を取得する。保存部１０２は、画像取得部１０１により取得された静止画または動画を保存するための装置であり、たとえばハードディスクである。保存部１０２に保存される映像は、１つの撮影装置１１１（監視カメラ）により取得された映像や、監視対象領域に設置された、録画サーバ（不図示）で管理する複数の撮影装置（監視カメラ）により撮影された映像である。また、本実施形態では保存部１０２は保存される動画に対応する付属情報を保持する。

事象検知部１０３は、プライバシ保護処理を行うべき事象が発生した場合に、プライバシ保護イベントを検知する。本実施形態では、事象検知部１０３は、画像取得部１０１により取得された動画に対して後述の期限設定部１０６により設定されている期限と現在時刻との比較を行い、期限が過ぎていることを事象として検知する。

人物認識部１０４は、動画中の人物を検出し、検出した人物を認識する。人体検出の方法としては非特許文献１に開示されるＨＯＧ（ＨｉｓｔｏｇｒａｍｓｏｆＯｒｉｅｎｔｅｄＧｒａｄｉｅｎｔｓ）などの先行技術を適用すればよいため詳細な説明は省略する。また、人物を認識する方法としては特許文献３に開示される顔認証などの先行技術を適用すればよいため、詳細な説明は省略する。

プライバシ処理部１０５は、人物認識部１０４がプライバシを保護すべき人物と判定した場合に、プライバシ保護処理を行う。本実施形態では、人物領域を人物のシルエットに置き換えるが、プライバシを保護するために実施する画像処理であればいずれの方法を用いてもよい。例えば、人物認識部１０４が検出した人物領域を、特定の画素値で塗りつぶしたり、特定の画素値の２次元画像を乗算したりする等の方法でもよい。

期限設定部１０６は、撮影装置１１１が撮影して画像取得部１０１により取得された動画について、人物認識部１０４が認識する人物ＩＤに基づき、動画に期限を付与する。本実施形態においては、撮影装置１１１が撮影する動画について、契約社員など、あらかじめ在籍期間が分かっている人物について、その人物の動画を保存する管理期限を設定する。本実施形形態では管理期限が過ぎた人物をプライバシ保護の対象とする。

＜処理＞
続いて、図２、図３及び図４を参照して、本実施形態に係る画像処理装置１００が実施する処理の手順を説明する。図２（ａ）は人事管理システム登録シーケンスの一例であり、図３は人事管理システム登録シーケンスのユーザインタフェース（以下ＵＩ）の一例である。図４（ａ）−図４（ｃ）は各データベースのデータテーブルの一例である。図４（ａ）は、人事管理システムの人事データのテーブルの一例である。図４（ｂ）は、人物照合データベースの人物と特徴量のテーブルの一例である。そして図４（ｃ）は、保存部に保存する動画情報のテーブルの一例である。人事管理システム登録シーケンスは、契約社員の契約時に入力することが想定される。

＜登録シーケンス＞
図２（ａ）のＳ２０１において、図３（ａ）に示すようなＵＩ上で新規登録ボタンをユーザが選択すると、人事管理システム１１２は、図３（ｂ）に示すような新規登録ウィンドウを表示する。

Ｓ２０２において、図３（ｂ）に示すようなＵＩ上で、人事管理システム１１２は、Ｓ２０１での操作により表示された新規登録ウィンドウへの登録情報の入力を受け付ける。受け付けたデータは人事管理システム１１２内のデータベースに保持される。

Ｓ２０３において、図３（ｃ）に示すようなＵＩ上で、人事管理システム１１２は、契約社員の契約期限満了後のプライバシ保護処理の希望の有無を受け付ける。受け付けたデータは、Ｓ２０２で登録された、図４（ａ）に示す人事管理システム１１２内のデータベースに保持される。図４（ａ）ではプライバシ保護処理を希望する場合は〇、希望しない場合は×で表現されている。

Ｓ２０４において、人事管理システム１１２は、プライバシ保護処理が希望されている場合にはＳ２０５の処理へ移行し、希望されていない場合には人事管理システム登録処理シーケンスを終了する。

Ｓ２０５において、図３（ｄ）に示すようなＵＩ上で、人事管理システム１１２は、写真の登録を受け付ける。人事担当者はプライバシ保護処理を希望している契約社員の写真（例えば顔写真）を登録する。たとえば、ＩＤカード作成用の写真データなどを本ＵＩ上で登録する。

Ｓ２０６において、人事管理システム１１２は、登録された写真と登録される人物ＩＤとを画像処理装置１００の人物認識部１０４へ送信し、人物認識部１０４は受信した写真の特徴量を算出する。

Ｓ２０７において、人物認識部１０４は、Ｓ２０６において算出した特徴量を、受信した人物ＩＤと対応付けて、図４（ｂ）に示す人物照合データベース１１３に登録する。ここで登録される人物ＩＤは、人事管理システム１１２で管理される人物ＩＤと同じ人物ＩＤである。以上が図２（ａ）の一連の処理の流れである。

＜録画シーケンス＞
続いて、図２（ｂ）は本実施形態に係る録画シーケンスの一例である。録画シーケンスは、撮影装置１１１（監視カメラなど）で常時撮影される動画を録画サーバ又は保存部１０２のハードディスクドライブに所定の時間間隔で分割して保存する処理であり、継続的に処理される。

Ｓ２２１において、画像取得部１０１は、撮影装置１１１により撮影された動画を取得する。Ｓ２２２において、人物認識部１０４は、画像取得部１０１により取得された動画について、所定の時間間隔で分割された動画をフレーム画像に更に分割し、人物の検出処理を行う。

Ｓ２２３において、人物認識部１０４は、検出した人物の認識を行う。より具体的には、すべてのフレーム画像について、検出した人物領域情報から顔領域を特定し、顔領域の特徴量を抽出する。そして、人物認識部１０４は、抽出した顔領域の特徴量と、人物照合データベース１１３に保存されている特徴量とを照合して、人物ＩＤを取得する。すべてのフレーム画像について処理を行った後、人物認識部１０４は、動画、フレーム番号、および人物検出領域を保存部１０２へ出力し、図４（ｃ）のようなテーブルにデータを登録する。

また、同時に期限設定部１０６に人物ＩＤへ出力する。なお、すべてのフレーム画像の各人物について人物ＩＤが取得できるとは限らない。たとえば、人事管理システム登録シーケンスでプライバシ保護の有無を「希望無し」で登録した人物については、人物照合データベース１１３に登録されていないため、人物ＩＤは取得されない。

Ｓ２２４において、保存部１０２は、人物認識部１０４から出力されたフレーム番号、および人物の領域情報を動画管理番号に対応付けて保存する。例えば、図４（ｃ）に示すようなテーブルとして、動画管理番号、フレーム番号、及び人物の領域情報を関連付けて保存する。

Ｓ２２５において、期限設定部１０６は、人事管理システム１１２から人物ＩＤに対応する契約満了日を取得し、契約満了日に基づいて保持期限を算出する。本実施形態では、契約満了日から１ヵ月後を保持期限として算出するものとする。算出された保持期限はＳ２２４で保存される動画管理番号と関連付けて保存される。例えば、図４（ｃ）に示すようなテーブルに追記して保存する。図４（ａ）の人物ＩＤ「ＡＡ００２」のように、プライバシ保護処理を希望しない人物の場合には期限は設定されない。また、契約満了日がない社員は、同様に期限は設定されない。一方、契約社員のように契約期間の決まっている社員については期限（人物ＩＤ「ＡＡ００１」に対応する人物については契約満了日が２０１７年６月３０日である場合には、２０１７年７月３０日）が設定される。以上が図２（ｂ）の一連の処理の流れである。

＜プライバシ保護シーケンス＞
次に、図２（ｃ）は本実施形態に係るプライバシ保護シーケンスの一例である。プライバシ保護シーケンスでは、所定の人物のプライバシ保護すべき事象を検知した場合に、録画シーケンスで撮影された録画動画に対してプライバシ保護処理を行う。

Ｓ２４１において、事象検知部１０３は、録画サーバ（不図示）又は保存部１０２に保存されている動画の付属情報（例えば図４（ｃ）に示すようなデータテーブル）を探索する。そして、期限設定部１０６により設定された期限と現在時刻とを比較し、期限が到来していることを検知する。本実施形態では、定期的にバッチ処理で探索を開始するものとする。

Ｓ２４２において、プライバシ処理部１０５は、各フレーム画像について、事象検知部１０３が検知した期限到来に対応する人物の領域（プライバシ保護対象者）にプライバシ保護処理を行う。より具体的には、プライバシ保護対象者の検出領域から背景画像を用いて背景差分を行うと共に二値化処理を行い、二値のシルエット情報を抽出し、背景画像にシルエット情報を重畳し、検出領域を元画像と置き換える。これにより対象人物をシルエットに変換した画像を作成する。背景画像は、例えばＳ２２４で保存された前後の動画を用いて、人物が存在しない画像フレームを背景画像として用いればよい。本実施形態では上述の方法でプライバシ保護処理を行う例を説明したが、人物を特定できない静止画または動画に変換する方法であればどのような方法であってもよい。

ここで、Ｓ２４２の処理前後のフレーム画像について図５を用いて説明する。図５（ａ）−図５（ｂ）は、プライバシ処理部１０５が処理するフレーム画像の処理前後の画像である。図５（ａ）はプライバシ保護処理前のフレーム画像である。５０１はプライバシ保護対象者として認識された人物であり、５０２はプライバシ保護対象者と認識されなかった人物である。図５（ｂ）は、図５（ａ）と同一フレームのプライバシ保護処理後のフレーム画像である。５０３はプライバシ保護処理後のプライバシ保護対象者であり、５０４は処理後の非プライバシ保護対象者である。図５（ｂ）のように、プライバシ保護対象者はプライバシ保護された動画、つまり、個人を特定できない動画に変換されることにより個人情報が保護される。なお、ここでは、プライバシ保護対象者５０１のみにプライバシ保護処理を行う例を示したが、プライバシ保護対象者が写っている動画に映る人物について全てプライバシ保護処理を行うようにしてもよい。

Ｓ２４３において、プライバシ処理部１０５は、Ｓ２４２でプライバシ保護処理された画像を用いてＨ．２６４形式の動画を作成し、録画サーバ（不図示）又は保存部１０２に保存する。この際、プライバシ保護されていない元動画は削除する。また、Ｓ２４３では、図４に示すテーブルから処理を行ったフレーム、人物領域に対応する情報を削除する。なお、ここではプライバシ保護されていない元動画は削除する例を説明したが、例えば管理者に権限を付与し、管理者だけが閲覧可能な状態で保持してもよい。

Ｓ２４４において、事象検知部１０３は、動画と、当該動画に対応する期限情報の探索が終了したか否かを判定する。終了している場合には、プライバシ保護シーケンスを終了する。一方、終了していない場合には、Ｓ２４１に戻る。以上が図２（ｃ）の一連の処理の流れである。

以上説明したように、本実施形態では、あらかじめプライバシ保護対象者に管理期限が設定されている場合に、動画の管理期限が到来していることを検知し、プライバシ保護処理を実施する。これにより、監視動画の管理者が個人情報を管理するコストを低減することが可能となる。従って、より柔軟で利便性の高いプライバシ保護を実現することが可能となる。

（実施形態２）
本実施形態では、ある特定の人物の録画動画にプライバシ保護処理を実施すべき事象を検出した場合に、録画動画の中から当該人物の動画を探し出し、当該人物の領域にプライバシ保護処理を行う例を説明する。本実施形態では、特に、録画された動画について、ある時点で所定の社員が退職した場合に、当該社員の録画動画に対してプライバシ保護処理を行う例を説明する。

＜画像処理システムの構成＞
図６は、本実施形態に係る画像処理システムの構成の一例を示す図である。画像処理システム６は、撮影装置６１１と、画像処理装置６００とを含む。画像処理装置６００は、図１において説明した画像処理装置１００の構成要素のうち期限設定部１０６以外の構成要素を備えている。

本実施形態に係る事象検知部１０３は、プライバシ保護処理を行うべき事象が発生したことを検知する。本実施形態においては、画像処理システム６は外部の人事管理システム６１２と連携するものとし、人事管理者が人事管理システム６１２を通じて所定の社員の退職処理を実行した場合に、そのイベントトリガを受け取るものとする。なお、本実施形態においては退職処理のイベントトリガを受け取るものとするが、画像処理システム６が受け取るイベントトリガはどのようなものであってもよい。画像処理装置６００のその他の構成要素の機能は図１で説明した画像処理装置１００の各構成要素の機能と同様であるため、説明を省略する。

＜処理＞
続いて、図７及び図８を参照して、本実施形態に係る画像処理装置６００が実施する処理の手順を説明する。

＜録画シーケンス＞
図７（ａ）は本実施形態に係る録画シーケンスの一例である。Ｓ７０１において、画像取得部１０１は、撮影装置６１１により撮影された動画を取得する。なお、動画の取得先は１つの監視カメラ（撮影装置６１１）に限られるものではなく、監視対象領域に設置された、全ての監視カメラの動画を取得してもよい。Ｓ７０２において、保存部１０２は、画像取得部１０１により取得された動画を保存する。動画は所定の時間間隔で分割されて保存されるものとする。以上が図７（ａ）の一連の処理の流れである。

＜退職処理シーケンス＞
次に、図７（ｂ）は人事管理システム６１２の退職処理シーケンスの一例である。また、図８は人事管理システム６１２の退職処理のＵＩの一例である。

Ｓ７２１において、図８（ａ）に示すようなＵＩ上で退職処理ボタンをユーザが選択すると、人事管理システム６１２は、図８（ｂ）に示すような退職処理ウィンドウを表示する。Ｓ７２２において、人事管理システム６１２は、図８（ｂ）に示すＵＩ上で退職処理を受け付ける。

Ｓ７２３において、人事管理システム６１２は、退職者が監視カメラ映像にプライバシ保護処理を行うことを希望しているか否かの選択を受け付けるために、図８（ｃ）に示すようなＵＩを表示する。Ｓ７２４において、人事管理システム６１２は、退職者がプライバシ保護処理を希望している場合には、処理をＳ７２５に進め、希望していない場合には、処理を終了する。

Ｓ７２５において、人事管理システム６１２は、図８（ｄ）に示すようなＵＩ上に、人事データと対応付けて保存されている写真データをプライバシ保護に用いることを提示する。また、提示した写真データを画像処理装置６００の人物認識部１０４に送信する。なお、ここでは、保存されている写真データを用いるが、さらに新しく写真データを受け付けてもよい。

Ｓ７２６において、人物認識部１０４は、受信した写真データから特徴量を算出する。算出した特徴量は人物認識部１０４で保持しておく。Ｓ７２７において、人事管理システム６１２は、画像処理装置６００に対して退職処理のイベントトリガを送信する。以上が図７（ｂ）の一連の処理の流れである。

＜プライバシ保護シーケンス＞
次に、図７（ｃ）は本実施形態に係るプライバシ保護シーケンスの一例である。Ｓ７４１において、事象検知部１０３は、プライバシ保護対象者のプライバシを保護すべき事象を検知する。本実施形態においては、事象検知部１０３は、外部の人事管理システム６１２により送信された退職処理のイベントトリガを検知し、人物認識部１０４に事象検知トリガを送信する。この際、プライバシ保護対象者となる当該人物の人物ＩＤの情報を取得して、人物認識部１０４に送信する。

Ｓ７４２において、人物認識部１０４は、事象検知トリガを取得すると、録画サーバ（不図示）又は保存部１０２に保存される全ての動画ごとに、動画をフレーム画像に分割し、１以上の人物の検出を開始する。

Ｓ７４３において、人物認識部１０４は、検出した人物の認識を行う。より具体的には、すべてのフレーム画像について、検出した人物領域から顔領域を特定し、顔領域の特徴量を抽出する。そして、人物認識部１０４は、あらかじめＳ７２６で算出した特徴量と、抽出した特徴量との照合を行い、同一人物として照合できた場合に退職対象者であると認識する。すべてのフレーム画像について処理を行った後、人物認識部１０４は、動画、フレーム番号、および退職対象者と認識された人物の検出領域情報をプライバシ処理部１０５へ送信する。

Ｓ７４４において、プライバシ処理部１０５は、各フレーム画像について、プライバシ保護対象者にプライバシ保護処理を行う。プライバシ保護処理の詳細はＳ２４２の処理と同様であるため、説明を省略する。

Ｓ７４５において、プライバシ処理部１０５は、Ｓ７４４でプライバシ保護処理された画像を用いてＨ．２６４形式の動画を作成し、録画サーバ（不図示）又は保存部１０２に保存する。この際、プライバシ保護されていない元動画は録画サーバ（不図示）又は保存部１０２から削除する。

Ｓ７４６において、人物認識部１０４は、録画サーバ（不図示）又は保存部１０２に保存される動画中の人物の検出が終了したか否かを判定する。人物の検出が終了している場合、処理を終了する。一方、人物の検出が終了していない場合、Ｓ７４２に戻る。以上が図７（ｃ）の一連の処理の流れである。

以上説明したように、本実施形態では、ある特定の人物の録画動画に対してプライバシ保護処理を実施すべき事象を検出した場合に、全ての監視カメラで録画された録画動画中から当該人物を探し出し、当該人物の領域にプライバシ保護処理を行う。これにより、監視動画の管理者が動画中の個人情報を管理するコストを低減することが可能となる。従って、より柔軟で利便性の高いプライバシ保護を実現することが可能となる。

（実施形態３）
実施形態２では、特定の人物についてプライバシ保護処理を実施すべき事象が発生した場合に、録画動画から当該人物を探し出し、プライバシ保護処理を行う例を説明した。これに対して、本実施形態では、監視カメラ（撮影装置）から動画を取得して保存する際に、あらかじめ動画に人物ＩＤを付与しておく例を説明する。なお、本実施形態では、実施形態２と同様に、録画された動画について、ある時点で所定の社員が退職した場合に、動画付与されている人物ＩＤを用いて、当該社員の録画動画にプライバシ保護処理を行う例を説明する。なお、本実施形態に係る画像処理システム（撮影装置、画像処理装置）の構成は実施形態２と同様であるため、説明を省略する。

図９は、本実施形態に係る画像処理装置６００が実施する処理の手順を示すフローチャートである。また、図１０は、本実施形態に係る人事管理システムおよび画像処理装置が保持するデータテーブルの一例である。

最初に図１０を用いて、各装置が保持する各種データテーブルについて説明する。図１０（ａ）は人事情報のデータテーブルであり、人物ＩＤと氏名などが対応付けられて人事管理システム６１２内のデータベース（不図示）に保持される。本実施形態における人事情報のデータテーブルには、図４（ａ）で示したようなプライバシ保護処理の希望有無の情報は保持されない。図１０（ｂ）は人物ＩＤと顔の特徴量とが対応付けられたデータテーブルであり、図４（ｂ）のデータテーブルと同等である。図１０（ｃ）は動画と対応付けられる付属情報のデータテーブルであり、当該データテーブルは保存部１０２に保持される。本実施形態の付属情報では人物ＩＤが付与され、図４（ｃ）で示したような期限に関する情報は含まれない。

＜処理＞
続いて、図９を参照して、本実施形態に係る画像処理装置６００が実施する処理の手順を説明する。

＜録画シーケンス＞
図９（ａ）は本実施形態に係る録画シーケンスの一例である。Ｓ９０１−Ｓ９０４の各処理は図２のＳ２２１−Ｓ２２４の各処理と同様である。但し、Ｓ９０４で保存部１０２が保存する情報は、図１０（ｃ）に示すデータテーブルとして、動画管理番号、フレーム番号、人物ＩＤ、人物の領域情報を関連付けて保存するものである。本実施形態では図４（ｃ）に示したように動画の期限に関する情報は含まれない。

＜退職処理シーケンス＞
次に、図９（ｂ）は人事管理システム６１２の退職処理シーケンスである。Ｓ９２１−Ｓ９２５の各処理はＳ７２１−Ｓ７２４、Ｓ７２７の各処理と同等である。ただし、Ｓ９２５の処理において、人事管理システム６１２は、退職処理イベントトリガを画像処理システム６に送信するとともに、退職対象者の人物ＩＤを送信する。

＜プライバシ保護シーケンス＞
次に、図９（ｃ）は本実施形態に係るプライバシ保護シーケンスの一例である。Ｓ９４１において、事象検知部１０３は、プライバシ保護対象者のプライバシを保護すべき事象を検知する。本実施形態においては、事象検知部１０３は、外部の人事管理システム６１２の退職イベント処理を検知し、人物認識部１０４に事象検知トリガを送信する。この際、プライバシ保護対象者となる人物の人物ＩＤの情報をプライバシ処理部１０５に出力する。

Ｓ９４２において、プライバシ処理部１０５は、録画サーバ（不図示）又は保存部１０２に保存されている動画に付与された人物ＩＤの情報を参照し、Ｓ９４１で取得されたプライバシ保護対象者となる退職者の人物ＩＤを探索する。具体的には、図１０（ｃ）に示すデータテーブルからプライバシ保護対象者の人物ＩＤを探索し、動画管理番号と関連付けられた動画と人物領域情報を取得する。

Ｓ９４３において、プライバシ処理部１０５は、各フレーム画像について、プライバシ保護対象者に対するプライバシ保護処理を行う。プライバシ保護処理の詳細はＳ２４２と同様であるため、説明を省略する。

Ｓ９４４において、プライバシ処理部１０５は、Ｓ９４３でプライバシ保護処理された画像を用いてＨ．２６４形式の動画を作成し、録画サーバ（不図示）又は保存部１０２に保存する。この際、プライバシ保護されていない元動画は削除する。また、Ｓ９４４では、図１０（ｃ）に示すテーブルからプライバシ保護対象者の人物ＩＤに対応する情報を削除する。

Ｓ９４５において、プライバシ処理部１０５は、図１０（ｃ）に示すテーブル中の人物ＩＤの探索が終了したか否かを判定する。探索が終了した場合、処理を終了する。一方、探索が終了していない場合、Ｓ９４２に戻る。以上が図９（ｃ）の一連の処理の流れである。

以上説明したように、本実施形態では、監視カメラから動画を取得して保存する際に、あらかじめ動画に人物ＩＤを付与しておき、そこからプライバシ保護対象者の人物ＩＤを探索して、画像に対してプライバシ保護処理を行う。これにより、画像から該当人物を検出する手間が省けるため、プライバシ保護対象者の探索がより簡便になり、監視動画の管理者が動画中の個人情報を管理するコストをさらに低減することが可能となる。従って、より柔軟で利便性の高いプライバシ保護を実現することが可能となる。

（実施形態４）
実施形態４では、特定の領域からの退出を検知した場合に、該当する人物についてプライバシ保護処理を行う例を説明する。本実施形態は、人物が店舗内にいる場合にはプライバシ保護無しの元画像で保存し、店舗を出た場合にプライバシ保護処理を施す、といった場合に適用可能である。

なお、本実施形態に係る画像処理システム（撮影装置、画像処理装置）の構成は図６と同様であるが、人事管理システムは不要であり、また、事象検知部１０３の処理が異なっている。本実施形態に係る事象検知部１０３は、人物の特定の領域からの退出（例えば退店）を検知する。より具体的には、店舗の入り口に監視カメラ（撮影装置）を設置しておき、監視カメラが撮影する店舗内の特定の領域（例えば入口付近）について人物の退出を検出し、退出した人物の画像に対してプライバシ保護処理を実施する。

＜処理＞
続いて、図１１を参照して、本実施形態に係る画像処理装置６００が実施する処理の手順を説明する。

＜録画シーケンス＞
図１１（ａ）は本実施形態に係る録画シーケンスの一例であるが、Ｓ１１０１、Ｓ１１０２の各処理は、実施形態２で図７を参照して説明したＳ７０１、Ｓ７０２の各処理と同様であるため、説明を省略する。

＜プライバシ保護シーケンス＞
続いて、図１１（ｂ）は本実施形態に係るプライバシ保護シーケンスの一例である。

Ｓ１１２１において、画像取得部１０１は、特定の領域について撮影された最新の映像を取得する。本実施形態においては、店舗の入り口に設置された監視カメラ（撮影装置６１１）の映像を取得する。

Ｓ１１２２において、事象検知部１０３は、画像取得部１０１により取得された映像から人物を検知し、特定の領域から人物が退出したかどうかを判定する。例えば、前述した人物検出の技術を用いて、人物領域の下端の中心点が特定の領域にあることを検知することにより退出の判定を行う。本実施形態では、特定の領域からの退出を検知する例を説明するが、通過線を設定して通過を検知する方法など、特定領域からの人物の退出を検知できれば、どのような方法を用いてもよい。退出が検知された場合には、Ｓ１１２３へ進む。検知されていない場合は、Ｓ１１２１に戻る。

Ｓ１１２３において、人物認識部１０４は、Ｓ１１２２で検知された人物領域の画像から特徴量（例えば顔領域の特徴量）を抽出する。その後のＳ１１２４−Ｓ１１２８の各処理は、処理対象が退職対象者ではなく退出者であること以外、図７のＳ７４２−Ｓ７４６の各処理と同様であるため、説明を省略する。以上が図１１（ｂ）の一連の処理の流れである。

以上説明したように、本実施形態では、特定の領域について人物の退出を検知した場合に、当該人物の特徴量を用いて、録画サーバ又は保存部に保存されている動画中の当該人物に対してプライバシ保護処理を行う。これにより、来店する顧客のプライバシを自動で保護することが可能となり、監視動画の管理者が動画中の個人情報を管理するコストを低減することが可能となる。従って、より柔軟で利便性の高いプライバシ保護を実現することが可能となる。

なお、本実施形態では特定の領域からの人物の退出を検知したことに応じてプライバシ保護処理を実施する例を説明したが、特定の領域への人物の侵入を検知したことに応じてプライバシ保護処理を実施するように構成してもよい。その場合、例えば店舗の入り口に設置された監視カメラ（撮影装置）は、店舗内外の領域を撮影し、画像中の店舗外領域に人物が侵入したことにより退店を検知すればよい。

（実施形態５）
実施形態５では、動画に映ってしまった人物からプライバシ保護処理依頼を受けた場合に、過去に撮影された動画中の当該人物についてプライバシ保護処理を行う例を説明する。

なお、本実施形態に係る画像処理システム（撮影装置、画像処理装置）の構成は実施形態４と同様であるが、事象検知部１０３の処理が異なっている。本実施形態に係る事象検知部１０３は、所定の人物のクエリ画像の入力を事象として検知する。本実施形態では、例えば動画に写ってしまった人物からプライバシ保護処理依頼を受けた場合に、画像処理装置に対して当該人物のクエリ画像が入力され、事象検知部１０３がクエリ画像の入力を検知したことに応じてプライバシ保護処理を行う。また、本実施形態における画像処理システムは録画データの管理を行う録画システム（不図示）の一部であるものとする。

＜処理＞
続いて、図１２及び図１３を参照して、本実施形態に係る画像処理装置、画像処理システム（録画システム）が実施する処理の手順を説明する。

＜録画シーケンス＞
まず、図１２（ａ）は、本実施形態に係る録画シーケンスの一例である。Ｓ１２０１、Ｓ１２０２の各処理は、実施形態２で図７を参照して説明したＳ７０１、Ｓ７０２の各処理と同様であるため、説明を省略する。

＜ＵＩシーケンス＞
図１２（ｂ）は、録画システムＵＩシーケンスの一例である。また、図１３は録画システムにおけるＵＩの一例である。Ｓ１２２１において、録画システムは、プライバシ保護メニューを表示する。例えば、図１３（ａ）に示すようなプライバシ保護処理メニューを表示する。

Ｓ１２２２において、録画システムは、プライバシ保護対象者の写真を受け付ける。例えば、図１３（ｂ）に示すようなプライバシ保護処理ウィンドウを表示し、プライバシ保護対象者の写真の入力を受け付ける。

Ｓ１２２３において、録画システムは、入力されたプライバシ保護対象者のクエリ画像を画像処理システムに送信する。例えば、図１３（ｃ）に示すような画面でユーザが「次へ」をクリックした時点で送信を実行する。その後、図１３（ｄ）に示すように、送信が完了したことを示す画面が表示される。以上が図１２（ｂ）の一連の処理の流れである。

＜プライバシ保護シーケンス＞
図１２（ｃ）は、本実施形態に係るプライバシ保護シーケンスの一例であるが、特にＳ１２４１の処理が異なっている。

Ｓ１２４１において、事象検知部１０３は、プライバシ保護対象者のクエリ画像が入力されたことを検知する。Ｓ１２４２の処理はＳ１１２３の処理と同様であるが、該当人物が映ったクエリ画像を用いてプライバシ保護対象者の特徴量が抽出される。

その後のＳ１２４３−Ｓ１２４７の各処理は、図１１のＳ１１２４−Ｓ１１２８の各処理と同様であるため、説明を省略する。以上が図１２（ｃ）の一連の処理の流れである。

以上説明したように、本実施形態では、動画に映ってしまった人物からプライバシ保護処理依頼を受けた場合に、その人物が映った画像をクエリ画像として取得する。そして、その画像から特徴量を抽出して、過去に撮影された動画中の当該人物についてプライバシ保護処理を行う。これにより、監視動画の管理者が動画中の個人情報を管理するコストを低減することが可能となる。従って、より柔軟で利便性の高いプライバシ保護を実現することが可能となる。

[変形例]
上述の実施形態では、入室権限のある入室可能なエリアの映像のみプライバシ保護処理を行うようにしてもよい。例えば、実施形態３では、特定の人物についてプライバシ保護処理を実施すべき事象が発生した場合に、録画動画から当該人物を探し出し、プライバシ保護処理を行う例を説明した。一方、入室管理システムと連携し、当該カメラの設置されたエリアにおいて、カメラに映っていた人物ＩＤに対応する人物に、設置エリアへの入室権限があるか否かを判定し、入室権限がある場合にのみ、プライバシ保護処理を行うようにしてもよい。これにより、入室権限の無いエリアでの不審行動として撮影された映像を残すことが可能となる。

また、実施形態４において、特定の領域からの退出を検知した場合に、該当する人物についてプライバシ保護処理を行う例を説明したが、要注意人物をリスト化したブラックリストに登録されている人物についてはプライバシ保護処理しないようにしてもよい。例えば、図１１のＳ１１２３の処理を行った後に、退出者の顔特徴量とブラックリストに登録されている人物の特徴量とを比較する。ブラックリストに登録された人物と判定された場合には、プライバシ保護シーケンスを終了する。これにより、適切な人物にプライバシ保護処理を行いつつ、プライバシ保護処理の必要が無い要注意人物を容易に発見、監視することができる。

（その他の実施形態）本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：画像処理装置、１０１：画像取得部、１０２：保存部、１０３：事象検知部、１０４：人物認識部、１０５：プライバシ処理部、１０６：期限設定部、１１１：撮影装置

Claims (13)

1. 撮影装置により撮影された画像を取得する取得手段と、
   前記取得手段により取得された画像から人物を認識する認識手段と、
   前記認識手段により認識される人物について期限を設定する設定手段と、
   前記設定手段により設定した期限を過ぎた人物が含まれる画像についてプライバシを保護するための処理を実行する処理手段と、
   を備えることを特徴とする画像処理装置。
2. 撮影装置により撮影された画像を取得する取得手段と、
   前記取得手段により取得された画像から人物を認識する認識手段と、
   前記認識手段により認識される人物について所定の事象が発生した場合、当該人物が含まれる画像に対してプライバシを保護するための処理を実行する処理手段と、
   を備えることを特徴とする画像処理装置。
3. 前記取得手段により取得された画像を保存する保存手段を更に備え、
   前記処理手段は、前記保存手段に保存されている画像のうち、前記人物が含まれる画像に対して前記プライバシを保護するための処理を実行することを特徴とする請求項２に記載の画像処理装置。
4. 前記所定の事象は、外部の人事管理システムで行われた人物の退職処理であることを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記取得手段により取得されて人物が認識された画像と、当該人物の人物ＩＤとを関連付ける関連付け手段を更に備え、
   前記処理手段は、前記退職処理された人物の人物ＩＤと関連付けられた画像に対してプライバシを保護するための処理を実行することを特徴とする請求項４に記載の画像処理装置。
6. 前記所定の事象は、画像中の人物の特定の領域からの退出または前記特定の領域への侵入であることを特徴とする請求項２又は３に記載の画像処理装置。
7. 前記所定の事象は、前記プライバシを保護するための処理を依頼した人物のクエリ画像の入力であり、
   前記認識手段は、前記クエリ画像に基づいて、前記取得手段により取得された画像から前記人物を認識することを特徴とする請求項２又は３に記載の画像処理装置。
8. 前記プライバシを保護するための処理は、画像中の前記人物に対するマスク処理であることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記処理手段は、外部の人事管理システムで管理される入室可能なエリアに基づいてプライバシを保護するための処理を実行することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記認識手段により特定の人物が認識された場合、前記処理手段は、前記特定の人物が特定の領域から退出した事象または前記特定の領域へ侵入した事象が発生した場合であってもプライバシを保護するための処理を行わないことを特徴とする請求項６に記載の画像処理装置。
11. 画像処理装置の制御方法であって、
    撮影装置により撮影された画像を取得する取得工程と、
    前記取得工程により取得された画像から人物を認識する認識工程と、
    前記認識工程により認識される人物について期限を設定する設定工程と、
    前記設定工程により設定した期限を過ぎた人物が含まれる画像についてプライバシを保護するための処理を実行する処理工程と、
    を有することを特徴とする画像処理装置の制御方法。
12. 画像処理装置の制御方法であって、
    撮影装置により撮影された画像を取得する取得工程と、
    前記取得工程により取得された画像から人物を認識する認識工程と、
    前記認識工程により認識される人物について所定の事象が発生した場合、当該人物が含まれる画像に対してプライバシを保護するための処理を実行する処理工程と、
    を有することを特徴とする画像処理装置の制御方法。
13. コンピュータを、請求項１乃至１０の何れか１項に記載の画像処理装置の各手段として実行させるためのプログラム。

Images