JP2018151782A - 画像処理装置、画像処理システム、および、制御方法 - Google Patents

Abstract

【課題】 複数の画像処理装置間で個人認識の精度を向上させつつ、個人が容易に特定されてしまうデータの漏洩を抑制する画像処理装置を提供する。【解決手段】 画像処理装置は、画像データに対して個人認識を行う個人認識部と、認識の対象とする人物ごとに個人認識で利用する特徴情報、および、該特徴情報が誰であるかを示す識別情報を記憶する記憶部を有し、通信部に記憶部に記憶された情報のうち、識別情報を除いた特徴情報を外部の装置に送信させ、該特徴情報と同一の人物とみなせる特徴情報を外部の装置から受信する構成を有する。【選択図】 図１

Description

本発明は、個人認識の機能を有する画像処理装置および画像処理システムに関する。

画像から人物の特徴情報を抽出し、これを予め登録した辞書データとしての特徴情報と比較することで、その画像の人物が誰であるかを認識する個人認識方法が知られている（例えば、特許文献１を参照）。

特開２０１０−７３１０８号公報

ある画像処理装置において予め用意された辞書データが十分ではない場合に、別の画像処理装置と辞書データを共有することによって、個人認識の精度を向上させるという方法が考えられる。

しかしながら、複数の画像処理装置間で個人認識に用いる特徴情報の送受信を行ってしまうと、その画像処理装置のセキュリティ管理が十分ではない場合に、個人を特定できるような情報が漏洩してしまうリスクが発生する。例えば、個人認識のために顔画像そのものを特徴情報として、別の画像処理装置と送受信してしまうと、その画像処理装置のセキュリティ管理が十分ではない場合に、その顔画像が第三者の手に渡るというリスクが考えられる。

そこで、画像処理装置間で辞書データの送受信をする場合に、個人を特定できる情報の漏洩を抑制するという点において、改善の余地がある。

上記課題を解決するため、本発明は、画像データに対して個人認識を行う個人認識手段と、認識の対象とする人物ごとに前記個人認識で利用する特徴情報、および、該特徴情報が誰であるかを示す識別情報を記憶する記憶手段と、情報を送受信する送受信手段と、前記送受信手段に、前記記憶手段に記憶された情報のうち、前記識別情報を除いた前記特徴情報を外部の装置に送信させ、該特徴情報と同一の人物とみなせる特徴情報を前記外部の装置から受信させる制御手段と、を有することを特徴とする画像処理装置を提供する。

同様に、上記課題を解決するため、本発明は、画像に対して個人認識を行う第１の個人認識手段と、認識の対象とする人物ごとに前記個人認識で利用する特徴情報、および、該特徴情報が誰であるかを示す識別情報を記憶する第１の記憶手段と、情報を送受信する第１の送受信手段と、を備える第１の画像処理装置と、前記個人認識処理で利用する特徴情報を記憶する第２の記憶手段と、情報を送受信する第２の送受信手段と、を備える第２の画像処理装置と、を有する画像処理システムであって、前記第１の画像処理装置は、前記第１の記憶手段に記憶された情報のうち、前記識別情報を除いた前記特徴情報を、前記第１の送受信手段を用いて前記第２の画像処理装置に送信し、前記第２の画像処理装置は、前記第２の記憶手段に記憶された前記特徴情報のうち、前記第１の画像処理装置から送信された前記特徴情報と同一人物とみなせる特徴情報を、前記第２の送受信手段を用いて前記第１の画像処理装置に送信することを特徴とする画像処理システムを提供する。

本発明によれば、複数の画像処理装置間で個人認識の精度を向上させつつ、個人が容易に特定されてしまうデータの漏洩を抑制することができる。

本発明の実施形態に係る画像処理システムのブロック構成図である。 図１の第１の画像処理装置によって実行される手順を示すフローチャートである。 図１の第２の画像処理装置によって実行される手順を示すフローチャートである。

（第１の実施の形態）
以下、本発明について、図面を参照しながら詳細に説明する。

図１は、本発明の実施形態の画像処理システムを構成する第１の画像処理装置１２０と第２の画像処理装置１２１のブロック構成図である。

本発明の実施形態では、第１の画像処理装置１２０が、第２の画像処理装置１２１を含む外部の画像処理装置から個人認識に必要な新たな特徴情報を取得することで、個人認識の精度向上を実現する方法の例を説明する。

図１において、第１の画像処理装置１２０はデジタルカメラ、ネットワークカメラ、あるいは、タブレット端末などで構成される。第１の画像処理装置１２０は、ズームレンズ、フォーカスレンズ、および絞り羽根を含む撮像ユニット１０１と、ＣＣＤやＣＭＯＳセンサなどの撮像素子１０２を備える。撮像素子１０２から出力信号はＡ／Ｄ変換器１０３によってデジタル化された画像データに変換され、メモリ１０４に格納される。

個人認識部１０５は、メモリ１０４に格納された画像データに含まれる人物の像が誰であるかを識別する個人認識を行うためのＡＳＩＣである。一時記憶部１０６は、通信部を介して外部の画像処理装置から取得した辞書データとしての特徴情報を一時的に記録するメモリである。特徴情報記憶部１０９は、個人認識に用いる辞書データとしての特徴情報を人物ごとに記憶するメモリである。特徴情報は、例えば、目と鼻の位置の相対関係、ホクロの位置などの顔のパーツの形状や位置関係を示す情報、あるいは、顔の表面の凹凸の分布を示す情報などがある。識別情報記憶部１１０は、特徴情報記憶部１０９に記憶された特徴情報に関連付けられており、それぞれの特徴情報に対応する人物の顔画像データ、氏名、および、個人ＩＤなどの、個人を特定するための識別情報を記憶するメモリである。特徴情報記憶部１０９および識別情報記憶部１１０は不揮発性メモリであり、例えばハードディスクやフラッシュＲＯＭ等が用いられる。特徴情報は個人認識の際のマッチング処理に用いるように加工された情報であって、この特徴情報と関連付けられた識別情報を参照せずに、特徴情報だけを参照したとしても、どの人物を示しているかを特定することは困難である。

通信部１０７は有線あるいは無線によって外部の画像処理装置とデータの送受信を行う通信回路である。表示部１１１はメモリに格納された画像データを元に被写体の画像をリアルタイムで表示したり、個人認識部１０５による個人認識結果や、識別情報を画像に重畳して表示したりするディスプレイである。操作部１１２はボタンやタッチパネルなどを含み、制御部１０８が操作部１１２を用いたユーザの操作に応じて各ユニットに指示を出す。

制御部１１５はＣＰＵやＭＰＵで構成されたプロセッサであり、不図示のＲＯＭに記録されたプログラムに従って動作することによって、第１の画像処理装置１２０の全体の動作を統括し、制御する。

なお、第１の画像処理装置１２０は、撮像ユニット１０１と撮像素子１０２を必ずしも備えている必要はなく、外部のカメラによって撮像された画像データを受け取って、個人認識を行う構成であってもよい。

また、個人認識部１０５をＡＳＩＣで構成する代わりに、制御部１１５がソフトウェア処理によって同様の機能を果たすように構成してもよい。

また、特徴情報記憶部１０９と識別情報記憶部１１０を分けずに、同一人物の特徴情報と識別情報を同一の記憶部に記憶させておいて、必要に応じて特徴情報のみを抽出できるように構成してもよい。

第２の画像処理装置１２１は通信部１１３、個人認識部１１４、制御部１１５、特徴情報記憶部１１６、識別情報記憶部１１７およびメモリ１１８を備えている。これらは、第１の画像処理装置１２０の通信部１０７、個人認識部１０５、制御部１０８、特徴情報記憶部１０９、識別情報記憶部１１０およびメモリ１０４と同様の機能を有する。第２の画像処理装置１２１は、デジタルカメラ、ネットワークカメラ、タブレット端末、パーソナルコンピュータ、あるいは、サーバーなどである。

図２は第１の画像処理装置１２０の手順を示すフローチャートであり、図１における第１の画像処理装置１２０の制御部１０８の制御の下に実行される。

ステップＳ２０１では、制御部１０８は、撮像した画像データ、あるいは、読み出した画像データの中から顔領域を検出し、検出した顔領域を個人認識の対象領域として設定する。顔領域が複数検出された場合には、そのサイズや画像データの内の座標に基づいて優先度を設定し、優先度の高い顔領域から順に個人認識の対象領域として設定する。ユーザが操作部１１２を操作することで、個人認識の対象領域を任意に指定できるようにしてもよい。そして、制御部１０８は、個人認識部１０５に画像データの対象領域から特徴情報の抽出を行わせる。この特徴情報は上述したように、目と鼻の位置の相対関係、ホクロの位置などの顔のパーツの形状や位置関係を示す情報、あるいは、顔の表面の凹凸の分布を示す情報などである。

ステップＳ２０２では、制御部１０８は、個人認識部１０５にステップＳ２０２で抽出した特徴情報と、特徴情報記憶部１０９に記憶された辞書データとしての特徴情報とのマッチングを行わせ、類似度を判定させる。特徴情報記憶部１０９には辞書データとして人物ごとに特徴情報が記憶されており、類似度が閾値以上である人物が存在する場合に、対象領域がその人物であると判定し、個人認識に成功したと判断する。なお、類似度が閾値以上である人物が複数存在する場合には、最も類似度が高い人物であると判定する。そして、個人認識に成功した場合には、その人物に対応する識別情報を読み出して表示部１１１に個人認識結果を表示する。

ステップＳ２０３では、制御部１０８は、ステップＳ２０２において個人認識に失敗していればステップＳ２０４に進み、成功していれば図２のフローを終了する。

ステップＳ２０４では、制御部１０８は、特徴情報記憶部１０９に記憶されているそれぞれの人物に対応する特徴情報の数や種類が、個人認識のためのマッチングを行うために必要とされる閾値以上あるかについて判断する。辞書データとしての特徴情報を記憶させる際に、この特徴情報を抽出するための画像データに含まれている人物が暗かったり、一部が別の物体の陰に隠れていたりすると、個人認識に必要な特徴情報を十分には抽出できないことがある。そのため、人物によっては、特徴情報記憶部１０９に個人認識を高い精度で行うために十分な量の特徴情報が記憶されていないことがある。そして、制御部１０８は、特徴情報が不足していると判断された人物に対応する特徴情報と、外部用ＩＤと、新規特徴情報の返信要求を、第２の画像処理装置１２１の通信部１１３を含む複数の外部画像処理装置の通信部へ送信する。

外部用ＩＤは、複数の人物について特徴情報を外部画像処理装置に送信する場合に、互いの情報を区別するために付与するものである。この外部用ＩＤは人物ごとに固定値を設定しても、ランダムな値を設定してもよい。後述するが、外部画像処理装置から受信する返信データにも同じ外部用ＩＤが付与されており、これによって、どの返信データがどの人物の特徴情報に対応するのかが判別できるようになっている。なお、特徴情報の数や種類が十分であるかの判断に用いる閾値は、識別情報記憶部１１０に記憶されている識別情報や特徴情報記憶部１０９に記憶されている特徴情報の数および種類に応じて変化させてもよい。また、いずれの人物の辞書データとしての特徴情報も十分であり不足していないと判断した場合には、図２に示すフローを終了するようにしてもよい。

ステップＳ２０５では、制御部１０８は、通信部１０７が第２の画像処理装置１２１を含む複数の外部画像処理装置の通信部から、返信データを受信したかを判定し、返信データを受信した場合にステップＳ２０６へ進む。

ステップＳ２０６では、制御部１０８は、返信データに含まれる特徴情報に、第１の画像処理装置１２０の特徴情報記憶部１０９に記憶されていない、新たな特徴情報が存在するかを判定する。新たな特徴情報がない場合は、新たな特徴情報を含む返信データの受信を待つ。なお、ステップＳ２０４にて返信要求を送信した全ての外部画像処理装置からの返信を受信した結果、新たな特徴情報を取得できなかった場合には図２の処理フローを終了させてもよい。あるいは、ある特定の時間以内で新たな特徴情報を取得できなかった場合も、図２の処理フローを終了させてもよい。

返信データに新たな特徴情報が含まれていた場合、ステップＳ２０７へ進み、制御部１０８は取得した新たな特徴情報に、外部画像処理装置から取得したことを示す、外部取得フラグを付加する。この外部取得フラグは、どの識別情報に対応する特徴情報か確認が取れていないことを示す。なお、制御部１０８は、新たに取得した特徴情報と識別情報との関係が取れたときに外部取得フラグを削除する。

ステップＳ２０８では、制御部１０８は、外部画像処理装置から取得した新たな特徴情報を一時記憶部１０６に記憶させる。

ステップＳ２０９では、制御部１０８は、個人認識部１０５に、一時記憶部１０６に記憶した新たな特徴情報と、ステップＳ２０１で抽出した特徴情報を用いてマッチングを行い、類似度を判定する。類似度が閾値以上であれば、ステップＳ２０４で外部画像処理装置に送信した特徴情報に対応する人物の個人認識に成功したと判断する。このとき、一時記憶部１０６に記憶した新たな特徴情報だけでなく、特徴情報記憶部１０９に記憶された同一人物の特徴情報も併せて用いて、マッチングを行うようにしてもよい。また、ステップＳ２０１で抽出した特徴情報ではなく、第１の画像処理装置１２０の不図示の記録メディアから複数の画像データを読み出し、これらの画像データから特徴情報を抽出しても良い。複数の画像データから特徴情報を抽出し直すことで、個人認識に成功する可能性を高くすることができる。

ステップＳ２１０では、制御部１０８は、ステップＳ２０９において個人認識に成功していればステップＳ２１１に進み、失敗していればステップＳ２１２に進む。

ステップＳ２１１では、一時記憶部１０６に記憶されている特徴情報を、対応する識別情報と対応付けて特徴情報記憶部１０９に記憶する。これにより、その人物に対応する特徴情報が追加されることになり、個人認識の精度が向上する。

ステップＳ２１２では、外部画像処理装置から受信した新たな特徴情報は、第１の画像処理装置１２０において特徴情報および識別情報が記憶された人物とは異なる人物に対応する可能性が高いため、一時記憶部１０６から削除する。

ステップＳ２１３では、外部取得フラグを削除し、このフローを終了する。

なお、本実施形態ではステップＳ２０３にて個人認識に失敗したと判定した場合に、外部画像処理装置へ返信要求を送信する構成としたが、これに限られるものではない。ユーザが任意のタイミングで指示することによって、外部画像処理装置へ返信要求を送信するように構成しても良いし、第１の画像処理装置の起動時に自動的に外部画像処理装置へ返信要求を送信するように構成しても良い。

また、外部画像処理装置から受信した返信データに新たな特徴情報が含まれている場合に、この新たな特徴情報を、一時記憶部１０６の代わりに特徴情報記憶部１０９に外部取得フラグとともに記憶するようにしてもよい。特徴情報記憶部１０９に記憶したとしても、外部取得フラグの有無の見ることによって、個人認識に成功済みであることが確認できた特徴情報であるか否かを判定することができる。

また、外部取得フラグを消去せずに残しておき、外部取得フラグが付加された特徴情報を用いて個人認識に成功した場合には、その旨を示す情報を付加して個人認識に成功した画像データを不図示の記録メディアに記録するようにしてもよい。

図３は複数の外部画像処理装置のうちの１つである第２の画像処理装置１２１の手順を示すフローチャートであり、図１における画像処理装置１２１の制御部１１５の制御の下に実行される。

ステップＳ３０１では、制御部１１５は、外部の画像処理装置（ここでは第１の画像処理装置１２０）から通信部１１３を介して返信要求と特徴情報を受信したかの判定を行い、受信していればステップＳ３０２へ進む。

ステップＳ３０２では、制御部１１５は、通信部１１３で受信した特徴情報をメモリ１１８に記憶する。

ステップＳ３０３では、制御部１１５は、メモリ１１８に記憶されている特徴情報と、特徴情報記憶部１１６に記憶されている特徴情報との比較処理を行い、類似が高い特徴情報が特徴情報記憶部１１６に記憶されているか判定する。

ステップＳ３０４では、制御部１１５が、メモリ１１８に記憶されている特徴情報と類似が高い特徴情報が特徴情報記憶部１１６に記憶されていると判定した場合にはステップＳ３０５に進み、そうでなければステップＳ３０６に進む。

ステップＳ３０５では、制御部１１５は、類似が高いと判定された特徴情報を識別情報と切り離して読み出し、この識別情報尾と切り離した特徴情報に、返信要求に付与されていた外部用ＩＤを付与する。

ステップＳ３０６では、制御部１１５は、ステップＳ３０４で類似する特徴情報があると判定された場合には、外部用ＩＤが付与された特徴情報を含む返信データを、通信部１１３を介して返信元である外部画像処理装置へ送信する。ステップＳ３０４で類似する特徴情報がないと判定された場合には、その旨を返信データとして送信する。

以上のように、本発明の実施形態によれば、辞書データとしての特徴情報が十分でない場合には、外部画像処理装置から同一の人物と推定される特徴情報を収集して追加することができるため、個人認識の精度を向上させることができる。さらに、画像処理装置間で送受信する特徴情報は、識別情報とは切り離されており、かつ、個人認識の際のマッチング処理に用いるように加工された情報である。そのため、万が一、特徴情報が漏洩したとしても、特徴情報だけを参照したとしてもどの人物を示しているかを特定することは困難であるため、個人のプライバシーを守ることができる。

また、本発明を監視カメラやネットワークに採用することで外部画像処理装置のセキュリティ状態にとらわれず、識別情報および特徴情報の蓄積が可能となる。

また、上述の実施形態は撮像装置以外にも応用することが可能である。個人の特徴情報を抽出できる機能と、他の画像処理装置と通信する手段を備えた画像処理装置であれば、プリンタやパーソナルコンピュータ、画像検索装置等であってもよい。

また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

１０１ 撮像ユニット
１０２ 撮像素子
１０３ Ａ／Ｄ変換器
１０４、１１８ メモリ
１０５、１１４ 個人認識部
１０６ 一時記憶部
１０７、１１３ 通信部
１０８、１１５ 制御部
１０９、１１６ 特徴情報記憶部
１１０、１１７ 識別情報記憶部
１１１ 表示部
１１２ 操作部
１２０ 第１の画像処理装置
１２１ 第２の画像処理装置

Claims (12)

1. 画像データに対して個人認識を行う個人認識手段と、
   前記個人認識の対象とする人物ごとに前記個人認識で用いる特徴情報、および、該特徴情報が誰であるかを示す識別情報を記憶する記憶手段と、
   情報を送受信する送受信手段と、
   前記送受信手段に、前記記憶手段に記憶された情報のうち、前記識別情報を除いた前記特徴情報を外部の装置に送信させ、該特徴情報と同一の人物とみなせる特徴情報を前記外部の装置から受信させる制御手段と、を有することを特徴とする画像処理装置。
2. 前記制御手段は、前記外部の装置から受信した前記特徴情報を、前記送受信手段に送信させた前記特徴情報と同一の人物に対応する特徴情報として、前記記憶手段に記憶させることを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記個人認識手段が前記外部の装置から受信した前記特徴情報を用いて個人認識に成功した場合に、前記外部の装置から受信した前記特徴情報を、前記送受信手段に送信させた前記特徴情報と同一の人物に対応する特徴情報として、前記記憶手段に記憶させることを特徴とする請求項１に記載の画像処理装置。
4. 前記制御手段は、前記送受信手段に、フラグを付与した前記特徴情報を前記外部の装置に送信させ、該フラグが付与され、かつ、該特徴情報と同一の人物とみなせる特徴情報を前記外部の装置から受信することを特徴とする請求項３に記載の画像処理装置。
5. 前記制御手段は、前記個人認識手段が前記外部の装置から受信した前記特徴情報を用いて個人認識に成功した場合に、前記外部の装置から受信した前記特徴情報を、前記フラグに対応する人物に対応する特徴情報として、前記記憶手段に記憶させることを特徴とする請求項４に記載の画像処理装置。
6. 前記個人認識手段は、前記外部の装置から受信した前記特徴情報を用いて画像データに対して個人認識を行い、
   前記制御手段は、前記外部の装置から受信した前記特徴情報を用いて個人認識が行われた画像データに対して、前記外部の装置から受信した前記特徴情報を用いたことを示す情報を付加して、前記記憶手段に記憶させることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 画像に対して個人認識を行う第１の個人認識手段と、前記個人認識の対象とする人物ごとに前記個人認識で用いる特徴情報、および、該特徴情報が誰であるかを示す識別情報を記憶する第１の記憶手段と、情報を送受信する第１の送受信手段と、を備える第１の画像処理装置と、
   前記個人認識で用いる特徴情報を記憶する第２の記憶手段と、情報を送受信する第２の送受信手段と、を備える第２の画像処理装置と、を有する画像処理システムであって、
   前記第１の画像処理装置は、前記第１の記憶手段に記憶された情報のうち、前記識別情報を除いた前記特徴情報を、前記第１の送受信手段を用いて前記第２の画像処理装置に送信し、
   前記第２の画像処理装置は、前記第２の記憶手段に記憶された前記特徴情報のうち、前記第１の画像処理装置から送信された前記特徴情報と同一人物とみなせる特徴情報を、前記第２の送受信手段を用いて前記第１の画像処理装置に送信することを特徴とする画像処理システム。
8. 画像データに対して個人認識を行う個人認識手段と、前記個人認識の対象とする人物ごとに前記個人認識で用いる特徴情報、および、該特徴情報が誰であるかを示す識別情報を記憶する記憶手段と、情報を送受信する送受信手段と、を有する画像処理装置の制御方法であって、
   前記記憶手段に記憶された情報のうち、前記識別情報を除いた前記特徴情報を外部の装置に送信する工程と、
   該特徴情報と同一の人物とみなせる特徴情報を前記外部の装置から受信する工程と、を有することを特徴とする画像処理装置の制御方法。
9. 前記外部の装置から受信した前記特徴情報を、前記外部の装置に送信した前記特徴情報と同一の人物に対応する特徴情報として、前記記憶手段に記憶させる工程を、さらに有することを特徴とする請求項８に記載の画像処理装置の制御方法。
10. 前記外部の装置から受信した前記特徴情報を用いて前記個人認識手段に個人認識をさせる工程と、
    前記個人認識に成功した場合に、前記外部の装置から受信した前記特徴情報を、前記外部の装置に送信した特徴情報と同一の人物に対応する特徴情報として、前記記憶手段に記憶させる工程を、さらに有することを特徴とする請求項８に記載の画像処理装置の制御方法。
11. 画像に対して個人認識を行う第１の個人認識手段と、前記個人認識の対象とする人物ごとに前記個人認識で用いる特徴情報、および、該特徴情報が誰であるかを示す識別情報を記憶する第１の記憶手段と、情報を送受信する第１の送受信手段と、を備える第１の画像処理装置と、
    前記個人認識で用いる特徴情報を記憶する第２の記憶手段と、情報を送受信する第２の送受信手段と、を備える第２の画像処理装置と、を有する画像処理システムの制御方法であって、
    前記第１の記憶手段に記憶された情報のうち、前記識別情報を除いた前記特徴情報を、前記第１の送受信手段を用いて前記第２の画像処理装置に送信する工程と、
    前記第２の記憶手段に記憶された前記特徴情報のうち、前記第１の送信手段から送信された前記特徴情報と同一人物とみなせる特徴情報を、前記第２の送受信手段を用いて前記第１の画像処理装置に送信する工程と、を有することを特徴とする画像処理システムの制御方法。
12. 請求項８乃至１１のいずれか１項に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images