JP2015082685A - カメラ、およびプログラム - Google Patents

Abstract

【課題】撮像された人物の顔に関して適切な処理を行う。
【解決手段】このカメラは、被写体像を繰り返し撮像する撮像部１１と、複数の人物の顔に関する顔情報を記憶するフラッシュメモリ２３と、撮像部１１によって撮像された被写体像から顔を認識し、認識された顔とフラッシュメモリ２３に記憶された顔情報とを照合することにより、認識された顔を表示の積極性の度合いに基づく複数の顔グループのいずれかに分類する制御部１０と、を備える。この分類結果に応じて、撮像部１１によって撮像された被写体像に所定の画像処理を実行してもよい。
【選択図】図１

Description

本発明は、カメラ、およびプログラムに関する。

撮像手段によって常時撮像を行う映像監視システムにおいて、プライバシー保護を行うことが試みられている。例えば、下記の特許文献１には、撮像手段によって撮像された被写体像に含まれる人物を、モザイク処理等によりマスクすることが記載されている。

特開２００２−１４２２１４号公報

特許文献１に開示された技術においては、撮像手段によって撮像されたあらゆる人物について、モザイク処理等によりマスクする処理が実行される。このため、マスクする必要のない場合にもマスクされてしまうという問題がある。

請求項１に係るカメラは、被写体像を繰り返し撮像する撮像手段と、複数の人物の顔に関する顔情報を記憶する記憶手段と、撮像手段によって撮像された被写体像から顔を認識する顔認識手段と、顔認識手段によって認識された顔と記憶手段に記憶された顔情報とを照合することにより、顔認識手段によって認識された顔を複数の顔グループのいずれかに分類する分類手段とを備え、顔グループは表示の積極性の度合いに基づく分類であることを特徴とする。

請求項１に係る発明によれば、顔認識手段によって認識された顔を表示の積極性の度合いに基づく複数の顔グループのいずれかに分類することにより、分類結果に応じて表示の積極性に基づく適切な処理を行うことができる。

本発明の第１の実施の形態に係るカメラのブロック図である。 図１に示されたカメラの動作を示すフローチャートである。 本発明の第２の実施の形態に係るカメラのブロック図である。 図３に示されたカメラの動作を示すフローチャートである。

（第１の実施の形態の構成）
図１は、本発明の第１の実施の形態に係るカメラのブロック図である。第１の実施の形態に係るカメラは、ユーザが自分の身体に装着した状態で継続的に動画を撮像可能なウェアラブルカメラである。このカメラは、制御部１０と、撮像部１１と、操作部１６と、ＬＣＤ（Liquid Crystal Display）１７と、表示制御部１８と、メモリカードＩ／Ｆ１９と、無線通信部２０と、外部Ｉ／Ｆ２１と、バイブレータ２２と、フラッシュメモリ２３とを有している。撮像部１１は、光学ユニット１２と、撮像素子１３と、信号処理部１４と、駆動部１５とを有している。

制御部１０は、撮像素子１３、信号処理部１４、駆動部１５、操作部１６、表示制御部１８、メモリカードＩ／Ｆ１９、無線通信部２０、外部Ｉ／Ｆ２１、バイブレータ２２及びフラッシュメモリ２３と、それぞれ信号線で接続されている。制御部１０は、各種制御を行うために、不揮発メモリであるフラッシュメモリ２３からプログラムをロードして実行する。また、これらの各部、制御部１０及びＬＣＤ１７には、図示しないバッテリーから電力が供給される。

光学ユニット１２は、図示しないレンズ、絞り、シャッタ等の光学部品を含む。駆動部１５は、制御部１０による制御に従って、レンズの位置、絞りの開口量、シャッタスピード等を制御する。光学ユニット１２は、撮像素子１３の撮像面に被写体像を結像する。

撮像素子１３は、画素に対応する多数の光電変換素子を備えたイメージセンサである。撮像素子１３は、撮像面に結像された被写体像の明るさに応じたアナログの画像信号を出力する。信号処理部１４は、撮像素子１３が出力した画像信号に基づいて、ゲイン調整やデジタルの画像データへの変換などを行う。

操作部１６は、図示しないレリーズスイッチや、メニュー設定ボタン等を含んでいる。操作部１６に対する操作に基づいて、制御部１０が各種制御を行う。ＬＣＤ１７は、撮像するときに画角等を確認するための電子ファインダーとして、あるいは、その他のユーザインターフェース用の表示画面として利用される。表示制御部１８は、制御部１０の制御に応じて、各種の画像をＬＣＤ１７に表示させる。

メモリカードＩ／Ｆ１９は、図示しないコネクタを介して接続されたメモリカード２４にアクセスして、データの書き込みや読み出しを行う。無線通信部２０は、外部機器との間で無線通信を行う。無線通信は、電波を用いたものでもよいし、赤外線を用いたものでもよい。外部Ｉ／Ｆ２１は、パーソナルコンピュータなどの外部機器に有線接続するためのインターフェース回路である。

フラッシュメモリ２３には、プログラムの他に、複数の人物の顔に関する顔情報を記憶している。顔情報は、人物の相貌に関する情報であり、被写体像から認識された顔との照合を行うための情報である。複数の人物の各々は、第１の人物グループ及び第２の人物グループを含む複数の人物グループのいずれかに属している。第１の人物グループは、例えば、ユーザ本人や撮影・公開の承諾を得ている者、公人、著名人など、撮影した動画の公開にあたりプライバシー保護を行う必要のない人物である。第２の人物グループは、例えば、迷子、指名手配犯など、当該人物が被写体像に映り込んでいることをユーザ又は他人が積極的に知りたい人物である。これら第１、第２の人物グループにおける人物は、ユーザーが予め記憶させておく。例えば、撮影画像から顔認識された人物をタッチパネル上で指定することによって特定し記憶させたり、インターネットで検索された人物を特定し記憶させることによって、複数の人物の顔に関する顔情報を記憶する。

（第１の実施の形態の動作）
図２は、図１に示されたカメラの制御部１０がフラッシュメモリ２３からロードして実行するプログラムの動作を示すフローチャートである。第１の実施の形態に係るカメラの制御部１０は、以下のように動作する。すなわち、制御部１０は、撮像部１１により被写体像を繰り返し撮像し、メモリカード２４に順次記憶させることにより、被写体像の動画を再生可能とする。図２に示されるフローチャートは、動画を構成する１フレーム毎の画像に対する処理を示している。

まず、ステップＳ１０において、制御部１０は、動画の撮像を実行する。具体的には、制御部１０は、撮像部１１を制御して、撮像部１１によって撮像された被写体像のデジタルの画像データを取得する。次に、ステップＳ１２において、制御部１０は、取得した被写体像の画像データについて顔認識処理を行う。顔認識処理は、被写体像に含まれる人物の顔を抽出する処理である。

次に、ステップＳ１４において、制御部１０は、顔認識処理によって被写体像の画像データから認識された顔と、フラッシュメモリ２３に記憶された顔情報とを照合する。そして、顔認識処理によって認識された顔を、表示の積極性の度合いに応じて複数の顔グループのいずれかに分類する。ここで、表示の積極性の度合いとは、例えば、積極的に表示する、表示してよい、表示しない（隠す）、などの段階を示し、表示を否定する意味も含む。また、複数の顔グループは、上記第１の人物グループに対応する第１の顔グループと、上記第２の人物グループに対応する第２の顔グループと、複数の人物グループのいずれにも対応しない第３の顔グループとを含む。

次に、ステップＳ１５において、制御部１０は、顔の分類結果に応じて画像処理を行う。例えば、第１の顔グループに分類された顔に対しては、画像処理を行わない。また、第２の顔グループに分類された顔に対しては、その顔を、あるいはその顔が含まれる当該人物全体を、強調して表示する処理（強調処理）を行う。この強調処理は、例えば、強調して表示される顔又は人物の輪郭を認識し、この輪郭に沿った太線を表示する処理である。また、第３の顔グループに分類された顔に対しては、その顔をモザイク処理等によって隠す処理（プライバシー保護処理）を行う。すなわち、顔グループと上に例示した表示の積極性の度合いの対応は、第１の顔グループは“表示してよい”、第２の顔グループは“積極的に表示する”、第３の顔グループは“表示しない”、である。

次に、ステップＳ１８において、制御部１０は、画像処理が行われた画像の画像データを、メモリカード２４に記憶させる。画像データを保存したら、制御部１０は、本フローチャートの処理を終了する。

上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）本願発明に係るカメラは、被写体像を繰り返し撮像する撮像部１１と、複数の人物の顔に関する顔情報を記憶するフラッシュメモリ２３と、撮影部１１によって撮像された被写体像から顔を認識する顔認識処理（図２のステップＳ１２）と、顔認識処理によって認識された顔とフラッシュメモリ２３に記憶された顔情報とを照合することにより、顔認識処理によって認識された顔を複数の顔グループのいずれかに分類する分類手段（図２のステップＳ１４）とを備え、顔グループは表示の積極性の度合いに基づく分類であることを特徴としている。これにより、分類された顔グループごとに適切な処理を行うことができる。
（２）第３の顔グループに分類された顔に対してプライバシー保護処理を行い、第１の顔グループに分類された顔に対してはプライバシー保護処理を行わない。これにより、被写体像に含まれる複数の顔のうち、特定の顔とそれ以外の顔とでプライバシーの保護の有無を異ならせることができる。従って、記憶された動画をユーザが公開したいときに、プライバシー保護の必要性に応じて適切な処理がなされた動画を公開することができる。このように、第１の実施形態によるカメラは、ユーザが自分の日々の生活を常時記録して公開するためのライフログカメラとして利用することができる。

また、第１の実施の形態によれば、第２の顔グループに分類された顔に対して強調処理を行う。これにより、被写体像に映り込んだ多数の人物の中から特定の人物を探し出すことができる。

（第２の実施の形態の構成）
図３は、本発明の第２の実施の形態に係るカメラのブロック図である。第２の実施の形態に係るカメラは、第１の実施の形態に係るカメラと同様のウェアラブルカメラである。但し、第１の実施の形態におけるＬＣＤ１７の代わりに、第２の実施の形態に係るカメラはＨＭＤ（Head Mounted Display）１７ａを有している。ＨＭＤ１７ａは、ユーザが頭部に装着して使用可能な画像表示装置である。その他の構成は、第１の実施の形態におけるものと同様であるので、説明を省略する。

（第２の実施の形態の動作）
図４は、図３に示されたカメラの動作を示すフローチャートである。第２の実施の形態に係るカメラの制御部１０は、以下のように動作する。これにより、被写体像を繰り返し撮像して、撮像された画像に対して第１の画像処理を行った第１の加工画像をＨＭＤ１７ａに表示させる。さらに、第１の画像に対して第２の画像処理を行った第２の加工画像をメモリカード２４に記憶させる。図４に示されるフローチャートは、動画を構成する１フレーム毎の画像に対する処理を示している。

まず、第１の実施の形態と同様に、ステップＳ１０において、制御部１０は、動画の撮像を実行する。次に、ステップＳ１２において、制御部１０は、取得した被写体像の画像データについて顔認識処理を行う。この画像データにおいて、１フレームに複数の顔が映り込んでいる場合もある。１フレームに映り込んでいた顔の数をＸとし、１からＸまで変化する整数をｎとし、番号ｎによって、個々の顔を特定することができる。
次に、ステップＳ２３において、番号ｎの値を１にセットする。

次に、ステップＳ２４において、制御部１０は、顔認識処理によって認識されたｎ番目の顔と、フラッシュメモリ２３に記憶された顔情報とを照合する。そして、ｎ番目の顔が、第２の人物グループに対応する第２の顔グループに分類されるか否かを判定する。

ｎ番目の顔が第２の顔グループに分類される場合（ステップＳ２４；ＹＥＳ）、制御部１０は、ステップＳ２５において、このｎ番目の顔に対して、強調処理を行う。その後、制御部１０は、処理をステップＳ２６に進める。
ｎ番目の顔が第２の顔グループに分類されない場合（ステップＳ２４；ＮＯ）、制御部１０は、このｎ番目の顔に対して強調処理をせずに、処理をステップＳ２６に進める。

ステップＳ２６において、制御部１０は、番号ｎの値がＸに達したか否かを判定する。ステップＳ２６において、番号ｎの値がＸに達していない場合（ステップＳ２６；ＮＯ）、制御部１０は、ステップＳ２７において、番号ｎの値に１を加える。その後、制御部１０は、処理を上述のステップＳ２４に戻すことにより、次の顔について上述の処理を繰り返す。これにより、強調処理が行われた第１の加工画像が生成される。

ステップＳ２６において、番号ｎの値がＸに達した場合（ステップＳ２６；ＹＥＳ）、制御部１０は、ステップＳ２８において、第１の加工画像をＨＭＤ１７ａに表示させる。これにより、被写体像に映り込んだ多数の人物の中から特定の人物を探し出す動作をリアルタイムに行うことができる。
次に、ステップＳ３３において、番号ｎの値を再び１にセットする。

次に、ステップＳ３４において、制御部１０は、顔認識処理によって認識されたｎ番目の顔が、第１の人物グループにも第２の人物グループにも対応しない第３の顔グループに分類されるか否かを判定する。

ｎ番目の顔が第３の顔グループに分類される場合（ステップＳ３４；ＹＥＳ）、制御部１０は、ステップＳ３５において、このｎ番目の顔に対して、プライバシー保護処理を行う。その後、制御部１０は、処理をステップＳ３６に進める。
ｎ番目の顔が第３の顔グループに分類されない場合（ステップＳ３４；ＮＯ）、制御部１０は、このｎ番目の顔に対してプライバシー保護処理をせずに、処理をステップＳ３６に進める。

ステップＳ３６において、制御部１０は、番号ｎの値がＸに達したか否かを判定する。ステップＳ３６において、番号ｎの値がＸに達していない場合（ステップＳ３６；ＮＯ）、制御部１０は、ステップＳ３７において、番号ｎの値に１を加える。その後、制御部１０は、処理を上述のステップＳ３４に戻すことにより、次の顔について上述の処理を繰り返す。これにより、強調処理に加えてプライバシー保護処理が行われた第２の加工画像が生成される。

ステップＳ３６において、番号ｎの値がＸに達した場合（ステップＳ３６；ＹＥＳ）、制御部１０は、ステップＳ３８において、第２の加工画像の画像データを、メモリカード２４に記憶させる。画像データを保存したら、制御部１０は、本フローチャートの処理を終了する。
上述した第２の実施の形態によれば、撮影して得られた画像データに対して顔認識処理により顔の数を認識し、その全ての顔に対して分類処理および画像処理がなされるので、撮影した画像に複数の顔が存在した場合でも、処理の漏れがない。また、ユーザが撮影時に使用するＨＭＤ１７ａには、プライバシー保護処理がなされる前の、強調処理のみが行われた第１の加工画像が表示されるので、ユーザが積極的に知りたい人物を効率的に視認することができる。

以下のような変形も本発明の範囲内であり、変形例の１つ、もしくは複数を上述の実施の形態の１つもしくは複数と組み合わせることも可能である。

（変形例１）
第１及び第２の実施の形態において、顔認識処理によって認識された顔が第２の顔グループに分類された場合に、強調処理をするだけではなく、音や振動などによる報知を行ってもよい。例えば、制御部１０が、バイブレータ２２の動作を制御することにより、振動による報知を行ってもよい。あるいは、制御部１０が、図示しないスピーカにより報知音を発生させてもよい。

（変形例２）
第２の実施の形態において、強調処理が行われてＨＭＤ１７ａに表示された第１の加工画像を見たユーザ、あるいは上述の変形例１における報知を受けたユーザが、ＨＭＤ１７ａによる再表示を要求できるようにしてもよい。再表示の要求は、操作部１６を介して行われてもよい。再表示を要求された制御部１０は、当該第２の顔グループに分類された顔が表示開始されたときに遡って、画像をＨＭＤ１７ａに再表示してもよい。

（変形例３）
第１及び第２の実施の形態において、第２の人物グループに属する人物の顔情報は、無線通信などにより外部から配信されるようにしてもよい。例えば、迷子の顔情報を、第１又は第２の実施の形態に係る複数のカメラに随時配信することにより、迷子の目撃情報を集めることが可能となる。

（変形例４）
第１及び第２の実施の形態において、プライバシー保護処理を行う場合、処理前の元の画像を、後でユーザが復元できるようにしてもよい。例えば、モザイク処理等が行われたフレームのフレーム番号と、当該モザイク処理等が行われた部分の画像データと、当該部分のアドレス情報とを対応付けて、メモリカード２４に記憶させる。ユーザが当該部分を復元させたいときは、当該部分の画像データをそのフレームのフレーム番号の該当するアドレスに貼りつけることにより、当該部分を復元することができる。

（変形例５）
第１の実施の形態において顔の分類又は画像処理を行うタイミングや、第２の実施の形態においてプライバシー保護処理を行うタイミングは、メモリカード２４に画像を記憶させるときには限られない。例えば、第１の実施の形態において、メモリカード２４に画像を記憶させるときには顔の分類を行い、画像を記憶させたメモリカード２４をカメラから取り外すときに、画像処理を行うようにしてもよい。また、第１の実施の形態において、画像を記憶させたメモリカード２４をカメラから取り外すときに、顔の分類及び画像処理を行うようにしてもよい。また、第１及び第２の実施の形態に係るカメラを直接ネットワークに接続し、カメラから撮影した動画をアップロードできるように構成した場合に、このアップロードのときにプライバシー保護処理などの画像処理を行ってもよい。

（変形例６）
第１及び第２の実施の形態において、人物グループの数は２つである場合に限られず、顔グループの数は３つである場合に限られない。また、それぞれの顔グループに対する画像処理も、強調処理及びプライバシー保護処理に限られず、他の画像処理を行ってもよい。

１０…制御部（顔認識手段、分類手段、画像処理手段）、１１…撮像部（撮像手段）、１２…光学ユニット、１３…撮像素子、１４…信号処理部、１５…駆動部、１６…操作部、１７…ＬＣＤ、１７ａ…ＨＭＤ、１８…表示制御部、１９…メモリカードＩ／Ｆ、２０…無線通信部（送信手段、受信手段）、２１…外部Ｉ／Ｆ、２２…バイブレータ、２３…フラッシュメモリ（記憶手段）、２４…メモリカード

Claims (5)

1. 被写体像を繰り返し撮像する撮像手段と、
   複数の人物の顔に関する顔情報を記憶する記憶手段と、
   前記撮像手段によって撮像された被写体像から顔を認識する顔認識手段と、
   前記顔認識手段によって認識された顔と前記記憶手段に記憶された顔情報とを照合することにより、前記顔認識手段によって認識された顔を複数の顔グループのいずれかに分類する分類手段とを備え、
   前記顔グループは表示の積極性の度合いに基づく分類であることを特徴とするカメラ。
2. 請求項１に記載のカメラにおいて、
   前記分類手段による分類結果に応じて、前記撮像手段によって撮像された被写体像に表示の積極性の度合いに基づく所定の画像処理を実行する画像処理手段
   をさらに備えることを特徴とするカメラ。
3. 請求項２に記載のカメラにおいて、
   前記記憶手段に前記顔情報が記憶された前記複数の人物は、第１の人物グループ及び第２の人物グループを含む複数の人物グループのいずれかに属しており、
   前記分類手段によって分類される前記複数の顔グループは、前記第１の人物グループに対応する第１の顔グループと、前記第２の人物グループに対応する第２の顔グループと、前記複数の人物グループのいずれにも対応しない第３の顔グループと、を含み、
   前記画像処理手段は、前記分類手段による分類結果に応じて、
   前記顔認識手段によって認識された顔が前記第２の顔グループに分類された場合に、前記被写体像に第１の画像処理を実行し、
   前記顔認識手段によって認識された顔が前記第３の顔グループに分類された場合に、前記被写体像に第２の画像処理を実行することを特徴とするカメラ。
4. 請求項３に記載のカメラにおいて、
   前記第１の画像処理は、前記第２の顔グループに分類された顔を強調表示する処理であり、
   前記第２の画像処理は、前記第３の顔グループに分類された顔を隠す処理である
   ことを特徴とするカメラ。
5. 画像データを繰り返し入力する画像入力手順と、
   複数の人物の顔に関する顔情報を記憶手段に記憶する記憶手順と、
   前記画像入力手順によって入力された被写体像から顔を認識する顔認識手順と、
   前記顔認識手順によって認識された顔と前記記憶手順により前記記憶手段に記憶した顔情報とを照合することにより、前記顔認識手順によって認識された顔を複数の顔グループのいずれかに分類する分類手順とをコンピュータに実行させるためのプログラムであって、
   前記顔グループは表示の積極性の度合いに基づく分類であることを特徴とするプログラム。

Images