JP2017126910A - 撮影装置 - Google Patents

Abstract

【課題】リアルタイムに撮影した人物の顔認識を行うには、撮影装置などの端末で顔を含む画像を撮影し、複雑な処理が必要な顔認識処理は、クラウドの外部の装置にておこなうという分担が適切である。このとき通信量を抑えるには、顔認識に必要情報量の画像を撮影する必要があり、そのための適切な撮影方法が要望されている。【解決手段】撮影装置にて、間引き読みにて撮影した画像により顔検出を行い、検出した顔画像が顔認識に必要な画素数に足りない場合は、全画素読みにて撮影し、顔画像を切り出して、顔認識が可能な装置へ送信を行う。【選択図】図３

Description

本発明は、人物の顔を検出する撮影装置に関する。

近年、デジタルカメラなどの撮影装置にて撮影した画像から、人物の顔の特徴を解析して人物を特定する、いわゆる顔認識を行う技術が考案されている。顔認識を使ったシステムの例として、国際空港に設置し、犯罪者の入国防止に使われている事例が広く知られている。

一方、警官の行動と市民の行動を監視する目的で、警官の身体への装着式カメラ（Ｂｏｄｙ Ｗｏｒｎ Ｃａｍｅｒａ：ＢＷＣ）の導入が、米国を発端に始まっている。このＢＷＣを使って、撮影時にリアルタイムに犯罪者を照合することができれば、犯人逮捕に役立てることができると考えられている。

撮影時にカメラ単体で顔認識を行うためには、顔認識のためのデータベースをカメラ毎に持つ必要がある。特に、犯罪者などの大量のデータベースと照合するには、大きなメモリと高い処理能力が必要となるため、実現するためには高価で大型化してしまう恐れがある。また、犯罪者のデータベースは日々更新されているため、それぞれのカメラのデータベースを更新するのにも莫大なコストがかかる。

そのため、ＢＷＣで撮影した画像を顔認識サーバへ送信し、犯罪者データベースと照合することで、カメラ側は軽量で安価に作成することができ、システムもフレキシブル性を得ることができる。

しかし、撮影した画像全てを顔認識サーバへ送信すると、大量の通信トラフィックが発生し、通信コストがかさんでしまうという問題が発生する。

そこで、通信トラフィックを圧縮できるカメラとして、検出した顔画像を一定の画素数で切り出して送信する撮像画像転送装置に関する発明が、特許文献１にて開示されている。

特開２００３−３１９３８６号公報

しかしながら、顔認識を行うためには、顔の目や鼻、口などの器官を検出して、それぞれの相対位置情報を数値化する必要があるため、顔検出に必要な画像サイズよりも大きな画像サイズが必要である。そのため、顔検出できた画像が顔認識に使えない場合が発生し、無駄な通信トラフィックと、顔認識サーバで無駄な処理プロセスが発生してしまう。

本発明の目的は、顔認識サーバに送信する画像データを適切に撮影するための撮影装置を提供することにある。

上記の目的を達成するために、本発明に係る撮影装置は、
撮像素子と、外部と無線通信を行うための無線通信手段を有する撮影装置であって、
前記撮像素子からの画像の読み出し方法である、第一の撮影モードと、
前記第一の撮影モードよりも読み出し画素数が多い第二の撮影モードがあり、
前記第一の撮影モードで顔検出を行い、
前記第一の撮影モードで検出した顔の画像をトリミングする第一のトリミング手段と、
前記第一のトリミング手段でトリミングした画像の画素数が所定以下であるかどうかを判断する顔認識判断手段と、
前記顔認識判断手段が、所定以下であと判断した時は、前記第二の撮影モードに切り替えて撮影を行い、対応する顔の画像をトリミングする第二のトリミング手段を有し、
前記第一のトリミング手段、または、前記第二のトリミング手段でトリミングした少なくとも一方の画像を外部装置へ前記無線通信手段にて送信することを特徴とする。

本発明に係る撮影装置によれば、顔認識サーバに送信する画像データを適切に撮影することができる。

撮影装置の構成を示すブロック図 撮像素子の受光面を示す図 第１の実施の形態におけるシステム制御部での処理フロー 撮影装置を含む、顔認識システムの全体構成図 第２の実施の形態におけるＢＷＣ使用時の顔の出現パターンの説明図 第２の実施の形態におけるシステム制御部での処理フロー

以下、本発明の実施の形態を図面に基づいて説明する。

［第１の実施の形態］
図４は本実施形態である撮影装置を含む、顔認識システムの全体構成図である。

撮影装置１００で顔を検出し、画像から検出した顔情報のみを切り出して、ネットワーク経由で顔認識が実行できるクラウド等のサーバ２００へ送信する。サーバ２００で顔認識した情報が、特定のデータベースと一致した場合、その旨を撮影装置１００へ送信し、撮影装置の使用者へ通知するものとする。

図１は本実施形態による撮影装置の構成を示すブロック図である。

撮影レンズ１０３はシャッター１０１を通して撮像素子２２へ結像するための調整がされている。シャッター１０１は、絞り機能を備えている。

撮像素子２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等によって構成されている。撮像素子２２の受光面には、図２に示すような複数の画素がマトリクス状に配されている。各画素には、赤、青、緑のカラーフィルターが装着されており、カラーフィルターは各色に応じた周波数帯を通過させるバンドフィルターとなっている。画素の読み出し方式は、撮影モード毎に切り替えることが可能であり、たとえば、全ての画素を読み出す全画素読みや、高速省電力のため、水平方向の特定のラインを間引き読み等の読み出し方式が選択可能である。Ａ／Ｄ変換器２３は、撮像素子２２から出力されるアナログ信号をデジタル信号に変換する。

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し、所定の画素補間、縮小といったリサイズ処理や、色変換処理、また、撮影した画像を解析して人物の顔の検出や、画像の必要か所を抜き出すトリミング処理等を行う。また、画像処理部２４は、撮像した画像データを用いて所定の演算処理を行い、演算処理によって得られた演算結果をシステム制御部５０に送信する。

システム制御部５０は、画像処理部２４によって得られた演算結果に基づいて、露光制御等を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理等が行われる。画像処理部２４は、撮像した画像データを用いて所定の演算処理を行い、演算処理によって得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。

Ａ／Ｄ変換器２３から出力されるデジタルデータは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介して、メモリ３２に書き込まれる。

メモリ３２は、撮像素子２２によって得られ、Ａ／Ｄ変換器２３によってデジタルデータに変換された画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像及び音声を格納するのに十分な記憶容量を備えている。

不揮発性メモリ５６は、電気的に情報の消去や記録が可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられている。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶されている。かかるプログラムは、本実施形態による撮影装置を制御するためのプログラムであり、例えば、図３に示すような動作が当該プログラムによって実行される。

システム制御部５０は、本実施形態による撮影装置（以下、「デジタルカメラ」ともいう）１００の全体の制御を司る。不揮発性メモリ５６に記録されたプログラムを実行することによって、後述する各処理を実行する。

システムメモリ５２としては、例えばＲＡＭが用いられている。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。

システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、これらの検出結果やシステム制御部５０からの指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、各部へ供給する。

電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等から成る。

電源スイッチ７２は、デジタルカメラ１００の電源のオン／オフの切り替えのためのものである。

記録媒体１５０は、メモリカード、半導体メモリ、磁気ディスク等によって構成される。記録媒体１５０への画像データの書き込みや記録媒体１５０からの画像データの読み出し等は、メディアインターフェース１８を介して行われる。

外部装置と接続する場合は、通信インタフェース４１を介して行われる。通信インタフェースとしては、無線ＬＡＮ，Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＬＥＴ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）等の無線技術によって構成される。外部装置と通信することにより、本撮影装置の操作や設定の変更が可能となる。さらに、本撮影装置のライブ画像を送信することも可能である。

アラーム５４は、デジタルカメラ１００で発生したイベントや、通信インタフェース４１を介して外部機器などから受信した情報をもとに、ユーザへ音で通知するためのスピーカ等で構成されている。

図２を用いて間引き読みを説明する。

図２において、Ｈ０行Ｖ０列の画素はＲ（赤色：Ｒｅｄ）、Ｈ１行Ｖ０列の画素および、Ｈ０行Ｖ１列の画素はＧ（緑色：Ｇｒｅｅｎ）、Ｈ１行Ｖ１列の画素はＢ（青色：Ｂｌｕｅ）を示している。全画素に対して、ＲＧＢが繰り返しパターンとなっている。ＲＧＢの各画素の出力の比が彩度を表現し、出力の絶対値が輝度を表す。多くの画素で撮影するためには、全ての画素を読み出す全画素読みモードで撮影する。

しかしながら、全画素読みを使用すると、画素からの読み出しに時間がかかり、電力消費が大きくなる。そのため、必要な解像度と消費電力のトレードオフにより、画素を垂直方向に間引いて読み出す間引き読みという動作モードを設ける。

例として図２を用いて垂直１／３間引き読みを説明すると、Ｈ０行をはじめとする３の倍数の行の画素は全画素読み出すが、Ｈ１、Ｈ２等のその他の行は読み出さない。垂直１／３間引き読みは全画素読みに対して垂直方向の解像度が１／３になるが、全画素読みで読み出した画素配列と同じＲＧＢ構造をとることになる。垂直方向および、水平方向の間引き読みは、Ｒ画素およびＧ画素を含む行とまたは列と、Ｇ画素およびＢ画素を含む行または列を交互に読み出す必要がある。

図３は本発明である撮影装置１００のシステム制御部５０での処理フローを示した図である。

Ｓ３０１は、撮影を終了するかどうかを判定するステップである。判定条件としては、電源スイッチ７２が押されたかどうかで検出する方法や、通信インタフェース４１を介して、外部の装置から指示をもとに判定してもよい。撮影を終了する場合は、Ｓ３０２に進み、撮影を継続する場合はＳ３０３へ進む。

Ｓ３０３は、間引き撮影を行い、撮影した画像を画像処理部２４で解析を行うステップである。間引き読み出しを行った場合に得られる画素数が、全画素読み出しを行った場合に得られる画素数に対する割合を間引き率としたとき、顔検出時に使用する間引き率は下記の式で表すことができる。
（間引き率）≦（顔検出に必要な最低画素数）／（顔認識に必要な最低画素数）
例えば、顔検出を行うのに必要な最低画素数が垂直方向に２０ピクセル、顔認識を行うのに必要な最低画素数が垂直方向に６０ピクセルである場合、垂直１／３間引き以下で顔検出を行えばよい。

次にＳ３０４は、画像処理部２４での解析をもとに、撮影画像に顔が含まれているかどうかで検出判定を行うステップである。顔が検出されない場合は、Ｓ３０１へ戻り、検出された場合は、Ｓ３０５へ進む。

Ｓ３０５は、Ｓ３０３にて撮影した画像に含まれる顔画像が個体を識別するのに必要な画素数を含んでいるかどうか、つまり、顔認識できるかどうかの判定を行うステップである。顔認識に必要な画素数は、事前に顔認識を行うシステムと通信を行い、取得した情報をメモリ３２などへ保存しておくと良い。先ほどの例では、顔認識を行うのに必要な最低画素数が６０ピクセルであるため、顔検出された画素が６０ピクセル未満であるかどうかで判定を行う。画素が不足している場合はＳ３０６へ進み、不足していないときは、Ｓ３０７へ進む。

Ｓ３０６は、顔が検出された領域に対して、間引き読みから全画素読みに撮影モードを切り替えて撮影を行うステップである。このとき、Ｓ３０４の判定で、顔検出ができたために、垂直１／３間引き読みで２０ピクセル以上の画像であるため、全画素読みを行うことで６０ピクセル以上が得ることができる。

Ｓ３０７は、顔に関わる画像領域をトリミングするステップである。画像処理部２４を使用して、顔を検出した領域から余分な領域を切り出し、画像を圧縮し、Ｓ３０８へ進む。

Ｓ３０８は、顔画像を送信するステップである。顔画像の送信が終わるとＳ３０１へ戻る。

以上示したように、本実施の形態によれば、顔認識を行うサーバ２００において、画素不足のため、顔認識ができないという問題を回避することができるため、再送のための無駄な通信トラフィックの発生を抑制することができた。

［第２の実施の形態］
第１の実施の形態では、顔検出を行ったときに、図３のフローチャートのように、顔認識するために必要な画素が不足しているかどうかの判定Ｓ３０５を行った後、不足していたらＳ３０６へ進んでいた。ところが、間引き読みから全画素読みへ切り替えるには、撮像素子２２の消費電力が増大するという問題と、撮像素子２２の読み出しモードを変更する必要があるため、システム制御部５０での処理オーバヘッドが増大するという問題が発生する。

本実施例では、極力、読み出しモードを変更せず、顔認識に必要な画素数の画像を得るための実施の形態を説明する。

例えばＢＷＣを使用して、路上などですれ違う人を撮影する場合を考える。このとき、対面方向に歩いてくる人の顔を撮影することはできるが、同一方向へ歩いている歩行者の顔は、振り返る等の動作が無い限り顔を撮影することは困難である。

そこで、対面方向に歩いてくる人の顔の出現パターンに着目し、図５を用いて説明する。

図５において、遠方にいる人５０４は、顔検出するにも顔が小さくて検出することができない。しかし、近くに近寄ってくると、顔検出する程度の大きさになり（５０１）、さらに、十分接近してくると、顔検出でき、さらに顔認識するために必要な画素数を得ることができるようになる（５０２）。しかし、顔認識するたに必要な画素数を得る前に、十分接近することなく画面から逸れていくと顔認識に必要な画素数を得ることができない。画面から逸れていく場合は、画面中央付近から突如、消失するのではなく、画面の周辺から逸れて行くのである（５０３）。

そこで、画面内の中央付近の領域に、保留領域５１０を設け、保留領域に入っている場合、顔認識に必要な画素になるまでは顔画像の送信を保留し、保留領域から逸れた場合のみ、顔認識に必要な画素数を得るために、読み出し方法を変更するというものである。

このときのシステム制御部５０での処理フローを図６へ示す。図３との違いは、Ｓ６０９のステップを追加したところである。

以上示したように、本実施の形態によれば、実施の形態１と比較して、撮像素子２２での消費電力の低減と、システム制御部５０における処理オーバヘッドの低減を行うことができた。

本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

２２ 撮像素子、２４ 画像処理部、４１ 通信インタフェース、
５０ システム制御部、５４ アラーム、１００ 撮影装置、１０１ シャッター、
１０３ 撮影レンズ、１５０ 記録媒体

Claims (6)

1. 撮像素子と、外部と無線通信を行うための無線通信手段を有する撮影装置であって、
   前記撮像素子からの画像の読み出し方法である、第一の撮影モードと、
   前記第一の撮影モードよりも読み出し画素数が多い第二の撮影モードがあり、
   前記第一の撮影モードで顔検出を行い、
   前記第一の撮影モードで検出した顔の画像をトリミングする第一のトリミング手段と、
   前記第一のトリミング手段でトリミングした画像の画素数が所定以下であるかどうかを判断する顔認識判断手段と、
   前記顔認識判断手段が、所定以下であと判断した時は、前記第二の撮影モードに切り替えて撮影を行い、対応する顔の画像をトリミングする第二のトリミング手段を有し、
   前記第一のトリミング手段、または、前記第二のトリミング手段でトリミングした少なくとも一方の画像を外部装置へ前記無線通信手段にて送信する撮影装置。
2. 前記第一の撮影モードにて検出した顔画像が、前記撮像素子の特定の領域にあり、なおかつ、前記顔認識判断手段が、所定の画素数以下であると判断したときは、顔が検出される領域が前記特定の領域以外から検出されるまで、外部装置への画像送信を保留することを特徴とする請求項１に記載の撮影装置。
3. 前記顔認識判断手段は、前記通信手段により、外部装置から取得した情報に応じて判断を行うことを特徴とする請求項１又は請求項２に記載の撮影装置。
4. 前記第二の撮影モードは、顔画像を含む領域を全画素読みするモードであることを特徴とする請求項１又は請求項２に記載の撮影装置。
5. 前記第一の撮影モードは、特定の行または列を読み出さずスキップする、または、加算することにより画素数を減らす間引き読みを行っていることを特徴とする請求項１又は請求項２に記載の撮影装置。
6. 前記顔検出を行うために必要な画素数に対する、前記顔認識判断手段で判断基準となる画素数の比が、前記第一の撮影モードで得られる顔画像の画素数に対する、前記第二の撮影モードで得られる顔画像の画素数の比よりも大きくなるように前記第一の撮影モードと前記第二の撮影モードを決定することを特徴とする請求項１又は請求項２に記載の撮影装置。