JP2006319550A - 撮像装置、携帯端末 - Google Patents

撮像装置、携帯端末 Download PDF

Info

Publication number
JP2006319550A
JP2006319550A JP2005138692A JP2005138692A JP2006319550A JP 2006319550 A JP2006319550 A JP 2006319550A JP 2005138692 A JP2005138692 A JP 2005138692A JP 2005138692 A JP2005138692 A JP 2005138692A JP 2006319550 A JP2006319550 A JP 2006319550A
Authority
JP
Japan
Prior art keywords
face
unit
detected
authentication
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005138692A
Other languages
English (en)
Other versions
JP4544026B2 (ja
Inventor
Erina Takigawa
えりな 瀧川
Yoshiharu Sakuragi
美春 櫻木
Ayako Hirano
綾子 平野
Sei Hosoi
聖 細井
Takashi Tsutsumi
隆 堤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2005138692A priority Critical patent/JP4544026B2/ja
Publication of JP2006319550A publication Critical patent/JP2006319550A/ja
Application granted granted Critical
Publication of JP4544026B2 publication Critical patent/JP4544026B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】デジタルカメラを搭載した携帯電話機や情報処理端末において、搭載されたカメラを用いた顔認証の使用を容易とするための装置や方法などを提供すること。
【解決手段】撮像を実行し、撮像された画像中において顔の検出を行い、検出された顔について同定処理を行う等の処理によって、正当なユーザ(例えばその装置の所有者)の顔が撮像されたと認められる場合と、その他の画像が撮像されたと認められる場合とで、出力(例えばシャッター音など)を異なる態様に制御する。
【選択図】 図2

Description

本発明は、撮像機能を有する装置(撮像装置や携帯端末)に適用されて有効な技術に関する。
携帯電話機の高機能化により、携帯電話機内蔵の記憶装置に記録されるデータは増加の一途を辿っている。携帯電話機に記録されるデータの具体例として、個人情報(一般にはアドレス帳に登録される氏名・住所・電話番号・生年月日・血液型などの情報)や、搭載されたカメラによって撮像された画像データや、ネットワークを介して受信・ダウンロードされたデータなどがある。これらのデータについては、従来はセキュリティの維持という考えが普及していなかった。このため、せいぜいユーザが設定したパスワードによりアクセスの管理がなされる程度であった。
しかし、近年では電子マネーを扱うことが可能な携帯電話機の登場により、電子マネーに関するデータも携帯電話機に記録されるようになりつつある。電子マネーに関するデータは、上記のような画像データ等に比べて重要度の高いデータと言える。このため、従来のような簡易なパスワードによるアクセス制限では、セキュリティを十分に維持することは難しい。従って、携帯電話機のセキュリティを向上させること、言い換えれば正当ユーザ以外の者には携帯電話機を操作不可能とすることやデータへアクセス不可能とすることが重要となる。
このような問題に対し、バイオメトリクス技術を用いて正当ユーザであるか否か判断を行う携帯電話機が提案されている。バイオメトリクス技術には、一般的に他者によるなりすましが困難でありセキュリティが高いという効果のみならず、パスワードを覚える等の必要もないためユーザへの負担を軽減するという効果もある。
バイオメトリクス技術が適用された携帯電話機の具体例として、指紋認証技術を搭載した携帯電話機がある。しかしながら、指紋認証を行うためのモジュールを組み込むことは、携帯電話機の小型化の妨げとなってしまうため、現状においては積極的にはその搭載は進められていない。また、片手で操作することが一般化している携帯電話機において、指紋認証部分に指を載せ認証ボタンを押す操作は両手で行う必要の生じる場合が多く、ユーザにとって煩わしい操作の一つとなっている。
一方、近年では携帯電話機にカメラが標準搭載される場合が多いため、このカメラを用いた顔認証技術をバイオメトリクス技術として適用した携帯電話機も提案されている。顔認証技術を搭載した携帯電話機では、既に一般化している「撮影」という動作によって認証を行うことができるため、上述したような問題は生じにくい。
ところで、カメラを搭載した携帯電話機の小型化により、このようなカメラを用いた盗撮行為が社会的な問題となっている。このような行為を抑止すべく、携帯電話機のカメラには、撮影時にシャッター音を鳴らすような制御が施されている。また、盗撮行為をより効果的に抑止すべく、カメラの撮影時におけるシャッター音に工夫を加えた技術も提案されている(特許文献1,2参照)。
特開平10−031265号公報 特開2004−163563号公報
しかしながら、上記のようなシャッター音は、盗撮行為の抑止には有効であるが、顔認証技術が適用された場合には以下のような問題の原因となる。即ち、顔認証を行うためには、その都度ユーザは自身の顔を撮像する必要があるが、その認証の度にシャッター音が鳴ることはユーザにとって顔認証を行う上での心理的な阻害要因となりかねない。例えば、静かな環境において顔認証を行う必要が生じた場合、シャッター音が鳴ることによってユーザはその使用を躊躇してしまう可能性がある。
そこで本発明はこれらの問題を解決し、盗撮行為の抑止効果を維持しつつ正当ユーザ自身の撮像行為における阻害要因を軽減させる制御を行うための装置や方法などを提供することを目的とする。
カメラを用いた顔認証の使用を困難としている阻害要因の一つには、上述したように盗撮抑止のためのシャッター音がある。しかし、顔認証を行うとはいえ撮像を行うことに変わりはないため、一律にシャッター音を無くすることは盗撮抑止の面で問題がある。このような問題に対し、本発明では、正当なユーザ(例えばその装置の所有者)の顔が撮像されたと認められる場合と、その他の画像が撮像されたと認められる場合とで、出力(例えばシャッター音など)を異なる態様に制御することで解決を図る。具体的には、本発明は以下のような構成をとる。
〈第一の態様〉
本発明の第一の態様は、撮像装置であって、撮像手段、検出手段、同定手段、及び出力手段を含む。撮像手段は画像の撮像を行う。検出手段は、撮像手段によって撮像された画像から、人の顔を検出する。同定手段は、検出手段によって検出された顔が、正当なユーザの顔であるか否か判断する。そして、出力手段は、検出された顔が正当なユーザの顔ではないと判断された場合には盗撮抑止動作を実行し、検出された顔が正当なユーザの顔であると判断された場合には盗撮抑止動作を実行しない。盗撮抑止動作は、例えば撮像が実行されたことを周囲に対して報知する動作であり、このような報知によって盗撮行為が行われることを抑止する動作である。具体的には、盗撮抑止動作とは、例えば音声の出力や、発光素子による発光や点滅などである。
このように構成された本発明の第一の態様では、正当なユーザ以外の顔が撮像されたと判断された場合には盗撮抑止動作が実行されるため、盗撮行為が行われることが抑止される。一方、正当なユーザの顔が撮像されたと判断された場合には盗撮抑止動作が実行されないため、正当なユーザが自身の顔を撮像する行為において、従来あった心理的な阻害要因を軽減することができる。
より具体的には、盗撮抑止動作は音の出力であっても良い。この場合、盗撮抑止動作を実行しないということは、周囲の人に聞こえない程度の非常に小さい音量で音を出力することも含む。ここで、音とは電子音の他、合成されたシャッター音、電子的に録音された人の声であっても良い。以下、その音を代表してシャッター音と記述する。
本発明の第一の態様である撮像装置は、正当なユーザの顔の特徴量を記憶する特徴量記憶手段をさらに備えるように構成されても良い。この場合、同定手段は、検出された顔の画像から特徴量を取得し、この特徴量と特徴量記憶手段に記憶される特徴量とを比較することにより、検出された顔が正当なユーザの顔であるか否か判断するように構成されても良い。
本発明の第一の態様における同定手段は、検出手段によって顔が検出されなかった場合
及び検出手段によって複数の顔が検出された場合には判断を実行せず、検出手段によって検出された顔が一つの場合にのみ前記判断を実行するように構成されても良い。この場合、出力手段は、同定手段による判断が実行されなかった場合及び検出手段によって検出された顔が正当なユーザの顔ではないと判断された場合には盗撮抑止動作を実行し、検出された顔が正当なユーザの顔であると判断された場合には盗撮抑止動作を実行しないように構成されても良い。
このように構成されることにより、顔が検出されなかった場合には、同定手段による判断に要する処理を省いて出力手段による盗撮抑止動作を実行することが実行可能となる。このため、処理をより高速に実行することが可能となる。また、顔が検出されなかった場合にも盗撮抑止動作が実行されるため、より効果的に盗撮行為を抑止することが可能となる。
本発明の第一の態様における撮像装置は、複数の類似度毎に対応づけられた複数の盗撮抑止動作の態様を記憶する出力内容記憶部をさらに備えるように構成されても良い。この場合、同定手段は、検出された顔の画像における特徴量と、特徴量記憶手段に記憶された特徴量との類似度を算出するように構成される。この場合さらに、出力手段は、同定手段によって算出された類似度と対応する盗撮抑止動作の態様を実行するように構成される。
このように構成された本発明の第一の態様では、出力手段により実行される盗撮抑止動作の態様は、同定手段による判断の内容に応じて変化する。具体的には、同定手段がその判断処理において算出する類似度の値に基づいて、盗撮抑止動作の態様が変化する。このため、類似度の値に応じて、盗撮抑止動作の態様を細かく制御することが可能となる。
具体的には、出力内容記憶部は、類似度が高いほど小さい音量のシャッター音の出力を含む態様を記憶するように構成されても良い。このように構成された場合は、類似度が高いほど、出力手段によって音量の小さいシャッター音が出力される。このため、正当なユーザであるという可能性が高いほど(類似度が高いほど)、シャッター音が低く出力されるため、正当なユーザにとっては自身の顔の撮像を躊躇する必要が無くなる。それとともに、盗撮などを行う場合には類似度が低くなるため大きなシャッター音が出力される。従って、盗撮の抑止効果を維持することができる。
〈第二の態様〉
本発明の第二の態様は、その使用のために顔認証処理による認証を要する機能を有する携帯端末であって、撮像手段、検出手段、同定手段、認証手段、及び出力手段を含む。撮像手段は、画像の撮像を行う。検出手段は、撮像手段によって撮像された画像から、人の顔を検出する。同定手段は、検出手段によって検出された顔が、正当なユーザの顔であるか否か判断する。認証手段は、同定手段により正当なユーザの顔であると判断された場合にのみ、機能について使用を許可する。出力手段は、検出された顔が正当なユーザの顔ではないと判断された場合には盗撮抑止動作を実行し、検出された顔が正当なユーザの顔であると判断された場合には盗撮抑止動作を実行しない。
このように構成された本発明の第二の態様では、ユーザは携帯端末の所定の機能を使用する場合には認証手段による許可が必要となる。そして、正当なユーザ以外の顔を撮像する場合には盗撮抑止動作が実行され、盗撮行為が抑止される。一方で、正当なユーザが認証手段による許可を得ようとして自身の顔の撮像を行う場合には、盗撮抑止動作が実行されない。このため、顔認証を行う必要がある携帯端末において、正当なユーザが顔認証を行うに際して、自身の顔を撮像することを躊躇する要因となっていた盗撮抑止動作の実行(例えばシャッター音の出力など)についての問題を解決することができる。
本発明の第二の態様は、検出された顔が正当なユーザの顔ではないと同定手段により判断された場合に、ネットワークを介して通信可能に接続される他の情報処理装置に対して、撮像された当該画像データを送信する送受信手段をさらに備えるように構成されても良い。
このように構成された本発明の第二の態様では、不当なユーザが携帯端末を使用しようとして自身の顔を撮像した場合、その顔の画像が他の情報処理装置に送信される。このため、他の情報処理装置において不当なユーザの顔の画像を保持しておくことにより、万が一携帯端末そのものが喪失された場合にも、不当なユーザを特定することが可能となる。
本発明の第二の態様における携帯端末は、機能毎に対応づけられた複数の認証結果の有効期間を記憶する有効期間記憶手段をさらに備えるように構成されても良い。この場合、認証手段は、同定手段により正当なユーザの顔であると判断された最新の日時を示す認証結果を記憶するように構成される。また、認証手段は、認証結果が、ユーザによって選択された機能に対応づけて有効期間記憶手段に記憶される有効期間内のものであるか否か判断する。そして、認証手段は、認証結果が有効期間内のものである場合には、同定手段による判断の実施の有無にかかわらず当該機能の使用を許可する。
このように構成された本発明の第二の態様では、使用される機能に応じて、再度の判断処理が不要となる場合がある。このため、ユーザは、使用する機能によっては、煩雑な作業である自身の顔の撮像を行わなくても良い場合があり、機能のセキュリティを維持しつつユーザの使用に対する便宜を図ることが可能となる。
第一の態様及び第二の態様は、プログラムが情報処理装置(撮像装置や携帯端末)によって実行されることによって実現されても良い。即ち、本発明は、上記した第一の態様及び第二の態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した記録媒体として特定することができる。また、本発明は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されても良い。
本発明によれば、盗撮行為の抑止効果を維持しつつ正当ユーザ自身の撮像行為における阻害要因を軽減させる制御を行うことが可能となる。
以下の説明においては、各装置の正当なユーザとは各装置の所有者であると想定する。なお、正当なユーザとは、その装置の所有者に限定される必要はない。必要に応じて、その他の者(例えばその装置の所有者から使用を認められた者、その装置を借り受けている者など)が正当なユーザとして設定されても良い。
[第一実施形態]
〔システム構成〕
まず、第一実施形態として撮像装置1aについて説明する。撮像装置1aは、ハードウェア的には、バスを介して接続されたCPU(中央演算処理装置),主記憶装置(RAM),補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるROM(Read-Only Memory:EPROM(Erasable Programmable ROM),EEPROM(Electrically Erasable Programmable ROM),マスクROM等を含む),FRAM(Ferroelectric RAM),ハードディスク等を指す。
図1は、撮像装置1aの機能ブロックを示す図である。撮像装置1aは、補助記憶装置に記憶された各種のプログラム(OS,アプリケーション等)が主記憶装置にロードされCPUにより実行されることによって、撮像部2,画像記憶部3,特徴量記憶部4,制御部5a及び出力部6等含む装置として機能する。制御部5aの動作は、プログラムがCPUによって実行されることにより実現される。また、制御部5aは専用のチップとして構成されても良い。次に、撮像装置1aが含む各機能部について説明する。
〈撮像部〉
撮像部2は、デジタルスチルカメラや、静止画像の撮像が可能なデジタルビデオカメラ等を用いて構成され、撮像の命令に基づいて撮像を行う。即ち、撮像部2は、撮像の命令がなされると、レンズを介して撮像素子に入力された光に基づき画像データを取得する。撮像の命令とは、撮像装置1aに備えられた不図示の入力装置がユーザによって操作されることにより、撮像装置1aに入力される命令である。撮像の命令は、例えばボタンが押下されることによって入力されても良いし、リモコン装置が操作されることによって入力されても良い。
撮像部2は、撮像した画像のデータを画像記憶部3へ記録する。撮像部2に用いられる撮像素子には、撮像を行うことが可能であればどのような既存技術が適用されても良い。撮像部2は、例えばCCD(Charge-Coupled Devices)やCMOS(Complementary Metal-Oxide Semiconductor)センサ等を撮像素子として用いることにより構成されても良い
〈画像記憶部〉
画像記憶部3は、記憶装置を用いて構成される。画像記憶部3に用いられる記憶装置には、揮発性記憶装置や不揮発性記憶装置など、どのような具体的技術が適用されても良い。ここで言う揮発性記憶装置とは、いわゆるRAM(Random Access Memory:DRAM(Dynamic RAM),SDRAM(Synchronous DRAM),DDR SDRAM(Double Data Rate SDRAM)等)を指す。
画像記憶部3は、撮像部2によって撮像された画像データを記憶する。画像記憶部3に記憶された画像データは、制御部5aによって読み出される。画像記憶部3は、少なくとも制御部5aによる顔検出処理や同定処理(いずれも後述する)が完了するまでは、その処理の対象となっている画像データを保持する。
〈特徴量記憶部〉
特徴量記憶部4は、記憶装置を用いて構成される。特徴量記憶部4に用いられる記憶装置は、上述した不揮発性記憶装置を用いて構成される。特徴量記憶部4は、制御部5aにおいて同定処理が実行される際に使用される特徴量を記憶する。即ち、特徴量記憶部4は、少なくとも撮像装置1aの所有者の顔の特徴量を記憶する。特徴量記憶部4が記憶する特徴量の具体的な態様は、制御部5aにおける同定処理の実装に対応させる必要がある。本実施形態では、特徴量として、画像の輝度値ベクトルを用いる。ただし、特徴量として、画像から取得可能な他の値が適用されても良い。特徴量記憶部4に記憶される特徴量は、制御部5aによって読み出される。
〈制御部〉
制御部5aは、撮像部2によって撮像が行われると、新たに撮像された画像データを画像記憶部3から読み出し処理を行う。制御部5aは、顔検出処理を実行する顔検出部51と、同定処理を実行する同定部52aを含む。以下、それぞれの機能部について説明する。
〈〈顔検出部〉〉
顔検出部51は、画像記憶部3から画像データを読み出し、画像から人の顔を検出する。顔検出部51は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部51は、顔の構成要素(目,鼻,耳など)に基づくテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部51は、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出するように構成されても良い。また、顔検出部51は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されても良い。また、顔検出部51は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されても良い。また、顔検出部51による顔検出処理は、その他、既存のどのような技術が適用されることによって実現されても良い。
顔検出部51は、顔を検出すると、顔の数と各顔の位置を取得する。顔の位置とは、その画像中における顔の位置を指す。例えば、検出された顔を囲む矩形の位置をもって表されても良い。また、例えば、検出された顔の中心を示す点の座標をもって表されても良い。顔検出部51は、顔の数を取得すると、その数を同定部52aへ渡す。なお、顔検出部51は、顔が検出されない場合は、その旨を同定部52aへ伝える。また、顔検出部51は、顔の位置を取得すると、その位置を示す情報を同定部52aへ渡す。
〈〈同定部〉〉
同定部52aは、撮像された画像が、撮像装置1aの所有者の顔のみが注目被写体として撮像された画像であるか否かに基づいて、シャッター音を出力すべきか否か判断する。同定部52aは、撮像された画像に、顔が含まれていない場合や、撮像装置1aの所有者以外の顔が含まれている場合には、シャッター音を出力すべきと判断する。このような処理を実現すべく、同定部52aは以下のように処理を行う。
まず、同定部52aは、検出された顔の数に基づいてシャッター音の出力について判断する。具体的には、顔検出部51により検出された顔の数が“1”以外の数である場合には、同定部52aは、シャッター音を出力すべきと判断する。顔の数が“0”である場合には、明らかに所有者の顔は撮像されていないと認められるし、顔の数が複数である場合には、明らかに所有者以外の人物の顔も撮像されていると認められるからである。このような場合には、他人のプライバシーを侵すような画像が撮像されている可能性(他人の顔を勝手に撮像する行為など)や、盗撮(盗み撮ること(他人の顔に限定されない))が行われている可能性などがある。
一方、検出された顔の数が“1”である場合には、同定部52aは、この顔の画像から取得できる特徴量に基づいた同定処理を実行する。以下に、顔の数が一つであった場合の同定部52aの具体的な処理について説明する。
まず、同定部52aは、顔検出部51によって検出された顔の画像に対し、特徴量を取得する複数の点(以下、「特徴点位置」と呼ぶ)を設定する。同定部52aは、例えば特徴点位置のテンプレートを用いることによって、特徴点位置を決定しても良い。次に、同定部52aは、決定された各特徴点位置において、所定の特徴量を取得する。特徴量の具体例には、上述した画像の輝度値ベクトルがある。次に、同定部52aは、画像から取得された特徴量と、予め特徴量記憶部4に記憶される特徴量とを比較することにより、両特徴量が同一人物の特徴量であると認められるか否か判断する。両特徴量の比較処理は、正規化相関やユークリッド距離を使用することにより実現できる。もしも特徴量記憶部4に複数人の特徴量が記憶されている場合には、同定部52aは、撮像装置1aの所有者の特徴量として記憶されている特徴量を使用する。そして、同定部52aは、両特徴量が同一
人物のものであると認められる場合に、顔検出部51によって検出された顔は、撮像装置1aの所有者の顔であると判断する。
同定部52aは、撮像された顔が一つであり、その顔が撮像装置1aの所有者の顔であると認められる場合は、シャッター音を出力しないように出力部6を制御する。一方、同定部52aは、撮像された顔が複数あると認められる場合や、撮像装置1aの所有者以外の顔が撮像されたと認められる場合は、シャッター音を出力するように出力部6を制御する。即ち、同定部52aは、撮像された顔が一つであり、その顔が撮像装置1aの所有者の顔であると認められる場合は、盗撮抑止動作を実行しないように出力部6を制御する。一方、同定部52aは、撮像された顔が複数あると認められる場合や、撮像装置1aの所有者以外の顔が撮像されたと認められる場合は、盗撮抑止動作を実行するように出力部6を制御する。
〈出力部〉
出力部6は、スピーカを用いて構成される。出力部6は、制御部5aからの指示に従ってシャッター音を出力する。また、出力部6は、LED(Light Emitting Diode)等の発光素子を用いることにより、視認可能な出力を行うように構成されても良い。この場合、出力部6は、制御部5aからの指示に従って、シャッター音とともに光を出力する。
〔動作例〕
次に、撮像装置1aの動作例について説明する。図2は、撮像装置1aの動作例を示すフローチャートである。
まず、撮像装置1aの撮像部2に対しユーザから撮像指示が入力されると(S01)、撮像部2は撮像を行う(S02)。ここで、撮像指示の入力はシャッターボタンからの入力であっても良いし、折りたたみ型の携帯端末の場合、使用するために開く動作が撮像指示の入力になっても良い。撮像部2は、撮像された画像データを画像記憶部3に記憶させる(S03)。撮像部2によって撮像が行われると、顔検出部51は、新たに撮像された画像データを画像記憶部3から読み出し、この画像に含まれる顔を検出する(S04)。そして、同定部52aは、顔検出部51による検出結果に基づいて同定処理を行う(S05)。撮像(S02)から同定処理(S05)の動作はループとして連続的に動作し、画質、大きさ、向きなど同定処理に十分な画像が得られるまで繰り返しても良い。
検出された顔の数が一つである場合(S06−YES)、且つこの顔の画像が撮像装置1aの所有者の顔であると認められる場合(S07−YES)は、シャッター音が出力されることなく処理が終了する。一方、検出された顔の数が一つではない場合(S06−NO)、または一つであったとしてもその顔が撮像装置1aの所有者の顔ではないと認められる場合(S07−NO)、同定部52aはシャッター音を出力すべきと判断し出力部6へ指示を行う。出力部6は、この指示を受け、シャッター音などの出力を行う(S08)。
〔作用/効果〕
撮像装置1aでは、撮像装置1aの所有者が自身の顔のみを撮像する場合には、シャッター音が出力されない。このため、撮像装置1aが顔認証技術の搭載された携帯端末などに組み込まれた場合には、その所有者が顔認証処理を実施するに際して自身の顔を撮像する限りはシャッター音が出力されない。従って、その所有者は、電車の中や静かな場所などのようにシャッター音を鳴らせることが躊躇されるような状況においても顔認証処理を実施することができる。
また、人によっては顔認証処理の実施にかかわらず自身の顔を撮像したいと考える場合
もある(いわゆる「自分撮り」と呼ばれる行為)。しかしながら、このような行為を恥ずかしいと感じる者もいる。従って、シャッター音が出力されると、人の多い場所や静かな場所で自分撮りをすることが躊躇される場合がある。このような場合にも、撮像装置1aでは、自身の顔を撮像する限りにおいてはシャッター音が出力されないため、周囲の目を気にすることなく自分撮りを行うことが可能となる。
〔変形例〕
同定部52aは、顔の器官(以下、「注視点」と呼ぶ:例えば両目や口を示す点)の位置に基づいて、複数の特徴点位置を決定するように構成されても良い。この場合、顔検出部51は、検出された顔の画像中に含まれる注視点の位置をさらに検出するように構成される。そして、同定部52aは、顔検出部51によって検出された注視点に基づき、特徴点位置を決定する。例えば、同定部52aは、注視点そのものを特徴点として決定するように構成されても良い。また、例えば同定部52aは、注視点に近いほど密に注視点から離れるほど粗に、一つの注視点に対して複数の特徴点を決定するように構成されても良い。その他、顔の画像に対して特徴量を取得するための特徴点位置を決定する技術であればどのような技術が適用されても良い。
また、同定部52aは、各特徴点に対し、ガボールフィルタを畳み込むことによって特徴量を取得しても良い。この場合、同定部52aは、各特徴点についてガボールウェーブレット変換(Gabor Wavelets Transformation:GWT)を実施する。即ち、この場合の同定部52aは、解像度と方位とを変化させた複数のガボールフィルタを畳み込むことにより、特徴点周辺における濃淡特徴の周期性と方向性とを特徴量として取得する。式1は、ガボールフィルタを表す式である。ガボールフィルタの使用において、式中のkとθとの値を変更することにより、濃淡特徴から任意の周期性と方向性とを特徴量として取得することが可能となる。
Figure 2006319550

その他、画像から複数の特徴点における特徴量を取得するための技術であればどのような技術が適用されても良い。ただし、同定部52aで使用する特徴量と、特徴量記憶部4に記憶される特徴量との間において整合性をとる必要がある。
また、出力部6は、盗撮の抑止効果を高めるため、シャッター音を出力することが指示された場合には、さらに警告音などを鳴らすように構成されても良い。
[第二実施形態]
〔システム構成〕
次に、第二実施形態として撮像装置1bについて説明する。図3は、撮像装置1bの機能ブロック例を示す図である。撮像装置1bは、出力内容記憶部7をさらに含む点、及び制御部5aに代えて制御部5bを含む点で撮像装置1aと異なる。以下、撮像装置1bについて、撮像装置1aと異なる点について説明する。
〈出力内容記憶部〉
出力内容記憶部7は、記憶装置を用いて構成される。出力内容記憶部7に用いられる記
憶装置は、上述した不揮発性記憶装置を用いて構成される。出力内容記憶部7は、出力テーブル71を記憶する。図4は、出力テーブル71の例を示す図である。出力テーブル71は、類似度と出力内容とを対応づけるテーブルである。
類似度とは、同定部52bにより実行される同定処理において算出される値であり、比較される二つの特徴量がどの程度近い値であるかを示す。比較される二つの特徴量とは、特徴量記憶部4に記憶される特徴量と、顔検出部51により検出された顔の画像から取得される特徴量である。また、類似度の算出は、上記した二つの特徴量について正規化相関やユークリッド距離を使用することにより算出することができる。図4の例では、類似度は正規化された0〜100の値として表されているが、他の基準に基づいて表されても良い。また、図4の例では、類似度がその値の大小に基づいて三つの値域に分類されているが、他の方法で分類されても良いし、さらに多くの値域に分類されても良い。
出力内容とは、出力部6に対して指示される処理内容を示す。即ち、シャッター音の有無やその音量の大小、発光の有無やその態様を示す。類似度が低い場合(例えば0〜30の場合)、言い換えれば、撮像された人物が撮像装置1bの所有者でない可能性が高い場合、盗撮の抑止効果を高めることを目的とした出力内容が設定される。例えば、シャッター音が大きく(具体的には従来のシャッター音と同程度またはそれ以上)出力され、さらにLEDの点滅が行われるように設定されても良い。
類似度が中程度の場合(例えば31〜70の場合)、言い換えれば、撮像された人物が撮像装置1bの所有者であるか否かの判断が困難である場合、盗撮の抑止効果を皆無としない程度に制限された軽度の出力内容が設定される。例えば、シャッター音が小さく鳴り(具体的には従来のシャッター音よりも小さい音)、LEDの発光は行わないように設定されても良い。
類似度が高い場合(例えば71〜100の場合)、言い換えれば、撮像された人物が撮像装置1bの所有者である可能性が高い場合、盗撮の抑止効果は不要と認められるため、撮像処理を行ったことが周囲にわからないような出力内容が設定される。例えば、シャッター音は出力せず、LEDの発光も行わないように設定されても良い。
出力内容記憶部7の記憶内容、即ち出力テーブル71の内容は、撮像装置1bの設計者によって予め設定される。出力テーブル71の内容は、撮像装置1bの所有者によっては変更されることのないように構成されることが望ましい。
〈制御部〉
制御部5bは、同定部52aに代えて同定部52bを含む点で、制御部5aと異なる。以下、制御部5bについて、制御部5aと異なる点について説明する。
〈〈同定部〉〉
同定部52bは、出力部6に対する指示内容を、出力内容記憶部7に記憶される出力テーブル71に基づいて決定する点で、同定部52aと異なる。同定部52bは、同定処理を実行し、処理に用いられる二つの特徴量の類似度を取得する。そして、同定部52bは、取得された類似度に対応する出力内容を出力内容記憶部7から読み出す。そして、同定部52bは、読み出された出力内容に基づいて、出力部6に対し指示を行う。
なお、同定部52bは、顔検出部51により検出された顔の数がゼロ又は複数である場合は、特徴量の比較を行うことなく類似度をゼロとして取得する。
〔動作例〕
撮像装置1bの処理の流れは、S08の直前に同定部52bが出力内容を決定することを除けば、図2に示されたフローチャートと同じである。従って、撮像装置1bの動作例についての説明は省略する。
〔作用/効果〕
撮像装置1bによれば、同定処理においてグレーゾーンの判定がなされた場合、即ち撮像された人物の顔が撮像装置1bの所有者の顔であるか否か判断が難しい場合は、制限された軽度の出力が実行される。例えば、撮像された人物の顔が明らかに撮像装置1bの所有者の顔ではないと判断された場合に比べて、小さい音のシャッター音が出力される。このように構成されることにより、撮像装置1bの所有者が自身の顔を撮像した場合に、同定処理が正しい判断をできなかったとしても、シャッター音が大きく鳴ってしまうことを抑止できる。
〔変形例〕
撮像装置1bは、撮像装置1aの変形例と同様に構成されても良い。
[第三実施形態]
〔システム構成〕
次に、第三実施形態として携帯端末10cについて説明する。携帯端末10cは、ハードウェア的には、バスを介して接続されたCPU(中央演算処理装置),主記憶装置(RAM),補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるROM(EPROM,EEPROM,マスクROM等を含む),FRAM,ハードディスク等を指す。携帯端末10cは、例えば携帯電話機やPDA(Personal Digital Assistant)やPHS(Personal HandyphoneSystem)として構成される。携帯端末10cは、顔認証処理を行う。そして、携帯端末1
0cでは、一定の処理については、操作している者が顔認証処理において正当なユーザ(携帯端末10cの所有者)と認められた場合に限り動作するように構成される。
図5は、携帯端末10cの機能ブロックを示す図である。携帯端末10cは、補助記憶装置に記憶された各種のプログラム(OS,アプリケーション等)が主記憶装置にロードされCPUにより実行されることによって、撮像部2,画像記憶部3,特徴量記憶部4,制御部5c,出力部6及び送受信部8等含む装置として機能する。制御部5cの動作は、プログラムがCPUによって実行されることにより実現される。また、制御部5cは専用のチップとして構成されても良い。次に、携帯端末10cが含む各機能部について説明する。なお、携帯端末10cに含まれる撮像部2,画像記憶部3,特徴量記憶部4及び出力部6は、撮像装置1aに含まれる同名の各機能部と同じように構成されるため説明を省く。
〈制御部〉
制御部5cは、履歴制御部53及び認証部54cをさらに含む点、及び同定部52aに代えて同定部52cを含む点で、撮像装置1aに含まれる制御部5aと異なる。以下、制御部5cについて、制御部5aと異なる点について説明する。
〈〈同定部〉〉
同定部52cは、認証モードと通常撮像モードの二つのモードで動作する。同定部52cは、不図示の入力装置を介してユーザにより認証開始の指示が入力されると、又は認証の必要な機能が実行・選択されると、認証モードに遷移する。それ以外の場合には、同定部52cは通常撮像モードとして動作する。ここで、不図示の入力装置は、折りたたみ型の携帯端末の場合、使用するために開く動作が認証開始の入力になっても良い。同定部52cは、通常撮像モードで動作する場合は、上述した同定部52aと同様の動作を行う。
一方、同定部52cは、認証モードで動作する場合は、同定処理の結果を履歴制御部53及び認証部54cに対して通知する。このような動作をする点で、同定部52cは同定部52aと異なる。なお、同定部52cは、認証モードで動作する場合、シャッター音の制御内容について履歴制御部53及び認証部54cに通知するように構成されても良い。
〈〈履歴制御部〉〉
履歴制御部53は、撮像された人物が携帯端末10cの所有者ではないと認められる旨の通知を同定部52cから受けた場合に、撮像された画像データを画像記憶部3から読み出す。そして、履歴制御部53は、読み出された画像データを送受信部8に渡す。後述するように、送受信部8は、履歴制御部53から受け取った画像データを、ネットワークNを介してサーバ9へ送信する。
〈〈認証部〉〉
認証部54cは、同定部52cから同定処理の結果を受け取る。そして、認証部54cは、受け取った同定処理の結果に基づいて、ユーザに対し所定の操作を許可する。即ち、認証部54cは、肯定的な同定結果(撮像された画像の顔は所有者の顔であると認められる旨の同定結果)を受け取った場合に、そのユーザ(所有者)に対し所定の操作を許可する。所定の操作とは、セキュリティを維持する必要のある操作であり、不特定の者による操作を制限する必要のある操作である。所定の操作の具体例として、アドレス帳へのアクセス(閲覧や変更)、電子マネーを使用するための操作、定期券として使用するための操作、有料サイトへのアクセス、メールの閲覧などがある。認証部54cによる許可が必要な所定の操作については、認証部による許可が得られるまでは操作することができない。
〈送受信部〉
送受信部8は、無線LAN(Local Area Network)カード等の無線通信モジュールを用いて構成されても良いし、携帯電話機やPHSに備えられている通信装置を用いて構成されても良い。送受信部8は、履歴制御部53から画像データを受け取ると、その画像データをネットワークNを介してサーバ9へ送信する。
ネットワークNは、携帯端末10cとサーバ9とを通信可能に接続可能なネットワークであれば、どのような形態のネットワークであっても良い。例えば、携帯電話のネットワークやインターネットなどを用いて構成されても良い。
サーバ9は、パーソナルコンピュータやワークステーションやメインフレーム等の情報処理装置を用いて構成される。サーバ9は、ネットワークインタフェースを備え、ネットワークNを介して携帯端末10cから画像データを受信する。そして、サーバ9は、ハードディスク等の記憶装置を備え、受信された画像データを記憶装置に記憶させる。サーバ9に記憶された画像データは、サーバ9の管理者(例えば携帯端末10cの管理業者や警備会社など)や携帯端末10cのユーザ等によって閲覧される。
〔動作例〕
図6は、携帯端末10cの動作例を示すフローチャートである。図6のフローチャートでは、図2に示される撮像装置1aのフローチャートと同様の処理については同じ符号を付し、その説明を省略する。
ユーザによって認証開始の指示が入力されると(S09)、同定部52cは認証モードに遷移する。その後、S01〜S07の処理が実行される。S07の処理において、所有者の顔であると認められる場合には(S07−YES)、この同定結果が認証部54cに通知される。そして、認証部54cは、ユーザによる所定の操作を許可する(S10)。一方、S07の処理において所有者の顔であると認められない場合(S07−NO)、又
はS06の処理において顔の数が一つではないと認められる場合(S06−NO)は、シャッター音が出力されるとともに(S08)、履歴制御部53が画像データを読み出し送受信部8へ渡す。そして、送受信部8は、この画像データを、ネットワークNを介してサーバ9へ送信する(S11)。サーバ9は、画像データを受信すると、受信された画像データを記憶する。
〔作用/効果〕
携帯端末10cを使用するに際し、所定の操作を行う場合には、認証部54cによる許可を得る必要がある。そして、携帯端末10cのユーザは、認証部54cにより許可を得るためには、少なくとも自身の顔の画像を撮像する必要がある。このように、携帯端末10cの使用に際して自身の顔の画像データが記録されるため、不正使用に対する心理的な牽制の効果を得ることができる。さらに、この認証時に撮像された画像データは、携帯端末10cの内部ではなく、ネットワークNを介して物理的に離れた位置に存するサーバ9内に記録される。このため、携帯端末10cの不正ユーザは、例え携帯端末10cを持ち去ったり破壊したりしたとしても、認証時に撮像された画像データを消去することができない。従って、不正使用に対する心理的な牽制の効果を向上させることができる。また、実際に不正使用が行われた場合には、サーバ9に記録されている画像を閲覧することにより、その不正使用者を特定することも可能となる。
〔変形例〕
履歴制御部53は、同定部52cにおける同定処理の結果が、複数回(例えば2回や3回や5回など:この回数はユーザによって設定可能であっても良い)連続して所有者の顔が撮像されていないと認めるものである場合に限って、画像データの送信を送受信部8に指示するように構成されても良い。このように構成されることにより、たまたま認証に失敗してしまった画像などが送信されることにより不必要に大量の画像データがサーバ9に登録されてしまうこと、を抑止することが可能となる。
また、送受信部8は、サーバ9ではなく、予め設定されたメールアドレスに、画像データを添付した電子メールを送信するように構成されても良い。このようなメールアドレスの具体例には、携帯端末10cの所有者が有するメールアドレス(当該携帯端末10cに割り当てられたメールアドレス以外のアドレス)などがある。例えば、所有者のパソコンのメールアドレスが設定されている場合は、携帯端末10cを喪失したとしても、不正ユーザの顔が撮像された画像データをパソコンで受信し閲覧することができる。このような電子メールには、画像データのみならず、携帯端末10cに備えられたGPS(Global Positioning System)により得られる位置情報や日時を示す情報がさらに添付されても良
い。
また、履歴制御部53は、撮像された人物が携帯端末10cの所有者ではないと認められる旨の通知を同定部52cから受けた場合、画像データを他の装置(サーバ9や、所有者により設定されたメールアドレスのサーバ(例えばSMTP(Simple Mail Transfer Protocol)サーバ等))に送信するのではなく、携帯端末10c内に保持するように構成
されても良い。具体的には、履歴制御部53は、認証モードで撮像され所有者以外の者の顔と判断された画像データを、履歴情報として画像記憶部3等の記憶装置に記憶させるように構成されても良い。このとき、履歴制御部53は、履歴情報に対し、他の情報を付加するように構成されても良い。他の情報とは、例えば、撮像された日時を示す日時情報、撮像された場所を示す位置情報などである。また、履歴制御部53は、画像データを他の装置に送信するとともに、履歴情報を携帯端末10c内にも保持するように構成されても良い。
また、履歴制御部53は、携帯端末10c内に履歴情報を保持するように構成された場
合には、複数の履歴情報の中から保持すべき履歴情報を選択し、選択された履歴情報のみを保持するように構成されても良い。例えば、同一の不正ユーザによって複数回の撮像が行われた場合、複数枚の不正ユーザの画像データを全て保持しておくことは必ずしも必要ではない。むしろ、携帯端末10cに備えられる画像記憶部3の記憶容量を無駄に使用してしまうことは、携帯端末10cのユーザにとって望まれることではない。このような要求に対し、履歴制御部53は、同一の不正ユーザの画像データが複数枚撮像された場合には、所定の条件に従って一定数の画像データのみを履歴情報として保持するように構成されても良い。このように構成されることにより、画像記憶部3等の記憶装置の限られた記憶容量を有効に活用することができる。なお、所定の条件により選ばれる画像は、不正ユーザの顔の特徴を捉えやすい画像であることが望ましい。所定の条件の具体例として、顔にピントが合っている、顔がぶれていない、顔に対して露出アンダーでない(顔が逆光になっていない)、顔に対して露出オーバーでない、顔が画像枠(フレーム)内に収まっている、目を閉じていない、半目状態でない、顔が上を向きすぎていない、顔が横を向いていない、等がある。なお、所定の条件として、その他どのような条件が設定されても良い。
以下、履歴制御部53が行う判断の具体例についてそれぞれ説明する。なお、以下に示す具体的な処理は例示であり、同様の趣旨の判断を行うことが可能で有れば以下の処理に限らず他の処理が適用されても良い。
まず、顔にピントがずれているか否かが条件である場合について説明する。まず、履歴制御部53は、検出された顔の画像をグレースケールに変換し、高速フーリエ変換を実行する。次に、履歴制御部53は、パワースペクトルを検出し、パワースペクトル空間での原点を中心としたドーナツ形領域内のエネルギーの和を取得する。図7は、ドーナツ形領域の例を示す図である。図7の斜線領域がドーナツ形領域の例である。そして、履歴制御部53は、このエネルギーの和が閾値以下である場合に、ピントがずれていると判断する。閾値は任意の値に設定できる。顔に限らず画像全体について上記の処理を行うことにより、画像全体でピントがずれているか否か判断することもできる。
顔がぶれているか否かが条件である場合は、顔にピントがずれているか否かが条件である場合と同様の処理によって、ぶれているか否かが判断される。また、顔に限らず画像全体について上記の処理を行うことにより、画像全体でぶれが生じているか否か判断することもできる。
顔に対して露出アンダーであるか否かが条件である場合、履歴制御部53は、検出された顔の鼻付近の画素における明度の平均を取得する。そして、この明度の平均が所定の値よりも低い場合に、履歴制御部53は露出アンダーであると判断する。顔に対して露出オーバーであるか否かが条件である場合は、履歴制御部53は同様に明度の平均を求め、この値が所定の値よりも大きい場合に露出オーバーであると判断する。また、顔に限らず画像全体における明度の平均について上記の判断を行うことにより、画像全体で露出アンダー又はオーバーが生じているか否か判断することもできる。
顔がフレームからはみ出ているか否かが条件である場合、履歴制御部53は、フレームに接している肌色領域を抽出し、この領域内における顔の器官の検出を顔検出部51に依頼する。この場合、顔検出部51は、顔の器官の検出を行うことができるように構成されている必要がある。顔の器官の検出は、例えば顔の各器官のテンプレートを保持し、そのテンプレートを用いたテンプレートマッチングを行うこと等により実現できる。顔の器官の検出は、既存の他の技術を適用して実現されても良い。履歴制御部53は、この肌色領域内に顔の器官が検出された場合に、顔がフレームからはみ出ていると判断する。
目が閉じているか否かが条件である場合、履歴制御部53は、顔検出部51に対し、検出された顔の目が閉じているか否かの判断を行うことを依頼する。この判断は、閉眼画像のテンプレートを用いたテンプレートマッチングを実施すること等により実現できる。履歴制御部53は、この判断結果に基づいて、入力された画像内の人が目を閉じているか否か判断する。半目状態であるか否かについても、半目画像のテンプレートを用いることにより同様に判断できる。
顔が上を向きすぎているか否かが条件である場合、履歴制御部53は、検出された顔について、上を向きすぎていないか判断する。このような判断は、以下に示す論文による手法に基づいて実施することができる。
“頑健性と精緻性を備えた顔特徴点追跡による顔方向推定”、林健太郎、橋本学、鷲見和彦、三菱電機株式会社産業システム研究所、電子情報通信学会論文誌、2001/8、Vol.184-D-II、No.8、P.1762-1771
“因子分解法と部分空間法による顔向き推定”、山田貢己、中島朗子、福井和広、株式会社東芝研究開発センター、電子情報通信学会技術研究報告、PRMU2001-194
顔が横を向いているか否かが条件である場合、履歴制御部53は顔検出部51に対し顔の向きの判定を依頼する。顔検出部51は、入力された画像から人の横顔を検出する。人の横顔が検出された場合には、履歴制御部53は、顔が横を向いていると判断する。このような判定は、例えば以下の論文に記載された技術に基づいて行うことが可能である。
H. Schneiderman, T. Kanade. "A Statistical Method for 3D Object Detection Applied to Faces and Cars." IEEE Conference on Computer Vision and Pattern Recognition, 2000.
また、携帯端末10cに含まれる制御部5cは、撮像装置1bに含まれる制御部5bのように構成されても良い。この場合、携帯端末10cは必要に応じて出力内容記憶部7をさらに含むように構成されても良い。
また、携帯端末10cは、撮像装置1a,1bの変形例と同様に構成されても良い。
また、携帯端末10cは、ユーザが認証を必要とする機能の使用開始を判断し、使用開始が認められた時点で認証モードに遷移し、図6におけるS02以降の処理を開始するように構成されても良い。機能の使用開始の判断基準として、例えば折り畳み式の携帯電話機やPHSとして携帯端末10cが構成されている場合は、折り畳みが開かれた時点を使用開始が認められる時点として設定されても良い。また、例えばストレート式の携帯電話機やPHSとして携帯端末10cが構成されている場合は、所定のボタンが押下された時点を使用開始が認められる時点として設定されても良い。このように構成されることにより、認証動作をよりスムーズに開始し、ユーザの操作量(例えば撮像ボタンを押下することや認証開始のボタンを押下すること等)を軽減することが可能となる。
[第四実施形態]
〔システム構成〕
次に、第四実施形態として携帯端末10dについて説明する。図8は、携帯端末10dの機能ブロック例を示す図である。携帯端末10dは、有効期間記憶部11をさらに含む点、及び制御部5cに代えて制御部5dを含む点で携帯端末10cと異なる。以下、携帯端末10dについて、携帯端末10cと異なる点について説明する。
〈有効期間記憶部〉
有効期間記憶部11は、記憶装置を用いて構成される。有効期間記憶部11に用いられる記憶装置は、上述した不揮発性記憶装置を用いて構成される。有効期間記憶部11は、
有効期間テーブル111を記憶する。図9は、有効期間テーブル111の例を示す図である。有効期間テーブル111は、携帯端末10dの機能ごとに有効期間を対応づけるテーブルである。
〈制御部〉
制御部5dは、認証部54cに代えて認証部54dを含む点で、制御部5cと異なる。以下、制御部5dについて、制御部5cと異なる点について説明する。
〈〈認証部〉〉
認証部54dは、同定部52cから、肯定的な同定結果を受け取った場合、この同定結果が得られた日時を認証結果として記憶する。また、ユーザが、認証を必要とする機能を、使用を希望する機能として選択した場合には、認証部54dは、認証結果が記憶されているか否か判断する。認証結果が記憶されている場合には、認証部54dは、ユーザによって選択された機能と対応づけて有効期間テーブル111に設定されている有効期間を読み出し、記憶されている認証結果が有効期間内のものであるか否か判断する。そして、有効期間内のものである場合には、認証部54dは、ユーザによって選択された機能の操作を許可する。
図9に示す例では、電子マネーを使用するための機能には、3分の有効期間が設定されている。従って、記憶されている認証結果が、その時点(例えばユーザによって電子マネーを使用する機能が選択された時点)から3分以内に得られた認証結果である場合には、認証部54dはこの認証結果が有効な認証結果であると判断する。この場合、認証部54dは、新たにユーザによって顔認証が実行されなくとも電子マネーの機能を使用することを許可する。メール閲覧の機能については、有効期間が12h(12時間)と設定されており、同様に認証結果が12時間以内に得られたものである場合にはその使用が許可される。
定期券を使用するための機能には、同日内の有効期間が設定されている。認証部54dは、記憶されている認証結果が同日に得られたものであるか否か判断する。この場合、認証部54dは、例え24時間以内に得られた認証結果であっても、異なる日付で得られた認証結果は有効期間外であると判断するように構成されても良い。
有効期間テーブル111の内容は、予め携帯端末10dの設計者などによって設定されていても良いし、各携帯端末10dの所有者によって自由に設定可能であっても良い。ただし、自由に設定可能に構成される場合には、この設定を変更する際に認証処理の実行が要求されるように構成されることが望ましい。
〔動作例〕
図10は、携帯端末10dの動作例を示すフローチャートである。携帯端末10cと同様の処理については、図6と同じ符号を付して図10に表すことによりその説明を省く。
ユーザによって所定の機能(認証部54dによる許可が必要となる機能)が選択されると(S12)、認証部54dは、認証結果が記憶されているか否か判断する(S13)。認証結果が記憶されている場合(S13−YES)、認証部54dはさらに、その認証結果が、ユーザによって選択された機能に応じた有効期間内のものであるか否か判断する(S14)。有効期間内のものである場合(S14−YES)、認証部54dは、選択された機能の操作をユーザに許可する(S10)。
一方、認証結果が記憶されていない場合(S13−NO)や、認証結果は記憶されているが有効期間内のものではない場合(S14−NO)は、認証部54dは、認証処理の実
行をユーザに催促する(S15)。例えば、認証部54dは、不図示の表示部に「認証処理を実行してください。」という表示や「顔の画像を撮像してください」という表示を行うことによって、認証処理の実行をユーザに催促する。なお、ここで言う認証処理とは、ユーザが顔の画像を撮像することで同定部52cに同定処理を実行させることを示す。このような表示がされた後、ユーザにより認証開始指示(S09)が入力され、S01〜S07,08及びS11の処理が実行される。
S07の処理において、所有者の顔であると判断された場合(S07−YES)、認証部54dは、認証結果を新たに記憶する(S16)。そして、認証部54dは、選択された機能の操作をユーザに許可する(S10)。
〔作用/効果〕
携帯端末10dでは、認証が必要となる機能全てにおいて一律に毎度の認証がユーザに要求されるのではなく、機能毎に設定された有効期間に従って、ユーザに対し再度の認証処理の実行が要求される。このような有効期間は、機能毎のセキュリティレベル等に従って設定される。例えば、定期券の機能は、他者に使用されたとしてもユーザに直接の金銭的被害は無いため、セキュリティレベルを高く設定する必要がない場合がある。このような定期券の機能については、例えば有効期間を1日(又は同日)と設定しておくことで、一度認証をしてしまえば少なくともその日は再度の認証が必要とされない。このため、定期券の機能をスムーズに使用することが可能となる。一方、携帯端末10dを落としてしまった場合にも、他者は長くても一日しか定期券の機能を使用することができないため、他者が携帯端末10dを所持し続けるメリットが減少し、このように所持し続けることの抑止効果が発揮される。
これに対し、電子マネーを用いた支払い等の機能は、他者に使用されることにより直接的に金銭的被害を受けることとなるため、セキュリティレベルは高い方が望ましい。このため、有効期間を短く設定することにより、携帯端末10dを紛失した際の所有者の被害を小さく抑えることが可能となる。
携帯端末10dでは、上述のように、個々の機能に応じて有効期間が設定されるため、各機能のセキュリティレベルに応じてユーザが再度認証処理を行わなければならないか否かが決定される。もともと、ユーザにとって認証処理を行うことは煩わしい作業であり、各機能のスムーズな利用を妨げる要因となっていた。携帯端末10dによれば、セキュリティレベルを高く維持する必要のある機能については、有効期間を短くすることでセキュリティレベルを高く維持しつつ、セキュリティレベルがそれほど要求されない機能については、有効期間を長くすることで認証処理の再実行の回数を削減することが実現される。
〔変形例〕
有効期間として、その機能を使用する度に認証処理が必要となることが設定されても良い。例えば、セキュリティを高く設定する必要のある電子マネーの機能について、支払いを行う度に、認証処理の実行が求められるように構成されても良い。
また、携帯端末10dは、認証処理として顔認証技術が適用された場合について説明したが、他の認証技術が適用されても良い。例えば、指紋認証、虹彩認証、筆跡認証、静脈認証、音声認証、耳介認証、掌形認証、網膜認証などが適用されても良い。また、携帯端末10dは、一般的には携帯されない情報処理装置として構成されても良い。即ち、携帯端末10dが備える各機能部が、据え置き方の情報処理装置(パーソナルコンピュータやワークステーションやメインフレーム等)に実装されても良い。
また、携帯端末10dに含まれる制御部5dは、撮像装置1bに含まれる制御部5bの
ように構成されても良い。この場合、携帯端末10dは必要に応じて出力内容記憶部7をさらに含むように構成されても良い。
また、携帯端末10dは、撮像装置1a,1bや携帯端末10cの変形例と同様に構成されても良い。
第一実施形態の機能ブロック例を示す図である。 第一実施形態の動作例を示すフローチャートである。 第二実施形態の機能ブロック例を示す図である。 出力テーブルの具体例を示す図である。 第三実施形態の機能ブロック例を示す図である。 第三実施形態の動作例を示すフローチャートである。 ドーナツ形領域の例を示す図である。 第四実施形態の機能ブロック例を示す図である。 有効期間テーブルの例を示す図である。 第四実施形態の動作例を示すフローチャートである。
符号の説明
1a,1b 撮像装置
2 撮像部
3 画像記憶部
4 特徴量記憶部
5a,5b,5c,5d 制御部
51 顔検出部
52a,52b,52c 同定部
53 履歴制御部
54c,54d 認証部
6 出力部
7 出力内容記憶部
71 出力テーブル
8 送受信部
9 サーバ
10c,10d 携帯端末
11 有効期間記憶部
111 有効期間テーブル
N ネットワーク

Claims (15)

  1. 画像の撮像を行う撮像手段と、
    前記撮像手段によって撮像された画像から、人の顔を検出する検出手段と、
    前記検出手段によって検出された顔が、正当なユーザの顔であるか否か判断する同定手段と、
    前記検出された顔が正当なユーザの顔ではないと判断された場合には盗撮抑止動作を実行し、前記検出された顔が正当なユーザの顔であると判断された場合には前記盗撮抑止動作を実行しない出力手段と、
    を含む撮像装置。
  2. 前記盗撮抑止動作は音の出力である請求項1に記載の撮像装置。
  3. 前記正当なユーザの顔の特徴量を記憶する特徴量記憶手段をさらに備え、
    前記同定手段は、前記検出された顔の画像から特徴量を取得し、この特徴量と前記特徴量記憶手段に記憶される特徴量とを比較することにより、前記検出された顔が正当なユーザの顔であるか否か判断する請求項1又は2に記載の撮像装置。
  4. 前記同定手段は、前記検出手段によって顔が検出されなかった場合及び前記検出手段によって複数の顔が検出された場合には前記判断を実行せず、前記検出手段によって検出された顔が一つの場合にのみ前記判断を実行し、
    前記出力手段は、前記同定手段による前記判断が実行されなかった場合及び前記検出手段によって検出された顔が正当なユーザの顔ではないと判断された場合には前記盗撮抑止動作を実行し、前記検出された顔が正当なユーザの顔であると判断された場合には前記盗撮抑止動作を実行しない請求項1〜3のいずれかに記載の撮像装置。
  5. 複数の類似度毎に対応づけられた複数の盗撮抑止動作の態様を記憶する出力内容記憶部をさらに備え、
    前記同定手段は、前記検出された顔の画像における特徴量と、前記特徴量記憶手段に記憶された特徴量との類似度を算出し、
    前記出力手段は、前記同定手段によって算出された類似度と対応する前記盗撮抑止動作の態様を実行する請求項3に記載の撮像装置。
  6. 前記出力内容記憶部には、前記類似度が高いほど小さい音量の音の出力を含む態様が記憶されている請求項5に記載の撮像装置。
  7. その使用のために顔認証処理による認証を要する機能を有する携帯端末であって、
    画像の撮像を行う撮像手段と、
    前記撮像手段によって撮像された画像から、人の顔を検出する検出手段と、
    前記検出手段によって検出された顔が、正当なユーザの顔であるか否か判断する同定手段と、
    前記同定手段により正当なユーザの顔であると判断された場合にのみ、前記機能について使用を許可する認証手段と、
    前記検出された顔が正当なユーザの顔ではないと判断された場合には盗撮抑止動作を実行し、前記検出された顔が正当なユーザの顔であると判断された場合には前記盗撮抑止動作を実行しない出力手段と、
    を含む携帯端末。
  8. 前記検出された顔が正当なユーザの顔ではないと前記同定手段により判断された場合に、ネットワークを介して通信可能に接続される他の情報処理装置に対して、撮像された当
    該画像データを送信する送受信手段をさらに備える請求項7に記載の携帯端末。
  9. 前記携帯端末は、前記機能毎に対応づけられた複数の認証結果の有効期間を記憶する有効期間記憶手段をさらに備え、
    前記認証手段は、前記同定手段により正当なユーザの顔であると判断された最新の日時を示す認証結果を記憶し、前記認証結果が、ユーザによって選択された機能に対応づけて前記有効期間記憶手段に記憶される有効期間内のものであるか否か判断し、有効期間内のものである場合には前記同定手段による判断の実施の有無にかかわらず当該機能の使用を許可する請求項7又は8に記載の携帯端末。
  10. 画像の撮像を行う撮像手段と、盗撮抑止動作を実行する出力手段とを備える情報処理装置が、前記撮像手段によって撮像された画像から、人の顔を検出するステップと、
    前記情報処理装置が、検出された顔が正当なユーザの顔であるか否か判断する判断ステップと、
    前記情報処理装置が、前記判断ステップにおいて、検出された顔が正当なユーザの顔ではないと判断された場合には盗撮抑止動作を実行するように前記出力手段を制御し、検出された顔が正当なユーザの顔であると判断された場合には前記盗撮抑止動作を実行しないように前記出力手段を制御するステップと、
    を含む方法。
  11. 画像の撮像を行う撮像手段と、盗撮抑止動作を実行する出力手段とを備え、その使用のために顔認証処理による認証を要する機能を有する携帯端末が、前記撮像手段によって撮像された画像から、人の顔を検出するステップと、
    前記携帯端末が、検出された顔が正当なユーザの顔であるか否か判断する判断ステップと、
    前記携帯端末が、前記判断ステップにおいて、正当なユーザの顔であると判断された場合にのみ、前記機能について使用を許可するステップと、
    前記携帯端末が、前記判断ステップにおいて、検出された顔が正当なユーザの顔ではないと判断された場合には盗撮抑止動作を実行するように前記出力手段を制御し、検出された顔が正当なユーザの顔であると判断された場合には前記盗撮抑止動作を実行しないように前記出力手段を制御するステップと、
    を含む方法。
  12. 前記携帯端末は、ネットワークを介して通信可能に接続される他の情報処理装置との間でデータの送受信を行う送受信手段をさらに含み、
    前記携帯端末が、前記判断ステップにおいて、検出された顔が正当なユーザの顔ではないと判断された場合に、前記送受信手段に対し、前記他の情報処理装置に当該画像データを送信させるステップをさらに含む、請求項11に記載の方法。
  13. 画像の撮像を行う撮像手段と、盗撮抑止動作を実行する出力手段とを備える情報処理装置に対し、
    前記撮像手段によって撮像された画像から、人の顔を検出するステップと、
    検出された顔が正当なユーザの顔であるか否か判断する判断ステップと、
    前記判断ステップにおいて、検出された顔が正当なユーザの顔ではないと判断された場合には盗撮抑止動作を実行するように前記出力手段を制御し、検出された顔が正当なユーザの顔であると判断された場合には前記盗撮抑止動作を実行しないように前記出力手段を制御するステップと、
    を実行させるためのプログラム。
  14. 画像の撮像を行う撮像手段と、盗撮抑止動作を実行する出力手段とを備え、その使用の
    ために顔認証処理による認証を要する機能を有する携帯端末に対し、
    前記撮像手段によって撮像された画像から、人の顔を検出するステップと、
    検出された顔が正当なユーザの顔であるか否か判断する判断ステップと、
    前記判断ステップにおいて、正当なユーザの顔であると判断された場合にのみ、前記機能について使用を許可するステップと、
    前記判断ステップにおいて、検出された顔が正当なユーザの顔ではないと判断された場合には盗撮抑止動作を実行するように前記出力手段を制御し、検出された顔が正当なユーザの顔であると判断された場合には前記盗撮抑止動作を実行しないように前記出力手段を制御するステップと、
    を実行させるためのプログラム。
  15. 前記携帯端末は、ネットワークを介して通信可能に接続される他の情報処理装置との間でデータの送受信を行う送受信手段をさらに含み、
    前記携帯端末に対し、前記判断ステップにおいて、検出された顔が正当なユーザの顔ではないと判断された場合に、前記送受信手段に対し、前記他の情報処理装置に当該画像データを送信させるステップをさらに実行させる、請求項14に記載のプログラム。
JP2005138692A 2005-05-11 2005-05-11 撮像装置、携帯端末 Active JP4544026B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005138692A JP4544026B2 (ja) 2005-05-11 2005-05-11 撮像装置、携帯端末

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005138692A JP4544026B2 (ja) 2005-05-11 2005-05-11 撮像装置、携帯端末

Publications (2)

Publication Number Publication Date
JP2006319550A true JP2006319550A (ja) 2006-11-24
JP4544026B2 JP4544026B2 (ja) 2010-09-15

Family

ID=37539832

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005138692A Active JP4544026B2 (ja) 2005-05-11 2005-05-11 撮像装置、携帯端末

Country Status (1)

Country Link
JP (1) JP4544026B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009294999A (ja) * 2008-06-06 2009-12-17 Hitachi Omron Terminal Solutions Corp 顔向き検出プログラム、顔向き検出方法、および、顔向き検出ユニット
JP4986306B2 (ja) * 2007-09-27 2012-07-25 京セラ株式会社 携帯型電子機器
JP2012212259A (ja) * 2011-03-30 2012-11-01 Fujitsu Ltd 権限管理方法および権限管理プログラム
JP2015097074A (ja) * 2013-10-08 2015-05-21 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム、並びに、投影システム、その制御方法、及びプログラム
WO2015155840A1 (ja) * 2014-04-08 2015-10-15 楽天株式会社 携帯端末、配布サーバ、制御方法、ならびに、プログラム
WO2017018259A1 (ja) * 2015-07-30 2017-02-02 ソニーセミコンダクタソリューションズ株式会社 電子機器、制御方法、およびプログラム
CN108989662A (zh) * 2013-09-30 2018-12-11 北京三星通信技术研究有限公司 一种控制拍摄的方法及终端设备
JP2019016356A (ja) * 2017-07-10 2019-01-31 雲想科技股▲ふん▼有限公司Thinkcloud Digital Technology Co., Ltd. サインの記録方法、及びサインの記録装置
WO2020261423A1 (ja) 2019-06-26 2020-12-30 日本電気株式会社 認証システム、認証方法、制御装置、コンピュータプログラム及び記録媒体
JP2021516405A (ja) * 2018-07-11 2021-07-01 ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド 画像処理方法および装置、電子機器および記憶媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1031265A (ja) * 1996-07-15 1998-02-03 Matsushita Electric Ind Co Ltd 盗撮防止装置
JP2002229955A (ja) * 2001-02-02 2002-08-16 Matsushita Electric Ind Co Ltd 情報端末装置及び認証システム
JP2004260796A (ja) * 2003-02-04 2004-09-16 Nec Corp 撮影機能付き移動通信端末の動作制限システム及び撮影機能付き移動通信端末
JP2004363905A (ja) * 2003-06-04 2004-12-24 Olympus Corp 携帯端末
JP2005027135A (ja) * 2003-07-04 2005-01-27 Matsushita Electric Ind Co Ltd 盗撮防止システム及び盗撮防止端末機
JP2005078413A (ja) * 2003-09-01 2005-03-24 Matsushita Electric Ind Co Ltd 電子機器及び電子機器における応答情報出力方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1031265A (ja) * 1996-07-15 1998-02-03 Matsushita Electric Ind Co Ltd 盗撮防止装置
JP2002229955A (ja) * 2001-02-02 2002-08-16 Matsushita Electric Ind Co Ltd 情報端末装置及び認証システム
JP2004260796A (ja) * 2003-02-04 2004-09-16 Nec Corp 撮影機能付き移動通信端末の動作制限システム及び撮影機能付き移動通信端末
JP2004363905A (ja) * 2003-06-04 2004-12-24 Olympus Corp 携帯端末
JP2005027135A (ja) * 2003-07-04 2005-01-27 Matsushita Electric Ind Co Ltd 盗撮防止システム及び盗撮防止端末機
JP2005078413A (ja) * 2003-09-01 2005-03-24 Matsushita Electric Ind Co Ltd 電子機器及び電子機器における応答情報出力方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4986306B2 (ja) * 2007-09-27 2012-07-25 京セラ株式会社 携帯型電子機器
US8295895B2 (en) 2007-09-27 2012-10-23 Kyocera Corporation Portable electronic device
JP2009294999A (ja) * 2008-06-06 2009-12-17 Hitachi Omron Terminal Solutions Corp 顔向き検出プログラム、顔向き検出方法、および、顔向き検出ユニット
JP2012212259A (ja) * 2011-03-30 2012-11-01 Fujitsu Ltd 権限管理方法および権限管理プログラム
CN108989662A (zh) * 2013-09-30 2018-12-11 北京三星通信技术研究有限公司 一种控制拍摄的方法及终端设备
JP2015097074A (ja) * 2013-10-08 2015-05-21 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム、並びに、投影システム、その制御方法、及びプログラム
WO2015155840A1 (ja) * 2014-04-08 2015-10-15 楽天株式会社 携帯端末、配布サーバ、制御方法、ならびに、プログラム
JP5985103B2 (ja) * 2014-04-08 2016-09-06 楽天株式会社 携帯端末、配布サーバ、制御方法、ならびに、プログラム
TWI578245B (zh) * 2014-04-08 2017-04-11 Rakuten Inc Portable terminals, delivery servers, control methods, and programs
WO2017018259A1 (ja) * 2015-07-30 2017-02-02 ソニーセミコンダクタソリューションズ株式会社 電子機器、制御方法、およびプログラム
JP2019016356A (ja) * 2017-07-10 2019-01-31 雲想科技股▲ふん▼有限公司Thinkcloud Digital Technology Co., Ltd. サインの記録方法、及びサインの記録装置
JP2021516405A (ja) * 2018-07-11 2021-07-01 ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド 画像処理方法および装置、電子機器および記憶媒体
WO2020261423A1 (ja) 2019-06-26 2020-12-30 日本電気株式会社 認証システム、認証方法、制御装置、コンピュータプログラム及び記録媒体

Also Published As

Publication number Publication date
JP4544026B2 (ja) 2010-09-15

Similar Documents

Publication Publication Date Title
JP4544026B2 (ja) 撮像装置、携帯端末
US9613200B2 (en) Ear biometric capture, authentication, and identification method and system
EP1914961B1 (en) Mobile information terminal apparatus
AU2017201463B2 (en) Methods and systems for authenticating users
EP2658242B1 (en) Apparatus and method for recognizing image
JP4760049B2 (ja) 顔認証装置、その顔認証方法、その顔認証装置を組み込んだ電子機器およびその顔認証プログラムを記録した記録媒体
JP2009163555A (ja) 顔照合装置
CN107292150A (zh) 保全信息处理中用户身份确认方法和装置
JP2005242677A (ja) 複合認証システムおよびその方法ならびにプログラム
KR101055591B1 (ko) 정보 단말기, 실행 가능 처리 제한 방법 및 실행 가능 처리제한 프로그램
Thavalengal et al. User authentication on smartphones: Focusing on iris biometrics
US8065528B2 (en) Authentication device, authentication method, authentication program and computer readable recording medium
JP7318833B2 (ja) 画像処理デバイス、画像処理方法、およびプログラム
TW201828152A (zh) 特徵圖像的獲取方法及獲取裝置、使用者認證方法
US11762966B2 (en) Methods and devices for operational access grants using facial features and facial gestures
JP2019074938A (ja) 通信中継装置、システム、方法及びプログラム
CN110969067B (zh) 用户注册、认证方法及装置
JP2005196516A (ja) 顔認識によるセキュリティ方法
CN109033928A (zh) 防止信息泄露的图像处理方法和装置
CN111079112B (zh) 应用控制方法、应用控制装置及存储介质
WO2022270114A1 (ja) 情報機器又は通信機器の不正アクセス防止方法
US11416594B2 (en) Methods and systems for ensuring a user is permitted to use an object to conduct an activity
US20230012914A1 (en) Non-transitory computer readable storage, output control method, and terminal device
JP2023004852A (ja) 情報機器又は通信機器の不正アクセス防止方法
JPWO2019244663A1 (ja) 顔認証システム、端末装置、顔認証方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100608

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100621

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130709

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4544026

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250