JP2011203992A - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2011203992A JP2011203992A JP2010070495A JP2010070495A JP2011203992A JP 2011203992 A JP2011203992 A JP 2011203992A JP 2010070495 A JP2010070495 A JP 2010070495A JP 2010070495 A JP2010070495 A JP 2010070495A JP 2011203992 A JP2011203992 A JP 2011203992A
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- face
- authentication
- registrant
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000010365 information processing Effects 0.000 title claims description 26
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000001815 facial effect Effects 0.000 claims abstract description 9
- 238000003384 imaging method Methods 0.000 claims description 65
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000000034 method Methods 0.000 description 51
- 230000008569 process Effects 0.000 description 42
- 238000001514 detection method Methods 0.000 description 16
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
- G06F21/71—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure computing or processing of information
- G06F21/74—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure computing or processing of information operating in dual or compartmented mode, i.e. at least one secure mode
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
- G06F21/82—Protecting input, output or interconnection devices
- G06F21/83—Protecting input, output or interconnection devices input devices, e.g. keyboards, mice or controllers thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
- G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/30—Individual registration on entry or exit not involving the use of a pass
- G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
- G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/06—Decision making techniques; Pattern matching strategies
- G10L17/10—Multimodal systems, i.e. based on the integration of multiple recognition engines or fusion of expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2105—Dual mode as a secondary aspect
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2147—Locking files
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
- H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Collating Specific Patterns (AREA)
- Lock And Its Accessories (AREA)
Abstract
【課題】顔識別技術のみを利用した場合よりも高いセキュリティレベルを実現する。
【解決手段】この個人認証開錠装置10は、認証対象者の顔を撮像して顔識別を行うとともに、認証対象者の唇の動きに基づいて発声されたパスワードを認識し、顔識別の結果とパスワードの認識結果に基づいて個人認証を行う。そして、個人認証開錠装置10は、認証結果に従い、例えばセキュリティエリアに入場するためのドアを開錠したりする。なお、認証対象者は、実際に音声を発することなく無音の状態で、パスワードを発声しているときと同様に唇などを動かすようにするものとする。これにより、パスワードが聞かれてしまうことによって漏洩してしまう事態を抑止することができる。本発明は、例えば、個人認証装置に適用できる。
【選択図】図1
【解決手段】この個人認証開錠装置10は、認証対象者の顔を撮像して顔識別を行うとともに、認証対象者の唇の動きに基づいて発声されたパスワードを認識し、顔識別の結果とパスワードの認識結果に基づいて個人認証を行う。そして、個人認証開錠装置10は、認証結果に従い、例えばセキュリティエリアに入場するためのドアを開錠したりする。なお、認証対象者は、実際に音声を発することなく無音の状態で、パスワードを発声しているときと同様に唇などを動かすようにするものとする。これにより、パスワードが聞かれてしまうことによって漏洩してしまう事態を抑止することができる。本発明は、例えば、個人認証装置に適用できる。
【選択図】図1
Description
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、顔識別とパスワード発話時の読唇による発話認識とを組み合わせることにより個人認証の精度を向上させるようにした情報処理装置、情報処理方法、およびプログラムに関する。
近年、画像認識技術が発達しており、その一分野である顔識別技術についても実用可能なレベルに到達しており、例えば、セキュリティエリアに入場するための鍵の開錠を制御するためなどの認証装置等に利用されている。
また、顔識別技術に加えて、例えば、暗証番号やパスワードなどを入力させたり、IDカードによる認証を追加したり(例えば、特許文献1)、発声されたパスワードを音声認識しその真偽を判断する認証を追加したりする(例えば、特許文献2)ことによって、セキュリティレベルをより向上させる提案がなされている。
上述したように、顔識別技術に加えて、他の認証技術(例えば、暗証番号やパスワードなどの入力、IDカードの提示、パスワードの音声認識など)を利用することにより、セキュリティレベルを向上させることが可能である。
しかしながら、暗証番号やパスワードなどを入力させるためにはキーボード等の入力デバイスが必要になるし、IDカードの提示を追加するには、そのために必要な読取装置などが必要となる。
また、発声されたパスワードを音声認識するには、マイクロホンなどの音声入力デバイスが必要となるだけでなく、その発話を聞かれてしまうことによるパスワードの漏洩が起こり得る。
本発明はこのような状況に鑑みてなされたものであり、撮像部以外の入力デバイスを必要とすることなく、顔識別技術のみを利用した場合よりも高いセキュリティレベルを実現できるようにするものである。
本発明の一側面である情報処理装置は、認証対象者を撮像して得られるビデオ信号に基づいて個人認証を行う情報処理装置において、前記認証対象者または登録者を撮像して前記ビデオ信号を生成する撮像手段と、登録モードにて、前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の顔の特徴量を算出する第1の特徴量算出手段と、登録モードにて、任意のパスワードを発声する前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の唇の時系列の特徴量を算出する第2の特徴量算出手段と、算出された前記登録者の前記顔の特徴量に、算出された前記任意のパスワードを発声したときの前記唇の時系列の特徴量を対応付けてデータベースに登録する登録手段と、認証モードにて、前記認証対象者を撮像して得られる前記ビデオ信号の画像上の顔の特徴量を算出し、前記データベースを参照して、前記認証対象者の顔を識別する識別手段と、認証モードにて、発声中の前記認証対象者を撮像して得られた前記ビデオ信号の画像上の前記認証対象者の唇の時系列の特徴量を算出し、前記データベースを参照して、前記認証対象者の発話内容を認識する認識手段と、前記認証対象者の顔の識別結果、および前記認証対象者の発話内容の認識結果に基づき、前記認証対象者の個人認証を行う認証手段とを含む。
前記認識手段は、算出した前記認証対象者の唇の時系列の特徴量が、前記データベースに登録済みの前記登録者が任意のパスワードを発声したときの前記唇の時系列の特徴量と一致するか否かに基づいて、前記認証対象者の発話内容を認識するようにすることができる。
前記認識手段は、さらに、認証モードにて、発声中の前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の唇の時系列の特徴量を算出し、前記データベースを参照して、前記登録者の発話内容を認識するようにすることができ、本発明の一側面である情報処理装置は、認識された前記登録者の発話内容に従い、前記認証モードから、前記登録モードに切り替えるモード切替手段をさらに含むことができる。
前記第1の特徴量算出手段は、登録モードにて、発声中の前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の顔の特徴量を算出し、前記識別手段は、認証モードにて、発声中の前記認証対象者を撮像して得られる前記ビデオ信号の画像上の顔の特徴量を算出し、前記データベースを参照して、前記認証対象者の顔を識別するようにすることができる。
本発明の一側面である情報処理方法は、認証対象者を撮像して得られるビデオ信号に基づいて個人認証を行う情報処理装置の情報処理方法において、前記情報処理装置による、登録モードにて、前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の顔の特徴量を算出する第1の特徴量算出ステップと、登録モードにて、任意のパスワードを発声する前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の唇の時系列の特徴量を算出する第2の特徴量算出ステップと、算出された前記登録者の前記顔の特徴量に、算出された前記任意のパスワードを発声したときの前記唇の時系列の特徴量を対応付けてデータベースに登録する登録ステップと、認証モードにて、前記認証対象者を撮像して得られる前記ビデオ信号の画像上の顔の特徴量を算出し、前記データベースを参照して、前記認証対象者の顔を識別する識別ステップと、認証モードにて、発声中の前記認証対象者を撮像して得られた前記ビデオ信号の画像上の前記認証対象者の唇の時系列の特徴量を算出し、前記データベースを参照して、前記認証対象者の発話内容を認識する認識ステップと、前記認証対象者の顔の識別結果、および前記認証対象者の発話内容の認識結果に基づき、前記認証対象者の個人認証を行う認証ステップとを含む。
本発明の一側面であるプログラムは、認証対象者を撮像して得られるビデオ信号に基づいて個人認証を行う情報処理装置の制御用のプログラムであって、登録モードにて、前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の顔の特徴量を算出する第1の特徴量算出ステップと、登録モードにて、任意のパスワードを発声する前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の唇の時系列の特徴量を算出する第2の特徴量算出ステップと、算出された前記登録者の前記顔の特徴量に、算出された前記任意のパスワードを発声したときの前記唇の時系列の特徴量を対応付けてデータベースに登録する登録ステップと、認証モードにて、前記認証対象者を撮像して得られる前記ビデオ信号の画像上の顔の特徴量を算出し、前記データベースを参照して、前記認証対象者の顔を識別する識別ステップと、認証モードにて、発声中の前記認証対象者を撮像して得られた前記ビデオ信号の画像上の前記認証対象者の唇の時系列の特徴量を算出し、前記データベースを参照して、前記認証対象者の発話内容を認識する認識ステップと、前記認証対象者の顔の識別結果、および前記認証対象者の発話内容の認識結果に基づき、前記認証対象者の個人認証を行う認証ステップとを含む処理を情報処理装置のコンピュータに実行させる。
本発明の一側面においては、登録モードにて、登録者を撮像して得られたビデオ信号の画像上の登録者の顔の特徴量が算出され、登録モードにて、任意のパスワードを発声する登録者を撮像して得られたビデオ信号の画像上の登録者の唇の時系列の特徴量が算出され、算出された登録者の顔の特徴量に、算出された任意のパスワードを発声したときの唇の時系列の特徴量が対応付けられてデータベースに登録される。また、認証モードにて、認証対象者を撮像して得られるビデオ信号の画像上の顔の特徴量が算出され、データベースが参照されて、認証対象者の顔が識別され、認証モードにて、発声中の認証対象者を撮像して得られたビデオ信号の画像上の認証対象者の唇の時系列の特徴量が算出され、データベースが参照されて、認証対象者の発話内容が認識される。そして、認証対象者の顔の識別結果、および認証対象者の発話内容の認識結果に基づき、認証対象者の個人認証が行われる。
本発明の一側面によれば、撮像部以外の入力デバイスを必要とすることなく、顔識別技術のみを利用した場合よりも高いセキュリティレベルを実現できる。
以下、発明を実施するための最良の形態(以下、実施の形態と称する)について、図面を参照しながら詳細に説明する。
<1.実施の形態>
[個人認証開錠装置の構成例]
図1は、本発明の実施の形態である個人認証開錠装置の構成例を示している。この個人認証開錠装置10は、認証対象者の顔を撮像して顔識別を行うとともに、認証対象者の唇の動きに基づいて発声されたパスワードを認識し、顔識別の結果とパスワードの認識結果に基づいて個人認証を行う。そして、個人認証開錠装置10は、認証結果に従い、例えばセキュリティエリアに入場するためのドアを開錠したりする。
[個人認証開錠装置の構成例]
図1は、本発明の実施の形態である個人認証開錠装置の構成例を示している。この個人認証開錠装置10は、認証対象者の顔を撮像して顔識別を行うとともに、認証対象者の唇の動きに基づいて発声されたパスワードを認識し、顔識別の結果とパスワードの認識結果に基づいて個人認証を行う。そして、個人認証開錠装置10は、認証結果に従い、例えばセキュリティエリアに入場するためのドアを開錠したりする。
なお、認証対象者は、実際に音声を発することなく無音の状態で、パスワードを発声しているときと同様に唇などを動かすようにするものとする。これにより、パスワードが聞かれてしまうことによって漏洩してしまう事態を抑止することができる。
以下の説明において、発話とは、上述したように無音状態で唇を動かすことを指すものとする。なお、音声を発して発話した場合でもパスワードなどの認識は可能である。ただし、当然ながらその場合、発した音声を聞かれてしまうことによるパスワードの漏洩は抑止できない。
個人認証開錠装置10は、制御部11、撮像部12、画像処理部13、表示制御部14、ディスプレイ15、および開錠部16から構成される。
制御部11は、個人認証開錠装置10の全体を制御する。特に、制御部11は、画像処理部13から入力される発話認識結果に基づいて、画像処理部13の動作モード(登録モード、または認証モード)を設定する。また、制御部11は、アラート表示のための画像信号を発生して表示制御部14に出力し、ディスプレイ15に表示させる。さらに、制御部11は、画像処理部13から入力される顔識別結果および発話内容に基づき、個人認証の成否を判断し、個人認証結果(成否)を開錠部16に通知する。
なお、画像処理部13の動作モード(登録モード、または認証モード)の切替をユーザが指示するためのスイッチなどを設け、当該スイッチに対するユーザの操作に従い、画像処理部13の動作モードを設定するようにしてもよい。
撮像部12は、動画像を撮像可能なデジタルビデオカメラなどからなり、パスワードを発声する認証対象者を撮像し、その結果得られるビデオ信号を画像処理部13および表示制御部14に出力する。
画像処理部13は、顔領域検出部21、顔登録部22、発話登録部23、特徴量データベース(DB)24、および顔識別・発話認識部25から構成される。画像処理部13は、登録モード、または認証モードの状態で動作する。
顔領域検出部21は、撮像部12から入力されるビデオ信号の映像から認証対象者の顔を含む領域(顔領域)を検出する。そして、顔領域検出部21は、登録モードにおいては、検出した顔領域を顔登録部22および発話登録部23に出力し、認証モードにおいては、顔識別・発話認識部25に出力する。また、顔領域検出部21は、撮像部12から入力されるビデオ信号の映像から人の顔を検出できない場合、または複数の顔を検出した場合、その旨を制御部11に通知する。
顔登録部22は、登録モードにおいて、顔領域検出部21から入力される顔領域に基づき、その特徴量を算出して特徴量DB24に登録する。顔の特徴量を算出する方法としては、既存の任意の方法を適用することができる。その一例としては、例えば、本出願人が提案済みの方法(特開2009−53916公報として公開済み)を挙げることができる。具体的には、要するに、予めX人の顔画像を用意して所定の手法によりそれぞれの特徴量を算出しておき、登録者の顔に対しては、X人の顔それぞれに対してどの程度似ているかを示す値を算出することにより、X次元の特徴量を算出するようにしている。さらに、このX次元の特徴量を、より少ない次元に圧縮する手法も存在する。
発話登録部23は、顔領域検出部21から入力される顔領域に基づき、パスワードを発声しているときの唇を検出し、その動きの特徴量(時系列の特徴量)を算出し、顔の特徴量と対応付けて特徴量DB24に登録する。唇の動きの特徴量を算出する方法としては、既存の任意の方法を適用することができる。その一例としては、例えば、本出願人が提案済みの方法(特願2009−154924)を挙げることができる。具体的には、要するに、発声される音と唇の形(口形素)との対応を学習しておき、登録者がパスワードを発声したときの唇の動きの特徴量を、口形素の時系列変化として得るようにしている。
特徴量DB24には、登録された認証対象者の顔の特徴量と、それに対応付けて発話者(登録された認証対象者)がパスワードを発話中の唇の時系列の特徴量が登録される。また、特徴量DB24には、予め学習により得られている、不特定の話者が登録を指示するためのコマンド(「登録」、「顔登録」、または「パスワード登録」)を発声したときの唇の時系列の特徴量が予め登録されているものとする。
顔識別・発話認識部25は、認証モードにおいて、顔登録部22と同様に、顔領域検出部21から入力される顔領域に基づき、その特徴量を算出し、特徴量DB24を参照することにより、認証対象者の顔が登録済みであるか否かを判定する。また、顔識別・発話認識部25は、認証モードにおいて、発話登録部23と同様に、顔領域検出部21から入力される顔領域のうちの唇の動きに基づき、認証対象者が発声しているときの唇の時系列の特徴量を算出し、特徴量DB24を参照することにより発話内容を認識する。そして、顔識別・発話認識部25は、顔識別結果および発話認識結果(発話内容)を制御部11に通知する。
表示制御部14は、撮像部12から入力されるビデオ信号に、制御部11から適宜入力されるアラート表示のための画像信号を重畳してディスプレイ15に供給する。ディスプレイ15は、表示制御部14から入力されるビデオ信号に基づく映像を表示する。認証対象者は、ディスプレイ15に表示される自身の顔をみることによりその位置を調整しつつ、所定のコマンドまたはパスワードを発声することになる。
開錠部16は、制御部11から個人認証の成功が通知された場合、例えばセキュリティエリアのドアの鍵などを開錠する。
[動作説明]
次に、個人認証開錠装置10の動作について、例えば、認証対象者が自身の顔とパスワードを登録した後、改めて自身の認証を受けて鍵を開錠させる場合について説明する。図2は、個人認証開錠装置10による個人認証処理を説明するフローチャートである。
次に、個人認証開錠装置10の動作について、例えば、認証対象者が自身の顔とパスワードを登録した後、改めて自身の認証を受けて鍵を開錠させる場合について説明する。図2は、個人認証開錠装置10による個人認証処理を説明するフローチャートである。
この個人認証処理は、個人認証開錠装置10の電源がオンとされたときに開始され、その後、電源がオフとされるまで継続して実行される。
ステップS1において、制御部11は、画像処理部13を認証モードに設定する。撮像部12は、撮像を開始し、その結果得られるビデオ信号を画像処理部13および表示制御部14に出力する。表示制御部14は、撮像部12から入力されたビデオ信号の映像をディスプレイ15に表示させる。顔領域検出部21は、撮像部12から継続的に入力されているビデオ信号を監視し、その映像から人物(認証対象者)の顔を1つだけ検出したか否かを判定する。
ステップS1で、人物の顔が検出されない場合、または複数の顔が検出された場合、処理はステップS2に進められる。ステップS2において、制御部11は、例えば「1人だけ写るようにしてください」などのアラート表示の画像信号を発生して表示制御部14に出力する。表示制御部14は、このアラート表示を撮像部12からのビデオ信号に重畳し、その映像をディスプレイ15に表示させる。
ここで、撮像部12の撮像範囲に未登録の認証対象者が入ると、その顔が検出されることによって、処理はステップS1からステップS3に進められる。
ステップS3において、顔領域検出部21は、撮像部12からのビデオ信号から検出した認証対象者の顔領域を顔識別・発話認識部25に出力する。顔識別・発話認識部25は、顔領域のうちの唇の時系列の特徴量を算出し、特徴量DB24を参照することにより発話内容を認識する。ただし、この段階での発話内容の認識は、登録を指示するためのコマンド(「登録」、「顔登録」、または「パスワード登録」)、またはそれ以外であるかが判定できる程度の精度でよい(後述するステップS5の発話認識よりも低い精度でもよい)。そして、顔識別・発話認識部25は、発話認識結果(発話内容)を制御部11に通知する。
ステップS4において、制御部11は、認証対象者の発話内容が、登録を指示するためのコマンド(「登録」、「顔登録」、または「パスワード登録」)であるか否かを判定する。登録を指示するためのコマンドであると判定された場合、処理はステップS9に進められる。反対に、否と判定された場合には、処理がステップS5に進められる。
いまの場合、認証対象者はコマンドやパスワードを発声していないので、処理はステップS5に進められる。
ステップS5において、顔識別・発話認識部25は、顔領域検出部21から入力されている顔領域の特徴量を算出し、特徴量DB24を参照することにより、認証対象者の顔が登録済みであるか否かを判定する。なお、顔領域の特徴量は、動画像の1フレームから算出してもよいし、または数フレームから時系列の特徴量として算出するようにしてもよい。
さらに、顔識別・発話認識部25は、顔領域のうちの唇の時系列の特徴量を算出し、特徴量DB24を参照することにより、顔識別結果の顔に対応付けられているものと一致するか(その差異が所定の閾値以下であるか)否かを判定する。すなわち、発話されたパスワードが、登録済みの顔に対応付けられたパスワードと一致するか否かを判定する。そして、顔識別・発話認識部25は、顔識別結果および発話認識結果(いまの場合、パスワードと一致するか否かの情報)を制御部11に通知する。
ステップS6において、制御部11は、顔識別・発話認識部25から通知された顔識別結果および発話認識結果を統合し、ステップS7において、個人認証が成功したか否かを判断する。具体的には、顔識別結果にて登録済み顔であると判定され、且つ、発話認識結果が登録済みの顔に対応してするパスワードと一致する場合のみ、個人認証が成功したと判断して処理をステップS18に進め、それ以外の場合、処理をステップS8に進める。
いまの場合、認証対象者は未登録であり、または発話内容も不明(発話していない)ので、個人認証は失敗したと判断されて、処理はステップS8に進められる。ステップS8において、制御部11は、例えば「個人認証失敗」などのアラート表示の画像信号を発生して表示制御部14に出力する。表示制御部14は、このアラート表示を撮像部12からのビデオ信号に重畳し、その映像をディスプレイ15に表示させる。この後、処理はステップS1に戻されて、それ以降が繰り返される。
再びステップS1において、認証対象者が撮像範囲から移動していなければ、処理はステップS3に進められる。ここで、未登録の認証対象者が、登録を指示するためのコマンド(例えば、「顔登録」)を発声すると、その発話内容が認識される。そして、ステップS4において、処理がステップS9に進められる。
ステップS9において、制御部11は、画像処理部11を登録モードに設定する。さらに、制御部11は、認識対象者(すなわち、登録者)の発話内容が「顔登録」であるか否かを判定し、「顔登録」である場合、処理をステップS10に進める。なお、登録者の発話内容が「顔登録」ではない場合、処理はステップS12に進められる。
いまの場合、発話内容は「顔登録」であると認識されているはずなので、処理はステップS10に進められる。
ステップS10において、顔領域検出部21は、撮像部12からのビデオ信号から検出した認証対象者の顔領域を顔登録部22に出力する。顔登録部22は、顔領域検出部21から入力された顔領域に基づき、その特徴量を算出する。このとき、例えば「メガネを外してください」、「正面(または右側、左側など)を向いてください」などのアラート表示をディスプレイ15に表示させるようにしてもよい。ステップS11において、顔登録部22は、算出した顔の特徴量を特徴量DB24に登録させる。
ステップS10およびS11における処理(以下、顔登録処理)について詳述する。図3は、顔登録処理を説明するフローチャートである。
顔登録部22は、ステップS31において、顔領域検出部21から入力された顔領域から顔の各パーツ(眉毛、目、鼻、口など)を検出する。次に、ステップS32において、検出された各パーツの位置に基づいて、顔全体の位置や向きを調整する。ステップS33においては、位置や向きを調整した顔全体を含むように改めて顔領域を切り出し、ステップS34において、その特徴量を計算して特徴量DB24に出力する。ステップS35において、特徴量DB24は、顔登録部22から入力された顔の特徴量を登録する。
上述したようにして顔(の特徴量)の登録を終えた後、例えば「顔登録終了」などのアラート表示をディスプレイ15に表示させるようにして、処理は図2のステップS1に戻される。
再びステップS1において、認証対象者が撮像範囲から移動していなければ、処理はステップS3に進められる。ここで、顔のみ登録済みの認証対象者(登録者)が、パスワードの登録を指示するためのコマンド「パスワード登録」を発声すると、その発話内容が認識される。そして、ステップS4において、処理がステップS9に進められる。
ステップS9では、いまの場合、登録者の発話内容が「顔登録」ではないので、処理はステップS12に進められる。
ステップS12において、制御部11は、登録者の発話内容が「パスワード登録」であるか否かを判定し、「パスワード登録」である場合、処理をステップS13に進める。なお、登録者の発話内容が「パスワード登録」ではない場合、すわなち、発話内容が「登録」である場合、処理はステップS16に進められる。
いまの場合、発話内容は「パスワード登録」であると認識されているはずなので、処理はステップS13に進められる。
ステップS13において、制御部11は、例えば「登録するパスワードを話してください」などのアラート表示をディスプレイ15に表示させる。これに応じて認証対象者が任意のパスワードを発声すると、その映像が撮像されて顔領域が発話登録部23に入力される。
ステップS14において、発話登録部23は、入力されている顔領域に基づき、認証対象者がパスワードを発声しているときの唇を検出し、その動きの特徴量(時系列の特徴量)を算出する。さらに、ステップS15において、算出した唇の動きの特徴量を、ステップS11で登録した登録者の顔の特徴量と対応付けて特徴量DB24に登録させる。
ステップS14およびS15における処理(以下、発話登録処理)について詳述する。図4は、発話登録処理を説明するフローチャートである。
発話登録部23は、ステップS41において、顔領域検出部21から入力された顔領域から唇を含む唇領域を検出し、ステップS42において、顔領域から唇領域を切り出す。さらに、ステップS43において、時系列の唇領域のうち、唇が動いている発話区間を切り出して、ステップS44において、発話区間の唇領域について、その特徴量を計算して特徴量DB24に出力する。ステップS45において、特徴量DB24は、発話登録部23から入力された唇の時系列の特徴量を、ステップS11で登録した顔の特徴量と対応付けて登録する。
上述したようにしてパスワード(の時系列の特徴量)の登録を終えた後、例えば「パスワード登録終了」などのアラート表示をディスプレイ15に表示させるようにして、処理は図2のステップS1に戻される。
これ以降、当該認証対象者は顔とパスワードが登録済みであるので、正しいパスワードを発声することによって個人認証を成功させることができる。
なお、上述した例では、顔登録とパスワード登録とを分けて登録する場合を例に説明したが、顔登録とパスワード登録とを一括して行うことも可能である。その場合、ステップS3の段階で、認証対象者が登録を指示するためのコマンドとして「登録」を発声すればよい。これにより、処理はステップS4,S9,S12,S16の順に進められて、ステップS16およびS17において、上述した顔登録処理とパスワード登録処理が連続的に行われる、または一括して行われる。
ただし、ステップS16およびS17において、顔登録処理とパスワード登録処理とが一括して行われる場合には、パスワードを発声しているとき、すなわち、唇を動かしているときの顔の特徴量が算出される。このように、唇を動かしているときの顔の特徴量は、発声してないときの顔の特徴量に比較して、認証対象者の特徴をより個性的に表していると考えられる。したがって、顔登録処理だけを行った場合に比較して、顔登録処理とパスワード登録処理とを一括して行った方が、個人認証の精度をより上げることができると考えられる。
再び、ステップS1に戻り、顔とパスワードが登録済みである当該認証対象者が撮像部12の撮像範囲で、正しいパスワードを発声すると、処理はステップS1,S4,S5の順に進められる。
ステップS5では、認証対象者の顔の特徴量が算出されて登録済みであるか否かが判定される。いまの場合、登録済みと判定される。また、発話内容(パスワード)の時系列の特徴量が算出されて、登録済みの顔と対応付けて登録済みのものと一致するか否かが判定される。いまの場合、一致すると判定される。
ステップS6では、いまの場合、顔識別結果にて登録の人物であると判定され、且つ、発話認識結果が登録済みの人物に対応するパスワードと一致すると判定されているので、個人認証が成功したと判断されて、処理はステップS18に進められる。
ステップS18において、制御部11は、個人認証が成功した旨を開錠部16に通知する。これに応じて、開錠部16は、例えばセキュリティエリアのドアの鍵などを開錠する。以上で、個人認証処理は一旦終了される。
以上に説明した個人認証処理によれば、撮像部12以外の入力デバイスを必要とすることなく、顔識別だけを行う場合に比較して高い精度で個人認証を行うことができる。
これにより、認証対象者は、両手で荷物を持っている場合などでも顔さえ写る様にすれば、個人認証を受けることができる。
また、パスワード発声時の唇の時系列の特徴量を、発話者の顔の特徴量に対応付けているので、単にパスワードを文字列として認識しその一致を判定する場合に比較して、より高い精度で個人認証を行うことができる。
さらに、パスワードを発声する際、実際には音声を発することなく無音で行うようにしているので、盗聴などによるパスワードの漏洩を抑止することができる。これに加えて、雑音環境下においても、発話によるパスワード入力が可能となる。
またさらに、認証対象者(登録者)は任意の言葉、さらには文字列によって表記できないような音声であってもパスワードとして登録することができる。
ただし、上述した説明によれば、登録を指示するためのコマンドを知っていれば、誰でもが自身の顔とパスワードを登録できてしまう。そこで、例えば、管理者の顔の特徴量と、当該管理者が登録を指示するためのコマンドを発声したときの唇の動きの時系列の特徴量とを対応付けて登録しておくようにする。そして、登録時にのみ、管理者が登録を指示するためのコマンドを発話した後、認証対象者(登録者)が顔とパスワードとを登録するようにしてもよい。
なお、本発明は、本実施の形態のように鍵を開錠する装置のみならず、個人認証の成否に従って所定の処理を実行するあらゆる装置に適用することができる。
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図5は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
このコンピュータ100において、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103は、バス104により相互に接続されている。
バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、キーボード、マウス、マイクロホンなどよりなる入力部106、ディスプレイ、スピーカなどよりなる出力部107、ハードディスクや不揮発性のメモリなどよりなる記憶部108、ネットワークインタフェースなどよりなる通信部109、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア111を駆動するドライブ110が接続されている。
以上のように構成されるコンピュータ100では、CPU101が、例えば、記憶部108に記憶されているプログラムを、入出力インタフェース105およびバス104を介して、RAM103にロードして実行することにより、上述した一連の処理が行われる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
また、プログラムは、1台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
10 個人認証開錠装置, 11 制御部, 12 撮像部, 13 画像処理部, 14 表示制御部, 15 ディスプレイ, 16 開錠部, 21 顔領域検出部, 22 顔登録部, 23 発話登録部, 24 顔識別・発話認識部, 25 特徴量DB, 100 コンピュータ, 101 CPU
Claims (6)
- 認証対象者を撮像して得られるビデオ信号に基づいて個人認証を行う情報処理装置において、
前記認証対象者または登録者を撮像して前記ビデオ信号を生成する撮像手段と、
登録モードにて、前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の顔の特徴量を算出する第1の特徴量算出手段と、
登録モードにて、任意のパスワードを発声する前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の唇の時系列の特徴量を算出する第2の特徴量算出手段と、
算出された前記登録者の前記顔の特徴量に、算出された前記任意のパスワードを発声したときの前記唇の時系列の特徴量を対応付けてデータベースに登録する登録手段と、
認証モードにて、前記認証対象者を撮像して得られる前記ビデオ信号の画像上の顔の特徴量を算出し、前記データベースを参照して、前記認証対象者の顔を識別する識別手段と、
認証モードにて、発声中の前記認証対象者を撮像して得られた前記ビデオ信号の画像上の前記認証対象者の唇の時系列の特徴量を算出し、前記データベースを参照して、前記認証対象者の発話内容を認識する認識手段と、
前記認証対象者の顔の識別結果、および前記認証対象者の発話内容の認識結果に基づき、前記認証対象者の個人認証を行う認証手段と
を含む情報処理装置。 - 前記認識手段は、算出した前記認証対象者の唇の時系列の特徴量が、前記データベースに登録済みの前記登録者が任意のパスワードを発声したときの前記唇の時系列の特徴量と一致するか否かに基づいて、前記認証対象者の発話内容を認識する
請求項1に記載の情報処理装置。 - 前記認識手段は、さらに、認証モードにて、発声中の前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の唇の時系列の特徴量を算出し、前記データベースを参照して、前記登録者の発話内容を認識し、
認識された前記登録者の発話内容に従い、前記認証モードから、前記登録モードに切り替えるモード切替手段を
さらに含む請求項2に記載の情報処理装置。 - 前記第1の特徴量算出手段は、登録モードにて、発声中の前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の顔の特徴量を算出し、
前記識別手段は、認証モードにて、発声中の前記認証対象者を撮像して得られる前記ビデオ信号の画像上の顔の特徴量を算出し、前記データベースを参照して、前記認証対象者の顔を識別する
請求項2に記載の情報処理装置。 - 認証対象者を撮像して得られるビデオ信号に基づいて個人認証を行う情報処理装置の情報処理方法において、
前記情報処理装置による、
登録モードにて、前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の顔の特徴量を算出する第1の特徴量算出ステップと、
登録モードにて、任意のパスワードを発声する前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の唇の時系列の特徴量を算出する第2の特徴量算出ステップと、
算出された前記登録者の前記顔の特徴量に、算出された前記任意のパスワードを発声したときの前記唇の時系列の特徴量を対応付けてデータベースに登録する登録ステップと、
認証モードにて、前記認証対象者を撮像して得られる前記ビデオ信号の画像上の顔の特徴量を算出し、前記データベースを参照して、前記認証対象者の顔を識別する識別ステップと、
認証モードにて、発声中の前記認証対象者を撮像して得られた前記ビデオ信号の画像上の前記認証対象者の唇の時系列の特徴量を算出し、前記データベースを参照して、前記認証対象者の発話内容を認識する認識ステップと、
前記認証対象者の顔の識別結果、および前記認証対象者の発話内容の認識結果に基づき、前記認証対象者の個人認証を行う認証ステップと
を含む情報処理方法。 - 認証対象者を撮像して得られるビデオ信号に基づいて個人認証を行う情報処理装置の制御用のプログラムであって、
登録モードにて、前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の顔の特徴量を算出する第1の特徴量算出ステップと、
登録モードにて、任意のパスワードを発声する前記登録者を撮像して得られた前記ビデオ信号の画像上の前記登録者の唇の時系列の特徴量を算出する第2の特徴量算出ステップと、
算出された前記登録者の前記顔の特徴量に、算出された前記任意のパスワードを発声したときの前記唇の時系列の特徴量を対応付けてデータベースに登録する登録ステップと、
認証モードにて、前記認証対象者を撮像して得られる前記ビデオ信号の画像上の顔の特徴量を算出し、前記データベースを参照して、前記認証対象者の顔を識別する識別ステップと、
認証モードにて、発声中の前記認証対象者を撮像して得られた前記ビデオ信号の画像上の前記認証対象者の唇の時系列の特徴量を算出し、前記データベースを参照して、前記認証対象者の発話内容を認識する認識ステップと、
前記認証対象者の顔の識別結果、および前記認証対象者の発話内容の認識結果に基づき、前記認証対象者の個人認証を行う認証ステップと
を含む処理を情報処理装置のコンピュータに実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010070495A JP2011203992A (ja) | 2010-03-25 | 2010-03-25 | 情報処理装置、情報処理方法、およびプログラム |
US13/019,524 US8416998B2 (en) | 2010-03-25 | 2011-02-02 | Information processing device, information processing method, and program |
CN2011100691294A CN102201055A (zh) | 2010-03-25 | 2011-03-18 | 信息处理设备、信息处理方法以及程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010070495A JP2011203992A (ja) | 2010-03-25 | 2010-03-25 | 情報処理装置、情報処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011203992A true JP2011203992A (ja) | 2011-10-13 |
Family
ID=44656539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010070495A Withdrawn JP2011203992A (ja) | 2010-03-25 | 2010-03-25 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8416998B2 (ja) |
JP (1) | JP2011203992A (ja) |
CN (1) | CN102201055A (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103973892A (zh) * | 2014-05-12 | 2014-08-06 | 深圳市威富多媒体有限公司 | 一种基于语音及人脸识别的移动终端开关机的方法及装置 |
JP2015011656A (ja) * | 2013-07-02 | 2015-01-19 | 株式会社リコー | 画像処理システム及びプログラム |
JP2015018547A (ja) * | 2013-06-13 | 2015-01-29 | 国立大学法人 鹿児島大学 | 認証処理装置及び認証処理方法 |
JP2016170700A (ja) * | 2015-03-13 | 2016-09-23 | 株式会社東芝 | 人物認証方法 |
WO2019092927A1 (ja) * | 2017-11-09 | 2019-05-16 | ソニーモバイルコミュニケーションズ株式会社 | 情報処理装置、プログラム及び情報処理方法 |
JP2020029059A (ja) * | 2018-08-24 | 2020-02-27 | 京セラドキュメントソリューションズ株式会社 | 画像形成システム、画像形成装置、情報処理装置、画像形成方法 |
JP2020087094A (ja) * | 2018-11-28 | 2020-06-04 | サントリーホールディングス株式会社 | 自動販売機決済システム、自動販売機、自動販売機決済方法及びプログラム |
JP2020113107A (ja) * | 2019-01-15 | 2020-07-27 | グローリー株式会社 | 認証システム、管理装置及び認証方法 |
JP2021182420A (ja) * | 2016-05-19 | 2021-11-25 | アドバンスド ニュー テクノロジーズ カンパニー リミテッド | アイデンティティ認証方法及び装置 |
JP7124994B1 (ja) * | 2021-02-25 | 2022-08-24 | 日本電気株式会社 | 方法、プログラム、及び情報処理装置 |
WO2022180988A1 (ja) * | 2021-02-25 | 2022-09-01 | 日本電気株式会社 | 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体 |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011203992A (ja) * | 2010-03-25 | 2011-10-13 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
US9159321B2 (en) | 2012-02-27 | 2015-10-13 | Hong Kong Baptist University | Lip-password based speaker verification system |
US8959359B2 (en) * | 2012-07-11 | 2015-02-17 | Daon Holdings Limited | Methods and systems for improving the security of secret authentication data during authentication transactions |
US9262615B2 (en) | 2012-07-11 | 2016-02-16 | Daon Holdings Limited | Methods and systems for improving the security of secret authentication data during authentication transactions |
US8453207B1 (en) * | 2012-07-11 | 2013-05-28 | Daon Holdings Limited | Methods and systems for improving the security of secret authentication data during authentication transactions |
WO2014207752A1 (en) * | 2013-06-27 | 2014-12-31 | Hewlett-Packard Development Company, L.P. | Authenticating user by correlating speech and corresponding lip shape |
JP6000929B2 (ja) | 2013-11-07 | 2016-10-05 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置 |
CN104793729A (zh) * | 2014-01-22 | 2015-07-22 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
US9741342B2 (en) * | 2014-11-26 | 2017-08-22 | Panasonic Intellectual Property Corporation Of America | Method and apparatus for recognizing speech by lip reading |
WO2017043314A1 (ja) * | 2015-09-09 | 2017-03-16 | 日本電気株式会社 | ガイダンス取得装置、ガイダンス取得方法及びプログラム |
US9875352B2 (en) | 2015-10-02 | 2018-01-23 | International Business Machines Corporation | Oral authentication management |
WO2018035484A1 (en) * | 2016-08-18 | 2018-02-22 | Apple Inc. | System and method for interactive scene projection |
US10509952B2 (en) * | 2016-08-30 | 2019-12-17 | Irida Labs S.A. | Fast, embedded, hybrid video face recognition system |
US9769166B1 (en) * | 2016-10-19 | 2017-09-19 | International Business Machines Corporation | Wearable sensor based system for person identification |
JP6579387B2 (ja) * | 2016-11-25 | 2019-09-25 | 京セラドキュメントソリューションズ株式会社 | 電子機器 |
CN106778144A (zh) * | 2017-02-26 | 2017-05-31 | 王田 | 带有识别功能的电子设备及方法 |
CN107527019B (zh) * | 2017-07-28 | 2020-12-25 | Oppo广东移动通信有限公司 | 解锁控制方法及相关产品 |
US10635893B2 (en) | 2017-10-31 | 2020-04-28 | Baidu Usa Llc | Identity authentication method, terminal device, and computer-readable storage medium |
KR102060563B1 (ko) * | 2018-12-31 | 2020-02-11 | 호서대학교 산학협력단 | 음성 및 안면 데이터를 이용한 인증 제공 방법 및 장치 |
CN109727220B (zh) * | 2019-02-18 | 2020-02-21 | 淄博职业学院 | 器械状态解锁机构 |
CN109902611B (zh) * | 2019-02-22 | 2021-03-02 | 矩阵元技术(深圳)有限公司 | 目标证件的检测方法、装置和终端设备 |
US11227610B1 (en) | 2019-04-16 | 2022-01-18 | Wells Fargo Bank, P.A. | Computer-based systems for administering patterned passphrases |
CN110717407A (zh) * | 2019-09-19 | 2020-01-21 | 平安科技(深圳)有限公司 | 基于唇语密码的人脸识别方法、装置及存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5761329A (en) | 1995-12-15 | 1998-06-02 | Chen; Tsuhan | Method and apparatus employing audio and video data from an individual for authentication purposes |
US6219639B1 (en) * | 1998-04-28 | 2001-04-17 | International Business Machines Corporation | Method and apparatus for recognizing identity of individuals employing synchronized biometrics |
US7027054B1 (en) * | 2002-08-14 | 2006-04-11 | Avaworks, Incorporated | Do-it-yourself photo realistic talking head creation system and method |
US7999857B2 (en) * | 2003-07-25 | 2011-08-16 | Stresscam Operations and Systems Ltd. | Voice, lip-reading, face and emotion stress analysis, fuzzy logic intelligent camera system |
JP2009259269A (ja) | 2009-07-27 | 2009-11-05 | Toshiba Corp | 顔画像記録システム及び顔画像記録方法 |
BRPI0904540B1 (pt) * | 2009-11-27 | 2021-01-26 | Samsung Eletrônica Da Amazônia Ltda | método para animar rostos/cabeças/personagens virtuais via processamento de voz |
JP2011203992A (ja) * | 2010-03-25 | 2011-10-13 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
-
2010
- 2010-03-25 JP JP2010070495A patent/JP2011203992A/ja not_active Withdrawn
-
2011
- 2011-02-02 US US13/019,524 patent/US8416998B2/en active Active
- 2011-03-18 CN CN2011100691294A patent/CN102201055A/zh active Pending
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015018547A (ja) * | 2013-06-13 | 2015-01-29 | 国立大学法人 鹿児島大学 | 認証処理装置及び認証処理方法 |
JP2015011656A (ja) * | 2013-07-02 | 2015-01-19 | 株式会社リコー | 画像処理システム及びプログラム |
CN103973892B (zh) * | 2014-05-12 | 2016-01-20 | 深圳市威富多媒体有限公司 | 一种基于语音及人脸识别的移动终端开关机的方法及装置 |
CN103973892A (zh) * | 2014-05-12 | 2014-08-06 | 深圳市威富多媒体有限公司 | 一种基于语音及人脸识别的移动终端开关机的方法及装置 |
JP2016170700A (ja) * | 2015-03-13 | 2016-09-23 | 株式会社東芝 | 人物認証方法 |
JP2021182420A (ja) * | 2016-05-19 | 2021-11-25 | アドバンスド ニュー テクノロジーズ カンパニー リミテッド | アイデンティティ認証方法及び装置 |
JP7109634B2 (ja) | 2016-05-19 | 2022-07-29 | アドバンスド ニュー テクノロジーズ カンパニー リミテッド | アイデンティティ認証方法及び装置 |
WO2019092927A1 (ja) * | 2017-11-09 | 2019-05-16 | ソニーモバイルコミュニケーションズ株式会社 | 情報処理装置、プログラム及び情報処理方法 |
JPWO2019092927A1 (ja) * | 2017-11-09 | 2020-11-12 | ソニー株式会社 | 情報処理装置、プログラム及び情報処理方法 |
US11430258B2 (en) | 2017-11-09 | 2022-08-30 | Sony Corporation | Information processing apparatus, program, and information processing method |
JP2020029059A (ja) * | 2018-08-24 | 2020-02-27 | 京セラドキュメントソリューションズ株式会社 | 画像形成システム、画像形成装置、情報処理装置、画像形成方法 |
JP7147369B2 (ja) | 2018-08-24 | 2022-10-05 | 京セラドキュメントソリューションズ株式会社 | 画像形成システム、画像形成装置、情報処理装置、画像形成方法 |
JP2020087094A (ja) * | 2018-11-28 | 2020-06-04 | サントリーホールディングス株式会社 | 自動販売機決済システム、自動販売機、自動販売機決済方法及びプログラム |
JP7239149B2 (ja) | 2018-11-28 | 2023-03-14 | サントリーホールディングス株式会社 | 自動販売機決済システム、自動販売機、自動販売機決済方法及びプログラム |
JP2020113107A (ja) * | 2019-01-15 | 2020-07-27 | グローリー株式会社 | 認証システム、管理装置及び認証方法 |
JP7299708B2 (ja) | 2019-01-15 | 2023-06-28 | グローリー株式会社 | 認証システム、管理装置及び認証方法 |
JP7124994B1 (ja) * | 2021-02-25 | 2022-08-24 | 日本電気株式会社 | 方法、プログラム、及び情報処理装置 |
WO2022180988A1 (ja) * | 2021-02-25 | 2022-09-01 | 日本電気株式会社 | 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体 |
JP2022169611A (ja) * | 2021-02-25 | 2022-11-09 | 日本電気株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
JP7211548B2 (ja) | 2021-02-25 | 2023-01-24 | 日本電気株式会社 | プログラム、方法、及び情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
CN102201055A (zh) | 2011-09-28 |
US20110235870A1 (en) | 2011-09-29 |
US8416998B2 (en) | 2013-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011203992A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US11663307B2 (en) | RtCaptcha: a real-time captcha based liveness detection system | |
US20210327431A1 (en) | 'liveness' detection system | |
US10275672B2 (en) | Method and apparatus for authenticating liveness face, and computer program product thereof | |
JP4365189B2 (ja) | 認証装置 | |
JP2014153663A (ja) | 音声認識装置、および音声認識方法、並びにプログラム | |
KR20010039771A (ko) | 시청각적 발성자 인식 및 발성 검증 방법 및 장치 | |
JP7148737B2 (ja) | 生体(liveness)検出検証方法、生体検出検証システム、記録媒体、及び生体検出検証システムの訓練方法 | |
CN111199032A (zh) | 身份认证的方法以及装置 | |
US11848029B2 (en) | Method and device for detecting audio signal, and storage medium | |
WO2020051971A1 (zh) | 身份识别方法、装置、电子设备及计算机可读存储介质 | |
JP2017120609A (ja) | 感情推定装置、感情推定方法及びプログラム | |
JP2008004050A (ja) | 個人情報認証システム、個人情報認証方法、プログラム、及び記録媒体 | |
US11710353B2 (en) | Spoof detection based on challenge response analysis | |
US11715330B2 (en) | Liveness detection in an interactive video session | |
Lucey et al. | Continuous pose-invariant lipreading | |
US11107476B2 (en) | Speaker estimation method and speaker estimation device | |
WO2019181218A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
KR20140093459A (ko) | 자동 통역 방법 | |
CN109102810B (zh) | 声纹识别方法和装置 | |
Kratt et al. | Large vocabulary audio-visual speech recognition using the Janus speech recognition toolkit | |
Chetty et al. | Biometric person authentication with liveness detection based on audio-visual fusion | |
Lucey et al. | A visual front-end for a continuous pose-invariant lipreading system | |
Stewart et al. | LIVENESS'DETECTION SYSTEM | |
Aleksic et al. | Lip feature extraction and feature evaluation in the context of speech and speaker recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130604 |