JP2020154496A - 認証システム及び認証方法 - Google Patents

認証システム及び認証方法 Download PDF

Info

Publication number
JP2020154496A
JP2020154496A JP2019050735A JP2019050735A JP2020154496A JP 2020154496 A JP2020154496 A JP 2020154496A JP 2019050735 A JP2019050735 A JP 2019050735A JP 2019050735 A JP2019050735 A JP 2019050735A JP 2020154496 A JP2020154496 A JP 2020154496A
Authority
JP
Japan
Prior art keywords
authentication
user
information
data
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019050735A
Other languages
English (en)
Other versions
JP7229824B2 (ja
Inventor
荘太郎 盛脇
Sotaro MORIWAKI
荘太郎 盛脇
繁信 西田
Shigenobu Nishida
繁信 西田
藤田 裕一
Yuichi Fujita
裕一 藤田
亜優美 國分
Ayumi Kokubu
亜優美 國分
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Glory Ltd
Original Assignee
Glory Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Glory Ltd filed Critical Glory Ltd
Priority to JP2019050735A priority Critical patent/JP7229824B2/ja
Priority to PCT/JP2020/010452 priority patent/WO2020189432A1/ja
Priority to EP20773793.3A priority patent/EP3920136A4/en
Publication of JP2020154496A publication Critical patent/JP2020154496A/ja
Priority to US17/475,342 priority patent/US20220004612A1/en
Application granted granted Critical
Publication of JP7229824B2 publication Critical patent/JP7229824B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45Structures or tools for the administration of authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45Structures or tools for the administration of authentication
    • G06F21/46Structures or tools for the administration of authentication by designing passwords or checking the strength of passwords
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/604Tools and structures for managing or administering access control systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70Multimodal biometrics, e.g. combining information from different biometric modalities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/083Network architectures or network communication protocols for network security for authentication of entities using passwords
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2115Third party
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • G10L17/22Interactive procedures; Man-machine interfaces
    • G10L17/24Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase

Abstract

【課題】複数種類の認証を用いる認証システムにおける利便性を向上すること。【解決手段】端末装置10は、利用者の画像から顔を検知すると(S1)、パスワードを表示し(S2)、パスワードを読み上げる発話音声を検知すると(S3)、動画の保存を開始する(S4)。端末装置10は、音声から発話内容を識別し(S5)、発話内容の各音節のタイミングで顔画像を動画データから切り出し(S6)、顔画像、発話内容、音声を認証用データとしてサーバ装置20に送信する。サーバ装置20は、端末装置10から受信した認証用データを用い、顔認証、声紋認証、顔声一致度認証、パスワード照合などを含む多要素認証を行う。【選択図】図1

Description

本発明は、複数種類の認証を用いる認証システム及び認証方法に関する。
従来、パスワードや生体情報などを予め登録し、利用者から受け付けたパスワードや生体情報と登録した情報とが一致するか否かを判定することで、利用者の認証が行われてきた。
また、さらに高いセキュリティ性や認証精度を確保するため、使い捨てのパスワードを用いるワンタイムパスワード認証や、複数種類の認証を用いる多要素認証も用いられている。例えば、特許文献1は、生体情報、所持情報、知識情報、及び知識情報の2以上の情報を用いる多要素認証を開示している。また、特許文献2は、顔や音声などの複数の生体情報を用いる多要素認証を開示している。
特開2017−111608号公報 特表2017−535986号公報
しかしながら、従来の技術では、多要素認証を用いる場合に利用者の負担が大きくなり、利便性が低下するという問題点があった。例えば、パスワードと顔画像の双方を用いる場合には、パスワードの入力と顔画像の撮影をそれぞれ行うことになる。このように、認証に使用する要素ごとに利用者の操作が必要となると、要素の増加に伴って利用者の操作負担が大きくなる。
また、認証に使用する要素ごとに認証用データを取得すると、要素の増加に伴ってデータ量が大きくなる。かかるデータ量の肥大化は、端末装置が認証用データを取得してサーバ装置に送信し、サーバ装置で認証を実行する場合に深刻な問題となる。
これらのことから、複数種類の認証を用いる多要素認証において、認証用データの取得と取り扱いを効率化し、利用者の負担を軽減し、利便性を向上することが重要な課題となっていた。
本発明は、上記従来技術の課題を解決するためになされたものであって、複数種類の認証を用いる認証システムにおける利便性を向上することを目的とする。
上述した課題を解決し、目的を達成するため、本発明は、複数種類の認証を用いる認証システムであって、画像情報及び/又は音情報を利用者情報として取得する利用者情報取得手段と、前記利用者情報から前記複数種類の認証に対応する認証用情報を抽出する認証用情報抽出手段と、前記認証用情報を用いて利用者の認証を行う認証手段とを備えたことを特徴とする。
また、本発明は、上記発明において、前記認証用情報抽出手段は、前記利用者の顔画像、前記利用者の音声、前記利用者が発話したパスワード、前記利用者の顔と声の一致度のうち、すくなくともいずれかの要素を含んだ情報を前記認証用情報として抽出することを特徴とする。
また、本発明は、上記発明において、前記利用者情報に基づいて、前記認証用情報の取得に係る処理を制御する処理制御手段をさらに備えたことを特徴とする。
また、本発明は、上記発明において、前記処理制御手段は、前記利用者情報として顔画像が得られた場合に、パスワードを表示制御することを特徴とする。
また、本発明は、上記発明において、前記処理制御手段は、前記パスワードの表示後に前記利用者情報として音声が得られた場合に、前記利用者の動画像の取得を開始することを特徴とする。
また、本発明は、上記発明において、前記認証用情報抽出手段は、所定の種類の利用者情報からの認証用情報の抽出に、他の種類の利用者情報を用いることを特徴とする。
また、本発明は、上記発明において、前記認証用情報抽出手段は、前記利用者情報として取得した音声から発話内容を識別し、発話内容とタイミングに応じて前記利用者情報として取得した画像から顔画像を抽出することを特徴とする。
また、本発明は、上記発明において、前記利用者情報取得手段を端末装置に設け、前記端末装置と通信可能なサーバ装置に前記認証手段を設けたことを特徴とする。
また、本発明は、複数種類の認証を用いる認証方法であって、利用者の画像及び/又は音声を利用者情報として取得する利用者情報取得ステップと、前記利用者情報から前記複数種類の認証に対応する複数種類の認証用情報を抽出する認証用情報抽出ステップと、前記複数種類の認証用情報を用いて利用者の認証を行う認証ステップとを含むことを特徴とする。
本発明によれば、複数種類の認証を用いる認証システムにおける利便性を向上することができる。
図1は、実施例に係る認証システムの概念を説明するための説明図である。 図2は、認証システムのシステム構成についての説明図である。 図3は、端末装置の外観構成を示す外観構成図である。 図4は、端末装置の機能構成を示す機能ブロック図である。 図5は、サーバ装置の機能構成を示す機能ブロック図である。 図6は、端末装置の処理の具体例についての説明図である。 図7は、端末装置の処理手順を示すフローチャートである。 図8は、認証時のサーバ装置の処理手順を示すフローチャートである。 図9は、登録時のサーバ装置の処理手順を示すフローチャートである。 図10は、動画データを送受信する構成における端末装置の処理手順を示すフローチャートである。 図11は、動画データを送受信する構成における認証時のサーバ装置の処理手順を示すフローチャートである。 図12は、動画データを送受信する構成における登録時のサーバ装置の処理手順を示すフローチャートである。
以下に、添付図面を参照して、本発明に係る認証システム及び認証方法の好適な実施例を詳細に説明する。
<実施例に係る認証システムの概念>
図1は、実施例に係る認証システムの概念を説明するための説明図である。図1に示した端末装置10は、利用者の画像と音声を利用者データとして取得し、利用者データから複数種類の認証用データを抽出し、サーバ装置20に送信する。サーバ装置20は、端末装置10から受信した複数種類の認証用データを用いて多要素認証を行う。
ここで、端末装置10は、利用者データを認証用データの抽出元として用いるのみならず、認証用データを取得するための処理の制御にも用いる。また、所定の種類の利用者データから認証用データを抽出する際に、他の種類の利用者データを利用する。
具体的には、端末装置10は、利用者の画像を取得し、顔の検知を行う(S1)。そして、顔を検知したならば、パスワードを表示して(S2)、読み上げを促す。利用者がパスワードを読み上げると、その発話音声を検知し(S3)、動画の保存を開始する(S4)。
端末装置10は、音声から発話の内容を識別する(S5)。そして、発話内容に含まれる複数の音節のそれぞれについて、その音節を発話しているタイミングの顔画像を動画データから切り出す(S6)。
端末装置10は、各音節の発話時の顔画像、発話内容、音声を認証用データとしてサーバ装置20に送信する。サーバ装置20は、端末装置10から受信した認証用データを用い、顔認証、声紋認証、顔声一致度認証、パスワード照合などを含む多要素認証を行うことができる。
なお、顔認証には、認証用データに含まれる発話時の顔画像と予め登録された顔画像とを比較することで行う。同様に、声紋認証は、認証用データに含まれる音声と予め登録された音声とを比較することで行う。顔声一致度認証は、発話時の顔画像の口の形と識別された音節とが適合しているか否かを判定することで行う。パスワード照合は、認証用データに含まれる発話内容と表示したパスワードとが一致するか否かを判定することで行う。
このように、端末装置10は、顔の検知をパスワードの表示制御に使用し、音声の検知を動画保存の制御に使用する。このため、利用者は、端末装置10を見ながら表示されたパスワードを発話するのみで、顔画像の入力、音声の入力、パスワードの入力を行うことができる。
また、音声から識別した発話内容を利用し、動画データから発話時の顔画像を切り出すことで、サーバ装置20に送信する認証用データのデータサイズを削減することが可能となる。
<システムと装置の構成>
図2は、認証システムのシステム構成についての説明図である。図2に示すように、サーバ装置20は、所定のネットワークを介して複数の端末装置10と接続されている。所定のネットワークは、インターネットなどの公開されたネットワークであってもよいし、社内ネットワークや金融系ネットワークなどの非公開のネットワークであってもよい。
サーバ装置20は、利用者の顔画像や音声などを登録データとして保持している。そして、いずれかの端末装置10から認証用データを受信したならば、サーバ装置20は、必要に応じて登録データと認証用データとを比較して認証を実行する。
図3は、端末装置10の外観構成を示す外観構成図である。端末装置10は、例えばスマートフォンなどであり、表示操作部11と、カメラ12と、マイク13とを有する。表示操作部11は、タッチパネルディスプレイなどである。カメラ12は、表示操作部11による表示を視認中の利用者を撮像可能に配置する。マイク13は、利用者の音声を取得できるよう適宜配置すればよい。
また、表示操作部11は、図3に示したように、カメラ12が撮像した利用者の顔画像11aと、利用者が読み上げるべきパスワードを示すメッセージ表示11bとを表示することができる。
図4は、端末装置10の機能構成を示す機能ブロック図である。図4に示すように、端末装置10は、既に説明した表示操作部11、カメラ12、マイク13に加え、通信部14、記憶部15、制御部16を有する。
通信部14は、所定のネットワークを介してサーバ装置20などとの通信を行う通信インタフェースである。記憶部15は、不揮発性メモリ等の記憶デバイスであり、各種プログラムや利用者データ15aなどを記憶する。利用者データ15aは、カメラ12により撮像した画像データや動画データ、マイク13により集音した音声データなどである。また、利用者データ15aを加工したデータや、認証用データなども記憶部15に格納することができる。
制御部16は、CPU(Central Processing Unit)などであり、記憶部15から所定のプログラムを読み出して実行することにより、利用者データ取得部16a、取得処理制御部16b、認証用データ抽出部16c及び認証用データ送信部16dなどの機能を実現する。
利用者データ取得部16aは、利用者の画像と音声を利用者データとして取得する処理部である。具体的には、利用者データ取得部16aは、カメラ12が撮像した画像とマイク13が取得した音声を利用者データ15aとして取得し、記憶部15に格納する。また、利用者データ取得部16aは、カメラ12が撮像した画像をリアルタイムで表示操作部11に表示制御することができる。
取得処理制御部16bは、認証用データの取得に係る処理を制御する処理部である。具体的には、取得処理制御部16bは、利用者データとして取得した画像から顔を検知した場合に、表示操作部11にパスワードを表示制御する。パスワードとしては、使い捨てのワンタイムパスワードを生成して用いることが好適である。
また、取得処理制御部16bは、パスワードの表示後に利用者データとして音声が得られた場合に、動画の保存を開始する。動画の保存は、カメラ12が連続して撮像した画像を関連付けて動画データとして記憶部15に格納することで行えばよい。その後、音声の終了を検知したならば、取得処理制御部16bは、動画の保存を終了する。
認証用データ抽出部16cは、利用者データから複数種類の認証に対応する複数種類の認証用データを抽出する処理を行う。具体的には、認証用データ抽出部16cは、利用者の顔画像、発話内容、音声を認証用データとして抽出する。これらの認証用データは、顔認証、声紋認証、顔声一致度認証、パスワード照合などの認証に用いられる。
また、認証用データ抽出部16cは、所定の種類の利用者データから認証用データを抽出する際に、他の種類の利用者データを利用する。具体的には、認証用データ抽出部16cは、利用者データとして取得した音声から発話の内容を識別する。この発話内容は、利用者が読み上げたパスワードであるため、発話内容はパスワード照合に用いる認証用データである。
また、認証用データ抽出部16cは、発話内容を顔画像の切り出しに利用する。すなわち、発話内容に含まれる複数の音節のそれぞれについて、その音節を発話しているタイミングの顔画像を動画データから切り出す。
認証用データ送信部16dは、認証用データ抽出部16cが抽出した認証用データをサーバ装置20に送信する処理部である。既に登録済みの利用者が、認証のために認証用データを送信する場合には、認証用データ送信部16dは、認証要求フラグを認証用データに付してサーバ装置20への送信を行う。また、新規に登録を行う場合には、認証用データ送信部16dは、登録要求フラグを認証用データに付してサーバ装置20への送信を行う。
図5は、サーバ装置20の機能構成を示す機能ブロック図である。図5に示すように、サーバ装置20は、表示部21、入力部22、通信部23、記憶部24及び制御部25を有する。
表示部21は、液晶ディスプレイなどの表示デバイスである。入力部22は、キーボードやマウスなどの入力デバイスである。通信部23は、端末装置10との通信を行う通信インタフェースである。記憶部24は、ハードディスク装置等の記憶デバイスであり、利用者の顔画像や音声などを登録データ24aとして記憶する。
制御部25は、サーバ装置20を全体制御する制御部であり、登録処理部25a、認証処理部25b及び要素別データ処理部25cを有する。実際には、これらの機能部に対応するプログラムを図示しないROMや不揮発性メモリに記憶しておき、これらのプログラムをCPUにロードして実行することにより、登録処理部25a、認証処理部25b及び要素別データ処理部25cにそれぞれ対応するプロセスを実行させることになる。
登録処理部25aは、利用者の顔画像や音声などを登録データ24aとして記憶部24に格納する処理を行う。具体的には、登録処理部25aは、登録要求フラグが付された認証用データを受信したならば、認証用データを要素別データ処理部25cに処理させ、認証用データの正当性が確認されたことを条件に、登録を行う。ここで、認証用データの正当性は、要素別データ処理部25cによるパスワード照合や顔声一致度認証により確認することができる。また、登録の対象となるのは、認証用データに含まれる顔画像や音声であるが、顔画像や音声はそのまま登録してもよいし、顔の特徴や声紋の特徴を示すデータであってもよい。
認証処理部25bは、端末装置10からの要求に基づいて、利用者の認証を行う処理部である。具体的には、認証処理部25bは、認証要求フラグが付された認証用データを受信したならば、認証用データを要素別データ処理部25cに処理させ、各要素の処理結果を総合することで利用者の多要素認証を行う。
要素別データ処理部25cは、認証用データに含まれる各要素について個別にデータ処理を行う処理部であり、顔認証エンジン、声紋認証エンジン、顔声一致度認証エンジン、パスワード処理エンジンを含む。
顔認証エンジンは、認証用データに含まれる顔画像と登録データ24aの顔画像とを比較し、一致度を判定する処理を行う。声紋認証エンジンは、認証用データに含まれる音声と登録データ24aの音声とを比較し、一致度を判定する処理を行う。顔声一致度認証エンジンは、発話時の顔画像の口の形と識別された音節とがどの程度適合しているかを判定する処理を行う。パスワード処理エンジンは、認証用データに含まれる発話内容と端末装置10が表示したパスワードとが一致するか否かを判定する処理を行う。ここで、端末装置10が表示したパスワードは、予め登録されるものであってもよいし、使い捨てのワンタイムパスワードであってもよい。予め登録されるパスワードは、登録データ24aに格納しておくことが可能である。また、使い捨てのワンタイムパスワードは、例えば、パスワード処理エンジンが発行して端末装置10に通知すればよい。
<処理の説明>
図6は、端末装置10の処理の具体例についての説明図である。図6では、ワンタイムパスワードを発行し、顔の検知をトリガーにパスワードの表示を行った後の処理を示している。また、図6の例では、パスワードは「かすてら」である。
端末装置10は、ワンタイムパスワードの表示とともに発話の監視、録画の準備、顔の検知を行う。そして、発話の開始を検知したならば、端末装置10は、発話区間の始端として動画の保存を開始するとともに、音声認識による発話内容の識別を開始する。その後、発話の終了を検知したならば、端末装置10は、発話区間の終端として動画の保存を終了し、音声認識による発話内容の識別を終了する。
図6では、音声認識の結果、「か」、「す」、「て」、「ら」の4つの音節が認識される。端末装置10は、4つの音節のそれぞれについて、その音節を発話しているタイミングの音声と顔画像を抜き出して対応づけ、認証用データとする。
図7は、端末装置10の処理手順を示すフローチャートである。まず、端末装置10の取得処理制御部16bは、利用者データとして取得した画像から顔を検知し(ステップS101)、表示操作部11にパスワードを表示制御する(ステップS102)。
その後、取得処理制御部16bは、利用者データとして取得した音声から発話の開始を検知し(ステップS103)、動画の保存を開始する(ステップS104)。また、認証用データ抽出部16cは、音声の認識を行う(ステップS105)。
取得処理制御部16bは、利用者データとして取得した音声から発話の終了を検知しなければ(ステップS106;No)、ステップS105に移行する。発話の終了を検知したならば(ステップS106;Yes)、認証用データ抽出部16cは、音声認識の結果から発話内容を特定し(ステップS107)、音節ごとの発話音声を切り出し(ステップS108)、音節ごとの発話顔画像を切り出す(ステップS109)。そして、認証用データ送信部16dが発話内容、発話音声、発話顔画像を認証用データとしてサーバ装置20に送信し(ステップS110)、処理を終了する。
図8は、認証時のサーバ装置20の処理手順を示すフローチャートである。まず、サーバ装置20の認証処理部25bは、発話内容、発話音声、発話顔画像を認証用データとして端末装置10から受信する(ステップS201)。
要素別データ処理部25cは、パスワード処理エンジンにより発話内容とパスワードとを照合する(ステップS202)。また、要素別データ処理部25cは、顔声一致度認証エンジンにより顔声一致度の認証を行い(ステップS203)、顔認証エンジンにより顔画像の認証を行い(ステップS204)、声紋認証エンジンにより声紋の認証を行う(ステップS205)。
認証処理部25bは、各要素の処理結果を総合して判定し(ステップS206)。判定結果を出力して(ステップS207)、処理を終了する。
図9は、登録時のサーバ装置20の処理手順を示すフローチャートである。まず、サーバ装置20の登録処理部25aは、発話内容、発話音声、発話顔画像を認証用データとして端末装置10から受信する(ステップS301)。
要素別データ処理部25cは、パスワード処理エンジンにより発話内容とパスワードとを照合する(ステップS302)。発話内容とパスワードとが一致して照合が成功したならば(ステップS303;Yes)、要素別データ処理部25cは、顔声一致度認証エンジンにより顔声一致度の認証を行う(ステップS304)。
そして、顔声一致度の認証に成功したならば(ステップS305;Yes)、登録処理部25aは、認証用データに含まれる顔画像と音声を登録して(ステップS306)、処理を終了する。また、照合に失敗した場合(ステップS303;No)や認証に失敗した場合には(ステップS305;No)、登録不可とし(ステップS307)、必要に応じてその旨を報知して、処理を終了する。
<変形例>
これまでの説明では、端末装置10が動画データから発話内容、顔画像、音声を抽出し、認証用データとしてサーバ装置20に送信する構成を例示したが、端末装置10が動画データをサーバ装置20に送信し、サーバ装置が動画データから発話内容、顔画像、音声を抽出する構成としてもよい。
図10は、動画データを送受信する構成における端末装置10の処理手順を示すフローチャートである。端末装置10の取得処理制御部16bは、利用者データとして取得した画像から顔を検知し(ステップS401)、表示操作部11にパスワードを表示制御する(ステップS402)。
その後、取得処理制御部16bは、利用者データとして取得した音声から発話の開始を検知し(ステップS403)、音声を対応づけた動画(音声付動画)の保存を開始する(ステップS404)。取得処理制御部16bは、利用者データとして取得した音声から発話の終了を検知しなければ(ステップS405;No)、ステップS405に移行して音声付動画の保存を継続する。そして、発話の終了を検知したならば(ステップS405;Yes)、認証用データ送信部16dが音声付動画データを認証用データとしてサーバ装置20に送信し(ステップS406)、処理を終了する。
図11は、動画データを送受信する構成における認証時のサーバ装置20の処理手順を示すフローチャートである。まず、サーバ装置20の認証処理部25bは、音声付動画データを認証用データとして端末装置10から受信する(ステップS501)。
認証処理部25bは、音声付動画データの音声を認識し(ステップS502)、発話内容を特定する(ステップS503)。そして、音節ごとの発話音声を切り出し(ステップS504)、音節ごとの発話顔画像を切り出す(ステップS505)。
要素別データ処理部25cは、パスワード処理エンジンにより発話内容とパスワードとを照合する(ステップS506)。また、要素別データ処理部25cは、顔声一致度認証エンジンにより顔声一致度の認証を行い(ステップS507)、顔認証エンジンにより顔画像の認証を行い(ステップS508)、声紋認証エンジンにより声紋の認証を行う(ステップS509)。
認証処理部25bは、各要素の処理結果を総合して判定し(ステップS510)。判定結果を出力して(ステップS511)、処理を終了する。
図12は、動画データを送受信する構成における登録時のサーバ装置20の処理手順を示すフローチャートである。まず、サーバ装置20の登録処理部25aは、音声付動画データを認証用データとして端末装置10から受信する(ステップS601)。
認証処理部25bは、音声付動画データの音声を認識し(ステップS602)、発話内容を特定する(ステップS603)。そして、音節ごとの発話音声を切り出し(ステップS604)、音節ごとの発話顔画像を切り出す(ステップS605)。
要素別データ処理部25cは、パスワード処理エンジンにより発話内容とパスワードとを照合する(ステップS606)。発話内容とパスワードとが一致して照合が成功したならば(ステップS607;Yes)、要素別データ処理部25cは、顔声一致度認証エンジンにより顔声一致度の認証を行う(ステップS608)。
そして、顔声一致度の認証に成功したならば(ステップS609;Yes)、登録処理部25aは、認証用データに含まれる顔画像と音声を登録して(ステップS610)、処理を終了する。また、照合に失敗した場合(ステップS607;No)や認証に失敗した場合には(ステップS609;No)、登録不可とし(ステップS611)、必要に応じてその旨を報知して、処理を終了する。
上述してきたように、本実施例によれば、認証システムは、利用者の画像と音声を利用者データとして取得し、利用者データから複数種類の認証に対応する認証用データを抽出し、認証用データを用いて利用者の認証を行う。かかる構成と動作によって、複数種類の認証を用いる多要素認証において、認証用データの取得と取り扱いを効率化し、利用者の負担を軽減し、利便性を向上することができる。
ここで、認証用データとしては、利用者の顔画像、利用者の音声、利用者が発話したパスワード、利用者の顔と声の一致度などの要素を含んだ情報を用いることができる。
また、本実施例によれば、利用者データに基づいて、認証用データの取得に係る処理を制御することができる。具体的には、利用者データとして顔画像が得られた場合にパスワードを表示制御し、パスワードの表示後に利用者データとして音声が得られた場合に利用者の動画像の取得を開始することができる。
また、本実施例によれば、所定の種類の利用者データからの認証用データの抽出に、他の種類の利用者データを用いることができる。具体的には、利用者データとして取得した音声から発話内容を識別し、発話内容とタイミングに応じて利用者データとして取得した画像から顔画像を抽出することができる。
また、本実施例によれば、端末装置で利用者データを取得し、端末装置と通信可能なサーバ装置で認証を行うことができる。
なお、上述の実施例で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
例えば、パスワード照合や顔声一致度の認証を端末装置10で実行し、パスワード照合と顔声一致度の認証の成功を条件に認証用データをサーバ装置20に送信する構成としてもよい。また、この場合には、パスワード照合や顔声一致度の認証に使用するデータはサーバ装置20に送信しないことも可能である。
また、本実施例では、顔認証エンジンや声紋認証エンジンなどの要素別データ処理部をサーバ装置20の内部に設ける構成を例示したが、要素別データ処理部はサーバ装置20の外部に設ける構成であってもよい。例えば、サーバ装置20の制御部25と別サーバとを通信可能に接続し、API(アプリケーションプログラミングインターフェース)を介して認証用情報や認証結果の送受信をする構造とすることができる。このような別サーバは、認証ごとに設けることも可能であり、複数の認証のうち一部の認証を別サーバにより行うこともできる。すなわち、顔認証はサーバ装置20の内部で処理し、パスワード照合については別サーバで行うといった構成が可能である。
また、本実施例では、説明を簡明にするため、サーバ装置20が物理的な記憶装置として記憶部24を備える場合を例に説明を行ったが、記憶部24はクラウド環境で構築した仮想記憶装置であってもよい。同様に、サーバ装置20の各種機能もクラウド環境で仮想的に構築可能である。
また、上述の実施例で示した利用者データや認証用データはあくまで一例であり、任意のデータを適宜利用することができる。例えば、端末装置10でマスクの着用や風邪声の識別を行ってサーバ装置20に通知し、マスクの有無や風邪声を考慮した認証を行うこともできる。
本発明の認証システム及び認証方法は、複数種類の認証を用いる認証システムにおける利便性の向上に有用である。
10 端末装置
11 表示操作部
12 カメラ
13 マイク
14、23 通信部
15、24 記憶部
15a 利用者データ
16、25 制御部
16a 利用者データ取得部
16b 取得処理制御部
16c 認証用データ抽出部
16d 認証用データ送信部
20 サーバ装置
21 表示部
22 入力部
24a 登録データ
25a 登録処理部
25b 認証処理部
25c 要素別データ処理部

Claims (9)

  1. 複数種類の認証を用いる認証システムであって、
    画像情報及び/又は音情報を利用者情報として取得する利用者情報取得手段と、
    前記利用者情報から前記複数種類の認証に対応する認証用情報を抽出する認証用情報抽出手段と、
    前記認証用情報を用いて利用者の認証を行う認証手段と
    を備えたことを特徴とする認証システム。
  2. 前記認証用情報抽出手段は、前記利用者の顔画像、前記利用者の音声、前記利用者が発話したパスワード、前記利用者の顔と声の一致度のうち、すくなくともいずれかの要素を含んだ情報を前記認証用情報として抽出することを特徴とする請求項1に記載の認証システム。
  3. 前記利用者情報に基づいて、前記認証用情報の取得に係る処理を制御する処理制御手段をさらに備えたことを特徴とする請求項1又は2に記載の認証システム。
  4. 前記処理制御手段は、前記利用者情報として顔画像が得られた場合に、パスワードを表示制御することを特徴とする請求項3に記載の認証システム。
  5. 前記処理制御手段は、前記パスワードの表示後に前記利用者情報として音声が得られた場合に、前記利用者の動画像の取得を開始することを特徴とする請求項4に記載の認証システム。
  6. 前記認証用情報抽出手段は、所定の種類の利用者情報からの認証用情報の抽出に、他の種類の利用者情報を用いることを特徴とする請求項1〜5のいずれか一つに記載の認証システム。
  7. 前記認証用情報抽出手段は、前記利用者情報として取得した音声から発話内容を識別し、発話内容とタイミングに応じて前記利用者情報として取得した画像から顔画像を抽出することを特徴とする請求項6に記載の認証システム。
  8. 前記利用者情報取得手段を端末装置に設け、前記端末装置と通信可能なサーバ装置に前記認証手段を設けたことを特徴とする請求項1〜7のいずれか一つに記載の認証システム。
  9. 複数種類の認証を用いる認証方法であって、
    画像情報及び/又は音情報を利用者情報として取得する利用者情報取得ステップと、
    前記利用者情報から前記複数種類の認証に対応する認証用情報を抽出する認証用情報抽出ステップと、
    前記認証用情報を用いて利用者の認証を行う認証ステップと
    を含むことを特徴とする認証方法。
JP2019050735A 2019-03-19 2019-03-19 認証システム及び認証方法 Active JP7229824B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019050735A JP7229824B2 (ja) 2019-03-19 2019-03-19 認証システム及び認証方法
PCT/JP2020/010452 WO2020189432A1 (ja) 2019-03-19 2020-03-11 認証システム及び認証方法
EP20773793.3A EP3920136A4 (en) 2019-03-19 2020-03-11 AUTHENTICATION SYSTEM AND AUTHENTICATION METHOD
US17/475,342 US20220004612A1 (en) 2019-03-19 2021-09-15 Authentication system and authentication method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019050735A JP7229824B2 (ja) 2019-03-19 2019-03-19 認証システム及び認証方法

Publications (2)

Publication Number Publication Date
JP2020154496A true JP2020154496A (ja) 2020-09-24
JP7229824B2 JP7229824B2 (ja) 2023-02-28

Family

ID=72519095

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019050735A Active JP7229824B2 (ja) 2019-03-19 2019-03-19 認証システム及び認証方法

Country Status (4)

Country Link
US (1) US20220004612A1 (ja)
EP (1) EP3920136A4 (ja)
JP (1) JP7229824B2 (ja)
WO (1) WO2020189432A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329750A (zh) * 2021-01-05 2021-02-05 北京远鉴信息技术有限公司 基于数字序列的身份识别方法、装置、电子设备及介质
KR102283167B1 (ko) * 2021-05-25 2021-07-29 (주)한컴인텔리전스 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치 및 그 동작 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11749043B2 (en) * 2020-05-13 2023-09-05 214 Technologies Inc. Passive multi-factor access control with biometric and wireless capability

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030154A (ja) * 2001-04-17 2003-01-31 Matsushita Electric Ind Co Ltd 個人認証方法および装置
JP2003036442A (ja) * 2001-07-25 2003-02-07 Optex Co Ltd 個人認証装置
JP2008004050A (ja) * 2006-06-26 2008-01-10 Ricoh Co Ltd 個人情報認証システム、個人情報認証方法、プログラム、及び記録媒体
US20160308859A1 (en) * 2015-04-14 2016-10-20 Blub0X Technology Holdings, Inc. Multi-factor and multi-mode biometric physical access control device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8897500B2 (en) * 2011-05-05 2014-11-25 At&T Intellectual Property I, L.P. System and method for dynamic facial features for speaker recognition
US9323912B2 (en) * 2012-02-28 2016-04-26 Verizon Patent And Licensing Inc. Method and system for multi-factor biometric authentication
US20160148012A1 (en) * 2014-11-19 2016-05-26 Speechpro, Inc. System, method and apparatus for voice biometric and interactive authentication
US10275672B2 (en) * 2015-04-29 2019-04-30 Beijing Kuangshi Technology Co., Ltd. Method and apparatus for authenticating liveness face, and computer program product thereof
JP6706910B2 (ja) 2015-12-16 2020-06-10 シャープ株式会社 オンライン会議システム、会議用端末、会議サーバ、オンライン会議方法、及びオンライン会議プログラム
US11263633B2 (en) * 2015-12-28 2022-03-01 Jpmorgan Chase Bank, N.A. Systems and methods for biometric payments
US10769635B2 (en) * 2016-08-05 2020-09-08 Nok Nok Labs, Inc. Authentication techniques including speech and/or lip movement analysis

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030154A (ja) * 2001-04-17 2003-01-31 Matsushita Electric Ind Co Ltd 個人認証方法および装置
JP2003036442A (ja) * 2001-07-25 2003-02-07 Optex Co Ltd 個人認証装置
JP2008004050A (ja) * 2006-06-26 2008-01-10 Ricoh Co Ltd 個人情報認証システム、個人情報認証方法、プログラム、及び記録媒体
US20160308859A1 (en) * 2015-04-14 2016-10-20 Blub0X Technology Holdings, Inc. Multi-factor and multi-mode biometric physical access control device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329750A (zh) * 2021-01-05 2021-02-05 北京远鉴信息技术有限公司 基于数字序列的身份识别方法、装置、电子设备及介质
CN112329750B (zh) * 2021-01-05 2021-04-20 北京远鉴信息技术有限公司 基于数字序列的身份识别方法、装置、电子设备及介质
KR102283167B1 (ko) * 2021-05-25 2021-07-29 (주)한컴인텔리전스 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치 및 그 동작 방법
WO2022250213A1 (ko) * 2021-05-25 2022-12-01 (주)한컴인텔리전스 통화 연결 시 음성 기반의 발신자 인증을 수행하는 모바일 단말 장치 및 그 동작 방법

Also Published As

Publication number Publication date
EP3920136A4 (en) 2022-10-26
JP7229824B2 (ja) 2023-02-28
WO2020189432A1 (ja) 2020-09-24
EP3920136A1 (en) 2021-12-08
US20220004612A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
KR102371997B1 (ko) 정보 처리 단말, 방법 및 정보 처리 단말을 포함하는 시스템
US11593465B2 (en) Authentication device, authentication system, and authentication method
US10650824B1 (en) Computer systems and methods for securing access to content provided by virtual assistants
US10223512B2 (en) Voice-based liveness verification
US10268910B1 (en) Authentication based on heartbeat detection and facial recognition in video data
DK202300008Y3 (da) Brugerautentificering baseret på RFID-aktiveret identitetsdokument og håndbevægelsesudfordrings-svarprotokol
WO2020189432A1 (ja) 認証システム及び認証方法
CN110178179B (zh) 用于向电子设备用户认证的语音签名
EP2863608B1 (en) Methods and systems for improving the accuracy performance of authentication systems
US9716593B2 (en) Leveraging multiple biometrics for enabling user access to security metadata
US10606992B2 (en) User authentication system and user authentication application program
KR102317598B1 (ko) 서버, 서버의 제어 방법 및 단말 장치
US10936705B2 (en) Authentication method, electronic device, and computer-readable program medium
KR102403471B1 (ko) 동형 암호화된 음성을 이용한 개인 식별 방법 및 시스템
JP2022171928A (ja) 端末装置、認証サーバ、端末装置の制御方法、認証方法及びプログラム
KR20200006991A (ko) 생체 서명을 사용하여 사용자를 인증하는 방법, 시스템 및 매체
JP2008158627A (ja) 個人認証装置および個人認証方法
JP2015169977A (ja) 本人認証装置、本人認証方法、本人認証プログラム、および自動取引システム
KR20180049422A (ko) 화자 인증 시스템 및 그 방법
JP2006146665A (ja) 画像処理システム、および、画像処理方法
JP2000306090A (ja) 個人認証装置、方法及び記録媒体
JP2020135666A (ja) 認証装置、認証用端末、認証方法、プログラム及び記録媒体
JP2014164489A (ja) 認証装置および認証方法
WO2023120221A1 (ja) 認証装置、認証システム、認証方法及び記録媒体
JP2008117338A (ja) 音声通信を使用した個人認証方法および個人認証システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230215

R150 Certificate of patent or registration of utility model

Ref document number: 7229824

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150