JP2019062281A - 音声情報による入力を受け付ける情報処理端末、方法、その情報処理端末を含むシステム - Google Patents

音声情報による入力を受け付ける情報処理端末、方法、その情報処理端末を含むシステム Download PDF

Info

Publication number
JP2019062281A
JP2019062281A JP2017183524A JP2017183524A JP2019062281A JP 2019062281 A JP2019062281 A JP 2019062281A JP 2017183524 A JP2017183524 A JP 2017183524A JP 2017183524 A JP2017183524 A JP 2017183524A JP 2019062281 A JP2019062281 A JP 2019062281A
Authority
JP
Japan
Prior art keywords
information
input
authentication
service
voice information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017183524A
Other languages
English (en)
Other versions
JP7123540B2 (ja
Inventor
峻輔 太田
Shunsuke Ota
峻輔 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017183524A priority Critical patent/JP7123540B2/ja
Priority to EP18193622.0A priority patent/EP3460698B1/en
Priority to US16/134,714 priority patent/US11265315B2/en
Priority to KR1020180113494A priority patent/KR102371997B1/ko
Priority to CN201811115106.0A priority patent/CN109558106A/zh
Publication of JP2019062281A publication Critical patent/JP2019062281A/ja
Application granted granted Critical
Publication of JP7123540B2 publication Critical patent/JP7123540B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/162Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/33User authentication using certificates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/64Protecting data integrity, e.g. using checksums, certificates or signatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/06Decision making techniques; Pattern matching strategies
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/22Interactive procedures; Man-machine interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/12Applying verification of the received information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Bioethics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Telephonic Communication Services (AREA)
  • Collating Specific Patterns (AREA)

Abstract

【課題】 音声アシスタントへの音声指示を起点にネットワークサービスを利用する場合の認証作業については、ユーザビリティの観点で工夫すべき点が多い。【解決手段】 本発明は、スピーカーを備え、音声情報による入力を受け付けて処理する情報処理端末であって、音声情報による入力に対応するサービスの実行に認証が必要であると判断された場合に、該入力された音声情報に対応するユーザーの生体情報として抽出された情報を用いた生体認証を行うための制御を行い、前記生体認証に成功した場合には前記音声情報による入力に対する応答として、前記サービスの実行に関するメッセージを、前記スピーカーを介してユーザーに通知することを特徴とする。【選択図】 図5

Description

本発明は、人間が発する音声入力を受け付けて自動的に処理を実行したり、人間に対してスピーカーを介してメッセージを発信したりできる機器(音声アシスタント)を用いた特別なサービスを実現するための技術に関する。
近年、人間が発する音声入力を受け付けて自動的に処理を実行したり、人間に対してスピーカーを介してメッセージを発信したりできる機器(音声アシスタント)が利用されてきている。音声アシスタントは、音声認識機能によりユーザーの発話を解釈し、ユーザーによる様々な指示を実行できる機能を持つ情報機器である。音声アシスタントは、音声による指示が可能となることで、従来のパーソナルコンピュータやスマートフォンなどでのキー操作やタッチ入力をしていた手間が省けるという利点がある。また、ユーザーに対して、処理結果や外部サービスからの通知(電子メールなど)を、スピーカーを介して音声メッセージとして発信することもできる。
前述の音声アシスタントの利用方法の一例としては、自宅のリビングやそのほかの部屋などに設置し、それぞれに対して、ユーザーが音声で指示を行うことで、所望の音楽を流したり、インターネット上に公開されているショッピングサービスを利用して商品の注文を行ったりすることができる。
音声アシスタントを介してショッピングサービスで商品の注文を行う場合であっても、ショッピングサービスに予め登録してあるユーザー情報で認証を行う必要がある。例えば、音声アシスタントに対して、注文時に、ユーザーIDやパスワードを音声入力することで、ユーザー認証が可能になる。もしくは、ショッピングサービスに予めパスワードの代わりにそのユーザーの声情報(声紋)を予め登録しておくことで、ショッピングサービスの認証サーバーが生体認証を行い、ユーザー認証が可能になるかもしれない。ここで、特許文献1では、声紋を用いた認証に加え、口唇の動きの時間変化から推定される音声が声紋情報に一致するか否かを元に認証を行うことで、より精度の高い認証を可能としている。
特開2017−44778号公報
音声アシスタントはユーザーからの音声入力による指示を受け付けた場合、必要に応じて、対応するネットワークサービスに対してリクエストを発行する。ここで、音声アシスタントを用いたサービス提供システムにおいては、認証を必要とするようなサービス(例えば、ショッピングサービス)以外に、検索サービスを用いたキーワード検索など、認証を必要としないようなサービスも存在する。つまり、認証が不要なサービスを依頼した場合にも音声アシスタントで予め認証処理を行ってしまうと無駄である。また、音声アシスタントからのリクエストを受けたネットワークサービスから認証要求が返却された場合、このタイミングでユーザーに認証を改めて促す必要がある。
音声アシスタントへの音声指示を起点にネットワークサービスを利用する場合の認証作業については、ユーザビリティの観点で工夫すべき点が多い。
そこで、本発明における情報処理端末は、スピーカーを備え、音声情報による入力を受け付けて処理する情報処理端末であって、音声情報による入力に対応するサービスの実行に認証が不要である場合に、前記音声情報による入力に対する応答として、前記サービスの実行に関するメッセージを、前記スピーカーを介して通知する通知手段と、音声情報による入力に対応するサービスの実行に認証が必要であると判断された場合に、該入力された音声情報に対応するユーザーの生体情報として抽出された情報を用いた生体認証を行うための制御を行う制御手段と、を有し、前記通知手段は、前記生体認証に成功した場合に、前記音声情報による入力に対する応答として、前記サービスの実行に関するメッセージを、前記スピーカーを介して通知することを特徴とする。
本発明によれば、音声アシスタントへの音声指示を起点にネットワークサービスを利用する場合の認証作業について、ユーザーにとってユーザビリティが向上する。
本発明に係るネットワークシステムの構成の一例 ネットワークシステムに含まれる各装置のハードウェア構成の例 ネットワークシステムに含まれる各装置の機能ブロックの例 生体情報に対応するクレデンシャルの登録に関する処理のシーケンスを示す図 実施例1における音声指示により実行される処理に関するシーケンスを示す図 生体情報に関連する登録処理に用いられるパラメータ 生体認証に際して用いられるパラメータ 実施例2における処理全体に係るシーケンスを示す図 実施例2における権限の確認処理を説明するためのフローチャート 実施例2における確認処理の詳細に関するシーケンスを示す図 実施例2でのGUIの例を示す図 実施例3における確認処理の詳細に関するシーケンスを示す図
以下、本発明を実施するための形態について図面を用いて説明する。
本発明では、認証システムとして、FIDO(Fast Identity Onlineの略)と呼ばれる技術などの生体認証を用いるような仕組みを利用する。ここで、生体認証で用いられる指紋や静脈といった生体情報は、外部に情報が流出してしまった場合に、ID/パスワード認証におけるパスワードと異なり情報を書き換えることができないため、情報漏洩が致命的になる。これに対して、FIDOは認証処理を、ネットワークを経由してサーバー上で行うのではなく、ユーザーの手元にある端末上で行うため、生体情報がネットワーク上に流れることがなく、情報漏洩のリスクが少ないと言える。
以降、本発明では、サービス提供システムから認証が必要なサービス提供を受ける場合には、生体情報を用いた認証処理はインターネット上の認証システムで行うのではなく、ユーザーの手元の端末で行うものとする。ユーザーの手元の端末とは、音声情報による入力を認識して自動的に必要な処理を行う情報処理端末(例えば、音声アシスタント、ロボットなど)や、携帯電話、スマートフォンなどで行うものとする。
(実施例1)
図1は、本発明の実施の形態に係る、システムの全体構成を示す図である。
図1において、音声アシスタント102,サービスサーバー103、および携帯端末104は、ネットワーク101を介して接続されている。
ネットワーク101は、例えば、インターネット等のLAN、WAN、電話回線、専用デジタル回線、ATMやフレームリレー回線、ケーブルテレビ回線、データ放送用無線回線等のいずれか、または、これらの組み合わせにより実現される、いわゆる通信ネットワークである。ネットワーク101は、データの送受信が可能であればよい。
音声アシスタント102は、人間の音声情報による入力を認識して自動的に必要な処理を行う、AIなどを含むような、情報処理端末の一例である。音声アシスタント102は、すくなくともマイクを備え、利用者からの声による指示に従って各種操作を実行する。また、人間に対してスピーカーを介してメッセージを発信したりできる。音声アシスタント102にはカメラを備えられていてもよい。マイクやカメラからの入力データから検出できる生体情報を検証し、生体認証を行うためのプログラムも動作する。音声アシスタント102は、様々な形態が考えられ、ロボットや専用のパソコン、家電、リモコンの一部として実装される場合もある。
サービスサーバー103は、たとえば音楽配信サービスや、ショッピングサービス等、各種インターネットサービスを提供するためのサーバーである。ユーザー情報を管理するサービスも動作する。なお、それらのサービス毎にサーバーが別であり、相互に連携できる構成であっても良い。
携帯端末104は、一般的な携帯電話、スマートフォン、タブレット、ウェアラブル端末等の携帯端末である。携帯端末104は、Webブラウザ、電話機能などを提供するアプリケーションを実行する環境が内蔵されている。また、個人を認証するための生体情報を取得するためのセンサーやカメラを備える。生体認証を行うためのプログラムなども動作する。なお、実施例1においては、携帯端末104は必須構成ではない。
図2は、ネットワークシステムに含まれる各装置のハードウェア構成の例を示している。
図2(a)は、音声アシスタント102のハードウェア構成図である。
CPU211は、ROM213内に記憶されたプログラムや、記憶装置214からRAM212にロードされたOS(オペレーションシステム)やアプリケーション等のプログラムを実行する。すなわち、CPU211が、読み取り可能な記憶媒体に格納された該プログラムを実行することにより、後述する各フローチャートの処理を実行する各処理部として機能する。RAM212は、CPU241のメインメモリであり、ワークエリア等として機能する。
215は、Trusted Platform Module(TPM)である。TPM215は、Operating Systemや他のハードウェアから独立して機能する耐タンパー性を備えたセキュリティチップで、機密情報を処理・格納するための記憶手段となる。本発明ではTPM215に、生体認証に利用するユーザーの生体情報や、後述される認証処理に必要となる秘密鍵が格納される。なお、本発明では、TPMの代替として、耐タンパー性を実現するために1チップ上で他から隔離して動作するセキュアなメモリ空間を確保して、そのメモリ空間でユーザーの生体情報(またはその特徴量)や、秘密鍵などを管理するための記憶手段を提供するといった方法でも実現できる。各部は入出力インターフェース207を介して接続されている。ここで、生体認証に利用するユーザーの生体情報とは、マイクやカメラからの入力データから検出できる声紋、指紋、顔、虹彩などのデータ(信号)自体、またはその特徴量などである。
ネットワークI/F216は、有線、または無線により、ネットワークに接続されて、ネットワーク上の他の機器との通信制御処理を実行する。カメラ217は、ユーザーの顔を撮像するためのハードウェアである。また、マイク218は、ユーザーの声を集音するためハードウェアであり、スピーカー219は、処理結果等を、ユーザーに通知するためなどに用いられるハードウェアである。
図2(b)は、サービスサーバー103のハードウェア構成図である。これは、一般的な情報処理装置(サーバーコンピューター)のハードウェアで構成することができる。
CPU231は、ROM233内に記憶されたプログラムや、ハードディスクなどの外部メモリ235からRAM232にロードされたOS(オペレーションシステム)やアプリケーション等のプログラムを実行する。すなわち、CPU231が、読み取り可能な記憶媒体に格納された該プログラムを実行することにより、後述するシーケンスやフローチャートの処理を実行する各処理部として機能する。RAM232は、CPU231のメインメモリであり、ワークエリア等として機能する。ディスクコントローラ234は、各種データを記憶するハードディスク(HD)等の外部メモリ235へのデータアクセスを制御する。ネットワークI/F236はネットワークに接続されて、ネットワークに接続された他の機器との通信制御処理を実行する。
図2(c)は、携帯端末104のハードウェア構成図である。
CPU251、RAM252、ROM253、記憶装置254、ネットワークI/F256、およびTPM255は、音声アシスタント101の同名の構成と同様の機能を有する構成であるため、その説明を割愛する。生体情報センサー257は、ユーザーの生体情報を読取るセンサーであり、例えばユーザーの指紋、虹彩、静脈などの生体を読み取り信号(生体情報)に変換する。タッチパネル258は、表示と入力の2つの機能を備えており、アプリケーションの画面やキーボードなどを表示したりするとともに、ユーザーが画面に手や専用のペンで圧力を加えることにより、触れられた画面位置情報を外部へ情報信号として出力する。出力された信号情報をアプリケーションが利用することで、ユーザーはタッチパネル258を通じてアプリケーションを操作することができる。
図3は、ネットワークシステムに含まれる各装置のソフトウェアにより実現される機能ブロックの構成例を示している。
図3(a)は、音声アシスタント102の機能ブロックの構成例であり、前述したCPUでプログラムを実行することで実現される。
音声受信部311は、マイク218を利用して、音声アシスタントの利用ユーザーからの音声入力を受け付ける。音声発信部312は、スピーカー219を利用して、音声アシスタントの利用ユーザーへメッセージ(機械音声)を発信する。
音声処理部313は、音声アシスタント102に入力される音声データや音声アシスタント102から発信される音声データの入出力処理や、音声データの分析を行う。また音声処理部313は音声データから生体情報(またはその特徴量)である声紋を抽出する。音声処理部313は、音声データの分析した際に、入力された音声データに所定の指示に対応する入力があったことを検出した場合には、当該指示に対応するリクエストが生成されることになる。ここで、入力と指示(コマンドや呼び出すべきAPIのタイプなど)との対応付けをもつ不図示のテーブルを参照することでリクエストが生成されることになり、このようなテーブルは記憶装置214などで管理される。このテーブルでは、リクエストの対象となるサービス提供元の情報(音声アシスタント102、サービスサーバー103)も管理されることになる。なお、このようなテーブルは、クラウドサービスなど、外部ネットワーク上に管理されていて、音声処理部313やリクエスト処理部321が参照できるように構成することも可能である。
顔検出部315は、カメラ217を利用して、人物などの顔画像を検出する。さらに、顔検出部315はカメラ217で撮影した画像データから特に顔画像に対応する生体情報(またはその特徴量)を抽出する。なお、顔検出部315は、顔を検出した人物から抽出する生体情報として、カメラ217で撮影した画像データから抽出可能な指紋や虹彩などの他の生体情報を抽出してもよい。顔検出部315は、人間以外にも、ペットやロボットなどの顔を検出することも可能であり、必要に応じて、撮影画像データから生体情報に相当する個別のユニーク情報を抽出することも可能である。
レガシー認証処理部314は、ネットワークI/F216などを介して接続された携帯端末104などの機器から、ユーザー登録など要求を受付け、ユーザー情報を登録する際のレガシー認証のための情報を処理する。具体的には、ユーザーアカウントなどのIDとパスワードの登録を受け付け、記憶装置214に保存する。その後、それらのIDとパスワードの入力に応じてレガシー認証を実行する。
生体情報処理部316は、TPM215を用いて、生体情報を管理する。また、レガシー認証に成功したユーザーが生体情報を登録する際には、上述の音声処理部313などにより抽出された生体情報が当該ユーザーのIDに紐づけられてTPM215に登録されることになる。生体情報処理部316により保存されるデータの例を表Aに示す。
Figure 2019062281
認証情報IDは、認証に用いる生体情報(まはた生体情報の組合せ)に対して割り当てられた一意なIDである。サービスID列には認証が必要となるサービスを識別するためのサービスIDが設定される。サービスIDとはサービスのトップレベルドメイン、セカンドレベルドメインの情報を示す。例えば、ショッピングサービスのURLがhttp://www.shopping.comであった場合に、サービスIDはshopping.comとなる。声紋情報列、および顔情報列は、音声処理部313や顔検出部315などにより抽出された生体情報が保存される。
生体認証制御部317は、音声処理部313や顔検出部315などにより抽出された生体情報が、TPM215に登録済みの情報に一致するか否かの照合を行うことで生体情報による認証処理を実行する。
鍵作成部318は、TPM215に登録された生体情報に対応する秘密鍵と公開鍵のペアを作成する。ここで作成された秘密鍵については、対応する生体情報に関連付けてTPM215に保存される。この際、表Bに示すような形で保存する。
Figure 2019062281
認証情報ID列、およびサービスID列は、表Aで述べたIDと同様の値が設定され、秘密鍵列に、鍵作成部318で作成された秘密鍵の情報が保存される。
クレデンシャル作成部319は、外部サービスに登録すべき後述されるようなクレデンシャルを作成する。アサーション(Assertion)作成部320は、外部サービスでユーザーを確認するための検証データを含むアサーション(詳細は後述)を作成する。
リクエスト処理部321は、音声処理部313により特定されたユーザーからの指示に対応するリクエストを、ネットワークI/F216を介してサービスサーバー103に対して送信する。また、ネットワークI/F216やアサーション作成部320で作成されたデータを含むリクエストをネットワークI/F216を介して送信する。さらに、外部から受け付けたリクエストを処理する。ユーザーに対して発信すべきデータがある場合は、音声処理部313及び音声発信部312にデータを渡し、スピーカー219を利用して、音声アシスタントの利用ユーザーへメッセージ(機械音声)を発信する。
実行確認部322は、音声発信部312に対して、スピーカー219から処理実行の可否を問合せるメッセージの発信を行わせる。また、ユーザーからの応答を音声受信部311で受信し、音声処理部313による解析結果に従い、処理の実行可否を判断する。
図3(b)は、サービスサーバー103の機能ブロックの構成例であり、前述したCPUでプログラムを実行することで実現される。
リクエスト処理部331は、ネットワークなどを介して受信したリクエストを処理する。レガシー認証処理部332は、IDとパスワードを用いたレガシー認証を実行する。登録パラメータ作成部333は、後述される登録パラメータの作成を行う。ユーザー管理部335は、レガシー認証に用いるユーザー情報や、公開鍵などの情報を、外部メモリ235などを用いて、保存、管理する。
認証判定部336は、要求された処理について認証が必要かどうかを判断する。検証部337は、アサーションの検証を行う。具体的にはアサーションに含まれる署名データについて公開鍵を用いた検証を行う。サービス実行部338は、要求された処理を実行し、音声アシスタント102に対して処理結果を送信したり、要求された処理に対応するサービスを提供したりする。
権限判定部339は、リクエストユーザーのサービスの実行権限の有無やレベルを判定する。本実施例においては、権限判定部339は必須の構成ではない。確認依頼部341は、サービスの実行の許可を確認依頼するための構成である。
図3(c)は、携帯端末104の機能ブロックの構成例であり、前述したCPUでプログラムを実行することで実現される。
送受信部351は、ネットワークI/F256を介した、外部との通信を行う。
生体情報処理部352は、生体情報処理部316と同等のモジュールであり、TPM255を用いて認証情報IDやサービスIDとともに、生体情報を管理する。生体認証制御部353は、生体認証制御部317と同等のモジュールであり、生体情報センサー257により抽出された生体情報が、TPM255に登録済みの情報に一致するか否かの照合を行うことで生体情報による認証処理を実行する。
鍵作成部354は、鍵作成部318と同等のモジュールであり、TPM255に登録された生体情報に対応する秘密鍵と公開鍵のペアを作成する。ここで作成された秘密鍵については、対応する生体情報に関連付けてTPM255に保存される。
クレデンシャル作成部355は、クレデンシャル作成部319と同等のモジュールであり、外部サービスに登録すべき後述されるようなクレデンシャルを作成する。アサーション作成部356は、アサーション作成部320と同等のモジュールであり、外部サービスでユーザーを確認するための検証データを含むアサーションを作成する。
実行確認部357は、実行確認部322と同等のモジュールであり、タッチパネル258上で処理実行の可否を問合せるメッセージを出力する。また、ユーザー操作に従い、処理の実行可否を判断する。
本実施例における機能は、大きく分けて、「音声アシスタントへの生体情報の登録処理」、および「音声アシスタントを用いた指示の実行処理」の2つから構成される。
なお、本実施例においては音声アシスタントを介した指示の例として、ショッピングサービスでの買い物を例として用いるが、音声アシスタントを介する指示はそれに限定されるものではない。例えば、会員向けの音楽購入や配信サービスなどであってもよい。また、音声アシスタントにて検証される生体情報として、顔情報と、声紋情報の2つを例に上げるが、これらも限定されるものではなく、例えばカメラの精度が高い場合には、虹彩情報など、その他の生体情報を利用しても良い。
図4(a)で示すシーケンス図を用いて、「音声アシスタントへの生体情報の登録処理」について説明する。
S401では、音声受信部311は、音声アシスタント102の利用ユーザーからの生体情報の登録指示を受け付ける。指示は、例えば「Aショッピングサービスへの生体情報登録」など予め定められたキーワードによる指示や、音声アシスタントの機能によっては「Aショッピングサービスに生体情報を登録したい」など口語的な指示でも良い。音声処理部313は、音声入力から検出できた生体情報登録指示を生体情報処理部316に渡す。生体情報処理部316は、サービスサーバー103に対するサービスサーバー103を生成する。S402では、リクエスト処理部321は、サービスサーバー103に、生体情報登録リクエストを送信する。
S403では、レガシー認証処理部332は、リクエスト処理部331を介して受信した生体情報登録リクエストの応答として、レガシー認証要求を生成し、音声アシスタント102に返却する。
S404では、レガシー認証処理部314は、保存済みのレガシー認証情報を取得し、リクエスト処理部331に送信する。この処理においては、前述の利用ユーザーが音声アシスタント102へのユーザー登録を行った際に登録したレガシー認証用のIDとパスワードを利用する。なお、このタイミングで、サービスサーバー103用のIDとパスワードを、音声や携帯端末104経由で利用ユーザーに入力させることも可能である。
S405では、レガシー認証処理部332は、リクエスト処理部331が受信したIDとパスワードを用いて認証処理を行う。認証が成功した場合に、S406で、登録パラメータ作成部333は、登録パラメータ600の作成を行う。ここで、登録パラメータ600を、図6(a)を用いて説明する。
登録パラメータ600は、アカウント情報601、暗号化パラメータ602、attestationチャレンジ603、認証拡張領域604から構成される。アカウント情報601は、S405のレガシー認証で特定したユーザーIDなどの属性情報を表す。暗号化パラメータ602は、サービスサーバー103がサポートしている暗号化アルゴリズムなど、登録する認証情報に関する属性情報を示す。attestationチャレンジ603はチャレンジレスポンス認証をするために利用するパラメータである。認証拡張領域604は、サービスごとに必要可能な拡張パラメータが格納される。
S407では、リクエスト処理部331は、S404に対するレスポンスとして、音声アシスタント102にクレデンシャル作成要求を返却する。クレデンシャル作成要求には、図6(b)で示すデータ620が含まれる。
データ620は、図6(a)で示す登録パラメータ600と、サービスID621と、WebOrigin622とを含む。WebOrigin622はサービスサーバー102がホストするサービスのOriginである。サービスID621は、サービスのトップレベルドメイン、セカンドレベルドメインの情報を格納する。例えば、ショッピングサービスのURLがhttp://www.shopping.comであった場合に、サービスID721はshopping.comとなる。
S408では、音声発信部312は、スピーカー219を利用して、ユーザーに対して声紋情報、および顔情報の登録に同意するか確認するメッセージを発信(機械音声)する。このメッセージは、音声処理部313がS407で受信したクレデンシャル作成要求に従い生成する。例えば、「生体情報の登録を行いますか?」といったメッセージを発信する。
S409では、音声受信部311は、ユーザーから生体情報の登録に関する同意の意向を示す応答を、音声指示として受け付ける。例えば、音声処理部313が、「はい」(「Yes」)といった音声指示を受け取ることを想定している。
S410では、音声発信部312は、スピーカー219を利用して、ユーザーに対して声紋登録用のキーワードの発声を促すメッセージを発信(機械音声)する。
S411では、音声受信部311は、マイク218を利用して、ユーザーからの生体情報(声紋)を登録するためのキーワードを含む登録用メッセージの応答を、音声指示として受け付ける。音声処理部313が、この音声指示から声紋情報を抽出する。
S412では、生体情報処理部316は、前述の表Aで示したように、S411で抽出した声紋情報を認証情報ID、サービスIDに関連付けて、TPM215に保存する。
S413では、顔検出部315は、カメラ217を利用して、口唇の動きや顔の向きから、S411で応答したユーザーの顔画像を取得し、顔認識を行うための特徴量を取得する。S414では、生体情報処理部316が、S412で用いた認証情報ID、サービスIDに関連付けて、S413で取得した特徴量を、TPM215にさらに保存する。
S415では、鍵作成部318は、S412〜S414での生体情報の登録に従い、公開鍵、および秘密鍵を作成し保存する。さらに、生体情報処理部316は、表Bで示すように、作成された秘密鍵を、S412〜S414で用いた認証情報ID、サービスIDに関連付けて、TPM215に保存する。
S416では、クレデンシャル作成部319は、図6(c)で示すようなクレデンシャル640を作成する。認証情報ID641とアルゴリズム642と公開鍵643とattestation644から構成される。認証情報ID641、公開鍵643はS415の処理で作成した公開鍵と、それに対応するIDである。アルゴリズム642はS415における秘密鍵と公開鍵のペアの作成に利用したアルゴリズムにそれぞれ対応する。また、attestation644はattestationチャレンジ603をS415にて生成した秘密鍵を用いて暗号化したものである。S417では、リクエスト処理部321は、サービスサーバー103に、S416で作成したクレデンシャルを送信する。
S418では、サービスサーバー103のユーザー管理部335は、リクエスト処理部331を介して、受信したクレデンシャル(公開鍵など)を、S405でレガシー認証したユーザーのユーザーIDに紐付けて保存する。この際には、クレデンシャルに含まれる公開鍵を用いて、attestationを復号化し、S406で作成したattestationチャレンジと一致するかを検証して、検証が成功したときのみ保存する。
S419では、リクエスト処理部331は、処理結果(保存成功/失敗)を音声アシスタント102に返却する。S420では、音声発信部312は、S419で受信した結果に応じた音声を、ユーザーに対して通知する。
図4(b)で示すシーケンス図は、「音声アシスタントへの生体情報の登録処理」の変形例である。図4(a)では、音声アシスタント102に対して、ユーザーの生体情報を登録していた。本形態では、音声アシスタント102とユーザーの携帯端末104を連携させ、携帯端末104で生体認証する拡張について説明する。
S401〜S409までの処理は同様であるため、その説明を割愛する。
S450で、音声アシスタント102のリクエスト処理部321は、S407で受信したクレデンシャル作成要求を、音声アシスタント102のユーザーの携帯端末104に対して転送する。さらに、S451で、音声発信部312は、スピーカー219を利用して、ユーザーに対して携帯端末で生体情報(指紋情報)の登録を促すメッセージを発信(機械音声)する。
S452で、携帯端末104の生体認証制御部353は、生体情報センサー257に対するユーザーによる生体情報の入力を待機し、受け付ける。S453で、生体情報処理部352は、提示された生体情報(指紋など)を、認証情報ID、サービスIDに関連付けて、TPM255に登録する。S454では、鍵作成部354は、生体情報の登録に従い、公開鍵、および秘密鍵を作成し保存する。さらに、生体情報処理部352は、作成された秘密鍵を、その認証情報ID、サービスIDに関連付けて、TPM255に保存する。
S455で、クレデンシャル作成部355は、図6(c)で示すものと同様のクレデンシャルを作成する。ここでは、認証情報IDと公開鍵は、S453、S454で生成された情報が用いられる。S456で、リクエスト処理部321は、音声アシスタント102に対して作成したクレデンシャルを送信する。
S417〜S420の処理では、S455で作成されたクレデンシャルを用いて、前述した図4(a)と同様の処理が行われるため、その説明を割愛する。
図4(b)によれば、音声アシスタント102は認証精度の高い外部認証器を利用することが可能になる。
次に、図5で示すシーケンスを用いて、「音声アシスタントを介した指示実行」についての処理の小委細について説明する。
S501では、音声受信部311は、ユーザーからの音声指示を受信する。例えば、「AショッピングサービスでXXを購入したい」や、「YY(曲名)を再生したい」等が、指示として考えられる。S502では、音声処理部313は、S501で受信した音声情報を一時的に保存する。S503では、顔検出部315は、S413と同様に口唇の動きなどから、S502で音声を発したユーザーを特定し、該ユーザーの顔情報を取得し、一時的に保存する。
S504では、音声処理部313は、S501で受け付けた音声データの分析により指示を検出した場合には、当該指示に対応するリクエストを生成する。分析結果に従い、リクエストの送信先が決定される。本実施例では、サービスサーバー103に対するリクエストの指示であると分析された場合の例について説明する。リクエスト処理部321は、サービスサーバー103に対して、生成されたリクエストを発行する。
S505では、サービスサーバー103の認証判定部336は、リクエスト処理部331を介して取得したS504で発行されたリクエストの内容に従い、該リクエストに応じた処理を実施するのに認証が必要か否かを判断する。認証の要否に従い、処理が切り替わる。
認証が不要な場合には、S506で、サービス実行部338は、S504で発行されたリクエストの内容に応じた処理を実行する。ここでは、ユーザー確認が不要な、全てのユーザーに共通して提供されるようなサービス案内の放送サービスや、一般的な検索サービスなどの実行と応答メッセージ取得、生成を想定している。S507で、サービス実行部338は、リクエスト処理部331を介して、音声アシスタント102に対してS504で発行されたリクエストに対するレスポンスを返却する。このレスポンスには、音声アシスタント102でユーザーに対して発信されるメッセージが含まれる。
S508では、音声処理部313は返却されたレスポンスに含まれるメッセージを取得し、音声発信部312を介してユーザーに通知する。なお、この際、S502およびS503において音声アシスタント102で一時保存した情報は削除される。
続いて、S505で認証が必要と判定された場合の処理について説明する。
S510では、認証判定部336は、図7(a)に示すような生体認証パラメータを作成し、リクエスト処理部331を介して、音声アシスタント102に対して送信する。
生体認証パラメータ700は、アサーションチャレンジ701と拡張領域702から構成される。アサーションチャレンジ701はチャレンジレスポンス認証をするために利用するパラメータである。拡張領域702は、サービスサーバー103が音声アシスタント102での生体認証に関する処理を制御するため拡張パラメータが格納される。
S511では、音声処理部313および顔検出部315は、S502およびS503で一時保存した情報からそれぞれの特徴量を抽出する。S512では、生体認証制御部317は、S509で抽出した特徴量と、TPM215に保存されている生体情報と照合し、生体認証処理を実行する。S513で生体認証に成功したか否かが判断される。認証成功と失敗とで処理が切り替わる。
生体認証に失敗した場合には、S514で、音声発信部312は、スピーカー219を利用して、生体認証が失敗した旨をユーザーに通知する。
続いて、S513で生体認証に成功したと判断された場合の処理について説明する。
S515では、アサーション作成部320は、図7(b)に示すようなアサーション(Assertion)データを作成する。アサーション720は、認証情報ID721、および署名722から構成される。認証情報IDは、S513で認証成功した生体情報、及びサービスサーバー103に対応するサービスIDに関連付けて前述の表Aで管理された情報である。また、署名722は、S510で受信した認証要求に含まれるアサーションチャレンジ701と、S513で認証成功した生体情報に対応する認証情報IDに関連付けて前述の表Bで管理された秘密鍵と、を用いて生成される。S516では、リクエスト処理部321は、サービスサーバー103に対して、S512で作成したアサーションを送信する。
S517で、サービスサーバー103の検証部337は、受信したアサーションの検証処理を実行する。検証処理では、ユーザー管理部335でアサーションに含まれる認証情報IDに関連付けて管理される公開鍵を用いてそのアサーションに含まれる署名から復号したデータと、S510で認証判定部336が作成した生体認証パラメータに含めたアサーションチャレンジ701との比較が行われる。S518で、検証に成功したか否かの判断に応じて処理が切り替わる。
検証に失敗した場合には、S519では、検証部337は、リクエスト処理部331を介して、音声アシスタント102に対して、検証失敗のレスポンスを返却する。S520で、音声発信部312は、スピーカー219を利用して、生体認証が失敗した旨をユーザーに通知する。
続いて、S518で検証に成功したと判断された場合の処理について説明する。
S521では、サービス実行部338は、S504で発行されたリクエストの内容に応じた処理を実行する。ここでは、ユーザー確認が必要な、会員ユーザー向けの音楽配信サービスや、ショッピングサービス、決済歳―ビスなどの実行と応答メッセージ取得、生成が実行される。S522では、サービス実行部338は、リクエスト処理部331を介して、音声アシスタント102に対してS504で発行されたリクエストに対するレスポンスを返却する。このレスポンスには、S521の処理の結果として生成された、音声アシスタント102でユーザーに対して発信されるべきメッセージが含まれる。
S523では、音声処理部313は、返却されたレスポンスに含まれるメッセージを取得し、音声発信部312を介してユーザーに通知する。
(実施例1の応用例)
なお、図4(b)で示す処理が行われていた場合には、S510の認証要求は音声アシスタント102から携帯端末104に転送されることになる。この場合には、ユーザーは携帯端末104に指紋などの生体情報を提示して、S512に相当する生体認証処理が携帯端末104上で実行されることになる。認証成功時には、携帯端末104のアサーション作成部356は、図7(b)に示すようなアサーションデータを作成することになる。このアサーションデータは、音声アシスタント102のリクエスト処理部321により、サービスサーバー103に対して送信されることになる。以降は、S517〜S523と同様の処理となる。
(実施例2)
実施例1においては、ショッピングサービスなど、認証が必要なサービスを音声指示したユーザーが購買を行う権限を持つことを前提としていた。例えば、ショッピングサービスでは、家族会員などユーザーグループ内の任意のユーザー(両親のユーザーアカウントなど)のみがサービスの決済の権限を持つ場合がある。そのようなケースでは、子供のユーザーアカウントに対応する音声指示が行われた場合に、実行権限を持つ別のユーザーに認証を含む認可の処理が行われる必要がある。本実施例に関して、このような認可処理を含むサービス提供について、前述した実施例1と異なる点を中心に詳しく説明する。
本実施例のために、サービスの決済の権限をもつ承認ユーザーの携帯端末を追加する。この携帯端末は、実施例1の図2,3で説明した携帯端末104と同様の構成である。
サービスサーバー103のユーザー管理部335は、表Cに示すようなデータを持つ。なお、これらのデータは、サービスサーバー103が提供するサービスの機能として登録画面や登録サービスが用意されており、それらを通じて登録されるものとする。
Figure 2019062281
ユーザーID列は、音声指示を実施したユーザーのIDを示し、サービスID列は、サービスサーバー103によってホストされるサービスのサービスID721を示す。実行可否列は、各ユーザーがサービスIDにて示されるサービスの実行を許可されているか否かを示す。表Cの場合、userAは実行を許可(true)されているが、userBは実行を禁止(false)されていることを示す。実行の可否の決定方法は、サービスごとに定義されるものとする。例えば、ユーザーの年齢にしきい値を設けて実行可否を制限しても良いし、別途UIなどを設け、実行が出来ないユーザーを選択できるようにしても良い。承認ユーザー列には、実行可否が禁止(false)のユーザーからのリクエストに対応するサービス提供を認可する権限をもつ承認ユーザーのユーザーIDを示す。userAは、自身の権限で実行が許可されているため、承認ユーザーが設定されていない(NULL)。通知先列は、ユーザーID列に示すユーザーの通知先を示す。たとえば、携帯端末104の電話番号や、メールアドレスなどが設定される。表Cの場合、userBからshopping.comへの依頼が来た場合は、承認ユーザーuserAの通知先「userA@xxx.ne.jp」へ確認依頼が通知されることとなる。
図8は、前述の図5のシーケンスのS518以降の処理の拡張部分を含むシーケンスを示している。
アサーションの検証に失敗した場合のS519及びS520は図5と同様である。
アサーションの検証に成功した場合には、S801で、権限の確認処理が実行される。図9を用いてS801の処理の詳細について説明する。
S901で、音声アシスタント102の権限判定部339は、ユーザー管理部335で管理された表Cから、音声で指示したユーザーのユーザーIDに関する情報を取得する。S902で、権限判定部339は、S901で取得した情報に含まれる実行可否列を参照し、該ユーザーの実行権限の有無を確認する。
S801の処理の結果、音声で指示したユーザーに実行権限がある場合には、図5のS521〜S523と同様の処理が行われる。S801の処理の結果、音声で指示したユーザーに実行権限がない場合には、S802に遷移する。
S802では、確認依頼部341は、承認ユーザーの携帯端末と連携し、認可処理を実行する。この処理の詳細は、図10を用いて後述する。S802での結果、承認ユーザーの携帯端末から音声指示によりリクエストされた指示の実行許可、または禁止を示す応答が得られる。
実行が禁止された場合には、S803で、確認依頼部341は、音声アシスタントに対して、リクエストされた処理が承認ユーザーに禁止されたことを示すレスポンスを返却する。S804で、音声処理部313は、返却されたレスポンスに含まれるメッセージを取得し、音声発信部312を介してユーザーに通知する。
S802での結果、実行許可であった場合には、図5のS521〜S523と同様の処理が行われる。
図10を用いて、S802の処理の詳細について説明する。なお、本実施例においては、承認ユーザーの携帯端末についても、図4(b)で示すような手続きを踏んで、サービスサーバー103へのクレデンシャルの登録は実施済みであるものとする。
S1001では、サービスサーバー103の確認依頼部341は、承認ユーザーの携帯端末に対して、確認処理のリクエストを発行する。この際、図7(A)で示すような、承認ユーザー用の生体認証パラメータも送信する。
S1002では、承認ユーザーの携帯端末の実行確認部357は、タッチパネル258上に、図11(a)に示すような確認画面を表示する。承認ユーザーは、音声アシスタント102のユーザーがリクエストした指示について、許可するか否かの入力が行える。続いて、生体情報処理部352は、図11(b)に示すような認証画面を、タッチパネル258上に表示する。S1003で、ユーザーに生体情報(指紋)の提示を受け付ける。
S1004では、生体認証制御部353は、TPM255に登録済みの生体情報を用いて生体認証処理を実行する。生体認証に成功した場合には、S1005で、アサーション作成部356が、図7(B)で示したものと同様のアサーションデータを作成する。
S1006で、送受信部351は、確認画面を介して受け付けたユーザーからの確認結果(実行許可、または禁止)、及びアサーションデータを、サービスサーバー103に送信する。
S1007では、検証部337は、受信したアサーションを検証する。この検証に成功した場合には、確認結果(実行許可、または禁止)に従い、図8のS802以降の処理が実行されることになる。
(実施例3)
実施例2においては、承認ユーザーの携帯端末に対して、確認要求を行い、認可処理を実現していた。本実施例においては、この認可処理についても、別の音声アシスタントと連携することで実現する実施形態について説明する。具体的には、図12で示すように、承認ユーザーが別の音声アシスタントを用いて、前述した実施例2で述べたS802の認可処理を実現している。なお、本実施例に関しても、前述した実施例1、2と異なる点について、詳しく説明する。
本実施例においては、承認ユーザーが利用する別の音声アシスタントは、前述した図2(a)、図3(a)と同様の構成を備えるものとする。
また、本実施例においては、サービスサーバー103のユーザー管理部335は、表Dに示すようなデータを持つ。なお、これらのデータは、サービスサーバー103が提供するサービスの機能として登録画面や登録サービスが用意されており、それらを通じて登録されるものとする。表Dでは、通知先として、音声アシスタントを一意に識別するIDやネットワークアドレスなどが設定される。また、あるユーザーが複数の音声アシスタントを保持している可能性もあるため、通知先には、複数の音声アシスタントのIDが設定されうる。
Figure 2019062281
表Dの場合は、userAの通知先としては、2つのIDが設定している。つまり、userAは、これらの2つのIDにて識別される音声アシスタントを所有し、userAに対しては、それらの内、いずれかの音声アシスタント、もしくは両方の音声アシスタントへの確認通知が行われることとなる。
次に、図12を用いて、本実施例における認可処理の詳細について説明する。
S1201では、サービスサーバー103の確認依頼部341は、承認ユーザーの音声アシスタントに対して、確認要求を発行する。この際、図7(A)で示すような、承認ユーザー用の生体認証パラメータも送信する。
S1202では、確認要求を受信した音声アシスタントの顔検出部315は、カメラ217を用いて、通知先の人物が映るか否かを判断する。具体的には、カメラに映る顔画像から特徴量を抽出し、TPM215に保存された承認ユーザーの顔特徴量と照合することで、この判断を行う。S1202の処理は省略されてもよい。
S1203では、実行確認部322は、音声発信部312を介して、ユーザーに対して「userBからのXXの購買許可依頼が届いています。許可しますか?禁止しますか?」といったメッセージの通知(機械音声)を行う。S1204では、音声処理部313及び実行確認部322は、音声受信部311がマイクを介して受け付けた音声データの中から、ユーザーからの「はい(許可)」、もしくは「いいえ(禁止)」といった指示内容を抽出する。
S1205では、顔検出部315は、S1204で許可の発言をしたユーザーを、口唇などの動きから特定し、該ユーザーの顔情報を取得する。S1206では、音声処理部313,および顔検出部315は、S1204、およびS1205で取得した情報から特徴量を抽出する。S1207で、生体認証制御部317は、抽出した特徴量と、TPM215に保存されている生体情報と照合し、生体認証処理を実行する。S1208では、アサーション作成部320は、生体認証に成功した際に認証に用いた生体情報に対応する認証情報IDに関連付けて管理された秘密鍵を用いて、図7(b)に示すアサーションを作成する。
S1209で、リクエスト処理部321は、サービスサーバー103に対して、S1208で作成したアサーション及び確認結果(許可または禁止)を送信する。S1210で、検証部337は、受信したアサーションを認証情報IDに対応付けて管理されている公開鍵を用いて検証する。この検証に成功した場合には、確認結果(実行許可、または禁止)に従い、図8のS802以降の処理が実行されることになる。
(実施例3の応用例)
なお、図12では、承認ユーザーは音声アシスタントにより、声紋や顔画像の特徴量を用いて、生体認証を行っていた。ここで、承認ユーザーが図4(b)に相当する処理を行っていた場合には、S1201で音声アシスタントが受信した確認要求を、承認ユーザーの携帯端末に転送して、該携帯端末において、認可の指示入力と生体認証を承認ユーザーに行わせることも可能である。
その際には、音声アシスタントから確認要求を受付けた承認ユーザーの携帯端末は、図10で示すS1002〜S1005と同様の処理を実行する。その後、送受信部351は、確認画面を介して受け付けたユーザーからの確認結果(実行許可、または禁止)、及びアサーションデータを、確認要求の送信元である音声アシスタントに送信する。音声アシスタントは、確認結果(実行許可、または禁止)、及びアサーションデータをサービスサーバー103に転送する。これにより、図12で示したS1209と同様のアサーションの検証処理が実行されることになる。
(他の実施例)
本発明は、上述した実施形態を適宜組み合わせることにより構成された装置あるいはシステムやその方法も含まれるものとする。
ここで、本発明は、上述した実施形態の機能を実現する1以上のソフトウェア(プログラム)を実行する主体となる装置あるいはシステムである。また、その装置あるいはシステムで実行される上述した実施形態を実現するための方法も本発明の一つである。また、そのプログラムは、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給され、そのシステム或いは装置の1以上のコンピュータ(CPUやMPU等)によりそのプログラムが読み出され、実行される。つまり、本発明の一つとして、さらにそのプログラム自体、あるいは該プログラムを格納したコンピューターにより読み取り可能な各種記憶媒体も含むものとする。また、上述した実施形態の機能を実現する回路(例えば、ASIC)によっても、本発明は実現可能である。
101 ネットワーク
102 音声アシスタント
103 サービスサーバー
104 携帯端末

Claims (15)

  1. スピーカーを備え、音声情報による入力を受け付けて処理する情報処理端末であって、
    音声情報による入力に対応するサービスの実行に認証が不要である場合に、前記音声情報による入力に対する応答として、前記サービスの実行に関するメッセージを、前記スピーカーを介して通知する通知手段と、
    音声情報による入力に対応するサービスの実行に認証が必要であると判断された場合に、該入力された音声情報に対応するユーザーの生体情報として抽出された情報を用いた生体認証を行うための制御を行う制御手段と、を有し、
    前記通知手段は、前記生体認証に成功した場合に、前記音声情報による入力に対する応答として、前記サービスの実行に関するメッセージを、前記スピーカーを介して通知することを特徴とする情報処理端末。
  2. 前記制御手段は、前記入力された音声情報から抽出された生体情報を用いることを特徴とする請求項1に記載の情報処理端末。
  3. 前記制御手段は、前記ユーザーの生体認証を行うために、該入力された音声情報に対応するユーザーの生体情報による生体認証を、当該ユーザーの携帯端末に要求することを特徴とする請求項1に記載の情報処理端末。
  4. 前記入力された音声情報に基づきネットワーク上のサービスサーバーに対してリクエストを発行する発行手段をさらに有し、
    前記制御手段は、前記サービスサーバーから認証要求を受信した場合に、前記入力された音声情報に対応するユーザーの生体情報として抽出された情報を用いた生体認証を行うための制御を行うことを特徴とする請求項1乃至3のいずれか1項に記載の情報処理端末。
  5. 前記サービスサーバーからの認証要求に含まれるデータと、前記生体認証に成功した際に用いた生体情報に対応する秘密鍵とを用いて作成された署名を含むデータを前記サービスサーバーに対して送信する送信手段を、さらに有し、
    前記通知手段は、前記生体認証に成功した場合に通知するメッセージとして、前記サービスサーバーで前記秘密鍵に対応する公開鍵を用いた前記署名の検証に成功した場合に実行された前記リクエストに対応する処理の結果に対応するメッセージを、前記スピーカーを介して通知することを特徴とする請求項4に記載の情報処理端末。
  6. スピーカーを備え、音声情報による入力を受け付けて処理する情報処理端末における方法であって、
    音声情報による入力に対応するサービスの実行に認証が不要である場合に、前記音声情報による入力に対する応答として、前記サービスの実行に関するメッセージを、前記スピーカーを介して通知する通知工程と、
    音声情報による入力に対応するサービスの実行に認証が必要であると判断された場合に、該入力された音声情報に対応するユーザーの生体情報として抽出された情報を用いた生体認証を行うための制御を行う制御工程と、を有し、
    前記通知工程では、前記生体認証に成功した場合に、前記音声情報による入力に対する応答として、前記サービスの実行に関するメッセージが、前記スピーカーを介して通知されることを特徴とする方法。
  7. 請求項1乃至5のいずれか1項に記載の手段としてコンピューターを機能させるためのプログラム。
  8. スピーカーを備え、音声情報による入力を受け付けて処理する情報処理端末と、ネットワークを介して受信したリクエストに対応する処理を実行するサービスサーバーと、を含むシステムであって、
    前記情報処理端末は、
    音声情報による入力に対する応答として、前記スピーカーを介してメッセージを通知する通知手段と、
    音声情報による入力に応じて、当該入力された音声情報に基づきネットワーク上のサービスサーバーに対してリクエストを発行する発行手段と、
    前記音声情報による入力に対応するサービスの実行に認証が必要であると判断された場合に、該入力された音声情報に対応するユーザーの生体情報として抽出された情報を用いた生体認証を行うための制御を行う制御手段と、を有し、
    サービスサーバーは、
    前記情報処理端末による制御に従う前記生体認証に成功に基づいて、前記発行されたリクエストに対応する処理を実行する実行手段と、
    前記処理の結果を前記情報処理端末に返却する返却手段と、を有し、
    前記情報処理端末の前記通知手段は、前記音声情報による入力に対する応答として、前記サービスサーバーから返却された結果に対応するメッセージを、前記スピーカーを介して通知することを特徴とするシステム。
  9. 前記情報処理端末の前記制御手段は、前記入力された音声情報から抽出された生体情報を用いることを特徴とする請求項8に記載のシステム。
  10. 前記サービスサーバーは、前記発行されたリクエストに対応する処理のために、前記情報処理端末に対して認証要求を送信する要求手段を、さらに有し、
    前記情報処理端末の前記制御手段は、前記サービスサーバーから認証要求を受信した場合に、前記入力された音声情報に対応するユーザーの生体情報として抽出された情報を用いた生体認証を行うための制御を行うことを特徴とする請求項8または9に記載のシステム。
  11. 前記情報処理端末は、前記サービスサーバーからの認証要求に含まれるデータと、前記生体認証に成功した際に用いた生体情報に対応する秘密鍵とを用いて作成された署名を含むデータを前記サービスサーバーに対して送信する送信手段を、さらに有し、
    前記サービスサーバーの前記実行手段は、前記秘密鍵に対応する公開鍵を用いた前記署名の検証に成功した場合に、前記発行されたリクエストに対応する処理を実行することを特徴とする請求項10に記載のシステム。
  12. 前記サービスサーバーは、前記入力された音声情報に対応するユーザーに、該音声情報による入力に対応するサービスの実行の権限がない場合に、別のユーザーが利用する端末に当該サービスを実行についての確認要求を行う確認手段を、さらに有し、
    前記サービスサーバーの前記実行手段は、前記確認要求に対する前記別のユーザーの許可を示す応答を受信した場合に、前記発行されたリクエストに対応する処理を実行することを特徴とする請求項8乃至11のいずれか1項に記載のシステム。
  13. 前記別のユーザーが利用する端末では、前記確認要求に応じて、前記別のユーザーの生体認証が行われることを特徴とする請求項12に記載のシステム。
  14. 前記別のユーザーが利用する端末は、前記情報処理端末とは異なる、スピーカーを備え、音声情報による入力を受け付けて処理する端末であることを特徴とする請求項12または13に記載のシステム。
  15. スピーカーを備え、音声情報による入力を受け付けて処理する情報処理端末と、ネットワークを介して受信したリクエストに対応する処理を実行するサービスサーバーと、を含むシステムにおける方法であって、
    前記情報処理端末は、
    音声情報による入力に対する応答として、前記スピーカーを介してメッセージを通知する通知工程と、
    音声情報による入力に応じて、当該入力された音声情報に基づきネットワーク上のサービスサーバーに対してリクエストを発行する発行工程と、
    前記音声情報による入力に対応するサービスの実行に認証が必要であると判断された場合に、該入力された音声情報に対応するユーザーの生体情報として抽出された情報を用いた生体認証を行うための制御を行う制御工程と、を有し、
    サービスサーバーは、
    前記情報処理端末による制御に従う前記生体認証に成功に基づいて、前記発行されたリクエストに対応する処理を実行する実行工程と、
    前記処理の結果を前記情報処理端末に返却する返却工程と、を有し、
    前記情報処理端末では、前記音声情報による入力に対する応答として、前記サービスサーバーから返却された結果に対応するメッセージが、前記スピーカーを介して通知されることを特徴とする方法。
JP2017183524A 2017-09-25 2017-09-25 音声情報による入力を受け付ける情報処理端末、方法、その情報処理端末を含むシステム Active JP7123540B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017183524A JP7123540B2 (ja) 2017-09-25 2017-09-25 音声情報による入力を受け付ける情報処理端末、方法、その情報処理端末を含むシステム
EP18193622.0A EP3460698B1 (en) 2017-09-25 2018-09-11 Information processing terminal, method, and system including information processing terminal
US16/134,714 US11265315B2 (en) 2017-09-25 2018-09-18 Information processing terminal, method, and system including information processing terminal
KR1020180113494A KR102371997B1 (ko) 2017-09-25 2018-09-21 정보 처리 단말, 방법 및 정보 처리 단말을 포함하는 시스템
CN201811115106.0A CN109558106A (zh) 2017-09-25 2018-09-25 信息处理终端和方法、用于信息处理的系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017183524A JP7123540B2 (ja) 2017-09-25 2017-09-25 音声情報による入力を受け付ける情報処理端末、方法、その情報処理端末を含むシステム

Publications (2)

Publication Number Publication Date
JP2019062281A true JP2019062281A (ja) 2019-04-18
JP7123540B2 JP7123540B2 (ja) 2022-08-23

Family

ID=63557271

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017183524A Active JP7123540B2 (ja) 2017-09-25 2017-09-25 音声情報による入力を受け付ける情報処理端末、方法、その情報処理端末を含むシステム

Country Status (5)

Country Link
US (1) US11265315B2 (ja)
EP (1) EP3460698B1 (ja)
JP (1) JP7123540B2 (ja)
KR (1) KR102371997B1 (ja)
CN (1) CN109558106A (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019002831A1 (en) 2017-06-27 2019-01-03 Cirrus Logic International Semiconductor Limited REPRODUCTIVE ATTACK DETECTION
GB201713697D0 (en) 2017-06-28 2017-10-11 Cirrus Logic Int Semiconductor Ltd Magnetic detection of replay attack
GB2563953A (en) 2017-06-28 2019-01-02 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201801527D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Method, apparatus and systems for biometric processes
GB201801530D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for authentication
GB201801532D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for audio playback
GB201801526D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for authentication
GB201801528D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Method, apparatus and systems for biometric processes
GB201801664D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of liveness
GB201804843D0 (en) 2017-11-14 2018-05-09 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201803570D0 (en) 2017-10-13 2018-04-18 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201801874D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Improving robustness of speech processing system against ultrasound and dolphin attacks
GB2567503A (en) 2017-10-13 2019-04-17 Cirrus Logic Int Semiconductor Ltd Analysing speech signals
GB201801663D0 (en) * 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of liveness
GB201801661D0 (en) * 2017-10-13 2018-03-21 Cirrus Logic International Uk Ltd Detection of liveness
GB201801659D0 (en) 2017-11-14 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of loudspeaker playback
US10853463B2 (en) * 2018-01-17 2020-12-01 Futurewei Technologies, Inc. Echoprint user authentication
US11264037B2 (en) 2018-01-23 2022-03-01 Cirrus Logic, Inc. Speaker identification
US11475899B2 (en) 2018-01-23 2022-10-18 Cirrus Logic, Inc. Speaker identification
US11735189B2 (en) 2018-01-23 2023-08-22 Cirrus Logic, Inc. Speaker identification
US10733996B2 (en) * 2018-03-30 2020-08-04 Qualcomm Incorporated User authentication
US10720166B2 (en) * 2018-04-09 2020-07-21 Synaptics Incorporated Voice biometrics systems and methods
US10818296B2 (en) * 2018-06-21 2020-10-27 Intel Corporation Method and system of robust speaker recognition activation
US10692490B2 (en) 2018-07-31 2020-06-23 Cirrus Logic, Inc. Detection of replay attack
US10915614B2 (en) 2018-08-31 2021-02-09 Cirrus Logic, Inc. Biometric authentication
US11037574B2 (en) 2018-09-05 2021-06-15 Cirrus Logic, Inc. Speaker recognition and speaker change detection
JP7455523B2 (ja) * 2019-07-03 2024-03-26 キヤノン株式会社 通信システム、制御方法およびプログラム
CN110196914B (zh) * 2019-07-29 2019-12-27 上海肇观电子科技有限公司 一种将人脸信息录入数据库的方法和装置
JP7379123B2 (ja) 2019-11-29 2023-11-14 キヤノン株式会社 サーバシステム
KR102581000B1 (ko) * 2021-01-29 2023-09-21 네이버 주식회사 어시스턴트 서비스 제공 방법 및 시스템
CN114143622B (zh) * 2021-11-08 2023-07-25 深圳市锦昊安科技有限公司 一种智能故障监测的交换机及交换机系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143136A (ja) * 2001-10-30 2003-05-16 Toshiba Corp 本人確認システム及び装置
JP2005191953A (ja) * 2003-12-25 2005-07-14 Toppan Forms Co Ltd ユーザ情報登録システム
JP2007133515A (ja) * 2005-11-08 2007-05-31 Klab Inc カードに対応付けられた端末装置でユーザ使用認証を行うカード認証方法およびカード認証システム
WO2007094165A1 (ja) * 2006-02-15 2007-08-23 Nec Corporation 本人確認システムおよびプログラム、並びに、本人確認方法
JP2013123142A (ja) * 2011-12-12 2013-06-20 Hitachi Ltd 生体署名システム
JP2016517548A (ja) * 2013-03-14 2016-06-16 インテル コーポレイション 音声及び顔認識に基づくサービス提供
JP2017103546A (ja) * 2015-11-30 2017-06-08 コニカミノルタ株式会社 通信装置、プログラムおよび通信システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7254383B2 (en) * 2004-07-30 2007-08-07 At&T Knowledge Ventures, L.P. Voice over IP based biometric authentication
US8102838B2 (en) * 2007-01-17 2012-01-24 Alcatel Lucent Mechanism for authentication of caller and callee using otoacoustic emissions
KR101198120B1 (ko) 2010-05-28 2012-11-12 남궁종 홍채정보를 이용한 양방향 상호 인증 전자금융거래시스템과 이에 따른 운영방법
EP2397972B1 (en) * 2010-06-08 2015-01-07 Vodafone Holding GmbH Smart card with microphone
US8543834B1 (en) * 2012-09-10 2013-09-24 Google Inc. Voice authentication and command
US9348988B2 (en) * 2013-03-06 2016-05-24 Nuance Communications, Inc. Biometric authorization for real time access control
US20160253651A1 (en) * 2015-02-27 2016-09-01 Samsung Electronics Co., Ltd. Electronic device including electronic payment system and operating method thereof
JP2017044778A (ja) 2015-08-25 2017-03-02 大阪瓦斯株式会社 認証装置
US10127926B2 (en) * 2016-06-10 2018-11-13 Google Llc Securely executing voice actions with speaker identification and authentication input types
GB2555661A (en) * 2016-11-07 2018-05-09 Cirrus Logic Int Semiconductor Ltd Methods and apparatus for biometric authentication in an electronic device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143136A (ja) * 2001-10-30 2003-05-16 Toshiba Corp 本人確認システム及び装置
JP2005191953A (ja) * 2003-12-25 2005-07-14 Toppan Forms Co Ltd ユーザ情報登録システム
JP2007133515A (ja) * 2005-11-08 2007-05-31 Klab Inc カードに対応付けられた端末装置でユーザ使用認証を行うカード認証方法およびカード認証システム
WO2007094165A1 (ja) * 2006-02-15 2007-08-23 Nec Corporation 本人確認システムおよびプログラム、並びに、本人確認方法
JP2013123142A (ja) * 2011-12-12 2013-06-20 Hitachi Ltd 生体署名システム
JP2016517548A (ja) * 2013-03-14 2016-06-16 インテル コーポレイション 音声及び顔認識に基づくサービス提供
JP2017103546A (ja) * 2015-11-30 2017-06-08 コニカミノルタ株式会社 通信装置、プログラムおよび通信システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
浜野 裕 ほか: "話者照合機能付き携帯電話の実現に関する一検討", 電子情報通信学会技術研究報告, vol. 第107巻,第347号, JPN6021019176, 14 November 2007 (2007-11-14), JP, pages 51 - 55, ISSN: 0004510823 *

Also Published As

Publication number Publication date
US11265315B2 (en) 2022-03-01
CN109558106A (zh) 2019-04-02
JP7123540B2 (ja) 2022-08-23
EP3460698A1 (en) 2019-03-27
EP3460698B1 (en) 2021-06-23
KR20190035557A (ko) 2019-04-03
US20190098003A1 (en) 2019-03-28
KR102371997B1 (ko) 2022-03-08

Similar Documents

Publication Publication Date Title
JP7123540B2 (ja) 音声情報による入力を受け付ける情報処理端末、方法、その情報処理端末を含むシステム
JP6882080B2 (ja) 画像処理装置、方法、プログラム及びシステム
US9727715B2 (en) Authentication method and system using password as the authentication key
US11023568B2 (en) Image processing apparatus, system related to image processing apparatus, and method
JP2019101504A (ja) システム、およびシステムにおける方法
US20150088760A1 (en) Automatic injection of security confirmation
EP3490220B1 (en) Information processing apparatus
KR102380594B1 (ko) 시스템, 시스템의 제어 방법, 음성 조작 장치, 음성 조작 장치의 제어 방법 및 프로그램
KR102312087B1 (ko) 정보 처리 장치 및 방법
KR102317598B1 (ko) 서버, 서버의 제어 방법 및 단말 장치
EP3118760B1 (en) Authentication information management system, authentication information management device, program, recording medium, and authentication information management method
JP2018530212A (ja) 接近性を用いる情報保安装置及び情報保安方法
JP2011221729A (ja) Id連携システム
KR101900060B1 (ko) 공유기와 연계되어 동작하는 보안요소, 공유기 및 이를 이용한 네트워크 형성 방법
KR101679183B1 (ko) 전자 서명 서버 및 방법
CN114842848A (zh) 语音控制系统、方法、装置、设备以及介质、程序产品
KR101988365B1 (ko) 얼굴 인식 시스템 및 그 방법
JP7119660B2 (ja) スマートスピーカ、セキュアエレメント及びプログラム
JP2019205187A (ja) 画像処理装置、方法、プログラム及びシステム
JP2021192253A (ja) 画像処理装置、方法、プログラム及びシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220810

R151 Written notification of patent or utility model registration

Ref document number: 7123540

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151