JP2016517548A - 音声及び顔認識に基づくサービス提供 - Google Patents

音声及び顔認識に基づくサービス提供 Download PDF

Info

Publication number
JP2016517548A
JP2016517548A JP2015556364A JP2015556364A JP2016517548A JP 2016517548 A JP2016517548 A JP 2016517548A JP 2015556364 A JP2015556364 A JP 2015556364A JP 2015556364 A JP2015556364 A JP 2015556364A JP 2016517548 A JP2016517548 A JP 2016517548A
Authority
JP
Japan
Prior art keywords
confirmation
recognition engine
user
speech
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015556364A
Other languages
English (en)
Other versions
JP6093040B2 (ja
Inventor
エー． ボールドウィン，ジェイムズ
エー． ボールドウィン，ジェイムズ
ジャーン，グワーンリー
Original Assignee
インテル コーポレイション
インテル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテル コーポレイション, インテル コーポレイション filed Critical インテル コーポレイション
Publication of JP2016517548A publication Critical patent/JP2016517548A/ja
Application granted granted Critical
Publication of JP6093040B2 publication Critical patent/JP6093040B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/18—Artificial neural networks; Connectionist approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H04L9/3231—Biological data, e.g. fingerprint, voice or retina
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2111—Location-sensitive, e.g. geographical location, GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2113—Multi-level security, e.g. mandatory access control

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

音声及び/又は顔認識に基づくサービス提供に関連する装置、方法及び記憶媒体が本願において提供される。実施形態において、装置は、個別的に又は互いに協調して、複数の確認レベルで装置のユーザの確認を与えるように構成される音声認識エンジン(204a)及び顔認識エンジン(204b)を含む。装置は、少なくともサービスを受けるのに必要な確認レベルで前記ユーザが確認された後に、装置のユーザにサービスを提供するように構成されるサービスエージェント(206)を更に含む。

Description

本開示はデータ処理の技術分野に関連し、特に、音声及び/又は顔認識に基づくサービス提供に関する装置、方法及び記憶媒体に関連する。
ここに示される背景技術の説明は本開示の背景を概略的に提供することを目的としている。特に断らない限り、この欄で説明される事項は、本願の特許請求の範囲に対する従来技術ではなく、この欄に含めていることをもって従来技術であると自認するわけでもない。
コンピュータ化、ネットワーク化及び関連する技術の進歩は、ほんの僅かな例を挙げれば、マルチメディアコンテンツの利用から電子商取引や金融サービスにいたるオンラインサービスの利用を増加させている。ユーザは、しばしば、同じクライアント装置で広範囲に及ぶサービスにアクセスすることを好む。しかしながら、例えばビデオファイルをオンラインで視聴することのような一方端から、例えば銀行取引をオンラインで実行することのような他方端までのような様々なサービスの間でセキュリティの要件はしばしば非常に異なる。現在の技術は、様々なオンラインサービスの広範囲にわたるセキュリティ要件を確実に充足することが可能なコヒーレントでユーザフレンドリに提供する手段に欠けている。
実施形態は添付図面に関連する以下の詳細な説明により十分に理解される。説明の便宜上、同様な参照番号は同様な構成要素を示す。実施形態は、具体例により、非限定的に、添付図面の図において説明される。
様々な実施形態による本開示を実施するのに相応しいクライアント装置を含むコンピューティング環境の概要を示す。 様々な実施形態による音声及び/又は顔認識ベースのサービス提供のプロセス例を示す。 様々な実施形態によるクライアント装置として使用するのに相応しい例示的なコンピューティングシステムを示す。 様々な実施形態による本開示のプロセスを装置に実行させるように構成される命令を有する例示的なストレージ媒体を示す。
音声及び/又は顔認識に基づくサービス提供に関連する装置、方法及び記憶媒体が本願により開示される。一実施形態において、セットトップボックスやコンピューティングタブレットのような装置は、音声認識エンジン及び顔認識エンジンを含み、それらは各々により又は互いに協働して、複数の確認レベル(identification level)でユーザを確認するように構成される。装置はサービスエージェントを更に含み、サービスエージェントは、少なくともサービスを受けるのに必要な確認レベルでユーザが確認された後に、装置のユーザにサービスを提供するように構成される。サービスエージェントの具体例は、マルチメディアコンテンツを利用するためのエンハンストメディアプレーヤ、或いは、電子商取引やオンライン金融取引を行うためのエンハンストブラウザを含んでもよい。
以下の詳細な説明では本願の一部をなす添付図面が参照され、図中、同様な番号は同様な部分を示し、実施される実施形態の一例により示される。本開示の範囲から逸脱することなく、他の実施形態が使用されてもよいこと、及び、構造的又は論理的な変更がなされてもよいことが、理解されるべきである。従って、以下の詳細な説明は限定的な意味にとるべきではなく、実施形態の範囲は添付の特許請求の範囲及び均等物によって規定される。
請求項に記載される対象の事項の理解を促すように、様々な処理が複数の個別的な動作又は処理として説明されてもよい。しかしながら、説明の順番は、それらの処理が必ずその順番に従うことを意図しているように解釈されるべきでない。特に、これらの処理は説明した順番で実行されなくてもよい。説明される処理は、説明される実施形態とは異なる順番で実行されてもよい。様々な追加的な処理が実行されてもよく、及び/又は、説明される処理は別の実施形態では省略されてもよい。
本開示の目的に関し、「A及び/又はB」という言い回しは、(A)、(B)又は(A及びB)を意味する。本開示の目的に関し、「A、B、及び/又はC」という言い回しは、(A)、(B)、(C)、(A及びB)、(A及びC)、(B及びC)又は(A、B及びC)を意味する。
本説明は「一実施形態において」或いは「実施形態において」という言い回しを使用するが、それら各々は1つ以上の同一又は異なる実施形態を示す。更に、本開示の実施形態に関連して使用される「備える」、「含む」、「有する」等の用語は同義的である。
本願で使用されるように、「モジュール」という用語は、1つ以上のソフトウェア又はファームウェアプログラムを実行する特定用途向け集積回路(ASIC)、電子回路、プロセッサ(共有されるプロセッサ、専用のプロセッサ又はプロセッサ群)及び/又はメモリ(共用されるメモリ、専用のメモリ又はメモリ群)、組み合わせ論理回路、及び/又は、説明される機能を提供する適切な他のコンポーネントの一部分を示してもよいし或いはそれらを含むことを示してもよい。
図1を参照すると、様々な実施形態による本開示を実施するためのクライアント装置を含むコンピューティング環境の概要が示される。図示されるように、実施形態では、環境100は、ネットワーク106を介して、オンラインサービスプロバイダの複数のサービス104につながる複数のクライアント装置102を含んでよい。サービス104は、様々なユーザ確認条件を有する広範囲に及ぶオンラインサービスを提供するように構成される。そのようなオンラインサービス及びそれらのプロバイダの具体例は、以下のものに限定されないが、例えば、YoutubeやNetflix等のようなオンラインマルチメディアコンテンツプロバイダ又はケーブルテレビジョンプロバイダのようなコンテンツ配信者により提供されるユーザがカスタマイズしたマルチメディアコンテンツサービスと、EbayやBestBuy等のようなホストにより支援される電子商取引(イーコマース)と、バンクオブアメリカ又は電子株取引(Etrade)のような金融機関により提供される金融サービスとを含んでもよい。以下において詳細に説明されるように、実施形態において、クライアント装置102は、様々なオンラインサービスの様々なユーザ確認条件に適合するための様々なレベルのユーザの身元を提供することに関し、可能性のあるいっそうコヒーレントでユーザフレンドリな信頼できるアプローチを提供するように構成される。
実施形態において、あるオンラインサービスは、ユーザの音声(声)の特徴に基づくユーザの音声認識のみを要求するかもしれない。別のオンラインサービスは、ユーザの顔の特徴に基づくユーザの顔認識のみを要求するかもしれない。更に別のオンラインサービスはユーザに関する上記の音声及び顔認識の双方を要求し、他の更に複雑な音声及び/又は顔認識による確認さえ要求する可能性があり、これらの点については後述される。
実施形態では、図示されるように、クライアント102は、音声及び顔認識エンジン204a及び204bと、複数のサービスエンジン206とを含み、図示されるようにこれらは互いに結合される。更に、実施形態において、クライアント装置102は、プレゼンテーションエンジン134と、ユーザインタフェースエンジン136と、ディスプレイ124と、ユーザ入力装置126とを、図示されるように互いに結合されるように及びエンジン204a,204b及びエージェント206に結合されるように含む。実施形態では、音声及び顔認識エンジン204a及び2004bの協調利用(cooperative usage)を促進するために、クライアント装置102はエンジン204a及び204bに対する共通インタフェース(図示せず)を更に含んでもよい。
実施形態では、音声及び顔認識エンジン204a及び204bは、各々により又は互いに協調して、複数の確認レベルでユーザ確認を行うように構成されてもよい。実施形態では、音声認識エンジン204aは、ユーザの声の音声特徴に基づいて、ユーザの身元を提供する(又はユーザを確認する)ように構成されてもよく、顔認識エンジン204bは、ユーザの顔の特徴に基づいてユーザの身元を提供する(又はユーザを確認する)ように構成されてもよい。実施形態では、音声認識エンジン204a及び顔認識エンジン204bは上記の身元を提供するように(又は確認を行うように)を協調する。例えば、一実施形態において、始めに音声認識エンジン204aが複数の潜在的な身元確認に対してユーザの身元確認の範囲を狭めるために使用され、次に、顔認識エンジン204bが、潜在的な身元確認についての狭められた範囲のリストに基づいて、最終的な身元確認を行うために使用されてもよい。他の実施形態では、協調は逆の順に行われてもよく、すなわち、最初に顔認識エンジン204bが複数の潜在的な身元確認に対してユーザの身元確認の範囲を狭めるために使用され、次に、音声認識エンジン204aが潜在的な身元確認の狭められた範囲のリストに基づいて最終的な身元確認を行うために使用されてもよい。従って、これらの協働する実施形態では、精度が高くない技術(及び通常的には演算負担の軽い技術)が、先に使用される認識エンジンとして実現され、より精度が高い技術(及び通常的には演算負担の重い技術)が、後に使用される認識エンジンとして実現されてもよい。更に、協調するアプローチは、より正確な身元確認をもたらすが、全体的な演算負担は軽く、より効果的であるだけでなく、より効率的でもある。
そして、実施形態に依存して、音声認識エンジン204aは、ユーザの音声入力と複数の音声テンプレートとを比較してユーザを識別する広範囲に及ぶ音声認識のうちの任意の1つ以上を使用してよい。広範囲に及ぶ音声認識技術は、以下のものに限定されないが、例えば、周波数推定技術、マルコフモデル技術、ガウシアン混合モデル技術、パターンマッチング技術、ニューラルネットワーク技術、マトリクス表現技術、ベクトル量子化技術又はデシジョンツリー技術を含んでよい。同様に、顔認識エンジン204bは、ユーザに関する画像入力と複数のリファレンス画像とを比較する広範囲に及ぶ顔認識技術のうちの任意の1つ以上を使用してよい。広範囲に及ぶ顔認識技術は、以下のものに限定されないが、例えば、目、鼻、ほお骨、顎などの相対的な位置、サイズ又は形状の分析を含んでよい。
実施形態において、音声認識エンジン204aは、例えば、オンラインサービスにログインするために必要なパスフレーズを、音声入力により提供できるようにするために、音声入力の意味内容を識別するように更に構成されてもよい。他の実施形態では、音声及び顔認識エンジン204a及び204bは、音声入力が、一連の画像入力との比較で見受けられる唇(又は口)の動きに同期して減衰(又は発音)しているか否かを確認するために協調するように更に構成されてもよい。同期の確認は、2つのエンジン204a及び204bの分析に基づいて、エンジン204a及び204bの双方に対する共通インタフェースによりなされてもよい。他の実施形態では、音声及び顔認識エンジン204a及び204bは、音声入力が、比較される画像入力に対して位置の観点から同期(又は合致)しているか否か、すなわち、音声入力を提供する音源の位置が、画像入力の対象の位置と同じであるか否かを、協調して確認するように更に構成されてもよい。実施形態において、クライアント102は、例えば他の入力装置126の1つであるグローバルポジショニングシステム(GPS)コンポーネントのような測位サービスを含んでもよい。
図1を更に参照すると、サービスエージェント204は、クライアント装置102のユーザに、様々なオンラインサービスを提供及び/又は促進するように構成されてもよい。サービスエージェント及び促進されるサービスの具体例は、以下のものに限定されないが、例えば、ユーザがカスタマイズしたサービスを含むマルチメディアコンテンツサービスを提供することを促すように構成されるマルチメディアプレーヤ、電子商取引又は金融サービスにアクセスすることを促すように構成されるブラウザ等を含んでよい。これらのマルチメディアプレーヤ及びブラウザは、音声及び顔認識エンジン204a及び204bにより提供されるマルチレベル確認サービスを利用するように改善されるバージョンであろう。音声及び顔認識エンジン204a及び204bにより提供されるマルチレベル確認サービスを利用することを除いて、サービスエージェント204は、クライアントサービスで見出される広範囲に及ぶサービスエージェントを表現するように意図され、クライアントサービスは、マルチメディアプレーヤ、ブラウザ又はサービス固有のアプリケーション等を含むがこれらに限定されない。
実施形態において、プレゼンテーションエンジン134は、ユーザの選択/入力に応答して、ディスプレイに表示されるコンテンツを提供するように構成される。ユーザインタフェースエンジン136は、ユーザの選択/入力をユーザから受けるように構成される。更に、様々な実施形態において、プレゼンテーションエンジン136及びユーザエンジン136は、何らかのユーザコマンドに応答する間のユーザの体感を改善するために、コンテンツのプレゼンテーションの適応(adaptation)を実行し、適応はユーザコマンドに対する形式的な応答に加わる。この点については、例えば、2012年12月26日付けで出願された「CONTENT PRESENTATION WITH ENHANCED USER EXPERIENCE」と題する米国特許出願第13/727,138号を参照されたい。
ディスプレイ124は当該技術分野で知られる広範囲に及ぶ表示装置/スクリーン(画面)を表現するように意図されており、入力装置126は当該技術分野で知られる広範囲に及ぶ入力装置を表現するように意図されており、例えば、(ハード又はソフト)キーボード及びカーソル制御装置、音声入力のためのマイクロフォン、画像入力のためのカメラ等を含むがこれらに限定されない。クライアント装置102の一部として図示されているが、ディスプレイ124及び/又はユーザ入力装置126は、クライアント装置102の様々な実施形態に関し、スタンドアローン装置であってもよいし或いは組み込まれていてもよい。例えば、テレビジョンの構成の場合、ディスプレイ124はスタンドアローンのテレビジョンセット、液晶ディスプレイ(LCD)、プラズマ等であってもよい一方、要素204、206、134及び136は別個のセットトップボックスの一部であってもよく、他のユーザ入力装置126は別個のリモート制御部又はキーボードであってもよい。同様に、デスクトップコンピュータ構成の場合、要素204、206、134及び136とのコンピューティングプラットフォームを収容する筐体、ディスプレイ124、及び、他の入力装置126は、全て別個のスタンドアローンユニットであってもよい。一方、ラップトップ、ウルトラブック、タブレット又はスマートフォンの構成の場合、要素204、206、134及び136、ディスプレイ124、及び、他の入力装置126は、1つのフォームファクタ(form factor)の中に一緒に組み込まれてもよい。更に、タブレット又はスマートフォン構成の場合、接触感知式(又はタッチ検出)ディスプレイスクリーンが他のユーザ入力装置126のうちの何れかとして機能し、要素204、206、134及び136が、ユーザ入力装置126のうちの何れかを含むソフトキーボードを有するコンピューティングプラットフォームのコンポーネントであってもよい。
ネットワーク106は、プライベート及び/又はパブリック、有線及び/又は無線、ローカル及び/又はワイドエリアネットワークの任意の組み合わせであってよい。プライベートネットワークは、例えば企業ネットワークを含んでよいが、これに限定されない。パブリックネットワークは、例えばインターネットを含んでよいが、これに限定されない。有線ネットワークは、例えばイーサーネット(登録商標)を含んでよいが、これに限定されない。無線ネットワークは、例えばWi-Fi、3G/4G及び将来的なネットワークを含んでよいが、これに限定されない。サーバの側において、ネットワーク106はゲートウェイ及びファイヤウォールとともに1つ以上のローカルエリアネットワークを含み、ゲートウェイ及びファイヤウォールを介してサーバ104はクライアント装置102との通信を行うことが、認められるであろう。同様に、クライアント装置の側において、ネットワーク106は基地局及び/又はアクセスポイントを含み、基地局及び/又はアクセスポイントを通じてクライアント装置102はサーバ104と通信する。クライアント装置102及びサーバ104の各々の中に、通信/ネットワークインタフェースが存在し、2つの両端の間において、任意の数のネットワークルータ、スイッチ及び他のネットワーキング装置が存在してもよい。しかしながら、理解を容易にするために、これらの通信/ネットワークインタフェース、ゲートウェイ、ファイヤウォール、ルータ、スイッチ、基地局、アクセスポイント等は図示されていない。
図2を参照すると、様々な実施形態に従ってコンテンツを提供するプロセス例が示されている。図示されるように、プロセス300はブロック302から始まり、最初の音声及び/又は顔の身元確認が、音声及び顔認識エンジン204a及び204bにより設定される。上述したように、最初の音声認識は、上述した多数の音声認識技術のうちの何れかを利用して、ユーザの音声入力と複数の音声テンプレートとを比較する音声認識エンジン204aによりなされてもよい。上述した多数の顔特徴分析技術うちの何れかを利用して、ユーザを含む画像入力と複数のリファレンス画像とを比較する顔認識エンジン204bにより、最初の顔認識がなされてもよい。更に、上述したように、初期の音声及び顔認識は、音声及び顔認識エンジン204a及び204bにより協調してなされてもよい。
ブロック302から、プロセス300はブロック304に進む。ブロック304では、例えば各々のサービスエージェント206により、サービスが要求されるか否かについての判断がなされる。例えば、何れかのサービスエージェント206による判断結果が、そのサービスエージェントに関し、サービスエージェント206についてのサービスが要求されていることを示す場合、プロセス300はブロック304からブロック306に進む。ブロック306において、ユーザの現在の確認レベルは、要求されるサービスに対するアクセスを許可できる程度に充分又は適切であるか否かについての別の判断が、例えばサービスエージェント206によりなされる。判断結果が、サービスエージェント206に関し、現在の確認レベルは要求されるサービスに対するアクセスを許可できる程度に充分又は適切であることを示す場合、プロセス300はブロック306からブロック310に進む。
判断結果が、現在の確認レベルは要求されるサービスに対するアクセスを許可できる程度には充分でない又は適切でないことを示す場合、プロセス300はブロック306からブロック308に進む。ブロック308では、追加的なレベルの身元確認が試みられる。上述されるように、身元確認の追加的なレベルは、別の音声入力によるパスフレーズを提供するようにユーザに求めることを含んでもよい。音声認識エンジン204aは、追加的な音声入力の意味内容を分析し、その意味内容が期待(予想)/要求されるパスフレーズに合致するか否かを判断する。更に、必要に応じて、口合わせ(lip synchronization)及び/又は場所の適合性(location synchronization)の確認などのような追加的なレベルの確認が試みられてもよい。
確認に成功した場合(成功)、サービスエージェント206に関し、プロセス300はブロック308からブロック306に戻り、現在の確認レベルの有効性を確認する。上述したように、要求される確認レベルが整っている旨の判断である場合、そのサービスエージェント206に関し、プロセスはブロック306からブロック310に進む。ブロック310では、サービスエージェント206は、要求されるサービスを提供又は促進する。その後、サービスエージェント206に関し、プロセスはブロック314に進み、ブロック304に進み、サービスリクエストを待機する他のサービスエージェント206に再び加わる。ブロック304以降、プロセス300は上述したように続く。
一方、ブロック308において、プロセス300が、サービスエージェント206に関し、要求されるサービスを提供するために必要な追加的なレベルの確認を得ることに失敗した場合、プロセス300はブロック312に進む。ブロック312では、サービスエージェント206は、要求されるサービスを拒否し、ブロック304に戻る。再び、ブロック304から、プロセス300は上述したように続く。
ブロック304に戻り、判定結果が、サービスは要求されてないことを示す場合、プロセス30の終了が要求されるか否かについての別の判断がなされる。要求されてない場合、プロセス300はブロック304に戻り、サービス要求を待機する。プロセス300の終了が要求される場合、プロセス300は終了する。
上述したように、実施形態では、サービスは、利用するためにカスタマイズされたマルチメディアコンテンツの提供、電子商取引及び/又は金融サービスを含んでよい。例えば、カスタマイズされるマルチメディアコンテンツの提供に関し、要求される確認レベルの設定の際に、マルチメディアプレーヤは、以下のものに限定されないが、それらを含むマルチメディアのプレゼンテーションの仕方を適合させてもよい：
＿ 確認されたユーザの好みを自動的にロードすること
＿ 確認されたユーザの好みのチャネル又は最後に視聴したチャネル/映画に切り替えること
＿ 現在のやりとり(conversation)を更に理解するために、確認されたユーザとセットトップボックスとの間のやりとりの履歴をロードすること
＿ 確認されたユーザに特有の警報(アラート)、通知及びカレンダをロードすること
＿ 確認されたユーザの視聴履歴に基づいてチャネル/コンテンツを推薦(レコメンド)すること
＿ 確認されたユーザに具体的に標的を絞った広告を表示すること
＿ 確認されたユーザの電子メールを取り出すこと
＿ 確認されたユーザ用にフィルタリングされた又は確認されたユーザが加入したニュース(又は情報)を表示すること
＿ より適切な情報を配信するために、確認されたユーザの行動を分析すること
＿ テレビ電話のスピーカを特定し、そのスピーカの情報を表示すること
＿ 確認されたユーザからのサービス呼に対する応答をカスタマイズすること。
別のサービスの状況では、ログインを必要とするサービスが次のようにして提供されてもよい：
1) ユーザはクライアント装置に「Hi(こんにちは)」と喋ることによって処理を開始してもよい。
2) クライアント装置は、音声についての音声バイオメトリック(音声の生体情報)を分析し、登録されたユーザのバイオメトリックデータベースの中で合致するものを見出し；クライアント装置は、確認されたユーザの情報をロードし、例えば、「こんにちは、デービッド(David)様、どんなご用でしょうか？」と音声で喋ることによって、確認されたユーザに応答する。
3) ユーザであるデービッドは、次に、「ユーチューブ(Youtube)に私をログインさせて下さい」とクライアント装置に喋る。
4) クライアント装置は、ログインが追加的な確認レベルを要すると判断し、音声により、例えば「カメラの方を向いて、あなたのパスフレーズを言って下さい」と喋ることによって応答する。
5) ユーザであるデービッドは、次に、カメラの方を向いて、「こちらはデービッドです」と喋る。
6) クライアント装置は、次に、ユーザの顔と音声の双方がデータベース中のユーザの情報に合致することを確認し、声により及び顔によりデービッドであることを確認した後に、クライアント装置は、デービッドのユーチューブのログインのためのユーザ名及びパスワードをロードする処理を進め、デービッドを彼のユーチューブアカウントにログインさせる。
更に別のサービスの状況では、銀行サービスのような非常にハイレベルの確認を要するサービスが、オンライン購入のために自身の銀行口座からお金を振り込むことを希望するユーザに次のようにして提供される：
＿ 初期確認済みのユーザは、クライアント装置のカメラに対して、自身の銀行カードを保持しつつ、「こんにちは、これは私の銀行カードです」と喋る；
＿ クライアント装置は、先ず、銀行カード番号と銀行名とを特定し、より高い確認レベルが必要とされる、と判断する；
＿ 確認の際、クライアント装置は、例えば「カメラに向いて、あなたの銀行パスフレーズを言って下さい」と喋ることによって応答してもよい；
＿ そして、ユーザは、カメラの方を向き、「デービッドです。誕生日は1980年8月です。」と喋ることによって応答する。
＿ 応答の際、音声入力の内容を把握することに加えて、クライアント装置は以下のことを実行してもよい：
a. 画像入力から見えるユーザの口の動きが音声入力に同期しているか否かを検査すること；
b. 音源として認められるユーザの位置が、視覚的な認識において認められるユーザの位置と同じであるか否かを検査すること；
c. (ビデオ記録のごまかし(又は不正)を防止するために)ユーザの環境が、確認された場所に合致するか否かを検査及び判断すること；
d. 全ての追加的な検査/確認に合格したと判断される場合に、クライアント装置は、ユーザのログイン情報及び音声パスフレーズを銀行システムに送信する処理を進める；
e. 更に、銀行システムが取引成功の結果を返した後に、クライアント装置は取引が成功したことを事後的にユーザに通知する。
図3を参照すると、様々な実施形態によるクライアント装置として使用するのに相応しい例示的なコンピュータが示されている。図示されるように、コンピュータ400は、1つ以上のプロセッサ又はプロセッサコア402とシステムメモリ404とを含んでよい。特許請求の範囲を含む本願の目的に関し、「プロセッサ」及び「プロセッサコア」という用語は、文脈上明示的に断りのない限り、同義であると考えられてよい。更に、コンピュータ400は、大容量ストレージ装置406(例えば、ディスケット、ハードドライブ、コンパクトディスクリードオンリメモリ(CD-ROM)等)と、入力/出力装置408(例えば、ディスプレイ、キーボード、カーソル制御部等)と、通信インタフェース410(例えば、ネットワークインタフェースカード、モデム等)とを含んでよい。各要素は、1つ以上のバスを表現するシステムバス412を介して互いに結合されてもよい。複数のバスがある場合、それらは1つ以上のバスブリッジ(図示せず)によりブリッジされてもよい。
これらの要素の各々は当該技術分野で知られる従来の機能を実行してもよい。特に、システムメモリ404及び大容量ストレージ装置406は、プログラミング命令のワーキングコピー及びパーマネントコピーを保存するために使用され、プログラミング命令は上述したクライアント装置102による図2の方法300を実行することに関連する処理を実現する。様々な要素は、例えば、そのような命令にコンパイルされることが可能なCのような高級言語又はプロセッサによりサポートされるアセンブラ命令により実現されてもよい。
プログラミング命令のパーマネントコピーは、工場内で、或いは、出荷後に例えばコンパクトディスク(CD)のような配布媒体(図示せず)を介して、或いは、(配布サーバ(図示せず)から)通信インタフェース410を介して、永続的なストレージ装置406内に配置されてもよい。すなわち、エージェントプログラムの実現手段を有する1つ以上の配布媒体が、エージェント及びプログラムを様々なコンピュータ装置に配布するために使用されてよい。
図4は、例示的な非一時的なコンピュータ読み取り可能なストレージ媒体(記憶媒体)を示し、ストレージ媒体は、様々な実施形態による上述した図2の方法300に関連する処理のうち全部又は選択されたものを実現するように構成される命令を有する。図示されるように、非一時的なコンピュータ読み取り可能なストレージ媒体502は、複数のプログラミング命令504を含んでよい。プログラミング命令504は、例えばコンピュータ400のような装置が、プログラミング命令の実行に応答して、例えば図2のプロセス300の様々な処理を実行することを可能にするように構成され、様々な処理は、以下のものに限定されないが、例えば、1つ以上のユーザ確認レベルを設定すること、及び、設定された音声/顔の認識レベルに基づいてサービスを提供/促進することに関連して実行される処理である。
図3を再び参照すると、一実施形態に関し、少なくとも1つのプロセッサ402は、図2のプロセスの一形態を実現するように構成される演算論理装置422と一緒にパッケージされてもよい。一実施形態に関し、少なくとも1つのプロセッサ402は、図2のプロセスの一形態を実現するように構成される演算論理装置422と一緒にパッケージされ、システムインパッケージ(SiP)を形成してもよい。一実施形態に関し、少なくとも1つのプロセッサ402は、図2のプロセスの一形態を実現するように構成される演算論理装置422と同じダイ(チップ)に組み込まれてもよい。一実施形態に関し、少なくとも1つのプロセッサ402は、図2のプロセスの一形態を実現するように構成される演算論理装置422と一緒にパッケージされ、システムオンチップ(SoC)を形成してもよい。少なくとも1つの実施形態に関し、SoCは例えばコンピューティングタブレットに使用されてもよいが、その例に限定されない。
以下、様々な実施形態を例示的に記述する。
具体例1は、音声認識エンジン及び顔認識エンジンを有する装置であり、それらは、各々により又は互いに協調して、複数の確認レベルで装置のユーザの確認を与える(提供する又はもたらす)ように構成される。装置はサービスエージェントを更に含み、サービスエージェントは、音声認識エンジン及び顔認識エンジンのうち少なくとも1つに結合され、少なくともサービスを受けるのに必要な確認レベルでユーザが確認された後に、ユーザにサービスを提供するように構成される。
具体例2は、具体例1において、前記音声認識エンジンが、音声入力に応答して第1確認レベルでユーザの確認を個別的に与え、顔認識エンジンと協調して、前記第1確認レベルより高い確認レベルである第2確認レベルで前記ユーザの確認を与えるように構成され、少なくとも前記第2確認レベルを要するサービスに対して前記ユーザを適格であるようにする。
具体例3は、具体例2において、前記音声認識エンジンが、前記音声入力と複数の音声テンプレートとの比較により、前記音声入力に応答して前記第1確認レベルで前記ユーザの確認を個別的に与えるように構成される。
具体例4は、具体例3において、周波数推定技術、マルコフモデル技術、ガウシアン混合モデル技術、パターンマッチング技術、ニューラルネットワーク技術、マトリクス表現技術、ベクトル量子化技術又はデシジョンツリー技術のうちの何れかを使用して、前記音声認識エンジンが、前記音声入力と前記複数の音声テンプレートとを比較するように構成される。
具体例5は、具体例2において、前記音声入力が第1音声入力であり、前記音声認識エンジンは、前記第1音声入力と複数の音声テンプレートとを比較することにより、前記第1音声入力に応答して、前記第1確認レベルで前記ユーザの確認を個別的に与えるように構成され；前記音声認識エンジンは、第2音声入力に応答して、前記第2確認レベルより高い確認レベルである第3確認レベルで前記ユーザの確認を個別的に与えるように更に構成され、少なくとも前記第3確認レベルを要するサービスに対して前記ユーザを適格であるようにする。
具体例5は、具体例2において、前記音声入力が第1音声入力であり、前記音声認識エンジンは、前記第1音声入力と複数の音声テンプレートとを比較することにより、前記第1音声入力に応答して、前記第1確認レベルで前記ユーザの確認を個別的に与えるように構成され；前記音声認識エンジンは、第2音声入力に応答して、前記第2確認レベルより高い確認レベルである第3確認レベルで前記ユーザの確認を個別的に与えるように更に構成され、少なくとも前記第3確認レベルを要するサービスに対して前記ユーザを適格であるようにする。
具体例6は、具体例5において、前記音声認識エンジンが、前記第2音声入力の意味内容を判定し、前記第2音声入力の意味内容と意味のリファレンスとを比較するように構成される。
具体例7は、具体例6において、前記意味のリファレンスがパスフレーズである。
具体例8は、具体例1において、前記顔認識エンジンが、画像入力に応答して、第1確認レベルでユーザの確認を個別的に与え、前記音声認識エンジンと協調して、前記第1確認レベルより高い確認レベルである第2確認レベルで前記ユーザの確認を与えるように構成され、少なくとも前記第2確認レベルを要するサービスに対して前記ユーザを適格であるようにする。
具体例9は、具体例8において、前記顔認識エンジンが、前記画像入力と複数のリファレンス画像との比較により、前記第1確認レベルで前記ユーザの確認を個別的に与えるように構成される。
具体例10は、具体例9において、前記顔認識エンジンが、少なくとも、目、鼻、ほお骨又は顎の相対的な位置、サイズ又は形状の分析により、前記画像入力と前記複数のリファレンス画像とを比較するように構成される。
具体例11は、具体例1〜10のうちの何れかであり、前記サービスエージェントが、前記音声認識エンジン及び前記顔認識エンジンの双方による前記ユーザについての第1及び第2確認を含む確認レベルを要するカスタム化されたマルチメディアプレゼンテーションサービスを提供するように構成される。
具体例12は、具体例1〜10のうちの何れかであり、前記サービスエージェントがオンラインサービスに対するアクセスを促すように構成され、前記オンラインサービスは、第1音声入力及び画像入力にそれぞれ基づく前記音声認識エンジン及び前記顔認識エンジンの双方による前記ユーザについての第1及び第2確認と、第2音声入力の意味内容に基づく前記音声認識エンジンによる第3確認とを含む確認レベルを要する。
具体例13は、具体例1〜10のうちの何れかであり、前記サービスエージェントがオンラインサービスに対するアクセスを促すように構成され、前記オンラインサービスは、第1音声入力及び画像入力にそれぞれ基づく前記音声認識エンジン及び前記顔認識エンジンの双方による前記ユーザについての第1及び第2確認と、第2音声入力の意味内容に基づく前記音声認識エンジンによる第3確認と、前記音声認識エンジン及び前記顔認識エンジンの双方を利用する少なくとも第4確認とを含む確認レベルを要する。
具体例14は、具体例13において、前記第4確認が、前記音声認識エンジンに対するリアルタイムの音声入力と、前記顔認識エンジンに対するリアルタイムの画像入力における口の動きとの同時性を確認することを含む。
具体例15は、具体例13において、前記第4確認が、前記音声認識エンジンに対して音声入力を提供する音源の場所と、前記顔認識エンジンに対する画像入力に基づいて決定されるユーザの場所との合致性を確認することを含む。
具体例16は、具体例13において、前記オンラインサービスがオンライン金融サービスである。
具体例17は、具体例1〜10のうちの何れかにおいて、当該装置が、テレビジョンセット、セットトップボックス、スマートフォン、コンピューティングタブレット、ウルトラブック、ラップトップコンピュータ又はデスクトップコンピュータのうち選択されたものである。
具体例18は、サービスを提供する方法である。本方法は、コンピューティング装置が、音声認識エンジン、顔認識エンジン又は双方により個別的に又は互いに協調して、前記コンピューティング装置のユーザの確認を複数の確認レベルで与えるステップと；前記コンピューティング装置が、少なくとも前記サービスを受けるのに必要な確認レベルで前記ユーザが確認された後に、前記ユーザにサービスを提供するステップとを含む。
具体例19は、具体例18において、ユーザの確認を与えることが、前記音声認識エンジンが、音声入力に応答して第1確認レベルでユーザの確認を個別的に与え、前記顔認識エンジンと協調して、前記第1確認レベルより高い確認レベルである第2確認レベルで前記ユーザの確認を与えることを含み、少なくとも前記第2確認レベルを要するサービスに対して前記ユーザを適格であるようにする。
具体例20は、具体例19において、前記音声認識エンジンがユーザの確認を個別的に与えることが、前記音声認識エンジンが、前記音声入力と複数の音声テンプレートとの比較により、前記音声入力に応答して前記第1確認レベルで前記ユーザの確認を個別的に与えることを含む。
具体例21は、具体例20において、前記音声認識エンジンが前記音声入力と複数の音声テンプレートとを比較することが、周波数推定技術、マルコフモデル技術、ガウシアン混合モデル技術、パターンマッチング技術、ニューラルネットワーク技術、マトリクス表現技術、ベクトル量子化技術又はデシジョンツリー技術のうちの何れかを使用して、前記音声認識エンジンが前記音声入力と前記複数の音声テンプレートとを比較する。
具体例22は、具体例19において、前記音声入力が第1音声入力であり、前記音声認識エンジンは、前記第1音声入力と複数の音声テンプレートとを比較することにより、前記第1音声入力に応答して、前記第1確認レベルで前記ユーザの確認を個別的に与え；前記音声認識エンジンは、更に、第2音声入力に応答して、前記第2確認レベルより高い確認レベルである第3確認レベルで前記ユーザの確認を個別的に与え、少なくとも前記第3確認レベルを要するサービスに対して前記ユーザを適格であるようにする。
具体例23は、具体例22において、前記音声認識エンジンが第2音声入力に応答して第3確認レベルで前記ユーザの確認を個別的に与えることが、前記音声認識エンジンが、前記第2音声入力の意味内容を判定し、前記第2音声入力の意味内容と意味のリファレンスとを比較することを含む。
具体例24は、具体例23において、前記意味のリファレンスがパスフレーズである。
具体例25は、具体例18において、顔認識エンジンにより複数の確認レベルで前記コンピューティング装置のユーザの確認を与えることが、前記顔認識エンジンが、画像入力に応答して、第1確認レベルでユーザの確認を個別的に与え、前記音声認識エンジンと協調して、前記第1確認レベルより高い確認レベルである第2確認レベルで前記ユーザの確認を与えるように構成され、少なくとも前記第2確認レベルを要するサービスに対して前記ユーザを適格であるようにする。
具体例26は、具体例25において、前記顔認識エンジンがユーザの確認を個別的に与えることが、前記顔認識エンジンが、前記画像入力と複数のリファレンス画像とを比較することにより、前記第1確認レベルで前記ユーザの確認を個別的に与えることを含む。
具体例27は、具体例26において、前記顔認識エンジンが、前記画像入力と複数のリファレンス画像とを比較することにより、前記第1確認レベルで前記ユーザの確認を個別的に与えることが、前記顔認識エンジンが、少なくとも、目、鼻、ほお骨又は顎の相対的な位置、サイズ又は形状の分析により、前記画像入力と前記複数のリファレンス画像とを比較することを含む。
具体例28は、具体例18〜27のうちの何れかであり、少なくとも前記サービスを受けるのに必要な確認レベルで前記ユーザが確認された後に、前記ユーザにサービスを提供することが、前記音声認識エンジン及び前記顔認識エンジンの双方による前記ユーザについての第1及び第2確認を含む確認レベルを要するカスタム化されたマルチメディアプレゼンテーションサービスを提供することを含む。
具体例29は、具体例18〜27のうちの何れかであり、少なくとも前記サービスを受けるのに必要な確認レベルで前記ユーザが確認された後に、前記ユーザにサービスを提供することが、オンラインサービスに対するアクセスを促すことを含み、前記オンラインサービスは、第1音声入力及び画像入力にそれぞれ基づく前記音声認識エンジン及び前記顔認識エンジンの双方による前記ユーザについての第1及び第2確認と、第2音声入力の意味内容に基づく前記音声認識エンジンによる第3確認とを含む確認レベルを要する。
具体例30は、具体例18〜27のうちの何れかであり、少なくとも前記サービスを受けるのに必要な確認レベルで前記ユーザが確認された後に、前記ユーザにサービスを提供することが、オンラインサービスに対するアクセスを促すことを含み、前記オンラインサービスは、第1音声入力及び画像入力にそれぞれ基づく前記音声認識エンジン及び前記顔認識エンジンの双方による前記ユーザについての第1及び第2確認と、第2音声入力の意味内容に基づく前記音声認識エンジンによる第3確認と、前記音声認識エンジン及び前記顔認識エンジンの双方を利用する少なくとも第4確認とを含む確認レベルを要する。
具体例31は、具体例30において、前記第4確認が、前記音声認識エンジンに対するリアルタイムの音声入力と、前記顔認識エンジンに対するリアルタイムの画像入力における口の動きとの同時性を確認することを含む。
具体例32は、具体例30において、前記第4確認が、前記音声認識エンジンに対して音声入力を提供する音源の場所と、前記顔認識エンジンに対する画像入力に基づいて決定されるユーザの場所との合致性を確認することを含む。
具体例33は、具体例30において、前記オンラインサービスがオンライン金融サービスを含む。
具体例34は、命令の実行に応答して、具体例18〜33のうちの何れかの方法をクライアント装置に実行させるように構成される複数の命令を有する少なくとも1つのストレージ媒体である。
説明の目的で所定の実施形態が本明細書で説明及び記述されているが、本願の開示範囲から逸脱することなく、説明及び記述された実施形態に対して、同じ目的を達成するように考えられる広範囲に及ぶ代替及び/又は均等な実施形態又は実現手段が代用されてもよい。本願はここで説明される実施形態についての任意の応用例又は変形例を包含するように意図される。従って、本願で説明される実施形態は特許請求の範囲によってのみ限定されることが明らかに意図されている。
本説明は「ある」又は「第1の」要素又はそれらと同様なものを述べているが、そのような説明は、1つ以上のそのような要素を含んでおり、2つ以上のそのような要素を必須としたり排除したりすることを意図していない。更に、識別される要素に対する序数的なインジケータ(例えば、第1、第2又は第3)は、要素同士を区別するために使用されており、明示的に断らない限り、そのような要素の必要数や限定数を示すものでも暗示するものでもなく、そのような要素の特定の場所や順番を示してもいない。

Claims (26)

  1. 装置であって、
    個別的に又は互いに協調して、複数の確認レベルで当該装置のユーザの確認を与えるように構成される音声認識エンジン及び顔認識エンジン；及び
    前記音声認識エンジン及び顔認識エンジンのうち少なくとも1つに結合され、少なくともサービスを受けるのに必要な確認レベルで前記ユーザが確認された後に、前記ユーザに前記サービスを提供するように構成されるサービスエージェント；
    を有する装置。
  2. 前記音声認識エンジンが、音声入力に応答して第1確認レベルでユーザの確認を個別的に与え、前記顔認識エンジンと協調して、前記第1確認レベルより高い確認レベルである第2確認レベルで前記ユーザの確認を与えるように構成され、少なくとも前記第2確認レベルを要するサービスに対して前記ユーザを適格であるようにする、請求項1に記載の装置。
  3. 前記音声認識エンジンが、前記音声入力と複数の音声テンプレートとの比較により、前記音声入力に応答して前記第1確認レベルで前記ユーザの確認を個別的に与えるように構成される、請求項2に記載の装置。
  4. 周波数推定技術、マルコフモデル技術、ガウシアン混合モデル技術、パターンマッチング技術、ニューラルネットワーク技術、マトリクス表現技術、ベクトル量子化技術又はデシジョンツリー技術のうちの何れかを使用して、前記音声認識エンジンが、前記音声入力と前記複数の音声テンプレートとを比較するように構成される、請求項3に記載の装置。
  5. 前記音声入力が第1音声入力であり、前記音声認識エンジンは、前記第1音声入力と複数の音声テンプレートとを比較することにより、前記第1音声入力に応答して、前記第1確認レベルで前記ユーザの確認を個別的に与えるように構成され；前記音声認識エンジンは、第2音声入力に応答して、前記第2確認レベルより高い確認レベルである第3確認レベルで前記ユーザの確認を個別的に与えるように更に構成され、少なくとも前記第3確認レベルを要するサービスに対して前記ユーザを適格であるようにする、請求項2に記載の装置。
  6. 前記音声認識エンジンが、前記第2音声入力の意味内容を判定し、前記第2音声入力の意味内容と意味のリファレンスとを比較するように構成される、請求項5に記載の装置。
  7. 前記意味のリファレンスがパスフレーズである、請求項6に記載の装置。
  8. 前記顔認識エンジンが、画像入力に応答して、第1確認レベルでユーザの確認を個別的に与え、前記音声認識エンジンと協調して、前記第1確認レベルより高い確認レベルである第2確認レベルで前記ユーザの確認を与えるように構成され、少なくとも前記第2確認レベルを要するサービスに対して前記ユーザを適格であるようにする、請求項1に記載の装置。
  9. 前記顔認識エンジンが、前記画像入力と複数のリファレンス画像との比較により、前記第1確認レベルで前記ユーザの確認を個別的に与えるように構成される、請求項8に記載の装置。
  10. 前記顔認識エンジンが、少なくとも、目、鼻、ほお骨又は顎の相対的な位置、サイズ又は形状の分析により、前記画像入力と前記複数のリファレンス画像とを比較するように構成される、請求項9に記載の装置。
  11. 前記サービスエージェントが、前記音声認識エンジン及び前記顔認識エンジンの双方による前記ユーザについての第1及び第2確認を含む確認レベルを要するカスタム化されたマルチメディアプレゼンテーションサービスを提供するように構成される、請求項1〜10のうち何れか1項に記載の装置。
  12. 前記サービスエージェントが、第1音声入力及び画像入力にそれぞれ基づく前記音声認識エンジン及び前記顔認識エンジンの双方による前記ユーザについての第1及び第2確認と、第2音声入力の意味内容に基づく前記音声認識エンジンによる第3確認とを含む確認レベルを要するオンラインサービスに対するアクセスを促すように構成される、請求項1〜10のうち何れか1項に記載の装置。
  13. 前記サービスエージェントが、第1音声入力及び画像入力にそれぞれ基づく前記音声認識エンジン及び前記顔認識エンジンの双方による前記ユーザについての第1及び第2確認と、第2音声入力の意味内容に基づく前記音声認識エンジンによる第3確認と、前記音声認識エンジン及び前記顔認識エンジンの双方を利用する少なくとも第4確認とを含む確認レベルを要するオンラインサービスに対するアクセスを促すように構成される、請求項1〜10のうち何れか1項に記載の装置。
  14. 前記第4確認が、前記音声認識エンジンに対するリアルタイムの音声入力と、前記顔認識エンジンに対するリアルタイムの画像入力における口の動きとの同時性を確認することを含む、請求項13に記載の装置。
  15. 前記第4確認が、前記音声認識エンジンに対して音声入力を提供する音源の場所と、前記顔認識エンジンに対する画像入力に基づいて決定されるユーザの場所との合致性を確認することを含む、請求項13に記載の装置。
  16. サービスを提供するためにコンピュータにより実行される方法であって、
    コンピューティング装置が、音声認識エンジン、顔認識エンジン又は双方により個別的に又は互いに協調して、前記コンピューティング装置のユーザの確認を複数の確認レベルで与えるステップ；及び
    前記コンピューティング装置が、少なくとも前記サービスを受けるのに必要な確認レベルで前記ユーザが確認された後に、前記ユーザにサービスを提供するステップ；
    を有する方法。
  17. ユーザの確認を与えることは、前記音声認識エンジンが、音声入力に応答して第1確認レベルでユーザの確認を個別的に与え、前記顔認識エンジンと協調して、前記第1確認レベルより高い確認レベルである第2確認レベルで前記ユーザの確認を与えることを含み、少なくとも前記第2確認レベルを要するサービスに対して前記ユーザを適格であるようにする、請求項16に記載の方法。
  18. 前記音声入力が第1音声入力であり、前記音声認識エンジンは、前記第1音声入力と複数の音声テンプレートとを比較することにより、前記第1音声入力に応答して、前記第1確認レベルで前記ユーザの確認を個別的に与え；前記音声認識エンジンは、更に、第2音声入力に応答して、前記第2確認レベルより高い確認レベルである第3確認レベルで前記ユーザの確認を個別的に与え、少なくとも前記第3確認レベルを要するサービスに対して前記ユーザを適格であるようにする、請求項16に記載の方法。
  19. 前記音声認識エンジンが第2音声入力に応答して第3確認レベルで前記ユーザの確認を個別的に与えることは、前記音声認識エンジンが、前記第2音声入力の意味内容を判定し、前記第2音声入力の意味内容と意味のリファレンスとを比較することを含む、請求項18に記載の方法。
  20. 顔認識エンジンにより前記コンピューティング装置のユーザの確認を複数の確認レベルで与えることは、前記顔認識エンジンが、画像入力に応答して、第1確認レベルでユーザの確認を個別的に与え、前記音声認識エンジンと協調して、前記第1確認レベルより高い確認レベルである第2確認レベルで前記ユーザの確認を与えることを含み、少なくとも前記第2確認レベルを要するサービスに対して前記ユーザを適格であるようにする、請求項16に記載の方法。
  21. 少なくとも前記サービスを受けるのに必要な確認レベルで前記ユーザが確認された後に、前記ユーザにサービスを提供することが、前記音声認識エンジン及び前記顔認識エンジンの双方による前記ユーザについての第1及び第2確認を含む確認レベルを要するカスタム化されたマルチメディアプレゼンテーションサービスを提供することを含む、請求項16〜20のうち何れか1項に記載の方法。
  22. 少なくとも前記サービスを受けるのに必要な確認レベルで前記ユーザが確認された後に、前記ユーザにサービスを提供することが、第1音声入力及び画像入力にそれぞれ基づく前記音声認識エンジン及び前記顔認識エンジンの双方による前記ユーザについての第1及び第2確認と、第2音声入力の意味内容に基づく前記音声認識エンジンによる第3確認とを含む確認レベルを要するオンラインサービスに対するアクセスを促すことを含む、請求項16〜20のうち何れか1項に記載の方法。
  23. 少なくとも前記サービスを受けるのに必要な確認レベルで前記ユーザが確認された後に、前記ユーザにサービスを提供することが、第1音声入力及び画像入力にそれぞれ基づく前記音声認識エンジン及び前記顔認識エンジンの双方による前記ユーザについての第1及び第2確認と、第2音声入力の意味内容に基づく前記音声認識エンジンによる第3確認と、前記音声認識エンジン及び前記顔認識エンジンの双方を利用する少なくとも第4確認とを含む確認レベルを要するオンラインサービスに対するアクセスを促すことを含む、請求項16〜20のうち何れか1項に記載の方法。
  24. 前記第4確認が、前記音声認識エンジンに対するリアルタイムの音声入力と、前記顔認識エンジンに対するリアルタイムの画像入力における口の動きとの同時性を確認することを含む、請求項23に記載の方法。
  25. 前記第4確認が、前記音声認識エンジンに対して音声入力を提供する音源の場所と、前記顔認識エンジンに対する画像入力に基づいて決定されるユーザの場所との合致性を確認することを含む、請求項23に記載の方法。
  26. 複数の命令を有する少なくとも1つの記憶媒体であって、前記複数の命令は、前記命令の実行に応答して、請求項18〜25のうち何れか1項に記載の方法をクライアント装置に実行させるように構成される、記憶媒体。
JP2015556364A 2013-03-14 2013-03-14 サービスを提供するための装置、方法、コンピュータプログラム及び記憶媒体 Active JP6093040B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/072590 WO2014139117A1 (en) 2013-03-14 2013-03-14 Voice and/or facial recognition based service provision

Publications (2)

Publication Number Publication Date
JP2016517548A true JP2016517548A (ja) 2016-06-16
JP6093040B2 JP6093040B2 (ja) 2017-03-08

Family

ID=51535810

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015556364A Active JP6093040B2 (ja) 2013-03-14 2013-03-14 サービスを提供するための装置、方法、コンピュータプログラム及び記憶媒体

Country Status (6)

Country Link
US (1) US9218813B2 (ja)
EP (1) EP2974124A4 (ja)
JP (1) JP6093040B2 (ja)
KR (1) KR101731404B1 (ja)
CN (1) CN104995865B (ja)
WO (1) WO2014139117A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019062281A (ja) * 2017-09-25 2019-04-18 キヤノン株式会社 音声情報による入力を受け付ける情報処理端末、方法、その情報処理端末を含むシステム
JP2022523921A (ja) * 2020-03-24 2022-04-27 楽天グループ株式会社 生体（ｌｉｖｅｎｅｓｓ）検出検証方法、生体検出検証システム、記録媒体、及び生体検出検証システムの訓練方法

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9887983B2 (en) 2013-10-29 2018-02-06 Nok Nok Labs, Inc. Apparatus and method for implementing composite authenticators
US10270748B2 (en) 2013-03-22 2019-04-23 Nok Nok Labs, Inc. Advanced authentication techniques and applications
US9367676B2 (en) 2013-03-22 2016-06-14 Nok Nok Labs, Inc. System and method for confirming location using supplemental sensor and/or location data
US9961077B2 (en) 2013-05-30 2018-05-01 Nok Nok Labs, Inc. System and method for biometric authentication with device attestation
US10276026B2 (en) * 2013-12-06 2019-04-30 Vivint, Inc. Voice annunciated reminders and alerts
US9654469B1 (en) 2014-05-02 2017-05-16 Nok Nok Labs, Inc. Web-based user authentication techniques and applications
US9508360B2 (en) * 2014-05-28 2016-11-29 International Business Machines Corporation Semantic-free text analysis for identifying traits
US10148630B2 (en) 2014-07-31 2018-12-04 Nok Nok Labs, Inc. System and method for implementing a hosted authentication service
CN106034063A (zh) * 2015-03-13 2016-10-19 阿里巴巴集团控股有限公司 一种在通信软件中通过语音启动业务的方法及相应装置
US9431003B1 (en) 2015-03-27 2016-08-30 International Business Machines Corporation Imbuing artificial intelligence systems with idiomatic traits
DE102015206566A1 (de) * 2015-04-13 2016-10-13 BSH Hausgeräte GmbH Haushaltsgerät und Verfahren zum Betreiben eines Haushaltsgeräts
CN107635431B (zh) 2015-06-08 2022-01-11 化妆品科技有限责任公司 化妆品样品的自动分配系统
KR20170052976A (ko) * 2015-11-05 2017-05-15 삼성전자주식회사 모션을 수행하는 전자 장치 및 그 제어 방법
JP6756503B2 (ja) 2016-03-30 2020-09-16 株式会社ユニバーサルエンターテインメント 情報表示装置
CN107404381A (zh) * 2016-05-19 2017-11-28 阿里巴巴集团控股有限公司 一种身份认证方法和装置
EP3674851A1 (en) * 2016-07-07 2020-07-01 David Franklin Gesture-based user interface
US10769635B2 (en) 2016-08-05 2020-09-08 Nok Nok Labs, Inc. Authentication techniques including speech and/or lip movement analysis
WO2018027148A1 (en) * 2016-08-05 2018-02-08 Nok Nok Labs, Inc. Authentication techniques including speech and/or lip movement analysis
US10637853B2 (en) 2016-08-05 2020-04-28 Nok Nok Labs, Inc. Authentication techniques including speech and/or lip movement analysis
CN108134767A (zh) * 2016-12-01 2018-06-08 中兴通讯股份有限公司 一种接入方法及服务器
US20180189471A1 (en) * 2016-12-30 2018-07-05 Facebook, Inc. Visual CAPTCHA Based On Image Segmentation
US10237070B2 (en) 2016-12-31 2019-03-19 Nok Nok Labs, Inc. System and method for sharing keys across authenticators
US10091195B2 (en) 2016-12-31 2018-10-02 Nok Nok Labs, Inc. System and method for bootstrapping a user binding
US10178432B2 (en) 2017-05-18 2019-01-08 Sony Corporation Identity-based face and voice recognition to regulate content rights and parental controls using consumer profiles
WO2019002831A1 (en) 2017-06-27 2019-01-03 Cirrus Logic International Semiconductor Limited REPRODUCTIVE ATTACK DETECTION
GB2563953A (en) 2017-06-28 2019-01-02 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201713697D0 (en) 2017-06-28 2017-10-11 Cirrus Logic Int Semiconductor Ltd Magnetic detection of replay attack
GB201801530D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for authentication
GB201801528D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Method, apparatus and systems for biometric processes
GB201801527D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Method, apparatus and systems for biometric processes
GB201801532D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for audio playback
GB201801526D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for authentication
GB201803570D0 (en) 2017-10-13 2018-04-18 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201804843D0 (en) 2017-11-14 2018-05-09 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201801663D0 (en) * 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of liveness
GB201801661D0 (en) * 2017-10-13 2018-03-21 Cirrus Logic International Uk Ltd Detection of liveness
GB201801874D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Improving robustness of speech processing system against ultrasound and dolphin attacks
GB2567503A (en) 2017-10-13 2019-04-17 Cirrus Logic Int Semiconductor Ltd Analysing speech signals
GB201801664D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of liveness
KR102399809B1 (ko) * 2017-10-31 2022-05-19 엘지전자 주식회사 전자 장치 및 그 제어 방법
GB201801659D0 (en) 2017-11-14 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of loudspeaker playback
US11868995B2 (en) 2017-11-27 2024-01-09 Nok Nok Labs, Inc. Extending a secure key storage for transaction confirmation and cryptocurrency
US10910001B2 (en) * 2017-12-25 2021-02-02 Casio Computer Co., Ltd. Voice recognition device, robot, voice recognition method, and storage medium
US11831409B2 (en) 2018-01-12 2023-11-28 Nok Nok Labs, Inc. System and method for binding verifiable claims
US11475899B2 (en) 2018-01-23 2022-10-18 Cirrus Logic, Inc. Speaker identification
US11264037B2 (en) 2018-01-23 2022-03-01 Cirrus Logic, Inc. Speaker identification
US11735189B2 (en) 2018-01-23 2023-08-22 Cirrus Logic, Inc. Speaker identification
US10656775B2 (en) 2018-01-23 2020-05-19 Bank Of America Corporation Real-time processing of data and dynamic delivery via an interactive interface
CN108494836B (zh) * 2018-03-09 2024-03-29 上海领秀眼镜有限公司 信息推送方法、装置、设备、服务器、推送系统及介质
US10733996B2 (en) * 2018-03-30 2020-08-04 Qualcomm Incorporated User authentication
US10720166B2 (en) * 2018-04-09 2020-07-21 Synaptics Incorporated Voice biometrics systems and methods
US10818296B2 (en) * 2018-06-21 2020-10-27 Intel Corporation Method and system of robust speaker recognition activation
CN110767221A (zh) * 2018-07-26 2020-02-07 珠海格力电器股份有限公司 家电设备及控制权限的确定方法
US10692490B2 (en) 2018-07-31 2020-06-23 Cirrus Logic, Inc. Detection of replay attack
US10460330B1 (en) 2018-08-09 2019-10-29 Capital One Services, Llc Intelligent face identification
US10915614B2 (en) 2018-08-31 2021-02-09 Cirrus Logic, Inc. Biometric authentication
US11037574B2 (en) 2018-09-05 2021-06-15 Cirrus Logic, Inc. Speaker recognition and speaker change detection
CN109065058B (zh) * 2018-09-30 2024-03-15 合肥鑫晟光电科技有限公司 语音通信方法、装置及系统
JP7255611B2 (ja) * 2019-01-18 2023-04-11 日本電気株式会社 情報処理方法
US11792024B2 (en) 2019-03-29 2023-10-17 Nok Nok Labs, Inc. System and method for efficient challenge-response authentication
CN110196914B (zh) * 2019-07-29 2019-12-27 上海肇观电子科技有限公司 一种将人脸信息录入数据库的方法和装置
US20230245127A1 (en) * 2022-02-02 2023-08-03 Kyndryl, Inc. Augmented user authentication

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816788A (ja) * 1994-06-30 1996-01-19 Yuuseidaijin 個人固有の複数の身体的特徴を用いる個人認証方法
JP2001331801A (ja) * 2000-03-15 2001-11-30 Cai Kk 個人認証装置および個人認証方法および記録媒体
JP2003030154A (ja) * 2001-04-17 2003-01-31 Matsushita Electric Ind Co Ltd 個人認証方法および装置
JP2006252225A (ja) * 2005-03-11 2006-09-21 Fujitsu Ltd 生体認証プログラム、装置及び方法
JP2007052496A (ja) * 2005-08-15 2007-03-01 Advanced Media Inc ユーザ認証システム及びユーザ認証方法
JP2007088803A (ja) * 2005-09-22 2007-04-05 Hitachi Ltd 情報処理装置
JP2007156974A (ja) * 2005-12-07 2007-06-21 Kddi Corp 個人認証・識別システム
JP2012514795A (ja) * 2009-01-05 2012-06-28 アップル インコーポレイテッド 顔を相関させることによるデジタル画像の編成
WO2012144105A1 (ja) * 2011-04-19 2012-10-26 株式会社日立製作所 生体認証システム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219639B1 (en) * 1998-04-28 2001-04-17 International Business Machines Corporation Method and apparatus for recognizing identity of individuals employing synchronized biometrics
CA2317205A1 (en) 2000-08-31 2002-02-28 Upper Canada Systems Information management system and method
JP4330107B2 (ja) * 2000-12-21 2009-09-16 圭一 加藤 無線携帯端末ユーザーの認証システム
DE10163814A1 (de) * 2001-12-22 2003-07-03 Philips Intellectual Property Verfahren und Einrichtung zur Nutzeridentifizierung
US8930276B2 (en) * 2002-08-20 2015-01-06 Fusionarc, Inc. Method of multiple algorithm processing of biometric data
US20130282580A1 (en) * 2003-02-28 2013-10-24 Payment Pathways, Inc. SYSTEMS AND METHODS FOR EXTENDING IDENTITY ATTRIBUTES AND AUTHENTICATION FACTORS IN AN ePAYMENT ADDRESS REGISTRY
US7161465B2 (en) * 2003-04-08 2007-01-09 Richard Glee Wood Enhancing security for facilities and authorizing providers
US7343289B2 (en) * 2003-06-25 2008-03-11 Microsoft Corp. System and method for audio/video speaker detection
US7506363B2 (en) * 2004-08-26 2009-03-17 Ineternational Business Machines Corporation Methods, systems, and computer program products for user authorization levels in aggregated systems
US20060174119A1 (en) 2005-02-03 2006-08-03 Xin Xu Authenticating destinations of sensitive data in web browsing
JP2007053465A (ja) 2005-08-16 2007-03-01 Kddi Corp トラヒック制御システム、トラヒック制御方法、通信装置及びコンピュータプログラム
US20070130588A1 (en) * 2005-12-06 2007-06-07 Greg Edwards User-customized sound themes for television set-top box interactions
CN101111053B (zh) 2006-07-18 2010-12-01 中兴通讯股份有限公司 移动网络中防御网络攻击的系统和方法
US20090157454A1 (en) * 2007-12-14 2009-06-18 Bank Of America Corporation Transaction control methods for use in financial transactions and information banking
CN101651541A (zh) * 2008-08-14 2010-02-17 中华电信股份有限公司 网络用户身份验证系统与方法
US8584221B2 (en) 2009-10-23 2013-11-12 Microsoft Corporation Authenticating using cloud authentication
US8311522B1 (en) * 2010-09-28 2012-11-13 E.Digital Corporation System and method for managing mobile communications
CN102457377A (zh) * 2011-08-08 2012-05-16 中标软件有限公司 基于角色的Web远程认证与授权方法及系统
CN102510426A (zh) * 2011-11-29 2012-06-20 安徽科大讯飞信息科技股份有限公司 个人助理应用访问方法及系统
CN103310339A (zh) * 2012-03-15 2013-09-18 凹凸电子（武汉）有限公司 身份识别装置和方法以及支付系统和方法
US20140007154A1 (en) * 2012-06-29 2014-01-02 United Video Properties, Inc. Systems and methods for providing individualized control of media assets

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816788A (ja) * 1994-06-30 1996-01-19 Yuuseidaijin 個人固有の複数の身体的特徴を用いる個人認証方法
JP2001331801A (ja) * 2000-03-15 2001-11-30 Cai Kk 個人認証装置および個人認証方法および記録媒体
JP2003030154A (ja) * 2001-04-17 2003-01-31 Matsushita Electric Ind Co Ltd 個人認証方法および装置
JP2006252225A (ja) * 2005-03-11 2006-09-21 Fujitsu Ltd 生体認証プログラム、装置及び方法
JP2007052496A (ja) * 2005-08-15 2007-03-01 Advanced Media Inc ユーザ認証システム及びユーザ認証方法
JP2007088803A (ja) * 2005-09-22 2007-04-05 Hitachi Ltd 情報処理装置
JP2007156974A (ja) * 2005-12-07 2007-06-21 Kddi Corp 個人認証・識別システム
JP2012514795A (ja) * 2009-01-05 2012-06-28 アップル インコーポレイテッド 顔を相関させることによるデジタル画像の編成
WO2012144105A1 (ja) * 2011-04-19 2012-10-26 株式会社日立製作所 生体認証システム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019062281A (ja) * 2017-09-25 2019-04-18 キヤノン株式会社 音声情報による入力を受け付ける情報処理端末、方法、その情報処理端末を含むシステム
US11265315B2 (en) 2017-09-25 2022-03-01 Canon Kabushiki Kaisha Information processing terminal, method, and system including information processing terminal
JP7123540B2 (ja) 2017-09-25 2022-08-23 キヤノン株式会社 音声情報による入力を受け付ける情報処理端末、方法、その情報処理端末を含むシステム
JP2022523921A (ja) * 2020-03-24 2022-04-27 楽天グループ株式会社 生体（ｌｉｖｅｎｅｓｓ）検出検証方法、生体検出検証システム、記録媒体、及び生体検出検証システムの訓練方法
JP7148737B2 (ja) 2020-03-24 2022-10-05 楽天グループ株式会社 生体（ｌｉｖｅｎｅｓｓ）検出検証方法、生体検出検証システム、記録媒体、及び生体検出検証システムの訓練方法
JP2022177229A (ja) * 2020-03-24 2022-11-30 楽天グループ株式会社 生体（ｌｉｖｅｎｅｓｓ）検出検証方法、生体検出検証システム、記録媒体、及び生体検出検証システムの訓練方法
JP7412496B2 (ja) 2020-03-24 2024-01-12 楽天グループ株式会社 生体（ｌｉｖｅｎｅｓｓ）検出検証方法、生体検出検証システム、記録媒体、及び生体検出検証システムの訓練方法

Also Published As

Publication number Publication date
US20150134330A1 (en) 2015-05-14
EP2974124A4 (en) 2016-10-19
JP6093040B2 (ja) 2017-03-08
EP2974124A1 (en) 2016-01-20
CN104995865B (zh) 2018-06-08
CN104995865A (zh) 2015-10-21
WO2014139117A1 (en) 2014-09-18
KR101731404B1 (ko) 2017-04-28
US9218813B2 (en) 2015-12-22
KR20150103264A (ko) 2015-09-09

Similar Documents

Publication Publication Date Title
JP6093040B2 (ja) サービスを提供するための装置、方法、コンピュータプログラム及び記憶媒体
US11676150B1 (en) Selective passive voice authentication
US10586541B2 (en) Communicating metadata that identifies a current speaker
US10380380B1 (en) Protecting client personal data from customer service agents
CN110574106B (zh) 个人语音助手认证
US9363375B1 (en) Interaction using content
US11818282B2 (en) Non-verbal sensitive data authentication
US20220329629A1 (en) Dynamic and cryptographically secure augmentation of programmatically established chatbot sessions
US10789385B1 (en) Dynamic tagging of media for service sessions
US20230153410A1 (en) Shared Assistant Profiles Verified Via Speaker Identification
US11340965B2 (en) Method and system for performing voice activated tasks
US8955070B2 (en) Controlled password modification method and apparatus
US10276169B2 (en) Speaker recognition optimization
US20160155188A1 (en) Usable security with social network assistance
US11468152B2 (en) Audibly providing information during telephone call
US11456886B2 (en) Participant identification in mixed meeting
JP7273579B2 (ja) 認証サーバ、読み取り装置、及びプログラム
US10885911B2 (en) Voice endpoint to chatbot bridge interface

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170209

R150 Certificate of patent or registration of utility model

Ref document number: 6093040

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250