JP2019191716A - 音声認証決済システム - Google Patents

Abstract

【課題】 スマートスピーカー及びそれを用いたシステムであっても、オンラインショッピングを完遂することはできないため、その機能を提供する。【解決手段】 マイクロフォンとスピーカーを少なくとも備えるスマートスピーカー１０からユーザが発話することで得られる音声データを受信し、受信した音声データを用いて声紋認証を行って対象ユーザを認証し、ユーザが購入を希望する商品を特定する情報を前記スマートスピーカー１０から受信し、ユーザからの決済処理依頼を前記スマートスピーカー１０から受信し、対象ユーザの認証が成功している場合に、前記決済処理依頼に沿って決済処理を実行する。【選択図】 図１

Description

本発明は、音声認証を用いて決済を行う音声認証決済システムに関する。

一般的に、オンラインショッピングで決済を行う場合には、対象のＥＣサイトへログイン（ＩＤ及びパスワード）し、商品を選択した上で、クレジットカードの番号、氏名及びセキュリティコードを入力して決済を行う。ＥＣサイトの会員情報とクレジットカード情報が既に紐づいている場合には、再度のクレジットカード情報は不要で割愛することができる。

このような一般的なオンラインショッピングに加え、購入者の個人情報を開示することなく購入処理を実行することができる決済支援装置も、特許文献１により開示されている。

特開２０１６−８１４６７号

前記のオンラインショッピングで、購入者はデスクトップＰＣ、ノートＰＣ、スマートフォンといったデバイスを用いて必要なキータッチを行ってログイン、商品選択、決済等を行っている。一方、昨今、検索エンジンを使った調査、オンラインニュースの読み上げ、音楽や動画の再生といった操作をエンドユーザの音声にて受けつけて実行するスマートスピーカーが販売されている。スマートスピーカーであれば、エンドユーザは手が離せない作業を行っている場合でも、発話をすることで各種操作を行うことができる。しかしながら、現在市販されているスマートスピーカー及びそれを用いたシステムであっても、オンラインショッピングを完遂することはできない。

本発明はこうした課題に鑑みてなされたものであり、その目的は、スマートスピーカーを用いてオンラインショッピングを実行する機能を提供することにある。

本発明に係る音声認証決済システムは、マイクロフォンとスピーカーを少なくとも備えるスマートスピーカーからユーザが発話することで得られる音声データを受信し、受信した音声データを用いて声紋認証を行って対象ユーザを認証し、ユーザが購入を希望する商品を特定する情報を前記スマートスピーカーから受信し、ユーザからの決済処理依頼を前記スマートスピーカーから受信し、対象ユーザの認証が成功している場合に、前記決済処理依頼に沿って決済処理を実行するものである。

本発明によれば、認証した上で、スマートスピーカーを介してユーザからの操作指示を受け、購入する商品を特定して決済処理を行うことができる。

本発明に係る第１の実施形態に係る音声認証決済システムの構成図である。 本発明に係る第１の実施形態に係るシーケンス図である。 本発明に係るその他の実施形態に係るシーケンス図である。 本発明に係るその他の実施形態に係るシーケンス図である。 本発明に係るその他の実施形態に係る音声認証決済システムの構成図である。 本発明に係るその他の実施形態に係る表示装置における表示例である。

（第１の実施形態）
以下、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。

図１は本実施形態に係る音声認証決済システムの構成図である。この音声認証決済システムは、スマートスピーカー１０、音声認証サーバ３０、ECサーバ４０及び決済サーバ５０からなり、それぞれ有線又は無線にてネットワークに接続している。図１では、一例として、スマートスピーカー１０は無線接続にてアクセスポイント２０を介してネットワークに接続し、その他のシステム構成要素は有線にてネットワークに接続している。アクセスポイント２０は、無線端末を相互に接続し、有線ネットワーク等のネットワークに接続する無線機である。なお、本実施形態では、サーバ側の構成として、音声認証サーバ３０、ECサーバ４０及び決済サーバ５０をそれぞれ分離した構成としたが、これらは一のコンピュータ上で構成されてもよいし、それぞれのサーバを更に複数のコンピュータで構成することもできる。

スマートスピーカー１０は、エンドユーザからの音声入力を受け、音声データに変換して他装置に出力する。図１の構成では、音声データを音声認証サーバ３０又はECサーバ４０に送信する。スマートスピーカー１０は内部に記録する音声データ又は外部から受信した音声データを音声出力する機能も有する。スマートスピーカー１０のハードウェア構成の一例としては、外部の音声を検出して電気信号に変換するマイクロフォン、音声データを音声出力するスピーカー、外部装置の通信を行う通信モジュール、視覚的にスマートスピーカーのステータスを示すLED（発光素子）、各種操作指示を行うための操作ボタン及び各モジュール及び素子を制御するCPU（制御部）からなる。スマートスピーカーは現時点でも既に様々の種類のものが販売されており、複数マイクロフォン及び複数スピーカーを有するものもあり、例えば、上面の外周部に等間隔にマイクロフォンを配設し、側面の外周部に等間隔にスピーカーを配設することで、どの方向からもエンドユーザが音声入力を行い、どの方向からも音声を聞くことができる。また、マイクロフォン又はスピーカーの種類によっては、指向性を持たせたモジュールもあり、ソフトウェア制御によってその指向性を変更することができ、エンドユーザからの音声入力を検出するとエンドユーザが居る方向に指向性を高める制御を行い、また、エンドユーザが居る方向に指向性を高めて音声出力する制御を行うこともできる。

前記音声認証サーバ３０は、受信した音声データを用いて認証を行う装置であり、受信した音声データと予め記憶している音声データとの比較を行って声紋認証するものである。図１では、スマートスピーカー１０が送信した音声データをアクセスポイント２０及びネットワークを介して音声認証サーバ３０が受信し、声紋認証を行う。ここで使用する声紋認証技術は公知慣用技術を用いることができる。例えば、音声データをスペクトラムに変換し、周波数上の分布状況から個人認証を行う技術があり、または、エンドユーザに特定のキーワードを発話させて取得した音声データと予め保持している過去に同じキーワードを発話させて取得した音声データを比較する技術もある。複数のエンドユーザがスマートスピーカーを使用していたとしても、個人認証することでどのエンドユーザが認証されたかを特定することができ、つまり、現在の利用者を特定することができる。

前記ECサーバ４０は、EC(electronic commerce)についてエンドユーザと対話を行い、購入商品を選別し、注文処理を行う。注文処理のうち、決済については決済サーバ５０にて行う。音声認識を行ってエンドユーザと特定の分野に関して対話を行う公知慣用技術は既に存在し、それらの技術を用いてECサーバ４０を実装する。意図解釈型ではエンドユーザの発話を理解し、次のアクションを実行するタスクを判定し、シナリオ対話型では予めシナリオを設定し、そのシナリオに沿って会話を行う。例えば、「お茶が欲しい」とエンドユーザが発話し、ECサーバ４０がその意図を解釈し、ECサーバ４０内で購入可能なお茶の中から最も売上高の高い商品を特定してその商品を「○○お茶５００ｍｌはいかがでしょうか。対象商品１個で送料込みの２００円となります。」と提案し、エンドユーザが「購入する」と言えば、注文確認をした上で決済処理を決済サーバ５０に依頼する動作を行う。ECサーバ４０による音声出力はECサーバ４０が対象の音声データをスマートスピーカー１０に送信して音声出力する。本実施形態では、ECサーバ４０が音声認識機能及び対話機能を有する構成としているが、音声認証サーバ３０、決済サーバ５０又は別装置がそれらの機能を有していても良い。注文確認では、商品名、数量及び購入金額を音声出力し、エンドユーザが了承の旨の発話をした場合には、次の決済処理依頼に移行する。なお、購入者の送付先及び決済情報（クレジット情報）は予めECサーバ４０で設定されているものとする。

前記決済サーバ５０は決済処理依頼を受け、決済認証を経て決済処理を実行する。決済認証は決済サーバ５０が音声認証サーバ３０に依頼し、音声認証サーバ３０で既に対象ユーザが認証済みである場合には認証成功とし、認証が未済の場合には音声認証を行う。決済処理の実行は、クレジットカード等のオンライン決済の場合には、クレジットカード会社等の金融システムと通信して実施する。

前記ECサーバ４０は、決済サーバ５０からの決済完了通知を受け、受注発送処理を行い、注文完了をスマートスピーカー１０を介してエンドユーザに通知する。

次に、本実施形態に係るシステムの動作について図２を用いて説明する。スマートスピーカー１０はエンドユーザからのトリガとなる音声発話を受け、待機状態から起動状態になる（ステップ５）。エンドユーザはトリガ発話に続けて何らかの発話を行い、スマートスピーカー１０はそれらの発話を受け音声データに変換し、音声認証サーバ３０に送信する（ステップ１０）。音声認証サーバ３０はスマートスピーカー１０からの音声データを受信し、声紋技術を用いた音声認証を行う（ステップ１５）。音声認証が成功した場合には音声認証サーバ３０は認証成功をECサーバ４０に通知し、ECサーバ４０は通知を受けてオンラインショッピングのヒアリング状態に移行する（ステップ２０）。ここで、音声認証サーバ３０は音声認証に使用した音声データもECサーバ４０に送信する。ECサーバ４０は受信した音声データ及びヒアリング状態以降にスマートスピーカー１０から受信した音声データを用いてヒアリングを行う（ステップ２０）。ヒアリングを経ることである商品の注文をエンドユーザからECサーバ４０が受ける。ECサーバ４０が注文確認の音声データをスマートスピーカー１０に送信し（ステップ３０）、スマートスピーカー１０が受信して音声出力する（ステップ３５）。エンドユーザから注文確認了承の旨の音声データをスマートスピーカー１０を介して受信した場合には、ECサーバ４０は注文内容に含まれる決済方法を決済サーバ５０に送信して決済処理依頼を行う（ステップ４０）。決済サーバ５０は決済処理依頼を受け（ステップ４５）、対象ユーザを特定して決済認証依頼を音声認証サーバ３０に行う（ステップ５０）。音声認証サーバ３０は決済サーバ５０からの決済認証依頼を受け、対象ユーザの決済認証を行い、ステップ１５で既に音声認証済みであれば認証成功とし、音声認証が実行されていない場合等ではステップ１５の音声認証を行う。ここで、音声認証に必要な音声データは、ステップ２０で取得したエンドユーザの音声データを用いてもよいし、新たにエンドユーザに発話して貰って取得しても良い。決済認証が終われば認証結果が音声認証サーバ３０から決済サーバ５０に通知され、認証成功であれば決済サーバ５０が決済処理を対象ユーザの決済情報を用いて外部の金融機関のシステムと共に実行する（ステップ６０）。決済処理が完了した場合にはその通知を決済サーバ５０からECサーバ４０に行う（ステップ６５）。ECサーバ４０は決済完了通知を受け、受注発送処理を実行する（ステップ７０）。ECサーバ４０は受注発送処理が完了した後にエンドユーザに対して注文完了通知をスマートスピーカー１０を介して行う（ステップ７５）。

（その他の実施形態）
前記第１の実施形態においては、ステップ１５で音声認証を行った後は基本的に音声認証を実施しなかったが、図３に示す通り、ステップ１５以降もステップ５５の決済認証が完了するまでには定期的又は発話毎にスマートスピーカー１０から音声認証サーバ３０が音声データを受信して適時に音声認証を行ってもよく、ステップ１５以降に認証対象のエンドユーザが居なくなった場合に居なくなった後の音声認証が失敗するために適切な認証状態を維持することができ、例えば、決済認証に失敗するために認証対象のエンドユーザ以外の者が注文依頼をすることができなくなる。

前記第１の実施形態においては、図４に示す通り、ステップ１１で受信した音声データの音声分離を行い、音声分離を行った上で時系列的に一番早く発話したエンドユーザの分離済み音声データを用いてステップ１５の音声認証を行い、音声認証が成功した場合にECサーバ４０をヒアリング待機状態に移行し（ステップ２０）、その後、音声認証が完了したエンドユーザとのヒアリングを行い、ステップ７５の注文完了まで終わると、最初のエンドユーザの次に発話したエンドユーザの分離した音声データを用いて音声認証を行って同様に注文処理まで行い、以降、同様にその次のエンドユーザの処理を実行する構成とすることもできる。これにより、複数のエンドユーザがスマートスピーカー１０の周りにいた場合でも、別々に注文を聞くことができる。ここで、音声認証してヒアリング中のエンドユーザが他のユーザからの発注もまとめて受けることを希望する旨の発話をした場合には、ECサーバ４０がその意図を理解し、各ユーザからの注文をまとめて受けつけ、音声認証済みのヒアリング中のエンドユーザの決済情報を用いて決済する構成であっても良い。あるエンドユーザが他のエンドユーザに奢ることもでき、又は、一旦あるエンドユーザがまとめて支払って他のエンドユーザから別途回収することもできる。

前記第１の実施形態のシステム構成に加え、図５の示す通り、表示装置１１を加える構成であってもよく、その表示装置１１もアクセスポイント２０を介してネットワークと接続し、ECサーバ４０又はスマートスピーカー１０からの指示を受け、その指示で示されたURLを表示する構成でも良い。これにより、スマートスピーカー１０が商品提案を音声で行うと共に、表示装置１１に図６のように商品情報を表示することもできる。表示装置１１がタッチパネル型ディスプレイでエンドユーザがタッチ操作で表示制御を行ってもよいが、エンドユーザはスマートスピーカー１０を用いて制御することもできる。ここで、表示情報中のオブジェクト中でユーザが制御対象可能なもので、表示ラベルが付与されていないもの、例えば、右上の詳細ボタンを声のみで操作するのは難しい場合もあるので、オブジェクトに対して＜１＞ないし＜６＞などの制御用のラベルを付与することで音声による制御が可能となる。ECサーバに連動するWebサーバは、通常のWebページを保持してスマートスピーカー１０を介する表示制御の場合にのみ制御用ラベルを付与する制御を行う。表示装置１１にウェブブラウザ機能が搭載されており、スマートスピーカーから制御で指定されたURLにアクセスしてこれらの表示が可能になるが、Webサーバがスマートスピーカーからのアクセスであることを識別するためにURLのパラメータ領域にスマートスピーカーに関連するアクセスであることを示す変数を付与してもよい。表示装置１１はディスプレイを含むコンピュータからなる構成であり、そのコンピュータ上にオペレーティングシステムが導入されており、ブラウザの機能も有している。そのため、表示装置１１は指定されたURLのページをユーザに対して表示することができる。スマートスピーカー１０による表示装置１１の制御を可能とするために、表示装置１１上にスマートスピーカー制御用モジュールを導入する必要がある。このスマートスピーカー制御用モジュールは表示装置１１のオペレーティングシステムに導入されるソフトウェアであってもよいし、ブラウザ機能のアドインとして導入されるソフトウェアであってもよい。このスマートスピーカー制御用モジュールがオペレーティングシステムに照会し、ブラウザ機能で表示されているオブジェクトのうちユーザが制御可能なオブジェクトを特定し、特定したオブジェクトに対して制御用ラベルを付与する。このオペレーティングシステムの照会時に各オブジェクトに対してどのような制御が可能であるかも情報取得する。例えば、リンクオブジェクト、ボタンオブジェクトに対してクリック操作が可能であり、そのクリック操作によってリンクオブジェクトであれば対象のURLへジャンプし、ボタンオブジェクトはそのボタンオブジェクトのクリックイベントに対して紐づけられている動作が実行される。従って、図６の画面が表示されている際に、ユーザがスマートスピーカー１０に対して「＜１＞をクリック」と音声制御することで、ECサーバ40を介して表示装置１１のスマートスピーカー制御用モジュールに対してその制御が到達して＜１＞のクリックが実行され、商品ID００００１の詳細画面が表示されることになる。

本発明は、エンドユーザが発話した音声内容にて認証して決済する音声認証決済システムに好適に利用可能である。

スマートスピーカー １０
表示装置 １１
アクセスポイント ２０
音声認証サーバ ３０
ECサーバ ４０
決済サーバ ５０

Claims (6)

1. マイクロフォンとスピーカーを少なくとも備えるスマートスピーカーからユーザが発話することで得られる音声データを受信するステップと、
   受信した音声データを用いて声紋認証を行って対象ユーザを認証するステップと、
   ユーザが購入を希望する商品を特定する情報を前記スマートスピーカーから受信するステップと、
   ユーザからの決済処理依頼を前記スマートスピーカーから受信するステップと、
   対象ユーザの認証が成功している場合に、前記決済処理依頼に沿って決済処理を実行するステップと
   を１又は複数のコンピュータが実行する音声認証決済方法。
2. 前記対象ユーザを認証するステップで認証成功した場合に、初回の認証に使用した音声データを受信した以降の追加の音声データをスマートスピーカーから受信し、当該追加の音声データを用いて追加で認証するステップを更に含む前記請求項１に記載の音声認証決済方法。
3. 前記追加で認証するステップは定期的に実行する前記請求項２に記載の音声認証決済方法。
4. 前記スマートスピーカーから受信した音声データを音声分離し、音声分離した一の音声データを用いて、前記対象ユーザを認証するステップで認証する前記請求項１に記載の音声認証決済方法。
5. エンドユーザからの要請を受けてスマートスピーカーから表示制御を受けて外部の装置から受信する表示情報を表示する表示装置に対し、当該表示する表示情報のうちユーザが操作指示可能なオブジェクトに対してユーザが可視できる制御用ラベルを付与して表示情報を表示するように制御するステップを更に含む前記請求項１に記載の音声認証決済方法。
6. マイクロフォンとスピーカーを少なくとも備えるスマートスピーカーからユーザが発話することで得られる音声データを受信する手段と、
   受信した音声データを用いて声紋認証を行って対象ユーザを認証する手段と、
   ユーザが購入を希望する商品を特定する情報を前記スマートスピーカーから受信する手段と、
   ユーザからの決済処理依頼を前記スマートスピーカーから受信する手段と、
   対象ユーザの認証が成功している場合に、前記決済処理依頼に沿って決済処理を実行する手段とを備える音声認証決済システム。