JP2017130170A - 会話連動システム、会話連動装置、会話連動方法、および、会話連動プログラム - Google Patents

Abstract

【課題】広告等のコンテンツ配信の利用が促進されるように誘導する、会話連動システム、会話連動装置、会話連動方法、および、会話連動プログラムを提供することを課題とする。【解決手段】一のユーザである第一ユーザと、他の任意のユーザである任意ユーザとの会話に基づいて音声認識検索を行い、コンテンツを配信する場合において、話者認識により会話中における第一ユーザを認識し、認識された第一ユーザについて、聞き手としての会話が契機となって配信されたコンテンツの量および／もしくは配信時間、ならびに／または、聞き手としての会話の質および／もしくは量に基づいて、評価を行い第一ユーザにポイントを付与することを特徴とする。【選択図】 図５

Description

本発明は、会話連動システム、会話連動装置、会話連動方法、および、会話連動プログラムに関する。

従来、テレビ電話やチャット等における会話や対話に応じて、広告などのコンテンツを配信するシステムが開発されている。

例えば、特許文献１および２には、電気通信回線を介した、複数のユーザが書き込んだ会話を解析して、広告を配信システムが開示されている。

また、特許文献３〜５には、ネットワークを経由したテレビ電話やチャット等において、キーワードや単語や通信者情報を抽出して、広告を検索し出力する装置が開示されている。

また、特許文献６には、オンライン会話において、キーワードを抽出して、キーワードに基づいて広告コンテンツを選択して表示する場合に、抽出したキーワードをスコア付けし、スコア付けしたキーワードの中からユーザ意図キーワードを識別してキーワードの再加重を行う方法が開示されている。

また、特許文献７には、通信ネットワークを介したビデオ通話において、キーワードを抽出し、通話中の音声または画像から会話の活性化状態を判定し、判定結果に応じてキーワードを出力するシステムが開示されている。

また、特許文献８には、インターネットを介した会話から、音声の特徴量に基づいて感情種別を判定し、感情種別に関連づけて記憶されたデータベースからコンテンツを抽出して再生するシステムが開示されている。

また、特許文献９には、デジタルサイネージ装置等において、視聴者の会話の音声認識を行い、音声認識された音声認識結果のうち、広告の対象分野とする言語モデルや、広告のターゲット層とする音響モデルと閾値以上の合致度がある場合に、顧客情報を更新するシステムが開示されている。

特開２００２−０２４２３５号公報 特開２００７−１０２８００号公報 特開２００５−３５４２５９号公報 特開２００２−２７１５０７号公報 特開１９９９−００３３４８号公報 特表２００８−５４１２６７号公報 特開２０１５−２０７９０５号公報 特開２００８−１７０８２０号公報 特開２０１２−１１８６２３号公報

しかしながら、特許文献１〜８の従来の広告等の配信システムは、テレビ電話やチャットなどネットワークを介した会話に基づいて広告等のコンテンツを抽出して出力できるものの、現実空間におけるユーザ間の会話から的確なコンテンツを抽出して配信するものではなかった。

特許文献９では、デジタルサイネージが設置された現実空間におけるユーザ間の会話から、広告対象とする言語モデルや音響モデルに合致する広告を配信するものの、コンテンツ配信の利用を促進する誘因が乏しい、という問題点があった。

本発明は上記の問題点に鑑みてなされたものであり、広告等のコンテンツ配信の利用が促進されるように誘導する、会話連動システム、会話連動装置、会話連動方法、および、会話連動プログラムを提供するものである。

このような目的を達成するため、本発明の会話連動システムは、一のユーザである第一ユーザと、他の任意のユーザである任意ユーザとの会話に基づいて音声認識検索を行い、コンテンツを配信する、会話連動システムにおいて、話者認識により前記会話中における前記第一ユーザを認識するユーザ認識手段と、前記ユーザ認識手段により認識された前記第一ユーザについて、聞き手としての前記会話が契機となって配信されたコンテンツの量および／もしくは配信時間、ならびに／または、聞き手としての前記会話の質および／もしくは量に基づいて、評価を行い前記第一ユーザにポイントを付与する会話評価手段と、を備えたことを特徴とする。

また、本発明の会話連動システムは、上記の会話連動システムにおいて、前記会話評価手段は、前記第一ユーザが聞き手として質問し、前記任意ユーザが回答した内容が契機となって検索された前記コンテンツが配信された場合に、当該第一ユーザを評価して前記ポイントを付与することを特徴とする。

また、本発明の会話連動システムは、上記いずれか記載の会話連動システムにおいて、前記任意ユーザの位置情報、会員履歴情報、性別、年齢、嗜好、職業、その他のユーザ属性情報を取得するユーザ属性取得手段、を更に備え、前記ユーザ属性取得手段により取得された前記任意ユーザのユーザ属性情報に基づいて前記コンテンツの抽出を行い、初期表示を行うこと、を特徴とする。

また、本発明の会話連動システムは、上記いずれか記載の会話連動システムにおいて、前記会話評価手段は、更に、前回配信にかかる前記コンテンツを題材として会話が発展して新たなコンテンツが配信された場合を評価することを特徴とする。

また、本発明の会話連動システムは、上記いずれか記載の会話連動システムにおいて、前記ユーザ認識手段は、機械学習にて前記話者認識を行うことにより前記第一ユーザを自動認識することを特徴とする。

また、本発明の会話連動システムは、上記いずれか記載の会話連動システムにおいて、前記会話評価手段により付与された前記ポイントは、商品購入、電子マネーチャージ、購入割引、換金、その他のポイントサービス利用が可能であることを特徴とする。

また、本発明の会話連動システムは、上記いずれか記載の会話連動システムにおいて、配信される前記コンテンツは、情報配信枠に表示する情報コンテンツと、広告枠に表示する広告コンテンツの２種類が含まれることを特徴とする。

また、本発明の会話連動システムは、上記いずれか記載の会話連動システムにおいて、配信される前記コンテンツは、ミニテレビ、モニタ、ハーフミラー、または、デジタルサイネージの形態にて表示することを特徴とする。

また、本発明の会話連動システムは、上記いずれか記載の会話連動システムにおいて、前記第一ユーザと前記任意ユーザは、上記コンテンツを配信する一の表示装置につき、一対多、多対多、または、多対一の関係であることを特徴とする。

また、本発明の会話連動装置は、一のユーザである第一ユーザと、他の任意のユーザである任意ユーザとの会話に基づく音声認識検索により配信されるコンテンツを出力する、表示部と記憶部と制御部を少なくとも備えた会話連動装置において、前記制御部は、話者認識により前記会話中における前記第一ユーザを認識するユーザ認識手段と、前記ユーザ認識手段により認識された前記第一ユーザについて、聞き手としての前記会話が契機となって配信されたコンテンツの量および／もしくは配信時間、ならびに／または、聞き手としての前記会話の質および／もしくは量に基づいて、評価を行い前記第一ユーザにポイントを付与する会話評価手段と、を備えたことを特徴とする。

また、本発明の会話連動方法は、一のユーザである第一ユーザと、他の任意のユーザである任意ユーザとの会話に基づく音声認識検索により配信されるコンテンツを出力する、表示部と記憶部と制御部を少なくとも備えたコンピュータにおいて実行される会話連動方法であって、前記制御部により実行される、話者認識により前記会話中における前記第一ユーザを認識するユーザ認識ステップと、前記ユーザ認識ステップにて認識された前記第一ユーザについて、聞き手としての前記会話が契機となって配信されたコンテンツの量および／もしくは配信時間、ならびに／または、聞き手としての前記会話の質および／もしくは量に基づいて、評価を行い前記第一ユーザにポイントを付与する会話評価ステップと、を含むことを特徴とする。

また、本発明の会話連動プログラムは、一のユーザである第一ユーザと、他の任意のユーザである任意ユーザとの会話に基づく音声認識検索により配信されるコンテンツを出力する、表示部と記憶部と制御部を少なくとも備えたコンピュータに実行させるための会話連動プログラムであって、前記制御部において、話者認識により前記会話中における前記第一ユーザを認識するユーザ認識ステップと、前記ユーザ認識ステップにて認識された前記第一ユーザについて、聞き手としての前記会話が契機となって配信されたコンテンツの量および／もしくは配信時間、ならびに／または、聞き手としての前記会話の質および／もしくは量に基づいて、評価を行い前記第一ユーザにポイントを付与する会話評価ステップと、を実行させることを特徴とする。

本発明によれば、広告等のコンテンツ配信の利用を促進するインセンティブを利用者に与えて、コンテンツ配信の利用が促進されるように誘導することができる、という効果を奏する。

図１は、本発明の実施形態にかかる会話連動システムの全体概要を示す構成図である。 図２は、本実施の形態が適用される端末装置１００とサーバ装置２００の構成の一例を示すブロック図である。 図３は、本実施の形態の会話連動システムにおける基本的処理の一例を示すフローチャートである。 図４は、本実施の形態のサーバ装置２００の具体化処理の一例を示すフローチャートである。 図５は、本実施の形態の会話連動システムにおける、ある利用場面の処理フローである。 図６は、第一ユーザＡ〜Ｄの関係を示す図である。 図７は、各機能をスタンドアローンの形態で一体としてコンピュータに実装させた会話連動装置１００´の構成の一例である。

以下に、本発明の本実施の形態にかかる、会話連動システム、会話連動装置、会話連動方法、および、会話連動プログラム、並びに、記録媒体の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。例えば、以下の実施の形態においては、会話連動システムの多くの機能がサーバ装置側に分散された例について説明するが、本発明はこれに限られず、より多くの機能を端末装置側に分散してもよく、あるいは、会話連動システムの機能をスタンドアローンとして１台のコンピュータに実装してもよいものである。

まず、以下、本発明にかかる本実施の形態の全体概要について説明し、その後、本実施の形態の構成および処理等について詳細に説明する。ここで、図１は、本発明の実施形態にかかる会話連動システムの全体概要を示す構成図である。

図１に示すように、本実施の形態において、会話連動システムは、サーバ装置２００と、端末装置１００とを、ネットワーク３００を介して接続して構成される。なお、図１では、サーバ装置２００と、端末装置１００は、各一台が会話連動システムに備えられた例が図示されているが、サーバ装置２００や端末装置１００は、例えば広告主ごと所有者ごとに複数台備えてもよい。一例として、サーバ装置２００は、サーバ用コンピュータ等であって、端末装置１００は、モニタ等の出力部１１４を備えた、パーソナルコンピュータ、携帯情報端末（タブレット型コンピュータ等）、デジタルサイネージ装置などである。ネットワーク３００は、端末装置１００とサーバ装置２００とを相互に接続する機能を有し、例えば、ＬＡＮやインターネット等である。つづいて、各装置の詳細について以下に説明を行う。

［端末装置１００の構成］
まず、本実施の形態の端末装置１００等の構成について説明する。図２は、本実施の形態が適用される端末装置１００とサーバ装置２００の構成の一例を示すブロック図であり、該構成のうち本実施の形態に関係する部分のみを概念的に示している。

図２において、端末装置１００は、概略的に、端末装置１００の全体を統括的に制御するＣＰＵ等のプロセッサである制御部１０２、通信回線等に接続されるルータ等の通信装置（図示せず）に接続される通信制御インターフェース部１０４、タッチパネル等の入力部１１２や出力部１１４に接続される入出力制御インターフェース部１０８、および、各種のデータベースやテーブルなどを格納する記憶部１０６を備えて構成されており、これら各部は任意の通信路を介して通信可能に接続されている。

記憶部１０６に格納される各種のデータベースやテーブル（例えば、コンテンツファイル１０６ａ等）は、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を用いて構成される小容量高速メモリ（例えば、キャッシュメモリ）等や、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の固定ディスク装置等のストレージ手段であり、各種処理に用いる各種のプログラムやテーブルやファイルやデータベースやウェブページ等を格納する。

このうち、コンテンツファイル１０６ａは、サーバ装置２００から受信したコンテンツデータを記憶するコンテンツ記憶手段である。例えば、コンテンツファイル１０６ａは、広告等の動画や、静止画、静止画像群、アニメーションＧＩＦ等であってもよい。なお、コンテンツファイル１０６ａは、情報配信枠に表示するための情報コンテンツと、広告枠に表示するための広告コンテンツを対応付けて記憶してもよい。

また、図２において、入出力制御インターフェース部１０８は、マイクやキーボードやモーションセンサ等の入力部１１２や出力部１１４の制御を行う。出力部１１４としては、表示手段としてのモニタ（家庭用テレビ、ミニテレビ、タッチスクリーンモニタ、ハーフミラー型モニタ、デジタルサイネージ等を含む）等を用いることができる。なお、出力部１１４は、音声出力手段として、スピーカ等を用いてもよい。また、入力部１１２としては、ＧＰＳセンサやＩＭＥＳセンサなどの位置情報取得手段や、タッチパネル、音声マイク、キーボード、カメラ、加速度センサなどの各種センサ等を用いることができる。一例として、入力部１１２および出力部１１４は、液晶パネル等の出力部１１４と、タッチ位置入力装置等の入力部１１２とを組み合わせたタッチパネル等の入出力手段であってもよい。

なお、入力部１１２としてのモーションセンサは、一例として、カメラのようなキャプチャー・デバイスが、ユーザ画像データを取り込み、このユーザ画像データから、利用者のジェスチャー（１つまたは複数）を認識するデバイスであってもよい。より具体的には、入力部１１２としてのモーションセンサは、コンピュータ環境を使用して、利用者の三次元物理空間において利用者によって行われたジェスチャーを認識および分析してもよい。ジェスチャーは、物理空間における利用者の位置および動きから得ることができ、腕や脚の動き、または静止姿勢というような、動的または静的な、任意の利用者の動きを含むことができる。公知のモーションセンサの一例として、マイクロソフト社製Ｘｂｏｘ Ｏｎｅ（登録商標）用モーションセンサのＫｉｎｅｃｔ（登録商標）センサを用いてもよい。Ｋｉｎｅｃｔ技術によれば、全身骨格のスケルトン動作データや属性データを得ることができる。なお、公知のモーションセンサでは、センサ内蔵の制御手段を用いて人物の動きや属性が解析されるか、あるいは、接続されたコンピュータの制御手段にて人物の動きや属性が解析されるが、本実施の形態はいずれであってもよく、例えば、これら解析機能を、入力部１１２としてのモーションセンサの制御手段（プロセッサ等）により実現してもよく、端末装置１００の制御部１０２により実現してもよく、あるいは両者の制御手段により解析機能を実現してもよい。このほか、モーションセンサは、公知の人物特徴抽出技術を用いて、年齢層や顔や性別や身長等の属性データ等を取得してもよい。

また、図２において、制御部１０２は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、各種の処理手順等を規定したプログラム、および所要データを格納するための内部メモリを有し、これらのプログラム等により、種々の処理を実行するための情報処理を行うＣＰＵ等のプロセッサである。制御部１０２は、機能概念的に、音声入力制御部１０２ａ、および、コンテンツ出力制御部１０２ｂを備えて構成されている。

このうち、音声入力制御部１０２ａは、マイク等の入力部１１２を介して、ユーザ間の会話が音声入力されるよう制御する音声入力制御である。なお、音声入力制御部１０２ａは、会話音声データをサーバ装置２００に送信する。

また、コンテンツ出力制御部１０２ｂは、サーバ装置２００から配信されコンテンツファイル１０６ａに記憶されたコンテンツを、モニタやスピーカ等の出力部１１４に出力するコンテンツ出力制御手段である。すなわち、コンテンツ出力制御部１０２ｂは、コンテンツデータに基づいて、モニタ等の出力部１１４に表示させてもよく、スピーカ等の出力部１１４に音声出力してもよい。ここで、コンテンツ出力制御部１０２ｂの制御により出力部１１４の表示態様としては、美容室やタクシーや歯科医院等に設置される、ミニテレビや、モニタ、ハーフミラー（シースルータイプを含む）、デジタルサイネージ等の表示態様であってもよい。

ここで、コンテンツ出力制御部１０２ｂは、情報コンテンツと広告コンテンツがそれぞれ配信された場合、画面分割を行い、情報配信枠に情報コンテンツを表示させ、広告枠に広告コンテンツを表示させてもよい。なお、コンテンツ出力制御部１０２ｂは、コンテンツデータの種別に従い、複数の広告画像を連続的に表示させてもよく、３Ｄホログラムを表示させてもよく、広告動画を再生させてもよい。一例として、コンテンツ出力制御部１０２ｂは、公知のモーションコントロール技術により、利用者のアクションに応じて、インタラクティブにアクションに連動したコンテンツを再生してもよい。

また、図２において、通信制御インターフェース部１０４は、端末装置１００とネットワーク３００（またはルータ等の通信装置）との間における通信制御を行う装置である。すなわち、通信制御インターフェース部１０４は、他の端末または局と、通信回線（有線、無線を問わない）を介してデータを通信する機能を有する。これにより、この端末装置１００は、ルータ等の通信装置および専用線等の有線または無線の通信回線を介して、ネットワーク３００に通信可能に接続される。本実施の形態において、通信制御インターフェース部１０４は、サーバ装置２００等との通信制御を行う。すなわち、サーバ装置２００は、ネットワーク３００を介して、端末装置１００と相互に接続され、各端末に対してコンテンツデータに関する外部データベースや、会話連動プログラム等の外部プログラム等を実行するウェブサイト等を提供する機能を有する。

［サーバ装置２００の構成］
つづいて、本実施の形態のサーバ装置２００等の構成について説明する。図２において、サーバ装置２００は、ネットワーク３００を介して、端末装置１００と相互に接続され、端末装置１００に対してコンテンツデータに関する外部データベースや、会話連動プログラム等の外部プログラム等を実行するウェブサイトを提供する機能を有する。

ここで、サーバ装置２００は、ＷＥＢサーバやＡＳＰサーバ等として構成していてもよく、そのハードウェア構成は、一般に市販されるワークステーション、パーソナルコンピュータ等の情報処理装置およびその付属装置により構成していてもよい。また、サーバ装置２００の各機能は、サーバ装置２００のハードウェア構成中のＣＰＵ等のプロセッサ、ディスク装置、メモリ装置、入力装置、出力装置、通信制御装置等およびそれらを制御するプログラム等により実現される。

具体的には、サーバ装置２００は、概略的に、サーバ装置２００の全体を統括的に制御するＣＰＵ等のプロセッサの制御部２０２、通信回線等に接続されるルータ等の通信装置（図示せず）に接続される通信制御インターフェース部２０４、タッチパネル等の入力部２１２や出力部２１４に接続される入出力制御インターフェース部２０８、および、各種のデータベースやテーブルなどを格納する記憶部２０６を備えて構成されており、これら各部は任意の通信路を介して通信可能に接続されている。

記憶部２０６に格納される各種のデータベースやテーブル（コンテンツデータベース２０６ａ，ユーザデータベース２０６ｂ等）は、固定ディスク装置等のストレージ手段であり、各種処理に用いる各種のプログラムやテーブルやファイルやデータベースやウェブページ等を格納する。

これら記憶部２０６の各構成要素のうち、コンテンツデータベース２０６ａは、広告等のコンテンツ情報を蓄積し記憶するコンテンツ情報記憶手段である。例えば、コンテンツデータベース２０６ａは、タイトルや説明文、タグ、対象年齢や性別等のコンテンツ属性に対応付けて、広告等の動画や、静止画、静止画像群、アニメーションＧＩＦ等のコンテンツデータを記憶してもよい。

また、ユーザデータベース２０６ｂは、ユーザに関するデータを記憶する利用者情報記憶手段である。例えば、ユーザデータベース２０６ｂは、ユーザＩＤに対応付けて、ポイント数のほか、ユーザの声紋特徴や、位置情報、会員履歴情報、性別、年齢、嗜好、職業、その他のユーザ属性情報を記憶してもよい。

また、図２において、入出力制御インターフェース部２０８は、キーボード等の入力部２１２やモニタ等の出力部２１４の制御を行う。なお、入出力制御インターフェース部２０８や入力部２１２や出力部２１４や通信制御インターフェース２０４等の機能については、基本的に端末装置１００の各部と同様である。

また、図２において、制御部２０２は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、各種の処理手順等を規定したプログラム、および所要データを格納するための内部メモリを有し、これらのプログラム等により、種々の処理を実行するための情報処理を行う。制御部２０２は、機能概念的に、音声認識部２０２ａ、ユーザ属性取得部２０２ｃ、コンテンツ配信部２０２ｄ、および、会話評価部２０２ｅを備えて構成されている。

このうち、音声認識部２０２ａは、ユーザ間の会話音声データに基づいて、音声認識を行う音声認識手段である。具体的には、音声認識部２０２ａは、端末装置１００から送信されたユーザ間の会話音声データを受信して、文字列への変換や特徴量の抽出などの音声認識を行う。例えば、音声認識部２０２ａは、公知の音声入力技術により、会話音声データをテキストデータに変換してもよい。一例として、音声認識部２０２ａは、動的時間伸縮法や統計的手法など公知の音声ディクテーション技術を用いて、会話音声から文字列に変換してもよい。ここで、音声認識部２０２ａは、図２に示すように、話者認識を行うユーザ認識部２０２ｂを備える。

ユーザ認識部２０２ｂは、ユーザ間の会話音声データに基づいて、話者認識により会話中における第一ユーザを認識するユーザ認識手段である。ユーザ認識部２０２ｂは、公知の話者認識手法により、声紋など各人で異なる声の解剖学的特徴や後天的特徴を抽出して、複数のユーザ間の会話中で各ユーザがどの発言をしたかを識別してもよい。

ここで、ユーザ認識部２０２ｂは、事前に登録されたデータに基づきユーザを特定するのではなく、機械学習にて話者認識を行うことにより第一ユーザを自動認識してもよい。例えば、ユーザ認識部２０２ｂは、公知の教師無し学習手法により、端末装置１００を高頻度で利用するユーザの声や、端末装置１００を最初に利用したユーザの声を、第一ユーザとして認識してもよい。端末装置１００が個人で所有するスマートフォンなどの電話機能付きの端末である場合、電話発信時に発話する所有者の声を第一ユーザと認識してもよい。なお、端末装置１００と第一ユーザの関係は、一対一に限られず、一対多、多対多、または、多対一の関係であってもよい。なお、ユーザ認識部２０２ｂは、声紋を用いて、周波数推定、隠れマルコフモデル、パターンマッチング、ニューラルネットワーク、決定木等により話者認識を行ってもよい。

また、図２において、ユーザ属性取得部２０２ｃは、任意ユーザの位置情報、会員履歴情報、性別、年齢、嗜好、職業、その他のユーザ属性情報を取得するユーザ属性取得手段である。例えば、ユーザ属性取得部２０２ｃは、ユーザ認識部２０２ｂにより認識されたユーザの識別情報（ユーザＩＤ）や声紋特徴に基づいて、ユーザデータベース２０６ｂからユーザ属性情報を取得してもよい。このほか、ユーザ属性取得部２０２ｃは、音声認識部２０２ａによる音声認識技術を利用して、会話音声データから直接、年齢層や性別などデモグラフィック属性情報を取得してもよい。また、ユーザ属性取得部２０２ｃは、端末装置１００から送信された入力部１１２を介して得られた位置情報を取得してもよく、ネットワーク３００中で端末装置１００と接続されたアンテナ基地局や無線ＬＡ等のアクセスポイントの位置により位置情報を取得してもよい。

また、コンテンツ配信部２０２ｄは、コンテンツデータベース２０６ａに記憶されたコンテンツデータを抽出して端末装置１００に配信するコンテンツ配信手段である。本実施の形態において、コンテンツ配信部２０２ｄは、音声認識部２０２ａにより認識された会話中の文字列やキーワード、ユーザ属性等に基づいて、コンテンツデータベース２０６ａからコンテンツを検索して、端末装置１００に送信してもよい。ここで、コンテンツ配信部２０２ｄは、初期表示のため、ユーザ属性取得部２０２ｃにより取得された任意ユーザのユーザ属性情報に基づいてコンテンツの抽出を行い、コンテンツデータを端末装置１００に送信してもよい。ここで、コンテンツ配信部２０２ｄは、情報コンテンツと広告コンテンツを対応付けて抽出し端末装置１００に送信してもよい。

また、会話評価部２０２ｅは、ユーザ認識部２０２ｂにより認識された第一ユーザについて、聞き手としての会話の堪能さに基づいて評価を行い、第一ユーザにポイントを付与する会話評価手段である。例えば、会話評価部２０２ｅは、第一ユーザについて、聞き手としての会話が契機となって配信されたコンテンツの量および／もしくは配信時間、ならびに／または、聞き手としての会話の質および／もしくは量に基づいて、評価を行い第一ユーザにポイントを付与してもよい。

一例として、会話評価部２０２ｅは、聞き手としての会話の質を、第一ユーザの会話中に、表示されたコンテンツに関連したキーワードが含まれているか否か、会話時間、やりとりの回数、第一ユーザの会話に対する任意ユーザの回答に肯定的なテキスト（「へえ」「そう」「うん・はい」「良い」「ほしい」など）が含まれているか否か、任意ユーザの速さ等を、評価してもよい。

また、会話評価部２０２ｅは、一例として、第一ユーザが聞き手として質問し、任意ユーザが回答した内容が契機となって検索されたコンテンツが配信された場合に、当該第一ユーザを評価してポイントを付与してもよい。また、会話評価部２０２ｅは、更に、前回配信にかかるコンテンツを題材として会話が発展して新たなコンテンツが配信された場合を評価してもよい。なお、会話評価部２０２ｅは、付与されたポイント数データをユーザデータベース２０６ｂに格納する。このように会話評価部２０２ｅにより付与されたポイントは、商品購入、電子マネーチャージ、購入割引、換金、その他のポイントサービス利用可能にサーバ装置２００等において制御される。

また、図２において、通信制御インターフェース部２０４は、サーバ装置２００とネットワーク３００（またはルータ等の通信装置）との間における通信制御を行う装置である。すなわち、通信制御インターフェース部２０４は、他の端末（端末装置１００など）と、通信回線（有線、無線を問わない）を介してデータを通信する機能を有する。

以上で、本実施の形態の会話連動システムの各構成の説明を終える。

［広告評価処理］
次に、このように構成された本実施の形態における会話連動システムの処理の一例について、以下に図３〜図６を参照して詳細に説明する。

（会話連動システムの基本処理）
ここで、図３は、本実施の形態の会話連動システムにおける基本的処理の一例を示すフローチャートである。

図３に示すように、まず、本会話連動システムのサーバ装置２００は、音声認識部２０２ａの処理により、端末装置１００から送信されるユーザ間の会話音声データの音声認識を行い、コンテンツ配信部２０２ｄの処理により、音声認識結果に基づいてコンテンツデータベース２０６ａからコンテンツを抽出して端末装置１００に配信する（ステップＳＡ−１）。

そして、本会話連動システムのサーバ装置２００は、ユーザ認識部２０２ｂの処理により、ユーザ間の会話音声データに基づいて、話者認識により会話中における第一ユーザを認識する（ステップＳＡ−２）。

そして、本会話連動システムのサーバ装置２００は、ユーザ認識部２０２ｂにより認識された第一ユーザについて、聞き手としての会話の堪能さに基づいて評価を行い、第一ユーザにポイントを付与する（ステップＳＡ−３）。より具体的には、会話評価部２０２ｅは、第一ユーザについて、聞き手としての会話が契機となって配信されたコンテンツの量および／もしくは配信時間、ならびに／または、聞き手としての会話の質および／もしくは量に基づいて、評価を行い第一ユーザにポイントを付与してもよい。

以上が、会話連動システムの基本処理の一例である。これにより、広告等のコンテンツ配信の利用を促進するインセンティブとしてポイントをユーザに与えて、コンテンツ配信の利用が促進されるように誘導することができる。

（初期表示／具体化処理）
つづいて、上述した基本処理を基礎とした会話連動システムのサーバ装置２００の初期表示処理を含む具体化処理について説明する。ここで、図４は、本実施の形態のサーバ装置２００の具体化処理の一例を示すフローチャートである。

図４に示すように、まず、サーバ装置２００は、ユーザ属性取得部２０２ｃの処理により、ユーザ間の会話音声データ等からユーザ属性情報を取得して、コンテンツデータベース２０６ｂからユーザ属性に関する興味関心連動コンテンツを抽出して配信する（ステップＳＢ−１）。ここで、ユーザ属性情報は、会員情報、位置情報、男女性別、年齢等のデモグラフィック情報である。

つづいて、サーバ装置２００の音声認識部２０２ａは、端末装置１００から受信した会話音声データに基づいて音声認識を行い、キーワードを抽出する（ステップＳＢ−２）。例えば、音声認識部２０２ａは、動的時間伸縮法や統計的手法など公知の音声ディクテーション技術を用いて、会話音声データをテキストデータに変換してもよい。

そして、サーバ装置２００の会話評価部２０２ｅは、音声認識したキーワードのうち、会話量からユーザが関心のある関心キーワードを推定する（ステップＳＢ−３）。

そして、サーバ装置２００のコンテンツ配信部２０２ｄは、抽出した関心キーワードに基づいて、コンテンツデータベース２０６ａからコンテンツを選出し、出力部１１４から表示されるように端末装置１００に配信する（ステップＳＢ−４）。

コンテンツが出力部１１４に表示された後、更なる会話音声データがあった場合（ステップＳＢ−５，ＹＥＳ）、サーバ装置２００は、処理をステップＳＢ−２に戻し、上述したステップＳＢ−２〜ＳＢ−５の処理を繰り返す。

一方、会話の繰り返し処理が終了すると（ステップＳＢ−５，ＮＯ）、サーバ装置２００の会話評価部２０２ｅは、ユーザ認識部２０２ｂにより認識された第一ユーザについて、聞き手としての会話が契機となり配信されたコンテンツ表示の回数や配信時間、会話キーワードの絞り込み回数、会話量等から、コンテンツ配信の誘導効果を把握するための評価を行う（ステップＳＢ−５）。

そして、サーバ装置２００の会話評価部２０２ｅは、評価結果に応じてユーザにポイントを付与する（ステップＳＢ−６）。例えば、会話評価部２０２ｅは、コンテンツ表示の回数や、配信時間、会話キーワードの絞り込み回数、会話量等の単位数に対して予め定めたポイント単価を乗ずることによりポイント数を計算してもよい。会話評価部２０２ｅは、付与したポイントをユーザデータベース２０６ｂに格納し、商品購入、電子マネーチャージ、購入割引、換金、その他のポイントサービス利用可能に制御する。

以上が、サーバ装置２００の具体化処理の一例である。このように、コンテンツの初期表示を行い、前回表示されたコンテンツに対して会話が弾むことで、更なるコンテンツ利用につながり、ポイントも付加されるインセンティブと相まって、一層コンテンツ配信の利用が促進されるようになる。利用場面としては、例えば、美容院の鏡に表示されるコンテンツに対して、美容師が直接利用者と対話することで、コンテンツが誘導される。また、例えば、歯科医院で、歯医者と患者が会話することで、治療台に設置されたサイネージのコンテンツが誘導される。他の例として、タクシーで、運転手と利用者が会話することで、タクシーの後部座席に設置されているサイネージのコンテンツが誘導される。

（利用場面におけるフロー）
つづいて、本実施の形態の会話連動システムの店舗における利用場面のフローの一例について説明する。ここで、図５は、本実施の形態の会話連動システムにおける、ある利用場面の処理フローである。ここでは、美容院、歯科医院、タクシーなどセミプライベート空間にデジタル情報表示デバイスが出力部１１４として設置している場面を想定している。

図５に示すように、まず、本会話連動システムは、セミプライベート空間（美容院の席、歯医者の椅子、タクシー乗車等）に入った任意ユーザ（第三者）の情報（位置情報、会員履歴情報、デモグラフィック情報など）に合わせたコンテンツを表示する（ステップＳＣ−１）。ここで、図５に示すように、本会話連動システムの端末装置１００は、出力部１１４としてのデジタル情報表示デバイスを画面分割し、情報配信枠に情報コンテンツを表示し、広告枠に広告コンテンツを表示させてもよい。

つぎに、本会話連動システムにおいて、表示されたコンテンツをきっかけに、第一ユーザは、聞き手として、第三者（任意ユーザ）との会話を開始し、興味関心を引き出す（ステップＳＣ−２）。

そして、本会話連動システムは、ユーザ認識部２０２ｂの制御に係る公知の声紋認識技術等により、第一ユーザ（聞き手）の声と、第三者（利用者）の声を認識し、第一ユーザの発言キーワードと、第三者の返答（肯定／否定など）により、コンテンツ配信部２０２ｄの処理により、関連するコンテンツを自動検索する（ステップＳＣ−３）。

そして、本会話連動システムにおいて、端末装置１００は、コンテンツ出力制御部１０２ｂの処理により、第一ユーザ（聞き手）との会話をトリガとして自動検索されたコンテンツを、第三者（利用者）に表示する（ステップＳＣ−４）。

そして、本会話連動システムにおいて、サーバ装置２００は、会話評価部２０２ｅの処理により、会話の質量（聞き上手評価）と、コンテンツ表示の量（時間、関連コンテンツの回数など）に応じて、第一ユーザ（聞き手）にポイント（報酬）を加算する（ステップＳＣ−５）。なお、サーバ装置２００は、第一ユーザ（聞き手）のポイント（報酬）に応じて、コンテンツの課金も加算してもよい。

ここで、出力部１１４としてのデジタル表示デバイスと任意ユーザ（第三者）との関係が、それぞれ、１対多、多対多でも、デバイスと所有者を認識し、加算対象とする。なお、「第一ユーザ」は、評価対象のユーザの呼称としたものであり、評価対象とするユーザが複数いてもよく、会話者のいずれもが第一ユーザであってもよいものである。ここで、図６は、第一ユーザＡ〜Ｄの関係を示す図である。

図６に示すように、評価対象の第一ユーザは複数存在しており、例えば第一ユーザＡと第一ユーザＣは直接会話することができる。その会話の際、第一ユーザＡが聞き手として評価対象となる場面もあるが、第一ユーザＢが聞き手として評価対象となる場面も発生しうる。その際、図６に示すように、第一ユーザＡと第一ユーザＣが会話を行うと、第一ユーザＡの方が多くポイントが付与される。第一ユーザＣは、聞き手として必ずしも話が下手というわけではなく、第一ユーザＤとの関係では、第一ユーザＣに多くポイントが付与されることがある。このように、本会話連動システムによれば、複数のユーザ間の関係が浮き彫りになり、どのユーザ属性をもった人が、どのユーザ属性の人と話を聞き出しやすいかを把握できるようになる。そのため、本会話連動システムによれば、ポイントサービスの利用のみならず、適材適所に人物を配置するなど人材管理や人材育成などの場面、マーケティング分析などにも利用することができる。

以上で、本実施の形態の会話連動システムの処理の説明を終える。

［他の実施の形態］
さて、これまで本発明の実施の形態について説明したが、本発明は、上述した実施の形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてよいものである。

例えば、会話連動システムにおいて、音声認識部２０２ａ、ユーザ属性取得部２０２ｃ、コンテンツ配信部２０２ｄ、および、会話評価部２０２ｅなどの機能は、サーバ措置２００にて実現したが、これに限られず、これら機能の全部または一部を、端末装置１００に分散して実現してもよい。

また、上記の実施の形態では、第一ユーザあるいは任意ユーザに対して、場所が固定であるかのように説明を行った場合があるが、これに限られず、第一ユーザあるいは任意ユーザは任意に場所を移動しても本発明を実施することができるものである。例えば、美容院の施術台が複数あり、顧客等の任意ユーザは、来店１回の滞在時間中に、移動してモニタ等の出力部１１４や入力部１１２が変わることがある。そのような場合でも、本実施の形態は、公知の顔認識技術や話者認識技術等を利用して、同一の任意ユーザに対して、異なるモニタ等の間で、コンテンツが引き継がれるよう制御してもよいものである。また、その際、本実施の形態は、同じ第一ユーザが、異なるモニタを介して同じ任意ユーザへのコンテンツ表示が連続して誘導されるよう制御してもよく、異なる第一ユーザが同じ任意ユーザに対して入れ替わってもコンテンツが引き継がれるよう制御してもよいものである。

また、サーバ装置２００が、端末装置１００等のクライアント端末からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却する場合を一例として説明したが、サーバ装置２００と端末装置１００は、スタンドアローンの形態で処理を行うよう一体として構成されてもよい。ここで、図７は、各機能をスタンドアローンの形態で一体としてコンピュータに実装させた会話連動装置１００´の構成の一例である。各機能は、同名の各部の機能と同様であるので説明を省略する。このように、上述した実施の形態において詳しく説明したクライアント―サーバ型の機能および処理を、スタンドアローン型のコンピュータに一体として実装してもよいものである。

また、実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。

また、端末装置１００やサーバ装置２００に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。

例えば、端末装置１００やサーバ装置２００の各装置が備える処理機能、特に制御部１０２，２０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサおよび当該プロセッサにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアプロセッサとして実現してもよい。尚、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じて端末装置１００やサーバ装置２００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの記憶部１０６，２０６などには、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。

また、このコンピュータプログラムは、端末装置１００やサーバ装置２００に対して任意のネットワーク３００を介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。

また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施の形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。プログラムが、一時的でないコンピュータ読み取り可能な記録媒体に記録されたプログラム製品として本発明を構成してもよい。

記憶部１０６，２０６に格納される各種のデータベース等（コンテンツファイル１０６ａ，コンテンツデータベース２０６ａ，ユーザデータベース２０６ｂ等）は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および、ウェブページ用ファイル等を格納する。

また、端末装置１００やサーバ装置２００は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、端末装置１００やサーバ装置２００は、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。

更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。

以上詳述に説明したように、本発明によれば、広告等のコンテンツ配信の利用が促進されるように誘導する、会話連動システム、会話連動装置、会話連動方法、および、会話連動プログラム、ならびに、記録媒体を提供することができる。

１００ 端末装置（会話連動装置）
１０２ 制御部
１０２ａ 音声入力制御部
１０２ｂ コンテンツ出力制御部
１０２ｃ 音声認識部
１０２ｄ ユーザ認識部
１０２ｅ ユーザ属性取得部
１０２ｆ コンテンツ配信部
１０２ｇ 会話評価部
１０４ 通信制御インターフェース部
１０６ 記憶部
１０６ａ コンテンツファイル
１０６ｂ コンテンツデータベース
１０６ｃ ユーザデータベース
１０８ 入出力制御インターフェース部
１１２ 入力部
１１４ 出力部
２００ サーバ装置
２０２ 制御部
２０２ａ 音声認識部
２０２ｂ ユーザ認識部
２０２ｃ ユーザ属性取得部
２０２ｄ コンテンツ配信部
２０２ｅ 会話評価部
２０４ 通信制御インターフェース部
２０６ 記憶部
２０６ａ コンテンツデータベース
２０６ｂ ユーザデータベース
２０８ 入出力制御インターフェース部
２１２ 入力部
２１４ 出力部

Claims (12)

1. 一のユーザである第一ユーザと、他の任意のユーザである任意ユーザとの会話に基づいて音声認識検索を行い、コンテンツを配信する、会話連動システムにおいて、
   話者認識により前記会話中における前記第一ユーザを認識するユーザ認識手段と、
   前記ユーザ認識手段により認識された前記第一ユーザについて、聞き手としての前記会話が契機となって配信されたコンテンツの量および／もしくは配信時間、ならびに／または、聞き手としての前記会話の質および／もしくは量に基づいて、評価を行い前記第一ユーザにポイントを付与する会話評価手段と、
   を備えたことを特徴とする、会話連動システム。
2. 請求項１に記載の会話連動システムにおいて、
   前記会話評価手段は、
   前記第一ユーザが聞き手として質問し、前記任意ユーザが回答した内容が契機となって検索された前記コンテンツが配信された場合に、当該第一ユーザを評価して前記ポイントを付与することを特徴とする、会話連動システム。
3. 請求項１または２に記載の会話連動システムにおいて、
   前記任意ユーザの位置情報、会員履歴情報、性別、年齢、嗜好、職業、その他のユーザ属性情報を取得するユーザ属性取得手段、
   を更に備え、
   前記ユーザ属性取得手段により取得された前記任意ユーザのユーザ属性情報に基づいて前記コンテンツの抽出を行い、初期表示を行うこと、
   を特徴とする、会話連動システム。
4. 請求項１乃至３のいずれか一つに記載の会話連動システムにおいて、
   前記会話評価手段は、更に、
   前回配信にかかる前記コンテンツを題材として会話が発展して新たなコンテンツが配信された場合を評価することを特徴とする、会話連動システム。
5. 請求項１乃至４のいずれか一つに記載の会話連動システムにおいて、
   前記ユーザ認識手段は、
   機械学習にて前記話者認識を行うことにより前記第一ユーザを自動認識することを特徴とする、会話連動システム。
6. 請求項１乃至５のいずれか一つに記載の会話連動システムにおいて、
   前記会話評価手段により付与された前記ポイントは、
   商品購入、電子マネーチャージ、購入割引、換金、その他のポイントサービス利用が可能であることを特徴とする、会話連動システム。
7. 請求項１乃至６のいずれか一つに記載の会話連動システムにおいて、
   配信される前記コンテンツは、
   情報配信枠に表示する情報コンテンツと、広告枠に表示する広告コンテンツの２種類が含まれることを特徴とする、会話連動システム。
8. 請求項１乃至７のいずれか一つに記載の会話連動システムにおいて、
   配信される前記コンテンツは、
   ミニテレビ、モニタ、ハーフミラー、または、デジタルサイネージの形態にて表示することを特徴とする、会話連動システム。
9. 請求項１乃至８のいずれか一つに記載の会話連動システムにおいて、
   前記第一ユーザと前記任意ユーザは、
   前記コンテンツを配信する一の表示装置につき、一対多、多対多、または、多対一の関係であることを特徴とする、会話連動システム。
10. 一のユーザである第一ユーザと、他の任意のユーザである任意ユーザとの会話に基づく音声認識検索により配信されるコンテンツを出力する、表示部と記憶部と制御部を少なくとも備えた会話連動装置において、
    前記制御部は、
    話者認識により前記会話中における前記第一ユーザを認識するユーザ認識手段と、
    前記ユーザ認識手段により認識された前記第一ユーザについて、聞き手としての前記会話が契機となって配信されたコンテンツの量および／もしくは配信時間、ならびに／または、聞き手としての前記会話の質および／もしくは量に基づいて、評価を行い前記第一ユーザにポイントを付与する会話評価手段と、
    を備えたことを特徴とする、会話連動装置。
11. 一のユーザである第一ユーザと、他の任意のユーザである任意ユーザとの会話に基づく音声認識検索により配信されるコンテンツを出力する、表示部と記憶部と制御部を少なくとも備えたコンピュータにおいて実行される会話連動方法であって、
    前記制御部により実行される、
    話者認識により前記会話中における前記第一ユーザを認識するユーザ認識ステップと、
    前記ユーザ認識ステップにて認識された前記第一ユーザについて、聞き手としての前記会話が契機となって配信されたコンテンツの量および／もしくは配信時間、ならびに／または、聞き手としての前記会話の質および／もしくは量に基づいて、評価を行い前記第一ユーザにポイントを付与する会話評価ステップと、
    を含むことを特徴とする、会話連動方法。
12. 一のユーザである第一ユーザと、他の任意のユーザである任意ユーザとの会話に基づく音声認識検索により配信されるコンテンツを出力する、表示部と記憶部と制御部を少なくとも備えたコンピュータに実行させるための会話連動プログラムであって、
    前記制御部において、
    話者認識により前記会話中における前記第一ユーザを認識するユーザ認識ステップと、
    前記ユーザ認識ステップにて認識された前記第一ユーザについて、聞き手としての前記会話が契機となって配信されたコンテンツの量および／もしくは配信時間、ならびに／または、聞き手としての前記会話の質および／もしくは量に基づいて、評価を行い前記第一ユーザにポイントを付与する会話評価ステップと、
    を実行させるための、会話連動プログラム。
    

Images