JP2021117581A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】ユーザと対話が可能な機械の発話に、自然な広告文を含めることが可能な情報処理装置及びプログラムを提供する。【解決手段】情報処理システムにおいて、サーバ１０は、広告の内容である広告文を保持する保持手段と、ユーザから入力される会話文に含まれる、予め定められた予約語を抽出する抽出手段と、抽出した予約語に基づいて、広告文のうち、ユーザに提示する広告文を選択する選択手段と、所定の基準に基づいて、会話文に続いて、選択された広告文を含む応答文の発話処理を実行する実行手段とを備える。【選択図】図１

Description

本発明は、情報処理装置及びプログラムに関する。

情報処理装置のユーザに対して広告を提示する技術は、種々知られている。例えば、ユーザ間のチャットの内容に基づいて広告を選択することが特許文献１に開示されている。

特開平１１−３３４８号公報

上記従来例の技術では、ユーザ間のチャットにおいて明確に広告であることがわかるようにユーザに提示している。一方、ユーザと対話が可能な機械において、機械側の発話で広告を入れた発話をすると、ユーザとの会話が不自然なものとなってしまうという問題があった。

本発明は上記実情に鑑みて為されたもので、ユーザと対話が可能な機械の発話に、自然な広告文を含めることができる情報処理装置及びプログラムを提供することを、その目的の一つとする。

上記従来例の問題点を解決する本発明の一態様は、情報処理装置であって、広告の内容である広告文を保持する保持手段と、ユーザから入力される会話文に含まれる、予め定められた予約語を抽出する抽出手段と、前記抽出した予約語に基づいて、前記広告文のうち、ユーザに提示する広告文を選択する選択手段と、所定の基準に基づいて、前記会話文に続いて、選択された広告文を含む応答文の発話処理を実行する実行手段と、を備えることとしたものである。

本発明によると、ユーザと対話が可能な機械の発話に、自然な広告文を含めることが可能な情報処理装置及びプログラムを提供できる。

本発明の実施の形態に係る情報処理システムの構成例を表すブロック図である。 本発明の実施の形態に係る端末装置の構成例を表すブロック図である。 本発明の実施の形態に係る情報処理システムが用いる広告文の保持例を表す説明図である。 本発明の実施の形態に係る情報処理システムで利用される設定情報の例を表す説明図である。 本発明の実施の形態に係るサーバの例を表す機能ブロック図である。 本発明の実施の形態に係る情報処理システムで利用される会話文キューの内容例を表す説明図である 本発明の実施の形態に係る端末装置の例を表す機能ブロック図である。 本発明の実施の形態に係る情報処理システムの動作例を表す流れ図である。 本発明の実施の形態に係る情報処理システムの動作例を表すもう一つの流れ図である。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報処理システム１は、図１に例示するように、互いにネットワーク等の通信手段を介して通信可能に接続されたサーバ１０と、端末装置２０とを含んで構成される。

本実施の形態の一例では、このサーバ１０が本発明の情報処理装置を実現する。この例のサーバ１０は、図１に示したように、制御部１１と、記憶部１２と、通信部１３とを含んで構成される。また、端末装置２０は、ロボットであり、図２に例示するように、脚部２１と、本体部２２とを少なくとも含み、本体部２２に、制御部３１と、記憶部３２と、センサ部３３と、表示部３４と、音声出力部３５と、通信部３６と、駆動部３７とを収納している。また脚部２１と本体部２２とは、少なくとも１軸まわりに回転可能なアクチュエータを介して連結されており、脚部２１に対して本体部２２の向きを回動可能となっている。

サーバ１０の制御部１１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態では、この制御部１１は、端末装置２０からアクションのリクエスト情報を受け入れる。またこの制御部１１は、当該受け入れたリクエスト情報に対応して、端末装置２０にて実行されるアクションを指示するアクション指示と、端末装置２０にて発声される音声の内容を表す文字列情報とを含むアクション情報を、上記リクエスト情報の送信元である端末装置２０へ送信する。この制御部１１の詳しい処理の内容については、後に説明する。

記憶部１２は、ディスクデバイスまたはメモリデバイスであり、制御部１１によって実行されるプログラムを保持する。この記憶部１２は、また、制御部１１のワークメモリとしても動作する。本実施の形態の一例では、この記憶部１２には、端末装置２０への指示を生成するための情報が格納されていてもよい。この情報の内容については後に述べる。

また本実施の形態の一例では、この記憶部１２には、図３に例示するように、広告の対象となる商品等（Ｐ）ごとに、広告識別子（Ｉ）と、端末装置２０に対して配信される広告の内容である少なくとも一つの広告文（Ｅ）と、その出稿者を特定する情報（Ａ）と、広告ジャンルを特定するジャンル情報（Ｇ）とが関連付けて保持される。また、この広告文にはさらに、広告の対象となる商品等の情報を掲載したウェブページのＵＲＬ（Ｕ）が関連付けられていてもよい。このように、本実施の形態のある例では、この記憶部１２が本発明の保持手段として機能する。なお、広告文は、広告の対象となる商品等に対して一つとは限られず、複数あってもよい。

さらに本実施の形態の一例では、この記憶部１２には、端末装置２０にて発話させるための会話文の候補を蓄積した会話文キューが保持されてもよい。この会話文キューの内容については後に述べる。

通信部１３は、ネットワークインタフェース等であり、制御部１１から入力される指示に従い、ネットワークを介して端末装置２０宛に種々の情報を送出する。またこの通信部１３は、ネットワークを介して受信した情報を、制御部１１に出力する。

端末装置２０の制御部３１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部３２に格納されたプログラムに従って動作する。本実施の形態では、この制御部３１は、所定のタイミングで、サーバ１０に対してアクションのリクエスト情報を送出する。またこの制御部３１は、サーバ１０からアクション情報を受信する。制御部３１は、アクション情報を受信すると、当該アクション情報に含まれる文字列情報に基づき、音声データを合成する。また制御部３１は、ここで合成された音声データを再生するとともに、受信したアクション情報の指示に従い、アニメーションの表示などの処理を実行する。

本実施の形態の一例では、端末装置２０の制御部３１は、後に説明するセンサ部３３がユーザの音声の入力を受け入れると、当該入力された音声を文字列情報に変換する。この処理は、広く知られた音声認識の処理を用いることができ、制御部３１は例えば音声認識処理を実行する音声認識サーバに入力された音声の情報を送出し、認識した文字列情報を受信することでこの処理を実行してもよい。

また制御部３１は、ユーザにより音声が入力されたことを契機（トリガ）として、サーバ１０に対してアクションのリクエスト情報を送出する。このリクエスト情報には、トリガを特定する情報（例えばユーザにより音声が入力された旨の情報）と、サーバ１０での処理に必要な情報、例えば、ここではユーザが入力した音声の認識結果である文字列情報とを含む。

すなわち制御部３１は、予め定められたトリガが発生したと判断すると、サーバ１０での処理に必要な情報を収集して、当該トリガを特定する情報とともに、当該収集した情報を含むリクエスト情報をサーバ１０へ送出することとなる。このトリガは、先の例のように、ユーザにより音声が入力されたことのほか、所定の時刻になった、など、任意に定め得る。この制御部３１の詳しい動作の内容についても後に説明する。

記憶部３２は、メモリデバイス等であり、制御部３１によって実行されるプログラムを保持する。この記憶部３２は、また、制御部３１のワークメモリとしても動作する。本実施の形態では、この記憶部３２には、上記トリガ（Ｎ）と、サーバ１０に送出するべき情報を特定する情報（Ｐ）等とを関連付けた設定情報が格納されていてもよい（図４）。この設定情報については後に具体的な例を挙げて説明する。

さらに、本実施の形態のある例では、この記憶部３２は、表示部３４に表示するべきアニメーションの画像データを格納している。具体的に記憶部３２は、笑顔の目の画像データ、涙の流れるアニメーションの目の画像データ…など目のアニメーションの画像データや、笑った状態で閉じた口の画像データ、泣いている状態での閉じた口の画像データ、発声中の口のアニメーションの画像データ…など、口のアニメーションの画像データ…といったように、表情を表す各部の複数の画像データを格納していてもよい。

センサ部３３は、少なくとも音声センサであるマイクを含む。またこのセンサ部３３は、タッチセンサや、加速度センサ等を含んでもよい。このセンサ部３３は、各センサで検出した音声信号や、ユーザが触れた位置を表す情報、加速度の情報等を、制御部３１に出力する。

表示部３４は、液晶ディスプレイ等であり、制御部３１から入力される指示に従って、キャラクタの表情を表す画像データ等を表示する。音声出力部３５は、スピーカー等であり、制御部３１から入力される音声信号に従って音声を鳴動する。

通信部３６は、ネットワークインタフェースを含む。この通信部３６は、無線または有線にてネットワークを介してサーバ１０との間で情報を送受する。具体的に通信部３６は、制御部３１から入力される指示に従って、サーバ１０に対してリクエスト情報等を送出する。また、この通信部３６は、サーバ１０から受信した情報を制御部３１に出力する。

駆動部３７は、制御部３１から入力される指示に従い、脚部２１に対して本体部２２を回転するようアクチュエータを駆動する。

次に、本実施の形態のサーバ１０の制御部１１の動作について説明する。本実施の形態では、このサーバ１０の制御部１１は、図５に例示するように、受信部４１と、予約語抽出部４２と、広告選択部４３と、アクション情報生成部４４と、指示送信部４５とを含んで構成される。

受信部４１は、端末装置２０からリクエスト情報を受信する。本実施の形態では、サーバ１０は、端末装置２０にて実行するべき処理（アクション）を要求するリクエスト情報を、当該端末装置２０から受け入れる。このリクエスト情報には、アクションの要求の原因（トリガ）を特定する情報を含む。トリガの種類については後述するが、例えばユーザによる音声の入力等がその一例となる。ユーザによる音声入力があったとのトリガに基づく上記リクエスト情報には、当該トリガを特定する情報とともに、ユーザにより入力された音声の内容を表す情報が含まれてもよい。ここでユーザにより入力された音声の内容を表す情報は、音声を認識した結果である文字列情報でよい。

受信部４１は、ここで受け入れたリクエスト情報に含まれる、トリガを特定する情報や、ユーザにより入力された音声の内容を表す文字列情報等を、予約語抽出部４２と、アクション情報生成部４４とに出力する。

予約語抽出部４２は、受信部４１が出力する文字列情報に含まれる予約語を抽出する。ここで予約語は予め定められたキーワードであり、本実施の形態の例では、予め複数のキーワードがそれぞれ予約語として列挙して記憶部１２に格納されている。予約語抽出部４２は、この列挙された予約語が、受信部４１が出力する文字列情報に含まれる場合、予約語を抽出して広告選択部４３に出力する。

例えば端末装置２０から受信したリクエスト情報に含まれる、ユーザが入力した会話文を表す文字列情報が、
「最近、睡眠不足で…」
というものであるとき、予約語として「睡眠不足」の語が列挙されていれば、この予約語抽出部４２は、「睡眠不足」の語を抽出して、広告選択部４３に出力する。

広告選択部４３は、予約語抽出部４２が抽出した予約語に基づいて、記憶部１２に格納されている広告文のうち、ユーザに提示する広告文を選択する。具体的に、この広告選択部４３は、
（１）広告文に、抽出された予約語またはその類語が含まれる広告文を選択する、
（２）関連付けられているジャンル情報に、抽出された予約語が含まれる広告文を選択する、
のいずれかの処理を実行して広告文を選択する。

ここで、広告選択部４３が上記（１）または（２）の処理を行ったときに、複数の広告文が選択されるときには、広告選択部４３は、当該複数の広告文のうちから一つの広告文をさらに選択（絞り込み選択）する。この絞り込み選択の方法は、ランダムに行われてもよいし、他の条件に基づいて行われてもよい。

広告選択部４３は、ここで選択した一つの広告文を、会話文として記憶部１２に格納した会話文キューに登録する。このとき広告選択部４３は、当該広告文に関連付けて、期限の情報として、登録の時点から所定の時間だけ後の時間（例えば１時間）を関連付けて記録してもよい。後に説明するように、この期限が経過した会話文は発話されないよう制御されるので、このように期限の情報を設定すると、ユーザが予約語を発話してから相当の時間が経過した後に広告文が発話されることがなくなる。

アクション情報生成部４４は、受信部４１から入力される情報に基づいて、リクエストを送出した端末装置２０が実行するべきアクションを決定し、当該アクションを指示する情報（アクション指示）と、アクションの実行に必要となる情報（以下、パラメータ情報と呼ぶ）とを含むアクション情報を生成して指示送信部４５に出力する。

本実施の形態の一例では、サーバ１０の記憶部１２には、端末装置２０への指示を生成するための情報として、発生条件と、トリガを特定する情報と、ユーザにより入力された音声の内容を表す情報と比較する情報（以下、比較文字列情報と呼ぶ。ただしこの比較文字列情報は、トリガの種類によってはなくてもよい）と、アクション情報の生成のためにサーバ１０が実行する処理を表す情報とを互いに関連づけたレコードを少なくとも一つ含む、アクションデータベースが格納されているものとする。

アクション情報生成部４４は、受信部４１から入力されるトリガを特定する情報に関連付けられた、比較文字列情報（あれば）とアクション情報の生成のためにサーバ１０が実行するべき処理を表す情報とを取得する。

そしてアクション情報生成部４４は、比較文字列情報が取得されれば（トリガを特定する情報に比較文字列情報が関連付けられていれば）、受信部４１が出力する文字列情報と当該比較文字列情報とを比較する。そして、アクション情報生成部４４は、受信部４１が出力する文字列情報が比較文字列情報に一致していると判断すると、取得した情報が表す処理を実行して、アクション情報を生成する。

また、アクション情報生成部４４は、比較文字列情報が取得されていなければ、上記取得した情報が表す処理を実行して、アクション情報を生成する。

具体的な例として、ここではアクションデータベースには、「ユーザによる音声入力があった」旨のトリガを特定する情報と、ユーザにより入力された音声の内容を表す情報と比較するべき比較文字列情報として「＊ニュース［を｜は］＊［ない｜教えて｜読みあげて］＊」などといった文字列の情報とに「ニュースの文字列情報を、インターネット上の所定のウェブサーバから取得し、当該文字列情報を読み上げるよう指示する」との情報を関連付けたレコードが記録されているものとする。

なお、この比較文字列情報も正規表現で表されているものとする。従って上記の文字列は、
「今日のニュースを教えて」や、
「何かニュースはない？」
といった文字列情報に合致することとなる。

アクション情報生成部４４は、例えば受信部４１から「ユーザによる音声入力があった」旨のトリガを特定する情報と、ユーザにより入力された音声の内容を表す情報として「何かニュースはない？」といった文字列情報との入力を受け入れると、当該トリガを特定する情報を含むレコードをアクションデータベースから検索する。

ここではアクション情報生成部４４は、上記のレコードをアクションデータベースから見出すこととなり、当該レコードに含まれる、比較文字列情報と、受け入れた文字列情報とを比較する。上記の例では受け入れた文字列情報「何かニュースはない？」が、比較文字列情報「＊ニュース［を｜は］＊［ない｜教えて｜読みあげて］＊」に合致すると判断されるので、アクション情報生成部４４は、検索で見出した上記のレコードに含まれる、サーバ１０が実行するべき処理を表す情報、例えば
「（ステップ１）ニュースの文字列情報を、インターネット上の所定のウェブサーバから取得する、
（ステップ２）当該文字列情報を読み上げる指示を生成
（ステップ３）読み上げのときに再生するアニメーション情報を表示させる指示を生成する」を取得して、この情報に従った処理を実行する。

すなわちアクション情報生成部４４は、この読み出した情報に従って、インターネット上の所定のウェブサーバからニュースの文字列情報を取得する。またアクション情報生成部４４は、並列して行われるアクション処理の実行とともに表示するべきアニメーションの画像データを特定する情報（画像データのファイル名でよい）を含むアニメーション情報の表示指示を生成してもよい。

そしてこの例では、アクション情報生成部４４は、アクション指示とパラメータ情報とを含んだアクション情報を生成して指示送信部４５に出力する。ここでアクション指示には、文字列情報を読み上げるべき旨の指示と、アニメーション情報の表示指示とを含む。また、パラメータ情報には、上記取得した文字列情報と、アニメーションの画像データを特定する情報とを含む。

またここで、サーバ１０が実行するべき処理を表す情報には「会話文の選択」の指示が含まれてもよい。このような指示が含まれる場合、アクション情報生成部４４は、当該指示に従い、例えば次のような方法で会話文を選択する。

ここではサーバ１０の記憶部１２に格納される会話文キューは、図６に例示するように、期限（Ｔ）と、発話条件（Ｃ）と、会話文（Ｄ）とを関連付けて格納したものとなる。

アクション情報生成部４４は、会話文キューに格納されている会話文のうち、当該会話文に関連付けられた発話条件を満足する会話文を抽出する。ここで発話条件は例えば、発話してもよい時間帯を表す情報等である。この発話条件を満足するか否かの判断に必要な種々の情報、例えば現在日時（処理を実行している日時）の情報や、気象情報等は、アクション情報生成部４４が、ネットワークを介してＮＴＰ（Network Time Protocol）サーバや、所定のウェブサーバから取得すればよい。

アクション情報生成部４４は、発話条件を満足するとして抽出した会話文のうちから一つを例えばランダムに選択する。なお、このときアクション情報生成部４４は、抽出した会話文に関連付けられている期限の情報を会話文キューから読み出し、当該期限が既に経過していたときには、会話文キューから抽出した会話文を削除してもよい。この場合、アクション情報生成部４４は、発話条件を満足するとして抽出した他の会話文（未選択の会話文）を選択する処理から繰り返す。

アクション情報生成部４４は、選択した会話文が所定の基準を満足するか否かを判断する。例えばアクション情報生成部４４は、後に説明する指示送信部４５が記録している、リクエストを送出した端末装置２０のユーザに係る会話の履歴を読み出す。そしてアクション情報生成部４４は、現在記録されている会話の履歴に続いて、上記選択した会話文が発話されたときに自然な会話となるか否かを判断する。つまり、この例では、上記所定の基準は、履歴にある会話文と、選択された広告文とが連続性を有する、との基準となる。

この判断は例えば、人間同士の間でなされた会話のテキストを機械学習したニューラルネットワーク等を用いて、現在記録されている会話の履歴に続く文として妥当であるか否か、すなわち会話に連続性があるか否かを判断させることで実現できる。このような処理は、いわゆる次文予測（Next Sentence Prediction：ＮＳＰ）として知られる処理である。次文予測を行うためのニューラルネットワークとしては、例えばＢＥＲＴとして知られるモデル（https://arxiv.org/pdf/1706.03762.pdf）を利用できる。このような次文予測を行うための機械学習の学習用データとしては、一対の会話文（第１の会話文と第２の会話文ととする）と、当該第１，第２の会話文の連続性を表す情報とを互いに関連付けたものを用いる方法等、広く知られた学習用データ並びに、それを用いた機械学習処理方法を採用できる。

このようにニューラルネットワークを利用して現在記録されている会話の履歴に続く文として、選択した会話文が妥当であるか否か、つまり会話の連続性を判断させた場合、ニューラルネットワークの出力は、その妥当性を数値として表したものとなる。そこでアクション情報生成部４４は、予め定めたしきい値を超える数値となるときに、自然な会話となると判断（連続性ありと判断）する。

そしてアクション情報生成部４４は、上記のように連続性ありとの判断をしたときには、当該会話文（この会話文は前段の会話を引き継ぐ応答文でもあるので、他の会話文との区別を要する場合はここでは応答文と呼ぶ）の文字列情報を読み上げるべき旨の指示と、アニメーション情報の表示指示とを含むアクション指示を生成する。またアクション情報生成部４４は、上記選択した会話文の文字列情報と、アニメーションの画像データを特定する情報とを含むパラメータ情報を生成し、当該生成したアクション指示とパラメータ情報とをアクション情報として、端末装置２０へ送出するよう、指示送信部４５に指示する。

指示送信部４５は、アクション情報生成部４４が生成したアクション情報を、受信部４１が受信したリクエスト情報の送信元である端末装置２０に対して送出する。なお、このとき指示送信部４５は、ユーザごとに、受信部４１が受け入れた、当該ユーザにより入力された音声の内容と、アクション情報生成部４４が指示した、当該ユーザの端末装置２０により発話される会話文の内容とを順次記録する。

次に、端末装置２０の制御部３１の動作について説明する。本実施の形態では、制御部３１は、図７に例示するように、リクエスト送出部５１と、アクション情報受信部５２と、音声合成部５３と、アクション処理実行部５４とを機能的に含んで構成される。

リクエスト送出部５１は、予め定められたトリガが発生したと判断すると、サーバ１０での処理に必要な情報を収集して、当該トリガを特定する情報とともに、当該収集した情報を含むリクエスト情報をサーバ１０へ送出する。具体的にここでは、ユーザにより音声が入力されたことや、所定の時刻になったなどといったトリガを予め列挙して、設定情報に含め、記憶部３２に格納しておく。

リクエスト送出部５１は、図４に例示した設定情報を参照して、発生条件（Ｃ）が満足されたと判断すると、当該満足した発生条件に関連付けられたトリガ（Ｎ）が発生したとして、当該トリガに関連付けられた、サーバ１０での処理に必要な情報（Ｐ）を参照する。

なお、リクエスト送出部５１は、発生条件（Ｃ）ごとに、前回、当該発生条件が満足され、リクエスト情報を送出した日時を記録しておいてもよい。そしてリクエスト送出部５１は、満足された発生条件（Ｃ）に関連して記録された上記日時と現在日時との差が、発生条件に関連付けて設定情報に記録された（つまり例えば発生条件ごとに設定された）インターバル（Ｔ）を越えない場合は、リクエスト情報の送出を行わないよう制御してもよい。

そしてリクエスト送出部５１は、当該参照した情報で特定される、サーバ１０での処理に必要な情報を収集し、当該収集した情報と、発生したトリガを特定する情報（トリガ名でよい）とを含むリクエスト情報を、サーバ１０へ送出する。

アクション情報受信部５２は、サーバ１０からアクション情報を受信して、当該受信したアクション情報を、アクション処理実行部５４に出力する。

音声合成部５３は、後に説明するアクション処理実行部５４から入力される文字列情報に基づいて、音声データを合成する。この音声合成部５３は、合成して得られた音声データを、アクション処理実行部５４に出力する。

アクション処理実行部５４は、サーバ１０が送出したアクション情報から、アクション指示とパラメータ情報とを取り出し、アクション指示に従って処理を実行する。具体的に、上述の例のように、当該取得した文字列情報を読み上げるべき旨の指示と、上記アニメーション情報の表示指示とを含むアクション指示、及び、取得した文字列情報と、アニメーションの画像データとを含むパラメータ情報を含んだアクション情報を、アクション情報受信部５２が受信した場合について説明する。

この例ではアクション処理実行部５４は、取得した文字列情報を音声合成部５３に出力して、音声データを取得する。また、アクション処理実行部５４は、アクション情報に含まれる情報で特定されるアニメーションの画像データを記憶部２２から読み出す。そしてアクション処理実行部５４は、音声合成部５３が出力した音声データを、音声出力部３５に出力して、音声を鳴動させるとともに、上記読み出したアニメーションの画像データを表示部３４に出力して、アニメーションの画像データを再生する。

［動作］
本実施の形態の情報処理システム１は、以上の構成を備えており、次の例のように動作する。なお以下の例ではサーバ１０の記憶部１２には、アクションの要求の原因であるトリガごとに、アクション情報の生成のためにサーバ１０が実行する処理を表す情報が関連付けられて、アクションデータベースとして格納されているものとする。

以下の例では、このアクションデータベースに含まれる情報の例として、
・トリガを特定する情報（Ｔ）：ユーザが会話をしている
・実行する処理：
（ステップ１）会話文の文字列情報を選択
（ステップ２）当該文字列情報を読み上げる指示を生成
（ステップ３）読み上げのときに再生するアニメーション情報を表示させる指示を生成する
との情報が含まれるものとする。

また、サーバ１０の記憶部１２には、広告の情報として、
広告の対象（Ｐ）：睡眠改善薬ＡＡ
・広告識別子：１
・広告文（Ｅ）：
（１）「睡眠の質を改善するには睡眠改善薬ＡＡ」
（２）「睡眠改善薬ＡＡ、試してみた？」
・出稿者（Ａ）：株式会社Ａ
・ジャンル（Ｇ）：睡眠，深い，眠る，不眠，睡眠不足，睡眠改善薬，…
・ＵＲＬ（Ｕ）：http://…
広告の対象（Ｐ）：睡眠改善薬ＢＢ
・広告識別子：２
・広告文（Ｅ）：
（１）「病院でも使われている睡眠改善薬ＢＢ」
（２）「睡眠改善薬ＢＢは使ってみた？」
・出稿者（Ａ）：株式会社Ｂ
・ジャンル（Ｇ）：睡眠，入眠，不眠症，睡眠不足，睡眠改善薬，…
・ＵＲＬ（Ｕ）：http://…
…
といったような広告の情報が格納されているものとする。

さらに端末装置２０の記憶部３２は、設定情報として、図４に例示したように、トリガごとに、発生条件（Ｃ）や当該トリガに関係してサーバ１０での処理に必要な情報を特定する情報（Ｐ）等を関連付けて格納している。

以下の例では、この設定情報に、
・トリガを特定する情報（トリガ名Ｎ）：ユーザによる音声入力があった
・発生条件（Ｃ）：ユーザが所定のウェイクワードを発声した
・サーバ１０での処理に必要な情報を特定する情報（Ｐ）：ユーザが発話した内容の文字列情報
・トリガを特定する情報（トリガ名Ｎ）：ユーザが会話をしている
・発生条件（Ｃ）：音声データ鳴動後、１０秒以内にユーザが発声した
・サーバ１０での処理に必要な情報を特定する情報（Ｐ）：ユーザが発話した内容の文字列情報
…
といった情報が含まれるものとする。ここでウェイクワードとは、ユーザがその語を発話したときに、音声入力の開始として認識するべき、「ねえ聞いてよ」や「起きてよ」等の語であり、予め定められているものとする。端末装置２０は、サーバ１０での処理に必要となるユーザが発話した内容の文字列情報から、このウェイクワードに相当する文字列部分を除いてもよい。

またここでは発生条件（Ｃ）として、ユーザがウェイクワードを発声したことを条件としているが本実施の形態はこれに限られるものではなく、他の条件であっても構わない。

以下、このような設定の情報等を保持するサーバ１０と、端末装置２０との動作について、図８，図９を参照しながら説明する。

端末装置２０がユーザからの指示に従って、ニュースの情報等の音声データを鳴動した後、ユーザが当該音声データに対して反応して、端末装置２０に対し「私も最近睡眠不足でさあ…」などと発話する（図８のＳ１１）と、端末装置２０はこのユーザの音声を認識する処理を実行して（Ｓ１２）、ユーザが発話した音声に対応する文字列情報を取得する。既に述べたように、音声認識の処理は端末装置２０自身が行わなくても、ネットワークを介して音声認識処理のサービスにアクセスすることで行ってもよい。

端末装置２０は、設定情報を参照して、いずれかのトリガの発生条件が満足されたかを調べる（Ｓ１３）。ここでは端末装置２０の音声データ鳴動後、すぐにユーザが音声を発声しているので、「ユーザが会話をしている」旨のトリガが発生したものとして（Ｓ１３：Ｙｅｓ）、設定情報に従い、ユーザが発話した内容の文字列情報を収集する。なお、ステップＳ１３において、いずれのトリガの発生条件も満足していないと判断すると（Ｓ１３：Ｎｏ）、端末装置２０は処理を終了する。

ここでは、ユーザが発話した内容は既にステップＳ１２にて、ユーザが発話した内容の文字列情報を取得しているので、端末装置２０は、当該文字列情報と、発生したトリガを特定する情報（トリガ名「ユーザが会話をしている」）とを含むリクエスト情報をサーバ１０宛に送出する（Ｓ１４）。

サーバ１０では端末装置２０からのリクエスト情報を受信する。そしてサーバ１０は、当該リクエスト情報に含まれるトリガ名「ユーザが会話をしている」を参照して、当該トリガ名に関連付けられている情報を、アクションデータベースから取り出す（Ｓ１５）。またこのときサーバ１０は、リクエスト情報に含まれる会話文（ユーザの発話した内容を表す文字列情報）を、対応するユーザとの会話履歴に追加して蓄積する。

ステップＳ１５の処理では、サーバ１０で実行するべき処理を表す情報が取得される。そしてサーバ１０は当該取得した情報が表す処理を実行する（Ｓ１６）。ここでは会話文キューに含まれる会話文（例えば「えー、大丈夫？」）が応答文として一つ選択されて、当該応答文を読み上げる指示を生成し、また読み上げと並行してアニメーション情報を表示させる指示を生成してアクション情報として端末装置２０へ送出する処理が行われる。

このときサーバ１０は、送出した応答文を、対応するユーザとの会話履歴に追加して蓄積する。

またサーバ１０では、この処理と前後して、端末装置２０から受信したリクエスト情報に含まれる文字列情報（ユーザが入力した会話文）である、
「私も最近睡眠不足でさあ…」
を、例えば形態素解析により単語に区切り（各単語のうち活用のあるものは原形とする）、予め定められた予約語（予約語は原形で記録しておくものとする）として、「睡眠不足」の語を抽出する（Ｓ１７）。あるいはサーバ１０は、正規表現を用いたパターンマッチング等により、予め定められた予約語である「睡眠不足」の語を抽出してもよい。具体的にはユーザが入力した会話文に、予め定められた予約語のいずれかが含まれるか否かを順次調べ、いずれかの予約語が含まれると判断したときに、当該予約語が抽出されたものとすればよい。

サーバ１０は、次に、このユーザが入力した会話文に含まれる予約語を、ジャンル情報に含む広告文を選択する（Ｓ１８）。上述の例では、
「睡眠の質を改善するには睡眠改善薬ＡＡ」と、
「病院でも使われている睡眠改善薬ＢＢ」と、
の少なくとも２つの広告文が選択される。なお、ここでは一つの広告識別子に関連付けて複数の広告文がある場合は、そのうち先頭の広告文を選択することとする。

例えば広告識別子：１に関わる広告文（Ｅ）には、
（１）「睡眠の質を改善するには睡眠改善薬ＡＡ」
（２）「睡眠改善薬ＡＡ、試してみた？」
の２つの広告文が関連付けられているものとしたが、ここではそのうち先頭の
（１）「睡眠の質を改善するには睡眠改善薬ＡＡ」
を選択するものとしておく。先頭の広告文以外の広告文が選択される例については後述する。

サーバ１０は、これらの選択した広告文からさらに、一つの広告文を絞り込んで選択する。この絞り込みの方法は既に述べたように、例えばランダムであってよい。ここでは、
「睡眠の質を改善するには睡眠改善薬ＡＡ」
が選択されたものとする。そしてサーバ１０は、選択した広告文を会話文キューに登録する（Ｓ１９）。

一方、端末装置２０は、ステップＳ１６でサーバ１０が送出したアクション情報に含まれる応答文を鳴動する（Ｓ２０）。ユーザが当該鳴動された応答文に対して回答するかたちで「もうちょっと深く眠れるといいんだけどね」などの会話文を発話すると、端末装置２０は、ステップＳ１２からＳ１４と同様の処理を実行して、この会話文の文字列情報を含むリクエスト情報を送信する（Ｓ２１）。

図９に移り、サーバ１０は、ステップＳ２０で端末装置２０が送出したリクエスト情報を受けて、このリクエスト情報に含まれる会話文（ユーザの発話した内容を表す文字列情報）を、対応するユーザとの会話履歴に追加して蓄積する。

またサーバ１０は、当該リクエスト情報に含まれるトリガ名「ユーザが会話をしている」を参照して、当該トリガ名に関連付けられている情報を、アクションデータベースから取り出す（Ｓ２２）。ここでは、サーバ１０で実行するべき処理を表す情報が取得される。そしてサーバ１０は当該取得した情報が表す処理を実行する。ここでは会話文キューに含まれる会話文を、応答文として選択する処理が行われ、まず、ステップＳ１８で登録された広告文である
「睡眠の質を改善するには睡眠改善薬ＡＡ」
を含む会話文が抽出される（Ｓ２３）。

サーバ１０は、抽出した会話文について、順次、所定の基準を満足するか否かを判断する。具体的にサーバ１０は、抽出した会話文の一つ（未選択のもの）を候補として選択する（Ｓ２４）。そしてサーバ１０は、リクエスト情報を送出した端末装置２０のユーザに係る会話の履歴を参照し、現在蓄積されている会話の履歴に続いて、ステップＳ２４で選択した会話文が発話されたときに自然な会話となるか否かを判断する（Ｓ２５）。

一例としてサーバ１０は、人間同士の間でなされた会話のテキストを機械学習したＢＥＲＴのモデルを用いた次文予測処理により、ステップＳ２４で選択した会話文が、現在記録されている会話の履歴に続く文としての妥当性を表す数値（妥当であるほど大きい値となるものとする）を取得する。そしてサーバ１０は、取得した値が予め定めたしきい値を超える数値となるときに、自然な会話となる（連続性あり）と判断し、そうでないときには自然な会話とならない（連続性なし）と判断する。

具体的に、ここまでの処理で、サーバ１０には、ステップＳ２１でリクエスト情報を送出した端末装置２０のユーザとの間で、
ユーザ：「私も最近睡眠不足でさあ…」
端末装置２０の発話：「えー、大丈夫？」
ユーザ：「もうちょっと深く眠れるといいんだけどね」
といった会話が履歴として蓄積されている。

そこでサーバ１０は、これらの会話文に続いて、ステップＳ２４で選択した会話文が、現在記録されている会話の履歴に続く文として妥当であるか否かを判断することとなる。

サーバ１０は、ステップＳ２５において、選択した会話文が発話されたときに自然な会話となると判断する（Ｓ２５：Ｙｅｓ）と、当該選択した会話文の文字列情報を読み上げるべき旨の指示を含むアクション情報を生成する（Ｓ２６）。そしてサーバ１０は、当該アクション情報を端末装置２０へ送出する（Ｓ２７）。

一方、ステップＳ２５において、選択した会話文が発話されたときに自然な会話とならないと判断する（Ｓ２５：Ｎｏ）と、サーバ１０は、処理Ｓ２４に戻って、未選択の会話文を選択する処理を続ける。なお、処理Ｓ２４において未選択の会話文がない場合は、予め定めた会話文の文字列情報を読み上げるべき旨の指示を含むアクション情報を生成して端末装置２０へ送出するなど、予め定めた処理を実行する（Ｓ２８：既定処理の実行）。

端末装置２０では、サーバ１０がステップＳ２７、またはＳ２８で送出したアクション情報の指示に従い、文字列情報を読み上げる処理を実行する（Ｓ２９）。

このサーバ１０のステップＳ２５の処理で、直前までの会話文の履歴に続いて、選択した広告文が発話されたときに自然な会話となると判断されると、サーバ１０はステップＳ２６で広告文を応答文として読み上げる指示を含むアクション情報を生成することとなる。

そして端末装置２０では
「睡眠の質を改善するには睡眠改善薬ＡＡ」
という広告文が応答文として読み上げられることとなる。

［ＵＲＬ］
なお、会話文キューには、会話文と関係してユーザに対して提供するべき、会話文以外の（鳴動される文字列情報以外の）情報が含まれていてもよい。例えば、サーバ１０は、広告文を選択して会話文キューに登録する際、当該広告文に関連付けられたＵＲＬの情報がある場合には、広告文を会話文として登録するとともに、当該ＵＲＬの情報を、会話文と関係してユーザに提供するべき情報として当該広告文に関連付けて会話文キューに登録しておく。

そしてサーバ１０は、会話文キューから広告文を選択して当該選択した広告文を鳴動する旨のアクション情報を生成したときには、広告文の鳴動とともに、予め定めた、
「…詳しい情報のＵＲＬを送っておいたよ」
というような文言を鳴動する指示を、当該生成したアクション情報に追加して、端末装置２０宛に送出する。

そしてサーバ１０は、選択した広告文に関連付けて会話文キューに記録されているＵＲＬを本文に含む所定の電子メールを、アクション情報の宛先となった端末装置２０のユーザのメールアドレス（予め登録されているものとする）宛に送出する。

これにより、端末装置２０では広告文が発話されるとともに、「詳しい情報のＵＲＬを送っておいたよ」との発話が行われ、このユーザは、自己宛のメールとして、当該広告に関連する情報を取得するためのＵＲＬを受信する。

また、ここではユーザのメールアドレスにＵＲＬを送信する例としたが、本実施の形態はこれに限られず、例えばユーザのスマートフォン等にインストールされた、サーバ１０や端末装置２０との通信を行うアプリケーション宛に送信されてもよい。この例では、サーバ１０は、選択した広告文に関連付けて会話文キューに記録されているＵＲＬを、アクション情報の宛先となった端末装置２０のユーザのスマートフォンにインストールされたアプリケーション宛に送信する。なお、アプリケーションに情報を表示させる技術としては、通知の技術等広く知られた技術を採用できるので、ここでの詳しい説明は省略する。

［過去に提供した広告に関する記録］
またここまでの説明では、会話文キューに登録する広告文を選択する際に、例えばジャンル情報に基づいて複数の広告文が選択されても、会話文として発話される広告文を絞り込んで選択する際に、ランダムな絞り込みを行うものとしていた。このため、ある日の会話から出稿者Ａによる広告文、
「睡眠の質を改善するには睡眠改善薬ＡＡ」
が発話されたとしても、翌日の会話からは出稿者Ｂによる広告文、
「病院でも使われている睡眠改善薬ＢＢ」
が発話されてしまうことがあり得る。

つまり共通の広告対象について、互いに異なる出稿者からの広告文を発信してしまうことがあり得るが、これでは端末装置２０が一貫性のない会話を行うことになり、ユーザが端末装置２０を擬人的に扱うことができない。

そこで本実施の形態の一例では、サーバ１０は、ユーザの端末装置２０に対して、広告文を発話するよう指示したときに、ユーザごとに、当該広告文の広告識別子と、その発話を指示した日時とを関連付けて、広告履歴として記録する。そしてサーバ１０は広告文の選択の際に当該広告履歴を参照して選択を行う。

具体的に、サーバ１０は、ユーザが発話した会話文から抽出した予約語に基づいて、記憶部１２に格納されている広告文のうち、ユーザに提示する広告文を選択したときに、選択された広告文が複数あった場合は、次のようにして絞り込み選択を行う。すなわちサーバ１０は、広告履歴を参照し、選択されている広告文の広告識別子が記録されているか否かを検索する。そして選択されている広告文の広告識別子が広告履歴に記録されていれば、当該広告履歴に記録された発話を指示した日時のうち最も最近の日時の情報を取得する。これにより、予約語に基づいて選択した広告文のそれぞれについて、同じ出稿者からの同じ広告対象に係る広告文を最後に発話した日時の情報が得られる。

サーバ１０は、得られた日時情報のうち最も新しい日時の情報に係る広告文を絞り込み選択する。これにより、一度出稿者Ａによる広告文が発話された後は、その後も出稿者Ａによる広告文が発話されやすくなり、端末装置２０の会話の一貫性が維持される。

また、この例のように、広告履歴を参照する場合、サーバ１０は、ユーザが発話した会話文から抽出した予約語を含むジャンル情報に関連付けられた広告識別子を取得し、当該取得した広告識別子に関連付けられた広告文のうち、先頭の広告文以外の広告文を選択することとしてもよい。

この例によると、例えば広告識別子：１に関わる広告文（Ｅ）に
（１）「睡眠の質を改善するには睡眠改善薬ＡＡ」
（２）「睡眠改善薬ＡＡ、試してみた？」
の２つがあるとき、初回は先頭の「睡眠の質を改善するには睡眠改善薬ＡＡ」が発話されるが、二回目以降は（広告履歴に記録されるため）、先頭以外の「睡眠改善薬ＡＡ、試してみた？」の広告文が発話されることとなり、より自然な会話を実現できる。

［広告を抑制する時間帯の設定］
また、広告を行う時間帯として、ユーザが多忙な時間帯（例えば平日の朝など）は不適切であるため、サーバ１０は、会話文キューから端末装置２０が発話する会話文を選択する際に、端末装置２０の所在地の現在日時が予め忌避する時間帯として設定された時間帯であれば、広告文が選択されないよう制御してもよい。

この例では、端末装置２０は、例えば自己の所在する地域の現在日時の情報を、リクエスト情報に含めてサーバ１０に通知すればよい。またサーバ１０は、広告文を会話文キューに登録する際、当該会話文キューに登録した広告文に関連付けて、当該会話文が広告文であることを表すフラグ情報を登録しておいてもよい。

サーバ１０は、リクエスト情報に含められた現在日時の情報が、予め忌避する時間帯として設定された時間帯に含まれる場合は、広告文であることを表すフラグ情報に関連付けられた会話文を避けて、会話文キューから、発話の対象とする会話文を選択する。

［広告発話後の会話文の分析処理］
サーバ１０は、広告文を応答文として発話されたときに、当該応答文の発話に対するユーザの反応を判定してもよい。具体的にサーバ１０は、広告文を発話した後にユーザから受け入れた会話文の内容について、広告に関係する内容の会話が続いているか否か（広告の対象に関わる語が後続の会話文に含まれているか否か）や、極性分析等の方法で肯定的であるか否定的であるかを分析する。

そしてサーバ１０は、この分析の結果を、ユーザごと、かつ、発話した広告文の広告識別子ごとに、広告効果の履歴として保持し、所定の処理に供する。

ここで所定の処理は、特定の出稿者が出稿した広告の広告識別子ごとの広告効果の履歴の統計を得て、当該出稿者に提示する処理等が考えられる。これにより、広告出稿者は、出稿した広告の発話頻度や、ユーザの反応等の情報を得ることができる。

また、所定の処理は、ユーザごとに、否定的、あるいは、広告後に広告の内容に係る会話が続かないと判断された広告識別子を抽出する処理であってもよい。この場合、当該ユーザに対しては、当該抽出した広告識別子の広告文を選択しないよう制御することとしてもよい。

［広告のターゲット］
またここまでの説明では、広告識別子に関わる広告文等は、ユーザの属性、例えば年齢層や性別などに関わらず選択され得るものとなっていたが、本実施の形態はこれに限られない。例えば広告文は、ターゲットとなるユーザの属性を表す情報に関連付けて記録されてもよい。この場合、サーバ１０は、ユーザの端末装置２０に発話させる広告文を選択する際に、当該ユーザの生年月日や性別等の属性（予め登録しておく）を参照して、当該属性を表す情報に関連付けられた広告文のうちから、広告文を選択することとしてもよい。

［基準に関する他の例］
ここで、広告文を発話するか否かの所定の基準は、会話の連続性を次文判定処理して、連続性ありとするか否かの基準であるとしたが本実施の形態はこれに限られず、会話の履歴に含まれるキーワードの数や頻度（単位時間あたりのキーワードの出現数）などに基づくものであってもよい。

［端末装置側での処理］
またここまでの説明では、サーバ１０が本発明の情報処理装置の一例として機能し、広告を選択して、端末装置２０に発話させることとしていたが本実施の形態はこれに限られず、端末装置２０が本発明の情報処理装置の一例として機能して、サーバ１０に蓄積された広告文のうちから発話する広告文を選択してもよい。この例では、予約語抽出部４２と、広告選択部４３との動作を、端末装置２０の制御部３１が実行することとなる。またこの例では、制御部３１が、選択された広告文を発話する制御を行う。

［実施形態の構成・効果］
本発明の実施の形態は、以上のように、広告文を予め保持し、会話の続きとして発話することの適否の判定を行って、適切と判断したときに広告文を発話することとしている。すなわち、本実施の形態の情報処理装置は、広告の内容である広告文を保持するディスクやサーバ等の保持手段と、ユーザから入力される会話文に含まれる、予め定められたキーワードである予約語を抽出する抽出手段と、前記抽出した予約語に基づいて、前記広告文のうち、ユーザに提示する広告文を選択する選択手段と、所定の基準に基づいて、前記会話文に続いて、選択された広告文を含む応答文の発話処理を実行する実行手段と、を備える情報処理装置である。この情報処理装置は、サーバまたはユーザ側に配される端末装置（ロボット等）として実現できる。

これにより、自然な会話の中に広告文を含めることができ、広告の唐突感を低減できる。

またここで、前記所定の基準は、前記会話文と、前記選択された広告文とが連続性を有するか否かであり、連続性を有する場合に前記応答文の発話処理を実行することとしてもよい。

これにより、自然な会話の流れの中に広告文を含めることができ、広告の唐突感を低減できる。

さらに前記保持手段は、前記広告文ごとに、当該広告文が表す広告のジャンルを表すジャンル情報を関連付けて保持しており、前記選択手段は、前記予約語に基づいて、ユーザに対して提示する広告として決定したジャンルに関連付けられた広告文のうちから、ユーザに提示する広告文を選択することとしてもよい。

このように、ジャンルで広告文を絞り込むことで、基準に基づく判定の処理の負担を軽減できる。

さらに前記実行手段は、広告を避けるべき時間帯として設定された時間帯など、予め定められた時間帯に、前記応答文の発話を抑制してもよい。この例によると、ユーザにとって不適切な時間帯に広告を提示することを避けることができる。

また前記応答文の発話処理が実行されたときに、当該応答文の発話処理に対するユーザの反応を判定する反応判定手段をさらに含み、前記反応判定手段による判定の結果を、発話した応答文の内容を表す情報に関連付けて蓄積して、後にその広告を繰り返す、あるいは抑制するといった制御の処理など、所定処理に供することとしてもよい。これにより、広告の効果に応じた制御を行うことが可能となる。

１ 情報処理システム、１０ サーバ、１１ 制御部、１２ 記憶部、１３ 通信部、２０ 端末装置、２１ 脚部、２２ 本体部、３１ 制御部、３２ 記憶部、３３ センサ部、３４ 表示部、３５ 音声出力部、３６ 通信部、３７ 駆動部、４１ 受信部、４２ 予約語抽出部、４３ 広告選択部、４４ アクション情報生成部、４５ 指示送信部、５１ リクエスト送出部、５２ アクション情報受信部、５３ 音声合成部、５４ アクション処理実行部。

Claims (6)

1. 広告の内容である広告文を保持する保持手段と、
   ユーザから入力される会話文に含まれる、予め定められた予約語を抽出する抽出手段と、
   前記抽出した予約語に基づいて、前記広告文のうち、ユーザに提示する広告文を選択する選択手段と、
   所定の基準に基づいて、前記会話文に続いて、選択された広告文を含む応答文の発話処理を実行する実行手段と、を備える
   情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記実行手段は、前記所定の基準として、前記会話文と、前記選択された広告文とが連続性を有する場合に前記応答文の発話処理を実行する情報処理装置。
3. 請求項１または２に記載の情報処理装置であって、
   前記保持手段は、前記広告文ごとに、当該広告文が表す広告のジャンルを表すジャンル情報を関連付けて保持しており、
   前記選択手段は、前記予約語に基づいて、ユーザに対して提示する広告として決定したジャンルに関連付けられた広告文のうちから、ユーザに提示する広告文を選択する
   情報処理装置。
4. 請求項１から３のいずれか一項に記載の情報処理装置であって、
   前記実行手段は、予め定められた時間帯に、前記応答文の発話を抑制する情報処理装置。
5. 請求項１から４のいずれか一項に記載の情報処理装置であって、
   前記応答文の発話処理が実行されたときに、当該応答文の発話処理に対するユーザの反応を判定する反応判定手段をさらに含み、
   前記反応判定手段による判定の結果を、発話した応答文の内容を表す情報に関連付けて蓄積して、所定処理に供する情報処理装置。
6. コンピュータを、
   広告の内容である広告文を保持する保持手段と、
   ユーザから入力される会話文に含まれる、予め定められた予約語を抽出する抽出手段と、
   前記抽出した予約語に基づいて、前記広告文のうち、ユーザに提示する広告文を選択する選択手段と、
   所定の基準に基づいて、前記会話文に続いて、選択された広告文を含む応答文の発話処理を実行する実行手段と、として機能させるプログラム。
   
   

Images