JP2017121680A - 発話制御システム、発話制御装置及び発話制御プログラム - Google Patents

Abstract

【課題】複数の利用者と会話するロボット又はエージェントに、より適切なタイミングで発話を行わせることができる発話制御システム、発話制御装置及び発話制御プログラムを提供する。
【解決手段】複数の利用者と会話を行うロボットの発話を、又は、複数の利用者と会話を行う表示装置に表示される話者の発話を制御する発話制御部と、前記利用者が任意の時刻に次話者となる確率である第１の次話者確率を取得する次話者推定部とを備え、前記発話制御部は、前記次話者推定部が取得した前記利用者の前記第１の次話者確率に基づいて前記ロボット又は前記話者の発話を制御する。
【選択図】図１

Description

本発明は、発話制御システム、発話制御装置及び発話制御プログラムに関する。

従来、ヒューマノイドロボット及びコンピュータグラフィックにより描画されたエージェント（仮想的な人物）を表示するエージェントシステムは、周囲にいる複数の利用者と会話を行う会話機能を有するものがある。

複数の利用者と対話を行う対話システムとして、例えば、利用者の発話の内容から、次に対話システムが発話するべきであるか否かを推定し、対話システムからの発話を行う技術が開示されている（特許文献１を参照。）。

特開２０１３−６２３２号公報

しかしながら、特許文献１に記載の対話システムは、利用者の発話の内容にのみ基づいて発話の判断を行い、利用者の発話が誰に向けてのものかを考慮していない。このため、特許文献１に記載の対話システムは、誤った判断により発話する可能性がある。例えば、利用者Ａ及び利用者Ｂを含む複数の利用者の会話において、利用者Ａが利用者Ｂに対して「どう思う？」と質問をしたとする。この場合は、特許文献１に記載の対話システムは、誰に対して「どう思う？」と質問をしたのかを把握できないため、誤った判断により発話する可能性がある。このように、従来のヒューマノイドロボット及びエージェントの発話は、周囲にいる複数の利用者に対して適切なタイミングで発話することが困難であった。

上記事情に鑑み、本発明は、複数の利用者と会話するロボット又はエージェントにより適切なタイミングで発話を行わせることができる発話制御システム、発話制御装置及び発話制御プログラムを提供することを目的としている。

本発明の一態様は、複数の利用者と会話を行うロボットの発話を、又は、複数の利用者と会話を行う表示装置に表示される話者の発話を制御する発話制御部と、前記利用者が任意の時刻に次話者となる確率である第１の次話者確率を取得する次話者推定部と、を備え、前記発話制御部は、前記次話者推定部が取得した前記利用者の前記第１の次話者確率に基づいて前記ロボット又は前記話者の発話を制御する発話制御システムである。

本発明の一態様は、前記の発話制御システムであって、前記発話制御部は、複数の前記利用者の前記第１の次話者確率が所定の閾値以下の場合に前記ロボット又は前記話者の発話を行わせるよう制御する。

本発明の一態様は、前記の発話制御システムであって、前記発話制御部は、複数の前記利用者の前記第１の次話者確率を所定時間積分した積分値が所定の閾値以下の場合に前記ロボット又は前記話者の発話を行わせるよう制御する。

本発明の一態様は、前記の発話制御システムであって、前記次話者推定部は、前記利用者の非言語行動に基づいて前記第１の次話者確率を取得する。

本発明の一態様は、前記の発話制御システムであって、前記ロボット又は前記話者は、前記非言語行動に対応した動作を行うよう制御が可能であり、前記次話者推定部は、前記ロボットの前記非言語行動に対応した動作に関する情報に基づいて、前記時刻に前記ロボット又は前記話者が次話者となる確率である第２の次話者確率を取得し、前記発話制御部は、複数の前記利用者の前記第１の次話者確率と、前記ロボット又は前記話者の前記第２の次話者確率との比較に基づいて、前記ロボット又は前記話者の発話を制御する。

本発明の一態様は、前記の発話制御システムであって、前記発話制御部は、前記ロボット又は前記話者の発話の必要性を表す指標である発話必要度を取得して、取得した前記発話必要度に応じて前記次話者推定部が取得した前記第２の次話者確率の値を変化させる。

本発明の一態様は、複数の利用者と会話を行うロボットの発話を、又は、複数の利用者と会話を行う表示装置に表示される話者の発話を制御する発話制御部と、前記利用者が任意の時刻に次話者となる確率である第１の次話者確率を取得する次話者推定部と、を備え、前記発話制御部は、前記次話者推定部が取得した前記利用者の前記第１の次話者確率に基づいて前記ロボット又は前記話者の発話を制御する発話制御装置である。

本発明の一態様は、複数の利用者と会話を行うロボットの発話を、又は、複数の利用者と会話を行う表示装置に表示される話者の発話を制御する発話制御プログラムであって、前記利用者が任意の時刻に次話者となる確率である第１の次話者確率を取得する次話者推定ステップと、前記次話者推定ステップにおいて取得した前記利用者の前記第１の次話者確率に基づいて前記ロボット又は前記話者の発話を制御する発話制御ステップと、をコンピュータに実行させるための発話制御プログラムである。

本発明により、複数の利用者と会話するロボット又はエージェントにより適切なタイミングで発話を行わせることができる。

第１の実施形態におけるロボット１００が備える機能構成の概略を示す図である。 第１の実施形態におけるセンサ１０３の具体的な構成例を示す図である。 第１の実施形態における次話者推定部１０８が出力する次話者確率Ｐ^ｎｓ _ｉ（ｔ）の例を示す図である。 第１の実施形態における音制御部１１０の構成の詳細の具体例を示す図である。 第１の実施形態におけるロボット１００の外観及び構成の具体例を示す図である。 第１の実施形態におけるロボット１００の動作を示すフロー図である。 第２の実施形態におけるロボット１００Ａが備える機能構成の概略を示す図である。 第２の実施形態における制御部１０９Ａの構成の詳細の具体例を示す図である。 第２の実施形態における音制御部１１０Ａの構成の詳細の具体例を示す図である。 第２の実施形態におけるロボット１００Ａの会話前動作の具体例を示す図である。 第２の実施形態におけるロボット１００Ａの会話動作を示すフロー図である。 息の吸い込み区間の例を示す図である。 注視対象ラベルの具体例を示す図である。 話者である利用者Ｐ１（Ｒ＝Ｓ）の注視対象ラベルＬ１についての時間構造情報を示す図である。

以下、図面を参照して、本発明の実施形態について説明する。
（第１の実施形態）
図１は、第１の実施形態におけるロボット（発話制御システム）１００が備える機能構成の概略を示す図である。第１の実施形態におけるロボット１００は、複数人の利用者と会話を行うロボットである。図１に示すように、ロボット１００は、マイク１０１と、カメラ１０２と、センサ１０３と、音声入力部１０４と、映像入力部１０５と、センサ入力部１０６と、発話区間検出部１０７と、次話者推定部１０８と、発話制御部１０９と、音制御部１１０と、スピーカ１１５とを備える。

マイク１０１は、会話する利用者の音声等を含むロボット１００の周囲の音を集音して、音声信号を含む音信号（以下の説明では単に音声信号という）を出力する。なお、マイク１０１は、複数の各利用者それぞれに装着された複数のマイクで構成される。なお、ロボット１００自身にマイク１０１が搭載されていても良い。マイク１０１は、利用者やロボット１００に装着される構成に限られるものではなく、利用者又はロボット１００の周囲に配置しても良い。マイク１０１は、利用者の口元により近い位置に配置することが望ましいが、少なくとも利用者の声が集音可能な位置であれば、任意の位置及び任意の数を配置してよい。ロボット１００において、複数のマイク１０１と音声入力部１０４とは、有線又は無線で音声信号の送受信が可能に接続された構成である。

カメラ１０２は、会話する利用者の映像を撮影して、映像信号を出力する。カメラ１０２は、好ましくは、利用者全員の姿が画角にはいるよう広角な画角を有する撮像装置である。また、カメラ１０２は、利用者全員の姿をそれぞれ撮影する利用者の人数分の複数のカメラであってもよい。カメラ１０２は、少なくとも利用者全員を撮影可能な位置に配置するのであれば、任意の位置及び任意の台数で構成してもよい。この場合には、ロボット１００において、映像入力部１０５と、複数のカメラとは、有線又は無線で映像信号を送受信可能に接続された構成となる。

センサ１０３は、会話する利用者の位置を計測する第１のセンサ、利用者の呼吸動作を計測する第２のセンサ、利用者の注視対象を検出する第３のセンサ及び利用者の頭部動作を検出する第４のセンサ等の複数のセンサを備え、それらの各センサからのセンサ信号をセンサ入力部１０６へ出力する。

図２は、第１の実施形態におけるセンサ１０３の具体的な構成例を示す図である。
図２に示すように、センサ１０３は、会話する利用者の位置を計測する位置計測装置（第１のセンサ）２０１と、利用者の呼吸動作を計測する呼吸動作計測装置（第２のセンサ）２０２と、利用者の注視対象を検出する注視対象検出装置（第３のセンサ）２０３と、利用者の頭部動作を検出する頭部動作検出装置（第４のセンサ）２０４とを備える。位置計測装置２０１は、例えばロボット１００内に設置され、呼吸動作計測装置２０２、注視対象検出装置２０３及び頭部動作検出装置２０４は、利用者の頭部等に装着される。位置計測装置２０１は、センサ入力部１０６と接続されている。呼吸動作計測装置２０２、注視対象検出装置２０３及び頭部動作検出装置２０４は、センサ入力部１０６と、有線又は無線でセンサ信号の送受信が可能に接続されている。

音声入力部１０４は、マイク１０１からの音声信号を入力とし、発話区間検出部１０７、次話者推定部１０８及び音制御部１１０へ音声信号を出力する。音声入力部１０４は、マイク１０１からの音声信号を、ロボット１００内で処理可能な信号形式の音声信号に変換する等の処理を行う。映像入力部１０５は、カメラ１０２からの映像信号を入力とし、次話者推定部１０８へ映像信号を出力する。映像入力部１０５は、カメラ１０２からの映像信号を、ロボット１００内で処理可能な信号形式の映像信号に変換する等の処理を行う。センサ入力部１０６は、センサ１０３からのセンサ信号を入力とし、次話者推定部１０８へセンサ信号を出力する。センサ入力部１０６は、センサ１０３からのセンサ信号を、ロボット１００内で処理可能な信号形式のセンサ信号に変換する等の処理を行う。

発話区間検出部１０７は、音声入力部１０４からの音声信号に基づいて、任意の窓幅を設けてその区間内の音声信号のパワー、ゼロ交差数、周波数などを、音声の特徴を示す値である音声特徴量として算出する。発話区間検出部１０７は、算出した音声特徴量と所定の閾値を比較して発話区間を検出する。発話区間検出部１０７は、検出した発話区間に関する情報である発話区間情報を次話者推定部１０８及び音制御部１１０へ出力する。なお、マイク１０１から取得される音声信号において、音声の存在する区間（発話区間）と音声の存在しない区間（非発話区間）を自動的に検出するＶＡＤ（Voice Activity Detection）技術は、以下の参考文献１に示すように公知の技術である。発話区間検出部１０７は、公知のＶＡＤ技術を用いて発話区間を検出する。
参考文献１：澤田 宏、外４名、"多人数多マイクでの発話区間検出〜ピンマイクでの事例〜"、日本音響学会 春季研究発表会、ｐｐ．６７９−６８０、２００７年３月

次話者推定部１０８は、音声入力部１０４からの音声信号と、映像入力部１０５からの映像信号と、センサ入力部１０６からのセンサ信号と、発話区間検出部１０７からの発話区間情報とを入力とし、各利用者が時刻ｔに次話者となる確率である次話者確率を出力する。次話者推定部１０８は、音声信号、映像信号、センサ信号及び発話区間情報に基づいて、発話区間情報で特定される発話区間の発話者を示す発話者情報を取得する。次話者推定部１０８は、音声信号、映像信号、センサ信号及び取得した発話者情報に基づいて、各利用者ｉが時刻ｔに次話者となる確率である次話者確率Ｐ^ｎｓ _ｉ（ｔ）を算出して、発話制御部１０９へ出力する。次話者推定部１０８は、利用者の非言語行動に基づいて次話者確率Ｐ^ｎｓ _ｉ（ｔ）を算出している。すなわち、次話者推定部１０８での、次話者確率Ｐ^ｎｓ _ｉ（ｔ）の算出は、利用者の発話内容を解析等して利用者の言語行動に関する情報を得る必要はない。

図３は、第１の実施形態における次話者推定部１０８が出力する次話者確率Ｐ^ｎｓ _ｉ（ｔ）の例を示す図である。図３においては、４名の利用者Ａ〜Ｄについて利用者Ａの発話の切れ目となる時刻ｔ_ｂｕｅ以降における次話者確率Ｐ^ｎｓ _ｉ（ｔ）の変化例を示している。符号３１を付与した矩形は、利用者Ａの発話区間を示している。発話区間３１は、発話終了時刻ｔ_ｂｕｅで終了している。次話者確率Ｐ^ｎｓ _Ａ（ｔ）３２で示す点線は、利用者Ａにおける発話終了時刻ｔ_ｂｕｅ以降の時刻ｔにおける次話者確率の変化を示している。次話者確率Ｐ^ｎｓ _Ｂ（ｔ）３３で示す点線は、利用者Ｂにおける発話終了時刻ｔ_ｂｕｅ以降の時刻ｔにおける次話者確率の変化を示している。次話者確率Ｐ^ｎｓ _Ｃ（ｔ）３４で示す点線は、利用者Ｃにおける発話終了時刻ｔ_ｂｕｅ以降の時刻ｔにおける次話者確率の変化を示している。次話者確率Ｐ^ｎｓ _Ｄ（ｔ）３５で示す点線は、利用者Ｄにおける発話終了時刻ｔ_ｂｕｅ以降の時刻ｔにおける次話者確率の変化を示している。このように、次話者推定部１０８は、利用者ｉの発話終了時刻ｔ_ｂｕｅ以降の時刻ｔにおける次話者確率Ｐ^ｎｓ _ｉ（ｔ）の変化を算出する。なお、次話者推定部１０８における次話者の推定処理の詳細については後述する。

発話制御部１０９は、次話者推定部１０８からの次話者確率を入力とし、音制御部１１０に対して発話制御信号を出力する。発話制御部１０９は、次話者推定部１０８からの各利用者の次話者確率に基づいて、ロボット１００に発話を行わせるか否かを制御する発話制御信号を出力する。発話制御部１０９は、例えば利用者のいずれか一人の次話者確率が閾値以上であれば、ロボット１００に発話させず、全利用者の次話者確率が閾値以下であれば、ロボット１００に発話させるように制御する発話制御信号を出力する。これにより、ロボット１００は、他の利用者における発話開始の確率が低いタイミングで、発話を開始することができる。このように、ロボット１００は、複数の利用者と会話する際に、より適切なタイミングで発話を行うことができる。

発話制御部１０９は、具体的には、以下に示す第１制御方法〜第４制御方法の４つの制御方法のいずれかを用いてロボット１００の発話の制御を行う。なお、以下の説明においては、利用者Ａ、Ｂ、Ｃ、Ｄの４名とロボット１００とが会話を行う場合について説明する。

（第１制御方法）
発話制御部１０９は、次話者推定部１０８から取得した時刻ｔにおける利用者Ａ〜Ｄの次話者確率Ｐ^ｎｓ _ｉ（ｔ），（ｉ∈｛Ａ，Ｂ，Ｃ，Ｄ｝）と、第１の閾値である任意の確率Ｐ_αとを比較する（以下、第１の比較という。）。発話制御部１０９は、上記第１の比較により、利用者Ａ〜Ｄのいずれか一人の次話者確率Ｐ^ｎｓ _ｉ（ｔ）が確率Ｐ_α以上である（Ｐ^ｎｓ _ｉ（ｔ）≧Ｐ_α）と判断した場合は、ロボット１００に発話させないよう制御する発話制御信号を出力する。発話制御部１０９は、上記第１の比較により、利用者Ａ〜Ｄの全員の次話者確率Ｐ^ｎｓ _ｉ（ｔ）が確率Ｐ_α未満である（Ｐ^ｎｓ _ｉ（ｔ）＜Ｐ_α）と判断した場合は、ロボット１００に時刻ｔで発話させるよう制御する発話制御信号を出力する。

（第２制御方法）
発話制御部１０９は、次話者推定部１０８から取得した時刻ｔにおける利用者Ａ〜Ｄの次話者確率Ｐ^ｎｓ _ｉ（ｔ），（ｉ∈｛Ａ，Ｂ，Ｃ，Ｄ｝）を、時刻ｔについて所定時間（例えば、３〜４秒以上の時間）積分して、積分値Ｐ^ｎｓ _ｉを取得する。発話制御部１０９は、この積分値Ｐ^ｎｓ _ｉと、第２の閾値である任意の確率Ｐ_βとを比較する（以下、第２の比較という。）。発話制御部１０９は、上記第２の比較により、利用者Ａ〜Ｄのいずれか一人の積分値Ｐ^ｎｓ _ｉが確率Ｐ_β以上である（Ｐ^ｎｓ _ｉ≧Ｐ_β）と判断した場合は、ロボット１００に発話させないよう制御する発話制御信号を出力する。発話制御部１０９は、上記第２の比較により、利用者Ａ〜Ｄの全員の積分値Ｐ^ｎｓ _ｉが確率Ｐ_β未満である（Ｐ^ｎｓ _ｉ＜Ｐ_β）と判断した場合は、ロボット１００に時刻ｔで発話させるよう制御する発話制御信号を出力する。

（第３制御方法）
発話制御部１０９は、次話者推定部１０８から取得した時刻ｔにおける利用者Ａ〜Ｄの次話者確率Ｐ^ｎｓ _ｉ（ｔ），（ｉ∈｛Ａ，Ｂ，Ｃ，Ｄ｝）を用いて、利用者全員の次話者確率を加算した加算値（Ｐ^ｎｓ _Ａ（ｔ）＋Ｐ^ｎｓ _Ｂ（ｔ）＋Ｐ^ｎｓ _Ｃ（ｔ）＋Ｐ^ｎｓ _Ｄ（ｔ））を取得する。発話制御部１０９は、加算値（Ｐ^ｎｓ _Ａ（ｔ）＋Ｐ^ｎｓ _Ｂ（ｔ）＋Ｐ^ｎｓ _Ｃ（ｔ）＋Ｐ^ｎｓ _Ｄ（ｔ））と、第３の閾値である任意の確率Ｐ_γとを比較する（以下、第３の比較という。）。発話制御部１０９は、上記第３の比較により、利用者Ａ〜Ｄのいずれか一人の加算値（Ｐ^ｎｓ _Ａ（ｔ）＋Ｐ^ｎｓ _Ｂ（ｔ）＋Ｐ^ｎｓ _Ｃ（ｔ）＋Ｐ^ｎｓ _Ｄ（ｔ））が確率Ｐ_γ以上である（（Ｐ^ｎｓ _Ａ（ｔ）＋Ｐ^ｎｓ _Ｂ（ｔ）＋Ｐ^ｎｓ _Ｃ（ｔ）＋Ｐ^ｎｓ _Ｄ（ｔ））≧Ｐ_γ）と判断した場合は、ロボット１００に発話させないよう制御する発話制御信号を出力する。発話制御部１０９は、上記第３の比較により、利用者Ａ〜Ｄの全員の加算値（Ｐ^ｎｓ _Ａ（ｔ）＋Ｐ^ｎｓ _Ｂ（ｔ）＋Ｐ^ｎｓ _Ｃ（ｔ）＋Ｐ^ｎｓ _Ｄ（ｔ））が確率Ｐ_γ未満である（（Ｐ^ｎｓ _Ａ（ｔ）＋Ｐ^ｎｓ _Ｂ（ｔ）＋Ｐ^ｎｓ _Ｃ（ｔ）＋Ｐ^ｎｓ _Ｄ（ｔ））＜Ｐ_γ）と判断した場合は、ロボット１００に時刻ｔで発話させるよう制御する発話制御信号を出力する。

（第４制御方法）
発話制御部１０９は、次話者推定部１０８から取得した時刻ｔにおける利用者Ａ〜Ｄの次話者確率Ｐ^ｎｓ _ｉ（ｔ），（ｉ∈｛Ａ，Ｂ，Ｃ，Ｄ｝）を、時刻ｔについて所定時間（例えば、３〜４秒以上の時間）積分して、積分値Ｐ^ｎｓ _ｉを取得する。発話制御部１０９は、利用者全員の積分値Ｐ^ｎｓ _ｉを加算した加算値（Ｐ^ｎｓ _Ａ＋Ｐ^ｎｓ _Ｂ＋Ｐ^ｎｓ _Ｃ＋Ｐ^ｎｓ _Ｄ）を取得する。発話制御部１０９は、加算値（Ｐ^ｎｓ _Ａ＋Ｐ^ｎｓ _Ｂ＋Ｐ^ｎｓ _Ｃ＋Ｐ^ｎｓ _Ｄ）と、第４の閾値である任意の確率Ｐ_θとを比較する（以下、第４の比較という。）。発話制御部１０９は、上記第４の比較により、利用者Ａ〜Ｄのいずれか一人の加算値（Ｐ^ｎｓ _Ａ＋Ｐ^ｎｓ _Ｂ＋Ｐ^ｎｓ _Ｃ＋Ｐ^ｎｓ _Ｄ）が確率Ｐ_θ以上である（（Ｐ^ｎｓ _Ａ＋Ｐ^ｎｓ _Ｂ＋Ｐ^ｎｓ _Ｃ＋Ｐ^ｎｓ _Ｄ）≧Ｐ_θ）と判断した場合は、ロボット１００に発話させないよう制御する発話制御信号を出力する。発話制御部１０９は、上記第４の比較により、利用者Ａ〜Ｄの全員の加算値（Ｐ^ｎｓ _Ａ＋Ｐ^ｎｓ _Ｂ＋Ｐ^ｎｓ _Ｃ＋Ｐ^ｎｓ _Ｄ）が確率Ｐ_θ未満である（（Ｐ^ｎｓ _Ａ＋Ｐ^ｎｓ _Ｂ＋Ｐ^ｎｓ _Ｃ＋Ｐ^ｎｓ _Ｄ）＜Ｐ_θ）と判断した場合は、ロボット１００に時刻ｔで発話させるよう制御する発話制御信号を出力する。

次話者確率Ｐ^ｎｓ _ｉ（ｔ），（ｉ∈｛Ａ，Ｂ，Ｃ，Ｄ｝）は、図３に示したように、発話終了から所定時間後にピークを有する場合が多い。そこで、発話制御部１０９は、第１制御方法〜第４制御方法において、次話者確率Ｐ^ｎｓ _ｉ（ｔ）を求める時刻ｔを含む窓幅を設けて、その窓幅の中における次話者確率の最大値を、時刻ｔにおける次話者確率Ｐ^ｎｓ _ｉ（ｔ）として出力するようにしてもよい。また、発話制御部１０９は、第１制御方法〜第４制御方法において、次話者確率Ｐ^ｎｓ _ｉ（ｔ）を求める時刻ｔを含む窓幅を設けて、その窓幅の中における次話者確率に複数のピークがある場合に、ｎ番目（ｎは１以上の整数）のピークの次話者確率を、時刻ｔにおける次話者確率Ｐ^ｎｓ _ｉ（ｔ）として出力するようにしてもよい。

音制御部１１０は、音声入力部１０４からの音声信号と、発話区間検出部１０７からの発話区間情報と、発話制御部１０９からの発話制御信号とに基づいて、スピーカ１１５に対して音信号を出力する。音制御部１１０は、発話制御信号に基づいて、ロボット１００に発話を行わせるか否かを判断する。音制御部１１０は、発話制御信号に基づいて、ロボット１００に発話を行わせると判断した場合には、ロボット１００に発話させる会話内容（言葉）を含む会話情報を生成し、生成した会話情報に基づいた音信号を出力する。音制御部１１０は、例えば、音声信号及び発話区間情報に基づいて利用者の会話内容を解析し、解析結果に基づいて、ロボット１００に発話させるための会話情報を生成する。

ここで、第１の実施形態における音制御部１１０の構成の詳細について一例を示して説明する。
図４は、第１の実施形態における音制御部１１０の構成の詳細の具体例を示す図である。音制御部１１０は、音声解析部４０１と、会話情報生成部４０２と、会話情報ＤＢ（データベース）４０３と、発声情報生成部４０４と、音信号生成部４０５とを備える。

会話情報ＤＢ４０３は、ロボット１００に会話させるための会話サンプル情報を格納する。会話サンプル情報とは、日常の会話でよく使われる名詞、「こんにちは」等の挨拶及び「ありがとうございます」、「大丈夫ですか」等の日常会話でよく利用するフレーズの音声信号を含む情報である。

音声解析部４０１は、音声入力部１０４からの音声信号と、発話区間検出部１０７からの発話区間情報とに基づいて、音声信号を解析して、その内容（言葉）を特定し、解析結果を出力する。

会話情報生成部４０２は、音声解析部４０１の解析結果に基づいて、ロボット１００の発話内容となる会話情報を生成する。会話情報生成部４０２は、音声解析部４０１の解析結果に基づいて、会話する内容に応じた会話サンプル情報を会話情報ＤＢ４０３から取得する。会話情報生成部４０２は、取得した会話サンプル情報に基づいて、会話情報を生成する。会話情報生成部４０２は、発声情報生成部４０４からの会話情報の要求に応じて、会話情報を生成し、発声情報生成部４０４へ出力する。

発声情報生成部４０４は、会話情報生成部４０２からの会話情報と、発話制御部１０９からの発話制御情報とを入力として、発話信号を出力する。発声情報生成部４０４は、発話制御部１０９からの発話制御情報に基づいて、会話情報生成部４０２に対して会話情報を要求する。発声情報生成部４０４は、要求に応じて会話情報生成部４０２から取得した会話情報と、発話制御部１０９からの発話制御情報とに基づいて、ロボット１００が発声するための発話信号を生成する。発声情報生成部４０４は、生成した発話信号を音信号生成部４０５へ出力する。

音信号生成部４０５は、発声情報生成部４０４からの発話信号を入力とし、音信号を出力する。音信号生成部４０５は、発声情報生成部４０４からの発話信号に基づいてスピーカ１１５から発話させるための音信号を生成して、スピーカ１１５へ出力する。

図５は、第１の実施形態におけるロボット１００の外観及び構成の具体例を示す図である。第１の実施形態におけるロボット１００は、例えば図５に示す外観を有し、図１に示す機能構成を有する。

図５に示すように、ロボット１００は、例えば、人間の上半身をモデルとした形状のヒューマノイドロボット（人型ロボット）である。ロボット１００は、発話を行う発話機能、人の音声を認識する音声認識機能、利用者を撮影するカメラ機能を少なくとも備える。ロボット１００は、右目５１ａ及び左目５１ｂと、口部５２とが配置された顔を有する頭部５３を備える。

ロボット１００は、頭部５３を支持する頸部５４と、頸部５４を支える胴部５５とを備える。胴部５５は、右腕５５ａと左腕５５ｂとが側面上部に設けられている。また、頭部５３の右目５１ａ、左目５１ｂの間には、カメラ１０２が設置されている。以下の説明において、右目５１ａ、左目５１ｂをまとめて説明する場合は、眼部５１と称する。

図１に示す構成の内、図５に示しているのは、カメラ１０２のみであるので、カメラ１０２以外の図１に示す構成の設置位置の一例について説明する。マイク１０１及びセンサ１０３は、ロボット１００の胴部５５内における任意の位置又は胴部５５から離れた位置（例えば利用者の位置）に設置される。図１に示すマイク１０１、カメラ１０２及びセンサ１０３以外の構成は、ロボット１００内部に設置されるものであり、例えば、スピーカ１１５は、図５に示した口部５２の内部に設置されている。

次に、第１の実施形態におけるロボット１００の動作について説明する。
図６は、第１の実施形態におけるロボット１００の動作を示すフロー図である。図６に示す処理は、ロボット１００において、複数の利用者と会話を行う動作を開始した際に行う処理である。

音声入力部１０４は、マイク１０１からの音声信号が入力され、映像入力部１０５は、カメラ１０２からの映像信号が入力され、センサ入力部１０６は、センサ１０３からのセンサ信号が入力される（ステップＳ１０１）。発話区間検出部１０７は、音声入力部１０４からの音声信号に基づいて、音声特徴量を算出し、算出した音声特徴量と所定の閾値を比較して発話区間を検出する（ステップＳ１０２）。

次話者推定部１０８は、音声信号、映像信号、センサ信号及び取得した発話者情報に基づいて、各利用者ｉが時刻ｔに次話者となる確率である次話者確率Ｐ^ｎｓ _ｉ（ｔ）を算出する（ステップＳ１０３）。発話制御部１０９は、次話者推定部１０８からの各利用者の次話者確率に基づいて、ロボット１００に発話を行わせるか否かを制御する発話制御信号を出力する（ステップＳ１０４）。

音制御部１１０は、発話制御部１０９からの発話制御信号に基づいて、ロボット１００に発話を行わせるか否かを判断する（ステップＳ１０５）。ここで、ロボット１００に発話を行わせないと判断した場合（ステップＳ１０５のＮＯ）には、ステップＳ１０１の処理に戻る。ロボット１００に発話を行わせると判断した場合（ステップＳ１０５のＹＥＳ）には、音制御部１１０は、ロボット１００に発話させるための会話情報を生成し、生成した会話情報に基づいた音信号をスピーカ１１５へ出力する（ステップＳ１０６）。これにより、ロボット１００は、音信号に応じた発話をスピーカ１１５から発音する。

音制御部１１０は、発話制御部１０９からの発話制御信号に基づいて、ロボット１００の発話を終了するか否かを判断する（ステップＳ１０７）。ここで、ロボット１００の発話を終了しない場合（ステップＳ１０７のＮＯ）には、音制御部１１０は、ステップＳ１０６の処理に戻る。ロボット１００の発話を終了する場合（ステップＳ１０７のＹＥＳ）には、音制御部１１０は、会話情報の生成を停止することに応じて音信号の出力を停止する。

次に、ロボット１００は、複数の利用者と会話を行う会話動作を終了するか否かを判断する（ステップＳ１０８）。ここで、会話動作を終了しないと判断した場合（ステップＳ１０８のＮＯ）には、ステップＳ１０１の処理に戻る。会話動作を終了すると判断した場合（ステップＳ１０８のＹＥＳ）には、ロボット１００は、会話動作を終了する。例えば、利用者が電源スイッチ（図示せず）を入れたタイミングや会話モードのスイッチ（図示せず）をオンにしたタイミングで、ロボット１００は、会話動作を開始し、利用者が電源スイッチを切ったタイミングや会話モードのスイッチをオフにしたタイミングで、ロボット１００は、会話動作を終了する。

以上に説明したとおり、第１の実施形態におけるロボット１００は、複数の利用者と会話する際に、各利用者の次話者確率に基づいて、各利用者が発話する可能性の低い、より適切なタイミングで発話を行うことができる。これにより、ロボット１００は、他の利用者と発話のタイミングが重なる発話衝突の発生を低減した発話を行うことができる。また、発話中のロボット１００は、各利用者の次話者確率に基づいて、利用者の内の誰かが発話をしそうな場合には、発話を終了することができる。

（第２の実施形態）
第２の実施形態におけるロボット１００Ａについて説明する。第２の実施形態におけるロボット１００Ａが、第１の実施形態におけるロボット１００と異なる点は、ロボット１００Ａ自身の動き（呼吸動作、視線動作、頭部動作）からロボット１００Ａ自身の次話者確率Ｐ^ｎｓ _Ｒ（ｔ）を求める点と、求めた次話者確率Ｐ^ｎｓ _Ｒ（ｔ）と他の利用者の次話者確率とに基づいて、ロボット１００Ａの発話を制御する点である。

また、第２の実施形態におけるロボット１００Ａは、会話中に、会話中の人間同様の動きを行う点でも異なる。ロボット１００Ａは、会話中に、呼吸音を発したり胸の膨らみを変化させたりする呼吸動作、視線を現話者に向ける等の視線動作、会話に応じて頷いたりする頭部動作を行う。

図７は、第２の実施形態におけるロボット１００Ａが備える機能構成の概略を示す図である。図７に示す第２の実施形態におけるロボット１００Ａは、第１の実施形態におけるロボット１００と同じ構成要素を含む。よって、ロボット１００Ａの説明においては、第１の実施形態におけるロボット１００と同じ構成要素については、同じ符号を付与して説明を省略する。

図７に示すように、ロボット１００Ａは、マイク１０１と、カメラ１０２と、センサ１０３と、音声入力部１０４と、映像入力部１０５と、センサ入力部１０６と、発話区間検出部１０７と、次話者推定部１０８Ａと、制御部１０９Ａと、音制御部１１０Ａと、口部制御部１１１と、視線制御部１１２と、頭部制御部１１３と、胴部制御部１１４と、スピーカ１１５と、口部駆動部１１６と、眼部駆動部１１７と、頭部駆動部１１８と、胴部駆動部１１９とを備える。

次話者推定部１０８Ａは、音声入力部１０１からの音声信号と、映像入力部１０２からの映像信号と、センサ入力部１０６からのセンサ信号と、発話区間検出部１０７からの発話区間情報と、制御部１０９Ａからの疑似センサ信号とを入力とし、各利用者及びロボット１００Ａが時刻ｔに次話者となる確率である次話者確率を出力する。疑似センサ信号は、制御部１０９Ａが生成する動作制御信号に基づいてロボット１００Ａを動作させ、かつ、そのロボット１００Ａの動作をセンサ１０３で検出したと仮定した場合に、センサ１０３が出力するセンサ信号である。

次話者推定部１０８Ａは、音声信号、映像信号、センサ信号及び発話区間情報に基づいて、発話区間情報で特定される発話区間の発話者を示す発話者情報を取得する。次話者推定部１０８Ａは、音声信号、映像信号、センサ信号、疑似センサ信号及び取得した発話者情報に基づいて、ロボット１００Ａ及び各利用者ｉが時刻ｔに次話者となる確率である次話者確率Ｐ^ｎｓ _ｉ（ｔ）を算出して、制御部１０９Ａへ出力する。次話者推定部１０８Ａは、次話者確率Ｐ^ｎｓ _ｉ（ｔ）の他に、発話者情報及び利用者の位置情報を制御部１０９Ａへ出力する。

次話者推定部１０８Ａは、利用者の位置情報を、例えば、センサ１０３からの利用者の位置を計測したセンサ信号に基づいて取得してもよいし、映像信号に基づいて取得してもよいし、センサ１０３からの利用者の位置を計測したセンサ信号及び映像信号に基づいて取得してもよい。

制御部１０９Ａは、次話者推定部１０８Ａからの次話者確率Ｐ^ｎｓ _ｉ（ｔ）、発話者情報及び利用者の位置情報を入力とし、発話制御信号及び動作制御信号を出力する。制御部１０９Ａは、次話者推定部１０８Ａからのロボット１００Ａ及び各利用者の次話者確率に基づいて、ロボット１００Ａに発話を行わせるか否かを制御する発話制御信号を生成し、生成した発話制御信号を音制御部１１０Ａへ出力する。制御部１０９Ａは、生成した発話制御信号と、発話者情報と、利用者の位置情報とに基づいて、動作制御信号を生成し、生成した動作制御信号を口部制御部１１１、視線制御部１１２、頭部制御部１１３及び胴部制御部１１４へ出力する。

制御部１０９Ａは、動作制御信号に基づいて疑似センサ信号を生成し、生成した疑似センサ信号を次話者推定部１０８Ａへ出力する。これにより、次話者推定部１０８Ａは、ロボット１００Ａが時刻ｔに次話者となる確率である次話者確率Ｐ^ｎｓ _Ｒ（ｔ）を推定することができる。なお、第２の実施形態における制御部１０９Ａは、疑似センサ信号を生成する構成であるが、この構成に限られるものではない。例えば、制御部１０９Ａは、疑似センサ信号を生成する機能を有さずに、次話者推定部１０８Ａが、ロボット１００Ａの動作制御信号から疑似センサ信号を生成する機能を有する構成としてもよい。また、次話者推定部１０８Ａにおいて、ロボット１００Ａの動作制御信号に基づいてロボット１００Ａの次話者確率を推定する構成としてもよい。

制御部１０９Ａは、ロボット１００Ａの次話者確率Ｐ^ｎｓ _Ｒ（ｔ）と、全利用者の次話者確率との関係に応じて、ロボット１００Ａの発話を制御する発話制御信号を出力する。例えば、制御部１０９Ａは、ロボット１００Ａの次話者確率Ｐ^ｎｓ _Ｒ（ｔ）が、全利用者の次話者確率以下の値であれば、ロボット１００Ａに発話させないように制御する発話制御信号を出力する。制御部１０９Ａは、ロボット１００Ａの次話者確率Ｐ^ｎｓ _Ｒ（ｔ）が、全利用者の次話者確率より大きい値であれば、ロボット１００Ａに発話させるように制御する発話制御信号を出力する。これにより、ロボット１００Ａは、自身の次話者確率が高く、他の利用者における次話者確率が低いタイミングで、発話を開始することができる。このように、ロボット１００は、複数の利用者と会話する際に、より適切なタイミングで発話を行うことができる。

制御部１０９Ａは、具体的には、以下に示す第５制御方法〜第８制御方法の４つの制御方法のいずれかを用いてロボット１００Ａの発話の制御を行う。なお、以下の説明においては、利用者Ａ、Ｂ、Ｃ、Ｄの４名とロボット１００ＡであるＲとが会話を行う場合について説明する。

（第５制御方法）
制御部１０９Ａは、次話者推定部１０８Ａから、時刻ｔにおける利用者Ａ〜Ｄ及びロボット１００ＡであるＲの次話者確率Ｐ^ｎｓ _ｉ（ｔ），（ｉ∈｛Ａ，Ｂ，Ｃ，Ｄ，Ｒ｝）を取得する。制御部１０９Ａは、ロボット１００Ａの次話者確率Ｐ^ｎｓ _Ｒ（ｔ）と、利用者Ａ〜Ｄの次話者確率Ｐ^ｎｓ _Ａ（ｔ）、Ｐ^ｎｓ _Ｂ（ｔ）、Ｐ^ｎｓ _Ｃ（ｔ）、Ｐ^ｎｓ _Ｄ（ｔ）とを比較して、Ｐ^ｎｓ _Ｒ（ｔ）が最大であると判断した場合は、ロボット１００Ａに時刻ｔで発話させるよう制御する発話制御信号を出力する。制御部１０９Ａは、上記比較においてＰ^ｎｓ _Ｒ（ｔ）が最大でないと判断した場合は、ロボット１００Ａに発話させないよう制御する発話制御信号を出力する。

（第６制御方法）
制御部１０９Ａは、次話者推定部１０８Ａから取得した時刻ｔにおけるロボット１００Ａ及び利用者Ａ〜Ｄの次話者確率Ｐ^ｎｓ _ｉ（ｔ），（ｉ∈｛Ａ，Ｂ，Ｃ，Ｄ，Ｒ｝）を、時刻ｔについて所定時間（例えば、３〜４秒以上の時間）積分して、積分値Ｐ^ｎｓ _ｉを取得する。制御部１０９Ａは、ロボット１００Ａの積分値Ｐ^ｎｓ _Ｒと、利用者Ａ〜Ｄの積分値Ｐ^ｎｓ _Ａ、Ｐ^ｎｓ _Ｂ、Ｐ^ｎｓ _Ｃ、Ｐ^ｎｓ _Ｄとを比較して、Ｐ^ｎｓ _Ｒが最大であると判断した場合は、ロボット１００ＡにＰ^ｎｓ _Ｒ（ｔ）が最大となる時刻ｔで発話させるよう制御する発話制御信号を出力する。制御部１０９Ａは、上記比較において、Ｐ^ｎｓ _Ｒが最大でないと判断した場合は、ロボット１００Ａに発話させないよう制御する発話制御信号を出力する。

（第７制御方法）
制御部１０９Ａは、次話者推定部１０８Ａから、時刻ｔにおける利用者Ａ〜Ｄ及びロボット１００ＡであるＲの次話者確率Ｐ^ｎｓ _ｉ（ｔ），（ｉ∈｛Ａ，Ｂ，Ｃ，Ｄ，Ｒ｝）を取得する。制御部１０９Ａは、利用者全員の次話者確率を加算した加算値（Ｐ^ｎｓ _Ａ（ｔ）＋Ｐ^ｎｓ _Ｂ（ｔ）＋Ｐ^ｎｓ _Ｃ（ｔ）＋Ｐ^ｎｓ _Ｄ（ｔ））を取得する。制御部１０９Ａは、加算値（Ｐ^ｎｓ _Ａ（ｔ）＋Ｐ^ｎｓ _Ｂ（ｔ）＋Ｐ^ｎｓ _Ｃ（ｔ）＋Ｐ^ｎｓ _Ｄ（ｔ））と、ロボット１００Ａの次話者確率Ｐ^ｎｓ _Ｒ（ｔ）に定数ιを乗算したＰ^ｎｓ _Ｒ（ｔ）・ιとを比較する（ιは正の値となる任意の定数）。制御部１０９Ａは、（Ｐ^ｎｓ _Ａ（ｔ）＋Ｐ^ｎｓ _Ｂ（ｔ）＋Ｐ^ｎｓ _Ｃ（ｔ）＋Ｐ^ｎｓ _Ｄ（ｔ））≧Ｐ^ｎｓ _Ｒ（ｔ）・ιと判断した場合は、ロボット１００Ａに発話させないよう制御する発話制御信号を出力する。制御部１０９Ａは、（Ｐ^ｎｓ _Ａ（ｔ）＋Ｐ^ｎｓ _Ｂ（ｔ）＋Ｐ^ｎｓ _Ｃ（ｔ）＋Ｐ^ｎｓ _Ｄ（ｔ））＜Ｐ^ｎｓ _Ｒ（ｔ）・ιと判断した場合は、ロボット１００Ａに時刻ｔで発話させるよう制御する発話制御信号を出力する。なお、定数ιは、例えば、利用者の人数と同じ値としてもよく、ロボット１００Ａの発話機会を増やしたければより大きな値としてもよく、ロボット１００Ａの発話を控えめにしたければより小さい値としてもよい。

（第８制御方法）
制御部１０９Ａは、次話者推定部１０８Ａから取得した時刻ｔにおけるロボット１００Ａ及び利用者Ａ〜Ｄの次話者確率Ｐ^ｎｓ _ｉ（ｔ），（ｉ∈｛Ａ，Ｂ，Ｃ，Ｄ，Ｒ｝）を、時刻ｔについて所定時間（例えば、３〜４秒以上の時間）積分して、積分値Ｐ^ｎｓ _ｉを取得する。制御部１０９Ａは、利用者全員の積分値Ｐ^ｎｓ _ｉを加算した加算値（Ｐ^ｎｓ _Ａ＋Ｐ^ｎｓ _Ｂ＋Ｐ^ｎｓ _Ｃ＋Ｐ^ｎｓ _Ｄ）を取得する。発話制御部１０９は、加算値（Ｐ^ｎｓ _Ａ＋Ｐ^ｎｓ _Ｂ＋Ｐ^ｎｓ _Ｃ＋Ｐ^ｎｓ _Ｄ）と、ロボット１００Ａの積分値Ｐ^ｎｓ _Ｒに定数ζを乗算したＰ^ｎｓ _Ｒ・ζとを比較する（ζは正の値となる任意の定数）。制御部１０９Ａは、（Ｐ^ｎｓ _Ａ＋Ｐ^ｎｓ _Ｂ＋Ｐ^ｎｓ _Ｃ＋Ｐ^ｎｓ _Ｄ）≧Ｐ^ｎｓ _Ｒ・ζと判断した場合は、ロボット１００Ａに発話させないよう制御する発話制御信号を出力する。制御部１０９Ａは、（Ｐ^ｎｓ _Ａ＋Ｐ^ｎｓ _Ｂ＋Ｐ^ｎｓ _Ｃ＋Ｐ^ｎｓ _Ｄ）＜Ｐ^ｎｓ _Ｒ・ζと判断した場合は、ロボット１００にＰ^ｎｓ _Ｒ（ｔ）が最大となる時刻ｔで発話させるよう制御する発話制御信号を出力する。

次話者確率Ｐ^ｎｓ _ｉ（ｔ），（ｉ∈｛Ａ，Ｂ，Ｃ，Ｄ，Ｒ｝）は、図３に示したように、発話終了から所定時間後にピークを有する場合が多い。そこで、制御部１０９Ａは、第５制御方法〜第８制御方法において、次話者確率Ｐ^ｎｓ _ｉ（ｔ）を求める時刻ｔを含む窓幅を設けて、その窓幅の中における次話者確率の最大値を、時刻ｔにおける次話者確率Ｐ^ｎｓ _ｉ（ｔ）として出力するようにしてもよい。また、制御部１０９Ａは、第５制御方法〜第８制御方法において、次話者確率Ｐ^ｎｓ _ｉ（ｔ）を求める時刻ｔを含む窓幅を設けて、その窓幅の中における次話者確率に複数のピークがある場合に、ｎ番目（ｎは１以上の整数）のピークの次話者確率を、時刻ｔにおける次話者確率Ｐ^ｎｓ _ｉ（ｔ）として出力するようにしてもよい。

音制御部１１０Ａは、音声入力部１０４からの音声信号と、発話区間検出部１０７からの発話区間情報と、制御部１０９Ａからの発話制御信号とに基づいて、スピーカ１１５に対して音信号を出力する。音制御部１１０Ａは、発話制御信号に基づいて、ロボット１００Ａに発話を行わせるか否かを判断する。音制御部１１０Ａは、発話制御信号に基づいて、ロボット１００Ａに発話を行わせると判断した場合には、ロボット１００Ａに発話させる会話内容（言葉）を含む会話情報を生成し、生成した会話情報に基づいた音信号を出力する。音制御部１１０Ａは、例えば、音声信号及び発話区間情報に基づいて利用者の会話内容を解析し、解析結果に基づいて、ロボット１００Ａに発話させるための会話情報を生成する。

口部制御部１１１は、制御部１０９Ａからの動作制御信号に基づいて、口部駆動部１１６に対して口部駆動信号を出力する。視線制御部１１２は、制御部１０９Ａからの動作制御信号に基づいて、眼部駆動部１１７に対して眼部駆動信号を出力する。頭部制御部１１３は、制御部１０９Ａからの動作制御信号に基づいて、頭部駆動部１１８に対して頭部駆動信号を出力する。胴部制御部１１４は、制御部１０９Ａからの動作制御信号に基づいて、胴部駆動部１１９に対して胴部駆動信号を出力する。

第２の実施形態におけるロボット１００Ａの外観は、図２に示したロボット１００と同一である。ここで、図２を用いてロボット１００Ａが備える口部駆動部１１６、眼部駆動部１１７、頭部駆動部１１８及び胴部駆動部１１９の配置と駆動する対象について説明する。頭部２３は、右目２１ａ及び左目２１ｂの黒目（視線）を移動させる眼部駆動部１１７と、口部２２の開閉を行う口部駆動部１１６とを備える。

頸部２４は、頭部２３に対して所定の動き（例えば、頷かせたり、顔の方向を変えたりする動き）を行わせる頭部駆動部１１８を備え、頭部２３を支持する。胴部２５は、呼吸をしているかのように、肩を動かしたり、胸の部分を膨らませたりする胴部駆動部１１９を備える。口部駆動部１１６は、口部制御部１１１からの口部駆動信号に基づいてロボット１００Ａの口部２２の開閉を行う。眼部駆動部１１７は、視線制御部１１２からの眼部駆動信号に基づいてロボット１００Ａの眼部２１における黒目の方向（＝ロボット１００の視線の方向）を制御する。

頭部駆動部１１８は、頭部制御部１１３からの頭部駆動信号に基づいてロボット１００Ａの頭部２３の動きを制御する。胴部駆動部１１９は、胴部制御部１１４からの胴部駆動信号に基づいてロボット１００の胴部２５の形状を制御する。また、胴部駆動部１１９は、胴部制御部１１４からの胴部駆動信号に基づいてロボット１００の右腕２５ａ及び左腕２５ｂの動きも制御する。

第２の実施形態における制御部１０９Ａの構成の詳細について一例を示して説明する。
図８は、第２の実施形態における制御部１０９Ａの構成の詳細の具体例を示す図である。制御部１０９Ａは、発話制御部３０１と、動作パターン情報格納部３０２と、動作制御部３０３と、センサ信号変換部３０４とを備える。発話制御部３０１は、ロボット１００Ａの発話を制御する発話制御信号を出力する。

発話制御部３０１は、次話者推定部１０８Ａからの次話者確率を入力とし、音制御部１１０Ａに対して発話制御信号を出力する。発話制御部３０１は、次話者推定部１０８Ａからのロボット１００Ａ及び各利用者の次話者確率に基づいて、上述した第５制御方法〜第８制御方法の４つの制御方法のいずれかを用いてロボット１００Ａの発話の制御を行う発話制御信号を出力する。発話制御部３０１は、動作制御部３０３に対しても発話制御信号を出力する。発話制御部３０１は、動作制御部３０３からの呼吸音やフィラーを発音するよう指示する発音指示信号に応じて、その発音指示信号を音制御部１１０Ａへ出力する。ここで、フィラーとは、言い淀み時などに出現する場つなぎのための発声であり、例えば、「あのー」、「そのー」、「えっと」、等の音声である。

動作パターン情報格納部３０２は、ロボット１００Ａが会話中に行う動作の動作パターンの情報である動作パターン情報を格納する。動作パターン情報格納部３０２は、例えば、発話を開始する前に、これから発話を行うことを周りの人に察知させるよう人が行っている動作と同様の動作をロボット１００Ａに行わせる動作パターン情報を格納している。

複数人が会話している際に、非話者である人が次話者として発話する直前に行う行動を解析した結果、以下の（１）〜（３）の行動が「次は私が話を始めます」ということを周囲に示す行動であると考えられる。
（１）吸気音又はフィラーを発声する
（２）現話者に視線向ける
（３）現話者の会話に頷く

上述した解析結果を参考にして、制御部１０９Ａは、ロボット１００Ａの発話前に、ロボット１００Ａに上述した（１）〜（３）の動作を行わせるよう制御することで、ロボット１００がもうすぐ発話を開始することを利用者に予見させることができる。ロボット１００Ａが上述した（１）〜（３）の動作を行うと次話者推定部１０８Ａが推定するロボット１００Ａの次話者確率Ｐ^ｎｓ _Ｒ（ｔ）が上昇する。すなわち、発話を行うことを周りの人に察知させる動作とは、例えば、現話者に視線を移動させる動作、頭を頷かせる動作、吸気音とともに吸気する動作等を含む。

制御部１０９Ａは、以下の参考文献に記載の技術を用いてロボット１００Ａに上述した（１）〜（３）の動作を行わせるよう制御してもよい。
（１）の吸気音を発声する動作をロボット１００Ａに行わせるための技術として以下の参考文献２に記載された公知技術がある。
参考文献２：吉田直人、外３名、“吐息と腹部運動を伴う呼吸表現に関する因子分析に基づいた生物的身体感情インタラクションの設計”、ＨＡＩシンポジウム２０１４、２０１４年
（２）の現話者に視線を向ける動作をロボット１００Ａに行わせるための技術として以下の参考文献３に記載された公知技術がある。
参考文献３：石井 亮、外２名、“アバタ音声チャットシステムにおける会話促進のための注視制御”、ヒューマンインタフェース学会論文誌、２００８年
（３）の現話者の会話に頷く動作をロボット１００Ａに行わせるための技術として以下の参考文献４に記載された公知技術がある。
参考文献４：渡辺富夫、外３名、“InterActorを用いた発話音声に基づく身体的インタラクションシステム”、ヒューマンインタフェース学会論文誌、Ｖｏｌ．２、Ｎｏ．２、ｐｐ．２１−２９、２０００年

動作制御部３０３は、発話制御部３０１からの発話制御信号と、次話者推定部１０８Ａからの発話者情報及び利用者の位置情報とに基づいて、動作パターン情報格納部３０２から動作パターン情報を取得して動作制御信号を生成し、生成した動作制御信号を口部制御部１１１、視線制御部１１２、頭部制御部１１３及び胴部制御部１１４へ出力する。動作制御部３０３は、動作パターン情報に応じて、呼吸音やフィラーを発音するよう指示する発音指示信号を発話制御部３０１へ出力する。位置計測装置２０１は、利用者の位置情報として、利用者の顔の位置を特定する位置情報を取得する機能を有してもよい。これにより、ロボット１００は、利用者の位置情報として、利用者の顔の位置を特定する位置情報を用いることで、例えば、現話者の顔に対してのロボット１００の顔および視線を向ける動作を行うことができる。

第２の実施形態における音制御部１１０Ａの構成の詳細について一例を示して説明する。
図９は、第２の実施形態における音制御部１１０Ａの構成の詳細の具体例を示す図である。図９に示す第２の実施形態における音制御部１１０Ａは、第１の実施形態における音制御部１１０と同じ構成要素を含む。よって、音制御部１１０Ａの説明においては、第１の実施形態における音制御部１１０と同じ構成要素については、同じ符号を付与して説明を省略する。

音制御部１１０Ａは、音声解析部４０１と、会話情報生成部４０２と、会話情報ＤＢ４０３Ａと、発声情報生成部４０４Ａと、音信号生成部４０５とを備える。

会話情報ＤＢ４０３Ａは、上述した第１の実施形態の会話情報ＤＢ４０３が格納していた会話サンプル情報に加えて、更に呼吸音情報及びフィラー情報を格納する。呼吸音情報は、ロボット１００Ａに発音させる呼吸音の情報である。呼吸音情報は、例えば、「スーッ」又は「シュー」という人が吸気する際に出す吸気音の音声信号を含む情報である。フィラー情報は、ロボット１００に発音させるフィラーの情報であるフィラー情報を格納する。フィラー情報は、「あのー」、「そのー」、「えっと」等のフィラーの音声信号を含む情報である。

発声情報生成部４０４Ａは、上述した第１の実施形態の発声情報生成部４０４の機能に加えて、制御部１０９Ａからの呼吸音やフィラーを発音するよう指示する発音指示信号に応じて、会話情報生成部４０２に対して呼吸音やフィラーを発音する会話情報を要求する。これにより、会話情報生成部４０２は、呼吸音やフィラーを発音するための音声信号を含む呼吸音情報やフィラー情報を会話情報ＤＢ４０３Ａから参照して、呼吸音やフィラーを発音する会話情報を発声情報生成部４０４Ａへ出力する。発声情報生成部４０４Ａは、要求に応じて会話情報生成部４０２から取得した呼吸音やフィラーを発音する会話情報に基づいて、ロボット１００に呼吸音やフィラーを発声させるための発話信号を生成する。発声情報生成部４０４は、生成した発話信号を音信号生成部４０５へ出力する。

以上の構成により、ロボット１００Ａは、発話を行いたい場合に、発話前に、動作制御信号に基づいて視線を利用者に向けたり、呼吸音やフィラーを発音したりすることができる。これにより、ロボット１００Ａの次話者確率Ｐ^ｎｓ _Ｒ（ｔ）が上昇するので、制御部１０９Ａが、ロボット１００Ａに発話させる発話制御情報を出力する可能性が高まる。利用者は、ロボット１００が発話を開始する前に、ロボット１００がまもなく発話することを予見することができる。この予見により、利用者とロボット１００との発話衝突を防ぎ、スムーズな会話を実現することができる。

図１０は、第２の実施形態におけるロボット１００Ａの会話前動作の具体例を示す図である。図１０に示すとおり、ロボット１００Ａと発話中の利用者である現話者６０とがいる場合の具体例について説明する。図１０の左側は、現話者６０の話をロボット１００Ａが聞いている状態を示している。図１０の右側は、ロボット１００Ａが発話を開始する直前の動作を示している。図１０に示すとおり、ロボット１００は、発話開始の直前に、頭部５３を矢印６１に示す方向に回転させることで、視線を現話者６０に向ける。その頭部５３の回転と同時又は前後して口部５２内にあるスピーカ１１５から「スーッ」という吸気音６２を発音する。これにより、ロボット１００Ａの次話者確率Ｐ^ｎｓ _Ｒ（ｔ）を上昇するので、ロボット１００Ａの発話の可能性を高めることができる。現話者６０は、ロボット１００Ａがもうすぐ発話することを予見することができる。すなわち、ロボット１００Ａは、より適切なタイミングで発話を行うことができる。

次に、第２の実施形態におけるロボット１００Ａの会話動作について説明する。
図１１は、第２の実施形態におけるロボット１００Ａの会話動作を示すフロー図である。図１１に示す処理は、図６に示した処理と同様に、ロボット１００Ａにおいて、複数の利用者と会話を行う動作を開始した際に行う処理である。

音声入力部１０４は、マイク１０１からの音声信号が入力され、映像入力部１０５は、カメラ１０２からの映像信号が入力され、センサ入力部１０６は、センサ１０３からのセンサ信号が入力される。また、制御部１０９Ａの制御によりロボット１００Ａの会話動作を行う（ステップＳ２０１）。ロボット１００Ａの会話動作には、上述した（１）〜（３）の動作が含まれる。このロボット１００Ａの会話動作に応じて、制御部１０９Ａは、疑似センサ信号を次話者推定部１０８Ａに出力する。

発話区間検出部１０７は、音声入力部１０４からの音声信号に基づいて、音声特徴量を算出し、算出した音声特徴量と所定の閾値を比較して発話区間を検出する（ステップＳ２０２）。次話者推定部１０８Ａは、音声信号、映像信号、センサ信号、疑似センサ信号及び発話者情報に基づいて、ロボット１００Ａ及び各利用者ｉが時刻ｔに次話者となる確率である次話者確率Ｐ^ｎｓ _ｉ（ｔ）を算出する（ステップＳ２０３）。

制御部１０９Ａは、次話者推定部１０８Ａからのロボット１００Ａ及び各利用者の次話者確率に基づいて、発話制御信号を出力する（ステップＳ２０４）。音制御部１１０Ａは、制御部１０９Ａからの発話制御信号に基づいて、ロボット１００Ａに発話を行わせるか否かを判断する（ステップＳ２０５）。ここで、ロボット１００Ａに発話を行わせないと判断した場合（ステップＳ２０５のＮＯ）には、ステップＳ２０１の処理に戻る。ロボット１００Ａに発話を行わせると判断した場合（ステップＳ１０５のＹＥＳ）には、音制御部１１０Ａは、ロボット１００Ａに発話させるための会話情報を生成し、生成した会話情報に基づいた音信号をスピーカ１１５へ出力する（ステップＳ２０６）。これにより、ロボット１００Ａは、音信号に応じた発話をスピーカ１１５から発音する。

音制御部１１０Ａは、制御部１０９Ａからの発話制御信号に基づいて、ロボット１００Ａの発話を終了するか否かを判断する（ステップＳ２０７）。ここで、ロボット１００Ａの発話を終了しない場合（ステップＳ２０７のＮＯ）には、音制御部１１０Ａは、ステップＳ２０６の処理に戻る。ロボット１００Ａの発話を終了する場合（ステップＳ２０７のＹＥＳ）には、音制御部１１０Ａは、会話情報の生成を停止することに応じて音信号の出力を停止する。

次に、ロボット１００Ａは、複数の利用者と会話を行う会話動作を終了するか否かを判断する（ステップＳ２０８）。ここで、会話動作を終了しないと判断した場合（ステップＳ２０８のＮＯ）には、ステップＳ２０１の処理に戻る。会話動作を終了すると判断した場合（ステップＳ２０８のＹＥＳ）には、ロボット１００Ａは、会話動作を終了する。

以上に説明したとおり、第２の実施形態におけるロボット１００Ａは、複数の利用者と会話する際に、ロボット１００Ａの次話者確率と、各利用者の次話者確率との比較に基づいて、より適切なタイミングで発話を行うことができる。これにより、ロボット１００Ａは、他の利用者と発話のタイミングが重なる発話衝突の発生を低減した発話を行うことができる。また、ロボット１００Ａは、発話前にこれから発話を行うことを周りの人に察知させる動作を行うことで、より確実に発話衝突の発生を低減した発話を行うことができる。

（第２の実施形態の変形例）
第２の実施形態の変形例は、ロボット１００Ａの発話の必要性を表す指標であり、発話の必要性が高いほど大きな値となる、発話必要度を算出し、算出した発話必要度を用いて、ロボット１００Ａの次話者確率を変更する構成である。ロボット１００Ａは、公知の音声認識技術を用いて利用者の発話の内容を取得して、取得した発話内容に応じて発話必要度を算出する。
発話必要度の具体的な算出方法として、「発話内容」、「相手との関係」及び「発話者の性格」に基づいて、発話必要度を示す発話レベルＵ_Ｌを算出する方法が、以下の参考文献５に記載されている。
参考文献５：河添 麻衣子、北村 泰彦“発話タイミングを考慮したマルチエージェント対話システム”、電子情報通信学会技術研究報告、ＡＩ、人工知能と知識処理、１０６（６１７）、ｐｐ５３−５６、２００７年３月２１日

制御部１０９Ａは、発話レベルＵ_Ｌを用いて例えば、下記の式により上述した第５制御方法又は第７制御方法で用いる次話者確率Ｐ^ｎｓ _Ｒ（ｔ）の代わりのＰ^ｎｓ _Ｒ（ｔ）’を求める。
Ｐ^ｎｓ _Ｒ（ｔ）’＝Ｐ^ｎｓ _Ｒ（ｔ）・Ｕ_Ｌ・ζ（ζは任意の定数）
なお、上記式の変形例として以下の式を用いてもよい。
Ｐ^ｎｓ _Ｒ（ｔ）’＝Ｐ^ｎｓ _Ｒ（ｔ）＋Ｕ_Ｌ・ζ（ζは任意の定数）

制御部１０９Ａは、発話レベルＵ_Ｌを用いて例えば、下記の式により上述した第６制御方法又は第８制御方法で用いる積分値Ｐ^ｎｓ _Ｒの代わりのＰ^ｎｓ _Ｒ’を求める。
Ｐ^ｎｓ _Ｒ’＝Ｐ^ｎｓ _Ｒ・Ｕ_Ｌ・ζ（ζは任意の定数）
なお、上記式の変形例として以下の式を用いてもよい。
Ｐ^ｎｓ _Ｒ’＝Ｐ^ｎｓ _Ｒ＋Ｕ_Ｌ・ζ（ζは任意の定数）

このように発話必要度に応じて変化する次話者確率に基づいて発話を制御することにより、ロボット１００Ａは、発話が必要な際により発話を行うようになり、発話が不必要な時は、より発話を行わないようになる。すなわち、ロボット１００Ａは、より適切なタイミングで発話を行うことができる。

（第１、第２の実施形態に共通の次話者を推定する処理の具体例）
次に、上述した第１の実施形態におけるロボット１００および第２の実施形態におけるロボット１００Ａに共通である次話者を推定する処理の具体例について説明する。ロボット１００及びロボット１００Ａにおける次話者推定には、例えば、以下の参考文献６、７の技術などを適用することができるが、任意の既存の技術を利用してもよい。参考文献６、７記載の技術を利用した場合は、注視対象検出装置２０３が出力する注視対象情報に基づく発話者と非発話者の注視行動の遷移パターンを用いて、次話者推定部１０８又は次話者推定部１０８Ａは、次発話者および発話のタイミングを予測する。

参考文献６：特開２０１４−２３８５２５号公報
参考文献７：石井亮、外４名、“複数人対話における注視遷移パターンに基づく次話者と発話タイミングの予測”、人工知能学会研究会資料、SIG-SLUD-B301-06、pp.27-34、2013年

以下に、本実施形態に適用可能な参考文献６、７以外の次話者推定技術の例を示す。
会話の利用者の呼吸動作は次発話者と発話のタイミングに深い関連性がある。このことを利用して、会話の利用者の呼吸動作をリアルタイムに計測し、計測された呼吸動作から発話の開始直前に行われる特徴的な呼吸動作を検出し、この呼吸動作を基に次発話者とその発話タイミングを高精度に算出する。具体的には、発話開始直前におこなわれる呼吸動作の特徴として、発話を行っている発話者は、継続して発話する際（発話者継続時）には、発話終了直後にすぐに急激に息を吸い込む。逆に発話者が次に発話を行わない際（発話者交替時）には、発話者継続時に比べて、発話終了時から間を空けて、ゆっくりと息を吸い込む。また、発話者交替時に、次に発話をおこなう次発話者は、発話を行わない非発話者に比べて大きく息を吸い込む。このような発話の前におこなわれる呼吸は、発話開始に対しておおよそ決められたタイミングで行われる。このように、発話の直前に次発話者は特徴的な息の吸い込みを行うため、このような息の吸い込みの情報は、次発話者とその発話タイミングを予測するのに有用である。本次話者推定技術では、人物の息の吸い込みに着目し、息の吸い込み量や吸い込み区間の長さ、タイミングなどの情報を用いて、次発話者と発話タイミングを予測する。

以下では、Ａ人の利用者Ｐ_１，…，Ｐ_Ａが対面コミュニケーションを行う状況を想定する。利用者Ｐ_ａ（ただし、ａ＝１，…，Ａ、Ａ≧２）には呼吸動作計測装置２０２およびマイク１０１が装着される。呼吸動作計測装置２０２は、利用者Ｐ_ａの呼吸動作を計測し、各離散時刻ｔでの計測結果を表す呼吸情報Ｂ_ａ，ｔを得て、次話者推定部１０８又は次話者推定部１０８Ａに出力する。呼吸動作計測装置２０２が、バンド式の呼吸装置を備える構成について説明する。バンド式の呼吸装置は、バンドの伸縮の強さによって呼吸の深さの度合いを示す値を出力する。息の吸い込みが大きいほどバンドの伸びが大きくなり、逆に息の吐き出しが大きいほどバンドの縮みが大きくなる（バンドの伸びが小さくなる）。以降、この値をＲＳＰ値と呼ぶ。なお、ＲＳＰ値は、バンドの伸縮の強さに応じて利用者Ｐ_ａごとに異なる大きさを取る。そこで、これに起因するＰ_ａごとのＲＳＰ値の相違を排除するために、各利用者Ｐ_ａのＲＳＰ値の平均値μ_ａと標準偏差値δ_ａを用いて、μ_ａ+δ_ａが１、μ_ａ−δ_ａが−１になるように利用者Ｐ_ａごとにＲＳＰ値を正規化する。これによって、すべての利用者Ｐ_ａの呼吸動作データを同一に分析することが可能となる。各呼吸動作計測装置２０２は、正規化されたＲＳＰ値を呼吸情報Ｂ_ａ，ｔとして次話者推定部１０８又は次話者推定部１０８Ａに送る。

さらに、マイク１０１は、利用者Ｐ_ａの音声を取得し、各離散時刻ｔでの利用者Ｐ_ａの音声を表す音声信号Ｖ_ａ，ｔを得て、次話者推定部１０８又は次話者推定部１０８Ａに出力する。次話者推定部１０８又は次話者推定部１０８Ａは、入力された音声信号Ｖ_ａ，ｔ（ただし、ａ＝１，…，Ａ）から雑音を除去し、さらに発話区間Ｕ_ｋ（ただし、ｋは発話区間Ｕ_ｋの識別子）とその発話者Ｐ_ｕｋとを抽出する。ただし、「Ｐ_ｕｋ」の下付き添え字はｕ_ｋ＝１，…，Ａを表す。１つの発話区間Ｕ_ｋをＴｄ［ｍｓ］連続した無音区間で囲まれた区間と定義し、この発話区間Ｕ_ｋを発話の一つの単位と規定する。これにより、次話者推定部１０８又は次話者推定部１０８Ａは、各発話区間Ｕ_ｋを表す発話区間情報、およびその発話者Ｐ_ｕｋを表す発話者情報（利用者Ｐ_１，…，Ｐ_Ａのうち何れが発話区間Ｕ_ｋでの発話者Ｐ_ｕｋであるかを表す発話者情報）を得る。

次話者推定部１０８又は次話者推定部１０８Ａは、各利用者Ｐ_ａの呼吸情報Ｂ_ａ，ｔを用いて、各利用者Ｐ_ａの息の吸い込み区間Ｉ_ａ，ｋを抽出し、さらに息の吸い込みに関するパラメータλ_ａ，ｋを取得する。息の吸い込み区間とは、息を吐いている状態から、息を吸い込みだす開始位置と、息を吸い込み終わる終了位置との間の区間を示す。

図１２は、息の吸い込み区間の例を示す図である。図１２を用いて、息の吸い込み区間Ｉ_ａ，ｋの算出方法を例示する。ここで利用者Ｐ_ａの離散時刻ｔでのＲＳＰ値をＲ_ａ，ｔと表記する。ＲＳＰ値Ｒ_ａ，ｔは呼吸情報Ｂ_ａ，ｔに相当する。図１２に例示するように、例えば、以下の（式１）が成り立つとき、

離散時刻ｔ＝ｔ_ｓ（ｋ）の前２フレームでＲＳＰ値Ｒ_ａ，ｔが連続して減少し、その後２フレームでＲＳＰ値Ｒ_ａ，ｔが連続して上昇しているから、離散時刻ｔ_ｓ（ｋ）を息の吸い込みの開始位置とする。さらに、以下の（式２）が成り立つとき、

離散時刻ｔ＝ｔ_ｅ（ｋ）の前２フレームのＲＳＰ値Ｒ_ａ，ｔが連続して上昇し、その後２フレームのＲＳＰ値Ｒ_ａ，ｔが連続して減少しているから、離散時刻ｔ_ｅ（ｋ）を息の吸い込みの終了位置とする。このとき、利用者Ｐ_ａの息の吸い込み区間Ｉ_ａ，ｋはｔ_ｓ（ｋ）からｔ_ｅ（ｋ）までの区間となり、息の吸い込み区間の長さはｔ_ｅ（ｋ）−ｔ_ｓ（ｋ）となる。

次話者推定部１０８又は次話者推定部１０８Ａは、息の吸い込み区間Ｉ_ａ，ｋが抽出されると、息の吸い込み区間Ｉ_ａ，ｋ、呼吸情報Ｂ_ａ，ｔ、および発話区間Ｕ_ｋの少なくとも一部を用い、息の吸い込みに関するパラメータλ’_ａ，ｋを抽出する。パラメータλ’_ａ，ｋは、利用者Ｐ_ａの吸い込み区間Ｉ_ａ，ｋでの息の吸い込みの量、吸い込み区間Ｉ_ａ，ｋの長さ、吸い込み区間Ｉ_ａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕ_ｋと吸い込み区間Ｉ_ａ，ｋとの時間関係の少なくとも一部を表す。パラメータλ’_ａ，ｋは、これらの一つのみを表してもよいし、これらのうち複数を表してもよいし、これらすべてを表してもよい。パラメータλ’_ａ，ｋは、例えば以下のパラメータＭＩＮ_ａ，ｋ，ＭＡＸ_ａ，ｋ，ＡＭＰ_ａ，ｋ，ＤＵＲ_ａ，ｋ，ＳＬＯ_ａ，ｋ，ＩＮＴ１_ａ，ｋの少なくとも一部を含む。パラメータλ’_ａ，ｋは、これらの１つのみを含んでいてもよいし、これらのうち複数を含んでいてもよいし、これらのすべてを含んでいてもよい。
・ＭＩＮ_ａ，ｋ：利用者Ｐ_ａの息の吸い込み開始時のＲＳＰ値Ｒ_ａ，ｔ、すなわち、息の吸い込み区間Ｉ_ａ，ｋのＲＳＰ値Ｒ_ａ，ｔの最小値。
・ＭＡＸ_ａ，ｋ：利用者Ｐ_ａの息の吸い込み終了時のＲＳＰ値Ｒ_ａ，ｔ、すなわち、息の吸い込み区間Ｉ_ａ，ｋのＲＳＰ値Ｒ_ａ，ｔの最大値。
・ＡＭＰ_ａ，ｋ：利用者Ｐ_ａの息の吸い込み区間Ｉ_ａ，ｋのＲＳＰ値Ｒ_ａ，ｔの振幅、すなわち、ＭＡＸ_ａ，ｋ−ＭＩＮ_ａ，ｋで算出される値。吸い込み区間Ｉ_ａ，ｋでの息の吸い込み量を表す。
・ＤＵＲ_ａ，ｋ：利用者Ｐ_ａの息の吸い込み区間Ｉ_ａ，ｋの長さ、すなわち、息の吸い込み区間Ｉ_ａ，ｋの終了位置の離散時刻ｔ_ｅ（ｋ）から開始位置の離散時刻ｔ_ｓ（ｋ）を減じて得られる値ｔ_ｅ（ｋ）−ｔ_ｓ（ｋ）。
・ＳＬＯ_ａ，ｋ：利用者Ｐ_ａの息の吸い込み区間Ｉ_ａ，ｋにおけるＲＳＰ値Ｒ_ａ，ｔの単位時間当たりの傾きの平均値、すなわち、ＡＭＰ_ａ，ｋ／ＤＵＲ_ａ，ｋで算出される値。吸い込み区間Ｉ_ａ，ｋでの息の吸い込み量の時間変化を表す。
・ＩＮＴ１_ａ，ｋ：手前の発話区間Ｕ_ｋの終了時刻ｔ_{ｕｅ（ｋ）}（発話区間末）から利用者Ｐ_ａの息の吸い込みが開始されるまでの間隔、すなわち、息の吸い込み区間Ｉ_ａ，ｋの開始位置の離散時刻ｔ_ｓ（ｋ）から発話区間Ｕ_ｋの終了時刻ｔ_{ｕｅ（ｋ）}を減じて得られる値ｔ_ｓ（ｋ）−ｔ_{ｕｅ（ｋ）}。発話区間Ｕ_ｋと吸い込み区間Ｉ_ａ，ｋとの時間関係を表す。

次話者推定部１０８又は次話者推定部１０８Ａは、さらに以下のパラメータＩＮＴ２_ａ，ｋを生成してもよい。
・ＩＮＴ２_ａ，ｋ：利用者Ｐ_ａの息の吸い込み終了時から次発話者の発話区間Ｕ_ｋ＋１が開始されるまでの間隔、すなわち、次発話者の発話区間Ｕ_ｋ＋１の開始時刻ｔ_{ｕｓ（ｋ＋１）}から息の吸い込み区間Ｉ_ａ，ｋの終了位置の離散時刻ｔ_ｅ（ｋ）を減じて得られる値ｔ_{ｕｓ（ｋ＋１）}−ｔ_ｅ（ｋ）。発話区間Ｕ_ｋ＋１と吸い込み区間Ｉ_ａ，ｋとの時間関係を表す。パラメータλ’_ａ，ｋにＩＮＴ２_ａ，ｋを加えたものをパラメータλ_ａ，ｋと表記する。

次話者推定部１０８又は次話者推定部１０８Ａは、例えば発話区間Ｕ_ｋ＋１を表す情報が得られ、さらに、パラメータλ_ａ，ｋが得られた以降（発話区間Ｕ_ｋ＋１が開始された後）に、発話区間Ｕ_ｋおよびその発話者Ｐ_ｕｋ、発話区間Ｕ_ｋ＋１およびその発話者Ｐ_ｕｋ＋１とその発話開始タイミングＴ_ｕｋ＋１を表す情報とともにデータベースに記録する。次発話者Ｐ_ｕｋ＋１の発話タイミングとは、発話区間Ｕ_ｋ＋１の何れかの時点またはそれに対応する時点であればよい。発話タイミングＴ_ｕｋ＋１は、発話区間Ｕ_ｋ＋１の開始時刻ｔ_{ｕｓ（ｋ＋１）}であってもよいし、時刻ｔ_{ｕｓ（ｋ＋１）}＋γ（ただし、γは正または負の定数）であってもよいし、発話区間Ｕ_ｋ＋１の終了時刻ｔ_{ｕｅ（ｋ＋１）}であってもよいし、時刻ｔ_{ｕｅ（ｋ＋１）}＋γであってもよいし、発話区間Ｕ_ｋ＋１の中心時刻ｔ_{ｕｓ（ｋ＋１）}＋（ｔ_{ｕｅ（ｋ＋１）}−ｔ_{ｕｓ（ｋ＋１）}）／２であってもよい。λ_ａ，ｋ，Ｕ_ｋ，Ｐ_ｕｋ，Ｐ_ｕｋ＋１，Ｔ_ｕｋ＋１を表す情報の一部またはすべてがデータベースに保持され、次話者推定部１０８又は次話者推定部１０８Ａが発話区間Ｕ_ｋ＋１よりも後の次発話者とその発話タイミングを予測するために使用される。

次話者推定部１０８又は次話者推定部１０８Ａは、発話者情報Ｐ_ｕｋ、発話区間Ｕ_ｋ、利用者Ｐ_ａの吸い込み区間Ｉ_ａ，ｋでの息の吸い込み量、吸い込み区間Ｉ_ａ，ｋの長さ、吸い込み区間Ｉ_ａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕ_ｋと吸い込み区間Ｉ_ａ，ｋとの時間関係の少なくとも一部に基づき、利用者Ｐ_１，…，Ｐ_Ａのうち何れが次発話者Ｐ_ｕｋ＋１であるか、および次発話者Ｐ_ｕｋ＋１の発話タイミングの少なくとも一方を表す推定情報を得る。ただし、「Ｐ_ｕｋ＋１」の下付き添え字「ｕｋ＋１」はｕ_ｋ＋１を表す。発話区間Ｕ_ｋの発話者Ｐ_ｕｋが発話区間Ｕ_ｋ＋１でも発話を行う場合（発話継続する場合）、次発話者は発話区間Ｕ_ｋの発話者Ｐ_ｕｋと同一である。一方、発話区間Ｕ_ｋの発話者Ｐ_ｕｋ以外の利用者が発話区間Ｕ_ｋ＋１でも発話を行う場合（すなわち発話交替する場合）、次発話者は発話区間Ｕ_ｋの発話者Ｐ_ｕｋ以外の利用者である。

次話者推定部１０８又は次話者推定部１０８Ａは、発話者情報Ｐ_ｕｋ、発話区間Ｕ_ｋ、利用者Ｐ_ａの吸い込み区間Ｉ_ａ，ｋでの息の吸い込み量、吸い込み区間Ｉ_ａ，ｋの長さ、吸い込み区間Ｉ_ａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕ_ｋと吸い込み区間Ｉ_ａ，ｋとの時間関係の少なくとも一部に対応する特徴量ｆ_ａ，ｋに対する推定情報を得るためのモデルを機械学習し、このモデルを用いて特徴量に対する推定情報を得る。特徴量ｆ_ａ，ｋは、発話者情報Ｐ_ｕｋ、発話区間Ｕ_ｋ、利用者Ｐ_ａの吸い込み区間Ｉ_ａ，ｋでの息の吸い込み量、吸い込み区間Ｉ_ａ，ｋの長さ、吸い込み区間Ｉ_ａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕ_ｋと吸い込み区間Ｉ_ａ，ｋとの時間関係の１つのみに対応してもよいし、これらのうち複数に対応してもよいし、すべてに対応してもよい。モデルの機械学習には、例えば、過去の吸い込み区間Ｉ_ａ，ｉ（ただし、ｉ＜ｋ）での息の吸い込み量、吸い込み区間Ｉ_ａ，ｉの長さ、吸い込み区間Ｉ_ａ，ｉでの息の吸い込み量の時間変化、および発話区間Ｕ_ｉと吸い込み区間Ｉ_ａ，ｉとの時間関係の少なくとも一部に対応する特徴量ｆ_ａ，ｋ、ならびに発話区間Ｕ_ｉ，Ｕ_ｉ＋１およびそれらの発話者Ｐ_ｕｋ，Ｐ_ｕｋ＋１の情報が学習データとして用いられる。

次話者推定部１０８又は次話者推定部１０８Ａによる次発話者／発話タイミング推定処理を例示する。この例では、次発話者Ｐ_ｕｋ＋１を推定するモデルである次発話者推定モデルと、次発話者Ｐ_ｕｋ＋１の発話タイミングを推定するモデルである発話タイミング推定モデルとが生成され、それぞれのモデルを用いて次発話者Ｐ_ｕｋ＋１とその発話タイミングが推定される。

次発話者推定モデルを学習する場合、次話者推定部１０８又は次話者推定部１０８Ａは、学習データとして、データベースから過去のパラメータλ_ａ，ｉ（ただし、ａ＝１，…，Ａであり、ｉ＜ｋである）の少なくとも一部、および発話区間Ｕ_ｉ，Ｕ_ｉ＋１およびそれらの発話者Ｐ_ｕｉ，Ｐ_ｕｉ＋１を表す情報を読み出す。次話者推定部１０８又は次話者推定部１０８Ａは、パラメータλ_ａ，ｉの少なくとも一部に対応する特徴量Ｆ１_ａ，ｉおよびＵ_ｉ，Ｕ_ｉ＋１，Ｐ_ｕｉ，Ｐ_ｕｉ＋１を学習データとして、次発話者推定モデルを機械学習する。次発話者推定モデルには、例えば、ＳＶＭ（Support Vector Machine）、ＧＭＭ（Gaussian Mixture Model）、ＨＭＭ（Hidden Markov Model）等を用いることができる。

次話者推定部１０８又は次話者推定部１０８Ａは、パラメータλ’_ａ，ｋの少なくとも一部に対応する特徴量Ｆ１_ａ，ｋを次発話者推定モデルに適用し、それによって推定された次発話Ｐ_ｕｋ＋１を表す情報を「推定情報」の一部とする。なお、次発話Ｐ_ｕｋ＋１を表す情報は、何れかの利用者Ｐ_ａを確定的に表すものであってもよいし、確率的に表すものであってもよい。利用者Ｐ_ａが次話者になる確率を、Ｐ１_ａとする。

発話タイミング推定モデルを学習する場合、次話者推定部１０８又は次話者推定部１０８Ａは、学習データとして、データベースから過去のパラメータλ_ａ，ｉ（ただし、ａ＝１，…，Ａであり、ｉ＜ｋである）の少なくとも一部、発話区間Ｕ_ｉ，Ｕ_ｉ＋１およびそれらの発話者Ｐ_ｕｉ，Ｐ_ｕｉ＋１、および発話区間Ｕ_ｉ＋１の発話開始タイミングＴ_ｕｉ＋１を表す情報を読み出す。次話者推定部１０８又は次話者推定部１０８Ａは、パラメータλ_ａ，ｉの少なくとも一部に対応する特徴量Ｆ２_ａ，ｉおよびＵ_ｉ，Ｕ_ｉ＋１，Ｐ_ｕｉ，Ｐ_ｕｉ＋１，Ｔ_ｕｉ＋１を学習データとして、発話タイミング推定モデルを機械学習する。次発話者推定モデルには、例えば、ＳＶＭ、ＧＭＭ、ＨＭＭ等を用いることができる。

次話者推定部１０８又は次話者推定部１０８Ａは、発話者Ｐ_ｕｋ、パラメータλ’_ａ，ｋの少なくとも一部、および次発話者推定モデルにより推定された次発話者Ｐ_ｕｋ＋１が得られると、パラメータλ’_ａ，ｋの少なくとも一部に対応する特徴量Ｆ２_ａ，ｋを発話タイミング推定モデルに適用する。次話者推定部１０８又は次話者推定部１０８Ａは、特徴量Ｆ２_ａ，ｋを発話タイミング推定モデルに適用して推定された次の発話区間Ｕ_ｋ＋１の発話タイミングＴ_ｕｋ＋１（例えば、発話区間Ｕ_ｋ＋１の開始時刻）を表す情報を「推定情報」の一部として出力する。なお、発話タイミングを表す情報は、何れかの発話タイミングを確定的に表すものであってもよいし、確率的に表すものであってもよい。利用者Ｐ_ａが時刻ｔに発話を開始する確率（時刻ｔが利用者Ｐ_ａの発話タイミングである確率）を、Ｐ２_ａ（ｔ）とする。
上述した実施形態の次話者推定部１０８又は次話者推定部１０８Ａが推定する利用者ｉの時刻ｔにおける次話者確率Ｐ^ｎｓ _ｉ（ｔ）は、利用者ｉが本次話者推定技術における利用者Ｐ_ａである場合、確率Ｐ１_ａ×確率Ｐ２_ａ（ｔ）により算出される。

上述の次話者推定部１０８又は次話者推定部１０８Ａは、呼吸動作の観測値に基づいて次に発話を開始する利用者およびタイミングを推定しているが、さらに、視線の観測値を用いてもよい。
視線行動をさらに利用する場合、各利用者Ｐ_ａ（ただし、ａ＝１，…，Ａ）には注視対象検出装置２０３がさらに装着される。注視対象検出装置２０３は、利用者Ｐ_ａが誰を注視しているか（注視対象）を検出し、利用者Ｐ_ａおよび各離散時刻ｔでの注視対象Ｇ_ａ，ｔを表す情報を次話者推定部１０８又は次話者推定部１０８Ａに送る。次話者推定部１０８又は次話者推定部１０８Ａは、注視対象情報Ｇ_１，ｔ，…，Ｇ_Ａ，ｔ、発話区間Ｕ_ｋ、および話者情報Ｐ_ｕｋを入力とし、発話区間終了前後における注視対象ラベル情報θ_ｖ，ｋ（ただし、ｖ＝１，…，Ｖ、Ｖは注視対象ラベルの総数）を生成する。注視対象ラベル情報は、発話区間Ｕ_ｋの終了時点Ｔ_ｓｅに対応する時間区間における利用者の注視対象を表す情報である。ここでは、終了時点Ｔ_ｓｅを含む有限の時間区間における利用者Ｐ_ａの注視対象をラベル付けした注視対象ラベル情報θ_ｖ，ｋを例示する。この場合、例えば、発話区間Ｕ_ｋの終了時点Ｔ_ｓｅよりも前の時点Ｔ_ｓｅ−Ｔ_ｂから終了時点Ｔ_ｓｅよりも後の時点Ｔ_ｓｅ＋Ｔ_ａまでの区間に出現した注視行動を扱う。Ｔ_ｂ，Ｔ_ａは０以上の任意の値でよいが、目安として、Ｔ_ｂは０秒〜２．０秒、Ｔ_ａは０秒〜３．０秒程度にするのが適当である。

次話者推定部１０８又は次話者推定部１０８Ａは、注視対象の利用者を以下のような種別に分類し、注視対象のラベリングを行う。なお、ラベルの記号に意味はなく、判別できればどのような表記でも構わない。
・ラベルＳ：現話者（すなわち、現話者である利用者Ｐ_ｕｋを表す）
・ラベルＬ_ξ：非話者（ただし、ξは互いに異なる非話者である利用者を識別し、ξ＝１，…，Ａ−１である。例えば、ある利用者が、非話者Ｐ_２、非話者Ｐ_３、の順に注視をしていたとき、非話者Ｐ_２にＬ_１というラベル、非話者Ｐ_３にＬ_２というラベルが割り当てられる。）
・ラベルＸ：誰も見ていない

ラベルがＳまたはＬ_ξのときには、相互注視（視線交差）が起きたか否かという情報を付与する。本形態では、相互注視が起きた際には、Ｓ_Ｍ，Ｌ_ξＭ（下付き添え字の「_ξＭ」はξ_Ｍを表す）のように、ラベルＳ，Ｌ_ξの末尾にＭラベルを付与する。

図１３は、注視対象ラベルの具体例を示す図である。図１３はＡ＝４の例であり、発話区間Ｕ_ｋ，Ｕ_ｋ＋１と各利用者の注視対象が時系列に示されている。図１３の例では、利用者Ｐ_１が発話した後、発話交替が起き、新たに利用者Ｐ_２が発話をした際の様子を示している。ここでは、現話者である利用者Ｐ_１が利用者Ｐ_４を注視した後、利用者Ｐ_２を注視している。Ｔ_ｓｅ−Ｔ_ｂの時点からＴ_ｓｅ＋Ｔ_ａの時点までの区間では、利用者Ｐ_１が利用者Ｐ_２を見ていたとき、利用者Ｐ_２は利用者Ｐ_１を見ている。これは、利用者Ｐ_１と利用者Ｐ_２とで相互注視が起きていることを表す。この場合、利用者Ｐ_１の注視対象情報Ｇ_１，ｔから生成される注視対象ラベルはＬ_１とＬ_２Ｍの２つとなる。上述の区間では、利用者Ｐ_２は利用者Ｐ_４を注視した後、現話者である利用者Ｐ_１を注視している。この場合、利用者Ｐ_２の注視対象ラベルはＬ_１とＳ_Ｍの２つとなる。また、上述の区間では、利用者Ｐ_３は現話者である利用者Ｐ_１を注視している。この場合、利用者Ｐ_３の注視対象ラベルはＳとなる。また、上述の区間では、利用者Ｐ_４は誰も見ていない。この場合、利用者Ｐ_４の注視対象ラベルはＸとなる。したがって、図１３の例では、Ｖ＝６である。

次話者推定部１０８又は次話者推定部１０８Ａは、注視対象ラベルごとの開始時刻、終了時刻も取得する。ここで、誰（Ｒ∈｛Ｓ，Ｌ｝）のどの注視対象ラベル（ＧＬ∈｛Ｓ，Ｓ_Ｍ，Ｌ_１，Ｌ_１Ｍ，Ｌ_２，Ｌ_２Ｍ，…｝）であるかを示す記号としてＲ_ＧＬ、その開始時刻をＳＴ＿Ｒ_ＧＬ、終了時刻をＥＴ＿Ｒ_ＧＬと定義する。ただし、Ｒは利用者の発話状態（現話者か非話者か）を表し、Ｓは現話者、Ｌは非話者である。例えば、図１３の例において、利用者Ｐ_１の最初の注視対象ラベルはＳ_Ｌ１であり、その開始時刻はＳＴ＿Ｓ_Ｌ１、終了時刻はＥＴ＿Ｓ_Ｌ１である。注視対象ラベル情報θ_ｖ，ｋは注視対象ラベルＲ_ＧＬ、開始時刻ＳＴ＿Ｒ_ＧＬ、および終了時刻ＥＴ＿Ｒ_ＧＬを含む情報である。

次話者推定部１０８又は次話者推定部１０８Ａは、注視対象ラベル情報θ_ｖ，ｋを用いて、各利用者Ｐ_ａの注視対象遷移パターンＥ_ａ，ｋを生成する。注視対象遷移パターンの生成は、注視対象ラベルＲ_ＧＬを構成要素として、時間的な順序を考慮した遷移ｎ−ｇｒａｍを生成して行う。ここで、ｎは正の整数である。例えば、図１３の例を考えると、利用者Ｐ１の注視対象ラベルから生成される注視対象遷移パターンＥ_１，ｋはＬ_１−Ｌ_２Ｍである。同様にして、利用者Ｐ_２の注視対象遷移パターンＥ_２，ｋはＬ_１−Ｓ_Ｍ、利用者Ｐ_３の注視対象遷移パターンＥ_３，ｋはＳ、利用者Ｐ_４の注視対象遷移パターンＥ_４，ｋはＸとなる。

注視対象遷移パターンＥ_ａ，ｋは、例えば発話区間Ｕ_ｋ＋１が開始された後に、発話区間Ｕ_ｋおよびその発話者Ｐ_ｕｋ、発話区間Ｕ_ｋ＋１に該当する発話を行う次発話者Ｐ_ｕｋ＋１および次発話開始タイミングＴ_ｕｋ＋１を表す情報とともにデータベースに送られる。データベースでは、注視対象遷移パターンＥ_ａ，ｋが、パラメータλａ，ｋと併合され、Ｅ_ａ，ｋ，λ_ａ，ｋ，Ｕ_ｋ，Ｐ_ｕｋ，Ｐ_ｕｋ＋１，Ｔ_ｕｋ＋１を表す情報の一部またはすべてがデータベースに保持される。

次話者推定部１０８又は次話者推定部１０８Ａは、注視対象ラベル情報θ_ｖ，ｋを入力とし、注視対象ラベルごとの時間構造情報Θ_ｖ，ｋを生成する。時間構造情報は利用者の視線行動の時間的な関係を表す情報であり、（１）注視対象ラベルの時間長、（２）注視対象ラベルと発話区間の開始時刻または終了時刻との間隔、（３）注視対象ラベルの開始時刻または終了時刻と他の注視対象ラベルの開始時刻または終了時刻との間隔、をパラメータとして持つ。

具体的な時間構造情報のパラメータを以下に示す。以下では、発話区間の開始時刻をＳＴ＿Ｕ、発話区間の終了時刻をＥＴ＿Ｕと定義する。
・ＩＮＴ１（＝ＥＴ＿Ｒ_ＧＬ−ＳＴ＿Ｒ_ＧＬ）：注視対象ラベルＲ_ＧＬの開始時刻ＳＴ＿Ｒ_ＧＬと終了時刻ＥＴ＿Ｒ_ＧＬの間隔
・ＩＮＴ２（＝ＳＴ＿Ｕ−ＳＴ＿Ｒ_ＧＬ）：注視対象ラベルＲ_ＧＬの開始時刻ＳＴ＿Ｒ_ＧＬが発話区間の開始時刻ＳＴ＿Ｕよりもどれくらい前であったか
・ＩＮＴ３（＝ＥＴ＿Ｕ−ＳＴ＿Ｒ_ＧＬ）：注視対象ラベルＲ_ＧＬの開始時刻ＳＴ＿Ｒ_ＧＬが発話区間の終了時刻ＥＴ＿Ｕよりもどれくらい前であったか
・ＩＮＴ４（＝ＥＴ＿Ｒ_ＧＬ−ＳＴ＿Ｕ）：注視対象ラベルＲ_ＧＬの終了時刻ＥＴ＿Ｒ_ＧＬが発話区間の開始時刻ＳＴ＿Ｕよりもどれくらい後であったか
・ＩＮＴ５（＝ＥＴ＿Ｕ−ＥＴ＿Ｒ_ＧＬ）：注視対象ラベルＲ_ＧＬの終了時刻ＥＴ＿Ｒ_ＧＬが発話区間の終了時刻ＥＴ＿Ｕよりもどれくらい前であったか
・ＩＮＴ６（＝ＳＴ＿Ｒ_ＧＬ−ＳＴ＿Ｒ_ＧＬ’）：注視対象ラベルＲ_ＧＬの開始時刻ＳＴ＿Ｒ_ＧＬが他の注視対象ラベルＲ_ＧＬ’の開始時刻ＳＴ＿Ｒ_ＧＬ’よりもどれくらい後であったか
・ＩＮＴ７（＝ＥＴ＿Ｒ_ＧＬ’−ＳＴ＿Ｒ_ＧＬ）：注視対象ラベルＲ_ＧＬの開始時刻ＳＴ＿Ｒ_ＧＬが他の注視対象ラベルＲ_ＧＬ’の終了時刻ＥＴ＿Ｒ_ＧＬ’よりもどれくらい前であったか
・ＩＮＴ８（＝ＥＴ＿Ｒ_ＧＬ−ＳＴ＿Ｒ_ＧＬ’）：注視対象ラベルＲ_ＧＬの終了時刻ＥＴ＿Ｒ_ＧＬが注視対象ラベルＲ_ＧＬ’の開始時刻ＳＴ＿Ｒ_ＧＬ’よりもどれくらい後であったか
・ＩＮＴ９（＝ＥＴ＿Ｒ_ＧＬ−ＥＴ＿Ｒ_ＧＬ’）：注視対象ラベルＲ_ＧＬの終了時刻ＥＴ＿Ｒ_ＧＬが注視対象ラベルＲ_ＧＬ’の終了時刻ＥＴ＿Ｒ_ＧＬ’よりもどれくらい後であったか

なお、ＩＮＴ６〜ＩＮＴ９については、すべての利用者の注視対象ラベルとの組み合わせに対して取得する。図１３の例では、注視対象ラベル情報は全部で６つ（Ｌ_１，Ｌ_２Ｍ，Ｌ_１，Ｓ_Ｍ，Ｓ，Ｘ）あるため、ＩＮＴ６〜ＩＮＴ９は、それぞれ６×５＝３０個のデータが生成される。

時間構造情報Θ_ｖ，ｋは注視対象ラベル情報θ_ｖ，ｋについてのパラメータＩＮＴ１〜ＩＮＴ９からなる情報である。時間構造情報Θ_ｖ，ｋを構成する上記の各パラメータについて、図１４を用いて具体的に示す。図１４は、現話者である利用者Ｐ１（Ｒ＝Ｓ）の注視対象ラベルＬ１についての時間構造情報を示す図である。すなわち、Ｒ_ＧＬ＝Ｓ_Ｌ１における時間構造情報である。なお、ＩＮＴ６〜ＩＮＴ９については、図示を簡略化するために、利用者Ｐ２の注視対象ラベルＬ１、すなわちＲ_ＧＬ＝Ｌ_Ｌ１との関係のみを示す。図１４の例では、ＩＮＴ１〜ＩＮＴ９は以下のように求められることがわかる。
・ＩＮＴ１＝ＥＴ＿Ｓ_Ｌ１−ＳＴ＿Ｓ_Ｌ１
・ＩＮＴ２＝ＳＴ＿Ｕ−ＳＴ＿Ｓ_Ｌ１
・ＩＮＴ３＝ＥＴ＿Ｕ−ＳＴ＿Ｓ_Ｌ１
・ＩＮＴ４＝ＥＴ＿Ｓ_Ｌ１−ＳＴ＿Ｕ
・ＩＮＴ５＝ＥＴ＿Ｕ−ＥＴ＿Ｓ_Ｌ１
・ＩＮＴ６＝ＳＴ＿Ｓ_Ｌ１−ＳＴ＿Ｌ_Ｌ１
・ＩＮＴ７＝ＥＴ＿Ｌ_Ｌ１−ＳＴ＿Ｓ_Ｌ１
・ＩＮＴ８＝ＥＴ＿Ｓ_Ｌ１−ＳＴ＿Ｌ_Ｌ１
・ＩＮＴ９＝ＥＴ＿Ｓ_Ｌ１−ＥＴ＿Ｌ_Ｌ１

時間構造情報Θ_ｖ，ｋは、例えば発話区間Ｕ_ｋ＋１が開始された後に、発話区間Ｕ_ｋおよびその発話者Ｐ_ｕｋ、発話区間Ｕ_ｋ＋１に該当する発話を行う次発話者Ｐ_ｕｋ＋１および次発話開始タイミングＴ_ｕｋ＋１を表す情報とともにデータベースに送られる。データベースでは、時間構造情報Θ_ｖ，ｋが、パラメータλ_ａ，ｋと併合され、Θ_ｖ，ｋ，λ_ａ，ｋ，Ｕ_ｋ，Ｐ_ｕｋ，Ｕ_ｋ＋１，Ｐ_ｕｋ＋１，Ｔ_ｕｋ＋１を表す情報の一部またはすべてがデータベースに保持される。

次話者推定部１０８又は次話者推定部１０８Ａは、注視対象遷移パターンＥ_ａ，ｋ、時間構造情報Θ_ｖ，ｋ、発話者情報Ｐ_ｕｋ、発話区間Ｕ_ｋ、利用者Ｐ_ａの吸い込み区間Ｉ_ａ，ｋでの息の吸い込み量、吸い込み区間Ｉ_ａ，ｋの長さ、吸い込み区間Ｉ_ａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕ_ｋと吸い込み区間Ｉ_ａ，ｋとの時間関係の少なくとも一部に対応する特徴量ｆ_ａ，ｋに対する推定情報を得るためのモデルを機械学習し、モデルを用いて特徴量に対する推定情報である次話者確率Ｐ^ｎｓ _ｉ（ｔ）を得て出力する。

上述の次話者推定部１０８又は次話者推定部１０８Ａは、呼吸動作の観測値および視線の観測値に基づいて次に発話を開始する利用者およびタイミングを推定しているが、さらに、利用者の頭部の動きに関する情報を用いてもよい。これは、人は発話の直前に大きく頷く傾向があることを利用するものである。次話者推定部１０８又は次話者推定部１０８Ａは、映像入力部１０２からの各利用者の画像データを解析して、頭部が上下に動いたか否かにより利用者が頷いたか否かを判定する。次話者推定部１０８又は次話者推定部１０８Ａは、利用者ｉが時刻ｔの数秒前に頷いたと判定した場合には、利用者ｉの時刻ｔにおける次話者確率Ｐ^ｎｓ _ｉ（ｔ）に所定値を加算する処理等を行う。また、次話者推定部１０８又は次話者推定部１０８Ａは、呼吸動作の観測値、視線の観測値および、利用者の頭部の動きに関する情報の少なくとも一つに基づいて次話者確率Ｐ^ｎｓ _ｉ（ｔ）を算出してもよい。

また、次話者推定部１０８又は次話者推定部１０８Ａが呼吸動作の観測値、視線の観測値および、利用者の頭部の動きに関する情報の少なくとも一つを用いている場合は、次話者推定部１０８又は次話者推定部１０８Ａで用いる情報に応じて、センサ１０３は、位置計測装置２０１、呼吸動作計測装置２０２、注視対象検出装置２０３及び頭部動作検出装置２０４のいずれか一つ又は複数を備える構成でよい。

なお、第１の実施形態におけるロボット１００及び第２の実施形態におけるロボット１００Ａは、マイク１０１、カメラ１０２、センサ１０３、音声入力部１０４、映像入力部１０５、センサ入力部１０６、発話区間検出部１０７、次話者推定部１０８又は次話者推定部１０８Ａ及び発話制御部１０９又は制御部１０９Ａを内蔵する構成としたが、この構成に限られるものではない。マイク１０１、カメラ１０２、センサ１０３、音声入力部１０４、映像入力部１０５、センサ入力部１０６、発話区間検出部１０７、次話者推定部１０８（又は次話者推定部１０８Ａ）及び発話制御部１０９（又は制御部１０９Ａ）を備える発話制御装置をロボット１００（又はロボット１００Ａ）と別装置で設ける構成としてもよい。発話制御装置は、ロボット１００（又はロボット１００Ａ）と通信可能な構成であり、発話制御部１０９（又は制御部１０９Ａ）からの制御信号をロボット１００（又はロボット１００Ａ）へ送信することで、ロボット１００（又はロボット１００Ａ）の発話を制御する。

ロボット１００及びロボット１００Ａは、その体の一部をディスプレイ等の表示部に体の一部を表示する構成であっても良く、全身が仮想的な人物であるエージェントとして表示部に表示されるものであってもよい。ロボット１００及びロボット１００Ａの体の一部を表示部で表現するとは、例えば、顔全体が表示部となっており、その表示部に顔の画像を表示する構成等が考えられる。表示部に表示した顔の画像を変化させていろいろな表現を行うことができる。話者となるエージェントを表示部に表示する表示装置は、ロボット１００と同様に、マイク１０１と、カメラ１０２と、センサ１０３と、音声入力部１０４と、映像入力部１０５と、センサ入力部１０６と、発話区間検出部１０７と、利用者情報取得部１０８と、動作制御部１０９と、音制御部１１０と、口部制御部１１１と、視線制御部１１２と、頭部制御部１１３と、胴部制御部１１４と、スピーカ１１５とを備える。エージェントは、例えば、口を含む口部及び目を含む眼部を有する顔があり、顔を含む頭部の下には手、腕、及び足を有する胴部がある人物である。表示装置は、口部制御部１１１、視線制御部１１２、頭部制御部１１３及び胴部制御部１１４からの制御信号に応じて、表示部に表示中のエージェントの口、目の視線、頭及び胴体（手、腕及び足等を含む）を動かす画像処理部をさらに備える。なお、ロボット１００及びロボット１００Ａは、複数のマイク１０１及びセンサ１０３を備えない構成であってもよく、例えば、ロボット１００及びロボット１００Ａの外部に設置された複数のマイク１０１及びセンサ１０３と有線又は無線にて信号を送受信可能な構成であってもよい。

第１の実施形態におけるロボット１００及び第２の実施形態におけるロボット１００Ａにおいて、上述した発話制御処理の妨げにならない範囲であれば、図１及び図７に示した機能以外の通常のロボットが備えている機能等を備えてもよい。例えば、第１の実施形態におけるロボット１００は、第２の実施形態におけるロボット１００Ａのような呼吸動作等の会話時の人間と同様の動作を行うことができる構成としてもよい。

上述した本実施形態におけるロボット１００又はロボット１００Ａの備える各機能部は、例えば、コンピュータで実現することができる。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

利用者と会話を行うロボットの制御に適用したり、利用者と会話を行う表示装置に表示されたエージェント（仮想的な人物）の動きの制御に適用したりすることができる。

５１ａ…右目，５１ｂ…左目，５２…口部，５３…頭部，５４…頸部，５５…胴部，１００、１００Ａ…ロボット， １０１…マイク， １０２…カメラ， １０３…センサ， １０４…音声入力部， １０５…映像入力部， １０６…センサ入力部， １０７…発話区間検出部， １０８、１０８Ａ…次話者推定部， １０９、３０１…発話制御部，１０９Ａ…制御部， １１０、１１０Ａ…音制御部， １１１…口部制御部， １１２…視線制御部， １１３…頭部制御部， １１４…胴部制御部， １１５…スピーカ（発音部）， １１６…口部駆動部， １１７…眼部駆動部， １１８…頭部駆動部， １１９…胴部駆動部， ２０１…位置計測装置， ２０２…呼吸動作計測装置， ２０３…注視対象検出装置， ２０４…頭部動作検出装置，３０２…動作パターン情報格納部， ３０３…動作制御部， ３０４…センサ信号変換部， ４０１…音声解析部， ４０２…会話情報生成部， ４０３、４０３Ａ…会話情報ＤＢ， ４０４、４０４Ａ…発声情報生成部， ４０５…音信号生成部

Claims (8)

1. 複数の利用者と会話を行うロボットの発話を、又は、複数の利用者と会話を行う表示装置に表示される話者の発話を制御する発話制御部と、
   前記利用者が任意の時刻に次話者となる確率である第１の次話者確率を取得する次話者推定部と、
   を備え、
   前記発話制御部は、前記次話者推定部が取得した前記利用者の前記第１の次話者確率に基づいて前記ロボット又は前記話者の発話を制御する発話制御システム。
2. 前記発話制御部は、複数の前記利用者の前記第１の次話者確率が所定の閾値以下の場合に前記ロボット又は前記話者の発話を行わせるよう制御する請求項１に記載の発話制御システム。
3. 前記発話制御部は、複数の前記利用者の前記第１の次話者確率を所定時間積分した積分値が所定の閾値以下の場合に前記ロボット又は前記話者の発話を行わせるよう制御する請求項１に記載の発話制御システム。
4. 前記次話者推定部は、前記利用者の非言語行動に基づいて前記第１の次話者確率を取得する請求項１から請求項３のいずれか一項に記載の発話制御システム。
5. 前記ロボット又は前記話者は、前記非言語行動に対応した動作を行うよう制御が可能であり、
   前記次話者推定部は、前記ロボット又は前記話者の前記非言語行動に対応した動作に関する情報に基づいて、前記時刻に前記ロボット又は前記話者が次話者となる確率である第２の次話者確率を取得し、
   前記発話制御部は、複数の前記利用者の前記第１の次話者確率と、前記ロボット又は前記話者の前記第２の次話者確率との比較に基づいて、前記ロボット又は前記話者の発話を制御する請求項４に記載の発話制御システム。
6. 前記発話制御部は、前記ロボット又は前記話者の発話の必要性を表す指標である発話必要度を取得して、取得した前記発話必要度に応じて前記次話者推定部が取得した前記第２の次話者確率の値を変化させる請求項５に記載の発話制御システム。
7. 複数の利用者と会話を行うロボットの発話を、又は、複数の利用者と会話を行う表示装置に表示される話者の発話を制御する発話制御部と、
   前記利用者が任意の時刻に次話者となる確率である第１の次話者確率を取得する次話者推定部と、
   を備え、
   前記発話制御部は、前記次話者推定部が取得した前記利用者の前記第１の次話者確率に基づいて前記ロボット又は前記話者の発話を制御する発話制御装置。
8. 複数の利用者と会話を行うロボットの発話を、又は、複数の利用者と会話を行う表示装置に表示される話者の発話を制御する発話制御プログラムであって、
   前記利用者が任意の時刻に次話者となる確率である第１の次話者確率を取得する次話者推定ステップと、
   前記次話者推定ステップにおいて取得した前記利用者の前記第１の次話者確率に基づいて前記ロボット又は前記話者の発話を制御する発話制御ステップと、
   をコンピュータに実行させるための発話制御プログラム。

Images