JP2019168837A - 処理装置、処理方法、及びプログラム - Google Patents

Abstract

【課題】瞬き動作を用いて対話装置とユーザとのコミュニケーションを支援する。【解決手段】制御装置は、対話装置の瞬き動作のタイミングを取得する第１取得部と、前記対話装置のユーザの瞬きのタイミングを取得する第２取得部と、前記瞬き動作のタイミングと前記ユーザの瞬きのタイミングとの差異に応じた処理を行う処理部と、を有する。前記処理部は、前記差異に基づく指標値に応じた処理を行ってもよい。前記処理部は、前記ユーザの瞬きのタイミングが前記瞬き動作のタイミングよりも後の所定期間内に含まれる度合いに応じた処理を行ってもよい。【選択図】図１

Description

本発明は、人と対話装置とのコミュニケーションを支援する技術に関する。

人と対話装置との疑似的なコミュニケーション（以下、単に「コミュニケーション」という。）を実現する技術が、従来から提案されている。特許文献１は、対話型の玩具を開示している。また、目の瞬きを模した動作を行う対話装置が提案されている。特許文献２は、ＣＧキャラクタタの目をあらかじめ設定される瞬きの間隔により開閉させることを開示している。特許文献３は、頭の頷き動作のタイミングを起点とし、経時的に指数分布させたタイミングで瞬き動作をするロボットを開示している。なお、話し手及び聞き手の瞬きに関して、本件の発明者らによって、非特許文献１及び非特許文献２に以下の事項が開示されている。非特許文献１は、話し手と聞き手の瞬きが時間遅れで同期することを開示している。また、非特許文献１は、話し手の瞬きは、話の終わり掛け、又は発話の合間で増加することを開示している。非特許文献２は、ロボットである話し手と人間である聞き手との間で、瞬きが時間遅れで同期することを開示している。

特表２０１０−５２５８４８号公報 特許第５６３９４４０号 特開２０００−３４９９２０号公報

Tamami Nakano and Shigeru Kitazawa、" Eyeblink entrainment at breakpoints of speech"、 Experimental Brain Research、205(4)、 p.577-81、［online］、［平成３０年３月１２日検索］、インターネット＜ＵＲＬ：https://www.ncbi.nlm.nih.gov/pubmed/20700731＞、（２０１０年） Kyohei Tatsukawa, Tamami Nakano, Hiroshi Ishiguro and Yuichiro Yoshikawa、" Eyeblink Synchrony in Multimodal Human-Android Interaction"、 Scientific Reports、6:39718、［online］、［平成３０年３月１２日検索］、インターネット＜ＵＲＬ：https://www.nature.com/articles/srep39718＞、（２０１６年）

ユーザと対話装置との間のコミュニケーションとは無関係に、対話装置が瞬き動作をしても、コミュニケーションの質の向上に寄与することが難しい場合がある。

そこで、本発明は、瞬き動作を用いて対話装置とユーザとのコミュニケーションを支援することを目的とする。

本発明の一実施形態は、対話装置の瞬き動作のタイミングを取得する第１取得部と、前記対話装置のユーザの瞬きのタイミングを取得する第２取得部と、前記瞬き動作のタイミングと前記ユーザの瞬きのタイミングとの差異に応じた処理を行う処理部と、を有する処理装置を提供する。

上記処理装置において、前記処理部は、前記差異に基づく指標値に応じた処理を行ってもよい。

上記処理装置において、前記処理部は、前記ユーザの瞬きのタイミングが前記瞬き動作のタイミングに応じた所定期間内に含まれる度合いに応じた処理を行ってもよい。

上記処理装置において、前記所定期間は、前記瞬き動作のタイミングから５００ミリ秒以下の時点を含んでもよい。

上記処理装置において、前記処理部は、前記ユーザの瞬きのタイミング及び前記瞬き動作のタイミングを所定の時間軸上に時刻順に並べた第１データにおける前記度合いと、前記ユーザの瞬きのタイミング及び前記瞬き動作のタイミングの少なくとも一方の順番を変更した第２データにおける前記度合いとに応じて、前記処理を行ってもよい。

上記処理装置において、前記処理部は、前記対話装置に前記差異に応じた対話処理を行わせてもよい。

上記処理装置において、前記処理部は、前記対話装置の識別子と対応付けて、前記差異に応じた評価データを出力してもよい。

上記処理装置において、前記対話装置の周辺の環境を示す環境情報を取得する環境情報取得部と、前記環境情報に応じた第１タイミングに、前記対話装置に瞬き動作をさせる瞬き動作制御部と、を有してもよい。

上記処理装置において、前記ユーザが瞬きをするタイミングと前記環境とを対応付けたデータを記憶装置に蓄積させる記憶制御部を有し、前記瞬き動作制御部は、前記第１タイミングを、前記記憶装置に蓄積されたデータと前記環境情報とに応じたタイミングとしてもよい。

上記処理装置において、前記瞬き動作制御部は、さらに、前記第１タイミングとは異なる第２タイミングに前記対話装置に瞬き動作をさせてもよい。

上記処理装置において、目の瞼に相当する瞼部と、前記瞼部を開閉させることにより、前記瞼部の瞬き動作を制御する瞬き動作制御部と、を有し、前記第１取得部は、前記瞼部の瞬き動作のタイミングを取得してもよい。

上記処理装置において、表示部と、前記表示部に表示されたオブジェクトの瞬き動作を制御する瞬き動作制御部と、を有し、前記第１取得部は、前記オブジェクトの瞬き動作のタイミングを取得してもよい。

本発明の一実施形態は、対話装置の瞬き動作のタイミング、及び前記対話装置のユーザの瞬きのタイミングを取得し、前記瞬き動作のタイミングと前記ユーザの瞬きのタイミングとの差異に応じた処理を行う、処理方法を提供する。

本発明の一実施形態は、コンピュータに、対話装置の瞬き動作のタイミング、及び前記対話装置のユーザの瞬きのタイミングを取得し、前記瞬き動作のタイミングと前記ユーザの瞬きのタイミングとの差異に応じた処理を行う機能を実現させるためのプログラムを提供する。

本発明によれば、瞬き動作を用いて対話装置とユーザとのコミュニケーションを支援することができる。

本発明の第１実施形態である対話装置の外観構成の一例を示す図である。 本発明の第１実施形態である対話装置が行う瞬き動作を説明する図である。 本発明の第１実施形態である対話装置のハードウェア構成を示すブロック図である。 本発明の第１実施形態である対話装置の機能構成を示すブロック図である。 本発明の第１実施形態の対話装置が実行する処理を示すフローチャートである。 本発明の第１実施形態の指標算出処理を示すフローチャートである。 本発明の第１実施形態のタイミング差の算出方法を説明する図である。 本発明の第１実施形態のタイミング差の出現頻度の分布を示すグラフを示す。 本発明の第１実施形態のランダムデータの一例を示す図である。 本発明の第１実施形態の評価値の一例を示す図である。 本発明の第１実施形態の検証に係る聞き手の瞬きの頻度の分布を示すグラフである。 本発明の第１実施形態の検証に係る回答結果毎に聞き手の瞬きの頻度の分布を示すグラフである。 本発明の第１実施形態の検証に係る評価値を、性別及び商品別に示したグラフである。 本発明の第１実施形態の検証に係る商品への関心度を、性別及び商品別に示したグラフである。 本発明の第２実施形態である対話装置の機能構成を示すブロック図である。 本発明の第２実施形態の対話装置が実行する学習処理を示すフローチャートである。 本発明の第２実施形態の対話装置が実行する瞬き動作に関する処理を示すフローチャートである。 本発明の第３実施形態である対話装置のハードウェア構成を示すブロック図である。 本発明の第３実施形態である対話装置の機能構成を示すブロック図である。 本発明の第３実施形態の対話装置が実行する処理を示すフローチャートである。 本発明の一実施形態の処理装置の機能構成を示すブロック図である。

以下、本発明の一実施形態について、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。なお、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号（数字の後にＡ、Ｂなどを付しただけの符号）を付し、その繰り返しの説明は省略する場合がある。

発明者は、話し手及び聞き手の瞬きのタイミングの差異を、当該話し手及び聞き手が行うコミュニケーションの質の評価に用いることができる、という知見を得た。例えば、話し手及び聞き手の瞬きのタイミングの一致度合いが高い場合、聞き手は話し手の発話に対して高い関心を示していると推測することができる。反対に、その一致度合いが低い場合、聞き手は話し手の発話に対してさほど関心を示していないと推測することができる。このような知見を得るに至った検証については、後述する。以下、対話装置とそのユーザとのコミュニケーションを実現する技術に、このような知見を適用した場合の実施の形態を説明する。

［第１実施形態］
図１は、本発明の第１実施形態である対話装置１０の外観構成の一例を示す図である。対話装置１０は、ユーザＵと対話する処理装置である。ユーザＵは、対話装置１０のユーザである。ユーザＵは、対話装置１０と対面し、対話装置１０と対話によるコミュニケーションをとる。

対話装置１０は、生物を模した外観を有するロボットである。対話装置１０は、例えば、人間若しくはその他の動物（例えば犬又は猫）、又は架空の人物（例えば、アニメーションの登場人物）を模した外観を有する。対話装置１０の外観については、問わない。

対話装置１０は、顔部１０１と、瞼部１０２とを有する。顔部１０１は、顔に相当する部位である、瞼部１０２は、顔部１０１に配置され、目の瞼に相当する部位である。瞼部１０２は、開閉することにより、目の瞬きを模した動作（以下「瞬き動作」という。）をする。本実施形態では、２つの瞼部１０２が同じ動作をする。

図２は、対話装置１０の瞬き動作を説明する図である。対話装置１０は、平常時において、瞼部１０２を開状態とする。対話装置１０は、瞬き動作をするタイミングで、瞼部１０２を開状態から閉状態に遷移させ（矢印Ａ１）、閉状態から開状態に遷移させる（矢印Ａ２）。瞼部１０２の開状態から閉状態、及び閉状態から開状態の遷移のタイミングは、瞼部１０２が目の瞬きを模した動作をするようにあらかじめ設定されている。

対話装置１０は、口、鼻、及びその他の部位を顔部１０１に有してもよい。対話装置１０は、さらに、顔部１０１に配置されたこれらの各部位を動作させてもよいが、本実施形態では説明を省略する。

対話装置１０の設置場所、及び用途は特に問わない。対話装置１０は、例えば商業施設（例えば店舗）、公共施設又はその他の施設に設置される。この場合、ユーザＵは、当該施設の利用者である。対話装置１０は、医療用、玩具又はその他の用途で用いられてもよい。

図３は、対話装置１０のハードウェア構成を示すブロック図である。対話装置１０は、制御部１１と、音声入力部１２と、音声出力部１３と、記憶部１４と、撮像部１５と、瞼部１０２とを有する。制御部１１は、対話装置１０の各部を制御する。制御部１１は、例えば、ＣＰＵで例示される演算処理装置、及びメモリを含む。メモリは、例えば、演算処理装置がワークエリアとして使用するＲＡＭ、及び制御プログラムを記憶するＲＯＭを含む。

音声入力部１２は、音声の入力を受け付ける。音声入力部１２は、入力を受け付けた音声を音声信号に変換して、制御部１１に供給する。音声入力部１２は、例えば、マイクロフォン、Ａ（Ａｎａｌｏｇ）／Ｄ（Ｄｉｇｉｔａｌ）変換回路、及びフィルタを含む。

音声出力部１３は、音声を出力する。音声出力部１３は、制御部１１から供給された音声信号から変換した音を出力する。音声出力部１３は、例えば、Ｄ／Ａ変換回路、及びスピーカを含む。

記憶部１４は、データを記憶する。記憶部１４は、例えば、プログラム１４１、及び対話データ１４２を記憶する。プログラム１４１は、制御部１１に所定の機能を実現させるためのプログラムである。

対話データ１４２は、対話装置１０がユーザＵと対話するためのデータである。対話データ１４２は、例えば、入力データと出力データとを対応付けたデータを複数記憶している。入力データは、ユーザＵが発話すると想定される発話の内容を文字列で表したデータである。出力音声は、当該発話に対する応答の内容を文字列で表したデータである。例えば、入力データが「名前は？」である場合、当該入力データに対応付けられる出力データは「私の名前はＸＸです。」（「ＸＸ」は、対話装置１０の名称）である。

対話データ１４２は、話題を識別する識別子を、入力データ及び出力データに対応付けて含んでもよい。例えば、サッカーに関する発話に用いられる入力データ及び出力データには、第１識別子「ＩＤ００１」が対応付けられる。食事に関する発話に用いられる入力データ及び出力データには、第２識別子「ＩＤ００２」が対応付けられる。

なお、対話データ１４２は、別の形式のデータであってもよい。記憶部１４は、例えば、光学式記録媒体、磁気記録媒体、及び半導体記録媒体で例示される任意の形式の記録媒体（記憶装置）を含みうる。

撮像部１５は、被写体を撮像し、撮像した画像を示す撮像データを生成する。被写体は、ユーザＵである。撮像部１５は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサで例示される撮像素子、及びレンズを含む。撮像部１５のレンズは、例えば顔部１０１における瞼部１０２の近傍に設けられるが、顔部１０１におけるその他の位置、又は顔部１０１以外の位置に設けられてもよい。

瞼部１０２は、制御部１１の制御に応じて開閉する。瞼部１０２は、例えば、開閉機構（例えば、ダイヤフラム及びシリンダ）、及び当該開閉機構を駆動させる駆動回路を含む。瞬き動作を実現するための機構については、種々の公知技術を適用し得る。

図４は、対話装置１０の機能構成を示すブロック図である。対話装置１０の制御部１１は、プログラム１４１を実行することにより、瞬き動作制御部１１１と、第１取得部１１２と、瞬き検出部１１３と、第２取得部１１４と、処理部１１５とに相当する機能を実現する。

瞬き動作制御部１１１は、瞼部１０２を開閉させることにより、対話装置１０の瞬き動作を制御する。瞬き動作制御部１１１は、例えば、瞬き動作をするための瞬き制御データを、瞼部１０２に出力する。瞼部１０２は、瞬き制御データに応じて開閉する。

第１取得部１１２は、対話装置１０（瞼部１０２）の瞬き動作のタイミングを取得する。第１取得部１１２は、例えば、瞬き動作制御部１１１から瞬き動作のタイミングを示すデータを取得する。

瞬き検出部１１３は、ユーザＵの瞬きを検出する。具体的には、瞬き検出部１１３は、撮像部１５により生成された撮像データに基づいて、ユーザＵの瞬きを検出する。

第２取得部１１４は、ユーザＵの瞬きのタイミングを取得する。第２取得部１１４は、本実施形態では、ユーザＵの瞬きのタイミングを示すデータ（以下「瞬きデータ」という。）を取得する。瞬きデータは、瞬きが検出された時刻を、その時刻順に並べたデータ（第１データ）である。第２取得部１１４は、例えば、瞬き検出部１１３による瞬きの検出結果に基づいて、瞬きデータを生成する。

処理部１１５は、対話装置１０の瞬き動作のタイミングとユーザＵの瞬きのタイミングとの差異に応じた処理を行う。処理部１１５は、本実施形態では、対話処理を行う。対話処理は、対話データ１４２を用いて対話するための処理である。具体的には、対話処理は、音声入力部１２を介して入力された音声を認識して入力データに変換する処理を含む。また、対話処理は、当該入力データに対応付けられた出力データを音声に変換し、音声入力部１２を介して出力する処理を含む。

次に、対話装置１０の動作を説明する。図５は、対話装置１０が実行する処理を示すフローチャートである。

処理部１１５は、対話処理を開始する（ステップＳ１）。対話処理を開始する契機は問わない。処理部１１５は、ユーザＵの存在を認識したタイミングであってもよい。対話装置１０のユーザは、例えば、撮像データが示す画像から認識される人、又は撮像部１５の撮像方向に位置する人、撮像部１５の位置に応じた位置に居る人である。対話装置１０のユーザは、対話装置１０にログインした人であってもよい。また、処理部１１５は、音声入力部１２を介して入力された音声から所定の音声（例えば、挨拶を示す音声）を認識した場合、又は所定の操作を受け付けた場合に、対話処理を開始してもよい。

次に、処理部１１５は、撮像部１５に撮像を開始させる（ステップＳ２）。撮像が開始すると、対話装置１０は以下で説明する処理を行う。

まず、瞬き動作に関する処理を説明する。瞬き動作制御部１１１は、瞬き動作をするかどうかを判断する（ステップＳ１１）。瞬き動作制御部１１１は、例えば、対話装置１０の発話中、又は発話が終了したタイミングで、瞬き動作をすると判断する。発話が終了したタイミングは、例えば、話の切れ目となるタイミングである。瞬き動作のタイミングは、ランダムなタイミングを含んでもよい。

ステップＳ１１で「ＹＥＳ」と判断した場合、瞬き動作制御部１１１は、対話装置１０に瞬き動作をさせる（ステップＳ１２）。ステップＳ１１で「ＮＯ」と判断した場合、瞬き動作制御部１１１は、瞬き動作をしない。そして、対話装置１０の処理はステップＳ３に進む。

次に、対話装置１０とユーザとのコミュニケーションの質の評価に関する処理を説明する。

第１取得部１１２は、対話装置１０の瞬き動作のタイミングを取得する（ステップＳ２１）。次に、瞬き検出部１１３は、撮像部１５から供給された撮像データに基づいて、ユーザＵの瞬きを検出する（ステップＳ２２）。瞬きの検出のアルゴリズムは、種々の公知技術が適用されてよい。瞬き検出部１１３は、例えば、撮像データが示す画像から、ユーザＵの目の周縁に沿って複数の特徴点を抽出する。瞬き検出部１１３は、例えば、Ｈａａｒ−ｌｉｋｅに基づいて特徴点を抽出する。瞬き検出部１１３は、複数のフレームの撮像データに基づいて、抽出した特徴点の移動の方向、及びその速度の時間的な変化を特定することにより、ユーザＵの瞬きの有無を検出する。例えば人の瞬きに起因して、およそ０〜３００ミリ秒の間に、特徴点の急激な速度の変化が生じる。そこで、瞬き検出部１１３は、所定期間内の速度変化が閾値以上となった場合、ユーザＵの瞬きがあったことを検出する。

次に、第２取得部１１４は、瞬きの検出結果に基づいて、ユーザＵの瞬きのタイミングを示す瞬きデータを取得する（ステップＳ２３）。

次に、処理部１１５は、指標算出処理を行う（ステップＳ２４）。指標算出処理は、対話装置１０とユーザＵとのコミュニケーションの質の指標を算出する処理である。

図６は、指標算出処理を示すフローチャートである。以下、指標算出処理を、具体例を挙げて説明する。

まず、処理部１１５は、ユーザＵの瞬きのタイミングと、対話装置１０の瞬き動作のタイミングとの差異を算出する（ステップＳ２４１）。処理部１１５は、例えば、所定期間におけるユーザＵの瞬きのタイミングと、瞼部１０２の瞬き動作のタイミングとのすべての組み合わせについて差異（以下「タイミング差」という。）を算出する。所定期間は、例えば３０秒であるが、３０秒未満であってもよいし、３０秒よりも長くてもよい。所定期間は、例えば、対話装置１０の発話が終了するタイミングから所定時間前まで遡った期間の全体又は一部の期間である。

図７は、タイミング差の算出方法を説明する図である。図７に示すタイミングチャートは、ユーザＵの瞬きのタイミング、及び対話装置１０が瞬き動作をしたタイミングを示す。図７に示すように、ユーザＵの瞬きのタイミングを、その時刻順に、ｔ１１，ｔ１２，・・・ｔ１Ｂと表す。対話装置１０の瞬き動作のタイミングを、その時刻順に、ｔ２１，ｔ２２，・・・ｔ２７と表す。この場合、処理部１１５は、ｔ１１，ｔ１２，・・・ｔ１Ｂの各々について、ｔ２１，ｔ２２，・・・ｔ２７の各々との差異を算出する。瞬きのタイミングｔ１ｉと瞬き動作のタイミングｔ２ｊとの差異であるタイミング差を、以下「Δｔｉｊ」と表す。この場合、処理部１１５は、タイミング差ＴＤ｛Δｔ１１、Δｔ１２、・・・、Δｔ１７、Δｔ２１、Δｔ２２、・・・、Δｔ２７、・・・ΔｔＢ１、ΔｔＢ２、・・・、ΔｔＢ７｝を算出する。

図８は、タイミング差の出現頻度の分布を示すグラフＤＧを示す。図８のグラフＤＧにおいて、横軸がタイミング差に対応し、縦軸が各タイミング差の出現の度合い（つまり、出現頻度）に対応する。図８に示す例では、或る時間範囲Ｔ内で、出現頻度が高くなっている。

ところで、グラフＤＧで示される出現頻度の分布は、ユーザＵと対話装置１０とのコミュニケーションだけでなく、ユーザＵの瞬きの特性（例えば、回数及び頻度）、及び対話装置１０の瞬き動作の特性（例えば、回数及び頻度）に起因して生じたと考えられる。例えば、ユーザＵの瞬きの頻度、及び対話装置１０の瞬き動作の頻度が高い場合ほど、小さいタイミング差の出現頻度が高くなりやすい。このため、タイミング差ＴＤが、どの程度、対話装置１０とユーザＵとのコミュニケーションに起因して生じたかを明らかにする必要がある。そこで、処理部１１５は、サロゲートデータ法に基づいて、出現頻度の分布を解析する。

すなわち、処理部１１５は、ランダムデータ（第２データ）を生成する（ステップＳ２４２）。ランダムデータは、時間軸上で対話装置１０の瞬き動作の間隔の順番をランダムに変更したデータを含む。

図９は、ランダムデータＲ１〜ＲＫの一例を示す図である。処理部１１５は、Ｋ通り（例えば、１０００通り）のランダムデータＲ１〜ＲＫを生成する。図９に示すランダムデータＲ１〜ＲＫにおいては、対話装置１０の瞬き動作の間隔の順番が変更され、ユーザＵの瞬きの間隔の順番は変更されていない。なお、図７に示すタイミング「ｔ２ｊ」と、図９に示すタイミング「ｔ２ｊａ」とが対応する。

次に、処理部１１５は、生成したランダムデータの各々について、ユーザＵの瞬きのタイミングと、対話装置１０の瞬き動作のタイミングとの差異であるタイミング差を算出する（ステップＳ２４３）。タイミング差の算出方法は、ステップＳ２４１と同じでよい。瞬きのタイミングｔ１ｉａと瞬き動作のタイミングｔ２ｊａとの差異であるタイミング差を、以下「Δｔｉｊａ」と表す。図９に示す場合、処理部１１５は、ランダムデータに基づいて、タイミング差ＴＲ｛Δｔ１１ａ、Δｔ１５ａ、・・・、Δｔ１３ａ、Δｔ２１ａ、Δｔ２５ａ、・・・、Δｔ２３ａ、・・・ΔｔＢ１ａ、ΔｔＢ５ａ、・・・、ΔｔＢ３ａ｝を算出する。ランダムデータにおけるタイミング差の出現頻度は、例えば、図８のグラフＲＧで示される。なお、グラフＲＧは、ランダムデータＲ１〜ＲＫのタイミング差の出現頻度の平均を示す。

次に、処理部１１５は、瞬きデータに基づくタイミング差と、ランダムデータに基づくタイミング差とに応じた評価値を算出する（ステップＳ２４４）。評価値は、対話装置１０とユーザＵとのコミュニケーションの質の指標となる指標値である。ランダムデータは、対話装置１０の瞬き動作の間隔をランダムに変更したデータである。このため、ランダムデータは、対話装置１０の瞬き動作の回数、及び間隔を維持したまま、時系列の情報が崩されたデータといえる。よって、タイミング差ＴＤの分布と、ランダムデータＲ１〜ＲＫの分布とを比較することによって、ユーザＵの瞬きデータが示すタイミング差の出現分布が、対話装置１０とユーザＵとのコミュニケーションに起因して現れた度合いを把握することができる。

処理部１１５は、評価値をＺ値によって算出する。すなわち、処理部１１５は、瞬きデータが示すタイミング差ＴＤ｛Δｔ１１、Δｔ１２、・・・、Δｔ１７、Δｔ２１、Δｔ２２、・・・、Δｔ２７、・・・ΔｔＢ１、ΔｔＢ２、・・・、ΔｔＢ７｝の各々から、ランダムデータＲ１〜ＲＫにおけるタイミング差の平均値を減じ、さらに、得られた値をランダムデータＲ１〜ＲＫにおけるタイミング差の標準偏差で除することによって、評価値を算出する。例えば、タイミング差ＴＤの分布がランダムデータの分布と同じである場合、評価値は「０」である。この場合、ユーザＵの瞬きが、対話装置１０とユーザＵとのコミュニケーションに起因の影響を受けていないと推測することができる。一方、評価値が大きく、タイミング差ＴＤの分布とランダムデータの分布との差異が大きい場合、ユーザＵの瞬きが、対話装置１０とユーザＵとのコミュニケーションの影響を受けていると推測することができる。図８を用いて説明すると、出現頻度の差異Δが大きい場合ほど、コミュニケーションの影響をより強く受けていると推測され、評価値は大きくなる。

図１０は、評価値の一例を示すグラフである。図１０に示すグラフにおいて、横軸はタイミング差に対応し、縦軸は評価値に対応する。タイミング差が正の値である場合、ユーザＵの瞬きのタイミングが対話装置１０の瞬き動作のタイミングよりも遅れていることを意味する。タイミング差が負の値である場合、ユーザＵの瞬きのタイミングが対話装置１０の瞬き動作のタイミングよりも早いことを意味する。また、タイミング差は、ここでは、２５０ミリ秒刻みで表す。図１０において、タイミング差「０」ミリ秒は、タイミング差が０ミリ秒以上２５０ミリ秒未満であることを示す。タイミング差「＋２５０」ミリ秒及び「−２５０」ミリ秒は、タイミング差が２５０秒以上５００ミリ秒未満であることを示す。本実施形態では、処理部１１５は、ユーザＵの瞬きのタイミングが対話装置１０の瞬き動作のタイミングよりも後の所定期間内に含まれる度合いに基づいて、対話装置１０とユーザＵのコミュニケーションの質の評価値を算出する。具体的には、処理部１１５は、タイミング差「＋２５０」ミリ秒に対応する評価値を、対話装置１０とユーザＵとのコミュニケーションの質の評価値として算出する。すなわち、処理部１１５は、ユーザＵの瞬きのタイミングが、対話装置１０の瞬き動作のタイミングよりも遅れ、かつそのタイミング差が２５０ミリ秒以上５００ミリ秒未満である瞬きの出現頻度に基づいて、評価値を算出する。図１０に示す例では、評価値は「０．４」である。以上が、指標算出処理の説明である。

なお、ランダムデータは、対話装置１０の瞬き動作の間隔の順番が変更されておらず、ユーザＵの瞬きの間隔の順番が変更されたデータであってもよい。また、ランダムデータは、対話装置１０の瞬き動作の間隔の順番、及びユーザＵの瞬きの間隔の順番が変更されたデータであってもよい。指標算出処理が終了すると、対話装置１０の処理はステップＳ３に進む。

次に、図５に戻って対話処理に関する処理を説明する。処理部１１５は、ステップＳ２４の指標算出処理で算出された評価値が閾値以上であるかどうかを判断する（ステップＳ３１）。評価値は、ここでは、直近の期間に対応する評価値である。閾値は、ユーザＵが対話装置１０との対話に関心があるかどうかを判断する際の指標となる値である。閾値は、例えば、あらかじめ決められた値である。

ステップＳ３１で「ＹＥＳ」と判断した場合、処理部１１５は、第１対話処理を行う（ステップＳ３２）。ステップＳ３２で「ＮＯ」と判断した場合、処理部１１５は、第１対話処理とは異なる第２対話処理を行う（ステップＳ３３）。すなわち、処理部１１５は、評価値が閾値以上であるか否かに応じて異なる対話処理を行う。評価値が閾値以上である場合、ユーザＵの対話装置１０とのコミュニケーションへの関心度合いが高いと推測できる。よって、処理部１１５は、例えば、現在の話題を変更しない第１対話処理を行う。処理部１１５は、例えば、ユーザＵとサッカーについて対話をしていた場合、引き続きサッカーについて対話をする。この際、処理部１１５は、対話データに含まれる識別子「ＩＤ００１」に対応付けられた入力データ及び出力データに基づいて、第１対話処理を行う。

一方、評価値が閾値未満である場合、ユーザＵの対話装置１０とのコミュニケーションへの関心度合いが低いと推測できる。よって、処理部１１５は、現在の話題を変更した第２対話処理を行う。処理部１１５は、例えば、ユーザＵとサッカーについて対話をしていた場合、今日のランチについての対話に変更する。この際、処理部１１５は、対話データに含まれる識別子「ＩＤ００２」に対応付けられた入力データ及び出力データに基づいて、第２対話処理を行う。

以上のとおり、処理部１１５は、対話装置１０の瞬き動作のタイミングとユーザＵの瞬きのタイミングとの差異に基づく指標値（本実施形態では、評価値）に応じた処理を行う。ただし、上述した第１対話処理及び第２対話処理は一例であり、種々の変形が可能である。処理部１１５は、評価値が閾値未満になると直ちに対話の話題を変更した第２対話処理を行うのではなく、第１対話処理を継続してもよい。この場合、処理部１１５は、評価値が閾値未満である期間が所定期間継続した場合、又は評価値が閾値未満となった回数が所定回数以上となった場合に、第１対話処理から第２対話処理に変更してもよい。そして、対話装置１０の処理はステップＳ３に進む。

ステップＳ３において、処理部１１５は、対話処理を終了するかどうかを判断する。処理部１１５は、例えば、撮像部１５から供給された撮像データに基づいて、ユーザＵの存在を認識しなくなった場合には、対話処理を終了すると判断する。処理部１１５は、音声入力部１２を介して入力された音声から所定の音声（例えば、別れのあいさつを示す音声）を認識した場合、又は所定の操作を受け付けた場合に、対話処理を終了すると判断してもよい。

対話処理を継続すると判断した場合（ステップＳ３；ＮＯ）、対話装置１０の処理は、ステップＳ１１，Ｓ２１，Ｓ３１に戻される。対話処理を終了すると判断した場合（ステップＳ３；ＹＥＳ）、処理部１１５は対話処理を終了する。

対話装置１０によれば、ユーザＵの瞬きのタイミングと、対話装置１０の瞬き動作のタイミングとの差異に応じて、ユーザＵの対話装置１０とのコミュニケーションに対する関心度合いを定量的に評価することができる。さらに、対話装置１０は、この評価を対話処理に反映させることにより、対話装置１０とユーザＵとのコミュニケーションを支援することができる。また、対話装置１０は、ユーザＵの瞬きという自然な動作に基づいて、コミュニケーションの質を評価することができる。よって、対話装置１０によれば、ユーザＵに評価のために必要な動作を要求しなくとも、当該評価を行うことができる。

ここで、ユーザＵの瞬きのタイミングと、対話装置１０の瞬き動作のタイミングとの差異を、コミュニケーションの質の評価に用いることができる根拠を説明する。発明者らは、以下で説明する方法で、話し手及び聞き手の瞬きのタイミング差が、話し手と聞き手とのコミュニケーションに対する関心度合いの指標になることを確認する検証を行った。

話し手は、商品の実演販売を業とする実演販売士である。実演販売士は、「女性向けのドライヤー」、「女性向けの化粧品」、「男性向けの腕時計」、及び「男性向けの電気シェーバー」の４つの商品について、それぞれ商品紹介を行った。各商品の紹介時間は約３分である。聞き手は、男性が１８人、女性が２０人の計３８人の大学生である。３８人の聞き手は、話し手が行った商品紹介の様子を撮像した動画を視聴した後、各商品紹介を面白く感じたかどうかを回答した。話し手と聞き手との瞬きのタイミング差については、話し手及び聞き手をそれぞれ撮像した動画から検出し、話し手の瞬きのタイミングの前後における、聞き手の瞬きのタイミングを解析した。

図１１は、３８人の聞き手の瞬きの頻度の分布を示すグラフである。図１１に示すグラフにおいて、横軸は時刻に対応し、縦軸は評価値（Ｚ値）に対応する。時刻は、話し手の瞬きのタイミングを「０」とし、それよりも早い聞き手の瞬きのタイミングを負の値で、それよりも遅い聞き手の瞬きのタイミングを正の値で示す。すなわち、図１１のグラフの横軸はタイミング差を示す。図１１においても、図１０と同様、タイミング差を２５０秒刻みで表す。この検証においては、評価値の算出にあたり、話し手の瞬きの間隔の順番を変更し、聞き手の瞬きの間隔の順番を変更しない方法によりランダムデータが用いられている。図１１に示すように、話し手の瞬きから＋２５０ミリ秒以上＋５００ミリ秒未満の時間範囲内で遅れて聞き手の瞬きが増大し、評価値が高くなった。なお、ｐ値は、０．０００００１である。

図１２は、回答結果毎の聞き手の瞬きの頻度の分布を示すグラフである。図１２に示すグラフにおいても、図１１と同様、横軸は時刻に対応し、縦軸は評価値に対応する。実線のグラフは、商品紹介を面白いと回答した聞き手についての評価値である。破線のグラフは、商品紹介をつまらないと回答した聞き手についての評価値である。

図１２に示すように、商品紹介を面白いと回答した聞き手については、話者の瞬きから＋２５０ミリ秒以上＋５００ミリ秒未満の時間範囲内で遅れて瞬きが増大し、評価値が高くなった。一方、商品紹介をつまらないと回答した聞き手については、このような瞬きの増大、及び評価値の高まりは確認できなかった。なお、ｐ値は、０．００４である。

図１３は、評価値を聞き手の性別及び商品別に示したグラフである。図１３に示すように、「女性向けの化粧品」については、女性の聞き手については評価値が高い値を示す一方、男性の聞き手については評価値が低い値を示した。「男性向けの腕時計」及び「男性向けの電気シェーバー」については、男性の聞き手については評価値が高い値を示す一方、女性の聞き手については評価値が低い値を示した。

図１４は、商品への関心度を聞き手の性別及び商品別に示したグラフである。図１４に示す商品に対する関心度は、各被験者が「非常に退屈」と回答した場合の関心度を「１」、「少し退屈」と回答した場合の関心度を「２」、「少し面白い」と回答した場合の関心度を「３」、「非常に面白い」と回答した場合の関心度を「４」とし、男女それぞれについてその関心度の平均をとった値を示す。関心度の値が大きいほど、聞き手が商品紹介に高い関心を示したことを意味する。図１３と図１４とを対比すると、各商品について、評価値と商品紹介への関心度とが相関することが確認できた。

以上の検証により、発明者らは、話し手と聞き手との瞬きのタイミング差が、聞き手の話し手の対話への関心度合いと相関する、という知見を得られた。

［第２実施形態］
第２実施形態は、対話装置１０の周辺の環境に基づいて、対話装置１０の瞬き動作のタイミングを制御する。以下の説明において、上述した第１実施形態の要素と同一の要素は同じ符号を付して表す。本実施形態の対話装置１０のハードウェア構成は、上述した第１実施形態と同じでよい。

図１５は、本実施形態の対話装置１０の機能構成を示すブロック図である。対話装置１０の制御部１１は、プログラム１４１を実行することにより、瞬き動作制御部１１１と、第１取得部１１２と、瞬き検出部１１３と、第２取得部１１４と、処理部１１５と、環境情報取得部１１６と、記憶制御部１１７とに相当する機能を実現する。

環境情報取得部１１６は、対話装置１０の周辺の環境を示す環境情報を取得する。環境情報は、ここでは、対話装置１０がユーザＵによって使用されているときの環境、換言すると、対話装置１０がユーザＵと対話しているときの環境を示す。環境情報は、例えば、音声情報、音圧情報、プロソディ、動き情報、及び周辺情報のうちの１つ以上を含む。音声情報は、音声入力部１２を介して入力された音声を示す情報、音声出力部１３を介して出力される音声を示す情報、又はこれらの両方を含む。音圧情報は、当該音声情報の所定の周波数帯域（例えば、可聴域）における音圧を示す。プロソディは、発話において現れる音声学的性質を示し、例えば抑揚である。動き情報は、ユーザＵの体動（例えば、顔、体又は表情の動き）を示す。周辺情報は、ユーザＵの周辺の環境を示す（例えば、ユーザＵが居る空間の明るさ）。音声情報、音圧情報、及びプロソディは、音声入力部１２を介して入力された音声、及び音声出力部１３に供給される音声信号に基づいて特定される。動き情報、及び周辺情報は、撮像部１５を用いて特定される。環境情報は、別の計測装置を用いて取得されてもよい。また、環境情報は、さらに、対話装置１０の想定年齢、性別、職業、及びユーザＵに関する情報を含んでもよい。

記憶制御部１１７は、ユーザＵが瞬きをしたタイミングと対話装置１０が使用されている環境とを対応付けたを示すデータを、学習データ１４３として記憶部１４に蓄積させる。すなわち、学習データ１４３は、対話装置１０の周辺の環境と、ユーザＵが実際にした瞬きをするタイミングとの関係を学習した結果を示すデータである。なお、記憶制御部１１７は、記憶部１４以外の記憶装置、例えばクラウトストレージサービスに係る記憶装置に、学習データ１４３を蓄積してもよい。

瞬き動作制御部１１１は、環境情報取得部１１６が取得した環境情報に応じたタイミング（第１タイミング）に、対話装置１０に瞬き動作をさせる。具体的には、瞬き動作制御部１１１は、記憶部１４に記憶された学習データ１４３と、環境情報取得部１１６が取得した環境情報とに応じたタイミングに、対話装置１０に瞬き動作をさせる。瞬き動作制御部１１１は、例えば、対話装置１０に瞬き動作をさせるタイミング、瞬き動作の頻度、及びこれらの両方を制御する。

次に、対話装置１０の動作を説明する。図１６は、対話装置１０が実行する学習処理を示すフローチャートである。学習処理は、対話処理と並行して行われる。

環境情報取得部１１６は、環境情報を取得する（ステップＳ４１）。次に、第２取得部１１４は、ユーザＵの瞬きのタイミングを取得する（ステップＳ４２）。次に、記憶制御部１１７は、ステップＳ４１で取得した環境情報が示す環境と、ステップＳ４２で取得した瞬きのタイミングとを対応付けた示すデータを、学習データ１４３として記憶部１４に蓄積させる（ステップＳ４３）。以上が、学習処理の説明である。

図１７は、対話装置１０が実行する瞬き動作に関する処理を示すフローチャートである。図１７の処理は、図５で説明したステップＳ１１，Ｓ１２の処理に代えて実行される。

環境情報取得部１１６は、環境情報を取得する（ステップＳ５１）。次に、瞬き動作制御部１１１は、瞬き動作をするかどうかを判断する（ステップＳ５２）。ここでは、瞬き動作制御部１１１は、ステップＳ５１で取得された環境情報と学習データ１４３とに基づいて、瞬き動作をするかどうかを判断する。動作制御部１１１は、例えば、機械学習により瞬き動作の有無、および瞬き動作をするタイミングを判断する。機械学習のアルゴリズムは、例えばニューラルネットワークであるが、これ以外のアルゴリズムでもよい。なお、学習データ１４３が所定の量だけ蓄積されるまでは、瞬き動作制御部１１１は、上述した第１実施形態のステップＳ１１と同じ方法で、瞬き動作をするかどうかを判断してもよい。

瞬き動作制御部１１１は、瞬き動作をすると判断した場合は（ステップＳ５２；ＹＥＳ）、対話装置１０に瞬き動作をさせる（ステップＳ５３）。瞬き動作制御部１１１は、瞬き動作をしないと判断した場合は（ステップＳ５２；ＮＯ）、対話装置１０に瞬き動作をさせない。瞬き処理部１１５は、対話装置１０の周辺の環境と、その環境下で人間が行う瞬きとの関係を学習し、その関係に従って対話装置１０に瞬き動作をさせる。瞬き動作制御部１１１は、例えば、意外性の高い話題になったと判断したときは、瞬き動作の頻度を高くしてもよい。以上が、瞬き動作に関する処理の説明である。

本実施形態の対話装置１０によれば、上述した第１実施形態と同等の効果に加え、学習データ１４３を用いてより自然なタイミングで瞬き動作をすることができる。これにより、対話装置１０とユーザＵとのコミュニケーションの質の向上を期待することができる。

瞬き動作制御部１１１は、環境情報に応じたタイミングに加えて、さらに別のタイミング（第２タイミング）に、対話装置１０に瞬き動作をさせてもよい。瞬き動作制御部１１１は、例えば、ランダムなタイミングに、対話装置１０に所定期間内に所定回数（例えば、１分間に２０回）の瞬き動作をさせる。瞬き動作制御部１１１は、所定の規則に従ったタイミングに、対話装置１０に瞬き動作をさせてもよい。これにより、対話装置１０は、より自然なタイミングで瞬き動作をする効果が期待できる。

記憶制御部１１７は、評価値が閾値以上である期間において、学習データ１４３を蓄積してもよい。これにより、対話装置１０は、質の良いコミュニケーションが行われているときに人間が行う瞬きに従って瞬き動作をすることができる。

なお、学習データ１４３があらかじめ記憶部１４に記憶されている場合、対話装置１０は学習データを蓄積する機能（すなわち、記憶制御部１１７）を有しなくてもよい。

［第３実施形態］
第３実施形態は、対話装置が表示装置として機能する点で、上述した第１実施形態の対話装置と相違する。以下の説明において、上述した第１実施形態の要素と同一の要素は同じ符号を付して表し、上述した第１実施形態の要素に対応する要素については同じ符号の末尾に「Ａ」を付して表す。

図１８は、本発明の第３実施形態である対話装置１０Ａの外観構成の一例を示す図である。対話装置１０Ａは、表示領域１６１を有する。表示領域１６１は、画像が表示される領域である。表示領域１６１はオブジェクト２０を表示する。オブジェクト２０は、上述した第１実施形態で説明した対話装置１０の外観と同様の画像である。オブジェクト２０は、顔部２０１と、瞼部２０２とを有する。顔部２０１は、顔に相当する部位である。瞼部２０２は、顔部２０１に配置され、目の瞼に相当する部位である。瞼部２０２は、開閉することにより瞬き動作をする。本実施形態の瞬き動作は、表示領域１６１への画像の表示により行われる点で、上述した第１実施形態と相違する。なお、図１８に示すオブジェクト２０は一例に過ぎず、少なくとも瞬き動作を表現する画像を含んでいればよい。例えば、オブジェクト２０は、少なくとも一つの瞼部を含む。図１に示す外観の対話装置１０の瞼部１０２に代えて表示部が設けられ、該表示部に瞼部２０２に相当するオブジェクトが表示されてもよい。

ユーザＵは、対話装置１０Ａとコミュニケーションをとる人である。ユーザＵは、対話装置１０Ａと対面し、表示領域１６１に表示されたオブジェクト２０を観察して対話を行う。

図１９は、対話装置１０Ａのハードウェア構成を示すブロック図である。対話装置１０は、制御部１１と、音声入力部１２と、音声出力部１３と、記憶部１４と、撮像部１５と、表示部１６とを有する。記憶部１４は、制御部１１に所定の機能を実現させるためのプログラム１４１Ａを記憶する。表示部１６は、画像を表示する表示領域１６１を有する。表示部１６は、例えば液晶ディスプレイ、有機ＥＬディスプレイ又はその他の表示装置である。

図２０は、対話装置１０Ａの機能構成を示すブロック図である。対話装置１０の制御部１１は、プログラム１４１Ａを実行することにより、瞬き動作制御部１１１Ａと、第１取得部１１２と、瞬き検出部１１３と、第２取得部１１４と、処理部１１５とに相当する機能を実現する。瞬き動作制御部１１１Ａは、表示部１６の表示領域１６１に表示されたオブジェクト２０に、瞬き動作をさせる。瞬き動作制御部１１１Ａは、例えば、瞬き動作させるための瞬き制御データを、表示部１６に供給する。瞬き制御データは、表示部１６の表示を制御するデータである。表示部１６は、瞬き制御データに応じて、オブジェクト２０に瞬き動作をさせる。第１取得部１１２は、オブジェクト２０（瞼部２０２）の瞬き動作のタイミングを取得する。

対話装置１０Ａの動作は、瞬き動作が表示部１６の制御により行われる点を除き、上述した第１実施形態と同じである。

なお、本実施形態の構成は、上述した第２実施形態の対話装置１０に適用することもできる。

［変形例］
本発明は上記の実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。以下、第１実施形態の対話装置１０の変形例として説明するが、第２実施形態の対話装置１０、及び第３実施形態の対話装置１０Ａにも適用することができる。

上述した実施形態の処理部１１５の評価値の算出方法は、一例に過ぎない。処理部１１５は、例えば、時系列でユーザＵの瞬きの回数及び対話装置１０の瞬き動作の回数を計数し、特定の期間（場面）における瞬き及び瞬き動作の回数に基づいて、評価値を算出してもよい。この場合、処理部１１５は、瞬き及び瞬き動作の回数が多い期間ほど、ユーザＵの対話装置１０とのコミュニケーションに対する関心の度合いが高いことを示す評価値を算出する。瞬き及び瞬き動作が多い期間は、それ以外の期間よりも、ユーザＵの瞬きのタイミングと対話装置１０の瞬き動作のタイミングとのタイミング差が小さいと考えられるからである。また、処理部１１５は、評価値を算出しないで、瞬き動作のタイミングとユーザの瞬きのタイミングとの差異に応じた処理を行ってもよい。

ユーザＵの瞬きのタイミングと対話装置１０のタイミングとの差異に応じた処理は、発話処理に限られない。処理部１１５は、例えば、対話装置１０を評価する処理を行ってもよい。この場合、処理部１１５は、対話装置１０の識別子と対応付けて評価データを出力する。評価データは、対話装置１０の評価を示す。評価データは、評価値を示すデータであってもよいし、評価値を用いて生成されたデータであってもよい。評価データの出力は、例えば、送信、印刷、表示又はその他の方法により行われる。この変形例によれば、対話装置１０が行うコミュニケーションの質を評価することができる。

瞬きの検出は、撮像データを用いる方法以外の方法で行われてもよい。当該方法として、電波センサ（例えば、４ＧＨｚ電波センサーモジュール）、赤外線センサ、ドップラセンサなどの非接触のセンサを用いる方法がある。また、顔の筋力の動きに基づいて瞬きを検出するセンサを用いる方法がある。

上述した実施形態で説明した制御部１１が実現した機能の一部又は全部を、対話装置の外部の処理装置が有してもよい。この場合、当該処理装置は、例えば、対話装置を通信（例えば、公衆通信回線を介した通信）により制御する。この制御には、瞬き動作の制御、及び対話処理の制御の一方、又は両方が含まれてもよい。当該処理装置は、複数の対話装置を制御してもよい。要するに、本開示に係る処理装置は、図２１に示すように、対話装置の瞬き動作のタイミングを取得する第１取得部３０１と、前記対話装置のユーザの瞬きのタイミングを取得する第２取得部３０２と、前記瞬き動作のタイミングと前記ユーザの瞬きのタイミングとの差異に応じた処理を行う処理部３０３と、を有する。

上述した実施形態の構成及び動作の一部が省略されてもよい。上述した実施形態で説明したかった構成及び動作が追加されてもよい。また、上述した実施形態で説明した処理の実行順は一例に過ぎず、適宜変更されてもよい。

制御部１１が実現する機能は、複数のプログラムの組み合わせによって実現され、又は複数のハードウェア資源の連係によって実現され得る。制御部１１の機能がプログラムを用いて実現される場合、この機能を実現するためのプログラム１４１，１４１Ａが、各種の磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。また、このプログラムは、ネットワークを介して配信されてもよい。また、本発明は、処理方法としても把握することができる。

１０，１０Ａ：対話装置、１１：制御部、１２：音声入力部、１３：音声出力部、１４：記憶部、１５：撮像部、１６：表示部、２０：オブジェクト、１０１：顔部、１０２：瞼部、１１１，１１１Ａ：瞬き動作制御部、１１２：第１取得部、１１３：瞬き検出部、１１４：第２取得部、１１５：処理部、１１６：環境情報取得部、１１７：記憶制御部、１４１，１４１Ａ：プログラム、１４２：対話データ、１４３：学習データ、１６１：表示領域、２０１：顔部、２０２：瞼部、３０１：瞬き動作制御部、３０２：取得部、３０３：処理部

Claims (14)

1. 対話装置の瞬き動作のタイミングを取得する第１取得部と、
   前記対話装置のユーザの瞬きのタイミングを取得する第２取得部と、
   前記瞬き動作のタイミングと前記ユーザの瞬きのタイミングとの差異に応じた処理を行う処理部と、
   を有する処理装置。
2. 前記処理部は、
   前記差異に基づく指標値に応じた処理を行う
   請求項１に記載の処理装置。
3. 前記処理部は、
   前記ユーザの瞬きのタイミングが前記瞬き動作のタイミングに応じた所定期間内に含まれる度合いに応じた処理を行う
   請求項１に記載の処理装置。
4. 前記所定期間は、前記瞬き動作のタイミングから５００ミリ秒以下の時点を含む
   請求項３に記載の処理装置。
5. 前記処理部は、
   所定の時間軸上に時刻順に並べた前記ユーザの瞬きのタイミングと前記瞬き動作のタイミングとの差異と、前記時間軸上で前記ユーザの瞬き及び前記瞬き動作の少なくとも一方の間隔の順番を変更した場合の前記ユーザの瞬きのタイミングと前記瞬き動作のタイミングとの差異とに応じた前記処理を行う
   請求項３に記載の処理装置。
6. 前記処理部は、
   前記対話装置に前記差異に応じた対話処理を行わせる
   請求項１に記載の処理装置。
7. 前記処理部は、
   前記対話装置の識別子と対応付けて、前記差異に応じた評価データを出力する
   請求項１に記載の処理装置。
8. 前記対話装置の周辺の環境を示す環境情報を取得する環境情報取得部と、
   前記環境情報に応じた第１タイミングに、前記対話装置に瞬き動作をさせる瞬き動作制御部と、
   を有する請求項１に記載の処理装置。
9. 前記ユーザが瞬きをするタイミングと前記環境とを対応付けたデータを記憶装置に蓄積させる記憶制御部を有し、
   前記瞬き動作制御部は、
   前記第１タイミングを、前記記憶装置に蓄積されたデータと前記環境情報とに応じたタイミングとする
   請求項８に記載の処理装置。
10. 前記瞬き動作制御部は、
    さらに、前記第１タイミングとは異なる第２タイミングに前記対話装置に瞬き動作をさせる
    請求項９に記載の処理装置。
11. 目の瞼に相当する瞼部と、
    前記瞼部を開閉させることにより、前記瞼部の瞬き動作を制御する瞬き動作制御部と、
    を有し、
    前記第１取得部は、前記瞼部の瞬き動作のタイミングを取得する請求項１に記載の処理装置。
12. 表示部と、
    前記表示部に表示されたオブジェクトの瞬き動作を制御する瞬き動作制御部と、
    を有し、
    前記第１取得部は、前記オブジェクトの瞬き動作のタイミングを取得する請求項１に記載の処理装置。
13. 対話装置の瞬き動作のタイミング、及び前記対話装置のユーザの瞬きのタイミングを取得し、
    前記瞬き動作のタイミングと前記ユーザの瞬きのタイミングとの差異に応じた処理を行う、
    処理方法。
14. コンピュータに、
    対話装置の瞬き動作のタイミング、及び前記対話装置のユーザの瞬きのタイミングを取得し、
    前記瞬き動作のタイミングと前記ユーザの瞬きのタイミングとの差異に応じた処理を行う機能を実現させるためのプログラム。

Images