JP2019128910A - 情報出力装置、方法およびプログラム - Google Patents

情報出力装置、方法およびプログラム Download PDF

Info

Publication number
JP2019128910A
JP2019128910A JP2018011940A JP2018011940A JP2019128910A JP 2019128910 A JP2019128910 A JP 2019128910A JP 2018011940 A JP2018011940 A JP 2018011940A JP 2018011940 A JP2018011940 A JP 2018011940A JP 2019128910 A JP2019128910 A JP 2019128910A
Authority
JP
Japan
Prior art keywords
information
output
output device
passerby
passer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018011940A
Other languages
English (en)
Other versions
JP6850740B2 (ja
Inventor
安範 尾崎
Yasunori Ozaki
安範 尾崎
充裕 後藤
Mitsuhiro Goto
充裕 後藤
石原　達也
Tatsuya Ishihara
達也 石原
崇由 望月
Takayoshi Mochizuki
崇由 望月
成宗 松村
Narimune Matsumura
成宗 松村
純史 布引
Ayafumi Nunobiki
純史 布引
山田　智広
Tomohiro Yamada
智広 山田
航洋 前田
Koyo Maeda
航洋 前田
明彦 鏡
Akihiko Kagami
明彦 鏡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
NHK Enterprises Inc
Original Assignee
Nippon Telegraph and Telephone Corp
NHK Enterprises Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NHK Enterprises Inc filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2018011940A priority Critical patent/JP6850740B2/ja
Publication of JP2019128910A publication Critical patent/JP2019128910A/ja
Application granted granted Critical
Publication of JP6850740B2 publication Critical patent/JP6850740B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】通行者との間の距離に加え通行者の顔向きにも基づいて、当該通行者に対して情報を出力するか否かを判定できるようにする。【解決手段】顔向きデータ取得部１１１の制御の下、顔認識センサ２から、１以上の通行者に係る顔向きデータが経時的に取得され、距離データ取得部１１２の制御の下、距離測定センサ３から、情報出力装置１と１以上の通行者との間の距離データが取得される。対象別ログテーブル生成部１１３の制御の下、通行者別に顔向きデータと距離データとを統合した、通行者別の１以上の対象別ログテーブルが生成される。その後、注視判定部１１４および近接判定部１１５の制御の下、当該対象別ログテーブルに基づいて、注視判定処理と近接判定処理が実行される。出力制御部１１６の制御の下、当該注視判定処理および近接判定処理の判定結果に基づいて、画像情報または音声情報の出力制御がされる。【選択図】図２

Description

この発明は、通行者に対して情報を出力する情報出力装置、方法およびプログラムに関する。
従来、距離測定センサを利用して通行者の移動軌跡を算出し、当該移動軌跡に基づいて、実世界へ影響を与えるように動作する機能を有する装置（以後、単にエージェントと称する）に集客動作をさせる研究が行われていた。このような研究では、通行者がエージェントに近寄らない場合には、エージェントを眺めながら通り過ぎていく通行者も、エージェントを眺めずに通り過ぎていく通行者も、等しく集客対象外となっていた（例えば、非特許文献１を参照）。
Niklas Bergstrom, et al. "Modeling of Natural Human-Robot Encounters", IEEE/RSJ International Conference on Intelligent Robots and Systems, 2008
ところが、非特許文献１に記載されるような技術では、集客対象外となる、エージェントに近寄らずにエージェントを眺めている通行者は、エージェントに興味がある可能性が高い。したがって、このような通行者に対して集客動作を実行すれば、集客動作による呼び掛けが成功する確率は高いかもしれない。また、例えばエージェントを眺めることなく偶然エージェントの近くを通り過ぎるような通行者は、非特許文献１に記載されるような技術では集客対象となるが、特にエージェントに興味がない可能性が高い。したがって、このような通行者に対して集客動作を実行しても、集客動作による呼び掛けが成功する確率は低いかもしれない。
すなわち、非特許文献１に記載される、距離測定センサによって計測されるデータのみに基づいてエージェントが集客動作を実行するか否かを判定する技術では、エージェントに対して興味を示している通行者に対して集客動作を実行せずに、エージェントに対して興味を示していない通行者に対して集客動作を実行してしまう状況が生じ得る。したがって、集客動作を実行するか否かの判定に、エージェントと通行者との距離に加えて他の判定基準も利用するのが好ましい。
この発明は上記事情に着目してなされたもので、その目的とするところは、通行者との間の距離に加え通行者の顔向きにも基づいて、当該通行者に対して情報を出力するか否かを判定できる情報出力装置、方法およびプログラムを提供することにある。
上記課題を解決するために、この発明の第１の態様は、通行者の検知に応じて当該通行者に対して、画像情報と、音声情報と、対象物を駆動するための駆動制御情報とのうちの少なくとも１つを出力可能な情報出力装置にあって、顔認識センサから、前記通行者に係る顔向きデータを経時的に取得する顔向きデータ取得部と、距離測定センサから、前記情報出力装置と前記通行者との間の距離データを経時的に取得する距離データ取得部と、前記取得される顔向きデータに基づいて、前記通行者の顔が前記情報出力装置を含む所定の範囲を向いている時間が第１の時間以上であるか否かを判定する注視判定部と、前記取得される距離データに基づいて、前記情報出力装置から所定の距離内に前記通行者が存在する時間が第２の時間以上であるか否かを判定する近接判定部と、前記注視判定部および前記近接判定部における判定結果に基づいて、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力するか否かを判定し、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力すると判定された場合に、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力させる出力制御部とを備えるようにしたものである。
この発明の第２の態様は、前記出力制御部が、前記通行者の顔が前記情報出力装置を含む所定の範囲を向いている時間が前記第１の時間以上であると判定され、かつ、前記情報出力装置から所定の距離内に前記通行者が存在する時間が前記第２の時間未満であると判定された場合に、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力すると判定するようにしたものである。
この発明の第３の態様は、前記出力制御部が、前記情報出力装置から所定の距離内に前記通行者が存在する時間が前記第２の時間未満であると判定される場合には、前記音声情報として、予め設定された第１の音量の音声情報を出力させ、前記情報出力装置から所定の距離内に前記通行者が存在する時間が前記第２の時間以上であると判定される場合には、前記音声情報として、前記第１の音量より小さい第２の音量の音声情報を出力させるようにしたものである。
この発明の第４の態様は、前記顔向きデータ取得部が、前記顔認識センサから、複数の通行者の各々に係る顔向きデータを経時的に取得し、前記距離データ取得部が、前記距離測定センサから、前記情報出力装置と前記複数の通行者の各々との間の距離データを経時的に取得し、前記注視判定部が、前記複数の通行者の各々に対して、当該通行者の顔が前記情報出力装置を含む所定の範囲を向いている時間が前記第１の時間以上であるか否かを判定し、前記近接判定部が、前記複数の通行者の各々に対して、前記情報出力装置から所定の距離内に当該通行者が存在する時間が前記第２の時間以上であるか否かを判定し、前記出力制御部が、前記複数の通行者の各々に対する前記注視判定部および前記近接判定部における判定結果に基づいて、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力するか否かを判定し、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力すると判定された場合に、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力させるようにしたものである。
この発明の第５の態様は、前記出力制御部が、前記複数の通行者の各々に対する前記注視判定部および前記近接判定部における判定結果に基づいて、前記複数の通行者の各々に対して前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力することによる呼び掛けの成功率を推定する推定部と、前記推定された呼び掛けの成功率が最も高い通行者を、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つの出力対象候補となる通行者として選択する対象選択部とを備え、前記出力制御部が、前記選択された通行者に対する前記注視判定部および前記近接判定部における判定結果に基づいて、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力するか否かを判定し、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力すると判定された場合に、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力させるようにしたものである。
この発明の第６の態様は、前記出力制御部が、前記選択された通行者に対して前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力させるようにしたものである。
この発明の第１の態様によれば、顔認識センサから、通行者に係る顔向きデータが経時的に取得され、距離測定センサから、情報出力装置と上記通行者との間の距離データが経時的に取得される。上記取得される顔向きデータに基づいて、上記通行者の顔が上記情報出力装置を含む所定の範囲を向いている時間が第１の時間以上であるか否かが判定される注視判定処理が実行される。また、上記取得される距離データに基づいて、上記情報出力装置から所定の距離内に上記通行者が存在する時間が第２の時間以上であるか否かが判定される近接判定処理が実行される。通行者に対する注視判定処理の判定結果と近接判定処理の判定結果とに基づいて、画像情報と音声情報と駆動制御情報とのうちの少なくとも１つを出力するか否かが判定され、画像情報と音声情報と駆動制御情報とのうちの少なくとも１つを出力すると判定された場合に、当該画像情報と音声情報と駆動制御情報とのうちの少なくとも１つが出力される。顔向きは視線に方向がおおよそ一致するものであり、それゆえ通行者の顔向きは、情報出力装置と通行者との間の距離と同様に、通行者が情報出力装置に興味を示しているか否かを判断するために有用である。したがって、上述したように情報出力装置と通行者との間の距離に加えて通行者の顔向きを基準として用いることにより、例えば情報出力装置に対して確かに興味を示している通行者を対象として、情報を出力することが可能となる。
この発明の第２の態様によれば、上記通行者の顔が上記情報出力装置を含む所定の範囲を向いている時間が上記第１の時間以上であると判定され、かつ、上記情報出力装置から所定の距離内に上記通行者が存在する時間が上記第２の時間未満であると判定された場合に、上記画像情報と音声情報と駆動制御情報とのうちの少なくとも１つを出力すると判定される。情報出力装置に近寄らずに情報出力装置を眺めているような通行者は、情報出力装置に興味がある可能性が高いかもしれないが、情報出力するか否かを距離だけを基準に判定していた従来技術では情報出力の対象とすることができなかった。しかしながら、第２の態様の上述した構成により、そのような通行者に対しても、情報を出力するようにすることができる。
この発明の第３の態様によれば、上記情報出力装置から所定の距離内に上記通行者が存在する時間が上記第２の時間未満であると判定される場合には、上記音声情報として、予め設定された第１の音量の音声情報が出力され、上記情報出力装置から所定の距離内に上記通行者が存在する時間が上記第２の時間以上であると判定される場合には、上記音声情報として、上記第１の音量より小さい第２の音量の音声情報が出力される。このような音量調節を行うことによって、例えば、情報出力装置の近くにいる通行者に大きな音量の音声情報を出力して不快感を与えてしまうことを防ぐことができる。
この発明の第４の態様によれば、上記顔認識センサから、複数の通行者の各々に係る顔向きデータが経時的に取得され、上記距離測定センサから、上記情報出力装置と複数の通行者の各々との間の距離データが経時的に取得される。上記複数の通行者の各々に対して、当該通行者の顔が上記情報出力装置を含む所定の範囲を向いている時間が上記第１の時間以上であるか否かが判定される注視判定処理が実行される。また、上記複数の通行者の各々に対して、上記情報出力装置から所定の距離内に当該通行者が存在する時間が上記第２の時間以上であるか否かが判定される近接判定処理が実行される。上記複数の通行者の各々に対する注視判定処理の判定結果と近接判定処理の判定結果とに基づいて、画像情報と音声情報と駆動制御情報とのうちの少なくとも１つを出力するか否かが判定され、画像情報と音声情報と駆動制御情報とのうちの少なくとも１つを出力すると判定された場合に、当該画像情報と音声情報と駆動制御情報とのうちの少なくとも１つが出力される。このため、例えば、複数の通行者の中に、注視判定処理と近接判定処理との両方の判定結果が所定の条件を満たす通行者がいる場合や、所定の条件を満たす通行者の数等を基準として、情報を出力するようにすることができる。
この発明の第５の態様によれば、上記複数の通行者の各々に対する注視判定処理の判定結果と近接判定処理の判定結果とに基づいて、上記複数の通行者の各々に対して画像情報と音声情報と駆動制御情報とのうちの少なくとも１つを出力することによる呼び掛けの成功率が推定され、当該推定された呼び掛けの成功率が最も高い通行者が、画像情報と音声情報と駆動制御情報とのうちの少なくとも１つの出力対象候補となる通行者として選択される。当該選択された通行者に対する注視判定処理の判定結果と近接判定処理の判定結果とに基づいて、画像情報と音声情報と駆動制御情報とのうちの少なくとも１つを出力するか否かが判定され、画像情報と音声情報と駆動制御情報とのうちの少なくとも１つを出力すると判定された場合に、当該画像情報と音声情報と駆動制御情報とのうちの少なくとも１つが出力される。このように、呼び掛けの成功率が最も高いと知られている状態にある通行者を選択して、その状態に対応する情報を出力すれば、例えば、少なくとも予め保証されている成功率の確度で、選択された通行者を呼び止められる可能性があるという利点がある。
この発明の第６の態様によれば、上記選択された通行者に対して画像情報と音声情報と駆動制御情報とのうちの少なくとも１つが出力される。例えば、選択された通行者の方向にディスプレイの正面が向くようにディスプレイの角度を調節して画像情報を出力したり、選択された通行者の方向にスピーカの正面が向くようにスピーカの向きを調節して音声情報を出力したり、選択された通行者の方向に向かって、可動部を駆動してジェスチャを提示したりするようにしてもよい。このようにすると、画像情報または音声情報の提供や、可動部により実行されるジェスチャを、選択された通行者がより一層受けやすくなり、当該情報の出力による通行者の呼び掛けが成功する確率が高くなる。
すなわち、この発明の各態様によれば、通行者との間の距離に加え通行者の顔向きにも基づいて、当該通行者に対して情報を出力するか否かを判定できる情報出力装置、方法およびプログラムを提供することができる。
この発明の第１の実施形態に係る、通行者の検出に応じて当該通行者に対して画像情報または音声情報を出力する情報出力装置の一例を示す図。 図１に示した情報出力装置の機能構成を示すブロック図。 図１に示した距離測定センサによって取得される距離データの一例を示す図。 図１に示した顔認識センサによって取得される顔向きデータの一例を示す図。 図１に示した情報出力装置が実行可能な、画像情報または音声情報を出力する動作の一例を示す図。 図２に示した情報出力装置の制御ユニットによって実行される計測値取得処理の一例を示すフロー図。 図２に示した情報出力装置の制御ユニットによって実行される対象別ログテーブル生成処理の一例を示すフロー図。 図２に示した情報出力装置の制御ユニットによって実行される出力制御処理の一例を示すフロー図。 図２に示した情報出力装置の記憶ユニットに記憶される頭状態ログテーブルＨの一例を示す図。 図２に示した情報出力装置の記憶ユニットに記憶される体状態ログテーブルＢの一例を示す図。 図９に示した頭状態ログテーブルＨから生成される頭状態ログテーブルＨ´´の一例を示す図。 図１０に示した体状態ログテーブルＢから生成される体状態ログテーブルＢ´´の一例を示す図。 図１１に示した頭状態ログテーブルＨ´´と図１２に示した体状態ログテーブルＢ´´とを組み合わせて生成される統合ログテーブルＭの一例を示す図。 図１３に示した統合ログテーブルＭから対象別ログテーブルを生成させる一例を示す図。 図８に示した出力制御処理に伴って実行される近接判定処理の一例を示す図。 図８に示した出力制御処理に伴って実行される注視判定処理の一例を示す図。 図２に示した情報出力装置の記憶ユニットに記憶される呼び掛け成功率テーブルの一例を示す図。 図２に示した情報出力装置の記憶ユニットに記憶される動作テーブルの一例を示す図。 最近傍法を利用したトラッキング処理の概念図。 図７に示した対象別ログテーブル生成処理において実行される、トラッキング処理を実行して、ｉｄ値を付与した頭状態ログテーブルＨ´および体状態ログテーブルＢ´を生成させる処理の一例を示すフロー図。 図７に示した対象別ログテーブル生成処理において実行される、同一の通行者を示しているｉｄＨ値とｉｄＢ値とを対応付けるマッチリストを生成させる処理の一例を示すフロー図。 図７に示した対象別ログテーブル生成処理において実行される、頭状態ログテーブルＨ´と体状態ログテーブルＢ´とをマッチリストを利用して組み合わせて統合ログテーブルＭを生成させる処理の一例を示すフロー図。 この発明の他の実施形態に係る、情報出力装置が実行可能な駆動制御情報または音声情報を出力する動作の一例を示す図。
以下、図面を参照してこの発明に係わる実施形態を説明する。
［第１の実施形態］
（構成）
図１は、この発明の第１の実施形態に係る、通行者の検出に応じて当該通行者に対して画像情報または音声情報を出力する情報出力装置１の一例を示す図である。
情報出力装置１は、例えば、通行者に画像情報または音声情報を出力してサービスの利用を呼び掛けるバーチャルロボットインタラクティブサイネージ等である。図１では、情報出力装置１、顔認識センサ２、距離測定センサ３、ディスプレイ４、およびスピーカ５が一体となっている例を図示しているが、これらの各々は別個の装置として分離されていてもよく、また、これらのうちの任意の組み合わせが一体となっていてもよい。
情報出力装置１は、例えばカメラ等である顔認識センサ２から、通行者に係る顔向きデータを経時的に取得する。また、情報出力装置１は、例えば超音波距離センサや赤外線距離センサ等である距離測定センサ３から、情報出力装置１と通行者との間の距離データを経時的に取得する。当該取得される顔向きデータおよび距離データに基づいて、情報出力装置１は、画像情報または音声情報を出力するか否かを判定する。そして、出力すると判定された場合に、画像情報および音声情報をそれぞれディスプレイ４およびスピーカ５を用いて出力する。
図２は、図１に示した情報出力装置１の機能構成を示すブロック図である。
情報出力装置１は、ハードウェアとして、制御ユニット１１と、記憶ユニット１２と、入出力インタフェースユニット１３とを備えている。
入出力インタフェースユニット１３は、例えば１つ以上の有線または無線の通信インタフェースユニットを含んでいる。入出力インタフェースユニット１３は、顔認識センサ２から、通行者に係る顔向きデータを取得し、距離測定センサ３から、情報出力装置１と通行者との間の距離データを取得し、当該取得される顔向きデータおよび距離データを制御ユニット１１に出力する。また、入出力インタフェースユニット１３は、制御ユニット１１から出力される画像情報および音声情報をそれぞれディスプレイ４およびスピーカ５に出力する。
記憶ユニット１２は、記憶媒体として例えばＨＤＤ（Hard Disc Drive）またはＳＳＤ（Solid State Drive）等の随時書き込みおよび読み出しが可能な不揮発メモリを使用したもので、本実施形態を実現するために、頭状態ログテーブルＨ記憶部１２１と、体状態ログテーブルＢ記憶部１２２と、対象別ログテーブル記憶部１２３と、呼び掛け成功率テーブル記憶部１２４と、動作テーブル記憶部１２５とを備えている。
頭状態ログテーブルＨ記憶部１２１は、頭状態ログテーブルＨを記憶している。頭状態ログテーブルＨは、顔認識センサ２から取得される、１以上の通行者に係る顔向きデータを記憶する。
体状態ログテーブルＢ記憶部１２２は、体状態ログテーブルＢを記憶している。体状態ログテーブルＢは、距離測定センサ３から取得される、情報出力装置１と１以上の通行者との間の距離データを記憶する。
対象別ログテーブル記憶部１２３は、通行者別に顔向きデータと距離データとを統合した、通行者別の１以上の対象別ログテーブルを記憶させるために使用される。
呼び掛け成功率テーブル記憶部１２４は、呼び掛け成功率テーブルを記憶している。呼び掛け成功率テーブルは、情報出力装置１への通行者の注視状態と、情報出力装置１と通行者との近接状態と、当該注視状態および近接状態にある通行者に画像情報または音声情報を出力することによる呼び掛けの成功率とを記憶する。呼び掛けの成功パターンには、例えば、通行者が情報出力装置１からの画像情報または音声情報に気付き、情報出力装置１によって提供されるサービスを利用する等のインタラクションをするパターン等がある。呼び掛けの失敗パターンには、例えば、通行者が情報出力装置１に気付かずに通り過ぎてしまうパターン等がある。
動作テーブル記憶部１２５は、動作テーブルを記憶している。動作テーブルは、情報出力装置１への通行者の注視状態と、情報出力装置１と通行者との近接状態と、通行者の当該注視状態および近接状態に対応する、情報出力装置１により実行される画像情報または音声情報を出力する動作とを記憶する。
制御ユニット１１は、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサと、プログラムメモリとを備え、本実施形態における処理機能を実行するために、顔向きデータ取得部１１１と、距離データ取得部１１２と、対象別ログテーブル生成部１１３と、注視判定部１１４と、近接判定部１１５と、出力制御部１１６とを備えている。これらの各部における処理機能はいずれも、プログラムメモリに格納されたプログラムを上記ハードウェアプロセッサに実行させることによって実現される。
顔向きデータ取得部１１１は、入出力インタフェースユニット１３を介して顔認識センサ２から、１以上の通行者に係る顔向きデータを経時的に取得し、取得された顔向きデータを、頭状態ログテーブルＨに書き込む処理を実行する。
距離データ取得部１１２は、入出力インタフェースユニット１３を介して距離測定センサ３から、情報出力装置１と１以上の通行者との間の距離データを経時的に取得し、取得された距離データを、体状態ログテーブルＢに書き込む処理を実行する。
対象別ログテーブル生成部１１３は、先ず、頭状態ログテーブルＨおよび体状態ログテーブルＢから、顔向きデータおよび距離データを読み出す。そして、対象別ログテーブル生成部１１３は、通行者別に顔向きデータと距離データとを統合して、通行者別の１以上の対象別ログテーブルをそれぞれ生成し、生成された１以上の対象別ログテーブルを、記憶ユニット１２の対象別ログテーブル記憶部１２３に記憶させる処理を実行する。
注視判定部１１４は、記憶ユニット１２の対象別ログテーブル記憶部１２３から、通行者別の１以上の対象別ログテーブルを読み出す。そして、注視判定部１１４は、上記読み出された通行者別の１以上の対象別ログテーブルに記憶される顔向きデータに基づいて、１以上の通行者の各々に対して、当該通行者の顔が情報出力装置１を含む所定の範囲を向いている時間が第１の時間以上であるか否かを判定する処理を実行して、１以上の通行者の注視状態を判定する。
近接判定部１１５も、記憶ユニット１２の対象別ログテーブル記憶部１２３から、通行者別の１以上の対象別ログテーブルを読み出す。そして、近接判定部１１５は、上記読み出された通行者別の１以上の対象別ログテーブルに記憶される距離データに基づいて、１以上の通行者の各々に対して、情報出力装置１から所定の距離内に当該通行者が存在する時間が第２の時間以上であるか否かを判定する処理を実行して、１以上の通行者の近接状態を判定する。
出力制御部１１６は、記憶ユニット１２の動作テーブル記憶部１２５に記憶される動作テーブルを参照し、画像情報または音声情報の出力対象候補となる通行者に対する注視判定部１１４および近接判定部１１５における判定結果に基づいて、画像情報または音声情報を出力するか否かを判定する。そして、出力制御部１１６は、画像情報または音声情報を出力すると判定された場合に、当該画像情報または音声情報を、入出力インタフェースユニット１３を介してディスプレイ４またはスピーカ５から出力させる処理を実行する。
なお、出力対象候補となる通行者は、１の通行者に係る顔向きデータおよび距離データのみが取得されている場合にはその通行者である。しかしながら、当該出力対象候補となる通行者は、複数の通行者に係る顔向きデータおよび距離データが取得されている場合には、出力制御部１１６が備える呼び掛け成功率推定部１１６１および出力対象候補選択部１１６２における処理によって選択される。
呼び掛け成功率推定部１１６１は、記憶ユニット１２の呼び掛け成功率テーブル記憶部１２４に記憶される呼び掛け成功率テーブルを参照し、複数の通行者の各々に対する注視判定部１１４および近接判定部１１５における判定結果に基づいて、複数の通行者の各々に対して、画像情報または音声情報を出力することによる呼び掛けの成功率を推定する処理を実行する。
出力対象候補選択部１１６２は、推定された呼び掛けの成功率が最も高い通行者を、上記出力対象候補となる通行者として選択する処理を実行する。
（動作）
次に、以上のように構成された情報出力装置１の動作を説明する。
（１）計測データの具体例
先ず、情報出力装置１において取得される顔向きデータおよび距離データについて説明する。
図３は、図１に示した距離測定センサ３によって取得される距離データの一例を示す図である。なお、世界座標系の基準軸として、例えば、情報出力装置１のディスプレイ４上に距離測定センサ３が設置されている位置からディスプレイ４の平面に沿って右側へ向かう方向を正の向きとするＸ軸、ディスプレイ４の平面に沿って下側へ向かう方向を正の向きとするＹ軸、および、ディスプレイ４の平面から垂直にディスプレイ４の正面方向へ向かう方向を正の向きとするＺ軸を用いる。
図３に示されるように、情報出力装置１は距離測定センサ３から、距離データとして、時刻ｔと、Ｙ軸を中心としてＸ軸の正の向きから通行者の中心座標の方向までの角度θｐと、ディスプレイ４上の距離測定センサ３が設置されている位置と通行者の中心座標との間の距離Ｒｐとを取得する。距離測定センサ３による距離データの計測は、定期的にまたは不定期に継続して実行される。
図４は、図１に示した顔認識センサ２によって取得される顔向きデータの一例を示す図である。なお、顔認識センサ２は、例えば、撮像素子を平面上に並べたものであり、当該撮像素子が並ぶ平面が上記Ｚ軸と垂直となるように設置されているとする。
図４の（ａ）は、顔認識センサによって撮影可能な画角θｃを図示している。図４の（ｂ）は、顔認識センサ２によって撮影される、画像の幅の大きさＷと、撮影画像の左上の点を基準とした顔検出枠の左上の座標（ｘ，ｙ）と、顔検出枠の幅の大きさｗとを図示している。なお、当該大きさおよび座標は、例えばピクセル単位である。図４の（ｃ）は、通行者の中心座標を通りＹ軸に平行な直線を中心として、上記Ｘ軸の正の向きから通行者の顔の正面方向までの角度θｈを図示している。なお、θｈは、通行者の顔がディスプレイ４と反対の側を向いている場合に正の値、通行者の顔がディスプレイ４側を向いている場合には負の値とする。
情報出力装置１は、顔認識センサ２によって撮影される画像から、顔向きデータとして、時刻ｔと、顔検出枠の左上の座標（ｘ，ｙ）と、顔検出枠の幅の大きさｗと、角度θｈとを取得する。
（２）画像情報または音声情報を出力する動作の具体例
次に、情報出力装置１によって画像情報または音声情報を出力する各動作について説明する。
図５は、図１に示した情報出力装置１が通行者の検知に応じて実行可能な、画像情報または音声情報を出力する動作の一例を示す図である。図５は、情報出力装置１が実行可能な３種類の動作ａ１，ａ２，ａ３を図示している。
動作ａ１は、ディスプレイ４に、手招きをしながら誘導する人の画像情報を出力し、スピーカ５から、「こちらへどうぞ」という呼び掛けの言葉に対応する音声情報を出力する動作である。
動作ａ２は、ディスプレイ４に、手招きをしながら誘導する人の画像情報を出力し、スピーカ５から、「こちらに来てください」という呼び掛けの言葉に対応する音声情報と、通行者の注意を引くための効果音に対応する音声情報とを出力する動作である。なお、効果音に対応する音声情報の音量は、例えば、呼び掛けの言葉に対応する上述した２種類の音声情報の音量よりも大きい。
動作ａ３は、ディスプレイ４に、待機する人の画像情報を出力する動作である。
（３）情報出力装置１が通行者を検知して画像情報または音声情報を出力する全体動作
以下では、情報出力装置１の動作を、図６、図７、および図８に示すフロー図を用いて、図９から図１４に示すログテーブルの例を参照しながら説明する。
図６は、図２に示した情報出力装置１の制御ユニット１１によって実行される計測値取得処理の一例を示すフロー図である。
先ず、ステップＳ１０１において、制御ユニット１１は、頭状態ログテーブルＨと体状態ログテーブルＢをそれぞれ初期化する。
次に、ステップＳ１０２において、制御ユニット１１は、現在時刻ｔ´を取得し、記憶ユニット１２の所定の領域に記憶させる。
ステップＳ１０３において、制御ユニット１１は、顔向きデータ取得部１１１の制御の下、顔認識センサ２から、１以上の通行者に係る顔向きデータとして、例えば、計測値ｔ，ｍ，ｘ，ｙ，ｗ，θｈを取得する。計測値ｍは、同時刻に複数の通行者に係る顔向きデータが取得される場合に、ｍの値によって計測値ｘ，ｙ，ｗ，θｈのパラメータセットを通行者別に区分けして記憶させておくための指標であり、以下でも同様である。
ステップＳ１０４において、制御ユニット１１は、顔向きデータ取得部１１１の制御の下、取得される計測値ｔ，ｍ，ｘ，ｙ，ｗ，θｈを、頭状態ログテーブルＨ記憶部１２１に記憶される頭状態ログテーブルＨに行を追加して書き込む。なお、図９に、頭状態ログテーブルＨ記憶部１２１に記憶される頭状態ログテーブルＨの一例を示している。
一方、ステップＳ１０５において、制御ユニット１１は、距離データ取得部１１２の制御の下、距離測定センサ３から、情報出力装置１と１以上の通行者との間の距離データとして、例えば、計測値ｔ，ｍ，Ｒｐ，θｐを取得する。
ステップＳ１０６において、制御ユニット１１は、距離データ取得部１１２の制御の下、取得される計測値ｔ，ｍ，Ｒｐ，θｐを、体状態ログテーブルＢ記憶部１２２に記憶される体状態ログテーブルＢに行を追加して書き込む。なお、図１０に、体状態ログテーブルＢ記憶部１２２に記憶される体状態ログテーブルＢの一例を示している。
ステップＳ１０３およびステップＳ１０４における処理と、ステップＳ１０５およびステップＳ１０６における処理は、定期的にまたは不定期に継続して実行される。
ステップＳ１０７において、制御ユニット１１は、時刻ｔ´から現在時刻ｔまでに経過した時間であるｔ−ｔ´が、所定の時間Ｔより大きいか否かを判定する。経過時間ｔ−ｔ´がＴを越えていない場合、ステップＳ１０３およびステップＳ１０５の計測値取得処理が継続される。経過時間ｔ−ｔ´がＴを越えている場合には、図７に示す、通行者別に顔向きデータと距離データとを統合した、通行者別の１以上の対象別ログテーブルを生成する処理が実行される。なお、人間が視覚刺激を認知し反応する時間Ｔａは約２００ミリ秒であると知られているが、上記所定の時間Ｔとして、例えば、Ｔａより長い時間である０．５秒程度の時間を用いる。
図７は、図２に示した情報出力装置１の制御ユニット１１によって実行される対象別ログテーブルの生成処理の一例を示すフロー図である。
先ず、ステップＳ２０１において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、頭状態ログテーブルＨ記憶部１２１に記憶される頭状態ログテーブルＨを読み出し、読み出された頭状態ログテーブルＨにｉｄＨ列を付与する。当該ｉｄＨ列の付与では、計測値ｔ，ｍ，ｘ，ｙ，ｗ，θｈの各パラメータセットに対して、同一の通行者のパラメータセットには同一のｉｄＨ値が付与され、異なる通行者のパラメータセットには異なるｉｄＨ値が付与される。
ステップＳ２０２において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、体状態ログテーブルＢ記憶部１２２に記憶される体状態ログテーブルＢを読み出し、読み出された体状態ログテーブルＢにｉｄＢ列を付与する。当該ｉｄＢ列の付与では、計測値ｔ，ｍ，Ｒｐ，θｐの各パラメータセットに対して、同一の通行者のパラメータセットには同一のｉｄＢ値が付与され、異なる通行者のパラメータセットには異なるｉｄＢ値が付与される。なお、ステップＳ２０１における処理と、ステップＳ２０２における処理は、任意の順序で実行してよい。
次に、ステップＳ２０３において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、ｉｄＨ列が付与された頭状態ログテーブルＨと、ｉｄＢ列が付与された体状態ログテーブルＢとの間でマッチングを実行し、同一の通行者を示しているｉｄＨ値とｉｄＢ値との対応付けをする。
ステップＳ２０４において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、頭状態ログテーブルＨにｉｄＨ列が付与された頭状態ログテーブルＨ´と、体状態ログテーブルＢにｉｄＢ列が付与された体状態ログテーブルＢ´とにおいて、ｉｄＨ値とｉｄＢ値との上記対応付けに基づいて、ｉｄＨ値およびｉｄＢ値と置き換えて、同一の通行者のパラメータセットには同一の値のｉｄＭ値を付与し、異なる通行者のパラメータセットには異なる値のｉｄＭ値を付与し、頭状態ログテーブルＨ´´と体状態ログテーブルＢ´´とを生成する。その後、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、頭状態ログテーブルＨ´´と体状態ログテーブルＢ´´とを組み合わせて、統合ログテーブルＭを生成する。
図１１に、図９に示した頭状態ログテーブルＨから生成された頭状態ログテーブルＨ´´の一例を示しており、図１２に、図１０に示した体状態ログテーブルＢから生成された体状態ログテーブルＢ´´の一例を示している。なお、図１１に示す頭状態ログテーブルＨ´´にはＲｐ列とθｐ列が値をすべてＮＡで埋めて追加されており、図１２に示す体状態ログテーブルＢ´´にはｘ列、ｙ列、ｗ列、θｈ列が値をすべてＮＡで埋めて追加されている。また、図１３に、図１１に示した頭状態ログテーブルＨ´´と図１２に示した体状態ログテーブルＢ´´とを組み合わせて生成された統合ログテーブルＭの一例を示している。
最後に、ステップＳ２０５において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、統合ログテーブルＭをｉｄＭ値を基準に分割して、通行者別に顔向きデータと距離データとを統合した、通行者別の１以上の対象別ログテーブルＭ１，Ｍ２，・・・を生成し、生成された１以上の対象別ログテーブルＭ１，Ｍ２，・・・を対象別ログテーブル記憶部１２３に記憶させる。なお、図１４に、図１３に示した統合ログテーブルＭから生成された対象別ログテーブルＭ１，Ｍ２の一例を示している。
図８は、図２に示した情報出力装置１の制御ユニット１１によって実行される出力制御処理の一例を示すフロー図である。
先ず、ステップＳ３０１において、制御ユニット１１は、注視判定部１１４の制御の下、対象別ログテーブル記憶部１２３に記憶される１以上の対象別ログテーブルＭ１，Ｍ２，・・・を読み出し、読み出された１以上の対象別ログテーブルＭ１，Ｍ２，・・・に記憶される顔向きデータに基づいて、ｉｄＭ値に対応する通行者毎に、当該通行者の顔が情報出力装置１を含む所定の範囲を向いている時間が第１の時間以上であるか否かを判定する注視判定処理を実行する。また、制御ユニット１１は、近接判定部１１５の制御の下、対象別ログテーブル記憶部１２３に記憶される１以上の対象別ログテーブルＭ１，Ｍ２，・・・を読み出し、読み出された１以上の対象別ログテーブルＭ１，Ｍ２，・・・に記憶される距離データに基づいて、ｉｄＭ値に対応する通行者毎に、情報出力装置１から所定の距離内に当該通行者が存在する時間が第２の時間以上であるか否かを判定する近接判定処理を実行する。
次に、ステップＳ３０２において、制御ユニット１１は、呼び掛け成功率推定部１１６１の制御の下、呼び掛け成功率テーブル記憶部１２４に記憶される呼び掛け成功率テーブルを参照し、ｉｄＭ値に対応する通行者毎の、ステップＳ３０１における注視判定処理および近接判定処理の判定結果に基づいて、ｉｄＭ値に対応する通行者毎に、画像情報または音声情報を出力することによる呼び掛けの成功率を推定する。
その後、制御ユニット１１は、出力対象候補選択部１１６２の制御の下、推定された呼び掛け成功率が最も高い通行者に対応するｉｄＭ値を選択することにより、推定された呼び掛け成功率が最も高い通行者を、画像情報または音声情報の出力対象候補となる通行者として選択する。
ステップＳ３０３において、制御ユニット１１は、出力制御部１１６の制御の下、選択されたｉｄＭ値に対応する通行者に対するステップＳ３０１における注視判定処理および近接判定処理の判定結果と、動作テーブル記憶部１２５に記憶される動作テーブルとに基づいて、情報出力装置１が画像情報または音声情報を出力することにより実行する動作ａｉを選択する。
ステップＳ３０４において、制御ユニット１１は、出力制御部１１６の制御の下、選択された動作ａｉ、選択されたｉｄＭ値を示す信号、選択されたｉｄＭ値に関する対象別ログテーブルＭｉｄを出力する。これにより、例えば、選択されたｉｄＭ値に関する対象別ログテーブルＭｉｄにおける位置情報等を用いて、選択されたｉｄＭ値に対応する通行者に対して画像情報または音声情報を出力することもできる。
なお、上記では出力対象候補の通行者を選択する場合を例として説明したが、出力対象候補の通行者を選択しなくてもよい。例えば、出力対象候補の通行者を選択せずに、ステップＳ３０１における注視判定処理および近接判定処理の判定結果が動作テーブル等における所定の条件を満たす通行者がいる場合や、所定の条件を満たす通行者の数等を基準として、動作テーブル等を参照して情報出力装置１から画像情報または音声情報を出力するようにしてもよい。
また、出力対象候補の通行者を選択する場合も、上述した呼び掛け成功率を用いる以外の方法で当該選択を行ってもよい。例えば、ステップＳ３０１における注視判定処理および近接判定処理の判定結果が動作テーブル等における所定の条件を満たす通行者のうち、情報出力装置１の最も近い距離にいる通行者を選択するようにしてもよい。
（４）注視判定処理および近接判定処理の具体例
上述したように、通行者の状態は、注視判定処理と近接判定処理によって２種類の観点で判定される。すなわち、通行者の状態“ｓｉｄ”は、近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”と、注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）”とにより次式で表される。
図１５は、図８のステップＳ３０１において実行される近接判定処理の一例を示す図である。
上述したように、当該近接判定処理は、距離測定センサ３から取得され通行者別に対象別ログテーブルＭ１，Ｍ２，・・・のいずれかに記憶される距離データに基づいて、ｉｄＭ値に対応する通行者毎に、情報出力装置１から所定の距離内に当該通行者が存在する時間が第２の時間以上であるか否かを判定する処理である。
上記所定の距離ＲＢとして、例えば、ロボットと人間における個人的距離と社会的距離の境目として知られている１００ｃｍを用いてもよい。また、上記第２の時間Ｔ２として、例えば、計測時間の半分の時間を用いてもよい。なお、上記所定の距離ＲＢおよび上記時間Ｔ２は、任意の値であってもよい。
上記近接判定処理は、例えば、情報出力装置１のディスプレイ４からの距離ＲＢ以内に通行者が時間Ｔ２以上の時間いる場合にTrue、そうではない場合にFalseを返す、次式で表される関数を用いて実行される。当該関数は、距離測定センサ３から取得される情報出力装置１と通行者との間の距離の計測値Ｒｐに関する条件を規定する関数である。なお、次式では、時間Ｔ２が、計測時間の基準とする時間の半分の時間である（ｔ−ｔ´）／２である場合を示している。また、次式では、積分記号は台形則などの数値積分を表すものであり、 欠損値は値として無視するものとする。Ｒｐ（ｔ）がすべて欠損値ならば計算不能としてotherwiseの条件が適用される。以下でも同様である。
なお、上記の式中のＵは単位ステップ関数であり、以下のように表される。
図１６は、図８のステップＳ３０１において実行される注視判定処理の一例を示す図である。
上述したように、当該注視判定処理は、顔認識センサ２から取得され通行者別に対象別ログテーブルＭ１，Ｍ２，・・・のいずれかに記憶される顔向きデータに基づいて、ｉｄＭ値に対応する通行者毎に、当該通行者の顔が情報出力装置１を含む所定の範囲を向いている時間が第１の時間以上であるか否かを判定する処理である。
上記通行者の顔が情報出力装置１を含む所定の範囲を向いているか否かを判定する基準として、本実施形態では例えば角度を用いる。人間が頭を動かさずに刺激を捉えることができる視野角２θａは、２２．０度であると知られている。したがって、例えば、注視判定の上記基準角度として、視野角２θａの２２．０度を用いてもよい。また、上記第１の時間Ｔ１として、例えば、計測時間の半分の時間を用いてもよい。なお、上記基準角度および上記時間Ｔ１は、任意の値であってもよい。
上記注視判定処理は、例えば、情報出力装置１のディスプレイ４の中心側を通行者が時間Ｔ１以上の時間向いている場合にTrue、そうでない場合にFalseを返す、次式で表される関数を用いて実行される。当該関数は、顔認識センサ２から取得される上記で説明した計測値ｘ，ｗ，θｈに関する条件を規定する関数である。なお、次式では、時間Ｔ１が、計測時間の基準とする時間の半分の時間である（ｔ−ｔ´）／２である場合を示している。なお、次式では、θｈ，θａ，θｐ（ｔ）はラジアンを単位として表している。
なお、θｐ（ｔ）は以下のように表される。
なお、顔認識センサ２からの計測値ｘ，ｗ，θｈから、計測値ｘ，ｗにより上記の式で算出されたθｐを用いて注視判定処理を実行する代わりに、距離測定センサ３からの計測値θｐをそのまま用いて上記注視判定処理を実行してもよい。
（５）出力制御処理の具体例
図１７は、図８のステップＳ３０２において実行される出力対象候補選択処理において参照される呼び掛け成功率テーブルの一例を示す図である。
図１７に示されているように、呼び掛け成功率テーブルは、通行者に対する近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”と、当該通行者に対する注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）”と、当該近接判定処理の判定結果および当該注視判定処理の判定結果にある通行者に画像情報または音声情報を出力することによる呼びかけの成功率“Ｐ（ｓｉｄ）”とを対応付けて記憶している。
図８のステップＳ３０２における呼び掛け成功率推定処理では、各ｉｄＭ値に対応する通行者毎に、呼び掛け成功率テーブルが参照され、当該通行者に画像情報または音声情報を出力することによる呼び掛けの成功率が、当該通行者に対するステップＳ３０１における近接判定処理の判定結果と注視判定処理の判定結果とに対応付けられた呼び掛け成功率であると推定される。その後、図８のステップＳ３０２における出力対象候補選択処理では、推定された呼び掛け成功率が最も高い通行者に対応するｉｄＭ値を選択することにより、推定された呼び掛け成功率が最も高い通行者が画像情報または音声情報の出力対象候補となる通行者として選択される。
上記出力対象候補選択処理は、次式を用いて実行される。
図１８は、図８のステップＳ３０３において実行される出力動作選択処理において参照される動作テーブルの一例を示す図である。
図１８に示されているように、動作テーブルは、通行者に対する近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”と、当該通行者に対する注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）”と、当該近接判定処理の判定結果および当該注視判定処理の判定結果にある通行者に画像情報または音声情報を出力する動作ａとを対応付けて記憶している。図１８に示される動作テーブルに記憶される動作ａ１，ａ２，ａ３は、図５で定義した動作ａ１，ａ２，ａ３に一致している。
図８のステップＳ３０３における出力動作選択処理では、例えば、ステップＳ３０１における近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”がFalseであり、かつ、ステップＳ３０１における注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）”がFalseである場合に、図１８に示す動作テーブルにおいて対応付けられている、誘導を実行しない動作ａ３が選択される。
一方、ステップＳ３０１における近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”がFalseであり、かつ、ステップＳ３０１における注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）”がTrueである場合には、図１８に示す動作テーブルにおいて対応付けられている、誘導を実行する動作ａ２が選択される。
さらに、ステップＳ３０１における近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”がTrueであり、ステップＳ３０１における注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）”がTrueまたはFalseである場合には、図１８に示す動作テーブルにおいて対応付けられている、誘導を実行する動作ではあるが、出力される音声に通行者の注意を引くための効果音が含まれずゆえに音量が小さいものとなっている動作ａ１が選択される。
なお、図１８に示した動作テーブルは一例に過ぎず、例えば、近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”がTrueであり、かつ、注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）”がTrueである場合にのみ、誘導を実行する動作ａ１，ａ２が選択されるようにしてもよい。さらに、動作ａ１，ａ２，ａ３は、図５において、いずれも画像情報は出力するものとして定義したが、例えば、画像情報と音声情報のいずれも出力しないような動作であってもよい。
（６）統合ログテーブル生成処理の具体例
ここでは、図７のステップＳ２０１からステップＳ２０４において実行される、頭状態ログテーブルＨと体状態ログテーブルＢとを通行者情報を追加した上で組み合わせて、統合ログテーブルＭを生成させる処理について詳しく説明する。
図１９は、情報出力装置１において取得される顔向きデータおよび距離データの計測値の各パラメータセットに、最近傍法を利用して通行者情報を追加するトラッキング処理の概念図である。各パラメータセットについて、時間的に隣接する各パラメータセットとの距離を算出し、算出された距離が最も小さいパラメータセットを同一の通行者に係るパラメータセットであると判定する。ただし、距離が最も近いパラメータセットであっても、当該距離が所定の値より大きい場合には、異なる通行者に係るパラメータセットであると判定するようにする。
本実施形態では、頭状態ログテーブルＨに記憶される１以上の通行者に係る顔向きデータにおいて、最近傍法を利用して通行者情報を追加するトラッキング処理を実行し、同一の通行者のパラメータセットには同一のｉｄＨ値が付与されるようにし、異なる通行者のパラメータセットには異なるｉｄＨ値が付与されるようにする。また、体状態ログテーブルＢにおいても同様の処理を実行し、各パラメータセットにｉｄＢ値が付与される。
図２０は、図７のステップＳ２０１において実行される、頭状態ログテーブルＨの各パラメータセットに通行者情報であるｉｄＨ値を付与して頭状態ログテーブルＨ´を生成させる処理の一例、ならびに、図７のステップＳ２０２において実行される、体状態ログテーブルＢの各パラメータセットに通行者情報であるｉｄＢ値を付与して体状態ログテーブルＢ´を生成させる処理の一例を示すフロー図である。
以下では、例として、頭状態ログテーブルＨから頭状態ログテーブルＨ´を生成する例について詳細に説明する。
当該頭状態ログテーブルＨ´および体状態ログテーブルＢ´の生成処理は、図１９に図示したトラッキング処理によって実行される。
ステップＳ４０１において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、頭状態ログテーブルＨ記憶部１２１に記憶される頭状態ログテーブルＨを読み出す。
ステップＳ４０２において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、読み出された頭状態ログテーブルＨに計測開始時刻とともに記憶されているパラメータセットにｉｄＨ値を付与する。なお、計測開始時刻とともに記憶されているパラメータセットが複数ある場合には、各パラメータセットに対して各々異なるｉｄＨ値を付与する。
ステップＳ４０３において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、ｉｄＨ値の付与処理の基準時刻として、先ず計測開始時刻を選択する。
ステップＳ４０４において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、ｉｄＨ値の付与処理の基準ｉｄＨ値として、上記選択された計測開始時刻とともに記憶されているパラメータセットに各々付与されたｉｄＨ値の中から開始ｉｄＨ値を選択する。ここでは、例として、開始ｉｄＨ値として１が選択されたとして説明する。
次に、ステップＳ４０５において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、頭状態ログテーブルＨに記憶されている、上記基準時刻より後の時間的に隣接するパラメータセット（ｘｔｒａｃｋ，ｙｔｒａｃｋ，ｗｔｒａｃｋ）のうちに、上記基準時刻とともに記憶され基準ｉｄＨ値である１が付与されているパラメータセット（ｘｒｏｗ，ｙｒｏｗ，ｗｒｏｗ）との距離が、所定の空間距離内のものがあるか否かを判定する。なお、当該所定の空間距離は、例えば、固定の値でも、パラメータセット間の時間差に比例するものであってもよい。なお、上記空間距離は、次式を用いて算出される。
ステップＳ４０５において所定の空間距離内のパラメータセットがあると判定された場合、ステップＳ４０６において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、当該所定の空間距離内のパラメータセットのうち空間距離が最も小さいパラメータセットに、ｉｄＨ値として基準ｉｄＨ値と同一の値である１を付与する。
ステップＳ４０５において所定の空間距離内のパラメータセットがないと判定された場合、あるいは、ステップＳ４０６における処理の後に、ステップＳ４０７において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、基準時刻とともに記憶されている各パラメータセットに付与されているすべてのｉｄＨ値を基準として、ステップＳ４０５およびステップＳ４０６の処理が完了したか否かが判定される。基準時刻とともに記憶されている各パラメータセットに付与されているすべてのｉｄＨ値を基準としてステップＳ４０５およびステップＳ４０６の処理が完了していないと判定された場合、ステップＳ４０８において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、基準ｉｄＨ値を、基準時刻とともに記憶されているパラメータセットに付与されているｉｄＨ値の範囲の次のｉｄＨ値にインクリメントし、ステップＳ４０５からの処理が繰り返される。
基準時刻とともに記憶されている各パラメータセットに付与されているすべてのｉｄＨ値を基準としてステップＳ４０５およびステップＳ４０６の処理が完了したと判定された場合、ステップＳ４０９において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、上記基準時刻より後の時間的に隣接するパラメータセットのうち未だｉｄＨ値が付与されていないパラメータセットに対して、いずれかのパラメータセットに既に付与されているｉｄＨ値とは異なる新たなｉｄＨ値を付与する。
ステップＳ４１０において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、計測されたすべての時刻を基準時刻としてステップＳ４０４からステップＳ４０９までの処理が完了したか否かを判定する。計測されたすべての時刻を基準時刻としてステップＳ４０４からステップＳ４０９までの処理が完了していないと判定された場合は、ステップＳ４１１において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、基準時刻をインクリメントし、ステップＳ４０４からステップＳ４０９までの処理が繰り返される。
計測されたすべての時刻を基準時刻としてステップＳ４０４からステップＳ４０９までの処理が完了したと判定された場合、ステップＳ４１２において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、頭状態ログテーブルＨに記憶されるすべてのパラメータセットにｉｄＨ値が付与されたログテーブルＨ´を出力し、記憶ユニット１２の所定の領域に記憶させる。
上記では頭状態ログテーブルＨから頭状態ログテーブルＨ´を生成する例について詳細に説明したが、体状態ログテーブルＢから体状態ログテーブルＢ´も同様の方法で生成される。
ただし、体状態ログテーブルＢ´を生成する場合には、ステップＳ４０５における空間距離は、パラメータセット（Ｒｐ，θｐ）を用いて、
によって算出される。
図２１は、図７のステップＳ２０３において実行される、同一の通行者を示しているｉｄＨ値とｉｄＢ値とを対応付けるマッチリストを生成させる処理の一例を示すフロー図である。
ステップＳ５０１において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、記憶ユニット１２に記憶される頭状態ログテーブルＨ´と体状態ログテーブルＢ´とを読み出す。
ステップＳ５０２において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、頭状態ログテーブルＨ´に記憶される、同一のｉｄＨ値が付与されたパラメータセットの時系列データと、体状態ログテーブルＢ´に記憶される、同一のｉｄＢ値が付与されたパラメータセットの時系列データとの間のＤＴＷ（Dynamic Time Warping）距離を、ｉｄＨ値とｉｄＢ値との各組合せに対して算出する。
ステップＳ５０３において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、算出されたＤＴＷ距離のうち最も小さいものを選択する。
ステップＳ５０４において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、選択されたＤＴＷ距離の値が所定の値より小さいか否かを判定する。
選択されたＤＴＷ距離の値が所定の値より小さいと判定された場合、ステップＳ５０５において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、選択されたＤＴＷ距離に対応するｉｄＨ値およびｉｄＢ値を対応付ける。
ステップＳ５０６において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、ｉｄＨ値とｉｄＢ値の両方において、上記対応付けがされていないものがあるか否かを判定する。
ｉｄＨ値とｉｄＢ値の両方において、上記対応付けがされていないものがあると判定された場合、ステップＳ５０７において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、既に対応付けがされたｉｄＨ値およびｉｄＢ値を除くｉｄＨ値とｉｄＢ値との各組合せに対して算出されたＤＴＷ距離のうち最も小さいものを選択する。選択されたＤＴＷ距離について、ステップＳ５０４からの処理が繰り返される。
ここで、ステップＳ５０４において、最も小さいものとして選択されたＤＴＷ距離の値が所定の値より大きいと判定された場合、あるいは、ステップＳ５０６において、すべてのｉｄＨ値またはすべてのｉｄＢ値について上記対応付けがされていると判定された場合に、ｉｄＨ値とｉｄＢ値との間のマッチングは完了し、ステップＳ５０８において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、ｉｄＨ値とｉｄＢ値との対応付けを示すマッチリストを出力し、記憶ユニット１２の所定の領域に記憶させる。
図２２は、図７のステップＳ２０４において実行される、頭状態ログテーブルＨ´と体状態ログテーブルＢ´とをマッチリストを利用して組み合わせて、統合ログテーブルＭを生成させる処理の一例を示すフロー図である。
ステップＳ６０１において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、記憶ユニット１２に記憶される頭状態ログテーブルＨ´と体状態ログテーブルＢ´とマッチリストとを読み出す。
ステップＳ６０２において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、読み出された頭状態ログテーブルＨ´および体状態ログテーブルＢ´を各々複製した、頭状態ログテーブルＨ´´および体状態ログテーブルＢ´´を生成する。
ステップＳ６０３において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、マッチリストからｉｄＨ値とｉｄＢ値との対応付けの１つを選択する。
ステップＳ６０４において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、頭状態ログテーブルＨ´´に記憶されるパラメータセットのうち、選択された対応付けに関するｉｄＨ値が付与されたパラメータセットと、体状態ログテーブルＢ´´に記憶されるパラメータセットのうち、選択された対応付けに関するｉｄＢ値が付与されたパラメータセットとに、いずれかのパラメータセットに既に付与されているｉｄＭ値とは異なる新たなｉｄＭ値を付与する。
ステップＳ６０５において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、マッチリストにおけるｉｄＨ値とｉｄＢ値とのすべての対応付けについてステップＳ６０４の処理が完了したか否かを判定する。ｉｄＨ値とｉｄＢ値とのすべての対応付けについてステップＳ６０４の処理が完了していないと判定された場合、ステップ６０６において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、マッチリストから未処理のｉｄＨ値とｉｄＢ値との対応付けの１つを選択する。その後、ステップＳ６０４からの処理が繰り返される。
ステップＳ６０５において、ｉｄＨ値とｉｄＢ値とのすべての対応付けについてステップＳ６０４の処理が完了したと判定された場合、ステップＳ６０７において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、頭状態ログテーブルＨ´´においてｉｄＨ列を削除し、体状態ログテーブルＢ´´においてｉｄＢ列を削除する。
ステップＳ６０８において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、頭状態ログテーブルＨ´´において、Ｒｐ列とθｐ列を、値をすべてＮＡで埋めて追加する。なお、当該処理後の頭状態ログテーブルＨ´´は、図１１に示した頭状態ログテーブルＨ´´の例に対応する。一方、ステップＳ６０９において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、体状態ログテーブルＢ´´において、ｘ列、ｙ列、ｗ列、θｈ列を、値をすべてＮＡで埋めて追加する。なお、当該処理後の体状態ログテーブルＢ´´は、図１２に示した体状態ログテーブルＢ´´の例に対応する。なお、ステップＳ６０８とステップＳ６０９との処理の順序は問わない。
ステップＳ６１０において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、頭状態ログテーブルＨ´´と体状態ログテーブルＢ´´とを組み合わせて統合ログテーブルＭを生成する。
ステップＳ６１１において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、統合ログテーブルＭからｍ列を削除する。
ステップＳ６１２において、制御ユニット１１は、対象別ログテーブル生成部１１３の制御の下、統合ログテーブルＭを出力し、記憶ユニット１２の所定の領域に記憶させる。なお、当該統合ログテーブルＭは、図１３に示した統合ログテーブルＭの例に対応する。
（効果）
以上詳述したように、この発明の第１の実施形態では、以下のような効果が奏せられる。
（１）顔向きデータ取得部１１１の制御の下、顔認識センサ２から、１以上の通行者に係る顔向きデータが経時的に取得され、頭状態ログテーブルＨ記憶部１２１に記憶される頭状態ログテーブルＨに書き込まれる。一方、距離データ取得部１１２の制御の下、距離測定センサ３から、情報出力装置１と１以上の通行者との間の距離データが取得され、体状態ログテーブルＢ記憶部１２２に記憶される体状態ログテーブルＢに書き込まれる。その後、対象別ログテーブル生成部１１３の制御の下、頭状態ログテーブルＨと体状態ログテーブルＢとから、通行者別に顔向きデータと距離データとを統合した、通行者別の１以上の対象別ログテーブルが生成される。その後、注視判定部１１４の制御の下、通行者別の１以上の対象別ログテーブルに基づいて、通行者毎に、当該通行者の顔が情報出力装置１を含む所定の範囲を向いている時間が第１の時間以上であるか否かが判定される注視判定処理が実行される。また、近接判定部１１５の制御の下、通行者別の１以上の対象別ログテーブルに基づいて、通行者毎に、情報出力装置１から所定の距離内に当該通行者が存在する時間が第２の時間以上であるか否かが判定される近接判定処理が実行される。その後、出力制御部１１６の制御の下、通行者毎の注視判定処理および近接判定処理の判定結果に基づいて、情報出力装置１が画像情報または音声情報を出力することにより実行する動作ａｉが選択される。
顔向きは視線に方向がおおよそ一致するものであり、それゆえ通行者の顔向きは、情報出力装置１と通行者との間の距離と同様に、通行者が情報出力装置１に興味を示しているか否かを判断するために有用である。したがって、上述したように情報出力装置１と通行者との間の距離に加えて通行者の顔向きを基準として用いることにより、例えば情報出力装置１に対して確かに興味を示している通行者を対象として、画像情報または音声情報を出力することが可能となる。
また、複数の通行者に係る顔向きデータおよび距離データが取得される場合に、当該複数の通行者の中に、注視判定処理と近接判定処理との両方の判定結果が所定の条件を満たす通行者がいる場合や、所定の条件を満たす通行者の数等を基準として、画像情報または音声情報を出力するようにすることができる。
（２）出力制御部１１６では、呼び掛け成功率推定部１１６１の制御の下、呼び掛け成功率テーブルが参照され、通行者毎の注視判定処理および近接判定処理の判定結果に基づいて、通行者毎に、画像情報または音声情報を出力することによる呼び掛けの成功率が推定される。出力対象候補選択部１１６２の制御の下、推定された呼び掛け成功率が最も高い通行者に対応するｉｄＭ値を選択することにより、推定された呼び掛け成功率が最も高い通行者が画像情報または音声情報の出力対象候補となる通行者として選択される。その後、出力制御部１１６の制御の下、選択された通行者に対する注視判定処理および近接判定処理の判定結果と、動作テーブルとに基づいて、情報出力装置１が画像情報または音声情報を出力することにより実行する上記動作ａｉが選択される。出力制御部１１６の制御の下、選択された動作ａｉ、選択されたｉｄＭ値を示す信号、選択されたｉｄＭ値に関する対象別ログテーブルＭｉｄが出力される。
このように、呼び掛けの成功率が最も高いと知られている状態にある通行者を選択して、その状態に対応する画像情報または音声情報を出力すれば、例えば、少なくとも予め保証されている成功率の確度で、選択された通行者を呼び止められる可能性があるという利点がある。
また、上記選択されたｉｄＭ値を示す信号、選択されたｉｄＭ値に関する対象別ログテーブルＭｉｄを利用して、例えば、選択された通行者の方向にディスプレイ４の正面が向くようにディスプレイ４の角度を調節して画像情報を出力したり、選択された通行者の方向にスピーカ５の正面が向くようにスピーカ５の向きを調節して音声情報を出力したりするようにしてもよい。このようにすると、選択された通行者が画像情報または音声情報の提供をより一層受けやすくなり、当該画像情報または音声情報の出力による通行者の呼び掛けが成功する確率が高くなる。
（３）上記動作テーブルは、通行者に対する近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”と、当該通行者に対する注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）”と、当該近接判定処理の判定結果および当該注視判定処理の判定結果にある通行者に画像情報または音声情報を出力する動作ａとを対応付けて記憶している。上述した動作ａｉの選択では、近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”がFalseであり、かつ、注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）”がFalseである場合に、動作テーブルにおいて対応付けられている、誘導を実行しない動作ａ３が選択される。
一方、近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”がFalseであり、かつ、注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）”がTrueである場合には、動作テーブルにおいて対応付けられている、誘導を実行する動作ａ２が選択される。
さらに、近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”がTrueであり、注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）”がTrueまたはFalseである場合には、動作テーブルにおいて対応付けられている、誘導を実行する動作ではあるが、出力される音声に通行者の注意を引くための効果音が含まれずゆえに音量が小さいものとなっている動作ａ１が選択される。
情報出力装置１に近寄らずに情報出力装置１を眺めているような通行者は、情報出力装置１に興味がある可能性が高いかもしれないが、情報出力するか否かを距離だけを基準に判定していた従来技術では情報出力の対象とすることができなかった。しかしながら、上述した動作テーブルの構成により、そのような通行者に対しても、画像情報または音声情報を出力するようにすることができる。
また、上述したような音量調節を行うことによって、例えば、情報出力装置１の近くにいる通行者に大きな音量の音声情報を出力して不快感を与えてしまうことを防ぐことができる。
［他の実施形態］
なお、この発明は上記第１の実施形態に限定されるものではない。例えば、上記第１の実施形態では、情報出力装置が画像情報または音声情報を出力する装置である例について説明した。しかしながら、情報出力装置は、対象物を駆動するための駆動制御情報または音声情報を出力する装置であってもよい。例えば、情報出力装置は、ヒト型のロボットであり、対象物としての左手部分の可動部を駆動するための駆動制御情報を出力し、それに応じて左手部分を回転させて通行者にジェスチャを提示することが可能な装置であってもよい。なお、上記対象物は複数あってもよく、駆動制御情報は、複数の対象物のうちの任意のものを駆動するための情報であってもよい。
図２３は、情報出力装置が通行者の検知に応じて実行可能な、駆動制御情報または音声情報を出力する動作の一例を示す図である。図２３に図示される３種類の動作ａ１，ａ２，ａ３はそれぞれ、図５に関連して図示して説明した動作ａ１，ａ２，ａ３に対応している。
動作ａ１は、左手部分の可動部を駆動させることにより、手招きをしながら誘導するジェスチャを実行し、スピーカから、「こちらへどうぞ」という呼び掛けの言葉に対応する音声情報を出力する動作である。
動作ａ２は、左手部分の可動部を駆動させることにより、手招きをしながら誘導するジェスチャを実行し、スピーカから、「こちらに来てください」という呼び掛けの言葉に対応する音声情報と、通行者の注意を引くための効果音に対応する音声情報とを出力する動作である。なお、効果音に対応する音声情報の音量は、例えば、呼び掛けの言葉に対応する上述した２種類の音声情報の音量よりも大きい。
動作ａ３は、左手部分の可動部を駆動させずに情報出力装置を待機させる動作である。すなわち、駆動制御情報と音声情報のいずれも出力しない動作である。
図２３の例の場合は、図１７に示した呼び掛け成功率テーブルは、通行者に対する近接判定処理の判定結果“ｉｓＮｅａｒ（Ｍｉｄ）”と、当該通行者に対する注視判定処理の判定結果“ｉｓＬｏｏｋｉｎｇ（Ｍｉｄ）”と、当該近接判定処理の判定結果および当該注視判定処理の判定結果にある通行者に駆動制御情報または音声情報を出力することによる呼びかけの成功率“Ｐ（ｓｉｄ）”とを対応付けて記憶するようにすればよい。また、図１８に示した動作テーブルは、動作テーブルに記憶される動作ａ１，ａ２，ａ３を、図２３で定義した動作ａ１，ａ２，ａ３に一致させるようにすればよい。
なお、情報出力装置は、上述したような、画像情報または音声情報を出力する装置や、駆動制御情報または音声情報を出力する装置に限定されない。すなわち、情報出力装置は、画像情報と音声情報と駆動制御情報とのうちの少なくとも１つを出力可能であり、出力可能なこれらの情報を任意の組み合わせで出力可能な装置であってもよい。この場合、上述したのと同様に動作ａ１，ａ２，ａ３を、出力可能な情報の任意の組み合わせで定義し、呼び掛け成功率テーブルおよび動作テーブルも上述したのと同様に適宜設計すればよい。なお、例えば、上述したのと同様に、選択された通行者の方向に向かって、可動部を駆動してジェスチャを提示するようにすれば、可動部により実行されるジェスチャを、選択された通行者がより一層受けやすくなり、当該画像情報と音声情報と駆動制御情報とのうちの少なくとも１つの出力による通行者の呼び掛けが成功する確率が高くなる。
また、顔認識センサおよび距離測定センサから取得される計測データは上記で示したものと異なるものであってもよく、その場合、注視判定処理および近接判定処理も上記で示したのとは異なる関数を用いて実行されるようにしてもよい。また、上記では、頭状態ログテーブルＨおよび体状態ログテーブルＢにｉｄ値を付与する際のトラッキング処理について、最近傍法を利用するものとして説明したが、トラッキング処理はこれに限定されるものではない。さらに、ｉｄＨ値とｉｄＢ値とを対応付けるマッチリストを生成させる処理について、ＤＴＷ距離を利用するものとして説明したが、マッチリストを生成させる処理もこれに限定されるものではない。
その他、情報出力装置の種類とその構成、ならびに、各ログテーブルや呼び掛け成功率テーブルおよび動作テーブルの構成や、注視判定処理および近接判定処理の詳細等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
要するにこの発明は、上記第１の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記第１の実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、上記第１の実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
１…情報出力装置、１１…制御ユニット、１１１…顔向きデータ取得部、１１２…距離データ取得部、１１３…対象別ログテーブル生成部、１１４…注視判定部、１１５…近接判定部、１１６…出力制御部、１１６１…呼び掛け成功率推定部、１１６２…出力対象候補選択部、１２…記憶ユニット、１２１…頭状態ログテーブルＨ記憶部、１２２…体状態ログテーブルＢ記憶部、１２３…対象別ログテーブル記憶部、１２４…呼び掛け成功率テーブル記憶部、１２５…動作テーブル記憶部、１３…入出力インタフェースユニット、２…顔認識センサ、３…距離測定センサ、４…ディスプレイ、５…スピーカ

Claims (8)

  1. 通行者の検知に応じて当該通行者に対して、画像情報と、音声情報と、対象物を駆動するための駆動制御情報とのうちの少なくとも１つを出力可能な情報出力装置であって、
    顔認識センサから、前記通行者に係る顔向きデータを経時的に取得する顔向きデータ取得部と、
    距離測定センサから、前記情報出力装置と前記通行者との間の距離データを経時的に取得する距離データ取得部と、
    前記取得される顔向きデータに基づいて、前記通行者の顔が前記情報出力装置を含む所定の範囲を向いている時間が第１の時間以上であるか否かを判定する注視判定部と、
    前記取得される距離データに基づいて、前記情報出力装置から所定の距離内に前記通行者が存在する時間が第２の時間以上であるか否かを判定する近接判定部と、
    前記注視判定部および前記近接判定部における判定結果に基づいて、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力するか否かを判定し、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力すると判定された場合に、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力させる出力制御部と
    を備える情報出力装置。
  2. 前記出力制御部は、前記通行者の顔が前記情報出力装置を含む所定の範囲を向いている時間が前記第１の時間以上であると判定され、かつ、前記情報出力装置から所定の距離内に前記通行者が存在する時間が前記第２の時間未満であると判定された場合に、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力すると判定する、請求項１に記載の情報出力装置。
  3. 前記出力制御部は、前記情報出力装置から所定の距離内に前記通行者が存在する時間が前記第２の時間未満であると判定される場合には、前記音声情報として、予め設定された第１の音量の音声情報を出力させ、前記情報出力装置から所定の距離内に前記通行者が存在する時間が前記第２の時間以上であると判定される場合には、前記音声情報として、前記第１の音量より小さい第２の音量の音声情報を出力させる、請求項１又は２に記載の情報出力装置。
  4. 前記顔向きデータ取得部は、前記顔認識センサから、複数の通行者の各々に係る顔向きデータを経時的に取得し、
    前記距離データ取得部は、前記距離測定センサから、前記情報出力装置と前記複数の通行者の各々との間の距離データを経時的に取得し、
    前記注視判定部は、前記複数の通行者の各々に対して、当該通行者の顔が前記情報出力装置を含む所定の範囲を向いている時間が前記第１の時間以上であるか否かを判定し、
    前記近接判定部は、前記複数の通行者の各々に対して、前記情報出力装置から所定の距離内に当該通行者が存在する時間が前記第２の時間以上であるか否かを判定し、
    前記出力制御部は、前記複数の通行者の各々に対する前記注視判定部および前記近接判定部における判定結果に基づいて、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力するか否かを判定し、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力すると判定された場合に、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力させる、請求項１乃至３のいずれかに記載の情報出力装置。
  5. 前記出力制御部は、
    前記複数の通行者の各々に対する前記注視判定部および前記近接判定部における判定結果に基づいて、前記複数の通行者の各々に対して前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力することによる呼び掛けの成功率を推定する推定部と、
    前記推定された呼び掛けの成功率が最も高い通行者を、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つの出力対象候補となる通行者として選択する対象選択部と
    を備え、
    前記出力制御部は、前記選択された通行者に対する前記注視判定部および前記近接判定部における判定結果に基づいて、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力するか否かを判定し、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力すると判定された場合に、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力させる、請求項４に記載の情報出力装置。
  6. 前記出力制御部は、前記選択された通行者に対して前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力させる、請求項５に記載の情報出力装置。
  7. ハードウェアプロセッサおよびメモリを備え、通行者の検知に応じて当該通行者に対して、画像情報と、音声情報と、対象物を駆動するための駆動制御情報とのうちの少なくとも１つを出力可能な装置が実行する情報出力方法であって、
    顔認識センサから、前記通行者に係る顔向きデータを経時的に取得する過程と、
    距離測定センサから、前記装置と前記通行者との間の距離データを経時的に取得する過程と、
    前記取得される顔向きデータに基づいて、前記通行者の顔が前記装置を含む所定の範囲を向いている時間が第１の時間以上であるか否かを判定する注視判定過程と、
    前記取得される距離データに基づいて、前記装置から所定の距離内に前記通行者が存在する時間が第２の時間以上であるか否かを判定する近接判定過程と、
    前記注視判定過程および前記近接判定過程における判定結果に基づいて、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力するか否かを判定し、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力すると判定された場合に、前記画像情報と前記音声情報と前記駆動制御情報とのうちの少なくとも１つを出力させる過程と
    を備える情報出力方法。
  8. 請求項１乃至６のいずれかに記載の情報出力装置が備える各部としてハードウェアプロセッサを機能させるプログラム。
JP2018011940A 2018-01-26 2018-01-26 情報出力装置、方法およびプログラム Active JP6850740B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018011940A JP6850740B2 (ja) 2018-01-26 2018-01-26 情報出力装置、方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018011940A JP6850740B2 (ja) 2018-01-26 2018-01-26 情報出力装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2019128910A true JP2019128910A (ja) 2019-08-01
JP6850740B2 JP6850740B2 (ja) 2021-03-31

Family

ID=67472297

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018011940A Active JP6850740B2 (ja) 2018-01-26 2018-01-26 情報出力装置、方法およびプログラム

Country Status (1)

Country Link
JP (1) JP6850740B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009277097A (ja) * 2008-05-15 2009-11-26 Nippon Telegr & Teleph Corp <Ntt> 情報処理装置
JP2010112979A (ja) * 2008-11-04 2010-05-20 Advanced Telecommunication Research Institute International インタラクティブ看板システム
JP2011077913A (ja) * 2009-09-30 2011-04-14 Nhk Service Center Inc 情報伝達処理装置及び情報伝達処理システム並びにこれらに用いるコンピューター・プログラム
JP2016115185A (ja) * 2014-12-16 2016-06-23 日本電信電話株式会社 情報提示先選択方法、装置及びそのプログラム
WO2016132884A1 (ja) * 2015-02-16 2016-08-25 ソニー株式会社 情報処理装置および方法、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009277097A (ja) * 2008-05-15 2009-11-26 Nippon Telegr & Teleph Corp <Ntt> 情報処理装置
JP2010112979A (ja) * 2008-11-04 2010-05-20 Advanced Telecommunication Research Institute International インタラクティブ看板システム
JP2011077913A (ja) * 2009-09-30 2011-04-14 Nhk Service Center Inc 情報伝達処理装置及び情報伝達処理システム並びにこれらに用いるコンピューター・プログラム
JP2016115185A (ja) * 2014-12-16 2016-06-23 日本電信電話株式会社 情報提示先選択方法、装置及びそのプログラム
WO2016132884A1 (ja) * 2015-02-16 2016-08-25 ソニー株式会社 情報処理装置および方法、並びにプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
尾崎 安範、外７名: ""通行者の行動モデルに基づいてサービス利用を促すバーチャルエージェントを備えたインタラクティブサイネ", 電子情報通信学会技術研究報告 クラウドネットワークロボット, vol. 第１１６巻，第４６２号, JPN6020035896, February 2017 (2017-02-01), pages 111 - 116, ISSN: 0004351113 *
木原 民雄、外２名: ""人の位置移動による状況即応型デジタルサイネージの構成法"", 情報処理学会論文誌, vol. 第５３巻，第２号, JPN6020035897, February 2012 (2012-02-01), pages 868 - 878, ISSN: 0004351114 *

Also Published As

Publication number Publication date
JP6850740B2 (ja) 2021-03-31

Similar Documents

Publication Publication Date Title
JP6592183B2 (ja) モニタリング
US7680295B2 (en) Hand-gesture based interface apparatus
JP6950692B2 (ja) 人流推定装置、人流推定方法およびプログラム
US10168787B2 (en) Method for the target recognition of target objects
JP2019527448A (ja) 車両の運転者の状態を監視するための方法及びシステム
KR102032662B1 (ko) 장면 공간 모니터링을 통한 사람-컴퓨터 상호 작용
EP3037917A1 (en) Monitoring
JP5001930B2 (ja) 動作認識装置及び方法
WO2020031767A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2019097595A1 (ja) 車外コミュニケーション装置、車外コミュニケーション方法、情報処理装置、及び車外コミュニケーションプログラム
US9710708B1 (en) Method and apparatus for autonomously recognizing at least one object in an image
US20220035441A1 (en) Systems and methods for object tracking using fused data
CN107111363B (zh) 用于监视的方法、装置和系统
JP5012589B2 (ja) 画像情報を用いた人物追跡システム
US20170092001A1 (en) Augmented reality with off-screen motion sensing
JP5651639B2 (ja) 情報処理装置、情報表示装置、情報処理方法およびプログラム
JP2018094645A (ja) 行動コマンド生成システム、応答システムおよび行動コマンド生成方法
JP2020155944A (ja) 発話者検出システム、発話者検出方法及びプログラム
JP2019128910A (ja) 情報出力装置、方法およびプログラム
JP5448952B2 (ja) 同一人判定装置、同一人判定方法および同一人判定プログラム
JP2021135363A (ja) 制御システム、制御装置、制御方法及びコンピュータプログラム
JP2021033359A (ja) 感情推定装置、感情推定方法、プログラム、情報提示装置、情報提示方法及び感情推定システム
JP2008046802A (ja) インタラクション情報出力装置、インタラクション情報出力方法、及びプログラム
JP6920225B2 (ja) 情報出力装置、方法およびプログラム
JP7041046B2 (ja) グループ推定装置及びグループ推定方法

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20180208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180416

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210308

R150 Certificate of patent or registration of utility model

Ref document number: 6850740

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250