JP2017159396A - 案内ロボット制御システム、プログラム及び案内ロボット - Google Patents
案内ロボット制御システム、プログラム及び案内ロボット Download PDFInfo
- Publication number
- JP2017159396A JP2017159396A JP2016045573A JP2016045573A JP2017159396A JP 2017159396 A JP2017159396 A JP 2017159396A JP 2016045573 A JP2016045573 A JP 2016045573A JP 2016045573 A JP2016045573 A JP 2016045573A JP 2017159396 A JP2017159396 A JP 2017159396A
- Authority
- JP
- Japan
- Prior art keywords
- guidance
- user
- unit
- control system
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Manipulator (AREA)
Abstract
【課題】ユーザの意図を考慮して声掛けを行うことができる案内ロボット制御システム、プログラム及び案内ロボットを提供する。【解決手段】案内ロボット制御システム１００は、時系列に連続した複数のフレーム画像を取得する画像取得部１１と、取得した複数のフレーム画像を分析して、フレーム画像ごとにユーザＰが見ている方向を判別する方向判別部１２ａと、判別した方向とに基づいて、時間経過に伴う方向の変化の大きさを表す方向変化量を算出する方向変化量算出部１３ａと、算出した方向の変化に基づいて、案内をするか否かを判断する案内判断部１３ｄと、案内をすると判断された場合に、ユーザＰに対する案内データを記憶する案内データ記憶部２２から案内データを抽出して、コミュニケーションロボット１による案内を行う案内部１７と、を備える。【選択図】図１
Description
本発明は、案内ロボット制御システム、プログラム及び案内ロボットに関する。
従来、来訪者に対して案内サービスを提供するロボットが開示されている（例えば、特許文献１）。
特許文献１に記載のロボットは、来訪者等のユーザの移動に関するパターンに応じた案内サービスを提供するものであったので、ユーザの意図によらずに、案内サービスを強制的に提供する可能性があった。
そこで、本発明は、ユーザの意図を考慮して声掛けを行うことができる案内ロボット制御システム、プログラム及び案内ロボットを提供することを目的とする。
本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、ユーザに対する案内データを記憶する案内データ記憶部と、時系列に連続した複数のフレーム画像を取得する画像取得手段と、前記画像取得手段により取得した前記複数のフレーム画像を分析して、前記フレーム画像ごとにユーザが見ている方向を判別する方向判別手段と、前記方向判別手段により判別した方向に基づいて、時間経過に伴う前記方向の変化の大きさを表す方向変化量を算出する方向変化量算出手段と、前記方向変化量算出手段によって算出した方向の変化に基づいて、案内をするか否かを判断する案内判断手段と、前記案内判断手段により案内をすると判断された場合に、前記案内データ記憶部から案内データを抽出してロボットによる案内を行う案内手段と、を備える案内ロボット制御システムである。
第２の発明は、第１の発明の案内ロボット制御システムにおいて、前記画像取得手段が取得したフレーム画像における前記ユーザの位置情報に基づいて、前記ユーザと、ロボットとの距離を算出する距離算出手段を備え、前記案内判断手段は、前記距離算出手段が算出した前記距離が規定範囲内である場合に、案内をすると判断すること、を特徴とする案内ロボット制御システムである。
第３の発明は、第１の発明又は第２の発明の案内ロボット制御システムにおいて、前記画像取得手段が取得したフレーム画像における前記ユーザの位置情報に基づいて、前記ユーザの移動速度を算出する移動速度算出手段を備え、前記案内判断手段は、前記移動速度算出手段が算出した前記移動速度が規定範囲内である場合に、案内をすると判断すること、を特徴とする案内ロボット制御システムである。
第４の発明は、第３の発明の案内ロボット制御システムにおいて、ロボットは、移動が可能であり、前記画像取得手段が取得したフレーム画像における前記ユーザの位置情報に基づいて、前記ユーザの移動方向を算出する移動方向算出手段と、前記移動方向算出手段により算出した前記ユーザの移動方向及び前記移動速度算出手段が算出した前記移動速度に基づいて、前記ロボットを移動させる移動制御手段と、備えること、を特徴とする案内ロボット制御システムである。
第５の発明は、第１の発明から第３の発明までのいずれかの案内ロボット制御システムにおいて、前記方向判別手段は、前記ユーザの眼球と瞳孔との相対位置に基づき、前記ユーザが見ている方向を判別し、前記画像取得手段が取得したフレーム画像における前記ユーザの位置情報に基づいて、前記ユーザの移動方向を算出する移動方向算出手段と、前記画像取得手段により取得した前記複数のフレーム画像を分析して、前記ユーザの顔データを取得する顔取得手段と、前記フレーム画像ごとに前記ユーザの顔の向きを判別する顔方向判別手段と、を備え、前記案内判断手段は、前記移動方向算出手段が算出した前記ユーザの移動方向と、前記顔方向判別手段で判別した複数のフレーム画像に共通の顔の向きとが異なる方向である場合に、案内をすると判断すること、を特徴とする案内ロボット制御システムである。
第６の発明は、第５の発明の案内ロボット制御システムにおいて、前記方向判別手段は、前記顔取得手段により取得した顔データに基づいて、顔の器官を検出し、それらの位置関係から顔の向きを判定し、前記ユーザの見ている方向を取得すること、を特徴とする案内ロボット制御システムである。
第７の発明は、第１の発明から第６の発明までのいずれかの案内ロボット制御システムにおいて、前記画像取得手段により取得した少なくとも１つ以上の前記フレーム画像を分析して、前記ユーザの表情を判別する表情判別手段を備え、前記案内データ記憶部は、表情に対応する案内データを記憶し、前記案内手段は、前記案内データ記憶部を参照して、前記表情判別手段により判別された前記ユーザの表情に基づく案内データを抽出して案内を行うこと、を特徴とする案内ロボット制御システムである。
第８の発明は、第７の発明の案内ロボット制御システムにおいて、案内データによる案内をした後に、少なくとも前記画像取得手段による処理と、前記表情判別手段による処理とを実行し、案内前の前記ユーザの表情と、案内後の前記ユーザの表情とを比較する表情比較手段を備え、前記案内手段は、前記案内データ記憶部を参照して、前記表情比較手段による比較結果に基づく案内データを抽出して案内を行うこと、を特徴とする案内ロボット制御システムである。
第９の発明は、第１の発明から第８の発明までのいずれかの案内ロボット制御システムにおいて、前記画像取得手段により取得した少なくとも１つ以上の前記フレーム画像を分析して、前記ユーザの属性を判別する属性判別手段を備え、前記案内データ記憶部は、ユーザの属性に対応する案内データを記憶し、前記案内手段は、前記案内データ記憶部を参照して、前記属性判別手段により判別した前記ユーザの属性に対応する案内データを抽出して案内を行うこと、を特徴とする案内ロボット制御システムである。
第１０の発明は、第１の発明から第９の発明までのいずれかの案内ロボット制御システムとして、ロボットのプロセッサを機能させるためのプログラムである。
第１１の発明は、ユーザに対する案内データを記憶する案内データ記憶部と、撮影部と、時系列に連続した複数のフレーム画像を取得する画像取得手段と、前記画像取得手段により取得した前記複数のフレーム画像を分析して、前記フレーム画像ごとにユーザが見ている方向を判別する方向判別手段と、前記方向判別手段により判別した方向に基づいて、時間経過に伴う前記方向の変化の大きさを表す方向変化量を算出する方向変化量算出手段と、前記方向変化量算出手段によって算出した方向の変化に基づいて、案内をするか否かを判断する案内判断手段と、前記案内判断手段により案内をすると判断された場合に、前記案内データ記憶部から案内データを抽出して案内を行う案内手段と、を備える案内ロボットである。
第１の発明は、ユーザに対する案内データを記憶する案内データ記憶部と、時系列に連続した複数のフレーム画像を取得する画像取得手段と、前記画像取得手段により取得した前記複数のフレーム画像を分析して、前記フレーム画像ごとにユーザが見ている方向を判別する方向判別手段と、前記方向判別手段により判別した方向に基づいて、時間経過に伴う前記方向の変化の大きさを表す方向変化量を算出する方向変化量算出手段と、前記方向変化量算出手段によって算出した方向の変化に基づいて、案内をするか否かを判断する案内判断手段と、前記案内判断手段により案内をすると判断された場合に、前記案内データ記憶部から案内データを抽出してロボットによる案内を行う案内手段と、を備える案内ロボット制御システムである。
第２の発明は、第１の発明の案内ロボット制御システムにおいて、前記画像取得手段が取得したフレーム画像における前記ユーザの位置情報に基づいて、前記ユーザと、ロボットとの距離を算出する距離算出手段を備え、前記案内判断手段は、前記距離算出手段が算出した前記距離が規定範囲内である場合に、案内をすると判断すること、を特徴とする案内ロボット制御システムである。
第３の発明は、第１の発明又は第２の発明の案内ロボット制御システムにおいて、前記画像取得手段が取得したフレーム画像における前記ユーザの位置情報に基づいて、前記ユーザの移動速度を算出する移動速度算出手段を備え、前記案内判断手段は、前記移動速度算出手段が算出した前記移動速度が規定範囲内である場合に、案内をすると判断すること、を特徴とする案内ロボット制御システムである。
第４の発明は、第３の発明の案内ロボット制御システムにおいて、ロボットは、移動が可能であり、前記画像取得手段が取得したフレーム画像における前記ユーザの位置情報に基づいて、前記ユーザの移動方向を算出する移動方向算出手段と、前記移動方向算出手段により算出した前記ユーザの移動方向及び前記移動速度算出手段が算出した前記移動速度に基づいて、前記ロボットを移動させる移動制御手段と、備えること、を特徴とする案内ロボット制御システムである。
第５の発明は、第１の発明から第３の発明までのいずれかの案内ロボット制御システムにおいて、前記方向判別手段は、前記ユーザの眼球と瞳孔との相対位置に基づき、前記ユーザが見ている方向を判別し、前記画像取得手段が取得したフレーム画像における前記ユーザの位置情報に基づいて、前記ユーザの移動方向を算出する移動方向算出手段と、前記画像取得手段により取得した前記複数のフレーム画像を分析して、前記ユーザの顔データを取得する顔取得手段と、前記フレーム画像ごとに前記ユーザの顔の向きを判別する顔方向判別手段と、を備え、前記案内判断手段は、前記移動方向算出手段が算出した前記ユーザの移動方向と、前記顔方向判別手段で判別した複数のフレーム画像に共通の顔の向きとが異なる方向である場合に、案内をすると判断すること、を特徴とする案内ロボット制御システムである。
第６の発明は、第５の発明の案内ロボット制御システムにおいて、前記方向判別手段は、前記顔取得手段により取得した顔データに基づいて、顔の器官を検出し、それらの位置関係から顔の向きを判定し、前記ユーザの見ている方向を取得すること、を特徴とする案内ロボット制御システムである。
第７の発明は、第１の発明から第６の発明までのいずれかの案内ロボット制御システムにおいて、前記画像取得手段により取得した少なくとも１つ以上の前記フレーム画像を分析して、前記ユーザの表情を判別する表情判別手段を備え、前記案内データ記憶部は、表情に対応する案内データを記憶し、前記案内手段は、前記案内データ記憶部を参照して、前記表情判別手段により判別された前記ユーザの表情に基づく案内データを抽出して案内を行うこと、を特徴とする案内ロボット制御システムである。
第８の発明は、第７の発明の案内ロボット制御システムにおいて、案内データによる案内をした後に、少なくとも前記画像取得手段による処理と、前記表情判別手段による処理とを実行し、案内前の前記ユーザの表情と、案内後の前記ユーザの表情とを比較する表情比較手段を備え、前記案内手段は、前記案内データ記憶部を参照して、前記表情比較手段による比較結果に基づく案内データを抽出して案内を行うこと、を特徴とする案内ロボット制御システムである。
第９の発明は、第１の発明から第８の発明までのいずれかの案内ロボット制御システムにおいて、前記画像取得手段により取得した少なくとも１つ以上の前記フレーム画像を分析して、前記ユーザの属性を判別する属性判別手段を備え、前記案内データ記憶部は、ユーザの属性に対応する案内データを記憶し、前記案内手段は、前記案内データ記憶部を参照して、前記属性判別手段により判別した前記ユーザの属性に対応する案内データを抽出して案内を行うこと、を特徴とする案内ロボット制御システムである。
第１０の発明は、第１の発明から第９の発明までのいずれかの案内ロボット制御システムとして、ロボットのプロセッサを機能させるためのプログラムである。
第１１の発明は、ユーザに対する案内データを記憶する案内データ記憶部と、撮影部と、時系列に連続した複数のフレーム画像を取得する画像取得手段と、前記画像取得手段により取得した前記複数のフレーム画像を分析して、前記フレーム画像ごとにユーザが見ている方向を判別する方向判別手段と、前記方向判別手段により判別した方向に基づいて、時間経過に伴う前記方向の変化の大きさを表す方向変化量を算出する方向変化量算出手段と、前記方向変化量算出手段によって算出した方向の変化に基づいて、案内をするか否かを判断する案内判断手段と、前記案内判断手段により案内をすると判断された場合に、前記案内データ記憶部から案内データを抽出して案内を行う案内手段と、を備える案内ロボットである。
本発明によれば、ユーザの意図を考慮して声掛けを行うことができる案内ロボット制御システム、プログラム及び案内ロボットを提供することができる。
以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
（第１実施形態）
＜案内ロボット制御システム１００＞
図１は、第１実施形態に係る案内ロボット制御システム１００の運用に適する場面例を示す図である。
案内ロボット制御システム１００は、コミュニケーションロボット１（案内ロボット）を用いたシステムである。コミュニケーションロボット１は、例えば、展示場内、店舗内等のスペースＳに配置されている。なお、コミュニケーションロボット１は、スペースＳを見渡せる位置に配置することが望ましい。
（第１実施形態）
＜案内ロボット制御システム１００＞
図１は、第１実施形態に係る案内ロボット制御システム１００の運用に適する場面例を示す図である。
案内ロボット制御システム１００は、コミュニケーションロボット１（案内ロボット）を用いたシステムである。コミュニケーションロボット１は、例えば、展示場内、店舗内等のスペースＳに配置されている。なお、コミュニケーションロボット１は、スペースＳを見渡せる位置に配置することが望ましい。
コミュニケーションロボット１は、例えば、高さが１ｍ程度の人型のロボットである。
そして、コミュニケーションロボット１は、スペースＳにいるユーザＰを含む（図１の例では、ユーザＰ１〜Ｐ３）フレーム画像を取得して分析し、声掛け対象のユーザＰを判断して、ユーザＰに対して声掛け（案内）をする。コミュニケーションロボット１は、以下に説明する例では、きょろきょろしているユーザＰを、何か困っていると推測して、声掛け対象であると判断する。
そして、コミュニケーションロボット１は、スペースＳにいるユーザＰを含む（図１の例では、ユーザＰ１〜Ｐ３）フレーム画像を取得して分析し、声掛け対象のユーザＰを判断して、ユーザＰに対して声掛け（案内）をする。コミュニケーションロボット１は、以下に説明する例では、きょろきょろしているユーザＰを、何か困っていると推測して、声掛け対象であると判断する。
＜コミュニケーションロボット１＞
図２は、第１実施形態に係るコミュニケーションロボット１の機能ブロック図である。
図３は、第１実施形態に係るコミュニケーションロボット１の案内データ記憶部２２の例を示す図である。
図２に示すように、コミュニケーションロボット１は、制御部１０と、記憶部２０と、カメラ３１（撮影部）と、スピーカ３２と、モータ部３３とを備える。
制御部１０は、コミュニケーションロボット１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部２０に記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
図２は、第１実施形態に係るコミュニケーションロボット１の機能ブロック図である。
図３は、第１実施形態に係るコミュニケーションロボット１の案内データ記憶部２２の例を示す図である。
図２に示すように、コミュニケーションロボット１は、制御部１０と、記憶部２０と、カメラ３１（撮影部）と、スピーカ３２と、モータ部３３とを備える。
制御部１０は、コミュニケーションロボット１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部２０に記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部１０は、画像取得部１１（画像取得手段）と、画像分析部１２と、ユーザ決定処理部１３と、案内データ抽出部１５と、移動制御部１６（移動制御手段）と、案内部１７（案内手段）と、表情比較部１８（表情比較手段）とを備える。
画像取得部１１は、カメラ３１を介してフレーム画像を複数取得する。取得した複数のフレーム画像は、時系列に連続したものである。
画像分析部１２は、画像取得部１１が取得したフレーム画像を分析する。画像分析部１２は、方向判別部１２ａ（方向判別手段）と、距離算出部１２ｂ（距離算出手段）と、表情判別部１２ｃ（表情判別手段）と、属性判別部１２ｄ（属性判別手段）とを備える。
方向判別部１２ａは、フレーム画像に含まれるユーザＰごとに、そのユーザＰの見ている方向を判別する。
距離算出部１２ｂは、フレーム画像に含まれるユーザＰごとに、コミュニケーションロボット１とそのユーザＰとの距離を算出する。
表情判別部１２ｃは、フレーム画像に含まれるユーザＰごとに、そのユーザＰの顔の表情を判別する。
属性判別部１２ｄは、フレーム画像に含まれるユーザＰごとに、そのユーザＰの属性を判別する。ここで、ユーザＰの属性とは、例えば、年齢、性別等をいう。
画像取得部１１は、カメラ３１を介してフレーム画像を複数取得する。取得した複数のフレーム画像は、時系列に連続したものである。
画像分析部１２は、画像取得部１１が取得したフレーム画像を分析する。画像分析部１２は、方向判別部１２ａ（方向判別手段）と、距離算出部１２ｂ（距離算出手段）と、表情判別部１２ｃ（表情判別手段）と、属性判別部１２ｄ（属性判別手段）とを備える。
方向判別部１２ａは、フレーム画像に含まれるユーザＰごとに、そのユーザＰの見ている方向を判別する。
距離算出部１２ｂは、フレーム画像に含まれるユーザＰごとに、コミュニケーションロボット１とそのユーザＰとの距離を算出する。
表情判別部１２ｃは、フレーム画像に含まれるユーザＰごとに、そのユーザＰの顔の表情を判別する。
属性判別部１２ｄは、フレーム画像に含まれるユーザＰごとに、そのユーザＰの属性を判別する。ここで、ユーザＰの属性とは、例えば、年齢、性別等をいう。
ユーザ決定処理部１３は、画像分析部１２によって分析されたフレーム画像に基づき、声掛けをするユーザＰを決定する。ユーザ決定処理部１３は、方向変化量算出部１３ａ（方向変化量算出手段）と、移動速度算出部１３ｂ（移動速度算出手段）と、移動方向算出部１３ｃ（移動方向算出手段）と、案内判断部１３ｄ（案内判断手段）とを備える。
方向変化量算出部１３ａは、方向判別部１２ａにより判別されたそのユーザＰの見ている方向の時間経過に伴う変化の大きさである方向変化量を算出する。
移動速度算出部１３ｂは、距離算出部１２ｂにより算出されたそのユーザＰの距離の時間経過に伴う変化に基づいて、移動速度を算出する。
移動方向算出部１３ｃは、距離算出部１２ｂにより算出されたそのユーザＰの距離の時間経過に伴う変化に基づいて、移動方向を算出する。
案内判断部１３ｄは、方向変化量等に基づいて、声掛けするユーザＰを決定する。
方向変化量算出部１３ａは、方向判別部１２ａにより判別されたそのユーザＰの見ている方向の時間経過に伴う変化の大きさである方向変化量を算出する。
移動速度算出部１３ｂは、距離算出部１２ｂにより算出されたそのユーザＰの距離の時間経過に伴う変化に基づいて、移動速度を算出する。
移動方向算出部１３ｃは、距離算出部１２ｂにより算出されたそのユーザＰの距離の時間経過に伴う変化に基づいて、移動方向を算出する。
案内判断部１３ｄは、方向変化量等に基づいて、声掛けするユーザＰを決定する。
案内データ抽出部１５は、決定したユーザＰに対して案内する案内データを、案内データ記憶部２２から抽出する。
移動制御部１６は、移動方向算出部１３ｃにより算出された移動方向に基づいて、決定したユーザＰに近づくようにコミュニケーションロボット１を移動させる。
案内部１７は、案内データ抽出部１５により抽出された案内データを、スピーカ３２を介して出力する。
表情比較部１８は、案内前後での表情判別部１２ｃにより判別された顔の表情を比較する。
なお、各処理の詳細については、後述する。
移動制御部１６は、移動方向算出部１３ｃにより算出された移動方向に基づいて、決定したユーザＰに近づくようにコミュニケーションロボット１を移動させる。
案内部１７は、案内データ抽出部１５により抽出された案内データを、スピーカ３２を介して出力する。
表情比較部１８は、案内前後での表情判別部１２ｃにより判別された顔の表情を比較する。
なお、各処理の詳細については、後述する。
記憶部２０は、制御部１０が各種の処理を実行するために必要なプログラム、データ等を記憶するための半導体メモリ素子等の記憶領域である。
記憶部２０は、プログラム記憶部２１と、案内データ記憶部２２と、画像データ記憶部２３とを備える。
プログラム記憶部２１は、プログラムを記憶する記憶領域である。プログラム記憶部２１は、上述した制御部１０の各種機能を実行するための制御プログラム２１ａ（プログラム）を記憶している。
案内データ記憶部２２は、コミュニケーションロボット１が発する案内データを記憶する記憶領域である。案内データ記憶部２２は、図３に示すように、ユーザＰの顔の表情及び属性に対応付けて、声掛けをする案内データを記憶している。また、声掛け後のユーザＰの顔の表情に対応付けて、次の案内データを記憶している。
図２に戻り、画像データ記憶部２３は、画像取得部１１が取得したフレーム画像を記憶する記憶領域である。
記憶部２０は、プログラム記憶部２１と、案内データ記憶部２２と、画像データ記憶部２３とを備える。
プログラム記憶部２１は、プログラムを記憶する記憶領域である。プログラム記憶部２１は、上述した制御部１０の各種機能を実行するための制御プログラム２１ａ（プログラム）を記憶している。
案内データ記憶部２２は、コミュニケーションロボット１が発する案内データを記憶する記憶領域である。案内データ記憶部２２は、図３に示すように、ユーザＰの顔の表情及び属性に対応付けて、声掛けをする案内データを記憶している。また、声掛け後のユーザＰの顔の表情に対応付けて、次の案内データを記憶している。
図２に戻り、画像データ記憶部２３は、画像取得部１１が取得したフレーム画像を記憶する記憶領域である。
カメラ３１は、撮影装置である。カメラ３１は、例えば、コミュニケーションロボット１の目の部分に対応する位置に設けられている。そして、カメラ３１は、コミュニケーションロボット１が向いた方向の被写体を撮影する。
スピーカ３２は、音声出力装置である。スピーカ３２は、例えば、コミュニケーションロボット１の口の部分に対応する位置に設けられている。そして、スピーカ３２は、制御部１０の指示に基づいて音声を出力する。
スピーカ３２は、音声出力装置である。スピーカ３２は、例えば、コミュニケーションロボット１の口の部分に対応する位置に設けられている。そして、スピーカ３２は、制御部１０の指示に基づいて音声を出力する。
モータ部３３は、コミュニケーションロボット１に動作をさせるためのモータである。モータ部３３は、頭部モータ３３ａと、足部モータ３３ｂとを備える。
頭部モータ３３ａは、コミュニケーションロボット１の頭部を動かすモータである。頭部モータ３３ａは、制御部１０によって制御され、スペースＳ内にいる様々なユーザＰを被写体として撮影するために、頭部を上下左右に動かす。
足部モータ３３ｂは、コミュニケーションロボット１の足部にあり、コミュニケーションロボット１を移動させるためのモータである。
頭部モータ３３ａは、コミュニケーションロボット１の頭部を動かすモータである。頭部モータ３３ａは、制御部１０によって制御され、スペースＳ内にいる様々なユーザＰを被写体として撮影するために、頭部を上下左右に動かす。
足部モータ３３ｂは、コミュニケーションロボット１の足部にあり、コミュニケーションロボット１を移動させるためのモータである。
＜コミュニケーションロボット１の処理＞
次に、コミュニケーションロボット１の処理について説明する。
図４は、第１実施形態に係るコミュニケーションロボット１でのロボット制御処理を示すフローチャートである。
図５は、第１実施形態に係るコミュニケーションロボット１での画像分析処理を示すフローチャートである。
図６は、第１実施形態に係るコミュニケーションロボット１でのユーザ決定処理を示すフローチャートである。
図７は、第１実施形態に係るコミュニケーションロボット１での案内後処理を示すフローチャートである。
次に、コミュニケーションロボット１の処理について説明する。
図４は、第１実施形態に係るコミュニケーションロボット１でのロボット制御処理を示すフローチャートである。
図５は、第１実施形態に係るコミュニケーションロボット１での画像分析処理を示すフローチャートである。
図６は、第１実施形態に係るコミュニケーションロボット１でのユーザ決定処理を示すフローチャートである。
図７は、第１実施形態に係るコミュニケーションロボット１での案内後処理を示すフローチャートである。
図４のステップＳ（以下、「Ｓ」という。）１０において、コミュニケーションロボット１の制御部１０（画像取得部１１）は、画像取得処理を行う。画像取得処理において、制御部１０は、常にカメラ３１を介してフレーム画像を取得しており、取得したフレーム画像に１以上のユーザＰを含むか否かを判断する。そして、フレーム画像に１以上のユーザＰを含むと判断された場合には、制御部１０は、適宜のタイミング（例えば、０．１秒ごと）で取得したフレーム画像を、画像データ記憶部２３に記憶させる。
Ｓ１１において、制御部１０は、処理条件になったか否かを判断する。処理条件とは、例えば、画像データ記憶部２３に複数のフレーム画像（例えば、３０枚）が記憶された場合や、規定の時間（例えば、３秒）が経過した場合等をいう。処理条件になったと判断された場合（Ｓ１１：ＹＥＳ）には、制御部１０は、処理をＳ１２に移す。他方、処理条件になっていないと判断された場合（Ｓ１１：ＮＯ）には、制御部１０は、処理をＳ１０に移す。
Ｓ１１において、制御部１０は、処理条件になったか否かを判断する。処理条件とは、例えば、画像データ記憶部２３に複数のフレーム画像（例えば、３０枚）が記憶された場合や、規定の時間（例えば、３秒）が経過した場合等をいう。処理条件になったと判断された場合（Ｓ１１：ＹＥＳ）には、制御部１０は、処理をＳ１２に移す。他方、処理条件になっていないと判断された場合（Ｓ１１：ＮＯ）には、制御部１０は、処理をＳ１０に移す。
Ｓ１２において、制御部１０（画像分析部１２）は、画像データ記憶部２３に記憶されたフレーム画像を分析する画像分析処理を行う。
ここで、画像分析処理について、図５に基づき説明する。
図５のＳ３０において、制御部１０は、画像データ記憶部２３から１つのフレーム画像を抽出する。
Ｓ３１において、制御部１０（方向判別部１２ａ）は、フレーム画像に含まれるユーザＰごとに、ユーザＰの見ている方向を判別する。例えば、フレーム画像に２人のユーザＰ１，Ｐ２が含まれる場合には、制御部１０は、ユーザＰ１の見ている方向と、ユーザＰ２の見ている方向とを各々判別する。制御部１０は、例えば、フレーム画像から顔画像を検出し、顔の各パーツ（器官）の配置位置に基づいて、顔の向きを判別できる。よって、制御部１０は、判別した顔の向きをユーザＰの見ている方向することができる。
この顔の各器官（目、鼻、口等）の位置を求める手法としては、様々な公知の手法があるが、例えば、回帰モデルを用いた顔の器官検出手法を用いることができる。そして、回帰モデルを用いた顔の器官検出手法に関しては、例えば、米国特許出願公開第２０１４／０１８５９２４号明細書に記載されている。
ここで、画像分析処理について、図５に基づき説明する。
図５のＳ３０において、制御部１０は、画像データ記憶部２３から１つのフレーム画像を抽出する。
Ｓ３１において、制御部１０（方向判別部１２ａ）は、フレーム画像に含まれるユーザＰごとに、ユーザＰの見ている方向を判別する。例えば、フレーム画像に２人のユーザＰ１，Ｐ２が含まれる場合には、制御部１０は、ユーザＰ１の見ている方向と、ユーザＰ２の見ている方向とを各々判別する。制御部１０は、例えば、フレーム画像から顔画像を検出し、顔の各パーツ（器官）の配置位置に基づいて、顔の向きを判別できる。よって、制御部１０は、判別した顔の向きをユーザＰの見ている方向することができる。
この顔の各器官（目、鼻、口等）の位置を求める手法としては、様々な公知の手法があるが、例えば、回帰モデルを用いた顔の器官検出手法を用いることができる。そして、回帰モデルを用いた顔の器官検出手法に関しては、例えば、米国特許出願公開第２０１４／０１８５９２４号明細書に記載されている。
Ｓ３２において、制御部１０（距離算出部１２ｂ）は、フレーム画像に含まれるユーザＰごとにユーザＰと、コミュニケーションロボット１との距離を算出する。制御部１０は、例えば、フレーム画像に含まれるユーザＰの大きさや、フレーム画像の背景等に基づいて、ユーザＰと、コミュニケーションロボット１との大まかな距離を算出できる。
Ｓ３３において、制御部１０（表情判別部１２ｃ）は、フレーム画像に含まれるユーザＰごとに顔の表情を判別する。制御部１０は、顔の表情として、目、鼻、口の形状等から、例えば、笑顔（ポジティブな表情）であるか、悲しい顔（ネガティブな表情）であるか等を判別できる。
Ｓ３３において、制御部１０（表情判別部１２ｃ）は、フレーム画像に含まれるユーザＰごとに顔の表情を判別する。制御部１０は、顔の表情として、目、鼻、口の形状等から、例えば、笑顔（ポジティブな表情）であるか、悲しい顔（ネガティブな表情）であるか等を判別できる。
Ｓ３４において、制御部１０は、画像データ記憶部２３に含まれる処理対象のフレーム画像の全てに対して処理をしたか否かを判断する。処理対象のフレーム画像の全てに対して処理をした場合（Ｓ３４：ＹＥＳ）には、制御部１０は、本処理を終了し、処理を図４に移す。他方、処理対象のフレーム画像の全てに対して処理をしていない場合（Ｓ３４：ＮＯ）には、制御部１０は、処理をＳ３５に移す。
Ｓ３５において、制御部１０は、画像データ記憶部２３に含まれる処理対象のフレーム画像のうち、未処理のフレーム画像を１つ抽出する。その後、制御部１０は、処理をＳ３１に移す。
Ｓ３５において、制御部１０は、画像データ記憶部２３に含まれる処理対象のフレーム画像のうち、未処理のフレーム画像を１つ抽出する。その後、制御部１０は、処理をＳ３１に移す。
図４に戻り、Ｓ１３において、制御部１０（ユーザ決定処理部１３）は、ユーザ決定処理を行う。
ここで、ユーザ決定処理について、図６に基づき説明する。
図６のＳ４０において、制御部１０は、画像分析処理をしたフレーム画像を時系列に並べる。
Ｓ４１において、制御部１０（方向変化量算出部１３ａ）は、並べ替え後の複数のフレーム画像に基づき、ユーザＰごとの方向変化量を算出する。ここで、方向変化量とは、時間経過に伴うユーザＰの見ている方向の変化の大きさを表すものをいう。具体的には、ユーザＰが激しくきょろきょろしている場合には、きょろきょろしている度合いが高く、制御部１０は、方向変化量を高く算出する。
ここで、ユーザ決定処理について、図６に基づき説明する。
図６のＳ４０において、制御部１０は、画像分析処理をしたフレーム画像を時系列に並べる。
Ｓ４１において、制御部１０（方向変化量算出部１３ａ）は、並べ替え後の複数のフレーム画像に基づき、ユーザＰごとの方向変化量を算出する。ここで、方向変化量とは、時間経過に伴うユーザＰの見ている方向の変化の大きさを表すものをいう。具体的には、ユーザＰが激しくきょろきょろしている場合には、きょろきょろしている度合いが高く、制御部１０は、方向変化量を高く算出する。
Ｓ４２において、制御部１０（移動速度算出部１３ｂ）は、並べ替え後の複数のフレーム画像に基づき、ユーザＰごとの移動速度を算出する。制御部１０は、複数のフレーム画像のユーザＰの位置の変化に基づいて、移動速度を算出できる。なお、制御部１０は、移動速度として、規定範囲より速いか否かを算出するものであってもよい。
Ｓ４３において、制御部１０（移動方向算出部１３ｃ）は、並べ替え後の複数のフレーム画像に基づき、ユーザＰごとの移動方向を算出する。制御部１０は、複数のフレーム画像のユーザＰの位置の変化に基づいて、移動方向を算出できる。
Ｓ４４において、制御部１０（ユーザ決定処理部１３）は、並べ替え後の複数のフレーム画像に基づき、ユーザＰごとに最も多く表れていた表情を判別する。
Ｓ４３において、制御部１０（移動方向算出部１３ｃ）は、並べ替え後の複数のフレーム画像に基づき、ユーザＰごとの移動方向を算出する。制御部１０は、複数のフレーム画像のユーザＰの位置の変化に基づいて、移動方向を算出できる。
Ｓ４４において、制御部１０（ユーザ決定処理部１３）は、並べ替え後の複数のフレーム画像に基づき、ユーザＰごとに最も多く表れていた表情を判別する。
Ｓ４５において、制御部１０（案内判断部１３ｄ）は、各指標に基づいて、声掛け優先度を算出する。
ここで、声掛け優先度は、方向変化量と、ユーザＰの位置と、移動速度と、表情とに対して各々重み付けをして算出された度合いである。この例では、困っているユーザＰを優先して声掛けをするので、重み付けの度合いは、方向変化量に対するものを最も高くする。そして、制御部１０は、方向変化量が大きく、移動速度が小さく、表情がネガティブである場合には、声掛け優先度が最も高くなるように重み付けをする。また、制御部１０は、ユーザＰとコミュニケーションロボット１との距離が、規定範囲（例えば、１０ｍ）内である場合に、そのユーザＰを声掛け対象にする。
ここで、声掛け優先度は、方向変化量と、ユーザＰの位置と、移動速度と、表情とに対して各々重み付けをして算出された度合いである。この例では、困っているユーザＰを優先して声掛けをするので、重み付けの度合いは、方向変化量に対するものを最も高くする。そして、制御部１０は、方向変化量が大きく、移動速度が小さく、表情がネガティブである場合には、声掛け優先度が最も高くなるように重み付けをする。また、制御部１０は、ユーザＰとコミュニケーションロボット１との距離が、規定範囲（例えば、１０ｍ）内である場合に、そのユーザＰを声掛け対象にする。
Ｓ４６において、制御部１０（案内判断部１３ｄ）は、声掛け優先度に基づいて声掛けするユーザＰを決定する。
なお、ユーザＰが、方向変化量が小さい場合には、移動速度が遅く、表情がネガティブであっても優先度が小さい値になる。そのような場合、つまり、優先度が所定値未満であれば、制御部１０は、声掛けするユーザＰがいないと判断してもよい。
その後、制御部１０は、本処理を終了し、処理を図４に移す。
なお、ユーザＰが、方向変化量が小さい場合には、移動速度が遅く、表情がネガティブであっても優先度が小さい値になる。そのような場合、つまり、優先度が所定値未満であれば、制御部１０は、声掛けするユーザＰがいないと判断してもよい。
その後、制御部１０は、本処理を終了し、処理を図４に移す。
図４に戻り、Ｓ１４において、制御部１０（ユーザ決定処理部１３）は、ユーザ決定処理によりユーザＰが決定されたか否かを判断する。ユーザＰが決定された場合（Ｓ１４：ＹＥＳ）には、制御部１０は、処理をＳ１５に移す。他方、ユーザＰが決定されなかった場合（Ｓ１４：ＮＯ）には、制御部１０は、本処理を終了する。
Ｓ１５において、制御部１０（属性判別部１２ｄ）は、決定したユーザＰの属性を判別する。具体的には、制御部１０は、フレーム画像から抽出したユーザＰの画像から、おおよその年齢等を判別する。制御部１０は、年齢を判別せずとも、子供であるか、大人であるかを判別するものであってもよい。その場合には、制御部１０は、ユーザＰの画像から身長を推定して、子供か否かを判別してもよい。
Ｓ１５において、制御部１０（属性判別部１２ｄ）は、決定したユーザＰの属性を判別する。具体的には、制御部１０は、フレーム画像から抽出したユーザＰの画像から、おおよその年齢等を判別する。制御部１０は、年齢を判別せずとも、子供であるか、大人であるかを判別するものであってもよい。その場合には、制御部１０は、ユーザＰの画像から身長を推定して、子供か否かを判別してもよい。
Ｓ１６において、制御部１０（案内データ抽出部１５）は、図６のＳ４４で判別したユーザＰの表情及びＳ１５で判別した属性に基づいて、案内データ記憶部２２（図３）を参照して案内データを抽出する。
Ｓ１７において、制御部１０（移動制御部１６）は、移動処理を行う。移動処理として、制御部１０は、図６のＳ４２及びＳ４３で算出したユーザＰの移動速度及び移動方向に基づき、モータ部３３（足部モータ３３ｂ）を制御して、ユーザＰに近づくようにコミュニケーションロボット１を移動させる。
Ｓ１８において、制御部１０（案内部１７）は、案内処理を行う。案内処理として、制御部１０は、移動後にユーザＰに対して話しかける（声掛けする）ように、Ｓ１６で抽出した案内データを、スピーカ３２を介して出力する。
Ｓ１７において、制御部１０（移動制御部１６）は、移動処理を行う。移動処理として、制御部１０は、図６のＳ４２及びＳ４３で算出したユーザＰの移動速度及び移動方向に基づき、モータ部３３（足部モータ３３ｂ）を制御して、ユーザＰに近づくようにコミュニケーションロボット１を移動させる。
Ｓ１８において、制御部１０（案内部１７）は、案内処理を行う。案内処理として、制御部１０は、移動後にユーザＰに対して話しかける（声掛けする）ように、Ｓ１６で抽出した案内データを、スピーカ３２を介して出力する。
Ｓ１９において、制御部１０は、案内後処理を行う。
ここで、案内後処理について、図７に基づき説明する。
図７のＳ５０において、制御部１０（画像取得部１１）は、カメラ３１を介して、案内データを出力後のユーザＰを含むフレーム画像を取得する。
Ｓ５１において、制御部１０（表情判別部１２ｃ）は、取得したフレーム画像を分析して顔の表情を判別する。
Ｓ５２において、制御部１０（表情比較部１８）は、表情比較処理を行う。表情比較処理として、制御部１０は、案内データの出力前の顔の表情（図６のＳ４４での処理）と、Ｓ５１で取得した顔の表情とを比較する。
ここで、案内後処理について、図７に基づき説明する。
図７のＳ５０において、制御部１０（画像取得部１１）は、カメラ３１を介して、案内データを出力後のユーザＰを含むフレーム画像を取得する。
Ｓ５１において、制御部１０（表情判別部１２ｃ）は、取得したフレーム画像を分析して顔の表情を判別する。
Ｓ５２において、制御部１０（表情比較部１８）は、表情比較処理を行う。表情比較処理として、制御部１０は、案内データの出力前の顔の表情（図６のＳ４４での処理）と、Ｓ５１で取得した顔の表情とを比較する。
Ｓ５３において、制御部１０（案内データ抽出部１５）は、表情の比較結果に応じた案内データを、案内データ記憶部２２（図３）から抽出する。
Ｓ５４において、制御部１０（案内部１７）は、案内処理として、Ｓ５３において抽出した案内データを、スピーカ３２を介して出力させる。その後、制御部１０は、処理を図４に移す。
図４に戻り、制御部１０は、本処理を終了する。
Ｓ５４において、制御部１０（案内部１７）は、案内処理として、Ｓ５３において抽出した案内データを、スピーカ３２を介して出力させる。その後、制御部１０は、処理を図４に移す。
図４に戻り、制御部１０は、本処理を終了する。
＜具体例の説明＞
ここで、この案内ロボット制御システム１００を用いた具体例について説明する。
図８は、第１実施形態に係る案内ロボット制御システム１００の具体例を示す図である。
まず、コミュニケーションロボット１の制御部１０は、図８（Ａ）に示すような、迷子になり、きょろきょろしている子供Ｃ１のフレーム画像を取得する（図４のＳ１０）ことで、声掛け対象であると判断する（図４のＳ１４がＹＥＳ）。
次に、制御部１０は、案内データ記憶部２２（図３参照）から、属性が子供であり、表情がネガティブである場合の、声掛け時の案内データを抽出する（図４のＳ１６）。
そして、図８（Ａ）及び（Ｂ）に示すように、制御部１０は、子供Ｃ１の位置に向かって移動して（図４のＳ１７）、抽出した案内データを、スピーカ３２を介して出力する（図４のＳ１８）。
ここで、この案内ロボット制御システム１００を用いた具体例について説明する。
図８は、第１実施形態に係る案内ロボット制御システム１００の具体例を示す図である。
まず、コミュニケーションロボット１の制御部１０は、図８（Ａ）に示すような、迷子になり、きょろきょろしている子供Ｃ１のフレーム画像を取得する（図４のＳ１０）ことで、声掛け対象であると判断する（図４のＳ１４がＹＥＳ）。
次に、制御部１０は、案内データ記憶部２２（図３参照）から、属性が子供であり、表情がネガティブである場合の、声掛け時の案内データを抽出する（図４のＳ１６）。
そして、図８（Ａ）及び（Ｂ）に示すように、制御部１０は、子供Ｃ１の位置に向かって移動して（図４のＳ１７）、抽出した案内データを、スピーカ３２を介して出力する（図４のＳ１８）。
これにより、コミュニケーションロボット１は、子供Ｃ１の状態を、子供Ｃ１の動作や表情によって推測して、子供Ｃ１の意図に合った声掛けをすることができる。
その後、制御部１０は、子供Ｃ１のフレーム画像を取得し、図８（Ｃ）に示すように、子供Ｃ１の表情がネガティブのままであれば、制御部１０は、案内データ記憶部２２から声掛け後の該当の表情の案内データを抽出して、スピーカ３２を介して出力する（図４のＳ１９）。
その後、制御部１０は、子供Ｃ１のフレーム画像を取得し、図８（Ｃ）に示すように、子供Ｃ１の表情がネガティブのままであれば、制御部１０は、案内データ記憶部２２から声掛け後の該当の表情の案内データを抽出して、スピーカ３２を介して出力する（図４のＳ１９）。
このように、第１実施形態の案内ロボット制御システム１００によれば、以下のような効果がある。
（１）複数のフレーム画像からユーザＰの見ている方向の変化量を算出する。方向変化量は、ユーザＰがきょろきょろしているような場合には、大きい値になるので、コミュニケーションロボット１は、そのユーザＰが困っていると判断して声掛けをする。よって、ユーザＰの見ている方向の変化量の大きさによって、困っているか否かというユーザＰの状態を推測し、困っていると推測したユーザＰに対して、コミュニケーションロボット１がユーザＰの意図に合った声掛けを優先的に行うことができる。
（１）複数のフレーム画像からユーザＰの見ている方向の変化量を算出する。方向変化量は、ユーザＰがきょろきょろしているような場合には、大きい値になるので、コミュニケーションロボット１は、そのユーザＰが困っていると判断して声掛けをする。よって、ユーザＰの見ている方向の変化量の大きさによって、困っているか否かというユーザＰの状態を推測し、困っていると推測したユーザＰに対して、コミュニケーションロボット１がユーザＰの意図に合った声掛けを優先的に行うことができる。
（２）ユーザＰの位置とコミュニケーションロボット１の位置とが、規定範囲内である場合には、コミュニケーションロボット１がユーザＰに対して声掛けをする。よって、近くにいるユーザＰに対して、コミュニケーションロボット１が優先的に話しかけることができる。
（３）ユーザＰの移動速度が規定範囲内である場合には、コミュニケーションロボット１がユーザＰに対して声掛けをする。よって、ユーザＰがゆっくり歩いていたり、立ち止まったりする場合に、コミュニケーションロボット１が優先的に話しかけることができる。
（４）ユーザＰの移動位置を推測して、コミュニケーションロボット１が近づくことで、ユーザＰに対するコミュニケーションロボット１による話しかけが、より自然に行われるようにできる。
（３）ユーザＰの移動速度が規定範囲内である場合には、コミュニケーションロボット１がユーザＰに対して声掛けをする。よって、ユーザＰがゆっくり歩いていたり、立ち止まったりする場合に、コミュニケーションロボット１が優先的に話しかけることができる。
（４）ユーザＰの移動位置を推測して、コミュニケーションロボット１が近づくことで、ユーザＰに対するコミュニケーションロボット１による話しかけが、より自然に行われるようにできる。
（５）ユーザＰの表情に基づいて、案内データを選定して、コミュニケーションロボット１が、ユーザＰに対して声掛けをする。よって、コミュニケーションロボット１は、ユーザＰの表情に合った内容の案内による話しかけをすることができる。
（６）声掛け前後のユーザＰの表情の変化に基づいて、コミュニケーションロボット１は、さらに次の案内をする。よって、コミュニケーションロボット１は、よりコミュニケーションがとれた内容の話しかけをすることができる。
（６）声掛け前後のユーザＰの表情の変化に基づいて、コミュニケーションロボット１は、さらに次の案内をする。よって、コミュニケーションロボット１は、よりコミュニケーションがとれた内容の話しかけをすることができる。
（７）ユーザＰの年齢等の属性をフレーム画像から判別して、ユーザＰの属性に対応する案内データを選定して、コミュニケーションロボット１が、ユーザＰに対して声掛けをする。よって、ユーザＰの属性に合った内容の案内による話しかけをすることができる。
（８）フレーム画像の取得から案内データの出力までの全ての処理を、コミュニケーションロボット１が行うことができる。よって、コミュニケーションロボット１のみを準備すればよく、設置を容易に行うことができる。
（８）フレーム画像の取得から案内データの出力までの全ての処理を、コミュニケーションロボット１が行うことができる。よって、コミュニケーションロボット１のみを準備すればよく、設置を容易に行うことができる。
（第２実施形態）
第２実施形態では、コミュニケーションロボットにユーザの呼び込みを行わせるものについて説明する。なお、以降の説明において、上述した第１実施形態と同様の機能を果たす部分には、同一の符号又は末尾に同一の符号を付して、重複する説明を適宜省略する。
第２実施形態では、コミュニケーションロボットにユーザの呼び込みを行わせるものについて説明する。なお、以降の説明において、上述した第１実施形態と同様の機能を果たす部分には、同一の符号又は末尾に同一の符号を付して、重複する説明を適宜省略する。
＜案内ロボット制御システム２００＞
図９は、第２実施形態に係る案内ロボット制御システム２００の運用に適する場面例を示す図である。
図１０は、第２実施形態に係る案内ロボット制御システム２００の機能ブロック図である。
図１１は、第２実施形態に係るコミュニケーションロボット２０１の案内データ記憶部２２２の例を示す図である。
図９は、第２実施形態に係る案内ロボット制御システム２００の運用に適する場面例を示す図である。
図１０は、第２実施形態に係る案内ロボット制御システム２００の機能ブロック図である。
図１１は、第２実施形態に係るコミュニケーションロボット２０１の案内データ記憶部２２２の例を示す図である。
案内ロボット制御システム２００は、コミュニケーションロボット２０１を、例えば、展示ブースや店舗の出入口等のスペース２００Ｓの入口に配置する。そして、案内ロボット制御システム２００は、ユーザＰ（この例では、ユーザＰ４）に対してスペース２００Ｓへの入室等をさせるための呼び込みを、コミュニケーションロボット２０１が行うために用いるシステムである。
案内ロボット制御システム２００は、コミュニケーションロボット２０１と、カメラ２０５とを備える。コミュニケーションロボット２０１と、カメラ２０５とは、スペース２００Ｓの入口付近に設置される。
案内ロボット制御システム２００は、コミュニケーションロボット２０１と、カメラ２０５とを備える。コミュニケーションロボット２０１と、カメラ２０５とは、スペース２００Ｓの入口付近に設置される。
カメラ２０５は、この例では、監視カメラである。カメラ２０５は、スペース２００Ｓを通りかかるユーザＰのフレーム画像を取得して、コミュニケーションロボット２０１に対してフレーム画像を送信する。
コミュニケーションロボット２０１は、カメラ２０５から受信したユーザＰのフレーム画像を分析し、声掛け対象のユーザＰを判断して、ユーザＰに対して案内をする。コミュニケーションロボット２０１は、カメラ２０５の前を通り過ぎるユーザＰに対して、スペース２００Ｓに対する興味がありそうか否かを判断して声掛けをする。
コミュニケーションロボット２０１は、カメラ２０５から受信したユーザＰのフレーム画像を分析し、声掛け対象のユーザＰを判断して、ユーザＰに対して案内をする。コミュニケーションロボット２０１は、カメラ２０５の前を通り過ぎるユーザＰに対して、スペース２００Ｓに対する興味がありそうか否かを判断して声掛けをする。
＜コミュニケーションロボット２０１＞
図１０に示すように、コミュニケーションロボット２０１は、制御部２１０と、記憶部２２０と、スピーカ３２と、モータ部３３とを備える。
制御部２１０は、画像受付部２１１（画像取得手段）と、画像分析部２１２と、ユーザ決定処理部２１３と、顔データ照合部（顔照合手段）２１４と、案内データ抽出部２１５と、移動制御部１６と、案内部１７と、表情比較部１８とを備える。
画像受付部２１１は、カメラ２０５が送信したフレーム画像を受信することで、フレーム画像を受け付ける。
図１０に示すように、コミュニケーションロボット２０１は、制御部２１０と、記憶部２２０と、スピーカ３２と、モータ部３３とを備える。
制御部２１０は、画像受付部２１１（画像取得手段）と、画像分析部２１２と、ユーザ決定処理部２１３と、顔データ照合部（顔照合手段）２１４と、案内データ抽出部２１５と、移動制御部１６と、案内部１７と、表情比較部１８とを備える。
画像受付部２１１は、カメラ２０５が送信したフレーム画像を受信することで、フレーム画像を受け付ける。
画像分析部２１２は、画像受付部２１１が受け付けたフレーム画像を分析する。画像分析部２１２は、方向取得部２１２ａ（ユーザ方向取得手段）と、距離算出部１２ｂと、表情判別部２１２ｃと、顔取得部２１２ｅ（顔取得手段）とを備える。
方向取得部２１２ａは、フレーム画像を分析してユーザＰを特定し、ユーザＰごとにそのユーザＰの見ている方向を判別して、ユーザＰの見ている方向を取得する。
表情判別部２１２ｃは、顔取得部２１２ｅが取得したユーザＰの顔データに基づいて、そのユーザＰの顔の表情を判別する。
顔取得部２１２ｅは、フレーム画像に含まれるユーザＰごとに、そのユーザＰの顔データを取得する。
方向取得部２１２ａは、フレーム画像を分析してユーザＰを特定し、ユーザＰごとにそのユーザＰの見ている方向を判別して、ユーザＰの見ている方向を取得する。
表情判別部２１２ｃは、顔取得部２１２ｅが取得したユーザＰの顔データに基づいて、そのユーザＰの顔の表情を判別する。
顔取得部２１２ｅは、フレーム画像に含まれるユーザＰごとに、そのユーザＰの顔データを取得する。
ユーザ決定処理部２１３は、画像分析部２１２によって分析されたフレーム画像に基づき、時間経過に伴う変化によって、声掛けをするユーザＰを決定する。ユーザ決定処理部２１３は、移動速度算出部１３ｂと、移動方向算出部１３ｃと、案内判断部２１３ｄとを備える。
案内判断部２１３ｄは、方向取得部２１２ａにより取得したユーザＰの見ている方向、移動方向算出部１３ｃにより算出した移動方向等に基づいて、声掛けするユーザＰを決定する。
顔データ照合部２１４は、顔データ記憶部２２４に記憶された顔データと、顔取得部２１２ｅにより取得した顔データとを照合する。
案内データ抽出部２１５は、ユーザ決定処理部２１３により決定したユーザＰに対して案内する案内データを、案内データ記憶部２２２から抽出する。その際、案内データ抽出部２１５は、顔データ照合部２１４により照合できた場合には、前回とは異なる案内データを抽出する。
案内判断部２１３ｄは、方向取得部２１２ａにより取得したユーザＰの見ている方向、移動方向算出部１３ｃにより算出した移動方向等に基づいて、声掛けするユーザＰを決定する。
顔データ照合部２１４は、顔データ記憶部２２４に記憶された顔データと、顔取得部２１２ｅにより取得した顔データとを照合する。
案内データ抽出部２１５は、ユーザ決定処理部２１３により決定したユーザＰに対して案内する案内データを、案内データ記憶部２２２から抽出する。その際、案内データ抽出部２１５は、顔データ照合部２１４により照合できた場合には、前回とは異なる案内データを抽出する。
記憶部２２０は、プログラム記憶部２１と、案内データ記憶部２２２と、画像データ記憶部２３と、顔データ記憶部２２４とを備える。
プログラム記憶部２１は、上述した制御部２１０の各種機能を実行するための制御プログラム２２１ａを記憶している。
案内データ記憶部２２２は、図１１に示すように、ユーザＰの顔の表情に対応付けて、声掛けをする案内データを記憶している。また、声掛け後のユーザＰの顔の表情に対応付けて、次の案内データを記憶している。
顔データ記憶部２２４は、顔データを記憶する記憶領域である。顔データ記憶部２２４は、案内データを出力した場合に、顔取得部２１２ｅが取得した顔データと、出力した案内データとを対応付けて記憶する。
プログラム記憶部２１は、上述した制御部２１０の各種機能を実行するための制御プログラム２２１ａを記憶している。
案内データ記憶部２２２は、図１１に示すように、ユーザＰの顔の表情に対応付けて、声掛けをする案内データを記憶している。また、声掛け後のユーザＰの顔の表情に対応付けて、次の案内データを記憶している。
顔データ記憶部２２４は、顔データを記憶する記憶領域である。顔データ記憶部２２４は、案内データを出力した場合に、顔取得部２１２ｅが取得した顔データと、出力した案内データとを対応付けて記憶する。
＜カメラ２０５＞
カメラ２０５は、例えば、Ｗｅｂカメラに代表されるライブカメラである。カメラ２０５は、ステレオカメラであってもよい。ステレオカメラとは、複数個のレンズで微妙にずれた位置から同時に撮影し、視差を生み出すことによって、物体の奥行きに関する情報を取得できるようにしたカメラをいう。
カメラ２０５は、画像取得部２５１と、画像送信部２５２とを備える。
画像取得部２５１は、フレーム画像を取得する制御部である。
画像送信部２５２は、取得したフレーム画像を、通信ネットワークＮを介して送信する制御部である。
コミュニケーションロボット２０１と、カメラ２０５とは、通信ネットワークＮを介して通信可能に接続されている。通信ネットワークＮは、例えば、インターネット回線や携帯端末通信網等である。また、通信ネットワークＮは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に基づく短距離無線通信等を用いるものであってもよい。
カメラ２０５は、例えば、Ｗｅｂカメラに代表されるライブカメラである。カメラ２０５は、ステレオカメラであってもよい。ステレオカメラとは、複数個のレンズで微妙にずれた位置から同時に撮影し、視差を生み出すことによって、物体の奥行きに関する情報を取得できるようにしたカメラをいう。
カメラ２０５は、画像取得部２５１と、画像送信部２５２とを備える。
画像取得部２５１は、フレーム画像を取得する制御部である。
画像送信部２５２は、取得したフレーム画像を、通信ネットワークＮを介して送信する制御部である。
コミュニケーションロボット２０１と、カメラ２０５とは、通信ネットワークＮを介して通信可能に接続されている。通信ネットワークＮは、例えば、インターネット回線や携帯端末通信網等である。また、通信ネットワークＮは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に基づく短距離無線通信等を用いるものであってもよい。
＜コミュニケーションロボット２０１の処理＞
次に、コミュニケーションロボット２０１の処理について説明する。
図１２は、第２実施形態に係るコミュニケーションロボット２０１でのロボット制御処理を示すフローチャートである。
図１３は、第２実施形態に係るコミュニケーションロボット２０１での画像分析処理を示すフローチャートである。
図１４は、第２実施形態に係るコミュニケーションロボット２０１でのユーザ決定処理を示すフローチャートである。
次に、コミュニケーションロボット２０１の処理について説明する。
図１２は、第２実施形態に係るコミュニケーションロボット２０１でのロボット制御処理を示すフローチャートである。
図１３は、第２実施形態に係るコミュニケーションロボット２０１での画像分析処理を示すフローチャートである。
図１４は、第２実施形態に係るコミュニケーションロボット２０１でのユーザ決定処理を示すフローチャートである。
図１２のＳ２１０において、コミュニケーションロボット２０１の制御部２１０（画像受付部２１１）は、カメラ２０５が送信したフレーム画像を受信する。そして、制御部２１０は、受信したフレーム画像を、画像データ記憶部２３に記憶させる。
Ｓ２１１において、制御部２１０（画像分析部２１２）は、画像データ記憶部２３に記憶されたフレーム画像を分析する画像分析処理を行う。
ここで、画像分析処理について、図１３に基づき説明する。
Ｓ２１１において、制御部２１０（画像分析部２１２）は、画像データ記憶部２３に記憶されたフレーム画像を分析する画像分析処理を行う。
ここで、画像分析処理について、図１３に基づき説明する。
図１３のＳ２３０において、制御部２１０（方向取得部２１２ａ）は、フレーム画像に含まれるユーザＰを検出し、ユーザＰの見ている方向を取得する。例えば、フレーム画像に２人のユーザＰ１，Ｐ２が含まれる場合には、制御部２１０は、ユーザＰ１及びＰ２を検出し、各々のユーザＰの見ている方向を取得する。
ユーザＰの検出としては、様々な公知の手法があるが、例えば、動体検知の手法を用いることができる。動体検知の手法は、予め、ユーザＰが写っていないフレーム画像を、背景画像データとして記憶しておき、背景画像データと、処理対象のフレーム画像との差分を求めることで、動体であるユーザＰを検出するものである。また、ＨＯＧ特徴量を用いた人検出等を用いることもできる。ＨＯＧ特徴量を用いた人検出に関しては、「Ｎ． Ｄａｌａｌ ａｎｄ Ｂ．Ｔｒｉｇｇｓ． Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ． Ｉｎ ＣＶＰＲ， ｐａｇｅｓ ８８６−８９３， ２００５」に記載されている。
ユーザＰの検出としては、様々な公知の手法があるが、例えば、動体検知の手法を用いることができる。動体検知の手法は、予め、ユーザＰが写っていないフレーム画像を、背景画像データとして記憶しておき、背景画像データと、処理対象のフレーム画像との差分を求めることで、動体であるユーザＰを検出するものである。また、ＨＯＧ特徴量を用いた人検出等を用いることもできる。ＨＯＧ特徴量を用いた人検出に関しては、「Ｎ． Ｄａｌａｌ ａｎｄ Ｂ．Ｔｒｉｇｇｓ． Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ． Ｉｎ ＣＶＰＲ， ｐａｇｅｓ ８８６−８９３， ２００５」に記載されている。
また、ユーザＰの見ている方向として、制御部２１０は、例えば、ユーザＰの顔の向きを取得する。ユーザＰの顔の向きは、顔検出の手法を用いて、制御部２１０（顔取得部２１２ｅ）によって顔が検出ができた場合に、カメラ２０５に対して正面方向であるとするものである。顔検出の手法としては、様々な公知の手法があるが、例えば、Ｈａａｒ−ｌｉｋｅ特徴を用いた顔検出を用いることができる。Ｈａａｒ−ｌｉｋｅ特徴を用いた顔検出に関しては、「Ｐ． Ｖｉｏｌａ ａｎｄ Ｍ． Ｊ． Ｊｏｎｅｓ： “Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２００１ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ｐｐ．５１１−５１８， （２００１）．」に記載されている。
なお、制御部２１０は、フレーム画像から顔画像を検出し、その中から目を抽出して、眼球と瞳孔との相対位置に基づいてユーザＰの見ている方向を取得してもよい。
なお、制御部２１０は、フレーム画像から顔画像を検出し、その中から目を抽出して、眼球と瞳孔との相対位置に基づいてユーザＰの見ている方向を取得してもよい。
Ｓ２３１及びＳ２３２の処理は、第１実施形態（図５）のＳ３２及びＳ３３の処理と同様である。なお、Ｓ２３２では、制御部２１０（顔取得部２１２ｅ）が顔データを取得し、取得した顔データに基づいて、制御部２１０（表情判別部２１２ｃ）が表情を判別する。その後、制御部２１０は、処理を図１２に移す。
図１２に戻り、Ｓ２１２において、制御部２１０（ユーザ決定処理部２１３）は、ユーザ決定処理を行う。
ここで、ユーザ決定処理について、図１４に基づき説明する。
図１４のＳ２４０において、制御部２１０は、画像分析処理をしたフレーム画像を時系列に並べる。
Ｓ２４１において、制御部２１０（方向取得部２１２ａ）は、並べ替え後の複数のフレーム画像に基づき、ユーザＰごとの見ている方向を取得する。ここでは、複数のフレーム画像において、ユーザＰが見ている方向が同じ方向である場合に、制御部２１０は、その方向を、見ている方向として取得する。よって、例えば、ユーザＰがきょろきょろしている場合には、制御部２１０は、見ている方向を取得しない。
ここで、ユーザ決定処理について、図１４に基づき説明する。
図１４のＳ２４０において、制御部２１０は、画像分析処理をしたフレーム画像を時系列に並べる。
Ｓ２４１において、制御部２１０（方向取得部２１２ａ）は、並べ替え後の複数のフレーム画像に基づき、ユーザＰごとの見ている方向を取得する。ここでは、複数のフレーム画像において、ユーザＰが見ている方向が同じ方向である場合に、制御部２１０は、その方向を、見ている方向として取得する。よって、例えば、ユーザＰがきょろきょろしている場合には、制御部２１０は、見ている方向を取得しない。
Ｓ２４２からＳ２４４までの処理は、第１実施形態（図６）のＳ４２からＳ４４までの処理と同様である。なお、ユーザＰごとの移動方向の算出においては、例えば、Ｍｅａｎ−ｓｈｉｆｔ特徴を用いた人体トラッキングを用いることができる。Ｍｅａｎ−ｓｈｉｆｔ特徴を用いた人体トラッキングに関しては、「Ｃｏｌｌｉｎｓ Ｒ．： ‘Ｍｅａｎ−Ｓｈｉｆｔ Ｂｌｏｂ Ｔｒａｃｋｉｎｇ ｔｈｒｏｕｇｈ Ｓｃａｌｅ Ｓｐａｃｅ’， Ｐｒｏｃ． ＩＥＥＥ Ｃｏｎｆ． Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， Ｗｉｓｃｏｎｓｉｎ， ＵＳＡ， ２００３， ｐｐ． ２３４−２４０．」に記載されている。
Ｓ２４５において、制御部２１０（案内判断部２１３ｄ）は、各指標に基づいて、声掛け優先度を算出する。
ここで、声掛け優先度は、ユーザＰの見ている方向と、移動方向と、ユーザＰの位置と、移動速度とに対して各々重み付けをして算出された度合いである。この例では、スペース２００Ｓに興味を持っているが、通り過ぎようとしているユーザＰを優先して声掛けをするので、重み付けの度合いは、ユーザＰの見ている方向と、移動方向が異なる方向であり、ユーザＰが正面方向（カメラ２０５の方向）を向いている場合を、最も高くする。そして、制御部２１０は、上記の条件を満たし、移動速度が遅い場合には、声掛け優先度が最も高くなるように重み付けをする。また、制御部２１０は、ユーザＰとコミュニケーションロボット２０１との距離が、規定範囲（例えば、５ｍ）内である場合に、そのユーザＰを声掛け対象にする。
Ｓ２４６において、制御部２１０（案内判断部２１３ｄ）は、声掛け優先度に基づいて声掛けするユーザＰを決定する。
ここで、声掛け優先度は、ユーザＰの見ている方向と、移動方向と、ユーザＰの位置と、移動速度とに対して各々重み付けをして算出された度合いである。この例では、スペース２００Ｓに興味を持っているが、通り過ぎようとしているユーザＰを優先して声掛けをするので、重み付けの度合いは、ユーザＰの見ている方向と、移動方向が異なる方向であり、ユーザＰが正面方向（カメラ２０５の方向）を向いている場合を、最も高くする。そして、制御部２１０は、上記の条件を満たし、移動速度が遅い場合には、声掛け優先度が最も高くなるように重み付けをする。また、制御部２１０は、ユーザＰとコミュニケーションロボット２０１との距離が、規定範囲（例えば、５ｍ）内である場合に、そのユーザＰを声掛け対象にする。
Ｓ２４６において、制御部２１０（案内判断部２１３ｄ）は、声掛け優先度に基づいて声掛けするユーザＰを決定する。
なお、ユーザＰが正面方向を向いていない場合には、ユーザＰの見ている方向と、移動方向が異なる方向であって、ユーザＰとコミュニケーションロボット２０１との距離が、規定範囲内であっても、制御部２１０は、声掛けするユーザＰがいないと判断してもよい。
その後、制御部２１０は、本処理を終了し、処理を図１２に移す。
その後、制御部２１０は、本処理を終了し、処理を図１２に移す。
図１２に戻り、Ｓ２１３において、制御部２１０（ユーザ決定処理部２１３）は、ユーザ決定処理によりユーザＰが決定されたか否かを判断する。ユーザＰが決定された場合（Ｓ２１３：ＹＥＳ）には、制御部２１０は、処理をＳ２１４に移す。他方、ユーザＰが決定されなかった場合（Ｓ２１３：ＮＯ）には、制御部２１０は、本処理を終了する。
Ｓ２１４において、制御部２１０（顔データ照合部２１４）は、図１３のＳ２３２において取得した顔データを、顔データ記憶部２２４の顔データと照合する。
Ｓ２１５において、制御部２１０（顔データ照合部２１４）は、照合できたか否かを判断する。照合できた場合（Ｓ２１５：ＹＥＳ）には、制御部２１０は、処理をＳ２１６に移す。他方、照合できなかった場合（Ｓ２１５：ＮＯ）には、制御部２１０は、処理をＳ２１６ａに移す。なお、照合できた場合とは、過去にそのユーザＰに対する声掛けをした場合である。
Ｓ２１４において、制御部２１０（顔データ照合部２１４）は、図１３のＳ２３２において取得した顔データを、顔データ記憶部２２４の顔データと照合する。
Ｓ２１５において、制御部２１０（顔データ照合部２１４）は、照合できたか否かを判断する。照合できた場合（Ｓ２１５：ＹＥＳ）には、制御部２１０は、処理をＳ２１６に移す。他方、照合できなかった場合（Ｓ２１５：ＮＯ）には、制御部２１０は、処理をＳ２１６ａに移す。なお、照合できた場合とは、過去にそのユーザＰに対する声掛けをした場合である。
Ｓ２１６において、制御部２１０は、顔データ記憶部２２４及び案内データ記憶部２２２を参照し、出力済の案内データとは異なる案内データであって、ユーザＰの表情に対応した案内データを、案内データ記憶部２２２から抽出する。
他方、Ｓ２１６ａにおいて、制御部２１０は、案内データ記憶部２２２を参照し、ユーザＰの表情に対応した案内データを抽出する。
Ｓ２１７及びＳ２１８の処理は、第１実施形態（図４）のＳ１７及びＳ１８の処理と同様である。
Ｓ２１９において、制御部２１０は、ユーザＰの顔データと、出力した案内データとを対応付けて、顔データ記憶部２２４に記憶させる。
Ｓ２２０において、制御部２１０は、案内後処理を行う。案内後処理は、第１実施形態（図７）と同様である。その後、制御部２１０は、本処理を終了する。
他方、Ｓ２１６ａにおいて、制御部２１０は、案内データ記憶部２２２を参照し、ユーザＰの表情に対応した案内データを抽出する。
Ｓ２１７及びＳ２１８の処理は、第１実施形態（図４）のＳ１７及びＳ１８の処理と同様である。
Ｓ２１９において、制御部２１０は、ユーザＰの顔データと、出力した案内データとを対応付けて、顔データ記憶部２２４に記憶させる。
Ｓ２２０において、制御部２１０は、案内後処理を行う。案内後処理は、第１実施形態（図７）と同様である。その後、制御部２１０は、本処理を終了する。
＜具体例の説明＞
次に、この案内ロボット制御システム２００を用いた具体例について説明する。
図１５は、第２実施形態に係る案内ロボット制御システム２００の具体例を示す図である。
コミュニケーションロボット２０１及びカメラ２０５は、スペース２００Ｓの入口付近に設置されている。そして、カメラ２０５の画像取得部２５１は、フレーム画像を随時取得し、画像送信部２５２は、取得したフレーム画像を、コミュニケーションロボット２０１に対して随時送信している。
次に、この案内ロボット制御システム２００を用いた具体例について説明する。
図１５は、第２実施形態に係る案内ロボット制御システム２００の具体例を示す図である。
コミュニケーションロボット２０１及びカメラ２０５は、スペース２００Ｓの入口付近に設置されている。そして、カメラ２０５の画像取得部２５１は、フレーム画像を随時取得し、画像送信部２５２は、取得したフレーム画像を、コミュニケーションロボット２０１に対して随時送信している。
制御部２１０は、図１５（Ａ）に示すように、スペース２００Ｓの前を歩いており、顔の向きがコミュニケーションロボット２０１を向いているユーザＰ４を、声掛け対象とする（図１２のＳ２１３がＹＥＳ）。
次に、制御部２１０は、取得した顔データが顔データ記憶部２２４に記憶されているか否かを判断し、記憶されていないと判断した場合に、案内データ記憶部２２２（図１１参照）から、表情に対応した声掛け時の案内データを抽出する（図１２のＳ２１６ａ）。そして、コミュニケーションロボット２０１は、抽出した案内データを、スピーカ３２を介して出力する（図１２のＳ２１８）。この例は、コミュニケーションロボット２０１は、ユーザＰ４に対して「どうぞ店内にお立ち寄りください。」と声掛けをする。
そして、そこでユーザＰ４が立ち止まってコミュニケーションロボット２０１を見た場合には、さらに声掛けをする（図１２のＳ２２０）。
次に、制御部２１０は、取得した顔データが顔データ記憶部２２４に記憶されているか否かを判断し、記憶されていないと判断した場合に、案内データ記憶部２２２（図１１参照）から、表情に対応した声掛け時の案内データを抽出する（図１２のＳ２１６ａ）。そして、コミュニケーションロボット２０１は、抽出した案内データを、スピーカ３２を介して出力する（図１２のＳ２１８）。この例は、コミュニケーションロボット２０１は、ユーザＰ４に対して「どうぞ店内にお立ち寄りください。」と声掛けをする。
そして、そこでユーザＰ４が立ち止まってコミュニケーションロボット２０１を見た場合には、さらに声掛けをする（図１２のＳ２２０）。
しばらくたって、同じユーザＰ４が、図１５（Ｂ）に示すように、スペース２００Ｓの前を歩いており、顔の向きがコミュニケーションロボット２０１を向いている場合には、制御部２１０は、ユーザＰ４を、声掛け対象とする（図１２のＳ２１３がＹＥＳ）。
次に、制御部２１０は、取得した顔データが顔データ記憶部２２４に記憶されているか否かを判断し、先ほど案内をしたユーザＰ４であると判断した場合に、案内データ記憶部２２２（図１１参照）から、表情に対応した、先ほどとは異なる声掛け時の案内データを抽出する（図１２のＳ２１６）。そして、コミュニケーションロボット２０１は、抽出した案内データを、スピーカ３２を介して出力する（図１２のＳ２１８）。この例は、コミュニケーションロボット２０１は、ユーザＰ４に対して「さっきも通ったよね？」と声掛けをする。
次に、制御部２１０は、取得した顔データが顔データ記憶部２２４に記憶されているか否かを判断し、先ほど案内をしたユーザＰ４であると判断した場合に、案内データ記憶部２２２（図１１参照）から、表情に対応した、先ほどとは異なる声掛け時の案内データを抽出する（図１２のＳ２１６）。そして、コミュニケーションロボット２０１は、抽出した案内データを、スピーカ３２を介して出力する（図１２のＳ２１８）。この例は、コミュニケーションロボット２０１は、ユーザＰ４に対して「さっきも通ったよね？」と声掛けをする。
このように、第２実施形態によれば、案内ロボット制御システム２００は、以下のような効果がある。
（１）コミュニケーションロボット２０１は、ユーザＰの見ている方向と、ユーザＰの移動方向との関係によって、そのユーザＰに声掛けをするか否かを判断して声掛けをする。よって、例えば、スペース２００Ｓの前を通り過ぎながらスペース２００Ｓの方向を見ているユーザＰに対して、このスペース２００Ｓに興味があると推測して、ユーザＰに声掛けをすることができる。
（２）コミュニケーションロボット２０１は、ユーザＰの見ている方向を、ユーザＰの顔が検出できたか否かによって取得できるので、処理を容易に行うことができる。
（１）コミュニケーションロボット２０１は、ユーザＰの見ている方向と、ユーザＰの移動方向との関係によって、そのユーザＰに声掛けをするか否かを判断して声掛けをする。よって、例えば、スペース２００Ｓの前を通り過ぎながらスペース２００Ｓの方向を見ているユーザＰに対して、このスペース２００Ｓに興味があると推測して、ユーザＰに声掛けをすることができる。
（２）コミュニケーションロボット２０１は、ユーザＰの見ている方向を、ユーザＰの顔が検出できたか否かによって取得できるので、処理を容易に行うことができる。
（３）コミュニケーションロボット２０１は、案内した相手であるユーザＰの顔データを記憶しておくので、同じユーザＰに対して、次に案内をする場合には、前回のものとは異なる案内データを出力することができる。よって、顔認証の機能を用いることで、案内を変えることができるため、異なる声掛けをすることができる。
（４）コミュニケーションロボット２０１は、カメラ２０５が取得したフレーム画像を用いて処理をするので、コミュニケーションロボット２０１が移動しても、カメラ２０５は固定されており、フレーム画像を取得する位置が変わらないので、例えば、時系列に並べた複数のフレーム画像の処理を容易に行うことができる。
（４）コミュニケーションロボット２０１は、カメラ２０５が取得したフレーム画像を用いて処理をするので、コミュニケーションロボット２０１が移動しても、カメラ２０５は固定されており、フレーム画像を取得する位置が変わらないので、例えば、時系列に並べた複数のフレーム画像の処理を容易に行うことができる。
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。
（変形形態）
（１）第１実施形態では、コミュニケーションロボットがカメラを備え、第２実施形態では、コミュニケーションロボットがカメラからフレーム画像を受信するものを例に説明したが、これに限定されない。
例えば、第１実施形態では、コミュニケーションロボットがカメラからフレーム画像を受信してもよい。その場合には、カメラの位置は、コミュニケーションロボットの近傍に限定されず、スペースの天井等に設置してもよい。また、複数台のカメラからフレーム画像を取得してもよい。
また、第２実施形態では、カメラを備えたコミュニケーションロボットを使用してもよい。その場合には、画像処理を容易に行うようにするために、コミュニケーションロボットは、移動をせずにフレーム画像の取得位置を変えない方が望ましい。
（１）第１実施形態では、コミュニケーションロボットがカメラを備え、第２実施形態では、コミュニケーションロボットがカメラからフレーム画像を受信するものを例に説明したが、これに限定されない。
例えば、第１実施形態では、コミュニケーションロボットがカメラからフレーム画像を受信してもよい。その場合には、カメラの位置は、コミュニケーションロボットの近傍に限定されず、スペースの天井等に設置してもよい。また、複数台のカメラからフレーム画像を取得してもよい。
また、第２実施形態では、カメラを備えたコミュニケーションロボットを使用してもよい。その場合には、画像処理を容易に行うようにするために、コミュニケーションロボットは、移動をせずにフレーム画像の取得位置を変えない方が望ましい。
（２）各実施形態では、コミュニケーションロボットが各種処理を行うものを例に説明したが、これに限定されない。コミュニケーションロボットに対して通信可能に接続されたサーバを備え、サーバが各種処理を行ってもよい。その場合には、コミュニケーションロボットは、少なくとも、サーバが送信した案内データを出力するスピーカと、コミュニケーションロボットが動作をするためのモータ部とを備えるものであればよい。また、コミュニケーションロボットと、サーバとの両方の装置によって各種処理を行ってもよい。
（３）各実施形態では、適宜のタイミングで取得したフレーム画像を用いるものを例に説明したが、これに限定されない。例えば、動画データを用いてもよい。その場合には、動画データから複数のフレーム画像を取得して、フレーム画像ごとに画像分析処理をすればよい。
（４）各実施形態では、取得したフレーム画像に含まれる全てのユーザに対して、画像分析処理を行うものを例に説明したが、これに限定されない。取得したフレーム画像から１のユーザを選択し、選択したユーザの画像を分析して声掛け対象にするか否かを判断してもよい。
（５）各実施形態では、案内データを出力後、案内データ出力前後でのユーザの表情を比較してさらに案内データを出力するものを例に説明したが、これに限定されない。例えば、ユーザがコミュニケーションロボットから離れるまでは、案内データを出力し続けてもよい。
（４）各実施形態では、取得したフレーム画像に含まれる全てのユーザに対して、画像分析処理を行うものを例に説明したが、これに限定されない。取得したフレーム画像から１のユーザを選択し、選択したユーザの画像を分析して声掛け対象にするか否かを判断してもよい。
（５）各実施形態では、案内データを出力後、案内データ出力前後でのユーザの表情を比較してさらに案内データを出力するものを例に説明したが、これに限定されない。例えば、ユーザがコミュニケーションロボットから離れるまでは、案内データを出力し続けてもよい。
（６）第１実施形態では、ユーザの見ている方向を、顔の方向として、首を動かしている場合に、きょろきょろしているとして方向変化量を大きくするものを説明したが、これに限定されない。例えば、ユーザの見ている方向を、目線の方向としてもよい。例えば、制御部は、フレーム画像から顔画像を検出し、その中から目を抽出することで、眼球と瞳孔との相対位置に基づいて目線の向きを取得できる。その場合、ユーザの移動方向と、顔の向きが異なり、ユーザの見ている方向がきょろきょろしている場合に、声掛け対象にすることができる。
（７）第２実施形態では、Ｗｅｂカメラやステレオカメラを用いるものを例に説明したが、これに限定されない。例えば、Ｋｉｎｅｃｔ（登録商標）に代表される深度情報を取得するセンサを有するカメラを用いてもよい。このｋｉｎｅｃｔを用いれば、フレーム画像からユーザの顔を検出し、ユーザの移動方向を算出する処理をより簡易に行うことができる。
（８）第２実施形態では、ユーザの属性に関する処理をしていないが、第１実施形態と同様に、ユーザの属性を判別して、判別したユーザの属性に対応する案内データを抽出するようにしてもよい。
（８）第２実施形態では、ユーザの属性に関する処理をしていないが、第１実施形態と同様に、ユーザの属性を判別して、判別したユーザの属性に対応する案内データを抽出するようにしてもよい。
（９）第２実施形態では、コミュニケーションロボットが以前に声掛けしたユーザと同じであると判断した場合には、以前とは異なる案内データを出力させるものを説明したが、これに限定されない。例えば、図１６に示すように、ユーザの移動方向に応じて、異なる案内データを出力させるものであってもよい。
図１６は、変形形態に係る案内ロボット制御システム３００の具体例を示す図である。
図１６（Ａ）は、スペース３００Ｓに向かって歩いており、顔の向きがコミュニケーションロボット３０１（カメラ３０５）を向いているユーザＰ５を、声掛け対象とした場合である。この場合には、コミュニケーションロボット３０１は、移動方向に対応した案内データである「いらっしゃいませ。ご案内しましょうか？」を出力して、ユーザＰ５に声掛けをする。
図１６は、変形形態に係る案内ロボット制御システム３００の具体例を示す図である。
図１６（Ａ）は、スペース３００Ｓに向かって歩いており、顔の向きがコミュニケーションロボット３０１（カメラ３０５）を向いているユーザＰ５を、声掛け対象とした場合である。この場合には、コミュニケーションロボット３０１は、移動方向に対応した案内データである「いらっしゃいませ。ご案内しましょうか？」を出力して、ユーザＰ５に声掛けをする。
次に、図１６（Ｂ）は、スペース３００Ｓから出てきて、顔の向きがコミュニケーションロボット３０１を向いているユーザＰ６を、声掛け対象とした場合である。この場合には、コミュニケーションロボット３０１は、移動方向に対応した案内データである「ありがとうございました」を出力して、ユーザＰ６に声掛けをする。
このように、コミュニケーションロボット３０１は、ユーザＰの移動方向に対応した案内データを抽出して出力する。よって、コミュニケーションロボット３０１は、スペース３００Ｓに入るユーザＰ５と、スペース３００Ｓから出てきたユーザＰ６とに対して、異なる声掛けをすることができ、ユーザＰの状況に対応した異なる適切な声掛けを、コミュニケーションロボット３０１にさせることができる。
このように、コミュニケーションロボット３０１は、ユーザＰの移動方向に対応した案内データを抽出して出力する。よって、コミュニケーションロボット３０１は、スペース３００Ｓに入るユーザＰ５と、スペース３００Ｓから出てきたユーザＰ６とに対して、異なる声掛けをすることができ、ユーザＰの状況に対応した異なる適切な声掛けを、コミュニケーションロボット３０１にさせることができる。
１，２０１，３０１ コミュニケーションロボット
１０，２１０ 制御部
１１ 画像取得部
１２，２１２ 画像分析部
１２ａ 方向判別部
１２ｂ 距離算出部
１２ｃ，２１２ｃ 表情判別部
１２ｄ 属性判別部
１３，２１３ ユーザ決定処理部
１３ａ 方向変化量算出部
１３ｂ 移動速度算出部
１３ｃ 移動方向算出部
１３ｄ，２１３ｄ 案内判断部
１６ 移動制御部
１７ 案内部
１８ 表情比較部
２０，２２０ 記憶部
２１ａ，２２１ａ 制御プログラム
２２，２２２ 案内データ記憶部
３１，２０５，３０５ カメラ
３２ スピーカ
３３ モータ部
１００，２００，３００ 案内ロボット制御システム
２１１ 画像受付部
２１２ａ 方向取得部
２１２ｅ 顔取得部
２１４ 顔データ照合部
２２４ 顔データ記憶部
２５１ 画像取得部
２５２ 画像送信部
Ｃ１ 子供
Ｐ，Ｐ１〜Ｐ６ ユーザ
Ｓ，２００Ｓ，３００Ｓ スペース
１０，２１０ 制御部
１１ 画像取得部
１２，２１２ 画像分析部
１２ａ 方向判別部
１２ｂ 距離算出部
１２ｃ，２１２ｃ 表情判別部
１２ｄ 属性判別部
１３，２１３ ユーザ決定処理部
１３ａ 方向変化量算出部
１３ｂ 移動速度算出部
１３ｃ 移動方向算出部
１３ｄ，２１３ｄ 案内判断部
１６ 移動制御部
１７ 案内部
１８ 表情比較部
２０，２２０ 記憶部
２１ａ，２２１ａ 制御プログラム
２２，２２２ 案内データ記憶部
３１，２０５，３０５ カメラ
３２ スピーカ
３３ モータ部
１００，２００，３００ 案内ロボット制御システム
２１１ 画像受付部
２１２ａ 方向取得部
２１２ｅ 顔取得部
２１４ 顔データ照合部
２２４ 顔データ記憶部
２５１ 画像取得部
２５２ 画像送信部
Ｃ１ 子供
Ｐ，Ｐ１〜Ｐ６ ユーザ
Ｓ，２００Ｓ，３００Ｓ スペース
Claims (11)
- ユーザに対する案内データを記憶する案内データ記憶部と、
時系列に連続した複数のフレーム画像を取得する画像取得手段と、
前記画像取得手段により取得した前記複数のフレーム画像を分析して、前記フレーム画像ごとにユーザが見ている方向を判別する方向判別手段と、
前記方向判別手段により判別した方向に基づいて、時間経過に伴う前記方向の変化の大きさを表す方向変化量を算出する方向変化量算出手段と、
前記方向変化量算出手段によって算出した方向の変化に基づいて、案内をするか否かを判断する案内判断手段と、
前記案内判断手段により案内をすると判断された場合に、前記案内データ記憶部から案内データを抽出してロボットによる案内を行う案内手段と、
を備える案内ロボット制御システム。 - 請求項１に記載の案内ロボット制御システムにおいて、
前記画像取得手段が取得したフレーム画像における前記ユーザの位置情報に基づいて、前記ユーザと、ロボットとの距離を算出する距離算出手段を備え、
前記案内判断手段は、前記距離算出手段が算出した前記距離が規定範囲内である場合に、案内をすると判断すること、
を特徴とする案内ロボット制御システム。 - 請求項１又は請求項２に記載の案内ロボット制御システムにおいて、
前記画像取得手段が取得したフレーム画像における前記ユーザの位置情報に基づいて、前記ユーザの移動速度を算出する移動速度算出手段を備え、
前記案内判断手段は、前記移動速度算出手段が算出した前記移動速度が規定範囲内である場合に、案内をすると判断すること、
を特徴とする案内ロボット制御システム。 - 請求項３に記載の案内ロボット制御システムにおいて、
ロボットは、移動が可能であり、
前記画像取得手段が取得したフレーム画像における前記ユーザの位置情報に基づいて、前記ユーザの移動方向を算出する移動方向算出手段と、
前記移動方向算出手段により算出した前記ユーザの移動方向及び前記移動速度算出手段が算出した前記移動速度に基づいて、前記ロボットを移動させる移動制御手段と、
備えること、
を特徴とする案内ロボット制御システム。 - 請求項１から請求項３までのいずれかに記載の案内ロボット制御システムにおいて、
前記方向判別手段は、前記ユーザの眼球と瞳孔との相対位置に基づき、前記ユーザが見ている方向を判別し、
前記画像取得手段が取得したフレーム画像における前記ユーザの位置情報に基づいて、前記ユーザの移動方向を算出する移動方向算出手段と、
前記画像取得手段により取得した前記複数のフレーム画像を分析して、前記ユーザの顔データを取得する顔取得手段と、
前記フレーム画像ごとに前記ユーザの顔の向きを判別する顔方向判別手段と、
を備え、
前記案内判断手段は、前記移動方向算出手段が算出した前記ユーザの移動方向と、前記顔方向判別手段で判別した複数のフレーム画像に共通の顔の向きとが異なる方向である場合に、案内をすると判断すること、
を特徴とする案内ロボット制御システム。 - 請求項５に記載の案内ロボット制御システムにおいて、
前記方向判別手段は、前記顔取得手段により取得した顔データに基づいて、顔の器官を検出し、それらの位置関係から顔の向きを判定し、前記ユーザの見ている方向を取得すること、
を特徴とする案内ロボット制御システム。 - 請求項１から請求項６までのいずれかに記載の案内ロボット制御システムにおいて、
前記画像取得手段により取得した少なくとも１つ以上の前記フレーム画像を分析して、前記ユーザの表情を判別する表情判別手段を備え、
前記案内データ記憶部は、表情に対応する案内データを記憶し、
前記案内手段は、前記案内データ記憶部を参照して、前記表情判別手段により判別された前記ユーザの表情に基づく案内データを抽出して案内を行うこと、
を特徴とする案内ロボット制御システム。 - 請求項７に記載の案内ロボット制御システムにおいて、
案内データによる案内をした後に、少なくとも前記画像取得手段による処理と、前記表情判別手段による処理とを実行し、
案内前の前記ユーザの表情と、案内後の前記ユーザの表情とを比較する表情比較手段を備え、
前記案内手段は、前記案内データ記憶部を参照して、前記表情比較手段による比較結果に基づく案内データを抽出して案内を行うこと、
を特徴とする案内ロボット制御システム。 - 請求項１から請求項８までのいずれかに記載の案内ロボット制御システムにおいて、
前記画像取得手段により取得した少なくとも１つ以上の前記フレーム画像を分析して、前記ユーザの属性を判別する属性判別手段を備え、
前記案内データ記憶部は、ユーザの属性に対応する案内データを記憶し、
前記案内手段は、前記案内データ記憶部を参照して、前記属性判別手段により判別した前記ユーザの属性に対応する案内データを抽出して案内を行うこと、
を特徴とする案内ロボット制御システム。 - 請求項１から請求項９までのいずれかに記載の案内ロボット制御システムとして、ロボットのプロセッサを機能させるためのプログラム。
- ユーザに対する案内データを記憶する案内データ記憶部と、
撮影部と、
時系列に連続した複数のフレーム画像を取得する画像取得手段と、
前記画像取得手段により取得した前記複数のフレーム画像を分析して、前記フレーム画像ごとにユーザが見ている方向を判別する方向判別手段と、
前記方向判別手段により判別した方向に基づいて、時間経過に伴う前記方向の変化の大きさを表す方向変化量を算出する方向変化量算出手段と、
前記方向変化量算出手段によって算出した方向の変化に基づいて、案内をするか否かを判断する案内判断手段と、
前記案内判断手段により案内をすると判断された場合に、前記案内データ記憶部から案内データを抽出して案内を行う案内手段と、
を備える案内ロボット。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016045573A JP6607092B2 (ja) | 2016-03-09 | 2016-03-09 | 案内ロボット制御システム、プログラム及び案内ロボット |
| PCT/JP2016/081751 WO2017086108A1 (ja) | 2015-11-16 | 2016-10-26 | 情報提示装置、情報提示方法、プログラム、情報処理装置及び案内ロボット制御システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016045573A JP6607092B2 (ja) | 2016-03-09 | 2016-03-09 | 案内ロボット制御システム、プログラム及び案内ロボット |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017159396A true JP2017159396A (ja) | 2017-09-14 |
| JP6607092B2 JP6607092B2 (ja) | 2019-11-20 |
Family
ID=59854509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016045573A Expired - Fee Related JP6607092B2 (ja) | 2015-11-16 | 2016-03-09 | 案内ロボット制御システム、プログラム及び案内ロボット |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6607092B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020075290A1 (ja) * | 2018-10-12 | 2020-04-16 | 株式会社ユニキャスト | 顧客対応システム |
| JP2020067562A (ja) * | 2018-10-24 | 2020-04-30 | Kddi株式会社 | ユーザの顔の映像に基づいて発動タイミングを推定する装置、プログラム及び方法 |
| CN112238454A (zh) * | 2019-07-17 | 2021-01-19 | 本田技研工业株式会社 | 机器人管理装置、机器人管理方法以及机器人管理系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007006427A (ja) * | 2005-05-27 | 2007-01-11 | Hitachi Ltd | 映像監視装置 |
| JP2007249427A (ja) * | 2006-03-14 | 2007-09-27 | Honda Motor Co Ltd | 情報管理システム |
| JP2008142876A (ja) * | 2006-12-13 | 2008-06-26 | Mitsubishi Heavy Ind Ltd | ロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステム |
| JP2008260107A (ja) * | 2007-04-13 | 2008-10-30 | Yaskawa Electric Corp | 移動ロボットシステム |
| JP2009104426A (ja) * | 2007-10-24 | 2009-05-14 | Advanced Telecommunication Research Institute International | インタラクティブ看板システム |
| JP2009248193A (ja) * | 2008-04-01 | 2009-10-29 | Toyota Motor Corp | 接客システム及び接客方法 |
| JP2012161851A (ja) * | 2011-02-03 | 2012-08-30 | Advanced Telecommunication Research Institute International | ロボットシステムおよびそれに用いる空間陣形認識装置 |
-
2016
- 2016-03-09 JP JP2016045573A patent/JP6607092B2/ja not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007006427A (ja) * | 2005-05-27 | 2007-01-11 | Hitachi Ltd | 映像監視装置 |
| JP2007249427A (ja) * | 2006-03-14 | 2007-09-27 | Honda Motor Co Ltd | 情報管理システム |
| JP2008142876A (ja) * | 2006-12-13 | 2008-06-26 | Mitsubishi Heavy Ind Ltd | ロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステム |
| JP2008260107A (ja) * | 2007-04-13 | 2008-10-30 | Yaskawa Electric Corp | 移動ロボットシステム |
| JP2009104426A (ja) * | 2007-10-24 | 2009-05-14 | Advanced Telecommunication Research Institute International | インタラクティブ看板システム |
| JP2009248193A (ja) * | 2008-04-01 | 2009-10-29 | Toyota Motor Corp | 接客システム及び接客方法 |
| JP2012161851A (ja) * | 2011-02-03 | 2012-08-30 | Advanced Telecommunication Research Institute International | ロボットシステムおよびそれに用いる空間陣形認識装置 |
Non-Patent Citations (1)
| Title |
|---|
| 見持圭一，他２名: "ロボット連携による人物の位置・姿勢・動き情報認識法", 電子情報通信学会誌, vol. 第９１巻，第５号, JPN6019028195, 2008, JP, pages 387 - 394, ISSN: 0004080918 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020075290A1 (ja) * | 2018-10-12 | 2020-04-16 | 株式会社ユニキャスト | 顧客対応システム |
| JPWO2020075290A1 (ja) * | 2018-10-12 | 2021-10-28 | 株式会社ユニキャスト | 顧客対応システム |
| JP2020067562A (ja) * | 2018-10-24 | 2020-04-30 | Kddi株式会社 | ユーザの顔の映像に基づいて発動タイミングを推定する装置、プログラム及び方法 |
| JP7032284B2 (ja) | 2018-10-24 | 2022-03-08 | Kddi株式会社 | ユーザの顔の映像に基づいて発動タイミングを推定する装置、プログラム及び方法 |
| CN112238454A (zh) * | 2019-07-17 | 2021-01-19 | 本田技研工业株式会社 | 机器人管理装置、机器人管理方法以及机器人管理系统 |
| JP2021018481A (ja) * | 2019-07-17 | 2021-02-15 | 本田技研工業株式会社 | ロボット管理装置、ロボット管理方法およびロボット管理システム |
| JP7273637B2 (ja) | 2019-07-17 | 2023-05-15 | 本田技研工業株式会社 | ロボット管理装置、ロボット管理方法およびロボット管理システム |
| CN112238454B (zh) * | 2019-07-17 | 2024-03-01 | 本田技研工业株式会社 | 机器人管理装置、机器人管理方法以及机器人管理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6607092B2 (ja) | 2019-11-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102196686B1 (ko) | 신원 인증 방법 및 장치 | |
| US9224037B2 (en) | Apparatus and method for controlling presentation of information toward human object | |
| JP6013241B2 (ja) | 人物認識装置、及び方法 | |
| JP4642128B2 (ja) | 画像処理方法、画像処理装置及びシステム | |
| JP6921694B2 (ja) | 監視システム | |
| KR101108835B1 (ko) | 얼굴 인증 시스템 및 그 인증 방법 | |
| KR101159164B1 (ko) | 위조 영상 판별 장치 및 그 방법 | |
| CN107392137B (zh) | 人脸识别方法及装置 | |
| US11080557B2 (en) | Image authentication apparatus, method, and storage medium using registered image | |
| KR101724971B1 (ko) | 광각 카메라를 이용한 얼굴 인식 시스템 및 그를 이용한 얼굴 인식 방법 | |
| KR100824757B1 (ko) | 걸음걸이를 이용한 생체 인식 방법 | |
| JP6607092B2 (ja) | 案内ロボット制御システム、プログラム及び案内ロボット | |
| JP6610349B2 (ja) | 案内ロボット制御システム、プログラム及び案内ロボット | |
| CN111626240B (zh) | 一种人脸图像识别方法、装置、设备及可读存储介质 | |
| WO2020065954A1 (ja) | 認証装置、認証方法および記憶媒体 | |
| JPWO2008035411A1 (ja) | 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム | |
| KR102063745B1 (ko) | 측면 프로파일링 기반 신원확인 장치 및 방법 | |
| JP5718973B2 (ja) | 顔認識装置、顔認識方法、およびコンピュータプログラム | |
| JP2020052788A (ja) | 画像処理装置及びその方法、プログラム | |
| KR102249663B1 (ko) | 귀 인식 기반 신원확인 방법 및 시스템 | |
| KR101718244B1 (ko) | 얼굴 인식을 위한 광각 영상 처리 장치 및 방법 | |
| CN115668186A (zh) | 认证方法、信息处理装置、以及认证程序 | |
| US20230222193A1 (en) | Information processing device, permission determination method, and program | |
| KR102535244B1 (ko) | 음성인식 및 안면 일부 랜드마크를 이용한 신원확인 시스템 및 그 방법 | |
| KR102386918B1 (ko) | Ａｉ 기반의 모바일 사용자 인증 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160928 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190723 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190821 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190924 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191007 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6607092 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |