JP2017177228A - Service provision robot system - Google Patents
Service provision robot system Download PDFInfo
- Publication number
- JP2017177228A JP2017177228A JP2016063035A JP2016063035A JP2017177228A JP 2017177228 A JP2017177228 A JP 2017177228A JP 2016063035 A JP2016063035 A JP 2016063035A JP 2016063035 A JP2016063035 A JP 2016063035A JP 2017177228 A JP2017177228 A JP 2017177228A
- Authority
- JP
- Japan
- Prior art keywords
- group
- person
- robot
- content
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006399 behavior Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 description 20
- 210000005252 bulbus oculi Anatomy 0.000 description 19
- 238000004891 communication Methods 0.000 description 18
- 238000005259 measurement Methods 0.000 description 16
- 210000001508 eye Anatomy 0.000 description 15
- 238000012545 processing Methods 0.000 description 13
- 210000000323 shoulder joint Anatomy 0.000 description 13
- 210000003128 head Anatomy 0.000 description 10
- 239000002245 particle Substances 0.000 description 10
- 210000002310 elbow joint Anatomy 0.000 description 7
- 210000000245 forearm Anatomy 0.000 description 6
- 238000012706 support-vector machine Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
この発明は、サービス提供ロボットシステムに関し、特に、ロボットによって人に対してたとえば店舗の宣伝や広告などのサービスを提供する、サービス提供ロボットシステムに関する。 The present invention relates to a service providing robot system, and more particularly to a service providing robot system that provides services such as store advertisements and advertisements to a person using a robot.
特許文献1および特許文献2などにおいて、広告や宣伝をロボットが実施するために、広告の内容を場所に応じて変化させる技術が提案されている。
In
特許文献1および2のいずれも、ロボットから人に対してアクティブに話しかけて、その人に適したサービスを提供することを考慮していない。
Neither
それゆえに、この発明の主たる目的は、新規な、サービス提供ロボットシステムを提供することである。 Therefore, a main object of the present invention is to provide a novel service providing robot system.
この発明の他の目的は、人に適したサービスをできる、サービス提供ロボットシステムを提供することである。 Another object of the present invention is to provide a service providing robot system capable of providing services suitable for people.
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。 The present invention employs the following configuration in order to solve the above problems. The reference numerals in parentheses, supplementary explanations, and the like indicate correspondence relationships with embodiments described later to help understanding of the present invention, and do not limit the present invention in any way.
第1の発明は、ロボットが人に対してサービスを提供するサービス提供ロボットシステムであって、人追跡システムによって取得したそれぞれの人の属性に従って、グループを認識するグループ認識部、グループの構成員にサービスを提供する際、当該グループの属性に適合するコンテンツを選択するコンテンツ選択部、および選択したコンテンツを構成員に提供するコンテンツ提供部を備える、サービス提供ロボットシステムである。 A first invention is a service providing robot system in which a robot provides a service to a person, the group recognition unit for recognizing the group according to the attribute of each person acquired by the person tracking system, and a member of the group When providing a service, the service providing robot system includes a content selection unit that selects content that matches the attribute of the group, and a content provision unit that provides the selected content to members.
第1の発明では、サービス提供ロボットシステム(100:実施例において相当する部分を例示する参照符号。以下同様。)は、たとえば発話可能なロボット(10)を含み、そのロボットが人に対してサービス(たとえば、各種情報の提供、店舗や商品の宣伝、広告)を提供する。グループ認識部(14、S5、S7)は、それぞれの人の属性、たとえば位置情報や履歴に基づいて、グループを認識する。どれかのグループの構成員にサービスを提供しようとするとき、コンテンツ選択部(14、S13)が、たとえば発話コンテンツデータベース(20)から、そのグループの属性に適合するコンテンツを選択し、サービス提供部(14、S15)がそのコンテンツを当該構成員に提供する。 In the first invention, a service providing robot system (100: reference numerals exemplifying corresponding parts in the embodiment; the same applies hereinafter) includes, for example, a robot (10) capable of speaking, and the robot serves a person. (For example, provision of various information, promotion of shops and products, advertisement). The group recognition unit (14, S5, S7) recognizes a group based on the attributes of each person, for example, position information and history. When a service is to be provided to a member of any group, the content selection unit (14, S13) selects content that matches the attribute of the group from the utterance content database (20), for example, and the service provision unit (14, S15) provides the content to the member.
第1の発明によれば、構成員が属するグループの属性に適合したコンテンツを提供することができるので、サービス提供の成功率が高くなり、サービスを効率的に提供することができる。 According to the first aspect of the invention, the content suitable for the attribute of the group to which the member belongs can be provided, so that the success rate of service provision is increased and the service can be efficiently provided.
第2の発明は、第1の発明に従属し、グループ認識部は、ペアの2人の振る舞いの時系列的な類似性を示すパラメータに基づいて、ペアが同じグループを構成するかどうか認識する、サービス提供ロボットシステムである。 The second invention is dependent on the first invention, and the group recognizing unit recognizes whether the pairs constitute the same group based on a parameter indicating the time-series similarity of the behavior of two members of the pair. This is a service providing robot system.
第2の発明では、グループ認識部(14、S5、S7)は、ペア(p1,p2)の各人p1、p2の振る舞い(たとえば移動)の時系列的な類似性に基づいてそのペア(p1,p2)の2人がグループを形成するかどうか認識する。2人の振る舞いが時系列的に類似しているということは、2人が同じグループを形成する可能性が高く、グループ認識が正確に行える。 In the second invention, the group recognition unit (14, S5, S7) determines the pair (p1) based on the time-series similarity of the behavior (for example, movement) of each person p1, p2 of the pair (p1, p2). , P2) recognizes whether or not to form a group. The fact that the behaviors of the two people are similar in time series indicates that there is a high possibility that the two people form the same group, and the group recognition can be performed accurately.
第2の発明によれば、ペアの2人の振る舞いの時系列的な類似性を示すパラメータに基づいて同じグループかどうか認識するので、グループを正確に認識することができる。 According to the second invention, since it is recognized whether or not they are the same group based on the parameter indicating the time-series similarity of the behavior of the two persons in the pair, the group can be recognized accurately.
第3の発明は、第2の発明に従属し、パラメータはペアの2人の移動軌跡の類似度であり、グループ認識部はペアの2人のそれぞれの周囲の平均密度と移動軌跡の類似度に基づいてペアがグループを形成するかどうか認識する、サービス提供ロボットシステムである。 The third invention is dependent on the second invention, and the parameter is the similarity between the movement trajectories of the two persons in the pair, and the group recognition unit is the similarity between the average density and the movement trajectory of each of the two persons in the pair. A service providing robot system that recognizes whether a pair forms a group based on
第3の発明では、ペアの2人の振る舞いの時系列的な類似性を示すパラメータとして、ペアの2人の移動軌跡の類似度を採用する。そして、グループ認識部は、別途検出した各人の周囲の平均密度とこの移動軌跡の類似度に基づいて、ペアの2人が同じグループを形成するかどうか判断する。発明者等の実験によれば、グループを構成する人には、追従現象時(グループのメンバの後ろを、別のグループのメンバが少し離れて追いかける現象)では、ペアの2人は、ほぼ同じ場所を通ることを確認し、この移動軌跡の類似度は、周囲の平均密度に影響されることも確認した。そこで、グループ認識部(14、S5、S7)は,移動軌跡の類似度と平均密度を組み合わせて、ペアの2人がグループを形成するかどうか判定する。 In the third invention, the similarity between the movement trajectories of the two pairs is adopted as a parameter indicating the time-series similarity of the behavior of the two pairs. Then, the group recognizing unit determines whether or not the two members of the pair form the same group based on the average density around each person separately detected and the similarity of the movement trajectory. According to the experiments by the inventors, the person who composes the group has almost the same two people in the pair at the time of the follow-up phenomenon (a phenomenon in which another group member chases a little behind the group member). We confirmed passing through the place, and also confirmed that the similarity of this movement trajectory is influenced by the average density of the surroundings. Therefore, the group recognition unit (14, S5, S7) determines whether or not two members of a pair form a group by combining the similarity of the movement trajectory and the average density.
第3の発明によれば、移動軌跡の類似度をグループ認識のためのパラメータに採用するので、グループ認識がさらに正確に行える。 According to the third aspect, since the similarity of the movement trajectory is adopted as a parameter for group recognition, group recognition can be performed more accurately.
第4の発明は、第3の発明に従属し、グループ認識部は、ペアの2人の移動方向の類似度、移動速度の類似度および平均移動距離の少なくとも1つを別のパラメータとして加味してペアの2人が同じグループに含まれるかどうか認識する、サービス提供ロボットシステムである。 The fourth invention is dependent on the third invention, and the group recognizing unit considers at least one of the similarity in the movement direction, the similarity in the movement speed, and the average movement distance of the two pairs as another parameter. This is a service providing robot system that recognizes whether two members of a pair are included in the same group.
第4の発明では、或る程度の時間、或る程度近くで、或る程度同じ方向で、或る程度似た速度で移動している人どうしは、グループである、という考えに基づいて、ペアの2人がグループかどうか判断する。 In the fourth invention, based on the idea that people who are moving at a similar speed in a certain direction in a certain amount of time for a certain amount of time are a group, Determine if two members of a pair are groups.
第4の発明によれば、平均密度によって移動軌跡の類似性が影響を受けたときでも、ペアの2人がグループかどうか確実に認識することができる。 According to the fourth invention, even when the similarity of the movement trajectory is affected by the average density, it is possible to reliably recognize whether the two members of the pair are a group.
第5の発明は、ロボットが人に対してサービスを提供するサービス提供ロボットシステムのコンテンツによって実行されるサービス提供プログラムであって、プログラムはコンテンツを、人追跡システムによって取得したそれぞれの人の属性に従って、グループを認識するグループ認識部、グループの構成員にサービスを提供する際、当該グループの属性に従ったコンテンツを選択するコンテンツ選択部、および選択したコンテンツを構成員に提供するコンテンツ提供部として機能させる、サービス提供プログラムである。 A fifth invention is a service providing program executed by the content of a service providing robot system in which a robot provides a service to a person, the program according to an attribute of each person acquired by the person tracking system. Functions as a group recognition unit for recognizing a group, a content selection unit for selecting content according to an attribute of the group when providing a service to the group member, and a content providing unit for providing the selected content to the member This is a service providing program.
第5の発明でも第1の発明と同様の効果が期待できる。 In the fifth invention, the same effect as in the first invention can be expected.
この発明のサービス提供ロボットシステムによれば、サービスを提供する人が含まれるグループの属性に応じたコンテンツを提供するので、サービス提供の成功率が高くなり、サービスを効率的に提供することができる。 According to the service providing robot system of the present invention, the content according to the attribute of the group including the person who provides the service is provided, so that the success rate of the service provision becomes high and the service can be provided efficiently. .
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。 The above object, other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.
図1を参照して、この実施例のサービス提供ロボットシステム100は、たとえばショッピングモールなどのように多様な人々が往来する空間(環境)で利用される。その空間の中では、ロボット10や人は任意に移動することができ、天井などの比較的高所には複数の距離画像センサ12が設けられている。
Referring to FIG. 1, a service providing
ロボット10は、相互作用指向のロボット(コミュニケーションロボット)であり、コミュニケーションの対象である人との間で、音声を含むコミュニケーション行動を実行する機能を備えている。また、ロボット10はコミュニケーションの一環として、イベント情報の告知、ショッピングモール内の店舗の宣伝や広告のようなサービスを人々に対して提供する。このロボット10は基本的には、後述する遠隔操作コンピュータ14(図2)から与えられる行動命令に基づいて行動するが、サービスを提供する上で必要であれば、ショッピングモール内を自律的に移動することもできる。
The
この実施例のサービス提供ロボットシステム100は、ショッピングモールに限らず、イベント会場、アトラクション会場などでも利用可能である。
The service providing
なお、図1では簡単のため、人は1人しか示していないが、ショッピングモール内には通常多くの人々が存在する。さらには、ロボット10も1台しか示していないが、サービス提供ロボットシステム100は2台以上のロボット10を同時に制御することができる。
In FIG. 1, only one person is shown for simplicity, but there are usually many people in the shopping mall. Furthermore, although only one
図2を参照して、サービス提供ロボットシステム100の遠隔操作用のコンピュータ14は、後に詳細に説明するが、一定時間(たとえば、1秒)毎に複数の距離画像センサ12によって、任意に移動する人の位置を検出すると共に、その人の向いている方向などを検出する。そのために、コンピュータ14は、距離画像センサ12からのセンサ出力を受ける。
With reference to FIG. 2, the
コンピュータ14にはメモリ16、通信LANボード18が接続されると共に、発話コンテンツデータベース(DB)20も接続される。発話コンテンツデータベース20は、ロボット10が人に対して広告、宣伝などのサービスを提供する際に人に対して話しかけるときに必要な発話文および広告、宣伝などに必要な発話文を予め登録しておき、必要なとき、コンテンツ4が必要な発話文を読み出してロボット10に与える。
A
ただし、発話コンテンツデータベース20は、ロボット10に設けられていてもよい。その場合には、コンピュータ14は、ロボット10に対して、発話すべき発話文を指定する命令だけをロボット10に送ればよい。
However, the
距離画像センサ12は、赤外光またはレーザなどの光を照射し、対象物から反射した光(反射光)をCCDセンサなどの光学センサによって捉える。距離画像センサ12は、光が戻るまでの時間を画素ごとに計測したり、画像パターンの歪みを計測したりすることで、対象物までの実際の距離を測距する。実施例の距離画像センサ12には、ASUS(登録商標)社製のXtionと呼ばれる製品が採用されている。なお、他の実施例では、距離画像センサ12は、Microsoft(登録商標)社製のKinect(登録商標)センサ、パナソニック(登録商標)社製の3次元距離画像センサD−IMager(登録商標)などを使用することも可能である。この種のセンサは、3次元距離計測センサ、3Dスキャナなどと呼ばれる場合もある。
The
距離画像センサ12はそのレーザ走査面(スキャン面)の傾斜角を変化させながら計測することができ、そのため、1回の計測によって(最小傾斜角から最大傾斜角まで変化する期間に)、対象の3次元形状を計算することができる。また、対象が停止していても、その3次元形状を計算することができる(ただし、対象が動いていれば、多様な位置関係で計測が行えるので、3次元形状の計算精度が高まる点で好ましい)。
The
また、スキャン面の傾斜角がこのように変化することで、計測領域が拡がると共に、複数の対象が密集している状態でも、対象群を直上ないしその近傍から計測した計測データに基づいて1つ1つの対象に容易に分離することができる。そして、様々な傾斜角で計測した計測データに基づいて、分離した1つ1つの対象の3次元形状を精度よく計算することができる。 In addition, by changing the tilt angle of the scan surface in this way, the measurement area is expanded, and even when a plurality of objects are densely packed, one is based on measurement data measured directly above or in the vicinity thereof. It can be easily separated into one object. And based on the measurement data measured with various inclination angles, the three-dimensional shape of each separated object can be calculated with high accuracy.
ここで、このように距離画像センサ12を利用する人追跡システムを実現するコンピュータ14の処理手順を説明するが、詳しい処理手順は、本件出願人の出願に係る、同時係属中の特開2012‐215555号に説明されているので、その記述を引用することとし、ここでは概要を説明するにとどめる。
Here, the processing procedure of the
コンピュータ14は、まず、各距離画像センサ12からの計測データに基づいて、対象の状態(たとえば位置,移動方向,3次元形状および姿勢など)をパーティクルフィルタでリアルタイムに推定する状態推定処理を実行する。
First, the
この実施例では、たとえば図8に示すように、人の上方に設置した3次元距離画像センサ12からの検出データを、頭の高さおよび肩の高さの2つの高さでクラスタリング処理を行い、クラスタの最も長い線(主成分分析)から肩ラインを計算する。そして、肩ラインの上にあるクラスタを頭とし、頭の重心位置をその人の位置(x,y)とした。ただし、肩のクラスタのやや前方に頭のクラスタが存在するというモデルに従った。そして、肩ラインと直交する前方を人の体の向き(移動方向θ)とする。
In this embodiment, for example, as shown in FIG. 8, the detection data from the three-dimensional
ただし、このようなクラスタリングから人の位置や移動方向を抽出する方法は、一例として、上述の特開2012‐215555号や論文D. Brscic, T. Kanda, T. Ikeda, T. Miyashita, Person tracking in large public spaces using 3D range sensors, IEEE Transactions on Human-Machine Systems, Vol. 43, No. 6, pp. 522-534, 2013に詳しく説明されているので、ここでは詳細は省略する。 However, a method for extracting the position and movement direction of a person from such clustering is, for example, the above-mentioned Japanese Patent Application Laid-Open No. 2012-215555 and the paper D. Brscic, T. Kanda, T. Ikeda, T. Miyashita, Person tracking. Since it is described in detail in large public spaces using 3D range sensors, IEEE Transactions on Human-Machine Systems, Vol. 43, No. 6, pp. 522-534, 2013, details are omitted here.
なお、パーティクルフィルタは、よく知られているように、予測および観測を繰り返すことによって現在の対象の状態を推定する時系列フィルタの一種であり、具体的には、現状態から起こりうる次状態を多数のパーティクルに見立てて、観測された状態との間の尤度(類似度)をパーティクル毎に求め、全パーティクルを尤度に応じて加重平均した結果を現在の対象の状態であると推定する。そして、重みに従う新たなパーティクルを発生させ、同様の処理を繰り返すことで、対象の状態を逐次推定することができる。 As is well known, the particle filter is a type of time series filter that estimates the current target state by repeating prediction and observation. Specifically, the next state that can occur from the current state is determined. Estimating the likelihood (similarity) between the observed state for each particle as a large number of particles for each particle, and estimating the weighted average of all particles according to the likelihood as the current target state . Then, by generating new particles according to the weight and repeating the same processing, the target state can be estimated sequentially.
状態推定処理では、1つ1つの対象の状態を専用のパーティクルフィルタで推定する。したがって、たとえば10個の対象が検出されている状態では、10個のパーティクルフィルタが並列に動作しており、別の対象が検出されると、11個目のパーティクルフィルタが新たに生成される。 In the state estimation process, the state of each target is estimated by a dedicated particle filter. Therefore, for example, in the state where ten targets are detected, ten particle filters operate in parallel, and when another target is detected, an eleventh particle filter is newly generated.
コンピュータ14はまた、上記のような状態推定処理と並列的に、各対象の状態に基づいて、各対象が「1人」であるかグループに属するかを推定するグループ推定処理、および各対象が個別に行う行動(たとえば店舗や案内板を見る行動)を推定する個別行動推定処理をも実行する。
In parallel with the state estimation process as described above, the
そして、各種の推定処理が完了した後、コンピュータ14はさらに、推定結果に基づいてグループ行動を解析する。このグループ行動解析処理では、各グループを「友達同士」、「家族連れ」、「カップル」などのカテゴリに分類したり、個別行動情報をグループ毎に解析してグループ行動情報を作成したり、グループ行動情報をカテゴリ毎に解析してグループ行動パターンたとえば、友人同士が特定の店舗や案内板に注目したり、家族連れが特定の通路を通ったり、といった行動パターン)情報を作成したりする。
Then, after the various estimation processes are completed, the
ただし、この実施例では、後に図7を参照して詳細に説明するように、上述のようにして計測したデータの、現時刻tからΔt秒前までの、全ての人の位置情報(x,y,z)、履歴に基づく移動速度vや移動方向θを利用して、グループ認識処理を実行する。 However, in this embodiment, as will be described in detail later with reference to FIG. 7, the position information (x, x, x) of the data measured as described above from the current time t to Δt seconds ago. y, z) and the movement speed v and movement direction θ based on the history are used to execute the group recognition process.
図2に示すメモリ16はROM、HDDおよびRAMなどを含む。ROMおよびHDDには、コンピュータ14の動作を制御するための制御プログラムが予め記憶される。また、RAMは、コンピュータ14のワークメモリやバッファメモリとして用いられる。
The
通信LANボード18は、たとえばDSPで構成され、コンピュータ14から与えられた送信データを無線通信モジュール22に与え、無線通信モジュール22は送信データを、ネットワーク24を介してロボット10に送信する。たとえば、送信データは、ロボット10の自律移動に必要なデータや、サービスを提供ために必要なデータおよびロボット10に指示する行動命令の信号(コマンド)などである。また、通信LANボード18は、無線通信モジュール22を介してデータを受信し、受信したデータをコンピュータ14に与える。
The
なお、コンピュータ14は、ディスプレイなどの出力装置と、マウスおよびキーボードなどの入力装置とを備えていてもよい。
The
ここで、図2および図3を参照して、この発明の理解に必要な範囲でロボット10の構成について説明する。ロボット10は台車30を含み、台車30の下面にはロボット10を自律移動させる2つの車輪32および1つの従輪34が設けられる。2つの車輪32は車輪モータ36(図3参照)によってそれぞれ独立に駆動され、台車30すなわちロボット10を前後左右の任意方向に動かすことができる。
Here, with reference to FIG. 2 and FIG. 3, the configuration of the
台車30の上には、円柱形のセンサ取り付けパネル38が設けられ、このセンサ取り付けパネル38には、多数の距離センサ40が取り付けられる。これらの距離センサ40は、たとえば赤外線や超音波などを用いてロボット10の周囲の物体(人や障害物など)との距離を測定するものである。
A cylindrical
センサ取り付けパネル38の上には、胴体42が直立して設けられる。また、胴体42の前方中央上部(人の胸に相当する位置)には、上述した距離センサ40がさらに設けられ、ロボット10の前方の主として人との距離を計測する。また、胴体42には、その側面側上端部のほぼ中央から伸びる支柱44が設けられ、支柱44の上には、全方位カメラ46が設けられる。全方位カメラ46は、ロボット10の周囲を撮影するものであり、後述する眼カメラ70とは区別される。この全方位カメラ46としては、たとえばCCDやCMOSのような固体撮像素子を用いるカメラを採用することができる。
A
胴体42の両側面上端部(人の肩に相当する位置)には、それぞれ、肩関節48Rおよび肩関節48Lによって、上腕50Rおよび上腕50Lが設けられる。図示は省略するが、肩関節48Rおよび肩関節48Lは、それぞれ、直交する3軸の自由度を有する。すなわち、肩関節48Rは、直交する3軸のそれぞれの軸廻りにおいて上腕50Rの角度を制御できる。肩関節48Rの或る軸(ヨー軸)は、上腕50Rの長手方向(または軸)に平行な軸であり、他の2軸(ピッチ軸およびロール軸)は、その軸にそれぞれ異なる方向から直交する軸である。同様にして、肩関節48Lは、直交する3軸のそれぞれの軸廻りにおいて上腕50Lの角度を制御できる。肩関節48Lの或る軸(ヨー軸)は、上腕50Lの長手方向(または軸)に平行な軸であり、他の2軸(ピッチ軸およびロール軸)は、その軸にそれぞれ異なる方向から直交する軸である。
An
また、上腕50Rおよび上腕50Lのそれぞれの先端には、肘関節52Rおよび肘関節52Lが設けられる。図示は省略するが、肘関節52Rおよび肘関節52Lは、それぞれ1軸の自由度を有し、この軸(ピッチ軸)の軸回りにおいて前腕54Rおよび前腕54Lの角度を制御できる。
In addition, an elbow joint 52R and an elbow joint 52L are provided at the respective distal ends of the
前腕54Rおよび前腕54Lのそれぞれの先端には、人の手に相当するハンド56Rおよびハンド56Lがそれぞれ設けられる。これらのハンド56Rおよび56Lは、詳細な図示は省略するが、開閉可能に構成され、それによってロボット10は、ハンド56Rおよび56Lを用いて物体を把持または挟持することができる。ただし、ハンド56R、56Lの形状は実施例の形状に限らず、人の手に酷似した形状や機能を持たせるようにしてもよい。
At the tip of each of the
また、図示は省略するが、台車30の前面、肩関節48Rと肩関節48Lとを含む肩に相当する部位、上腕50R、上腕50L、前腕54R、前腕54L、ハンド56Rおよびハンド56Lには、それぞれ、接触センサ58(図3で包括的に示す)が設けられる。台車30の前面の接触センサ58は、台車30への人間16や他の障害物の接触を検知する。したがって、ロボット10は、その自身の移動中に障害物との接触が有ると、それを検知し、直ちに車輪32の駆動を停止してロボット10の移動を急停止させることができる。また、その他の接触センサ58は、当該各部位に触れたかどうかを検知する。
Although not shown, the front surface of the
胴体42の中央上部(人の首に相当する位置)には首関節60が設けられ、さらにその上には頭部62が設けられる。図示は省略するが、首関節60は、3軸の自由度を有し、3軸の各軸廻りに角度制御可能である。或る軸(ヨー軸)はロボット10の真上(鉛直上向き)に向かう軸であり、他の2軸(ピッチ軸、ロール軸)は、それぞれ、それと異なる方向で直交する軸である。
A neck joint 60 is provided at the upper center of the body 42 (a position corresponding to a person's neck), and a
頭部62には、人の口に相当する位置に、スピーカ64が設けられる。スピーカ64は、ロボット10が、それの周辺の人に対して音声によってコミュニケーションをとるために用いられる。また、人の耳に相当する位置には、マイク66Rおよびマイク66Lが設けられる。以下、右のマイク66Rと左のマイク66Lとをまとめてマイク66ということがある。マイク66は、周囲の音、とりわけコミュニケーションを実行する対象である人間16の音声を取り込む。さらに、人の目に相当する位置には、右の眼球部68Rおよび左の眼球部68Lが設けられる。右の眼球部68Rおよび左の眼球部68Lは、それぞれ右の眼カメラ70Rおよび左の眼カメラ70Lを含む。以下、右の眼球部68Rと左の眼球部68Lとをまとめて眼球部68ということがある。また、右の眼カメラ70Rと左の眼カメラ70Lとをまとめて眼カメラ70ということがある。
The
眼カメラ70は、ロボット10に接近した人の顔や他の部分ないし物体などを撮影して、それに対応する映像信号を取り込む。この実施例では、ロボット10は、この眼カメラ70からの映像信号によって、人の左右両目のそれぞれの視線方向(ベクトル)を検出する。
The
また、眼カメラ70は、上述した全方位カメラ46と同様のカメラを用いることができる。たとえば、眼カメラ70は、眼球部68内に固定され、眼球部68は、眼球支持部(図示せず)を介して頭部62内の所定位置に取り付けられる。図示は省略するが、眼球支持部は、2軸の自由度を有し、それらの各軸廻りに角度制御可能である。たとえば、この2軸の一方は、頭部62の上に向かう方向の軸(ヨー軸)であり、他方は、一方の軸に直交しかつ頭部62の正面側(顔)が向く方向に直行する方向の軸(ピッチ軸)である。眼球支持部がこの2軸の各軸廻りに回転されることによって、眼球部68ないし眼カメラ70の先端(正面)側が変位され、カメラ軸すなわち視線方向が移動される。なお、上述のスピーカ64、マイク66および眼カメラ70の設置位置は、当該部位に限定されず、適宜な位置に設けられてよい。
The
このように、この実施例のロボット10は、車輪32の独立2軸駆動、肩関節48の3自由度(左右で6自由度)、肘関節52の1自由度(左右で2自由度)、首関節60の3自由度および眼球支持部の2自由度(左右で4自由度)の合計17自由度を有する。
As described above, the
図3はロボット10の電気的な構成を示すブロック図である。この図3を参照して、ロボット10は、CPU80を含む。CPU80は、マイクロコンピュータ或いはプロセッサとも呼ばれ、バス82を介して、メモリ84、モータ制御ボード86、センサ入力/出力ボード88および音声入力/出力ボード90に接続される。
FIG. 3 is a block diagram showing an electrical configuration of the
メモリ84は、図示は省略をするが、ROM、HDDおよびRAMを含む。ROMおよびHDDには、後述の各種プログラムが予め記憶される。
Although not shown, the
モータ制御ボード86は、たとえばDSPで構成され、各腕や首関節60および眼球部68などの各軸モータの駆動を制御する。すなわち、モータ制御ボード86は、CPU80からの制御データを受け、右眼球部68Rの2軸のそれぞれの角度を制御する2つのモータ(図3では、まとめて「右眼球モータ92」と示す)の回転角度を制御する。同様にして、モータ制御ボード86は、CPU80からの制御データを受け、左眼球部68Lの2軸のそれぞれの角度を制御する2つのモータ(図3では、まとめて「左眼球モータ94」と示す)の回転角度を制御する。
The
また、モータ制御ボード86は、CPU80からの制御データを受け、肩関節48Rの直交する3軸のそれぞれの角度を制御する3つのモータと肘関節52Rの角度を制御する1つのモータとの計4つのモータ(図3では、まとめて「右腕モータ96」と示す)の回転角度を制御する。同様にして、モータ制御ボード86は、CPU80からの制御データを受け、肩関節48Lの直交する3軸のそれぞれの角度を制御する3つのモータと肘関節52Lの角度を制御する1つのモータとの計4つのモータ(図3では、まとめて「左腕モータ98」と示す)の回転角度を制御する。
The
さらに、モータ制御ボード86は、CPU80からの制御データを受け、首関節60の直交する3軸のそれぞれの角度を制御する3つのモータ(図3では、まとめて「頭部モータ100」と示す)の回転角度を制御する。そして、モータ制御ボード86は、CPU80からの制御データを受け、車輪32を駆動する2つのモータ(図3では、まとめて「車輪モータ36」と示す)の回転角度を制御する。
Further, the
モータ制御ボード86にはさらにハンドアクチュエータ108が結合され、モータ制御ボード86は、CPU80からの制御データを受け、ハンド56R、56Lの開閉を制御する。
A hand actuator 108 is further coupled to the
センサ入力/出力ボード88は、モータ制御ボード86と同様に、DSPで構成され、各センサからの信号を取り込んでCPU80に与える。すなわち、距離センサ40のそれぞれからの反射時間に関するデータがこのセンサ入力/出力ボード88を通じてCPU80に入力される。また、全方位カメラ46からの映像信号が、必要に応じてセンサ入力/出力ボード88で所定の処理を施してからCPU80に入力される。眼カメラ70からの映像信号も、同様にして、CPU80に入力される。また、上述した複数の接触センサ58(図3では、まとめて「接触センサ58」と示す)からの信号がセンサ入力/出力ボード88を介してCPU80に与えられる。音声入力/出力ボード90もまた、同様に、DSPで構成され、CPU80から与えられる音声合成データに従った音声または声がスピーカ64から出力される。また、マイク66からの音声入力が、音声入力/出力ボード90を介してCPU80に与えられる。
Similar to the
また、CPU80は、バス82を介して通信LANボード102に接続される。通信LANボード102は、たとえばDSPで構成され、CPU80から与えられた送信データを無線通信モジュール104に与え、無線通信モジュール104は送信データを、ネットワークを介してサーバ(図示せず)等に送信する。また、通信LANボード102は、無線通信モジュール104を介してデータを受信し、受信したデータをCPU80に与える。
The
図5は図2に示すコンピュータ14におけるメモリ16のメモリマップの一例を示す図解図であり、メモリ16はプログラム記憶領域202およびデータ記憶領域204を含む。プログラム記憶領域202には、上で説明した特開2012‐215555号が開示している計測プログラム206が記憶される。プログラム記憶領域202はさらに、図7に詳細に示すグループ認識プログラム208および図6に詳しく示すサービス提供プログラム210を含む。ただし、ループ認識プログラム208は、図10に示す、グループ認識プログラムをチューニングするチューニングプログラムも含む。
FIG. 5 is an illustrative view showing one example of a memory map of the
データ記憶領域204には、計測データバッファ212が設けられる。計測データバッファ210には、上で説明したような人追跡システムによる計測結果、各対象の状態や属性/プロファイルを示す情報であり、状態としての位置、移動方向、3次元形状および姿勢、ならびに属性/プロファイルとしての身長、性別および大人/子供の区別がストアされる。ただし、グループ認識は、上述のグループ認識プログラム208で実行し、その結果がグループデータ214として、データ記憶領域204に記憶される。グループデータ214は、人の識別番号idのペア(id1,id2,)とグループかどうかを示すグループフラグ(図示せず)が格納される。もし、人id1とid2が同一のグループの場合、グループデータ(id1,id2,true(「1」))がグループデータ214として格納され、もし、人id1とid3が同一グループでない場合、(id1,id3,false(「0」))がグループデータ214として格納される。
In the
なお、地図データ216は、このサービス提供ロボットシステム100が適用される場所、イベント会場、ショッピングセンタなどの商業施設などの地図であり、ロボット10や人の位置を判別するためなどに使用される。
The
なお、データ記憶領域204には、図8で示す3次元形状モデルデータなどが記憶されるが、ここでは一例として、特開2012‐215555号を引用することによって、省略する。
Note that the
図6を参照して、サービス提供処理の最初のステップS1では、コンピュータ14は、図5に示す計測データバッファ210から、その時刻における、すべての人の位置情報(id,x,y,z)を取得する。ただし、idは各人の識別番号であり、xはx座標、yはy座標であり、zは人の背の高さである。なお、図1のショッピングモールにおいて、紙面の幅方向がx軸(x座標)であり、紙面の奥行方向がY軸(y座標)である。
Referring to FIG. 6, in the first step S <b> 1 of the service providing process, the
次のステップS3において、コンピュータ14は、ステップS1で取得した各人の位置情報に含まれる高さ情報zに基づいて、各人が大人か子供か判別する。ただし、このプログラムでは一例としてz情報が「130cm」未満の数値を示している人は「子供」と判定する。ただし、大人/子供の判定には他のパラメータを、高さ情報zとともに、または高さ情報zに代えて、採用してもよい。
In the next step S3, the
続くステップS7でコンピュータ14は、グループを同定する。つまり、各人の位置情報に基づいて同じグループに属する人のidを1つのグループに纏める。なお、計測データバッファ210(図5)に、計測結果のデータとしてグループ情報が記憶されている場合には、このステップS7は省略してもよいが、この実施例では、先に説明したように、図7に示すグループ認識サブルーチンを実行することによって、グループを認識する。
In subsequent step S7, the
ここで、図7を参照してグループ認識処理を説明する。図7の最初のステップS21では、計測データバッファ212(図5)から、人追跡システムで計測し、取得した、現時刻tからΔt秒前までの、全ての人id(id=人の識別番号)の位置情報(図8の×印の位置)x,y、人の高さz、人の移動速度vおよび人の移動方向θを取得する。 Here, the group recognition processing will be described with reference to FIG. In the first step S21 of FIG. 7, all person ids (id = person identification number) from the measurement data buffer 212 (FIG. 5) measured and acquired by the person tracking system from the current time t to Δt seconds ago. ) Position information (positions marked with x in FIG. 8) x, y, person height z, person movement speed v, and person movement direction θ.
その後、ステップS23で、コンピュータ14は、グループを初期化する。つまり、すべての人を別のグループとして設定、要素数が「1」の集合{pid}を形成する。ただし、pidは、集合に含まれる人pのidを示す。
Thereafter, in step S23, the
次いで、ステップS25で、コンピュータ14は、各人p1の半径5m以内にいる人の平均密度D(p)を計算する。この平均密度D(p)は、Δt秒間に人p1を中心とした半径5mの範囲内に存在する人の数である。平均密度G(p)が小さいほどグループを形成している可能性が高いので、後述のステップS35では、この数値を使ってペア(p1,p2)が同じグループかどうか判定する。
Next, in step S25, the
ステップS27‐S33では、コンピュータ14は、各人のペア(p1,p2)の位置情報(x,y)を使って、そのペアを形成している各人p1およびp2の、移動軌跡の類似度SimTraj(p1,p2)、移動方向の類似度Simθ(p1,p2)の平均、移動速度の類似度SimV(p1,p2)の平均、ペア間の人々の距離D(p1,p2)の平均を計算する。
In steps S27 to S33, the
移動軌跡が類似しているということは、同じグループである可能性が高いので、後述のステップS35では、この数値SimTraj(p1,p2)を使ってペア(p1,p2)が同じグループかどうか判定することとした。つまり、従来のグループ認識で考慮されていない移動軌跡の類似度SimTraj(p1,p2)を第1パラメータとして用いることが、この実施例の特徴の1つである。 If the movement trajectories are similar, there is a high possibility that they are the same group. Therefore, in step S35, which will be described later, this numerical SimTaj (p1, p2) is used to determine whether the pair (p1, p2) is the same group. It was decided to. That is, one of the features of this embodiment is to use the similarity Tram (p1, p2) of the movement trajectory not considered in the conventional group recognition as the first parameter.
発明者等の実験によれば、グループどうしの振る舞いは、単に近くで同じ移動をしているだけではなく、たとえば、あるグループメンバが先行し、他のメンバがその後ろを追従する、といった、追従現象(たとえば、男性が先を歩き、女性がその後ろを追いかけるなど)も存在する。発明者等は、そうした追従現象時では、(たとえ回りにスペースがあっても)この2人は、ほぼ同じ場所を通ることを確認している。 According to the inventors' experiments, the behavior of the groups is not just the same movement in the vicinity, but for example, one group member precedes and the other member follows it. There are also phenomena (eg, men walking ahead and women chasing behind). The inventors have confirmed that these two people pass almost the same place (even if there is a space around) at the time of such a follow-up phenomenon.
この実施例において移動軌跡の類似度をグループ認識のパラメータとして採用する理由は、この追従現象をグループ認識に取り込むことである。 In this embodiment, the reason why the similarity of the movement trajectory is employed as a parameter for group recognition is to incorporate this tracking phenomenon into group recognition.
ただし、この移動軌跡の類似度は、一方で、周囲の密度Dがあまり高い場所(通路狭い通路なと)では、必ずしも正しい認識結果を出さないことがある。そこで、この実施例では、ステップS25で計算する平均密度D(p)を利用する。 However, on the other hand, the degree of similarity of the movement trajectory may not always give a correct recognition result in a place where the surrounding density D is too high (if the passage is a narrow passage). Therefore, in this embodiment, the average density D (p) calculated in step S25 is used.
このように、移動軌跡の類似性は、グループの認識特に追従現象を認識するのに多大に機能するが、上述のように各人の周囲の平均密度D(p)によって認識結果が影響を受ける。 As described above, the similarity of the movement trajectory greatly functions to recognize the group, particularly the tracking phenomenon, but the recognition result is influenced by the average density D (p) around each person as described above. .
そこで、この実施例では、さらに移動方向の類似度等を、グループ認識のパラメータとして採用する。 Therefore, in this embodiment, the similarity in the moving direction is further adopted as a parameter for group recognition.
すなわち、移動方向が類似しているということは、同じグループである可能性が高いので、後述のステップS35では、第2パラメータである数値Simθ(p1,p2)を使ってペア(p1,p2)が同じグループかどうか判定する。同様の理由で、後述のステップS35では、第3パラメータである移動速度の類似度SimV(p1,p2)、さらには第4パラメータである平均移動距離AvgD(p1,p2)の数値を使ってペア(p1,p2)が同じグループかどうか判定する。 That is, if the movement directions are similar, there is a high possibility that they are in the same group. Therefore, in step S35, which will be described later, the pair (p1, p2) is set using the second parameter, the numerical value Simθ (p1, p2). Determine if they are the same group. For the same reason, in step S35, which will be described later, a pair using the moving speed similarity SimV (p1, p2) as the third parameter and the average moving distance AvgD (p1, p2) as the fourth parameter. It is determined whether (p1, p2) are the same group.
ただし、これらの第2‐第4パラメータは、従来のグループ認識方法においても使われることがある。それは、或る程度の時間(たとえば、5秒間)、或る程度近くで、或る程度同じ方向で、或る程度似た速度で移動している人どうしは、グループである、という考えに基づいている。 However, these second to fourth parameters may also be used in the conventional group recognition method. It is based on the idea that people moving in a certain amount of time (for example, 5 seconds), in a certain degree, in the same direction, with a certain degree of speed, are in groups. ing.
なお、第2‐第4パラメータは、すべてが利用される必要はなく、そのうちの少なくとも1つが、前述の第1パラメータ(移動軌跡の類似度)と共に用いられればよい。 Note that it is not necessary to use all of the second to fourth parameters, and at least one of them may be used together with the first parameter (similarity of movement trajectory).
そして、ステップS35でコンピュータ14は、たとえばSVM(サポートベクタマシン:support vector machine)等の学習機に上記で計算した、SimTraj(p1,p2)、Simθ(p1,p2)、SimV(p1,p2)、AvgD(p1,p2)を投入して、ペア(p1,p2)が同じグループに含まれるかどうか判定する。ただし、学習機による他、グループを形成するかどうかの確率の計算には、計算テーブルの利用、数式のモデル化が考えられる。
In step S35, the
なお、ステップS35では、移動軌跡の類似度SimTraj(p1,p2)が所定の閾値を超えて、2人の移動軌跡が非類似である場合、そのことだけで2は別のグループに属するという判定を行ってもよい。つまり、移動軌跡の類似度SimTraj(p1,p2)に最も大きい重み(weight)を付与しておき、まず、移動軌跡の類似度SimTraj(p1,p2)に基づいて同一グループかどうか判定し、その結果同一グループであると認識したペアについて、上記の第2パラメータ‐第4パラメータを用いて、同一グループかどうか判定するようにしてもよい。 In step S35, if the similarity Tram (p1, p2) of the movement trajectory exceeds a predetermined threshold and the two movement trajectories are dissimilar, it is determined that 2 belongs to another group only by that fact. May be performed. That is, the largest weight (weight) is given to the similarity Tram (p1, p2) of the movement trajectory, and first, it is determined whether or not they are the same group based on the similarity SimTaj (p1, p2) of the movement trajectory. As a result, for pairs recognized as being in the same group, it may be determined whether they are in the same group using the second parameter to the fourth parameter.
そして、ステップS35で同一グループを形成すると判定したPgroup(p1,p2)が同一グループに含まれる場合、p1およびp2の集合を結合する。 If Pgroup (p1, p2) determined to form the same group in step S35 is included in the same group, the set of p1 and p2 is combined.
このようにして、図9で示すようなグループが認定される。図9に示すように、Pgroup(p1,p2)が同一グループと判定されたペアは、直線で結ばれる。また、破線で囲まれた領域が同一のグループとして認識される。このようなグループとそれを構成する構成員および構成員の属性(大人、子供など)がグループデータとして、図5に示すデータ記憶領域204に記憶される。
In this way, a group as shown in FIG. 9 is certified. As shown in FIG. 9, pairs in which Pgroup (p1, p2) are determined to be in the same group are connected by a straight line. Moreover, the area | region enclosed with the broken line is recognized as the same group. Such a group and its constituent members and member attributes (adult, child, etc.) are stored as group data in the
なお、上述の説明では、平均密度G(p)、移動軌跡の類似度SimTraj(p1,p2)、移動方向の類似度Simθ(p1,p2)、移動速度の類似度SimV(p1,p2)、平均移動距離AvgD(p1,p2)を、たとえばSVMのような判定器に投入したが、これらの数値を全部使用する必要はなく、必要な1つ以上の数値を用いてグループを認識することができる。特に、移動軌跡の類似度SimTraj(p1,p2)、移動方向の類似度Simθ(p1,p2)、移動速度の類似度SimV(p1,p2)あるいは平均移動距離AvgD(p1,p2)のような時系列的な類似性に基づいて、ペア(p1,p2)が同じグループかどうか判定すればよい。 In the above description, the average density G (p), the moving path similarity SimTraj (p1, p2), the moving direction similarity Simθ (p1, p2), the moving speed similarity SimV (p1, p2), The average moving distance AvgD (p1, p2) is input to a determination device such as SVM, for example. However, it is not necessary to use all of these numerical values, and the group can be recognized using one or more necessary numerical values. it can. In particular, the movement trajectory similarity SimTraj (p1, p2), the movement direction similarity Simθ (p1, p2), the movement speed similarity SimV (p1, p2), or the average movement distance AvgD (p1, p2) What is necessary is just to determine whether a pair (p1, p2) is the same group based on the time series similarity.
このようにして、グループと各グループに属する人を特定した後、ステップS7で、コンピュータ14は、図5のグループデータ214を参照して、グループ構成の認識処理を行う。つまり、グループ毎に、含まれている大人と子供の情報(ステップS3)から、構成員ラベルを判定して、そのグループに大人と子供が含まれている場合「家族連れ」、グループがすべて大人の場合「大人のみ」、グループがすべて子供の場合「子供のみ」と分類する。
In this way, after identifying groups and persons belonging to each group, in step S7, the
コンピュータ14は、ステップS9において、各人の位置情報を参照して、ロボット10が話しかけられる範囲(たとえば半径2‐20mの範囲)内に人が存在するかどうか判断する。
In step S <b> 9, the
このステップS9で“NO”が判断されれば、先のステップS1に戻り、“YES”なら、コンピュータ14は、次のステップS11を実行して、たとえばロボット10に最も近い人のような、ロボット10が話しかける対象を、選択する。
If “NO” is determined in this step S9, the process returns to the previous step S1, and if “YES”, the
そして、ステップS13で、たとえば図10に示すような、先のステップS7で認識したそのグループの属性に適合する(ふさわしい)発話コンテンツを、発話コンテンツデータベース20から選択し、ステップS15でその発話コンテンツに従って発話する。
Then, in step S13, for example, as shown in FIG. 10, the utterance content that matches (appropriate) the attribute of the group recognized in the previous step S7 is selected from the
たとえば、構成員がすべて大人であるグループの人に話かける場合、アルコール類の割引情報をコンテンツとして発話する。構成員が家族連れであるグループの人に話かける場合、ファミリーレストランの割引情報をコンテンツとして発話する。構成員がすべて子供であるグループの人に話かける場合、おもちゃ屋さんのイベント情報をコンテンツとして発話する。グループがカップルである場合、たとえばケーキ屋のペア招待券の情報をコンテンツとして発話する。 For example, when talking to a group member whose members are all adults, alcohol discount information is uttered as content. When a member speaks to a group member who is traveling with a family, the discount information of the family restaurant is spoken as content. When talking to a group member whose members are all children, the event information of the toy store is spoken as content. When the group is a couple, for example, information on a pair invitation ticket of a cake shop is uttered as content.
ただし、コンテンツを提供する発火条件としては、グループの属性だけでなく、特定の時間や、特定の場所なども発火条件として加味することも考えられる。 However, it is conceivable that the firing conditions for providing the content include not only the group attributes but also a specific time, a specific place, etc. as the firing conditions.
さらに、提供するサービスも、発話コンテンツに従った発話だけでなく、ロボットの手足を使って表現するコンテンツ、連携する機器(たとえば、ディスプレイ等)を使って費用減するコンテンツがあってもよい。 Furthermore, the provided service may include not only the utterance according to the utterance content, but also the content expressed using the limbs of the robot, and the content that reduces the cost using a linked device (for example, a display).
さらに、提供するサービスとしては、店舗や商品の割引券やクーポンを配るようなサービスがあってもよい。この場合、ロボット10にプリンタ(図示せず)を搭載し、ロボット10がその場で割引券やクーポンを印刷して配るようにすることも考えられる。
Further, as a service to be provided, there may be a service that distributes discount coupons or coupons for stores and products. In this case, it is also conceivable that a printer (not shown) is mounted on the
この実施例では、グループの属性に合ったサービスを提供するので、サービス提供の成功率が高く、サービスを効率的に提供することができる。 In this embodiment, since a service that matches the attribute of the group is provided, the success rate of service provision is high, and the service can be provided efficiently.
なお、図9のGroup3のように、要素数が1の場合、すなわちグループを構成していない人に対しても、その人が大人か、子供か、男性か、女性か、などの属性に応じてコンテンツを選択して提供することもできる。 In addition, as in Group 3 in FIG. 9, when the number of elements is 1, that is, according to attributes such as whether the person is an adult, a child, a man, or a woman, even if the person does not constitute a group. You can also select and provide content.
図11は、図7に示すグループ認識処理が正しくグループを認識するかどうかパラメータをチューニングするための動作を示すフロー図である。 FIG. 11 is a flowchart showing an operation for tuning a parameter as to whether the group recognition process shown in FIG. 7 correctly recognizes a group.
このチューニング処理の最初のステップS41では、コンピュータ14は、チューニング用のデータセットから、Δt秒間のすべての人の位置情報(id,x,y,z)および移動情報(v,θ)を取得する。
In the first step S41 of the tuning process, the
このチューニング用のデータセットは、人位置計測システムの結果のデータにグループ関係のラベルの有無を付加したデータで、別途データベースとして準備したものである。位置情報(t,id,x,y,z,v,θ)が記載された移動軌跡データベース(計測データ212に相当する)と、グループラベルデータベース(グループデータ214に相当する)で構成されている。グループデータ214は、前述のように、idのペアとグループ情報(フラグ)の3つのデータを含む。
This data set for tuning is data in which the presence / absence of a group-related label is added to the result data of the human position measurement system, and is prepared as a separate database. It consists of a moving trajectory database (corresponding to measurement data 212) in which position information (t, id, x, y, z, v, θ) is described, and a group label database (corresponding to group data 214). . As described above, the
その後ステップS43‐S51では、先に説明した図7のステップS25‐S33と同様の処理を実行する。 Thereafter, in steps S43 to S51, processing similar to that of steps S25 to S33 of FIG. 7 described above is executed.
そして、ステップS53において、各人のペア(p1,p2)が同じグループに含まれるか、含まれないかを示すクラス情報Cを読み出す。クラス情報C=0が、ペア(p1,p2)が別グループであることを示し、C=1が同じグループであることを示す。 In step S53, class information C indicating whether or not each person's pair (p1, p2) is included in the same group is read out. Class information C = 0 indicates that the pair (p1, p2) is a different group, and C = 1 indicates that it is the same group.
そして、ステップS55で、たとえばSVMへ各数値SimTraj(p1,p2)、Simθ(p1,p2)、SimV(p1,p2)、AvgD(p1,p2)を投入した際、クラス情報Cを予測率が最も高くなるように、SVMのパラメータをチューニングする。 In step S55, for example, when each numerical value SimTraj (p1, p2), Simθ (p1, p2), SimV (p1, p2), and AvgD (p1, p2) are input to the SVM, the prediction rate of the class information C is Tune SVM parameters to be the highest.
それによって、図7のグループ認識処理において、正しくグループ認識を行えるようになる。 As a result, the group recognition can be performed correctly in the group recognition process of FIG.
詳しく説明すると、SVMのような学習器では、通常、学習用のパラメータ(SVMの場合、認識方法を決定するカーネル関数の種類(線形、ガウシアン関数)やそれらの基本パラメータなど)が複数存在する。そして、学習用のパラメータを決定した後、学習用データと正解ラベルを与えることで、認識率が最も高くなるよう内部変数の調整(=学習)を行う。しかしながら、学習パラメータ毎に認識率に違いがでるため、最も高い認識率を示す数字を探す必要があり、そのような作業を「チューニング」と呼ぶ。 More specifically, a learning device such as SVM usually has a plurality of learning parameters (in the case of SVM, kernel function types (linear and Gaussian functions) for determining a recognition method and their basic parameters). Then, after determining the learning parameters, the learning variables and correct answer labels are given to adjust the internal variables (= learning) so that the recognition rate becomes the highest. However, since the recognition rate differs for each learning parameter, it is necessary to search for a number indicating the highest recognition rate, and such work is called “tuning”.
さらには、過学習を避けるための作業も実施するが、その点はこの発明に係る点ではなくかつ当該分野ではよく知られていることなので、ここではこれ以上の説明は省略する。 Furthermore, although an operation for avoiding overlearning is also performed, this is not a point related to the present invention and is well known in the art, so further explanation is omitted here.
なお、この発明に利用できるコミニュケーションロボットは、図3および図4の実施例で説明したロボット10に限定されるものではない。
Note that the communication robot that can be used in the present invention is not limited to the
さらに、ロボット10の周囲の人の位置や姿勢などを検出するための人追跡システムも、実施例で説明したシステムに限定されるものではない。他の構成の人追跡システムが利用されてもよい。
Furthermore, the human tracking system for detecting the positions and postures of people around the
さらに、実施例では遠隔操作コンピュータ14がロボット10に命令を与えてサービスを提供させたが、コンピュータ14に代わって、ロボット10たとえば図4のCPU80が計測プログラム206、グループ認識プログラム208および/またはサービス提供プログラム210(図5)を実行するようにしてもよい。
Further, in the embodiment, the
10 …ロボット
12 …距離画像センサ
14 …コンピュータ
100 …サービス提供ロボットシステム
DESCRIPTION OF
Claims (5)
人追跡システムによって取得したそれぞれの人の属性に従って、グループを認識するグループ認識部、
グループの構成員にサービスを提供する際、当該グループの属性に適合するコンテンツを選択するコンテンツ選択部、および
前記選択したコンテンツを前記構成員に提供するコンテンツ提供部を備える、サービス提供ロボットシステム。 A service providing robot system in which a robot provides a service to a person,
A group recognition unit that recognizes groups according to the attributes of each person acquired by the person tracking system,
A service providing robot system comprising: a content selection unit that selects content that conforms to an attribute of the group when providing a service to a member of the group; and a content provision unit that provides the selected content to the member.
人追跡システムによって取得したそれぞれの人の属性に従って、グループを認識するグループ認識部、
グループの構成員にサービスを提供する際、当該グループの属性に従ったコンテンツを選択するコンテンツ選択部、および
前記選択したコンテンツを前記構成員に提供するコンテンツ提供部
として機能させる、サービス提供プログラム。 A service providing program executed by content of a service providing robot system in which a robot provides a service to a person, the program including the content,
A group recognition unit that recognizes groups according to the attributes of each person acquired by the person tracking system,
A service providing program that functions as a content selection unit that selects content according to an attribute of the group and a content providing unit that provides the selected content to the member when providing a service to the member of the group.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016063035A JP6713637B2 (en) | 2016-03-28 | 2016-03-28 | Service provision robot system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016063035A JP6713637B2 (en) | 2016-03-28 | 2016-03-28 | Service provision robot system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017177228A true JP2017177228A (en) | 2017-10-05 |
JP6713637B2 JP6713637B2 (en) | 2020-06-24 |
Family
ID=60007860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016063035A Active JP6713637B2 (en) | 2016-03-28 | 2016-03-28 | Service provision robot system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6713637B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190053001A (en) * | 2017-11-09 | 2019-05-17 | 삼성전자주식회사 | Electronic device capable of moving and method for operating thereof |
WO2020100488A1 (en) * | 2018-11-13 | 2020-05-22 | 株式会社日立製作所 | Communication robot |
WO2020202621A1 (en) * | 2019-03-29 | 2020-10-08 | パナソニックIpマネジメント株式会社 | Unmanned moving body and information processing method |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006352626A (en) * | 2005-06-17 | 2006-12-28 | Nippon Telegr & Teleph Corp <Ntt> | Moving locus analyzing device and program |
JP2011034352A (en) * | 2009-07-31 | 2011-02-17 | Fujitsu Ltd | Guide position management device, guide position management program and guide service provision method |
JP2011248548A (en) * | 2010-05-25 | 2011-12-08 | Fujitsu Ltd | Content determination program and content determination device |
JP2012203646A (en) * | 2011-03-25 | 2012-10-22 | Advanced Telecommunication Research Institute International | Flow-state discrimination device, flow-state discrimination method, flow-state discrimination program, and robot control system using the device, method and program |
JP2013099823A (en) * | 2011-11-09 | 2013-05-23 | Panasonic Corp | Robot device, robot control method, robot control program and robot system |
JP2013109051A (en) * | 2011-11-18 | 2013-06-06 | Glory Ltd | Electronic information providing system and electronic information providing method |
JP2013246517A (en) * | 2012-05-23 | 2013-12-09 | Fujitsu Ltd | Nonverbal information collection apparatus and nonverbal information collection program |
WO2015158878A1 (en) * | 2014-04-17 | 2015-10-22 | Aldebaran Robotics | Methods and systems of handling a dialog with a robot |
-
2016
- 2016-03-28 JP JP2016063035A patent/JP6713637B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006352626A (en) * | 2005-06-17 | 2006-12-28 | Nippon Telegr & Teleph Corp <Ntt> | Moving locus analyzing device and program |
JP2011034352A (en) * | 2009-07-31 | 2011-02-17 | Fujitsu Ltd | Guide position management device, guide position management program and guide service provision method |
JP2011248548A (en) * | 2010-05-25 | 2011-12-08 | Fujitsu Ltd | Content determination program and content determination device |
JP2012203646A (en) * | 2011-03-25 | 2012-10-22 | Advanced Telecommunication Research Institute International | Flow-state discrimination device, flow-state discrimination method, flow-state discrimination program, and robot control system using the device, method and program |
JP2013099823A (en) * | 2011-11-09 | 2013-05-23 | Panasonic Corp | Robot device, robot control method, robot control program and robot system |
JP2013109051A (en) * | 2011-11-18 | 2013-06-06 | Glory Ltd | Electronic information providing system and electronic information providing method |
JP2013246517A (en) * | 2012-05-23 | 2013-12-09 | Fujitsu Ltd | Nonverbal information collection apparatus and nonverbal information collection program |
WO2015158878A1 (en) * | 2014-04-17 | 2015-10-22 | Aldebaran Robotics | Methods and systems of handling a dialog with a robot |
Non-Patent Citations (1)
Title |
---|
KANDA, A.: "Recognizing groups of visitors for a robot museum guide tour", 7TH INTERNATIONAL COFERENCE ON HUMAN SYSTEM INTERACTIONS(HSI), JPN6020006502, June 2014 (2014-06-01), pages 123 - 128, XP032622560, ISSN: 0004219519, DOI: 10.1109/HSI .2014.6860460 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190053001A (en) * | 2017-11-09 | 2019-05-17 | 삼성전자주식회사 | Electronic device capable of moving and method for operating thereof |
US11407106B2 (en) | 2017-11-09 | 2022-08-09 | Samsung Electronics Co., Ltd | Electronic device capable of moving and operating method thereof |
KR102463806B1 (en) * | 2017-11-09 | 2022-11-07 | 삼성전자주식회사 | Electronic device capable of moving and method for operating thereof |
WO2020100488A1 (en) * | 2018-11-13 | 2020-05-22 | 株式会社日立製作所 | Communication robot |
JP2020078448A (en) * | 2018-11-13 | 2020-05-28 | 株式会社日立製作所 | Communication robot |
CN112912152A (en) * | 2018-11-13 | 2021-06-04 | 株式会社日立制作所 | AC robot |
CN112912152B (en) * | 2018-11-13 | 2022-07-22 | 株式会社日立制作所 | AC robot |
JP7253900B2 (en) | 2018-11-13 | 2023-04-07 | 株式会社日立製作所 | communication robot |
WO2020202621A1 (en) * | 2019-03-29 | 2020-10-08 | パナソニックIpマネジメント株式会社 | Unmanned moving body and information processing method |
Also Published As
Publication number | Publication date |
---|---|
JP6713637B2 (en) | 2020-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10948913B2 (en) | Method of identifying unexpected obstacle and robot implementing the method | |
US11556844B2 (en) | Artificial intelligence robot for determining cleaning route using sensor data and method for the same | |
US11554495B2 (en) | Method of localization using multi sensor and robot implementing same | |
KR101295003B1 (en) | Intelligent robot, system for interaction between intelligent robot and user, and method for interaction between intelligent robot and user | |
JP4871160B2 (en) | Robot and control method thereof | |
JP5366048B2 (en) | Information provision system | |
JP5318623B2 (en) | Remote control device and remote control program | |
US11330951B2 (en) | Robot cleaner and method of operating the same | |
JP5764795B2 (en) | Mobile robot, mobile robot learning system, and mobile robot behavior learning method | |
JP6919882B2 (en) | Person estimation system and estimation program | |
JP5763384B2 (en) | Movement prediction apparatus, robot control apparatus, movement prediction program, and movement prediction method | |
JP6893630B2 (en) | Service provision robot system | |
JP6134895B2 (en) | Robot control system, robot control program, and explanation robot | |
JP4435212B2 (en) | Posture recognition device and autonomous robot | |
CN113056315B (en) | Information processing apparatus, information processing method, and program | |
US20200046193A1 (en) | Artificial intelligence robot cleaner | |
JP7045938B2 (en) | Dialogue system and control method of dialogue system | |
JP6713637B2 (en) | Service provision robot system | |
JP6134894B2 (en) | Robot control system and robot | |
US12085951B2 (en) | Method of updating map in fusion SLAM and robot implementing same | |
JP2020004182A (en) | Robot, robot control program and robot control method | |
JP7317436B2 (en) | ROBOT, ROBOT CONTROL PROGRAM AND ROBOT CONTROL METHOD | |
JP6707255B2 (en) | Service provision robot system | |
JP2012203646A (en) | Flow-state discrimination device, flow-state discrimination method, flow-state discrimination program, and robot control system using the device, method and program | |
US11464380B2 (en) | Artificial intelligence cleaner and operating method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200326 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200514 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6713637 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |