JP2006268607A - Communication robot and motion identification system using it - Google Patents
Communication robot and motion identification system using it Download PDFInfo
- Publication number
- JP2006268607A JP2006268607A JP2005087651A JP2005087651A JP2006268607A JP 2006268607 A JP2006268607 A JP 2006268607A JP 2005087651 A JP2005087651 A JP 2005087651A JP 2005087651 A JP2005087651 A JP 2005087651A JP 2006268607 A JP2006268607 A JP 2006268607A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- identification information
- human
- robot
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
この発明はコミュニケーションロボットおよびそれを用いた動作識別システムに関し、特にたとえば、人間の動作を識別する、コミュニケーションロボットおよびそれを用いた動作識別システムに関する。 The present invention relates to a communication robot and a motion identification system using the communication robot, and more particularly to a communication robot and a motion identification system using the communication robot for identifying a human motion, for example.
本件出願人は、特許文献1に代表されるように、人間と相互作用するコミュニケーションロボットを提案してきた。
背景技術のコミュニケーションロボットを用いて、その周囲に存在する人間の動作を識別する場合には、たとえば、人間のあらゆる動作(行動)についての映像を予め記録しておき、撮影した映像と予め記録しておいた映像とを比較し、いずれか1つの動作を特定する。これでは、計算量が膨大である。また、映像のみで動作を判断した場合には、異なる動作であっても映像が似ている動作では、誤った動作として特定してしまう可能性がある。 When using a communication robot of the background art to identify human movements around it, for example, video images of all human movements (behaviors) are recorded in advance, and recorded video images are recorded in advance. It compares with the stored video and identifies any one action. In this case, the calculation amount is enormous. In addition, when an operation is determined only by a video, there is a possibility that an operation similar to the video even if it is a different operation is specified as an erroneous operation.
それゆえに、この発明の主たる目的は、新規な、コミュニケーションロボットおよびそれを用いた動作識別システムを提供することである。 Therefore, a main object of the present invention is to provide a novel communication robot and a motion identification system using the communication robot.
この発明の他の目的は、計算処理を低減して人間の行動を正確に特定できる、コミュニケーションロボットおよびそれを用いた動作識別システムを提供することである。 Another object of the present invention is to provide a communication robot and an action identification system using the same that can accurately specify human behavior by reducing calculation processing.
請求項1の発明は、人間を撮影する撮影手段、人間の近傍に存在する物体についての識別情報を検出する識別情報検出手段、識別情報検出手段によって検出された識別情報に基づいて人間の動作を予測する動作予測手段、および撮影手段によって撮影された撮影画像が示す人間の実動作と動作予測手段によって予測された予測動作とから当該実動作を特定する動作特定手段を備える、コミュニケーションロボットである。 According to the first aspect of the present invention, a photographing means for photographing a human, an identification information detecting means for detecting identification information about an object existing in the vicinity of the human, and a human action based on the identification information detected by the identification information detecting means. The communication robot includes a motion predicting unit that predicts, and a motion specifying unit that specifies the actual motion from a human actual motion indicated by a captured image captured by the capturing unit and a predicted motion predicted by the motion predicting unit.
請求項1の発明では、コミュニケーションロボットは、撮影手段、識別情報検出手段、動作予測手段、および動作特定手段を備える。撮影手段は、たとえば、人間を撮影する。識別情報検出手段は、ロボット自身が存在する環境において、その周辺に存在する物体(物品)、厳密には、人間の近傍に存在する物品についての識別情報を検出する。実施例では、物品に装着した無線タグから発信されるタグIDを検出する。動作予測手段は、識別情報検出手段によって検出された識別情報に基づいて人間の動作を予測する。たとえば、人間が鉛筆を所持したり、人間の近傍に鉛筆が存在する場合には、人間が文字等を書いたり、書いた文字等を読んだりするなどしていると、その動作を予測することができる。そして、動作特定手段は、撮影手段によって撮影された撮影画像が示す人間の実動作と動作予測手段によって予測された予測動作とから当該実動作を特定する。 According to the first aspect of the present invention, the communication robot includes a photographing unit, an identification information detecting unit, an operation predicting unit, and an operation specifying unit. The photographing means photographs a human, for example. The identification information detection means detects identification information about an object (article) that exists in the vicinity of the robot in the environment where the robot itself exists, strictly speaking, an article that exists in the vicinity of a human. In the embodiment, the tag ID transmitted from the wireless tag attached to the article is detected. The motion prediction means predicts a human motion based on the identification information detected by the identification information detection means. For example, if a person has a pencil or a pencil is in the vicinity of a person, predict the movement of the person who is writing or reading the character. Can do. Then, the action specifying unit specifies the actual action from the human actual action indicated by the photographed image taken by the photographing means and the predicted action predicted by the action predicting unit.
請求項1の発明によれば、人間の近傍に存在する物体に基づいて動作を予測し、予測した動作から実動作を特定するので、あらゆる動作から1の動作を特定する場合よりも、大幅に特定処理を軽減することができる。また、物体と実動作との組み合わせにより、1の動作を特定するので、動作を正確に特定することができる。 According to the first aspect of the present invention, since the motion is predicted based on the object existing in the vicinity of the human and the actual motion is specified from the predicted motion, it is much more significant than the case where one motion is specified from every motion. Specific processing can be reduced. Further, since one motion is specified by the combination of the object and the actual motion, the motion can be accurately specified.
請求項2の発明は請求項1に従属し、撮影画像が示す人間の実動作と予測動作の各々との類似度を算出する類似度算出手段をさらに備え、動作特定手段は、類似度算出手段によって算出された類似度が最も高い予測動作を実動作として特定する。
The invention of claim 2 is dependent on
請求項2の発明では、コミュニケ−ショロボットは、類似度算出手段をさらに備える。この類似度算出手段は、撮影画像が示す人間の実動作と予測動作の各々との類似度を算出する。動作特定手段は、類似度が最も高い予測動作を実動作として特定する。 In the invention of claim 2, the communication robot further includes a similarity calculation means. This similarity calculation means calculates the similarity between each human actual motion and predicted motion indicated by the captured image. The action specifying unit specifies a predicted action having the highest similarity as an actual action.
請求項2の発明では、識別情報に基づいて絞り込んだ予測動作との類似度を算出するだけなので、すべての動作との類似度を算出する場合に比べて処理負担を軽減することができる。また、絞り込んだ予測動作から実動作を特定するので、すべての動作について類似度を算出する場合よりも、識別精度を高くすることができる。 According to the second aspect of the present invention, since the degree of similarity with the predicted motion narrowed down based on the identification information is only calculated, the processing load can be reduced as compared with the case of calculating the degree of similarity with all motions. In addition, since the actual motion is specified from the narrowed predicted motion, the identification accuracy can be made higher than when the similarity is calculated for all motions.
請求項3の発明は、コミュニケーションロボットと、このコミュニケーションロボットと通信可能に設けられるサーバとを備える動作識別システムであって、コミュニケーションロボットは、人間を撮影する撮影手段、人間の近傍に存在する物体についての識別情報を検出する識別情報検出手段、検出した識別情報をサーバに送信する識別情報送信手段、サーバから人間の予測動作情報を受信する予測動作情報受信手段、および撮影手段によって撮影された撮影画像が示す人間の実動作と予測動作情報受信手段によって受信された予測動作情報とから当該実動作を特定する動作特定手段を備え、サーバは、識別情報送信手段に送信された識別情報を受信する識別情報受信手段、および識別情報受信手段によって受信された識別情報に基づいて取得した人間の予測動作情報をコミュニケーションロボットに送信する予測動作情報送信手段を備える、動作識別システムである。
The invention of
請求項3の発明は、コミュニケーションロボットと、このコミュニケーションロボットと通信可能に設けられるサーバとを備える動作識別システムである。この動作識別システムでは、コミュニケーションロボットは、人間の近傍に存在する物体の識別情報を検出すると、その識別情報をサーバに送信する。サーバは、識別情報に基づいて動作を予測し、予測動作情報をコミュニケーションロボットに送信する。つまり、請求項2の発明では、動作を予測する手段ないし役割としてのサーバが設けられる点が請求項1の発明と異なる。
The invention of
請求項3の発明によれば、請求項1の発明と同様に、動作特定についての計算処理を大幅に低減できる。また、ロボットにおける計算処理の負担を軽減できる。
According to the invention of
請求項4の発明は、コミュニケーションロボットと、このコミュニケーションロボットと通信可能に設けられるサーバとを備える動作識別システムであって、コミュニケーションロボットは、人間を撮影する撮影手段、人間の近傍に存在する物体についての識別情報を検出する識別情報検出手段、および撮影手段によって撮影された撮影画像と識別情報検出手段によって検出された識別情報とをサーバに送信する送信手段を備え、サーバは、送信手段に送信された撮影画像と識別情報とを受信する受信手段、受信手段によって受信された識別情報に基づいて人間の動作を予測する動作予測手段、識別情報受信手段によって受信された撮影画像が示す人間の実動作と動作予測手段によって予測された予測動作とから当該実動作を特定する動作特定手段を備える、動作識別システムである。 The invention of claim 4 is an operation identification system comprising a communication robot and a server provided so as to be communicable with the communication robot, wherein the communication robot is for photographing means for photographing a person, and an object existing in the vicinity of the person. Identification information detecting means for detecting the identification information, and transmission means for transmitting the photographed image photographed by the photographing means and the identification information detected by the identification information detecting means to the server, and the server is transmitted to the transmitting means. Receiving means for receiving the captured image and identification information, operation predicting means for predicting human motion based on the identification information received by the receiving means, and actual human motion indicated by the captured image received by the identification information receiving means And a motion characteristic that identifies the actual motion from the motion predicted by the motion prediction means. Comprising means, an operation identification system.
請求項4の発明では、コミュニケーションロボットは、識別情報と人間の撮影画像とをサーバに送信し、サーバが識別情報に基づいて行動を予測し、予測行動の各々と撮影画像とから、撮影画像が示す人間の動作を特定するようにしてある以外は、請求項3の発明と同じである。
In the invention of claim 4, the communication robot transmits identification information and a human captured image to the server, the server predicts an action based on the identification information, and the captured image is obtained from each of the predicted actions and the captured image. The present invention is the same as the invention of
請求項4の発明においても、請求項1の発明と同様に、動作特定についての計算処理を大幅に低減できる。また、ロボットにおける計算処理の負担を軽減できる。
In the invention of claim 4, as in the invention of
この発明によれば、人間の近傍に存在する物体から人間の動作を推定し、推定した動作のいずれか1つに特定するので、計算量を大幅に低減することができる。また、映像のみならず、物体との組み合わせにより、動作を特定するので、正確に動作を特定することができる。 According to the present invention, since the human motion is estimated from an object existing in the vicinity of the human and is identified as any one of the estimated motions, the amount of calculation can be greatly reduced. Further, since the motion is specified not only by the image but also by the combination with the object, the motion can be accurately specified.
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。 The above object, other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.
<第1実施例>
図1を参照して、この第1実施例の動作識別システム(以下、単に「システム」という。)10は、コミュニケーションロボット(以下、単に「ロボット」という。)12および複数のタグ14を含む。ロボット12は、人間との間で、身振り手振りのような身体動作ないし行動(以下、「コミュニケーション行動」ということがある。)を取ることができる。ただし、コミュニケーション行動としては、ロボット12と人間との間における会話が含まれる場合もある。タグ14は、たとえばパッシブタイプの無線タグ(RFタグ、ICタグなど)であり、少なくともロボット12が存在する環境に存在する物体(図1では省略する。)に装着される(貼り付けられる)。
<First embodiment>
Referring to FIG. 1, an operation identification system (hereinafter simply referred to as “system”) 10 according to the first embodiment includes a communication robot (hereinafter simply referred to as “robot”) 12 and a plurality of
ロボット12は、人間のような身体を有し、その身体を用いてコミュニケーションのために必要な複雑な身体動作を生成する。具体的には、図2を参照して、ロボット12は台車32を含み、この台車32の下面には、このロボット12を自律移動させる車輪34が設けられる。この車輪34は、車輪モータ(ロボット12の内部構成を示す図3において参照番号「36」で示す。)によって駆動され、台車32すなわちロボット12を前後左右任意の方向に動かすことができる。
The
なお、図2では示さないが、この台車32の前面には、衝突センサ(図3において参照番号「38」で示す。)が取り付けられ、この衝突センサ38は、台車32への人や他の障害物の接触を検知する。そして、ロボット12の移動中に障害物との接触を検知すると、直ちに車輪34の駆動を停止してロボット12の移動を急停止させる。
Although not shown in FIG. 2, a collision sensor (indicated by reference numeral “38” in FIG. 3) is attached to the front surface of the
また、ロボット12の背の高さは、この第1実施例では、人、特に子供に威圧感を与えることがないように、100cm程度とされている。ただし、この背の高さは任意に変更可能である。
In the first embodiment, the height of the
台車32の上には、多角形柱のセンサ取付パネル40が設けられ、このセンサ取付パネル40の各面には、超音波距離センサ42が取り付けられる。この超音波距離センサ42は、取付パネル40すなわちロボット12の周囲の主として人との間の距離を計測するものである。
A polygonal column
台車32の上には、さらに、ロボット12の胴体が、その下部が上述の取付パネル40に囲まれて、直立するように取り付けられる。この胴体は下部胴体44と上部胴体46とから構成され、これら下部胴体44および上部胴体46は、連結部48によって連結される。連結部48には、図示しないが、昇降機構が内蔵されていて、この昇降機構を用いることによって、上部胴体46の高さすなわちロボット12の高さを変化させることができる。昇降機構は、後述のように、腰モータ(図3において参照番号「50」で示す。)によって駆動される。上で述べたロボット12の身長100cmは、上部胴体46をそれの最下位置にしたときの値である。したがって、ロボット12の身長は100cm以上にすることができる。
Further, the body of the
上部胴体46のほぼ中央には、1つの全方位カメラ52と、1つのマイク16とが設けられる。全方位カメラ52は、ロボット12の周囲を撮影するもので、後述の眼カメラ54と区別される。マイク16は、周囲の音、とりわけ人の声を取り込む。
One
上部胴体46の両肩には、それぞれ、肩関節56Rおよび56Lによって、上腕58Rおよび58Lが取り付けられる。肩関節56Rおよび56Lは、それぞれ3軸の自由度を有する。すなわち、右肩関節56Rは、X軸,Y軸およびZ軸の各軸廻りにおいて上腕58Rの角度を制御できる。Y軸は、上腕58Rの長手方向(または軸)に平行な軸であり、X軸およびZ軸は、そのY軸に、それぞれ異なる方向から直交する軸である。左肩関節56Lは、A軸,B軸およびC軸の各軸廻りにおいて上腕58Lの角度を制御できる。B軸は、上腕58Lの長手方向(または軸)に平行な軸であり、A軸およびC軸は、そのB軸に、それぞれ異なる方向から直交する軸である。
上腕58Rおよび58Lのそれぞれの先端には、肘関節60Rおよび60Lを介して、前腕62Rおよび62Lが取り付けられる。肘関節60Rおよび60Lは、それぞれ、W軸およびD軸の軸廻りにおいて、前腕62Rおよび62Lの角度を制御できる。
なお、上腕58Rおよび58Lならびに前腕62Rおよび62L(いずれも図2)の変位を制御するX,Y,Z,W軸およびA,B,C,D軸では、「0度」がホームポジションであり、このホームポジションでは、上腕58Rおよび58Lならびに前腕62Rおよび62Lは下方向に向けられる。
In the X, Y, Z, W axes and the A, B, C, D axes that control the displacement of the
また、図2では示さないが、上部胴体46の肩関節56Rおよび56Lを含む肩の部分や上述の上腕58Rおよび58Lならびに前腕62Rおよび62Lを含む腕の部分には、それぞれ、タッチセンサ(図3において参照番号64で包括的に示す。)が設けられていて、これらのタッチセンサ64は、人がロボット12のこれらの部位に接触したかどうかを検知する。
Although not shown in FIG. 2, a touch sensor (FIG. 3) is provided on the shoulder portion including the
前腕62Rおよび62Lのそれぞれの先端には、手に相当する球体66Rおよび66Lがそれぞれ固定的に取り付けられる。なお、この球体66Rおよび66Lに代えて、この第1実施例のロボット12と異なり指の機能が必要な場合には、人の手の形をした「手」を用いることも可能である。また、球体66Rには、右手用のタグリーダ102が設けられ、球体66Lには、左手用のタグリーダ104が設けられる。ただし、いずれか一方の球体ないし手にのみタグリータを設けるようにしてもよい。
上部胴体46の中央上方には、首関節68を介して、頭部70が取り付けられる。この首関節68は、3軸の自由度を有し、S軸,T軸およびU軸の各軸廻りに角度制御可能である。S軸は首から真上に向かう軸であり、T軸およびU軸は、それぞれ、このS軸に対して異なる方向で直交する軸である。頭部70には、人の口に相当する位置に、スピーカ72が設けられる。スピーカ72は、ロボット12が、それの周囲の人に対して音声または声によってコミュニケーションを図るために用いられる。ただし、スピーカ72は、ロボット12の他の部位たとえば胴体に設けられてもよい。
A
また、頭部70には、目に相当する位置に眼球部74Rおよび74Lが設けられる。眼球部74Rおよび74Lは、それぞれ眼カメラ54Rおよび54Lを含む。なお、右の眼球部74Rおよび左の眼球部74Lをまとめて眼球部74といい、右の眼カメラ54Rおよび左の眼カメラ54Lをまとめて眼カメラ54ということもある。眼カメラ54は、ロボット12に接近した人の顔や他の部分ないし物体等を撮影してその映像信号を取り込む。
The
なお、上述の全方位カメラ52および眼カメラ54のいずれも、たとえばCCDやCMOSのような固体撮像素子を用いるカメラであってよい。
Note that each of the
たとえば、眼カメラ54は眼球部74内に固定され、眼球部74は眼球支持部(図示せず)を介して頭部70内の所定位置に取り付けられる。眼球支持部は、2軸の自由度を有し、α軸およびβ軸の各軸廻りに角度制御可能である。α軸およびβ軸は頭部70に対して設定される軸であり、α軸は頭部70の上へ向かう方向の軸であり、β軸はα軸に直交しかつ頭部70の正面側(顔)が向く方向に直交する方向の軸である。この第1実施例では、頭部70がホームポジションにあるとき、α軸はS軸に平行し、β軸はU軸に平行するように設定されている。このような頭部70において、眼球支持部がα軸およびβ軸の各軸廻りに回転されることによって、眼球部74ないし眼カメラ54の先端(正面)側が変位され、カメラ軸すなわち視線方向が移動される。
For example, the
なお、眼カメラ54の変位を制御するα軸およびβ軸では、「0度」がホームポジションであり、このホームポジションでは、図2に示すように、眼カメラ54のカメラ軸は頭部70の正面側(顔)が向く方向に向けられ、視線は正視状態となる。
In the α axis and β axis that control the displacement of the
図3には、ロボット12の内部構成を示すブロック図が示される。この図3に示すように、ロボット12は、全体の制御のためにマイクロコンピュータまたはCPU76を含み、このCPU76には、バス78を通して、メモリ80,モータ制御ボード82,センサ入力/出力ボード84および音声入力/出力ボード86が接続される。
FIG. 3 is a block diagram showing the internal configuration of the
メモリ80は、図示しないが、ROMやHDD、RAM等を含み、ROMまたはHDDにはこのロボット12の制御プログラムおよびデータ等が予め格納されている。CPU76は、このプログラムに従って処理を実行する。具体的には、ロボット12の身体動作を制御するための複数のプログラム(行動モジュールと呼ばれる。)が記憶される。たとえば、行動モジュールが示す身体動作としては、「握手」、「抱っこ」、「万歳」…などがある。行動モジュールが示す身体動作が「握手」である場合には、当該行動モジュールを実行すると、ロボット12は、たとえば、右手を前に差し出す。また、行動モジュールが示す身体動作が「抱っこ」である場合には、当該行動モジュールを実行すると、ロボット12は、たとえば、両手を前に差し出す。さらに、行動モジュールが示す身体動作が「万歳」である場合には、当該行動モジュールを実行すると、ロボット12は、たとえば、両手を数回(たとえば、2回)上下させる。また、RAMは、一時記憶メモリとして用いられるとともに、ワーキングメモリとして利用され得る。
Although not shown, the
モータ制御ボード82は、たとえばDSP(Digital Signal Processor)で構成され、右腕、左腕、頭および眼等の身体部位を駆動するためのモータを制御する。すなわち、モータ制御ボード82は、CPU76からの制御データを受け、右肩関節56RのX,YおよびZ軸のそれぞれの角度を制御する3つのモータと右肘関節60Rの軸Wの角度を制御する1つのモータを含む計4つのモータ(図3ではまとめて、「右腕モータ」として示す。)88の回転角度を調節する。また、モータ制御ボード82は、左肩関節56LのA,BおよびC軸のそれぞれの角度を制御する3つのモータと左肘関節60LのD軸の角度を制御する1つのモータとを含む計4つのモータ(図3ではまとめて、「左腕モータ」として示す。)90の回転角度を調節する。モータ制御ボード82は、また、首関節68のS,TおよびU軸のそれぞれの角度を制御する3つのモータ(図3ではまとめて、「頭部モータ」として示す。)92の回転角度を調節する。モータ制御ボード82は、また、腰モータ50、および車輪34を駆動する2つのモータ(図3ではまとめて、「車輪モータ」として示す。)36を制御する。さらに、モータ制御ボード82は、右眼球部74Rのα軸およびβ軸のそれぞれの角度を制御する2つのモータ(図3ではまとめて、「右眼球モータ」として示す。)94の回転角度を調節し、また、左眼球部74Lのα軸およびβ軸のそれぞれの角度を制御する2つのモータ(図3ではまとめて、「左眼球モータ」として示す。)96の回転角度を調節する。
The
なお、この第1実施例の上述のモータは、車輪モータ36を除いて、制御を簡単化するためにそれぞれステッピングモータまたはパルスモータであるが、車輪モータ36と同様に、直流モータであってよい。
The above-described motors of the first embodiment are stepping motors or pulse motors for simplifying the control, except for the
センサ入力/出力ボード84も、同様に、DSPで構成され、各センサやカメラからの信号を取り込んでCPU76に与える。すなわち、超音波距離センサ42の各々からの反射時間に関するデータがこのセンサ入力/出力ボード84を通して、CPU76に入力される。また、全方位カメラ52からの映像信号が、必要に応じてこのセンサ入力/出力ボード84で所定の処理が施された後、CPU76に入力される。眼カメラ54からの映像信号も、同様にして、CPU76に与えられる。また、タッチセンサ64からの信号がセンサ入力/出力ボード84を介してCPU76に与えられる。
Similarly, the sensor input /
スピーカ72には音声入力/出力ボード86を介して、CPU76から、合成音声データが与えられ、それに応じて、スピーカ72からはそのデータに従った音声または声が出力される。また、マイク24からの音声入力が、音声入力/出力ボード86を介してCPU76に取り込まれる。
Synthetic voice data is given to the
また、CPU76には、バス78を通して、通信LANボード98が接続される。この通信LANボード98も、同様に、DSPで構成され、CPU76から与えられた送信データを無線通信装置100に与え、無線通信装置100から送信データを送信させる。また、通信LANボード98は無線通信装置100を介してデータを受信し、受信データをCPU76に与える。
Further, a
さらに、CPU76には、バス78を介して、タグリーダ102、タグリーダ104およびデータベース106が接続される。ただし、データベース106は、ロボット12内部に設ける必要はなく、ロボット12と通信可能に、その外部に設けるようにすることもできる。タグリーダ102およびタグリーダ104は、上述したように、ロボット12の手(球体64Rおよび64L)に設けられ、ロボット12の周辺に存在する物体等に装着されたタグ14が発信するタグ情報(タグID)を受信して、CPU76に与える。
Further, the
また、データベース106には、図4および図5に示すように、物品データ106a、動作候補データ106bおよび動作テンプレートデータ106c等のデータが記憶される。図4(A)に示すように、物品データ106aは、タグ14の識別情報(タグID)に対応して、該当するタグ14が装着された物品(物体)の名称が記述される。つまり、物品データ106aは、タグIDから物品を特定するためのテーブルデータである。また、図4(B)に示すように、動作候補データ106bは、物品の名称に対応して、動作の候補(動作候補)が記述される。たとえば、物品が「鉛筆」である場合には、動作候補として、「持つ」、「書く」、「見る」、「置く」などの動作が記述される。また、物品が「包丁」である場合には、「持つ」、「置く」、「切る」、「研ぐ」、「洗う」などの動作が記述される。たとえば、人間の近くに鉛筆がある場合には、人間は当該鉛筆を持ったり(握ったり)、当該鉛筆で文字等を書いたり、当該鉛筆で書いた内容を見たり、当該鉛筆を置いたりするなどの動作をすると考えられる。また、人間の近くに包丁がある場合には、人間は当該包丁を持ったり(握ったり)、当該包丁を置いたり、当該包丁で食物(肉、魚、野菜、果物など)を切ったり、当該包丁を研いだり、当該包丁を洗ったりするなどの動作をすると考えられる。つまり、動作候補データ106bは、物品(物体)から予測(推測)され得る人間の動作(行動)の候補を決定するためのテーブルデータである。
Further, as shown in FIGS. 4 and 5, the
また、図5に示すように、動作テンプレートデータ106cは、動作に対応して、当該動作を行う人間を撮影したときの映像(画像)ファイルのファイル名が記述される。図示は省略するが、データベース106には、実際の画像ファイルも記憶される。ただし、各動作に対応して、画像ファイルそのものを記述するようにしてもよい。
Also, as shown in FIG. 5, the action template data 106c describes the file name of a video (image) file when a person who performs the action is photographed, corresponding to the action. Although not shown, the
たとえば、図6に示すように、或る部屋200に、システム10は適用される。ただし、図6では、簡単のため、ロボット12および一部のタグ14を示してある。また、図6に示すように、部屋200には、人間202が存在し、その近傍にロボット12が存在する。また、部屋200には、机204が配置され、机204の上には、ノート206が載置される。たとえば、人間202は、鉛筆208を持って、ノート206に文字等を書いている。さらに、部屋200の隅には、ごみ箱210が置いてある。
For example, as shown in FIG. 6, the
また、上述したように、部屋200に存在する物品(物体)には、それぞれタグ14が装着される。図6では、机204のみにタグ14が装着されている様子を示してあるが、実際には、ノート206、鉛筆208およびごみ箱210にもタグ14は装着される。さらに、部屋200自体(または、屋内や屋外)を識別する場合には、つまり場所を識別する場合には、当該部屋200の入り口や壁等にタグ14を装着するようにしてもよい。
Further, as described above, the
たとえば、システム10は、人間202の動作(行動)を識別(特定)する。具体的には、図3に示したCPU76が図7および図8示す動作識別処理を実行する。図7に示すように、CPU76は動作識別処理を開始すると、ステップS1で、タグリーダ102およびタグリーダ104を動かし、タグIDを検出する。具体的には、眼カメラ54の撮影画像(映像)から人間202を検出し、人間202に接近し、ロボット12の近傍に存在する物品(厳密には、タグID)を検出する。ただし、この第1実施例では、人間202の動作を識別するようにしてあるため、厳密には、その近傍(たとえば、1〜2m程度で、人間の手の届く範囲)に存在する物品を検出するようにしてある。
For example, the
また、人間202の近傍に存在する物品および人間202の撮影画像(映像)から人間202の動作を識別(特定)するようにしてあるため、ロボット12を人間202に近づけるようにしてある。詳細な説明は省略するが、ロボット12は、眼カメラ54の撮影画像(映像)から人間202をパターンマッチングの手法により検出(推定)し、その方向に進行する。或いは、撮影画像(映像)に含まれる肌色領域を検出すると、その肌色領域が大きくなる方向に進行(または後退)或いは回転する。このようにして、ロボット12は、人間202に近づくことができる。
In addition, since the motion of the human 202 is identified (specified) from an article existing in the vicinity of the human 202 and a captured image (video) of the human 202, the
ただし、人間202に近づいたか否かの判断には、超音波距離センサ42の検出結果(距離)を用いてもよく、眼カメラ54の撮影画像と超音波距離センサ42の検出結果とを用いるようにしてもよい。
However, the detection result (distance) of the
ロボット12は、人間202に近づくと、その両手、すなわち球体66Rおよび球体66Lに設けられる、タグリーダ102およびタグリーダ104によって受信されるタグIDを検出する。この第1実施例では、両手(腕)すなわち肩関節56R、56Lおよび肘関節60R、60Lを動かすことにより、タグリーダ102およびタグリーダ104を自在に動かし、タグリーダ102またはタグリーダ104によってタグIDを検出する。
When the
続くステップS3では、タグIDを検出したかどうかを判断する。ステップS3で“NO”であれば、つまりタグIDを検出していなければ、ステップS1に戻って、タグリーダ102またはタグリーダ104或いはその両方を動かし、タグIDを検出する。一方、ステップS3で“YES”であれば、つまりタグIDを検出すれば、ステップS5で、当該タグIDを検出したタグリーダ102または104(両方の場合には、いずれか一方でよい。)と眼カメラ54との距離を算出し、メモリ80に記憶(一時記憶)する。ここで、眼カメラ54の位置および両手(上腕58R、58Lおよび前腕62R、62Lなど)の長さは固定であり、タグリーダ102およびタグリーダ104は球体66Rおよび66Lに装着されているため、肩関節56R、56Lおよび肘関節60R、60Lの角度を考慮して、上記距離は算出される。
In a succeeding step S3, it is determined whether or not the tag ID is detected. If “NO” in the step S3, that is, if the tag ID is not detected, the process returns to the step S1, the
また、眼カメラ54とタグリーダ102,104との距離を計測するのは、上述したように、タグ14はパッシブタイプのものであり、眼カメラ54と物品(物体)とのおおよその距離を計測し、最終的に、人間202と物品との距離を推定するためである。この結果と、上述したように、肌色領域が大きくなるように前進等することにより、人間202が所持(または装着)する、または近傍に存在する物品のタグIDを検出することができるのである。したがって、図示は省略するが、タグIDを検出した場合であっても、ステップS1において移動したときに、肌色領域が検出されなかったり、肌色領域が検出されたが、比較的その領域が小さく、ロボット12と人間202との距離が遠いと判断されたりした場合には、検出したタグIDは検出結果から排除(リジェクト)するようにしてある。これは、人間202の動作を正確に識別するためである。
The distance between the
続いて、ステップS7では、両手(肩関節56R、56L、肘関節60R、60L)を動かして、タグリーダ102およびタグリーダ104を、眼カメラ54に写らない位置に移動させる。ただし、タグリーダ102、104のみならず、両手も写らない位置に移動させる方が好ましい。これは、後述するように、眼カメラ54で人間202を撮影し、人間202の動作を識別するようにしてあるためである。つまり、できる限り、眼カメラ54によって人間202を撮影させるためである。
Subsequently, in step S7, both hands (
続くステップS9では、検出したタグID、検出時刻および検出場所を記憶する。図3では省略したが、検出時刻は、ロボット12内部に設けられる時計回路(タイマ)から取得される。また、検出場所は、場所毎に予め割り当てたタグを設置しておき、このタグIDを検出すれば、物品同様に、場所を特定することができる。続くステップS11では、撮影画像から肌色が検出されたかどうかを判断する。ステップS11で“NO”であれば、つまり撮影画像から肌色が検出されなければ、そのままステップS15に進む。一方、ステップS11で“YES”であれば、つまり撮影画像から肌色(領域)が検出されると、ステップS13で、当該肌色領域が撮影画像の中心にくるように、眼カメラ54を方向転換する。これは、人間202(の動作)を撮影して、正確に動作を識別するためである。ただし、眼カメラ54のみならず、ロボット12全体の方向も変化(旋回)させるようにしてもよい。このようにすれば、人間202およびその動作を撮影することができる。
In the subsequent step S9, the detected tag ID, detection time, and detection location are stored. Although omitted in FIG. 3, the detection time is acquired from a clock circuit (timer) provided in the
なお、この第1実施例では、撮影画像から肌色領域が検出された場合には、何ら処理を施さないようにしてあるが、人間202(肌色領域)を検出すべく、ロボット12を旋回させるようにしてもよい。
In the first embodiment, when the skin color area is detected from the photographed image, no processing is performed. However, the
続くステップS15では、現在の場所(現在位置)において、タグIDをすべて読み取ったかどうかを判断する。つまり、ロボット12を移動させたり、旋回させたり、両手を動かしたりして、人間202の周囲に存在する物品(タグID)をすべて検出したかどうかを判断する。ステップS15で“NO”であれば、つまり、現在の場所において、タグIDをすべて読み取っていなければ、そのままステップS1に戻る。しかし、ステップS15で“YES”であれば、つまり現在の場所において、タグIDをすべて読み取れば、図8に示すステップS17で、検出した1または2以上のタグIDに基づいて、動作候補パターンを決定する。
In subsequent step S15, it is determined whether or not all tag IDs have been read at the current location (current location). That is, it is determined whether or not all articles (tag IDs) existing around the human 202 have been detected by moving the
具体的には、CPU76は、物品データ106aを参照して、検出したタグIDに対応する1または2以上の物品を特定する。続いて、CPU76は、動作候補データ106bを参照して、特定した物品に対応する動作候補パターンを決定する。ただし、2以上の物品が特定された場合には、各物品についての動作候補パターンであって、すべての物品において重複する動作候補パターンのみが決定される。たとえば、物品として、「包丁」と「まな板」とが検出された場合には、動作候補としては、「持つ」、「置く」、「切る」、「洗う」が決定される。つまり、2つの物品で重複していない「研ぐ」についての動作候補パターンが排除される。
Specifically, the
続いて、ステップS19では、各動作候補パターンと撮影画像との類似度を計算する。ここでは、CPU76は、各動作候補パターンと撮影画像との類似度距離を計算する。たとえば、人間202に取り付けられたマーカの軌跡と、各動作候補パターンにおいて対応するマーカの軌跡について、「動的計画法(Dynamic Programming)」によって距離を計算する。
Subsequently, in step S19, the similarity between each motion candidate pattern and the captured image is calculated. Here, the
なお、この「動的計画法(Dynamic Programming)」は、既に周知であり、また、本願発明の本質的部分ではないため、詳細な説明は省略するが、その内容については、たとえば、「高橋勝彦, 関進, 岡隆一. ジェスチャ動画像のスポッティング認識. 信学技報 PRU92-157, pp. 9-16, 3 1993.」に開示されている。 This “Dynamic Programming” is already well-known and is not an essential part of the present invention, so detailed description will be omitted. For example, “Katsuhiko Takahashi” , Seki Susumu, Oka Ryuichi. Spotting recognition of gesture moving images. IEICE Technical Report PRU92-157, pp. 9-16, 3 1993.
続くステップS21では、動作を特定する。具体的には、ステップS19で計算した類似度距離が最も小さい(最も類似度が高い)動作候補パターンについての動作を、人間202の動作として特定する。次のステップS23では、特定した動作、時刻および場所を記憶する。たとえば、メモリ80またはデータベース106に行動履歴のテーブルデータを記憶しておき、これに特定した動作、時刻および場所を記憶するようにすればよい。ただし、ステップS23で記憶する時間および場所は、ステップS9で記憶した検出時間および検出場所である。そして、ステップS25で、動作識別結果を出力して、動作識別処理を終了する。たとえば、ステップS25では、ロボット12のスピーカ72から識別した動作を音声で出力することができる。ただし、ロボット12と通信可能にコンピュータを接続しておき、識別結果を当該コンピュータに送信するようにすれば、当該コンピュータに接続されるモニタ(図示せず)等の画像表示装置に識別した動作をテキスト表示したり、当該コンピュータに接続されるスピーカ(図示せず)から識別した動作を音声で出力したりすることもできる。
In the subsequent step S21, the operation is specified. Specifically, the motion of the motion candidate pattern having the smallest similarity distance (highest similarity) calculated in step S19 is specified as the motion of the human 202. In the next step S23, the specified operation, time and place are stored. For example, action history table data may be stored in the
この第1実施例によれば、人間の近傍に存在する物品を検出し、物品から動作候補を決定して、動作候補の中から人間の動作を識別するので、すべての動作候補の中から人間の動作を識別する場合よりも大幅に処理を低減することができる。 According to the first embodiment, an article existing in the vicinity of a person is detected, an action candidate is determined from the article, and a person's action is identified from the action candidates. The processing can be greatly reduced as compared with the case of identifying the operation.
また、この第1実施例によれば、映像のみならず、物品に基づいて動作を識別するため、正確に識別することができる。つまり、動作候補を絞り込むので、識別制度を高くすることができる。 Further, according to the first embodiment, since the operation is identified not only based on the image but also based on the article, it can be accurately identified. That is, since the operation candidates are narrowed down, the identification system can be increased.
なお、この第1実施例では、特定した動作とともに、その動作を検出(撮影)した時間および場所とともに記録しておくため、その記録内容は、或る人間についての行動メモとして用いることもできる。
<第2実施例>
図9に示す第2実施例のシステム10は、人間の動作候補をロボット12と通信可能に設けたサーバで検出するようにした以外は、上述の実施例と同様であるため、重複した説明は省略する。
In the first embodiment, the recorded action is recorded along with the time and place where the action is detected (photographed) together with the specified action, so that the recorded contents can be used as an action memo about a certain person.
<Second embodiment>
The
図9を参照して、第2実施例のシステム10では、ロボット12はネットワーク20を介してサーバ22と通信可能に接続される。サーバ22としては、汎用のサーバを用いることができ、サーバに代えて、汎用のパーソナルコンピュータやワークステーションを用いることもできる。また、ネットワーク20は、有線または無線のいずれで構築されてもよい。また、システム10では、サーバ22にデータベース24が接続される。このデータベース24に、第1実施例で示した物品データ106aおよび動作候補データ106bが記憶され、サーバ22は、ロボット12からの問い合わせに応じて動作候補を検出し、検出した動作候補をロボット12に通知(送信)するのである。
Referring to FIG. 9, in
具体的なロボット12(CPU76)の動作識別処理は、図7および図8のフロー図で示した動作識別処理とほぼ同じであるため、異なる処理についてのみ説明することにする。また、図7に示した処理は同じであるため、図示は省略してある。 Since the specific operation identification process of the robot 12 (CPU 76) is almost the same as the operation identification process shown in the flowcharts of FIGS. 7 and 8, only different processes will be described. Since the processing shown in FIG. 7 is the same, the illustration is omitted.
図10に示すように、CPU76は、ステップS17´で、検出した1または2以上のタグIDをサーバ22に送信する。つまり、動作候補を問い合わせる。ここで、図示は省略するが、サーバ22は、ロボット12から1または2以上のタグIDを受信すると、タグIDに基づいて、動作候補パターンを決定し、決定した動作候補パターンをロボット12に送信する。具体的には、サーバ12は、物品データ106aを参照して、ロボット12から受信したタグIDに対応する1または2以上の物品を特定する。続いて、サーバ22は、動作候補データ106bを参照して、特定した物品に対応する動作候補パターンを決定する。ただし、2以上の物品が特定された場合には、各物品についての動作候補パターンであって、すべての物品において重複する動作候補パターンのみが決定される。たとえば、物品として、「包丁」と「まな板」とが検出された場合には、動作候補としては、「持つ」、「置く」、「切る」、「洗う」が決定される。つまり、2つの物品で重複していない「研ぐ」についての動作候補パターンが排除される。
As shown in FIG. 10, the
図10に戻って、ステップS18では、動作候補パターンを受信したかどうかを判断する。ステップS18で“NO”であれば、つまり動作候補パターンを受信していなければ、同じステップS18に戻って、動作候補パターンの受信を待機する。一方、ステップS18で“YES”であれば、つまり動作候補パターンを受信すれば、ステップS19で、各動作候補パターンと撮影画像との類似度を計算する。これ以降の処理は、図8を用いて説明した場合と同じである。 Returning to FIG. 10, in step S18, it is determined whether an operation candidate pattern has been received. If “NO” in the step S18, that is, if the motion candidate pattern has not been received, the process returns to the same step S18 and waits for the reception of the motion candidate pattern. On the other hand, if “YES” in the step S18, that is, if an operation candidate pattern is received, the similarity between each operation candidate pattern and the photographed image is calculated in a step S19. The subsequent processing is the same as that described with reference to FIG.
この第2実施例によれば、人間の動作を少ない処理で確実に識別することができ、さらに、サーバ側で動作候補を検出するので、ロボットの処理負担を低減することができる。
<第3実施例>
第3実施例のシステム10は、サーバ22側で人間202の動作を識別するようにした以外は、第2実施例のシステム10と同じであるため、重複した説明は省略する。図示は省略するが、この第3実施例のシステム10では、サーバ22に接続されるデータベース24に、物品データ106a、動作候補データ106bおよび動作テンプレートデータ106cを記憶する。したがって、ロボット12内部に設けるデータベース106は削除することができる。
According to the second embodiment, human movements can be reliably identified with a small amount of processing, and further, since the motion candidates are detected on the server side, the processing load on the robot can be reduced.
<Third embodiment>
Since the
具体的には、第3実施例のシステム10では、ロボット12は、人間202が所持するまたは人間202の近傍に存在する物品のタグIDを検出し、また、そのときの人間202の撮影画像を取得する。そして、検出したタグIDと撮影画像とをサーバ22に送信する。サーバ22では、上述の第2実施例で説明したように、タグIDに基づいて動作候補パターンを検出し、検出した動作候補パターンのそれぞれと撮影画像との類似度を計算し、当該撮影画像が示す人間202の動作を特定する。
Specifically, in the
したがって、図7および図10で示される動作識別処理において、ステップS1〜ステップS17´までの処理をロボット12側で実行し、ステップS18〜ステップS25までの処理をサーバ22側で実行するようにすればよい。ただし、ステップS17´では、検出したタグIDおよび撮影画像をサーバ22に送信する。
Therefore, in the action identification process shown in FIGS. 7 and 10, the process from step S1 to step S17 ′ is executed on the
なお、詳細な説明は省略するが、第1実施例で説明したように、ステップS23で記憶する時間および場所は、ステップS9で記憶した検出時間および検出場所であるため、この第3実施例では、ステップS17´では、ステップS9で記憶した検出時間および検出場所もサーバ22に送信される。
Although detailed description is omitted, since the time and place stored in step S23 are the detection time and place stored in step S9 as described in the first embodiment, in this third embodiment, In step S17 ′, the detection time and detection location stored in step S9 are also transmitted to the
この第3実施例においても、人間の動作を少ない処理で確実に識別することができ、さらに、サーバ側で動作識別処理を実行するので、ロボットの処理負担を低減することができる。 Also in the third embodiment, it is possible to reliably identify human movements with a small amount of processing, and furthermore, since the movement identification processing is executed on the server side, the processing load on the robot can be reduced.
なお、上述の実施例では、いずれも、パッシブタイプのタグを用いたが、他の実施例として、アクティブタイプのタグ(赤外線タグなど)を用いることができる。かかる場合には、たとえば、各物品に赤外線タグを設けておき、一方、2台のカメラ(赤外線カメラ(センサ))をロボット12の頭部(眼カメラ54の上部)に設ける。そして、2台のカメラの検出結果(撮影画像)から三角測量を行うことにより、ロボット12と物品との距離またはロボット12から見た物品の位置(3次元位置)を計測(算出)する。同様に、眼カメラ54の検出結果(撮影画像)から三角測量を行うことにより、ロボット12と人間202との距離またはロボット12から見た人間202の3次元位置を算出する。これにより、人間202と物品との距離(位置)を測定できる。つまり、人間202の近傍に存在する物品を検出することができる。なお、物品を検出した後の処理は、上述の実施例と同様である。
In each of the above-described embodiments, a passive type tag is used. However, as another embodiment, an active type tag (such as an infrared tag) can be used. In such a case, for example, an infrared tag is provided on each article, while two cameras (infrared cameras (sensors)) are provided on the head of the robot 12 (above the eye camera 54). Then, the distance between the
10 …コミュニケーションロボットを用いた動作識別システム
12 …コミュニケーションロボット
14 …タグ
16 …マイク
20 …ネットワーク
22 …サーバ
24,106 …データベース
38 …衝突センサ
42 …超音波距離センサ
52 …全方位カメラ
54 …眼カメラ
64 …タッチセンサ
76 …CPU
80 …メモリ
82 …モータ制御ボード
84 …センサ入力/出力ボード
86 …音声入力/出力ボード
88−96 …モータ
98 …通信LANボード
100 …無線通信装置
102,104 …タグリーダ
DESCRIPTION OF
DESCRIPTION OF
Claims (4)
前記人間の近傍に存在する物体についての識別情報を検出する識別情報検出手段、
前記識別情報検出手段によって検出された識別情報に基づいて前記人間の動作を予測する動作予測手段、および
前記撮影手段によって撮影された撮影画像が示す前記人間の実動作と前記動作予測手段によって予測された予測動作とから当該実動作を特定する動作特定手段を備える、コミュニケーションロボット。 Photography means for photographing humans,
Identification information detecting means for detecting identification information about an object existing in the vicinity of the human,
A motion prediction unit that predicts the human motion based on the identification information detected by the identification information detection unit; and the human actual motion and the motion prediction unit indicated by the captured image captured by the imaging unit. A communication robot provided with motion specifying means for specifying the actual motion from the predicted motion.
前記動作特定手段は、前記類似度算出手段によって算出された類似度が最も高い前記予測動作を前記実動作として特定する、請求項1記載のコミュニケーションロボット。 A degree of similarity calculating means for calculating the degree of similarity between the human actual motion indicated by the captured image and each of the predicted motions;
The communication robot according to claim 1, wherein the action specifying unit specifies the predicted action having the highest similarity calculated by the similarity calculation unit as the actual action.
前記コミュニケーションロボットは、
人間を撮影する撮影手段、
前記人間の近傍に存在する物体についての識別情報を検出する識別情報検出手段、
検出した識別情報を前記サーバに送信する識別情報送信手段、
前記サーバから前記人間の予測動作情報を受信する予測動作情報受信手段、および
前記撮影手段によって撮影された撮影画像が示す前記人間の実動作と前記予測動作情報受信手段によって受信された予測動作情報とから当該実動作を特定する動作特定手段を備え、
前記サーバは、
前記識別情報送信手段に送信された識別情報を受信する識別情報受信手段、および
前記識別情報受信手段によって受信された識別情報に基づいて取得した前記人間の予測動作情報を前記コミュニケーションロボットに送信する予測動作情報送信手段を備える、動作識別システム。 An operation identification system comprising a communication robot and a server provided to be communicable with the communication robot,
The communication robot is
Photography means for photographing humans,
Identification information detecting means for detecting identification information about an object existing in the vicinity of the human,
Identification information transmitting means for transmitting the detected identification information to the server;
Predicted motion information receiving means for receiving the predicted motion information of the human from the server; and the actual motion of the human indicated by the captured image captured by the capturing means and the predicted motion information received by the predicted motion information receiving means; Comprises an action specifying means for specifying the actual action from
The server
An identification information receiving means for receiving the identification information transmitted to the identification information transmitting means; and a prediction for transmitting the human predicted motion information acquired based on the identification information received by the identification information receiving means to the communication robot An operation identification system comprising operation information transmitting means.
前記コミュニケーションロボットは、
人間を撮影する撮影手段、
前記人間の近傍に存在する物体についての識別情報を検出する識別情報検出手段、および
前記撮影手段によって撮影された撮影画像と前記識別情報検出手段によって検出された識別情報とを前記サーバに送信する送信手段を備え、
前記サーバは、
前記送信手段に送信された撮影画像と識別情報とを受信する受信手段、
前記受信手段によって受信された識別情報に基づいて前記人間の動作を予測する動作予測手段、
前記識別情報受信手段によって受信された撮影画像が示す前記人間の実動作と前記動作予測手段によって予測された予測動作とから当該実動作を特定する動作特定手段を備える、動作識別システム。 An operation identification system comprising a communication robot and a server provided to be communicable with the communication robot,
The communication robot is
Photography means for photographing humans,
An identification information detecting means for detecting identification information about an object existing in the vicinity of the human, and a transmission for transmitting to the server a photographed image photographed by the photographing means and the identification information detected by the identification information detecting means With means,
The server
Receiving means for receiving the captured image and identification information transmitted to the transmitting means;
Motion predicting means for predicting the human motion based on the identification information received by the receiving means;
An action identification system comprising action specifying means for specifying the actual action from the actual human action indicated by the captured image received by the identification information receiving means and the predicted action predicted by the action predicting means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005087651A JP4613284B2 (en) | 2005-03-25 | 2005-03-25 | Communication robot and motion identification system using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005087651A JP4613284B2 (en) | 2005-03-25 | 2005-03-25 | Communication robot and motion identification system using the same |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2006268607A true JP2006268607A (en) | 2006-10-05 |
JP2006268607A5 JP2006268607A5 (en) | 2008-03-21 |
JP4613284B2 JP4613284B2 (en) | 2011-01-12 |
Family
ID=37204484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005087651A Expired - Fee Related JP4613284B2 (en) | 2005-03-25 | 2005-03-25 | Communication robot and motion identification system using the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4613284B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009037419A (en) * | 2007-08-01 | 2009-02-19 | Toshiba Corp | Image processor and program |
JP2020500042A (en) * | 2016-10-18 | 2020-01-09 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | Thermal tags for real-time activity monitoring, and methods for manufacturing such thermal tags |
US11043301B2 (en) | 2016-07-08 | 2021-06-22 | International Business Machines Corporation | Infrared detectors and thermal tags for real-time activity monitoring |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000105596A (en) * | 1998-07-27 | 2000-04-11 | Canon Inc | Information processing device, method thereof, and storage medium storing program thereof |
JP2004227208A (en) * | 2003-01-22 | 2004-08-12 | Matsushita Electric Ind Co Ltd | User-adaptive action determination device and action determination method |
-
2005
- 2005-03-25 JP JP2005087651A patent/JP4613284B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000105596A (en) * | 1998-07-27 | 2000-04-11 | Canon Inc | Information processing device, method thereof, and storage medium storing program thereof |
JP2004227208A (en) * | 2003-01-22 | 2004-08-12 | Matsushita Electric Ind Co Ltd | User-adaptive action determination device and action determination method |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009037419A (en) * | 2007-08-01 | 2009-02-19 | Toshiba Corp | Image processor and program |
US11043301B2 (en) | 2016-07-08 | 2021-06-22 | International Business Machines Corporation | Infrared detectors and thermal tags for real-time activity monitoring |
JP2020500042A (en) * | 2016-10-18 | 2020-01-09 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | Thermal tags for real-time activity monitoring, and methods for manufacturing such thermal tags |
Also Published As
Publication number | Publication date |
---|---|
JP4613284B2 (en) | 2011-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11126257B2 (en) | System and method for detecting human gaze and gesture in unconstrained environments | |
JP4822319B2 (en) | Communication robot and attention control system using the same | |
US9024874B2 (en) | Fingertip visual haptic sensor controller | |
JP5429462B2 (en) | Communication robot | |
JP5318623B2 (en) | Remote control device and remote control program | |
CN105930775B (en) | Facial orientation recognition methods based on sensitivity parameter | |
US20180165514A1 (en) | Human-Computer-Interaction Through Scene Space Monitoring | |
JP5145569B2 (en) | Object identification method and apparatus | |
US20040190754A1 (en) | Image transmission system for a mobile robot | |
JP4517086B2 (en) | Communication robot system and robot controller | |
JP2004230479A (en) | Communication robot and communication system using the same | |
US10444852B2 (en) | Method and apparatus for monitoring in a monitoring space | |
EP3115870B1 (en) | Monitoring | |
JP4278598B2 (en) | Wireless tag position estimation system | |
JP6134894B2 (en) | Robot control system and robot | |
JP4399603B2 (en) | Communication robot | |
JP4613284B2 (en) | Communication robot and motion identification system using the same | |
JP2007160427A (en) | Robot control system | |
JP2005131713A (en) | Communication robot | |
JP3942599B2 (en) | Communication robot | |
JP2007320033A (en) | Communication robot | |
KR101100240B1 (en) | System for object learning through multi-modal interaction and method thereof | |
JP6142307B2 (en) | Attention target estimation system, robot and control program | |
JP4878462B2 (en) | Communication robot | |
JP2007125646A (en) | Communication robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100914 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100915 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131029 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |