JP2004298988A - 移動ロボットの画像送信装置 - Google Patents

移動ロボットの画像送信装置 Download PDF

Info

Publication number
JP2004298988A
JP2004298988A JP2003094171A JP2003094171A JP2004298988A JP 2004298988 A JP2004298988 A JP 2004298988A JP 2003094171 A JP2003094171 A JP 2003094171A JP 2003094171 A JP2003094171 A JP 2003094171A JP 2004298988 A JP2004298988 A JP 2004298988A
Authority
JP
Japan
Prior art keywords
person
image
mobile robot
robot
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003094171A
Other languages
English (en)
Inventor
Yoshiaki Sakagami
義秋 坂上
Koji Kawabe
浩司 川邊
Nobuo Higaki
信男 檜垣
Naoaki Sumita
直亮 住田
Yoko Saito
陽子 斉藤
Tomonobu Goto
智信 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2003094171A priority Critical patent/JP2004298988A/ja
Priority to KR1020040021484A priority patent/KR100593688B1/ko
Priority to US10/814,343 priority patent/US20040190753A1/en
Publication of JP2004298988A publication Critical patent/JP2004298988A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39369Host and robot controller and vision processing

Abstract

【課題】ロボットが自ら撮影対象に向かって移動し、画像を送信する。
【解決手段】カメラ2aで撮影された画像内で移動体を認識し、またはマイク3aで音声を認識したらその方向にカメラを向けて、色情報検出により人物を検出する。検出された人物の画像を切り出して外部装置へ送信する。ロボット自らの意思で人物を見つけ、かつその画像を送信することができる。これにより、人物を探し出し、その画像を送信することをオペレータに依存することなくロボット自身で行うことができ、ロボットによる人物撮影の場面が限定されず、汎用性が高くなる。そのロボットから送信される画像を携帯端末などで視認することができるため、携帯端末を所有しかつアクセスを許可されている者であれば自由に画像を見ることができ、イベント会場などで人物やアトラクション等を近づいて見ることができない場合でも携帯端末の画面で容易に見ることができる。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、移動ロボットの画像送信装置に関するものである。
【0002】
【従来の技術】
従来、予め定められた地点や人物を観測して画像を観測者などに送信するようにしたカメラ付きロボットがある(例えば特許文献1参照。)。また、携帯端末によりロボットを遠隔制御するようにしたものもある(例えば特許文献2参照。)。
【0003】
【特許文献1】
特開2002−261966号公報(段落[0035]・[0073])
【特許文献2】
特開2002−321180号公報(段落[0024]〜[0027])
【0004】
【発明が解決しようとする課題】
しかしながら、上記従来の技術で示したものにあっては、固定された地点での定型作業であったり、遠隔地からの一方向の指示に従うものであったりするものであり、その場に応じた柔軟な作業を行うことができないという問題がある。
【0005】
【課題を解決するための手段】
このような課題を解決して、ロボットが自ら撮影対象に向かって移動して、その画像を送信することを実現するために、本発明に於いては、音声入力手段(3a)と撮像手段(2a)とを備えた移動ロボット(1)であって、前記移動ロボット(1)が、前記音声入力手段(3a)または前記撮像手段(2a)からの情報に基づいて人物を検出する人物検出手段(2・3・4・5)と、前記検出された人物に向かって移動するための移動手段(12a)と、前記撮像手段(2a)からの情報に基づいて前記検出された人物の画像を切り出す画像切り出し手段(4)と、前記人物の画像を外部装置へ送信する画像送信手段(11)とを有するものとした。
【0006】
これによれば、撮影対象としての人物を音声または画像により検出したら、その人物に向かって移動し、その人物の画像を切り出して外部へ送信することから、ロボット自らの意思で人物を見つけ、かつその画像を送信することができる。
【0007】
特に、前記移動ロボット(1)が、前記撮像手段(2a)から得られた画像情報により移動体を検出し、かつ前記移動体の色情報を検出することにより人物であることを認識することによれば、ロボットに興味を示す人物は手を振るなどするため、そのような動きを移動体として検出し、さらにその移動体に肌色が検出されれば、顔や手であると認識できるため、人物であるとすることができる。これにより、確実に人物を抽出し得る。
【0008】
また、前記移動ロボット(1)が、前記音声入力手段(3a)から得られた音声情報により音源の方向を特定することによれば、ロボットを見た場合に声を出すだけであまり動かない人の場合でも、その声の方向を特定して移動することにより、その音源の対象物を撮影することができる。
【0009】
また、前記移動ロボット(1)が、少なくとも移動情報を含む前記移動ロボット(1)の状態を検出する状態検出手段(6)を有し、かつ該状態を前記送信する画像に重畳して送信することによれば、ロボットの移動位置を観察者が確認することができ、ロボットに会いたいと思った場合にはその場所へ容易に向かうことができる。
【0010】
また、前記移動ロボット(1)が、前記検出された人物の情報に基づいて前記撮像手段(2a)の撮像方向を変えることによれば、例えば人物の中心線を特定し、カメラをその中心線に向けることにより、人物画像を送信画像の範囲一杯に切り出すことが容易になるため、送信先が携帯端末のように画面が小さい場合であっても人物をより大きく映し出すことができる。
【0011】
また、前記移動ロボット(1)が、前記検出された人物の情報に基づいて前記人物までの距離を算出し、かつ前記算出された距離に基づいて移動目標位置を決めることによれば、撮影対象の人物に対して最適な位置に移動ロボットを位置させることができ、常に好適な解像度による人物画像を撮影することができる。
【0012】
【発明の実施の形態】
以下に添付の図面に示された具体例に基づいて本発明の実施の形態について詳細に説明する。
【0013】
図1は、本発明が適用された全体ブロック図である。なお、本図示例における移動ロボット1にあっては二足歩行型として以下に示すが、二足歩行型に限るものではなく、例えばクローラー式であっても良い。図に示されるように、本移動ロボット1には、画像入力部2と、音声入力部3と、画像入力部2に接続された画像切り出し手段としての画像処理部4と、音声入力部3に接続された音声認識部5と、状態検出手段としてのロボット状態検知部6と、画像処理部4と音声認識部5とロボット状態検知部6とからの出力信号が入力する人応答管理手段としての人応答管理部7と、人応答管理部7に接続された地図データベース部8及び顔データベース部9と、人応答管理部7からの画像出力情報に基づいて外部へ画像を送信するための画像送信手段としての画像送信部11・移動制御部12・音声発生部13とが設けられている。なお、画像入力部2には、撮像手段としての左右一対のカメラ2aが接続されており、音声入力部3には音声入力手段としての左右一対のマイク3aが接続されており、これらと画像入力部2・音声入力部3・画像処理部4・音声認識部5とにより人物検出手段が構成されている。また、音声発生部13には音声出力手段としてのスピーカ13aが接続されている。また、移動制御部12には、二足歩行型のロボットにおける各関節などに設けられた複数のモータ12aが接続されている。
【0014】
上記画像送信部11からの出力信号は例えば公衆回線として利用可能な種類の電波信号であって良く、その場合には汎用の携帯端末機14で受信可能である。さらに、移動ロボット1に外部カメラ15を持たせたり装備させたりすることができ、その場合には外部カメラ15を撮像対象に向けてその映像出力信号を人応答管理部に入力するようになっている。
【0015】
次に、このようにして構成された移動ロボット1における画像送信の制御要領について図2のフローチャートを参照して以下に示す。まず、ステップST1において、人応答管理部7に、ロボット状態検知部6により検知された自分自身の状態が入力される。本移動ロボット1の状態としては、例えば移動速度や移動方向やバッテリの状態が挙げられる。これらを検出可能な各センサを設けておき、それらの検出出力をロボット状態検知部6に入力する。
【0016】
次のステップST2では、例えば頭部の左右に配設した上記一対のマイク3aにより集音した音を音声入力部3に入力する。ステップST3では、音声認識部5で、音声入力部3から入力された音データに基づいて叫び声や声の方向や音量などをパラメータとする音声を認識する言語処理を行う。なお、音声認識部5では、一対のマイク3a間の音圧差及び音の到達時間差に基づき音源を検知すると共に、音の立ち上がり部分から音が音声であるか衝撃音であるかを推定したり、予め登録された語彙を参照して音声を認識することができる。
【0017】
このステップST3における音声認識の一例を図3のフローチャートを参照して以下に示す。このフローはステップST3におけるサブルーチンとして処理されるものであって良い。ロボットに対する人からの呼びかけがあれば音量の変化として捉えることができるため、まず図におけるステップST21で音量の変化を検出する。次のステップST22では音源の方向を認識する。この場合、例えば左右のマイク3a間の音量変化の時間差や音圧差で音源方向を求めることができる。次のステップST23では音声を認識する。この場合には、例えば音素の分割やテンプレートマッチングで特定の言葉を認識することができる。言葉の例としては「おーい。」や「来い。」などが考えられる。音量変化時の音素が言葉のいずれにも該当しなかったり、テンプレートで用意されている言葉と一致しなかったりした場合には音声ではないとする。
【0018】
音声認識のサブルーチン処理が終わったら、ステップST4で、例えば頭部の前面に配設した上記左右一対のカメラ2aにより撮影された映像を画像入力部2に入力する。カメラ2aは例えばCCDカメラであって良く、フレームグラバにより画像をディジタル化して取り込んだものを画像処理部4に出力する。ステップST5では、画像処理部4による移動体抽出を行う。
【0019】
このステップST5における移動体抽出の一例を図4を参照して以下に示す。音声認識処理により認識された音源の方向にカメラ2aを向け、または音声が認識されない場合には任意の方向に首振り運動をして、図4に示されるような移動体を認識したらその抽出を行う。図4(a)ではカメラ2aでの画角16内に人が挨拶として手を振っている状態が撮影された場合であり、図4(b)では手招きしている状態が撮影された場合である。これらの場合には手を動かしている人が移動体として認識される。
【0020】
ここで、移動体抽出処理の一例を図5のフローチャートにより示されるサブルーチン処理として示す。そのステップST31では例えばステレオ視による距離dの検出を行う。この対象となる部分は動きのあるエッジ点を最も多く含む部分であって良い。この場合、例えば、画像のエッジ情報を用いた動的輪郭抽出により移動体の輪郭を抽出し、連続または任意の間隔の2フレーム間の差分から動いているものを抽出することができる。
【0021】
次のステップST32では画角16内での移動体探索領域を設定する。例えば、距離dを基準に処理対象距離範囲(d±Δd)を設定し、その処理対象距離範囲内に存在する画素を抽出し、図4(a)における縦軸方向の画素数を横軸方向の画素ピッチ毎に計測し、その数が最大となる位置の縦軸方向線を移動体探索領域の中央線Caとする。その中央線Caから距離dに応じて左右に人の肩幅程度の広さを算出し、その算出値に基づいて移動体探索領域の左右方向の境界を設定する。これにより、図4(a)の破線で示されるような移動体探索領域17が設定される。
【0022】
ステップST33では特徴の抽出を行う。この特徴抽出では、パターンマッチングなどを用いて特定のマークや注目点を探索することである。例えば、認識容易な特定のマークを記したワッペンをロボットと対話する人に付けてもらっておき、そのマークを探索することにより対象者に向けての速やかな移動を可能にする。または、人物のロボットを見つけた時の手の動きなどの何種類かのパターンを用意しておき、いずれかのパターンに合うものを探すことにより、人物を認識することができる。
【0023】
ステップST34では輪郭の抽出を行う。なお、画像情報から対象物(移動体)を抽出する手法としては、画素の特徴量のクラスタリングに基づいた領域分割法や、検出されたエッジを連結させる輪郭抽出法や、予め定義したエネルギーを最小化するように閉曲線を変形させる動的輪郭モデル(Snakes)などを用いることができる。そして、例えば背景との輝度差から輪郭を抽出し、抽出された移動体の輪郭上もしくは輪郭内に存在する点の位置から移動体の重心位置を計算し、ロボットの正面に対する移動体の方向(角度)を求める。また、輪郭を抽出された移動体における各画素の距離情報から移動体までの距離を計算し直し、実空間上での移動体の位置を求める。なお、画角16内に複数人いる場合には、領域の設定を複数人分設定することにより、それぞれに対して上記と同様にして特徴を抽出することができる。
【0024】
ステップST5で移動体が検出されない場合にはステップST1に戻り、移動体抽出のサブルーチン処理が終わったら、ステップST6で、地図データベース部8に保存されている地図データベースの参照を行う。それにより、現在地の特定や、予め入力されている進入禁止領域の確認や画像処理領域を決定する。
【0025】
ステップST7では、例えば移動体の上部の小さな部分を顔部分とし、その顔部分から色情報(肌の色)を抽出し、肌色が抽出されたら顔であるとして、その顔の位置を特定することにより、顔の抽出を行う。
【0026】
ここで、顔抽出処理の一例を図6のフローチャートにより示されるサブルーチン処理として示す。なお、この場合のカメラ2aにより撮影された初期画面の一例を図7(a)に示す。まず、ステップST41で距離の検出を行う。この場合には上記したステップST31と同様の処理であって良い。次のステップST42でも、例えばステップST34と同様に画像上の移動体の輪郭を抽出する。なお、これらステップST41・42にあっては、上記ステップST32・34のデータを用いても良い。
【0027】
次のステップST43では、例えば図7(b)に示されるように輪郭18が抽出されたとすると、その輪郭18の画面上での最上部となる位置データ(頂部)を頭頂部18aとして位置設定する。その頭頂部18aを基準点として探索範囲を設定する。探索範囲は、上記ステップST32と同様に距離に応じて、予め設定されている顔の大きさに相当するサイズを設定する。奥行きに対しても距離に応じた顔の大きさを考慮した範囲とする。
【0028】
そして、ステップST44で肌色領域の抽出を行う。肌色領域は、HLS(色相、明度、彩度)空間上でしきい値操作により抽出することができる。なお、顔位置を上記探索範囲内にある肌色領域の重心位置として求めることができ、それによる距離に応じて顔の大きさとして推定し得る顔の処理領域を図8に示されるように楕円モデル19として設定する。
【0029】
次のステップST45では、上記したようにして設定された楕円モデル19内で黒丸(瞳)を円形エッジ抽出フィルタで検出することによる眼の抽出を行う。この眼の抽出にあっては、例えば標準的な人物の頭頂部18aから眼までの長さに基づいて所定の広さ(距離に応じた画面上のサイズ)の黒丸探索範囲19aを設定し、その黒丸探索範囲19a内に対して行うことにより、容易に瞳を検出することができる。
【0030】
そして、ステップST46で、送信する顔画像の切り出しを行う。この顔画像の大きさは、例えば送信対象が携帯端末14のように表示画面の大きさが小さい場合には、図9に示されるように、切り出し画像20の画面のほぼ一杯に顔全体が入る大きさにすると良い。反対に送信対象が大型スクリーンなどの場合には背景も入れるようにしても良い。また、顔部分の拡大縮小は、ステップST45で検出された瞳の位置データから両眼の間隔を求め、その間隔に基づいて行うことができる。なお、切り出し画像20の画面のほぼ一杯に顔全体が入る大きさとする場合には、両眼間の中点が所定の位置(例えば切り出し画像20の中心より少し上)に来るように画像を切り出すようにすると良い。このようにして顔抽出処理のサブルーチンを終了する。
【0031】
ステップST8では、顔データベース部9に保存されている顔データベースの参照を行う。例えば一致する顔データがあると判断された場合には、その個人情報に登録されている名前を顔の画像と共に人応答管理部7へ出力する。
【0032】
次のステップST9では、ステップST7で抽出された顔の人物に対する個人の認識を行う。この個人の認識にあっては、パターン認識、または主成分分析による一致度の推定や表情の認識などである。
【0033】
ステップST10では、認識された人物の手の位置を特定する。手の位置は、顔の位置に基づいて、またステップST5にて抽出した輪郭に対して、その内部肌色領域を探索することにより行う。すなわち、輪郭は頭部から胴体を含む輪郭であり、その中で通常顔と手が露出しているとみなせることから、顔以外の肌色部分を手であるとする。
【0034】
次のステップST11では、ジェスチャ・ポスチャの認識を行う。ここで、ジェスチャとは、顔と手の位置関係から判断した手を振る「手振り」や「手招き(おいで)」などの特定の動きであって良い。また、ポスチャとは、こちらを見ていると判断できる姿勢であって良い。なお、ステップST7で顔を抽出することができない場合にもこのステップST11に進む。
【0035】
ステップST12では、人物に対する応答を行う。この応答にあっては、発話や人物に向かう移動、また首振りなどによりカメラやマイクを向けることであって良い。そして、ステップST13では、ステップST12までの過程で抽出した人物の画像を扱い易くするべく圧縮処理し、送信対象に応じたフォーマットに変換した画像を送信する。この画像には、ロボット状態検知部6により検出された移動ロボット1の各状態を重畳させると良い。これにより、移動ロボット1の位置や移動速度などを画面で容易に確認することができるため、ロボット管理者においても携帯端末で簡単に状態を把握することができる。
【0036】
このようにして移動ロボット1による人物の抽出とその画像送信を例えば公衆回線を介して携帯端末14で受信可能にすることにより、その画像送信回線にアクセス可能な携帯端末14を用いて、移動ロボット1の視線で捉えた風景や人物画像を任意に見ることが可能になる。また、例えばイベント会場で長蛇の列が生じるような場合に、入場待ちで退屈している人に対して移動ロボットによる挨拶を行い、興味を示した人に近付いて、その人との対話における情景を撮影し、壁などに設置された大型スクリーンにその模様を映し出すことができる。また、カメラ15を移動ロボット1が持ち歩き、そのカメラ15で撮影した画像を上記と同様にして送信することにより、移動ロボット1がカメラ15で撮影した内容を携帯端末14や大型スクリーンで見ることができる。
【0037】
また、ステップST7で顔が抽出されなかった場合には、ステップST11でジェスチャやポスチャにより人物であると認識されるものに近づき、例えば手振りと認識した対象の中で一番近いものを特定して、図10に示されるようにその対象が切り出し画像20内一杯に収まるように切り出して送信すると良い。この場合には、対象の輪郭の上下または左右の長い方が切り出し画像20内に収まるようにサイズを調整する。
【0038】
また、本移動ロボット1をイベント会場など多くの人が集まる場所などで起きる迷子に対応させることができる。その迷子対応処理の一例を図11のフローを参照して以下に示す。なお、全体の流れは図2であって良く、迷子に特定した部分について図11のフローに沿って説明する。
【0039】
この迷子対応処理にあっては、例えば予め入口などで子供の顔を備え付けのカメラで撮影し、その顔画像データを移動ロボット1に送信する。移動ロボット1では、図示されない受信器にて受信し、人応答管理部7により顔画像データを顔データベース部9に登録しておく。この場合、保護者がカメラ付き携帯端末を持っていれば、その電話番号も登録しておく。
【0040】
まず、ステップST51〜53では、ステップST21〜23と同様にして、音量変化の検出・音源方向の認識・音声認識を行う。なお、ステップST5では、特定の言葉として子供の泣き声を入力しておくと良い。次のステップST54ではステップST5と同様の処理で移動体の抽出を行う。なお、ステップST53で泣き声を抽出できない場合であってもステップST54に進み、ステップST54で移動体を抽出することができない場合であってもステップST55に進む。
【0041】
ステップST55では、ステップST33と同様にして特徴の抽出を行い、ステップST56ではステップST34と同様にして輪郭の抽出を行う。次のステップST57ではステップST7と同様にして顔の抽出を行う。したがって、ステップST43〜46と同様にして肌色検出から顔画像の切り出しまでの一連の処理を行う。輪郭及び顔抽出では、特に、対象物(移動体)までの距離・頭部位置・カメラ2aの向きなどから身長(図12(a)のH)を算出し、子供に相当する場合(例えば120cm以下)には子供であると予想する。
【0042】
次のステップST58ではステップST8と同様にして顔データベースを参照し、ステップST59では、顔データベースに登録されている撮影済みの顔と一致している個人を識別し、ステップST60に進む。登録されている個人として識別できない場合であってもステップST60に進む。
【0043】
ステップST60ではステップST11と同様にしてジェスチャ・ポスチャの認識を行う。ここでは、輪郭と肌色情報とにより、図12(a)に示されるように顔と手の平とが接近している状態で顔や手の細かな動きをジェスチャとして認識したり、輪郭により腕と思われる部分が頭部側に位置しているが手の平が検出されない姿勢をポスチャとして認識したりすると良い。
【0044】
次のステップST61では、ステップST12と同様にして人応答処理を行う。この場合には、迷子と思われる人物に向かって移動し、顔を向けることによりカメラ2aを向け、スピーカ13aから迷子の子供に対応した内容の言葉(例えば「どうしたの?」)を発するようにする。特に、上記ステップST59で個人を特定できた場合には、登録されている個人名による呼びかけを行う(例えば「特許太郎君?」)。また、ステップST62で、ステップST6と同様にして地図データベースを参照して現在地を特定する。
【0045】
ステップST63では、図12(b)に示されるように迷子の画像の切り出しを行う。この画像切り出しにあっては、ステップST41〜46と同様に行って良い。なお、服装も映し出すと分かり易いことから、迷子画像として切り出す場合には例えば腰から上が入るようなサイズで切り出すと良い。
【0046】
そして、ステップST64で、上記切り出した画像をステップST13と同様にして送信する。この送信情報には、図12(b)に示されるように、迷子の画像と共に、現在地情報や個人識別情報(名前)を含めると良い。なお、顔データベースに登録されていないと判断され、名前を特定できなかった場合には現在地情報のみを送信する。送信先としては、登録されている個人を特定でき、かつ保護者の携帯端末の電話番号が登録されていれば、その携帯端末に対して送信できる。これにより、保護者は即座に自分の子供を視認でき、現在地情報に基づいて迎えにいくことができる。また、個人が特定されない場合には、大型スクリーンなどに映し出すことにより、保護者が容易に確認できる。
【0047】
【発明の効果】
このように本発明によれば、撮影対象としての人物を音声または画像により検出したら、その人物に向かって移動し、その人物の画像を切り出して外部へ送信することから、ロボット自らの意思で人物を見つけ、かつその画像を送信することができる。これにより、人物を探し出し、その画像を送信することをオペレータに依存することなくロボット自身で行うことができ、ロボットによる人物撮影の場面が限定されず、汎用性が高くなる。そのロボットから送信される画像を携帯端末などで視認することができるため、携帯端末を所有しかつアクセスを許可されている者であれば自由に画像を見ることができ、イベント会場などで人物やアトラクション等を近づいて見ることができない場合でも携帯端末の画面で容易に見ることができる。
【0048】
特に、移動体及び色情報(例えば肌の色)の検出により人物を認識することにより、人物認識を容易に行うことができるため、プログラムも複雑化せず、装置を低廉化し得る。また、ステレオマイクにより音源の方向を容易に特定することができ、声だけ出す人に対しても近づいて撮影することができるため、遭難救助に使うこともできる。また、移動情報としてロボットの位置を送信することにより、その画像に興味を示した者がその位置に行くことができるため、イベント会場などで効率的に見て回ることを助けることができる。
【0049】
また、人物に向けて撮像方向を変えることにより、人物のみを抽出して画像として切り出すことが容易になり、送信先が携帯端末のように画面が小さい場合であっても人物をより大きく映し出すことができる。例えば迷子を見つけて、迷子を画面一杯に映し出すようにして送信することにより、保護者が携帯端末で容易に視認することができる。また、人物までの距離を算出して移動目標位置を決めることにより、撮影対象の人物に対して最適な位置に移動ロボットを位置させることができ、常に好適な解像度による人物画像を撮影することができる。
【図面の簡単な説明】
【図1】本発明が適用された全体ブロック図。
【図2】本発明に基づく制御要領の一例を示すフロー図。
【図3】音声認識の例を示すフロー図。
【図4】(a)は移動体の動作の一例を示す説明図であり、(b)は多の例を示す(a)に対応する図。
【図5】輪郭抽出の例を示すフロー図。
【図6】顔画像切り出しの例を示すフロー図。
【図7】(a)は人物を検出した状態を示す撮影画面の例であり、(b)は(a)の画像から人物の輪郭を抽出した状態を示す図。
【図8】顔から瞳を検出する例を示す説明図。
【図9】送信画像の一例を示す図。
【図10】ジェスチャやポスチャにより人物であると認識した例を示す図。
【図11】迷子を捜し出す場合の例を示すフロー図。
【図12】(a)は迷子の特徴を抽出した画面を示す図であり、(b)は迷子の送信画像例を示す図。
【符号の説明】
1 移動ロボット
2 画像入力部(人物検出手段)
2a カメラ(撮像手段)
3 音声入力部(人物検出手段)
3a マイク(音声入力手段)
4 画像処理部(人物検出手段・画像切り出し手段)
5 音声認識部(人物検出手段)
6 ロボット状態検知部(状態検出手段)
11 画像送信部(画像送信手段)
12a モータ(移動手段)

Claims (6)

  1. 音声入力手段と撮像手段とを備えた移動ロボットであって、
    前記移動ロボットが、
    前記音声入力手段または前記撮像手段からの情報に基づいて人物を検出する人物検出手段と、
    前記検出された人物に向かって移動するための移動手段と、
    前記撮像手段からの情報に基づいて前記検出された人物の画像を切り出す画像切り出し手段と、
    前記人物の画像を外部装置へ送信する画像送信手段とを有することを特徴とする移動ロボットの画像送信装置。
  2. 前記移動ロボットが、前記撮像手段から得られた画像情報により移動体を検出し、かつ前記移動体の色情報を検出することにより人物であることを認識することを特徴とする請求項1に記載の移動ロボットの画像送信装置。
  3. 前記移動ロボットが、前記音声入力手段から得られた音声情報により音源の方向を特定することを特徴とする請求項1または請求項2に記載の移動ロボットの画像送信装置。
  4. 前記移動ロボットが、少なくとも移動情報を含む前記移動ロボットの状態を検出する状態検出手段を有し、かつ該状態を前記送信する画像に重畳して送信することを特徴とする請求項1乃至請求項3のいずれかに記載の移動ロボットの画像送信装置。
  5. 前記移動ロボットが、前記検出された人物の情報に基づいて前記撮像手段の撮像方向を変えることを特徴とする請求項1乃至請求項4のいずれかに記載の移動ロボットの画像送信装置。
  6. 前記移動ロボットが、前記検出された人物の情報に基づいて前記人物までの距離を算出し、かつ前記算出された距離に基づいて移動目標位置を決めることを特徴とする請求項1乃至請求項5のいずれかに記載の移動ロボットの画像送信装置。
JP2003094171A 2003-03-31 2003-03-31 移動ロボットの画像送信装置 Pending JP2004298988A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003094171A JP2004298988A (ja) 2003-03-31 2003-03-31 移動ロボットの画像送信装置
KR1020040021484A KR100593688B1 (ko) 2003-03-31 2004-03-30 이동로봇의 화상 송신 장치
US10/814,343 US20040190753A1 (en) 2003-03-31 2004-04-01 Image transmission system for a mobile robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003094171A JP2004298988A (ja) 2003-03-31 2003-03-31 移動ロボットの画像送信装置

Publications (1)

Publication Number Publication Date
JP2004298988A true JP2004298988A (ja) 2004-10-28

Family

ID=32985421

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003094171A Pending JP2004298988A (ja) 2003-03-31 2003-03-31 移動ロボットの画像送信装置

Country Status (3)

Country Link
US (1) US20040190753A1 (ja)
JP (1) JP2004298988A (ja)
KR (1) KR100593688B1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100833270B1 (ko) 2006-10-02 2008-05-29 한국전자통신연구원 이동 가능한 자동 사진 촬영 방법 및 장치
JP2008142876A (ja) * 2006-12-13 2008-06-26 Mitsubishi Heavy Ind Ltd ロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステム
JP2009512056A (ja) * 2005-12-07 2009-03-19 韓國電子通信研究院 ネットワーク基盤知能型サービスロボットのビジョン処理装置及びその処理方法並びにこれを用いたシステム
JP2009248193A (ja) * 2008-04-01 2009-10-29 Toyota Motor Corp 接客システム及び接客方法
JP2011086052A (ja) * 2009-10-14 2011-04-28 Fujitsu Ltd 手認識装置
KR101083700B1 (ko) * 2009-04-02 2011-11-16 주식회사 유진로봇 음식점 서빙을 위한 로봇 시스템
JP2011232894A (ja) * 2010-04-26 2011-11-17 Renesas Electronics Corp インタフェース装置、ジェスチャ認識方法及びジェスチャ認識プログラム
US8411160B2 (en) 2007-08-31 2013-04-02 Casio Computer Co., Ltd. Apparatus including function to specify image region of main subject from obtained image, method to specify image region of main subject from obtained image and computer readable storage medium storing program to specify image region of main subject from obtained image
JP2014119295A (ja) * 2012-12-14 2014-06-30 Clarion Co Ltd 制御装置、及び携帯端末
JP2017224925A (ja) * 2016-06-14 2017-12-21 株式会社エンルートM’s 監視装置及び監視方法
WO2018043235A1 (ja) * 2016-08-29 2018-03-08 Groove X株式会社 音源の方向を認識する自律行動型ロボット
JP2020075326A (ja) * 2018-11-08 2020-05-21 トヨタ自動車株式会社 ロボット

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004302785A (ja) * 2003-03-31 2004-10-28 Honda Motor Co Ltd 移動ロボットの画像送信装置
JP4479194B2 (ja) * 2003-08-29 2010-06-09 富士ゼロックス株式会社 動作識別装置、及び対象物の姿勢識別装置
KR101469246B1 (ko) * 2007-08-07 2014-12-12 삼성전자주식회사 로봇에서 사진 촬영하는 장치 및 방법
US10462409B2 (en) * 2007-12-28 2019-10-29 Google Technology Holdings LLC Method for collecting media associated with a mobile device
US8314838B2 (en) * 2007-12-28 2012-11-20 Motorola Mobility Llc System and method for collecting media associated with a mobile device
US8432455B2 (en) * 2008-12-31 2013-04-30 Nokia Corporation Method, apparatus and computer program product for automatically taking photos of oneself
US9400503B2 (en) * 2010-05-20 2016-07-26 Irobot Corporation Mobile human interface robot
CN105825213B (zh) * 2016-03-14 2020-09-11 华讯方舟科技有限公司 人体识别和定位的方法、机器人及特征衣服
KR102594250B1 (ko) * 2016-10-07 2023-10-27 엘지전자 주식회사 공항 로봇
US10181257B2 (en) 2017-01-05 2019-01-15 Ics4Schools Llc Incident command system/student release system
CN107463914A (zh) * 2017-08-11 2017-12-12 环球智达科技(北京)有限公司 图像切割方法
US20220337743A1 (en) * 2019-09-03 2022-10-20 Sony Group Corporation Imaging control apparatus, imaging control method, program, and imaging device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2921936B2 (ja) * 1990-07-13 1999-07-19 株式会社東芝 画像監視装置
JP2002006784A (ja) * 2000-06-20 2002-01-11 Mitsubishi Electric Corp 浮遊型ロボット
JP4590717B2 (ja) * 2000-11-17 2010-12-01 ソニー株式会社 顔識別装置及び顔識別方法
JP3996015B2 (ja) * 2002-08-09 2007-10-24 本田技研工業株式会社 姿勢認識装置及び自律ロボット

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009512056A (ja) * 2005-12-07 2009-03-19 韓國電子通信研究院 ネットワーク基盤知能型サービスロボットのビジョン処理装置及びその処理方法並びにこれを用いたシステム
KR100833270B1 (ko) 2006-10-02 2008-05-29 한국전자통신연구원 이동 가능한 자동 사진 촬영 방법 및 장치
JP2008142876A (ja) * 2006-12-13 2008-06-26 Mitsubishi Heavy Ind Ltd ロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステム
US8411160B2 (en) 2007-08-31 2013-04-02 Casio Computer Co., Ltd. Apparatus including function to specify image region of main subject from obtained image, method to specify image region of main subject from obtained image and computer readable storage medium storing program to specify image region of main subject from obtained image
JP2009248193A (ja) * 2008-04-01 2009-10-29 Toyota Motor Corp 接客システム及び接客方法
KR101083700B1 (ko) * 2009-04-02 2011-11-16 주식회사 유진로봇 음식점 서빙을 위한 로봇 시스템
JP2011086052A (ja) * 2009-10-14 2011-04-28 Fujitsu Ltd 手認識装置
JP2011232894A (ja) * 2010-04-26 2011-11-17 Renesas Electronics Corp インタフェース装置、ジェスチャ認識方法及びジェスチャ認識プログラム
JP2014119295A (ja) * 2012-12-14 2014-06-30 Clarion Co Ltd 制御装置、及び携帯端末
US9547792B2 (en) 2012-12-14 2017-01-17 Clarion Co., Ltd. Control apparatus, vehicle, and portable terminal
JP2017224925A (ja) * 2016-06-14 2017-12-21 株式会社エンルートM’s 監視装置及び監視方法
WO2018043235A1 (ja) * 2016-08-29 2018-03-08 Groove X株式会社 音源の方向を認識する自律行動型ロボット
JPWO2018043235A1 (ja) * 2016-08-29 2018-12-20 Groove X株式会社 音源の方向を認識する自律行動型ロボット
GB2567600A (en) * 2016-08-29 2019-04-17 Groove X Inc Autonomous behavior robot recognizing direction of sound source
GB2567600B (en) * 2016-08-29 2022-05-04 Groove X Inc Autonomously acting robot that recognizes direction of sound source
US11376740B2 (en) 2016-08-29 2022-07-05 Groove X, Inc. Autonomously acting robot that recognizes direction of sound source
JP2020075326A (ja) * 2018-11-08 2020-05-21 トヨタ自動車株式会社 ロボット

Also Published As

Publication number Publication date
KR100593688B1 (ko) 2006-06-28
KR20040086759A (ko) 2004-10-12
US20040190753A1 (en) 2004-09-30

Similar Documents

Publication Publication Date Title
KR100593688B1 (ko) 이동로봇의 화상 송신 장치
KR100543376B1 (ko) 이동로봇의 화상 송신 장치
KR100583936B1 (ko) 사진을 촬영하는 이동로봇
CN109446981B (zh) 一种脸部活体检测、身份认证方法及装置
JP4460528B2 (ja) 識別対象識別装置およびそれを備えたロボット
JP4689107B2 (ja) 自律行動ロボット
JP2012014394A (ja) ユーザ指示取得装置、ユーザ指示取得プログラムおよびテレビ受像機
KR20150097043A (ko) 스마트 안경 및 지팡이를 이용한 시각 장애인 보조 시스템 및 방법
CN108734083A (zh) 智能设备的控制方法、装置、设备和存储介质
Manjari et al. CREATION: Computational constRained travEl aid for objecT detection in outdoor eNvironment
JP4220856B2 (ja) 携帯端末機器を用いた移動ロボットの画像撮影装置及びその方法
JP7388297B2 (ja) コミュニケーション支援装置、コミュニケーション支援方法、及びプログラム
JP2003291084A (ja) ロボット並びにロボットの視野制御装置及び方法
JP4220857B2 (ja) 携帯端末機器を用いた移動ロボットの画像撮影装置
JP2007156689A (ja) 光源位置検出装置、これを用いた顔認識装置及び自走式ロボット
CN113678141A (zh) 用于盲人和视力受损人员的立体声装置
CN110524559A (zh) 基于人员行为数据的智能人机交互系统及方法
US20200372779A1 (en) Terminal device, risk prediction method, and recording medium
Raja et al. Design and implementation of facial recognition system for visually impaired using image processing
JP4220858B2 (ja) 携帯端末機器を用いた移動ロボットの画像撮影装置
JP4831750B2 (ja) コミュニケーション誘発システム
JP2003122394A (ja) 識別対象を認識する方法と装置及び該装置を搭載したロボット
JP4220855B2 (ja) 携帯端末機器を用いた移動ロボットの画像送信装置及びその方法
JP2009106325A (ja) コミュニケーション誘発システム
CN114587949B (zh) 一种导盲系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071026

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080304