JP2004302785A - 移動ロボットの画像送信装置 - Google Patents
移動ロボットの画像送信装置 Download PDFInfo
- Publication number
- JP2004302785A JP2004302785A JP2003094166A JP2003094166A JP2004302785A JP 2004302785 A JP2004302785 A JP 2004302785A JP 2003094166 A JP2003094166 A JP 2003094166A JP 2003094166 A JP2003094166 A JP 2003094166A JP 2004302785 A JP2004302785 A JP 2004302785A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- person
- mobile robot
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 14
- 230000033001 locomotion Effects 0.000 claims description 13
- 230000008921 facial expression Effects 0.000 abstract description 4
- 206010027146 Melanoderma Diseases 0.000 abstract 1
- 238000000034 method Methods 0.000 description 17
- 238000000605 extraction Methods 0.000 description 12
- 230000004044 response Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 210000003128 head Anatomy 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 230000005484 gravity Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G9/00—Cultivation in receptacles, forcing-frames or greenhouses; Edging for beds, lawn or the like
- A01G9/24—Devices or systems for heating, ventilating, regulating temperature, illuminating, or watering, in greenhouses, forcing-frames, or the like
- A01G9/247—Watering arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- E—FIXED CONSTRUCTIONS
- E03—WATER SUPPLY; SEWERAGE
- E03C—DOMESTIC PLUMBING INSTALLATIONS FOR FRESH WATER OR WASTE WATER; SINKS
- E03C1/00—Domestic plumbing installations for fresh water or waste water; Sinks
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39369—Host and robot controller and vision processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Environmental Sciences (AREA)
- Water Supply & Treatment (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Hydrology & Water Resources (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【解決手段】カメラ2aにより人物を検出し、画面内の人物の輪郭における頂部を頭頂部として、さらに色情報及び頭頂部からの所定の距離における探索範囲内で黒丸を検出することにより顔として認識することができる。その顔部分が画面一杯になるように顔画像として切り出して送信画像とする。送信先が携帯端末のように画面が小さい場合であっても顔を大きく映し出すことができ、携帯端末の画面でも撮影された人物の顔の表情を容易に視認することができる。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、移動ロボットの画像送信装置に関するものである。
【0002】
【従来の技術】
従来、予め定められた地点や人物を観測して画像を観測者などに送信するようにしたカメラ付きロボットがある(例えば特許文献1参照。)。また、携帯端末によりロボットを遠隔制御するようにしたものもある(例えば特許文献2参照。)。
【0003】
【特許文献1】
特開2002−261966号公報(段落[0035]・[0073])
【特許文献2】
特開2002−321180号公報(段落[0024]〜[0027])
【0004】
【発明が解決しようとする課題】
一方、移動ロボットにより人物を見つけて、その顔画像を送信することにより、人物が移動する環境でもロボットによる人物の撮影が可能となる。しかしながら、上記従来の技術で示したものにあっては、固定された地点での定型作業であったり、遠隔地からの一方向の指示に従うものであったりするものであり、移動する可能性のある人物を見つけてその顔画像を送信することはできないという問題があった。
【0005】
【課題を解決するための手段】
このような課題を解決して、人物を検出し、その顔画像を送信することを実現するために、本発明に於いては、撮像手段(2a)を備えた移動ロボット(1)であって、前記移動ロボット(1)が、前記撮像手段(2a)からの情報に基づいて人物を検出する人物検出手段(2・3・4・5)と、前記検出された人物に向かって移動するための移動手段(12a)と、前記検出された人物の顔の位置を特定する手段(4)と、前記特定された顔の位置に基づいて前記撮像手段(2a)から顔を主要部とする顔画像を切り出す画像切り出し手段(4)と、前記切り出された前記顔画像を外部装置へ送信する画像送信手段(11)とを有するものとした。
【0006】
これによれば、撮影された画像の中で人物を検出し、その顔の位置を例えば人物として検出された対象物における最頂部に基づいて顔を特定することができ、そのようにして特定された顔を主要部とするように画像を切り出すことにより、顔を中心とした画像を送信することができる。これにより、送信先が携帯端末のように画面が小さい場合であっても顔を大きく映し出すことができるため、携帯端末の画面でも撮影された人物の顔の表情を容易に視認することができる。
【0007】
特に、前記移動ロボット(1)が、少なくとも移動情報を含む前記移動ロボット(1)の状態を検出する状態検出手段(6)を有し、かつ該状態を前記送信する画像に重畳して送信することによれば、ロボットの移動位置を観察者が確認することができ、ロボットに会いたいと思った場合にはその場所へ容易に向かうことができる。また、前記移動ロボットが、前記特定された顔の位置に基づいて前記撮像手段の撮像方向を変えることによれば、人物を検出してからその顔を撮影するまでに至る制御の流れを円滑に行うことができる。また、前記移動ロボット(1)が、前記検出された人物の情報に基づいて前記人物までの距離を算出し、かつ前記算出された距離に基づいて最も短い所にいる人物を検出することによれば、複数の人物を検出したら、その中でロボットに最も近い人物に近づくことから、人物に近づきかつその顔を撮影する過程を効率良く行うことができる。さらに、前記移動ロボット(1)が、前記算出された距離に基づいて移動目標位置を決めることによれば、撮影対象の人物に対して最適な位置に移動ロボットを位置させることができ、常に好適な解像度による人物画像を撮影することができる。
【0008】
【発明の実施の形態】
以下に添付の図面に示された具体例に基づいて本発明の実施の形態について詳細に説明する。
【0009】
図1は、本発明が適用された全体ブロック図である。なお、本図示例における移動ロボット1にあっては二足歩行型として以下に示すが、二足歩行型に限るものではなく、例えばクローラー式であっても良い。図に示されるように、本移動ロボット1には、画像入力部2と、音声入力部3と、画像入力部2に接続された画像切り出し手段としての画像処理部4と、音声入力部3に接続された音声認識部5と、状態検出手段としてのロボット状態検知部6と、画像処理部4と音声認識部5とロボット状態検知部6とからの出力信号が入力する人応答管理手段としての人応答管理部7と、人応答管理部7に接続された地図データベース部8及び顔データベース部9と、人応答管理部7からの画像出力情報に基づいて外部へ画像を送信するための画像送信手段としての画像送信部11・移動制御部12・音声発生部13とが設けられている。なお、画像入力部2には、撮像手段としての左右一対のカメラ2aが接続されており、音声入力部3には音声入力手段としての左右一対のマイク3aが接続されており、これらと画像入力部2・音声入力部3・画像処理部4・音声認識部5とにより人物検出手段が構成されている。また、音声発生部13には音声出力手段としてのスピーカ13aが接続されている。また、移動制御部12には、二足歩行型のロボットにおける各関節などに設けられた複数のモータ12aが接続されている。
【0010】
上記画像送信部11からの出力信号は例えば公衆回線として利用可能な種類の電波信号であって良く、その場合には汎用の携帯端末機14で受信可能である。さらに、移動ロボット1に外部カメラ15を持たせたり装備させたりすることができ、その場合には外部カメラ15を撮像対象に向けてその映像出力信号を人応答管理部に入力するようになっている。
【0011】
次に、このようにして構成された移動ロボット1における画像送信の制御要領について図2のフローチャートを参照して以下に示す。まず、ステップST1において、人応答管理部7に、ロボット状態検知部6により検知された自分自身の状態が入力される。本移動ロボット1の状態としては、例えば移動速度や移動方向やバッテリの状態が挙げられる。これらを検出可能な各センサを設けておき、それらの検出出力をロボット状態検知部6に入力する。
【0012】
次のステップST2では、例えば頭部の左右に配設した上記一対のマイク3aにより集音した音を音声入力部3に入力する。ステップST3では、音声認識部5で、音声入力部3から入力された音データに基づいて叫び声や声の方向や音量などをパラメータとする音声を認識する言語処理を行う。なお、音声認識部5では、一対のマイク3a間の音圧差及び音の到達時間差に基づき音源を検知すると共に、音の立ち上がり部分から音が音声であるか衝撃音であるかを推定したり、予め登録された語彙を参照して音声を認識することができる。
【0013】
このステップST3における音声認識の一例を図3のフローチャートを参照して以下に示す。このフローはステップST3におけるサブルーチンとして処理されるものであって良い。ロボットに対する人からの呼びかけがあれば音量の変化として捉えることができるため、まず図におけるステップST21で音量の変化を検出する。次のステップST22では音源の方向を認識する。この場合、例えば左右のマイク3a間の音量変化の時間差や音圧差で音源方向を求めることができる。次のステップST23では音声を認識する。この場合には、例えば音素の分割やテンプレートマッチングで特定の言葉を認識することができる。言葉の例としては「おーい。」や「来い。」などが考えられる。音量変化時の音素が言葉のいずれにも該当しなかったり、テンプレートで用意されている言葉と一致しなかったりした場合には音声ではないとする。
【0014】
音声認識のサブルーチン処理が終わったら、ステップST4で、例えば頭部の前面に配設した上記左右一対のカメラ2aにより撮影された映像を画像入力部2に入力する。カメラ2aは例えばCCDカメラであって良く、フレームグラバにより画像をディジタル化して取り込んだものを画像処理部4に出力する。ステップST5では、画像処理部4による移動体抽出を行う。
【0015】
このステップST5における移動体抽出の一例を図4を参照して以下に示す。音声認識処理により認識された音源の方向にカメラ2aを向け、または音声が認識されない場合には任意の方向に首振り運動をして、図4に示されるような移動体を認識したらその抽出を行う。図4(a)ではカメラ2aでの画角16内に人が挨拶として手を振っている状態が撮影された場合であり、図4(b)では手招きしている状態が撮影された場合である。これらの場合には手を動かしている人が移動体として認識される。
【0016】
ここで、移動体抽出処理の一例を図5のフローチャートにより示されるサブルーチン処理として示す。そのステップST31では例えばステレオ視による距離dの検出を行う。この対象となる部分は動きのあるエッジ点を最も多く含む部分であって良い。この場合、例えば、画像のエッジ情報を用いた動的輪郭抽出により移動体の輪郭を抽出し、連続または任意の間隔の2フレーム間の差分から動いているものを抽出することができる。
【0017】
次のステップST32では画角16内での移動体探索領域を設定する。例えば、距離dを基準に処理対象距離範囲(d±Δd)を設定し、その処理対象距離範囲内に存在する画素を抽出し、図4(a)における縦軸方向の画素数を横軸方向の画素ピッチ毎に計測し、その数が最大となる位置の縦軸方向線を移動体探索領域の中央線Caとする。その中央線Caから距離dに応じて左右に人の肩幅程度の広さを算出し、その算出値に基づいて移動体探索領域の左右方向の境界を設定する。これにより、図4(a)の破線で示されるような移動体探索領域17が設定される。
【0018】
ステップST33では特徴の抽出を行う。この特徴抽出では、パターンマッチングなどを用いて特定のマークや注目点を探索することである。例えば、認識容易な特定のマークを記したワッペンをロボットと対話する人に付けてもらっておき、そのマークを探索することにより対象者に向けての速やかな移動を可能にする。または、人物のロボットを見つけた時の手の動きなどの何種類かのパターンを用意しておき、いずれかのパターンに合うものを探すことにより、人物を認識することができる。
【0019】
ステップST34では輪郭の抽出を行う。なお、画像情報から対象物(移動体)を抽出する手法としては、画素の特徴量のクラスタリングに基づいた領域分割法や、検出されたエッジを連結させる輪郭抽出法や、予め定義したエネルギーを最小化するように閉曲線を変形させる動的輪郭モデル(Snakes)などを用いることができる。そして、例えば背景との輝度差から輪郭を抽出し、抽出された移動体の輪郭上もしくは輪郭内に存在する点の位置から移動体の重心位置を計算し、ロボットの正面に対する移動体の方向(角度)を求める。また、輪郭を抽出された移動体における各画素の距離情報から移動体までの距離を計算し直し、実空間上での移動体の位置を求める。なお、画角16内に複数人いる場合には、領域の設定を複数人分設定することにより、それぞれに対して上記と同様にして特徴を抽出することができる。
【0020】
ステップST5で移動体が検出されない場合にはステップST1に戻り、移動体抽出のサブルーチン処理が終わったら、ステップST6で、地図データベース部8に保存されている地図データベースの参照を行う。それにより、現在地の特定や、予め入力されている進入禁止領域の確認や画像処理領域を決定する。
【0021】
ステップST7では、例えば移動体の上部の小さな部分を顔部分とし、その顔部分から色情報(肌の色)を抽出し、肌色が抽出されたら顔であるとして、その顔の位置を特定することにより、顔の抽出を行う。
【0022】
ここで、顔抽出処理の一例を図6のフローチャートにより示されるサブルーチン処理として示す。なお、この場合のカメラ2aにより撮影された初期画面の一例を図7(a)に示す。まず、ステップST41で距離の検出を行う。この場合には上記したステップST31と同様の処理であって良い。次のステップST42でも、例えばステップST34と同様に画像上の移動体の輪郭を抽出する。なお、これらステップST41・42にあっては、上記ステップST32・34のデータを用いても良い。
【0023】
次のステップST43では、例えば図7(b)に示されるように輪郭18が抽出されたとすると、その輪郭18の画面上での最上部となる位置データ(頂部)を頭頂部18aとして位置設定する。これを、顔の位置を特定する手段としての画像処理部4により行うようにして良い。その頭頂部18aを基準点として探索範囲を設定する。探索範囲は、上記ステップST32と同様に距離に応じて、予め設定されている顔の大きさに相当するサイズを設定する。奥行きに対しても距離に応じた顔の大きさを考慮した範囲とする。
【0024】
そして、ステップST44で肌色領域の抽出を行う。肌色領域は、HLS(色相、明度、彩度)空間上でしきい値操作により抽出することができる。なお、顔位置を上記探索範囲内にある肌色領域の重心位置として求めることができ、それによる距離に応じて顔の大きさとして推定し得る顔の処理領域を図8に示されるように楕円モデル19として設定する。
【0025】
次のステップST45では、上記したようにして設定された楕円モデル19内で黒丸(瞳)を円形エッジ抽出フィルタで検出することによる眼の抽出を行う。この眼の抽出にあっては、例えば標準的な人物の頭頂部18aから眼までの長さに基づいて所定の広さ(距離に応じた画面上のサイズ)の黒丸探索範囲19aを設定し、その黒丸探索範囲19a内に対して行うことにより、容易に瞳を検出することができる。
【0026】
そして、ステップST46で、送信する顔画像の切り出しを行う。この顔画像の大きさは、例えば送信対象が携帯端末14のように表示画面の大きさが小さい場合には、図9に示されるように、切り出し画像20の画面のほぼ一杯に顔全体が入る大きさにすると良い。反対に送信対象が大型スクリーンなどの場合には背景も入れるようにしても良い。また、顔部分の拡大縮小は、ステップST45で検出された瞳の位置データから両眼の間隔を求め、その間隔に基づいて行うことができる。なお、切り出し画像20の画面のほぼ一杯に顔全体が入る大きさとする場合には、両眼間の中点が所定の位置(例えば切り出し画像20の中心より少し上)に来るように画像を切り出すようにすると良い。このようにして顔抽出処理のサブルーチンを終了する。
【0027】
ステップST8では、顔データベース部9に保存されている顔データベースの参照を行う。例えば一致する顔データがあると判断された場合には、その個人情報に登録されている名前を顔の画像と共に人応答管理部7へ出力する。
【0028】
次のステップST9では、ステップST7で抽出された顔の人物に対する個人の認識を行う。この個人の認識にあっては、パターン認識、または主成分分析による一致度の推定や表情の認識などである。
【0029】
ステップST10では、認識された人物の手の位置を特定する。手の位置は、顔の位置に基づいて、またステップST5にて抽出した輪郭に対して、その内部肌色領域を探索することにより行う。すなわち、輪郭は頭部から胴体を含む輪郭であり、その中で通常顔と手が露出しているとみなせることから、顔以外の肌色部分を手であるとする。
【0030】
次のステップST11では、ジェスチャ・ポスチャの認識を行う。ここで、ジェスチャとは、顔と手の位置関係から判断した手を振る「手振り」や「手招き(おいで)」などの特定の動きであって良い。また、ポスチャとは、こちらを見ていると判断できる姿勢であって良い。なお、ステップST7で顔を抽出することができない場合にもこのステップST11に進む。
【0031】
ステップST12では、人物に対する応答を行う。この応答にあっては、発話や人物に向かう移動、また首振りなどによりカメラやマイクを向けることであって良い。そして、ステップST13では、ステップST12までの過程で抽出した人物の画像を扱い易くするべく圧縮処理し、送信対象に応じたフォーマットに変換した画像を送信する。この画像には、ロボット状態検知部6により検出された移動ロボット1の各状態を重畳させると良い。これにより、移動ロボット1の位置や移動速度などを画面で容易に確認することができるため、ロボット管理者においても携帯端末で簡単に状態を把握することができる。
【0032】
このようにして移動ロボット1による人物の抽出とその画像送信を例えば公衆回線を介して携帯端末14で受信可能にすることにより、その画像送信回線にアクセス可能な携帯端末14を用いて、移動ロボット1の視線で捉えた風景や人物画像を任意に見ることが可能になる。また、例えばイベント会場で長蛇の列が生じるような場合に、入場待ちで退屈している人に対して移動ロボットによる挨拶を行い、興味を示した人に近付いて、その人との対話における情景を撮影し、壁などに設置された大型スクリーンにその模様を映し出すことができる。また、カメラ15を移動ロボット1が持ち歩き、そのカメラ15で撮影した画像を上記と同様にして送信することにより、移動ロボット1がカメラ15で撮影した内容を携帯端末14や大型スクリーンで見ることができる。
【0033】
また、ステップST7で顔が抽出されなかった場合には、ステップST11でジェスチャやポスチャにより人物であると認識されるものに近づき、例えば手振りと認識した対象の中で一番近いものを特定して、図10に示されるようにその対象が切り出し画像20内一杯に収まるように切り出して送信すると良い。この場合には、対象の輪郭の上下または左右の長い方が切り出し画像20内に収まるようにサイズを調整する。
【0034】
また、本移動ロボット1をイベント会場など多くの人が集まる場所などで起きる迷子に対応させることができる。その迷子対応処理の一例を図11のフローを参照して以下に示す。なお、全体の流れは図2であって良く、迷子に特定した部分について図11のフローに沿って説明する。
【0035】
この迷子対応処理にあっては、例えば予め入口などで子供の顔を備え付けのカメラで撮影し、その顔画像データを移動ロボット1に送信する。移動ロボット1では、図示されない受信器にて受信し、人応答管理部7により顔画像データを顔データベース部9に登録しておく。この場合、保護者がカメラ付き携帯端末を持っていれば、その電話番号も登録しておく。
【0036】
まず、ステップST51〜53では、ステップST21〜23と同様にして、音量変化の検出・音源方向の認識・音声認識を行う。なお、ステップST5では、特定の言葉として子供の泣き声を入力しておくと良い。次のステップST54ではステップST5と同様の処理で移動体の抽出を行う。なお、ステップST53で泣き声を抽出できない場合であってもステップST54に進み、ステップST54で移動体を抽出することができない場合であってもステップST55に進む。
【0037】
ステップST55では、ステップST33と同様にして特徴の抽出を行い、ステップST56ではステップST34と同様にして輪郭の抽出を行う。次のステップST57ではステップST7と同様にして顔の抽出を行う。したがって、ステップST43〜46と同様にして肌色検出から顔画像の切り出しまでの一連の処理を行う。輪郭及び顔抽出では、特に、対象物(移動体)までの距離・頭部位置・カメラ2aの向きなどから身長(図12(a)のH)を算出し、子供に相当する場合(例えば120cm以下)には子供であると予想する。
【0038】
次のステップST58ではステップST8と同様にして顔データベースを参照し、ステップST59では、顔データベースに登録されている撮影済みの顔と一致している個人を識別し、ステップST60に進む。登録されている個人として識別できない場合であってもステップST60に進む。
【0039】
ステップST60ではステップST11と同様にしてジェスチャ・ポスチャの認識を行う。ここでは、輪郭と肌色情報とにより、図12(a)に示されるように顔と手の平とが接近している状態で顔や手の細かな動きをジェスチャとして認識したり、輪郭により腕と思われる部分が頭部側に位置しているが手の平が検出されない姿勢をポスチャとして認識したりすると良い。
【0040】
次のステップST61では、ステップST12と同様にして人応答処理を行う。この場合には、迷子と思われる人物に向かって移動し、顔を向けることによりカメラ2aを向け、スピーカ13aから迷子の子供に対応した内容の言葉(例えば「どうしたの?」)を発するようにする。特に、上記ステップST59で個人を特定できた場合には、登録されている個人名による呼びかけを行う(例えば「特許太郎君?」)。また、ステップST62で、ステップST6と同様にして地図データベースを参照して現在地を特定する。
【0041】
ステップST63では、図12(b)に示されるように迷子の画像の切り出しを行う。この画像切り出しにあっては、ステップST41〜46と同様に行って良い。なお、服装も映し出すと分かり易いことから、迷子画像として切り出す場合には例えば腰から上が入るようなサイズで切り出すと良い。
【0042】
そして、ステップST64で、上記切り出した画像をステップST13と同様にして送信する。この送信情報には、図12(b)に示されるように、迷子の画像と共に、現在地情報や個人識別情報(名前)を含めると良い。なお、顔データベースに登録されていないと判断され、名前を特定できなかった場合には現在地情報のみを送信する。送信先としては、登録されている個人を特定でき、かつ保護者の携帯端末の電話番号が登録されていれば、その携帯端末に対して送信できる。これにより、保護者は即座に自分の子供を視認でき、現在地情報に基づいて迎えにいくことができる。また、個人が特定されない場合には、大型スクリーンなどに映し出すことにより、保護者が容易に確認できる。
【0043】
【発明の効果】
このように本発明によれば、撮影された人物の顔を主要部とする画像を切り出して送信することができるため、送信先が携帯端末のように画面が小さい場合であっても顔を大きく映し出すことができ、携帯端末の画面でも撮影された人物の顔の表情を容易に視認することができる。これにより、人物を探し出し、その画像を送信することをオペレータに依存することなくロボット自身で行うことができ、ロボットによる人物撮影の場面が限定されず、汎用性が高くなる。そのロボットから送信される画像を携帯端末などで見る場合でも、顔が大きく映し出されるため、撮影対象の人物を容易に視認することができる。
【0044】
特に、移動情報としてロボットの位置を送信することにより、その画像に興味を示した者がその位置に行くことができるため、イベント会場などで効率的に見て回ることを助けることができる。また、顔の位置に基づいて撮像方向を変えることによれば、人物を検出してからその顔を撮影するまでに至る制御の流れを円滑に行うことができる。また、人物までの距離を算出しかつ最も近い所にいる人物を検出することにより、複数の人物の中でロボットに最も近い人物に近づくことから、人物に近づきかつその顔を撮影する過程を効率良く行うことができる。さらに、人物までの距離を算出して移動目標位置を決めることにより、撮影対象の人物に対して最適な位置に移動ロボットを位置させることができ、常に好適な解像度による人物画像を撮影することができる。
【図面の簡単な説明】
【図1】本発明が適用された全体ブロック図。
【図2】本発明に基づく制御要領の一例を示すフロー図。
【図3】音声認識の例を示すフロー図。
【図4】(a)は移動体の動作の一例を示す説明図であり、(b)は多の例を示す(a)に対応する図。
【図5】輪郭抽出の例を示すフロー図。
【図6】顔画像切り出しの例を示すフロー図。
【図7】(a)は人物を検出した状態を示す撮影画面の例であり、(b)は(a)の画像から人物の輪郭を抽出した状態を示す図。
【図8】顔から瞳を検出する例を示す説明図。
【図9】送信画像の一例を示す図。
【図10】ジェスチャやポスチャにより人物であると認識した例を示す図。
【図11】迷子を捜し出す場合の例を示すフロー図。
【図12】(a)は迷子の特徴を抽出した画面を示す図であり、(b)は迷子の送信画像例を示す図。
【符号の説明】
1 移動ロボット
2 画像入力部(人物検出手段)
2a カメラ(撮像手段)
3 音声入力部(人物検出手段)
3a マイク(音声入力手段)
4 画像処理部(人物検出手段・顔の位置を特定する手段・画像切り出し手段)
5 音声認識部(人物検出手段)
6 ロボット状態検知部(状態検出手段)
11 画像送信部(画像送信手段)
12a モータ(移動手段)
Claims (5)
- 撮像手段を備えた移動ロボットであって、
前記移動ロボットが、
前記撮像手段からの情報に基づいて人物を検出する人物検出手段と、
前記検出された人物に向かって移動するための移動手段と、
前記検出された人物の顔の位置を特定する手段と、
前記特定された顔の位置に基づいて前記撮像手段から顔を主要部とする顔画像を切り出す画像切り出し手段と、
前記切り出された前記顔画像を外部装置へ送信する画像送信手段とを有することを特徴とする移動ロボットの画像送信装置。 - 前記移動ロボットが、少なくとも移動情報を含む前記移動ロボットの状態を検出する状態検出手段を有し、かつ該状態を前記送信する画像に重畳して送信することを特徴とする請求項1に記載の移動ロボットの画像送信装置。
- 前記移動ロボットが、前記特定された顔の位置に基づいて前記撮像手段の撮像方向を変えることを特徴とする請求項1または請求項2に記載の移動ロボットの画像送信装置。
- 前記移動ロボットが、前記検出された人物の情報に基づいて前記人物までの距離を算出し、かつ前記算出された距離に基づいて最も短い所にいる人物を検出することを特徴とする請求項1乃至請求項3のいずれかに記載の移動ロボットの画像送信装置。
- 前記移動ロボットが、前記算出された距離に基づいて移動目標位置を決めることを特徴とする請求項4に記載の移動ロボットの画像送信装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003094166A JP2004302785A (ja) | 2003-03-31 | 2003-03-31 | 移動ロボットの画像送信装置 |
KR1020040021483A KR100543376B1 (ko) | 2003-03-31 | 2004-03-30 | 이동로봇의 화상 송신 장치 |
US10/814,344 US20040190754A1 (en) | 2003-03-31 | 2004-04-01 | Image transmission system for a mobile robot |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003094166A JP2004302785A (ja) | 2003-03-31 | 2003-03-31 | 移動ロボットの画像送信装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004302785A true JP2004302785A (ja) | 2004-10-28 |
Family
ID=32985419
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003094166A Pending JP2004302785A (ja) | 2003-03-31 | 2003-03-31 | 移動ロボットの画像送信装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20040190754A1 (ja) |
JP (1) | JP2004302785A (ja) |
KR (1) | KR100543376B1 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101469246B1 (ko) * | 2007-08-07 | 2014-12-12 | 삼성전자주식회사 | 로봇에서 사진 촬영하는 장치 및 방법 |
KR100922813B1 (ko) * | 2009-02-04 | 2009-10-21 | (주) 펄스피어 | 멀티채널 방식 충격음 검출 장치와 방법 |
JP5253069B2 (ja) * | 2008-09-29 | 2013-07-31 | キヤノン株式会社 | 画像処理方法及び画像処理装置 |
US9411504B2 (en) | 2010-01-28 | 2016-08-09 | Microsoft Technology Licensing, Llc | Copy and staple gestures |
US8261213B2 (en) * | 2010-01-28 | 2012-09-04 | Microsoft Corporation | Brush, carbon-copy, and fill gestures |
US9519356B2 (en) | 2010-02-04 | 2016-12-13 | Microsoft Technology Licensing, Llc | Link gestures |
KR101260879B1 (ko) * | 2010-02-19 | 2013-05-06 | 모빌토크(주) | 이동로봇의 인물탐색 방법 |
US9454304B2 (en) | 2010-02-25 | 2016-09-27 | Microsoft Technology Licensing, Llc | Multi-screen dual tap gesture |
CA2800372A1 (en) * | 2010-05-20 | 2011-11-24 | Irobot Corporation | Mobile human interface robot |
FR2962048A1 (fr) * | 2010-07-02 | 2012-01-06 | Aldebaran Robotics S A | Robot humanoide joueur, methode et systeme d'utilisation dudit robot |
US9211644B1 (en) * | 2013-10-25 | 2015-12-15 | Vecna Technologies, Inc. | System and method for instructing a device |
CN103761694A (zh) * | 2014-01-24 | 2014-04-30 | 成都万先自动化科技有限责任公司 | 养老院聊天服务机器人 |
EP2933067B1 (en) * | 2014-04-17 | 2019-09-18 | Softbank Robotics Europe | Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method |
CN104200195B (zh) * | 2014-08-12 | 2018-07-31 | 上海卓易科技股份有限公司 | 一种图像识别处理方法及系统 |
CN106293042B (zh) * | 2015-06-26 | 2020-06-23 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN105069437A (zh) * | 2015-08-14 | 2015-11-18 | 惠州Tcl移动通信有限公司 | 一种能够自动识别位置的智能系统及其实现方法 |
US9858821B2 (en) * | 2016-02-26 | 2018-01-02 | Ford Global Technologies, Llc | Autonomous vehicle passenger locator |
CN106791565A (zh) * | 2016-12-15 | 2017-05-31 | 北京奇虎科技有限公司 | 机器人视频通话控制方法、装置及终端 |
CN106791681A (zh) * | 2016-12-31 | 2017-05-31 | 深圳市优必选科技有限公司 | 视频监控和人脸识别方法、装置及系统 |
US10181257B2 (en) * | 2017-01-05 | 2019-01-15 | Ics4Schools Llc | Incident command system/student release system |
US11161236B2 (en) | 2017-09-14 | 2021-11-02 | Sony Interactive Entertainment Inc. | Robot as personal trainer |
US11003916B2 (en) * | 2017-11-03 | 2021-05-11 | Toyota Research Institute, Inc. | Systems and methods for object historical association |
KR102228866B1 (ko) * | 2018-10-18 | 2021-03-17 | 엘지전자 주식회사 | 로봇 및 그의 제어 방법 |
CN110269549B (zh) * | 2019-06-28 | 2021-01-05 | 重庆市经贸中等专业学校 | 基于计算机的清洁系统 |
CN114125567B (zh) * | 2020-08-27 | 2022-12-13 | 荣耀终端有限公司 | 图像处理方法及相关装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2921936B2 (ja) * | 1990-07-13 | 1999-07-19 | 株式会社東芝 | 画像監視装置 |
JP2002006784A (ja) * | 2000-06-20 | 2002-01-11 | Mitsubishi Electric Corp | 浮遊型ロボット |
WO2002072317A1 (fr) * | 2001-03-09 | 2002-09-19 | Japan Science And Technology Corporation | Systeme de robot audiovisuel |
JP3996015B2 (ja) * | 2002-08-09 | 2007-10-24 | 本田技研工業株式会社 | 姿勢認識装置及び自律ロボット |
JP2004298988A (ja) * | 2003-03-31 | 2004-10-28 | Honda Motor Co Ltd | 移動ロボットの画像送信装置 |
-
2003
- 2003-03-31 JP JP2003094166A patent/JP2004302785A/ja active Pending
-
2004
- 2004-03-30 KR KR1020040021483A patent/KR100543376B1/ko not_active IP Right Cessation
- 2004-04-01 US US10/814,344 patent/US20040190754A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
KR100543376B1 (ko) | 2006-01-20 |
US20040190754A1 (en) | 2004-09-30 |
KR20040086758A (ko) | 2004-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100543376B1 (ko) | 이동로봇의 화상 송신 장치 | |
KR100593688B1 (ko) | 이동로봇의 화상 송신 장치 | |
KR100583936B1 (ko) | 사진을 촬영하는 이동로봇 | |
JP4460528B2 (ja) | 識別対象識別装置およびそれを備えたロボット | |
JP4689107B2 (ja) | 自律行動ロボット | |
JP2005059170A (ja) | 情報収集ロボット | |
CN106774856A (zh) | 基于唇语的交互方法以及交互装置 | |
KR20150097043A (ko) | 스마트 안경 및 지팡이를 이용한 시각 장애인 보조 시스템 및 방법 | |
CN108650452A (zh) | 用于智能可穿戴电子设备的人脸拍照方法及系统 | |
CN113678141A (zh) | 用于盲人和视力受损人员的立体声装置 | |
JP6500139B1 (ja) | 視覚支援装置 | |
US20210390333A1 (en) | Communication support device, communication support method, and computer-readable storage medium including program | |
JP4220856B2 (ja) | 携帯端末機器を用いた移動ロボットの画像撮影装置及びその方法 | |
JP4220857B2 (ja) | 携帯端末機器を用いた移動ロボットの画像撮影装置 | |
WO2019021973A1 (ja) | 端末装置、危険予測方法、記録媒体 | |
KR20160011302A (ko) | 글라스형 웨어러블 디바이스의 영상 또는 이미지 처리시스템 및 처리방법 | |
CN110524559A (zh) | 基于人员行为数据的智能人机交互系统及方法 | |
JP4220858B2 (ja) | 携帯端末機器を用いた移動ロボットの画像撮影装置 | |
JP4831750B2 (ja) | コミュニケーション誘発システム | |
CN114587949B (zh) | 一种导盲系统 | |
CN106056058B (zh) | 一种协助交通安全的智能移动终端 | |
JP2009106325A (ja) | コミュニケーション誘発システム | |
JP2005065020A (ja) | 携帯端末機器を用いた移動ロボットの画像送信装置及びその方法 | |
KR20160015704A (ko) | 글라스형 웨어러블 디바이스를 이용한 지인 인식시스템 및 인식방법 | |
KR20170079703A (ko) | 장면을 연출하는 시각장애인용 네비게이션 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080805 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081216 |