JP2005065020A

JP2005065020A - 携帯端末機器を用いた移動ロボットの画像送信装置及びその方法

Info

Publication number: JP2005065020A
Application number: JP2003294419A
Authority: JP
Inventors: Yoko Saito; 陽子斉藤; Koji Kawabe; 浩司川邊; Yoshiaki Sakagami; 義秋坂上
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2003-08-18
Filing date: 2003-08-18
Publication date: 2005-03-10
Anticipated expiration: 2023-08-18
Also published as: JP4220855B2

Abstract

【課題】移動ロボットにより撮影する場合に希望する撮影画像を容易に得る。
【解決手段】管理サーバ２２に個人データを登録しておき、ユーザが携帯端末機器１４から撮影要求信号を送信して登録データと照合して撮影の可否を判断し、撮影可の場合には、ロボット１がカメラ２で撮影した画像を送信する。携帯端末機器で撮影画像を確認し、ロボットの位置や向きを変える移動を指示して、移動して撮影することにより、満足が得られる画像となるまで繰り返し撮影する。選ばれた撮影画像を選択画像として決定して、例えば選択画像をサーバに保存することにより、撮影指示者は後でサーバにアクセスして選択画像を取得したりプリントしたりすることを自由に行うことができる。また、選択画像決定により、移動ロボット内での撮影画像のそれ以降の保存は必要なくなり、次の撮影指示に対してメモリ不足になることを心配することなく対処し得る。
【選択図】図１

Description

本発明は、携帯端末機器を用いた移動ロボットの画像送信装置及びその方法に関するものである。

従来、予め定められた地点や人物を観測して画像を観測者などに送信するようにしたカメラ付きロボットがあり、また、携帯端末機器によりロボットを遠隔制御するようにしたものもある。

上記携帯端末機器から移動ロボットを操作するものとして、ロボットコントロールサーバと移動ロボット携帯端末機器とをネットワークに接続し、ユーザが携帯端末機器からロボットコントロールサーバを介して移動ロボットに指示を与えるようにしたものがある（例えば、特許文献１参照。）。

特開２００３−６５３２号公報（第２−３頁、図１）

上記した携帯端末機器から移動ロボットを操作可能にしたものにあっては、上記したようにネットワークに接続されたロボットコントロールサーバを介してロボットを制御するものであり、ロボットに対する動作の制御は、サーバ上でサービス業者が操作用プログラムを用意して行うものである。また、ユーザの端末（自宅のパーソナルコンピュータなど）で各移動ロボットを操作する例も記載されているが、この場合にはステージの上方からカメラで全体を撮影し、これをユーザの端末に表示するように構成されている。したがって、移動ロボット自体のカメラが、上記操作で使用される訳ではない。また、上記ロボットにはカメラが付いており、そのカメラにより撮影可能にされているが、その画像は、ユーザがロボットの作業の結果を確認するためのものである。

それに対して、例えばユーザが所持する携帯端末機器から撮影意思を伝えるだけで、ロボットが自ら連続的に撮影し、その連続撮影画像を携帯端末機器で確認することができると共に、希望する画角の撮影画像を選択可能にすることにより、希望する撮影画像が容易に得られるようになり、移動ロボットによる撮影の利用価値が増大する。しかしながら、上記ロボット装置では、ユーザがロボットの移動位置などを指示するものであり、希望する画角となる撮影画像が得られるまでの操作が煩わしい、という欠点がある。

このような課題を解決して、移動ロボットにより撮影する場合に希望する撮影画像を容易に得ることを実現するために本発明に於いては、移動可能な移動ロボット（１）が、撮像装置（２・３）と、撮影指示者が操作する画像表示可能な携帯端末機器（１４）からの撮影要求信号を受けた場合に撮影の可否を判断する撮影可否判断手段（１０・２２）と、前記撮影を行うと判断した場合に所定の撮影手順に基づいて前記撮像装置（２・３）により連続して撮影しつつ当該撮影された連続撮影画像を前記携帯端末機器（１４）で表示可能な画像信号として順次送信する画像信号送信手段（１０・１３・１５）と、前記撮影指示者が前記携帯端末機器（１４）で表示される前記連続撮影画像から任意の１つを選択して前記携帯端末機器（１４）から送信した画像選択信号を受けた場合に当該選択された撮影画像を選択画像として決定する選択画像決定手段（１０）とを有するもの、または、撮像装置（２・３）を備えかつ移動可能な移動ロボット（１）により、撮影指示者が操作する画像表示可能な携帯端末機器（１４）からの撮影要求信号を受けた場合に撮影の可否を判断し、前記撮影を行うと判断した場合に所定の撮影手順に基づいて前記撮像装置（２・３）により連続して撮影しつつ当該撮影された連続撮影画像を前記携帯端末機器（１４）で表示可能な画像信号として順次送信し、前記撮影指示者が前記携帯端末機器（１４）で表示される前記連続撮影画像から任意の１つを選択して前記携帯端末機器（１４）から送信した画像選択信号を受けた場合に当該選択された撮影画像を選択画像として決定するものとした。

このように本発明によれば、撮影要求信号に対して撮影を行うと移動ロボットが判断した場合には、ロボットにより連続的に撮影しつつその連続撮影画像を撮影指示者の携帯端末機器に送信することから、撮影指示者は連続撮影画像の中から希望する画角の撮影画像を自由に選ぶことができる。その選ばれた撮影画像を選択画像として決定して、例えば選択画像をサーバに保存することにより、撮影指示者は後でサーバにアクセスして選択画像を取得したりプリントしたりすることを自由に行うことができる。また、選択画像決定により、移動ロボット内での撮影画像のそれ以降の保存は必要なくなり、次の撮影指示に対してメモリ不足になることを心配することなく対処し得る。

特に、携帯端末機器から移動ロボットを撮影可能な範囲内で移動させるロボット移動指示を行うことにより、ロボットにまかせたままの画角による撮影画像ばかりでなく、撮影指示者が撮影画像を確認しながらロボットに移動指示を与えて撮影を行わせることができるため、希望する画角の撮影画像を得ることがより一層容易になる。

また、予め撮影指示者をサーバに登録し、撮影要求した撮影指示者がサーバに登録されているか否かを判断して撮影の可否の判断を行うことにより、登録した者だけが撮影指示可能になり、不特定多数の者がロボットに対して撮影指示命令を出して、ロボットの動作が煩雑化してしまうことを防止し得る。

さらに、選択画像を決定した場合に携帯端末機器に対して撮影に応じた課金信号を送信すると共に課金処理を行う課金手段を設けることにより、ロボットにより撮影したその場で撮影結果及びそれに伴う課金を確認することができ、特に複数枚選択した場合などの課金状態を容易に知ることができ、取り扱い性が良い。

また、選択画像に合成可能な背景フレームを携帯端末機器に送信すると共に、選択された背景フレームを選択画像と合成することにより、撮影画像に変化をもたせることができ、より多様な撮影ニーズに対応し得る。

以下、移動ロボットにより撮影する場合に希望する撮影画像を容易に得ることを実現するという目的を、携帯端末機器からの指示で、サーバを介すことなく実現した。

図１は、本発明が適用された全体システム図である。なお、本図示例における移動ロボット１にあっては二足歩行型として以下に示すが、二足歩行型に限るものではなく、例えばクローラー式や車輪式であっても良い。図に示されるように、本移動ロボット１には、撮像装置として左右一対のカメラ２及びそれらに接続された画像処理部３と、左右一対のマイク４及びスピーカ５と接続された音声処理部６と、センサ７に接続された個人認証部８と、それら画像処理部３・音声処理部６・個人認証部８と障害物センサ９とが接続された制御部１０と、制御部１０と接続されたマップデータベース部１１と、頭や腕や脚を駆動制御するべく制御部１０と接続された駆動部１２と、無線ＬＡＮの送受信用のＬＡＮ送受信部１３と、携帯端末機器１４と送受信を行うための携帯用送受信部１５とが設けられている。ＬＡＮ送受信部１３と携帯用送受信部１５とは画像信号送信手段として設けられている。

画像処理部３と音声処理部６とにより人物を検出することができるようになっている。例えば、画像処理部３で、先ず、動きのあるエッジ点を最も多く含む部分に対してステレオ視により距離の検出を行う。この動きの検出にあっては、画像のエッジ情報を用いた動的輪郭抽出により移動体の輪郭を抽出し、連続または任意の間隔の２フレーム間の差分から動いているものを抽出することであって良い。次に、撮影された画角内での移動体探索領域を設定する。例えば、距離を基準に処理対象距離範囲を設定し、その処理対象距離範囲内に存在する画素を抽出し、縦軸方向の画素数を横軸方向の画素ピッチ毎に計測し、その数が最大となる位置の縦軸方向線を移動体探索領域の中央線とし、その中央線から距離に応じて左右に人の肩幅程度の広さを算出し、その算出値に基づいて移動体探索領域の左右方向の境界を設定して移動体探索領域を設定する。

次に、移動体探索領域内で、パターンマッチングなどを用いて特定のマークや注目点を探索して特徴の抽出を行う。例えば、認識容易な特定のマークを記したワッペンをロボットと対話する人に付けてもらっておき、そのマークを探索することにより対象者に向けての速やかな移動を可能にする。または、人物のロボットを見つけた時の手の動きなどの何種類かのパターンを用意しておき、いずれかのパターンに合うものを探すことにより、人物を認識することができる。あるいは、センサ７により検出可能な特定の発信器などを所持してもらうようにしても良い。

なお、画像情報から対象物（移動体）を抽出する手法としては、画素の特徴量のクラスタリングに基づいた領域分割法や、検出されたエッジを連結させる輪郭抽出法や、予め定義したエネルギーを最小化するように閉曲線を変形させる動的輪郭モデル（Snakes）などを用いることができる。そして、例えば背景との輝度差から輪郭を抽出し、抽出された移動体の輪郭上もしくは輪郭内に存在する点の位置から移動体の重心位置を計算し、ロボットの正面に対する移動体の方向（角度）を求める。また、輪郭を抽出された移動体における各画素の距離情報から移動体までの距離を計算し直し、実空間上での移動体の位置を求める。なお、画角内に複数人いる場合には、領域の設定を複数人分設定することにより、それぞれに対して上記と同様にして特徴を抽出することができる。

例えば移動体の上部の小さな部分を顔部分とし、その顔部分から色情報（肌の色）を抽出し、肌色が抽出されたら顔であるとして、その顔の位置を特定することにより、顔の抽出を行う。この場合にも、上記と同様に画像上の移動体の輪郭を抽出し、その輪郭の画面上での最上部となる位置データ（頂部）を頭頂部として位置設定し、その頭頂部を基準点として探索範囲を設定して、予め設定されている顔の大きさに相当するサイズを設定する。奥行きに対しても距離に応じた顔の大きさを考慮した範囲とする。そして、ＨＬＳ（色相、明度、彩度）空間上でしきい値操作により肌色領域の抽出を行うことができる。このようにして決められた顔の大きさに基づいて、画角に対する人物の切り出しを任意の大きさで設定することができる。

また、音声処理部６では、マイク４から入力して音声処理部６で処理された音データに基づいて叫び声や声の方向や音量などをパラメータとする音声を認識する言語処理を行うと共に、一対のマイク４間の音圧差及び音の到達時間差に基づき音源を検知すると共に、音の立ち上がり部分から音が音声であるか衝撃音であるかを推定したり、予め登録された語彙を参照して音データを音声として認識することができる。人間の声であることを認識したら、声のする方に近付いて撮影することにより、上記画像処理を行うことができる。

なお、マップデータベース部１１に保存されている地図データの参照を行って、現在地の特定や、予め入力されている進入禁止領域の確認や画像処理領域を決定することができる。これにより、未知の場所に入り込んで障害物に当たって転倒したり、無線ＬＡＮによる通信不能になったりする不都合を回避することができる。

上記したように構成された自立移動可能なロボット１に対して、信号の授受を行うためのＬＡＮ送受信機２１がロボット１の上記した移動範囲内の適所に設けられ、そのＬＡＮ送受信機２１が管理サーバ２２と接続されている。

また、携帯端末機器１４とロボット１の携帯送受信部１５との信号の授受を可能にする携帯基地局２３が上記と同様にロボット１の移動範囲内の適所に設けられている。その携帯基地局２３には、送受信機２３ａと制御部２３ｂとが互いに接続されて設けられており、各ユーザがパーソナルコンピュータ２４でアクセス可能なインターネットに制御部２３ｂが接続されている。

また、上記管理サーバ２２とは別個にサーバ２５が設けられており、そのサーバ２５にはコンテンツ用データベース部２５ａと制御部２５ｂとが互いに接続されて設けられている。その制御部２５ｂもインターネットと接続されている。

次に、本発明に基づくロボット１による撮影要領について示す。例えば遊園地やイベント会場において、ロボット１によりカメラ２で撮像した撮影画像をデジタル写真として入園者や入場者に提供する場合を示す。なお、カメラ２はロボット１における目に相当するものであり、それとは別に手持ちの外部カメラで撮影するようにしても良い。その場合には、外部カメラのデータ出力端子をロボット１に接続し、その画像データを画像処理部３で処理するようにすれば良い。

また、ロボット１への撮影指示を携帯端末機器１４で行うものであり、ロボット１に撮影を指示して撮影してもらうことを希望する撮影指示者であるユーザは自身が所有する画像表示機能付き携帯電話の番号または貸与される画像表示機能付き携帯端末機器１４のＩＤコードなどを管理サーバ２２に予め登録しておく。ユーザはロボット１の移動可能な範囲（予め特定しておく）に行き、そこで図２に示されるように携帯端末機器１４を用いてロボット１に指示を出す。

図３に専用の携帯端末機器１４の例を示す。この携帯端末機器１４には、ロボット１による撮影画像及び文字を表示するための画面１４ａと、複数の操作用キー１４ｂとが設けられている。キー１４ｂのそれぞれには、ロボット１に対して前方や右前方などの移動指示や、画面１４ａに表示された項目に対して選択するものなどが割り当てられている。なお、携帯端末機器１４に一般の携帯電話を用いる場合には、そのテンキーなどに上記各指示ためのキーの割り当てを決めておく。

図４(ａ)・(ｂ)はロボット１に対する撮影指示及びロボット１による撮影要領を示すフロー図である。まず、ユーザの携帯端末機器１４からロボット１ａに対する接続要求（撮影要求信号）を送信する（図のＵ１）。この接続要求信号は、携帯基地局２３を介してロボット１の携帯送受信部１５で受信したり、または携帯基地局２３から管理サーバ２２を経由してＬＡＮ送受信機２１を介してロボット１のＬＡＮ送受信部１３で受信したりすることができる。ロボット１は、その接続要求信号を携帯送受信部１５またはＬＡＮ送受信部１３で受信したら、その携帯端末機器１４に対応する個人データを照会するべく、ＬＡＮ送受信部１３から個人データ要求信号を送信する（ＳＴ１）。その個人データ要求信号をＬＡＮ送受信機２１を介して管理サーバ２２が受信したら、管理サーバ２２は、例えば携帯端末機器１４からの送信信号のヘッダに含まれるＩＤコードに対応する個人データを、サーバに登録されている個人データベースの中から検索し、その結果を返す。管理サーバ２２からの個人データ検索結果は、ＬＡＮ送受信機２１を介して送信され、ロボット１のＬＡＮ送受信部１３により受信されるようになっている。

ロボット１では、上記個人データ検索結果が管理サーバ２２に登録されている個人データであると認識（認証ＯＫ）できるか否かを判別し（ＳＴ２）、認識できた場合には次のステップＳＴ３に進み、不登録個人データであると判断（認識ＮＧ）した場合には本フローを終了し、次の接続要求を待つ。これら管理サーバ２２とロボット１の制御部１０における認証判断とにより撮影可否判断手段が構成されている。

認証ＯＫの場合には、ロボット１からサービス開始の通知を送信する（ＳＴ３）。この送信信号は、携帯端末機器１４で受信可能な信号として送信され、携帯基地局２３を介して携帯端末機器１４で受信することができる。そのサービス開始の通知が携帯端末機器１４の画面上に表示され（Ｕ２）、ユーザは、ロボット１に対して撮影指示可能な状態になったことを確認し得る。なお、接続要求（Ｕ１）以降は、携帯端末機器１４を携帯基地局２３と常時接続可能にしておくものとする。また、送受信信号には認証された個人データを例えばヘッダに含める。これにより、認証された関係が維持され、他の者からのアクセスによる誤動作を防止し得る。

ユーザは、ロボット１から撮影可能な範囲に自分が位置していると判断したら、携帯端末機器１４の所定のキーを操作して撮影開始の指示を携帯端末機器１４から送信する（Ｕ３）。または、音声による指示も可能である。上記したようにロボット１の音声処理部６では、音声を認識する言語処理を行うと共に予め登録された語彙を参照するなどしており、音声指示の際の語彙を決めておくことによりその音声指示を容易に判断可能である。

ロボット１における上記ステップＳＴ３の次のステップＳＴ４では撮影開始の指示の有無を判別する。開始指示有りと判断したら次のステップＳＴ５に進み、撮影開始指示無しと判断した場合にはステップＳＴ３に戻り開始指示を待つ。なお、図示していないが、この開始指示待ちに対してタイマを設けて、タイムアップした場合にはステップＳＴ１に戻るようにすると良い。このようなフェイルセーフ処理は以後の処理において適宜設けておいて良いものであり、それぞれにおける説明を省略する。

ステップＳＴ５では所定の撮影手順に基づいてカメラ２による撮影を行う。この所定の撮影手順には上記画像処理などによる人物の抽出が含まれる。なお、カメラ２による撮影はオートフォーカスであって良い。撮影を行ったら、次のステップＳＴ６で撮影画像データを携帯送受信部１５から送信する。

撮影画像データが送信されたら、携帯端末機器１４の画面ではその撮影画像が表示される（Ｕ４）。例えば、最初の撮影がユーザＵに対して図２の位置Ｐ１にロボット１が位置して撮影して、例えば図５の上段に示されるような撮影画像が携帯端末機器１４の画面１４ａに表示された場合には、小さくかつ一部が頭の一部が欠けて撮影されているため、ユーザは撮り直しのためにロボット１に対して撮影位置を変更するように移動の指示を出すことができる（Ｕ５）。この移動指示は、上記したように携帯端末機器１４の各キーに前進や右前方などの方向指示を割り当てておき、それらのキーを操作して行うことができるようになっている。この場合の移動指示においても音声による指示を行っても良い。

ロボット１では、ステップＳＴ７にて所定の待ち時間を設けて移動指示の有無を判別し、待ち時間内に移動指示有りと判断した場合にはステップＳＴ８に進み、待ち時間内に移動指示無しと判断した場合にはステップＳＴ９に進む。

例えば図２の位置Ｐ１に位置するロボット１に対して前進を指示すると、ロボット１は、その前進指示の受信を制御部１０で判断し、ステップＳＴ８にて駆動部１２を介して脚を駆動して前進させる制御を行う。次のステップＳＴ９では、ステップＳＴ５の撮影開始から所定の時間経過してタイムアップしたか否かを判別し、タイムアップ前であると判断された場合にはステップＳＴ１０に進む。

ステップＳＴ１０では、撮影指示の有無を判別する。撮影指示は、ユーザからの撮影指示により撮影を行うようにするものであり、例えば携帯端末機器１４で割り当てられているキーを操作することにより、携帯端末機器１４から撮影指示信号が送信される（Ｕ６）。この場合にも音声による指示を行って良い。

ステップＳＴ１０で撮影指示が無いと判断した場合には、ステップＳＴ５に戻って新たな撮影を行う。したがって、撮影指示があるまでは、ロボット１は例えば所定の時間間隔で連続して撮影を行い、ユーザに撮影画像を連続して送信することになる。これにより、ユーザは、自身が位置を変えたり、ロボット１に移動を指示したりして、連続して変化する撮影画像を確認することができ、気に入った結果が得られるまで連続して撮影してもらうことができる。

例えば、上記したように位置Ｐ１からロボット１を前進しさせた結果、位置Ｐ２でロボット１が撮影し、その撮影画像が図５の中段のようになった場合には、一方の者が画面１４ａからはみ出してしまっているため、修正するべく右前方への移動指示を行う。それにより、ロボット１は図２の位置Ｐ３に至り、そこで撮影を行った結果が図５の下段のようになった。このように、ロボット１（カメラ２）の撮影位置や向きを変えるために移動指示を行うことにより、満足のいく撮影画像を得ることができるようになる。

また、ロボット１では、ステップＳＴ１１で撮影指示に対応した応答を行う。例えば、撮影指示者に向かって「はい、チーズ。」等のこれから撮影を行うことが分かるようにする。この音声は、音声処理部６で処理された合成音声でスピーカ５から発せられる。これにより、不意に撮影することによりユーザの満足が得られない撮影結果となることを防止することができる。

また、ユーザは、ロボット１から送信された撮影画像で良いか否かを判断して、撮影の取消または終了をロボット１に対して指示する。この取消／終了指示キーは、予めキー１４ｂのいずれかに決めておいても良いが、画面１４ａに撮影画像の表示と共に選択ボタンとして取消／終了を表示し、例えば矢印キーにより選択して決定キーにより決定するようにしても良い。さらに、「取消。」または「終了。」という言葉を発して、音声により指示するようにしても良い（Ｕ７）。

ロボット１では、ステップＳＴ１２で取消／終了を判別し、取消を指示されたと判断した場合にはステップＳＴ５に戻り、新たな撮影を行う。なお、上記ステップＳＴ９でタイムアップしたと判断された場合にもこのステップＳＴ１２に進み、ユーザからの取消／終了の指示を待つ。

ステップＳＴ１２で終了を指示されたと判断した場合にはステップＳＴ１３に進み、そこで撮影画像に合成する背景フレームを送信する。この送信にあっては、図示されない記憶装置に予め記録しておいた背景フレームデータを制御部１０の指示により携帯送受信部１５から送信することにより行う。これら制御部１０及び携帯送受信部１５により背景フレーム送信手段が構成されている。図６にフレームＦの一例を示す。フレームは何種類か用意しておき、ユーザからの次のフレーム表示の先送り指示やロボット１から所定切り換え時間のタイミングで種類の異なるフレームを画面１４ａに表示させるようにして良い。ユーザは、お気に入りのフレーム（フレーム無しを含む）を選択してロボット１に指示する（Ｕ８）。

ロボット１では、ステップＳＴ１４でフレーム選択指示の有無を判別する。この判別処理は、ステップＳＴ１３でフレーム送信処理を開始してから所定の時間が経過したら行うようにして良い。ステップＳＴ１４でフレーム選択指示有りと判断した場合には、ステップＳＴ１５に進む。ステップＳＴ１５では選択されたフレームと撮影画像とを合成して合成画像を作成する。なお、フレームを単に合成するだけでなく、フレームに合わせて人物を切り出して、位置を修正して合成することもできる。この合成画像の作成にあっては、画像処理部３及び制御部１０により行うことができ、これらが合成画像作成手段を構成している。

次にステップＳＴ１６に進む。また、ステップＳＴ１４でフレーム選択指示無しと判断した場合にもステップＳＴ１６に進む。そのステップＳＴ１６では、制御部１０により、ステップＳＴ１５の合成画像またはフレーム無しの撮影画像と、予め設定された撮影料金に基づいた課金データとを送信する。この課金処理を行う課金手段は制御部１０内のプログラムとして設けられている。

ユーザの携帯端末機器１４の画面１４ａには選択画像及びそれに伴う課金が表示される（Ｕ９）。ユーザは、それに対して取消／繰返し／終了の最終的な判断を選択してロボット１に指示する（Ｕ１０）。なお、「取消。」または「繰返し。」または「終了。」という言葉を発して、音声により指示するようにしても良い。

ロボット１では、ステップＳＴ１７で、取消／繰返し／終了のいずれかが指示されたかを判別する。繰返しが選択された判断した場合には、ステップＳＴ１８に進み、そこで選択画像を保存し、ステップＳＴ５に戻って撮影を繰り返す。この場合には課金が確定する。取消が選択されたと判断した場合にはステップＳＴ５に戻り撮影を再開する。この場合には画像の保存は行われず、課金もされない。

そして、終了が選択されたと判断した場合にはステップＳＴ１９に進む。そのステップＳＴ１９では、画像処理部３及び制御部１０により選択画像をユーザが取り扱い可能なファイル形式などに加工し、そのように加工された最終的な画像を管理サーバ２２に送信し、本撮影モードを終了する。この選択画像の決定処理を行う選択画像決定手段は制御部１０内のプログラムとして設けられている。

選択された画像が複数ある場合には、ユーザが携帯端末機器１４から管理サーバ２２にアクセスすることにより、その画面１４ａに連続表示させたり、１画面に多数の画像を表示するサムネール表示させたりすることができる。これにより、ユーザは希望する画像を確認しながら確定して選択可能となる。また、任意の画像を選択してプリントアウトしてもらうことも可能であり、例えばユーザが所定のプリント受け取り所に行って写真を受け取るようにすることができる。

なお、最終的な画像は個人データと共に管理サーバ２２に保存しておいたり、管理サーバ２２からインターネットを介してサーバ２５のデータベース２５ａに移しておいたりすることができる。これにより、ユーザは、例えば自宅のパーソナルコンピュータ２４からインターネットを介して管理サーバ２２またはサーバ２３にアクセスすることにより、自分の最終的な画像をダウンロードしてプリントアウトすることができる。また、選択画像決定により、ロボット１内での撮影画像の保存は必要なくなり、次の撮影指示に対する連続撮影によるメモリ不足になることを心配することなく対処し得る。

本発明にかかる携帯端末機器を用いた移動ロボットの画像送信装置及びその方法は、携帯端末機器を用いて移動ロボットに撮影を指示すると共に所望の画角が得られるまでロボットに指示することができ、携帯端末機器と信号の授受を行う移動ロボットにより撮影を行う分野等に有用である。

本発明が適用された全体システム図である。撮影状態を示す説明図である。携帯端末機器を示す正面図である。携帯端末機器及びロボットの制御要領を示すフロー図である。携帯端末機器及びロボットの制御要領を示すフロー図である。撮影画像の変化を示す図である。フレームを合成した撮影画像を示す図である。

符号の説明

１ロボット
２カメラ（撮像装置）
３画像処理部（撮像装置）
１０制御部（撮影可否判断手段・画像信号送信手段・選択画像決定手段）
１３ＬＡＮ送受信部（画像信号送信手段）
１４携帯端末機器
１５携帯送受信部（画像信号送信手段）
２２管理サーバ（撮影可否判断手段）

Claims

移動可能な移動ロボットが、撮像装置と、撮影指示者が操作する画像表示可能な携帯端末機器からの撮影要求信号を受けた場合に撮影の可否を判断する撮影可否判断手段と、前記撮影を行うと判断した場合に所定の撮影手順に基づいて前記撮像装置により連続して撮影しつつ当該撮影された連続撮影画像を前記携帯端末機器で表示可能な画像信号として順次送信する画像信号送信手段と、前記撮影指示者が前記携帯端末機器で表示される前記連続撮影画像から任意の１つを選択して前記携帯端末機器から送信した画像選択信号を受けた場合に当該選択された撮影画像を選択画像として決定する選択画像決定手段とを有することを特徴とする携帯端末機器を用いた移動ロボットの画像送信装置。
前記所定の撮影手順が、前記携帯端末機器から前記移動ロボットを撮影可能な範囲内で移動させるロボット移動指示を含むことを特徴とする請求項１に記載の携帯端末機器を用いた移動ロボットの画像送信装置。
前記撮影の可否の判断が、予め前記携帯端末機器をサーバに登録すると共に前記撮影要求撮影可否判断手段と当該サーバとの信号授受により前記撮影指示者が前記サーバに登録されているか否かを判断して行うものであることを特徴とする請求項１または請求項２に記載の携帯端末機器を用いた移動ロボットの画像送信装置。
前記選択画像決定手段により前記選択画像を決定した場合に前記携帯端末機器に対して前記撮影に応じた課金信号を送信すると共に課金処理を行う課金手段をさらに有することを特徴とする請求項１乃至請求項３のいずれかに記載の携帯端末機器を用いた移動ロボットの画像送信装置。
前記選択画像に合成可能な背景フレームを前記携帯端末機器に送信する背景フレーム送信手段と、前記携帯端末機器で選択された背景フレームを前記選択画像と合成した画像を作成する合成画像作成手段とを有することを特徴とする請求項１乃至請求項４のいずれかに記載の携帯端末機器を用いた移動ロボットの画像送信装置。
撮像装置を備えかつ移動可能な移動ロボットにより、撮影指示者が操作する画像表示可能な携帯端末機器からの撮影要求信号を受けた場合に撮影の可否を判断し、前記撮影を行うと判断した場合に所定の撮影手順に基づいて前記撮像装置により連続して撮影しつつ当該撮影された連続撮影画像を前記携帯端末機器で表示可能な画像信号として順次送信し、前記撮影指示者が前記携帯端末機器で表示される前記連続撮影画像から任意の１つを選択して前記携帯端末機器から送信した画像選択信号を受けた場合に当該選択された撮影画像を選択画像として決定すること特徴とする携帯端末機器を用いた移動ロボットの画像送信方法。