JP2005065021A - 携帯端末機器を用いた移動ロボットの画像撮影装置及びその方法 - Google Patents

Abstract

【課題】移動ロボットにより撮影する場合に希望する撮影画像を容易に得る。
【解決手段】画像処理・音声処理・センサにより人物を検出して人物に近付く。管理サーバ２２に個人データを登録しておき、ユーザが携帯端末機器１４から撮影要求信号を送信して登録データと照合して撮影の可否を判断し、撮影可の場合には、ロボット１がカメラ２で撮影した画像をサーバ２２などに送信する。撮影時に、ロボットがフレーミング処理のために自ら移動して補正し、さらにユーザに対して立ち位置の修正を指示する。そのようにして補正された撮影画像を得ることができるため、撮影要求者が画面を見ながら細かく調整する手間を省くことができ、移動ロボットによる好適な撮影を容易に行うことができる。また、撮影画像を例えばサーバに送信して保存することにより、撮影要求者は後でサーバにアクセスして撮影画像を取得したりプリントしたりすることを自由に行うことができる。
【選択図】図１

Description

本発明は、携帯端末機器を用いた移動ロボットの画像撮影装置及びその方法に関するものである。

従来、予め定められた地点や人物を観測して画像を観測者などに送信するようにしたカメラ付きロボットがあり、また、携帯端末機器によりロボットを遠隔制御するようにしたものもある。

上記携帯端末機器から移動ロボットを操作するものとして、ロボットコントロールサーバと移動ロボット携帯端末機器とをネットワークに接続し、ユーザが携帯端末機器からロボットコントロールサーバを介して移動ロボットに指示を与えるようにしたものがある（例えば、特許文献１参照。）。

特開２００３−６５３２号公報（第２−３頁、図１）

上記した携帯端末機器から移動ロボットを操作可能にしたものにあっては、上記したようにネットワークに接続されたロボットコントロールサーバを介してロボットを制御するものであり、ロボットに対する動作の制御は、サーバ上でサービス業者が操作用プログラムを用意して行うものである。また、ユーザの端末（自宅のパーソナルコンピュータなど）で各移動ロボットを操作する例も記載されているが、この場合にはステージの上方からカメラで全体を撮影し、これをユーザの端末に表示するように構成されている。したがって、移動ロボット自体のカメラが、上記操作で使用される訳ではない。また、上記ロボットにはカメラが付いており、そのカメラにより撮影可能にされているが、その画像は、ユーザがロボットの作業の結果を確認するためのものである。

それに対して、例えば撮影要求者が所持する携帯端末機器から撮影意思を伝えるだけで、ロボットが自ら撮影し、その画像情報から被写体となる人物が画角の中央から大きくずれていたりする場合にロボットから立ち位置などを指示することにより、人物を中心とした好まれる撮影画像が容易に得られるようになり、移動ロボットによる撮影の利用価値が増大する。しかしながら、上記ロボット装置では、ユーザがロボットの移動位置などを指示するものであり、画像が決まるまで作業が繁雑化する、という欠点がある。

このような課題を解決して、移動ロボットにより撮影する場合に希望する撮影画像を容易に得ることを実現するために本発明に於いては、移動可能な移動ロボット（１）が、撮像装置（２・３）と、人物を検出する人物検出手段（２・３・４・６・７）と、前記人物検出手段（２・３・４・６・７）により検出された人物を撮影するべく当該人物に近付く制御を行う移動制御手段（１０・１２）と、撮影要求者が操作する携帯端末機器（１４）からの撮影要求信号を受けた場合に撮影の可否を判断する撮影可否判断手段（１０・２２）と、前記撮影を行うと判断した場合に前記撮像装置（２・３）により撮影した撮影画像から顔画像を切り出す顔画像切り出し手段（２・３・１０）と、前記撮像装置（２・３）による画角内に前記顔画像が所定の範囲内に位置するように撮影条件を補正しつつ前記撮像装置で撮影を実行する補正撮影実行手段（３・１０・１２）と、前記撮像装置（２・３）で撮影された撮影画像を前記携帯端末機器（１４）で表示可能な画像信号として送信する画像信号送信手段（１３・１５）とを有するものとした。

特に、前記ロボット（１）が発話機能を有する音声発生装置（５・６）を有し、前記補正撮影実行手段による前記撮影条件の補正が、前記撮影対象の人物に対して前記音声発生装置（５・６）から発せられる位置修正指示であると良い。また、前記携帯端末機器（１４）により撮影開始を指示すること前記撮影の可否の判断が、予め前記携帯端末機器（１４）をサーバ（２２）に登録すると共に前記撮影可否判断手段（１０・２２）により前記撮影要求者が前記サーバ（２２）に登録されているか否かを判断して行うものであることや、前記携帯端末機器（１４）に前記撮影画像を表示させると共に前記撮影要求者が当該表示された撮影画像を選択した場合に、前記携帯端末機器（１４）に対して前記撮影に応じた課金信号を送信すると共に課金処理を行う課金手段（１０）をさらに有することや、前記選択画像に合成可能な背景フレームを前記携帯端末機器（１４）に送信する背景フレーム送信手段（１０・１５）と、前記携帯端末機器（１４）で選択された背景フレームを前記選択画像と合成した画像を作成する合成画像作成手段（３・１０）とを有すると良い。

あるいは、撮像装置（２・３）を備えると共に人物を検出しかつ当該人物を撮影するべく当該検出された人物に接近し得る移動可能な移動ロボット（１）により、撮影要求者が操作する携帯端末機器（１４）からの撮影要求信号を受けた場合に撮影の可否を判断し、前記撮影を行うと判断した場合に前記撮像装置（２・３）により撮影した撮影画像から顔画像を切り出し、前記撮像装置（２・３）による画角内に前記顔画像が所定の範囲内に位置するように撮影条件を補正しつつ前記撮像装置（２・３）で撮影を実行し、前記撮像装置（２・３）で撮影された撮影画像を前記携帯端末機器（１４）で表示可能な画像信号として送信すると良い。

このように本発明によれば、人物を検出しかつその人物に近付き、撮影要求信号に対して撮影を行うと移動ロボットが判断した場合には、その撮影のフレーミングにおいて人物を所定の位置にする補正を行うべく、例えばロボットが自ら移動して撮影することから、そのようにして補正された撮影画像を得ることができるため、撮影要求者が画面を見ながら細かく調整する手間を省くことができ、移動ロボットによる好適な撮影を容易に行うことができる。また、撮影画像を例えばサーバに送信して保存することにより、撮影要求者は後でサーバにアクセスして撮影画像を取得したりプリントしたりすることを自由に行うことができる。

特に、ロボットが音声発生装置により撮影対象の人物に対して立ち位置の修正を指示することにより、ロボット側の位置修正のみならず人物側でも位置修正をすることから、より一層細かな修正を行って撮影することができ、例えば人物と背景との好適な関係を実現した撮影を容易に行うことができる。

また、携帯端末機器により撮影開始を指示することにより、撮影要求者は撮影開始を自身のタイミングで指示することができ、無駄な撮影を防止することができる。

また、予め撮影指示者をサーバに登録し、撮影要求した撮影指示者がサーバに登録されているか否かを判断して撮影の可否の判断を行うことにより、登録した者だけが撮影指示可能になり、不特定多数の者がロボットに対して撮影指示命令を出して、ロボットの動作が煩雑化してしまうことを防止し得る。

さらに、選択画像を決定した場合に携帯端末機器に対して撮影に応じた課金信号を送信すると共に課金処理を行う課金手段を設けることにより、ロボットにより撮影したその場で撮影結果及びそれに伴う課金を確認することができ、特に複数枚選択した場合などの課金状態を容易に知ることができ、取り扱い性が良い。

また、選択画像に合成可能な背景フレームを携帯端末機器に送信すると共に、選択された背景フレームを選択画像と合成することにより、撮影画像に変化をもたせることができ、より多様な撮影ニーズに対応し得る。

以下、本発明の実施の形態を、図面を参照しながら説明する。図１は、本発明が適用された全体システム図である。なお、本図示例における移動ロボット１にあっては二足歩行型として以下に示すが、二足歩行型に限るものではなく、例えばクローラー式や車輪式であっても良い。図に示されるように、本移動ロボット１には、撮像装置として左右一対のカメラ２及びそれらに接続された画像処理部３と、左右一対のマイク４及びスピーカ５と接続された音声処理部６と、センサ７に接続された個人認証部８と、それら画像処理部３・音声処理部６・個人認証部８と障害物センサ９とが接続された制御部１０と、制御部１０と接続されたマップデータベース部１１と、頭や腕や脚を駆動制御するべく制御部１０と接続された駆動部１２と、無線ＬＡＮの送受信用のＬＡＮ送受信部１３と、携帯端末機器１４と送受信を行うための携帯用送受信部１５とが設けられている。ＬＡＮ送受信部１３と携帯用送受信部１５とは画像信号送信手段として設けられている。

カメラ２及び画像処理部３、またマイク４及び音声処理部６とにより人物を検出することができる人物検出手段が構成されている。また、人物検出手段としては、センサ７としてＲＦセンサを用い、撮影要求者に対応する発信器などを渡しておくことで構成しても良い。

ロボットに対する人からの呼びかけがあれば音量の変化として捉えることができるため、音声処理部６で、マイク４で集音された音量の変化を検出すると共に音源の方向を認識する。例えば左右のマイク４間の音量変化の時間差や音圧差で音源方向を求めることができる。次に、例えば音素の分割やテンプレートマッチングで特定の言葉を音声として認識する。言葉の例としては「おーい。」や「来い。」などが考えられる。音量変化時の音素が言葉のいずれにも該当しなかったり、テンプレートで用意されている言葉と一致しなかったりした場合には音声ではないとして良い。

カメラ２は例えばＣＣＤカメラであって良く、フレームグラバにより画像をデジタル化して取り込んだものを画像処理部３に出力する。画像処理部３では移動体抽出を行う。例えば、音声認識処理により認識された音源の方向にカメラ２を向け、または音声が認識されない場合には任意の方向に首振り運動をして、図２に示されるような移動体を認識したらその抽出を行う。図２（ａ）ではカメラ２ａでの画角１６内に人が挨拶として手を振っている状態が撮影された場合であり、図２（ｂ）では手招きしている状態が撮影された場合である。これらの場合には手を動かしている人が移動体として認識される。

ここで、移動体抽出処理の一例を示す。例えば動きのあるエッジ点を最も多く含む部分を対象部分としてステレオ視による距離ｄの検出を行う。この場合、例えば、画像のエッジ情報を用いた動的輪郭抽出により移動体の輪郭を抽出し、連続または任意の間隔の２フレーム間の差分から動いているものを抽出することができる。

次に、画角（図２の１６）内での移動体探索領域を設定する。例えば、距離ｄを基準に処理対象距離範囲（ｄ±Δｄ）を設定し、その処理対象距離範囲内に存在する画素を抽出し、図２（ａ）における縦軸方向の画素数を横軸方向の画素ピッチ毎に計測し、その数が最大となる位置の縦軸方向線を移動体探索領域の中央線Ｃａとする。その中央線Ｃａから距離ｄに応じて左右に人の肩幅程度の広さを算出し、その算出値に基づいて移動体探索領域の左右方向の境界を設定する。これにより、図２（ａ）の破線で示されるような移動体探索領域１７が設定される。

次に、特徴の抽出を行う。この特徴抽出では、パターンマッチングなどを用いて特定のマークや注目点を探索することである。例えば、認識容易な特定のマークを記したワッペンをロボットと対話する人に付けてもらっておき、そのマークを探索することにより対象者に向けての速やかな移動を可能にする。または、人物のロボットを見つけた時の手の動きなどの何種類かのパターンを用意しておき、いずれかのパターンに合うものを探すことにより、人物を認識することができる。

また、輪郭の抽出を行う。なお、画像情報から対象物（移動体）を抽出する手法としては、画素の特徴量のクラスタリングに基づいた領域分割法や、検出されたエッジを連結させる輪郭抽出法や、予め定義したエネルギーを最小化するように閉曲線を変形させる動的輪郭モデル（Snakes）などを用いることができる。そして、例えば背景との輝度差から輪郭を抽出し、抽出された移動体の輪郭上もしくは輪郭内に存在する点の位置から移動体の重心位置を計算し、ロボットの正面に対する移動体の方向（角度）を求める。また、輪郭を抽出された移動体における各画素の距離情報から移動体までの距離を計算し直し、実空間上での移動体の位置を求める。なお、画角１６内に複数人いる場合には、領域の設定を複数人分設定することにより、それぞれに対して上記と同様にして特徴を抽出することができる。

次に、顔画像切り出しの一例を示す。この処理は、カメラ２・画像処理部３・制御部１０で構成されて良い顔画像切り出し手段により行うことができる。例えば移動体の上部の小さな部分を顔部分とし、その顔部分から色情報（肌の色）を抽出し、肌色が抽出されたら顔であるとして、その顔の位置を特定することにより、顔の抽出を行う。この場合のカメラ２により撮影された初期画面の一例を図３（ａ）に示す。

例えば図３（ｂ）に示されるように輪郭１８が抽出されたとすると、その輪郭１８の画面上での最上部となる位置データ（頂部）を頭頂部１８ａとして位置設定する。これを、画像切り出し手段としての画像処理部３により行うようにして良い。その頭頂部１８ａを基準点として探索範囲を設定する。探索範囲は、ロボット１からの距離に応じて予め設定されている顔の大きさに相当するサイズを設定しておくと良く、また奥行きに対しても距離に応じた顔の大きさを考慮した範囲とする。

そして、肌色領域の抽出を行う。肌色領域は、ＨＬＳ（色相、明度、彩度）空間上でしきい値操作により抽出することができる。なお、顔位置を上記探索範囲内にある肌色領域の重心位置として求めることができ、それによる距離に応じて顔の大きさとして推定し得る顔の処理領域を図４に示されるように楕円モデル１９として設定する。

上記したようにして設定された楕円モデル１９内で黒丸（瞳）を円形エッジ抽出フィルタで検出することによる眼の抽出を行う。この眼の抽出にあっては、例えば標準的な人物の頭頂部１８ａから眼までの長さに基づいて所定の広さ（距離に応じた画面上のサイズ）の黒丸探索範囲１９ａを設定し、その黒丸探索範囲１９ａ内に対して行うことにより、容易に瞳を検出することができる。そして、顔画像の切り出しを行う。顔部分の拡大縮小は瞳の位置データから両眼の間隔を求め、その間隔に基づいて行うことができる。

なお、移動体が検出されない場合には、マップデータベース部１１に保存されている地図データの参照を行う。それにより、現在地の特定や、予め入力されている進入禁止領域の確認や画像処理領域を決定する。

次に、移動体探索領域内で、パターンマッチングなどを用いて特定のマークや注目点を探索して特徴の抽出を行う。例えば、撮影要求者に、その登録時に認識容易な特定のマークを記したワッペンを付けてもらっておき、そのマークを探索することにより対象者に向けての速やかな移動が可能になる。または、人物のロボットを見つけた時の手の動きなどの何種類かのパターンを用意しておき、いずれかのパターンに合うものを探すことにより、人物を認識することができる。あるいは、センサ７により検出可能な特定の発信器などを所持してもらうようにしても良い。

上記したように構成された自立移動可能なロボット１に対して、信号の授受を行うためのＬＡＮ送受信機２１がロボット１の上記した移動範囲内の適所に設けられ、そのＬＡＮ送受信機２１が管理サーバ２２と接続されている。

また、携帯端末機器１４とロボット１の携帯送受信部１５との信号の授受を可能にする携帯基地局２３が上記と同様にロボット１の移動範囲内の適所に設けられている。その携帯基地局２３には、送受信機２３ａと制御部２３ｂとが互いに接続されて設けられており、各ユーザがパーソナルコンピュータ２４でアクセス可能なインターネットに制御部２３ｂが接続されている。

また、上記管理サーバ２２とは別個にサーバ２５が設けられており、そのサーバ２５にはコンテンツ用データベース部２５ａと制御部２５ｂとが互いに接続されて設けられている。その制御部２５ｂもインターネットと接続されている。

次に、本発明に基づくロボット１による撮影要領について示す。例えば遊園地やイベント会場において、ロボット１によりカメラ２で撮像した撮影画像をデジタル写真として入園者や入場者に提供する場合を示す。なお、カメラ２はロボット１における目に相当するものであり、それとは別に手持ちの外部カメラで撮影するようにしても良い。その場合には、外部カメラのデータ出力端子をロボット１に接続し、その画像データを画像処理部３で処理するようにすれば良い。

また、ロボット１への撮影指示を携帯端末機器１４で行うものであり、ロボット１に撮影を指示して撮影してもらうことを希望する撮影要求者（ユーザ）は貸与される画像表示機能付き携帯端末機器１４または自身が所有する画像表示機能付き携帯電話のＩＤコードなどを管理サーバ２２に予め登録しておく。ユーザはロボット１の移動可能な範囲（予め特定しておく）に行き、そこで図５に示されるように携帯端末機器１４を用いてロボット１に指示を出す。

なお、図６に専用の携帯端末機器１４の例を示す。この携帯端末機器１４には、ロボット１による撮影画像及び文字を表示するための画面１４ａと、複数の操作用キー１４ｂとが設けられている。キー１４ｂのそれぞれには、ロボット１に対して前方や右前方などの移動指示や、画面１４ａに表示された項目に対して選択するものなどが割り当てられている。なお、携帯端末機器１４に一般の携帯電話を用いる場合には、そのテンキーなどに上記各指示ためのキーの割り当てを決めておく。

図７(ａ)・(ｂ)はロボット１に対する撮影指示及びロボット１による撮影要領を示すフロー図である。まず、ロボット１は、上記した音声処理や画像処理、あるいは登録時に受け取った発信器に対応するＲＦセンサ（７）により人物（ユーザ）の検出を行う（ＳＴ１）。ユーザを検出したら、ステップＳＴ２で、図５の矢印Ａに示されるようにユーザに近付く移動制御を行う。この移動制御にあっては、撮影画像の画角内に常に検出された人物が入っているように方向を変えながら移動するようにする。なお、ユーザまでの接近距離の限度を設定しておき、上記距離検出を行いながら接近することにより、ユーザに所定の距離まで近付いたら待機するようにしても良い。

ユーザは、ロボット１が近付いてくることを視認することができ、適当なタイミングで、ユーザの携帯端末機器１４からロボット１ａに対する接続要求（撮影要求信号）を送信する（図のＵ１）。この接続要求信号は、携帯基地局２３を介してロボット１の携帯送受信部１５で受信したり、または携帯基地局２３から管理サーバ２２を経由してＬＡＮ送受信機２１を介してロボット１のＬＡＮ送受信部１３で受信したりすることができる。ロボット１は、その接続要求信号を携帯送受信部１５またはＬＡＮ送受信部１３で受信したら、その携帯端末機器１４に対応する個人データを照会するべく、ＬＡＮ送受信部１３から個人データ要求信号を送信する（ＳＴ３）。その個人データ要求信号をＬＡＮ送受信機２１を介して管理サーバ２２が受信したら、管理サーバ２２は、例えば携帯端末機器１４からの送信信号のヘッダに含まれるＩＤコードに対応する個人データを、サーバに登録されている個人データベースの中から検索し、その結果を返す。管理サーバ２２からの個人データ検索結果は、ＬＡＮ送受信機２１を介して送信され、ロボット１のＬＡＮ送受信部１３により受信されるようになっている。

ロボット１では、上記個人データ検索結果が管理サーバ２２に登録されている個人データであると認識（認証ＯＫ）できるか否かを判別し（ＳＴ２）、認識できた場合には次のステップＳＴ３に進み、不登録個人データであると判断（認識ＮＧ）した場合には本フローを終了し、ステップＳＴＳＴ１に戻る。これら管理サーバ２２とロボット１の制御部１０における認証判断とにより撮影可否判断手段が構成されている。

認証ＯＫの場合には、ロボット１からサービス開始の通知を送信する（ＳＴ５）。この送信信号は、携帯端末機器１４で受信可能な信号として送信され、携帯基地局２３を介して携帯端末機器１４で受信することができる。そのサービス開始の通知が携帯端末機器１４の画面上に表示され（Ｕ２）、ユーザは、ロボット１に対して撮影指示可能な状態になったことを確認し得る。なお、接続要求（Ｕ１）以降は、携帯端末機器１４を携帯基地局２３と常時接続可能にしておくものとする。また、送受信信号には認証された個人データを例えばヘッダに含める。これにより、認証された関係が維持され、他の者からのアクセスによる誤動作を防止し得る。

ユーザは、ロボット１から撮影可能な範囲に自分が位置していると判断したら、携帯端末機器１４の所定のキーを操作して撮影開始の指示を携帯端末機器１４から送信する（Ｕ３）。または、音声による指示も可能である。上記したようにロボット１の音声処理部６では、音声を認識する言語処理を行うと共に予め登録された語彙を参照するなどしており、音声指示の際の語彙を決めておくことにより、その音声指示を容易に判断可能である。

ロボット１における上記ステップＳＴ５の次のステップＳＴ６では撮影開始の指示の有無を判別する。開始指示有りと判断したら次のステップＳＴ７に進み、撮影開始指示無しと判断した場合にはステップＳＴ５に戻り開始指示を待つ。なお、図示していないが、この開始指示待ちに対してタイマを設けて、タイムアップした場合にはステップＳＴ１に戻るようにすると良い。このようなフェイルセーフ処理は以後の処理において適宜設けておいて良いものであり、それぞれにおける説明を省略する。

ステップＳＴ７ではカメラ２の撮影時に調整する各種パラメータが現在値のままで適当であるか否かを判別する。パラメータとしては、良好な撮影を実現するためのものであり、逆光や輝度レベルなどである。それらの判断は、撮像素子としてのＣＣＤ出力から容易に行うことができる。パラメータが不適当であると判別された場合にはステップＳＴ８に進み、そこで不適当であると判断されたパラメータの調整を行い、ステップＳＴ７に戻る。パラメータが適当である判断された場合にはステップＳＴ９に進む。

ステップＳＴ９では上記したようにして顔の抽出を行い、次のステップＳＴ１０ではフレーミング調整を行う。このフレーミング調整にあっては、図５の矢印Ｂに示されるようにロボット１の立ち位置を前後左右に調整して行う。また、頭の向きを変えるようにしても良い。このフレーミング調整は、例えばユーザに長く待たせないように、１回の移動量で人物が画角内のほぼ中央になるようにする粗調整であって良い。

次のステップＳＴ１１では、上記フレーミング調整の結果に対して人物がフレーミングの範囲外であるか否かを判別する。ステップＳＴ１０でのフレーミング調整では未だにフレーミングの範囲外であると判別した場合にはステップＳＴ１２に進み、そこでユーザに対して「もう少し右へ。」などのユーザの立ち位置を変える指示を発話により行う。この発話は、音声処理部６で処理された合成音声でスピーカ５から発せられる。

ユーザは、ロボット１からの発話指示により、指示に合わせて移動する（Ｕ４）。ステップＳＴ１２の次、または上記ステップＳＴ１１でフレーミングの範囲内であると判別した場合にはステップＳＴ１３に進み、上記調整されたパラメータに基づいてカメラ２による撮影を行う。撮影を行ったら、次のステップＳＴ６で撮影画像データを携帯送受信部１５から送信する。

撮影画像データが送信されたら、携帯端末機器１４の画面ではその撮影画像が表示される（Ｕ５）。ユーザは、ロボット１から送信された撮影画像で良いか否かを判断して、撮影の取消または終了をロボット１に対して指示する。この取消／終了指示キーは、予めキー１４ｂのいずれかに決めておいても良いが、画面１４ａに撮影画像の表示と共に選択ボタンとして取消／終了を表示し、例えば矢印キーにより選択して決定キーにより決定するようにしても良い。さらに、「取消。」または「終了。」という言葉を発して、音声により指示するようにしても良い（Ｕ６）。ロボット１では、ステップＳＴ１５で取消／終了を判別し、取消を指示されたと判断した場合にはステップＳＴ９に戻り、新たな撮影を行う。

ステップＳＴ１５で終了を指示されたと判断した場合にはステップＳＴ１６に進み、そこで撮影画像に合成する背景フレームを送信する。この送信にあっては、図示されない記憶装置に予め記録しておいた背景フレームデータを制御部１０の指示により携帯送受信部１５から送信することにより行う。これら制御部１０及び携帯送受信部１５により背景フレーム送信手段が構成されている。図８にフレームＦの一例を示す。フレームは何種類か用意しておき、ユーザからの次のフレーム表示の先送り指示やロボット１から所定切り換え時間のタイミングで種類の異なるフレームを画面１４ａに表示させるようにして良い。ユーザは、お気に入りのフレーム（フレーム無しを含む）を選択してロボット１に指示する（Ｕ７）。

ロボット１では、ステップＳＴ１７でフレーム選択指示の有無を判別する。この判別処理は、ステップＳＴ１６でフレーム送信処理を開始してから所定の時間が経過したら行うようにして良い。ステップＳＴ１７でフレーム選択指示有りと判断した場合には、ステップＳＴ１８に進む。ステップＳＴ１８では選択されたフレームと撮影画像とを合成して合成画像を作成する。なお、フレームを単に合成するだけでなく、上記したように顔抽出することにより人物の大きさを把握できるため、フレームに合わせて人物を切り出して、位置を修正して合成することもできる。この合成画像の作成にあっては、画像処理部３及び制御部１０により行うことができ、これらが合成画像作成手段を構成している。

次にステップＳＴ１９に進む。また、ステップＳＴ１７でフレーム選択指示無しと判断した場合にもステップＳＴ１９に進む。そのステップＳＴ１９では、制御部１０により、ステップＳＴ１８の合成画像またはフレーム無しの撮影画像と、予め設定された撮影料金に基づいた課金データとを送信する。この課金処理を行う課金手段は制御部１０内のプログラムとして設けられている。

ユーザの携帯端末機器１４の画面１４ａには選択画像及びそれに伴う課金が表示される（Ｕ８）。ユーザは、それに対して取消／繰返し／終了の最終的な判断を選択してロボット１に指示する（Ｕ９）。なお、「取消。」または「繰返し。」または「終了。」という言葉を発して、音声により指示するようにしても良い。

ロボット１では、ステップＳＴ２０で、取消／繰返し／終了のいずれかが指示されたかを判別する。繰返しが選択された判断した場合には、ステップＳＴ２１に進み、そこで選択画像を保存し、ステップＳＴ９に戻って撮影を繰り返す。この場合には課金が確定する。取消が選択されたと判断した場合にはステップＳＴ９に戻り撮影を再開する。この場合には画像の保存は行われず、課金もされない。

そして、終了が選択されたと判断した場合にはステップＳＴ２２に進む。そのステップＳＴ２２では、画像処理部３及び制御部１０により選択画像をユーザが取り扱い可能なファイル形式などに加工し、そのように加工された最終的な画像を管理サーバ２２に送信し、本撮影モードを終了する。この選択画像の決定処理を行う選択画像決定手段は制御部１０内のプログラムとして設けられている。

選択された画像が複数ある場合には、ユーザが携帯端末機器１４から管理サーバ２２にアクセスすることにより、その画面１４ａに連続表示させたり、１画面に多数の画像を表示するサムネール表示させたりすることができる。これにより、ユーザは希望する画像を確認しながら確定して選択可能となる。また、任意の画像を選択してプリントアウトしてもらうことも可能であり、例えばユーザが所定のプリント受け取り所に行って写真を受け取るようにすることができる。

また、最終的な画像は個人データと共に管理サーバ２２に保存しておいたり、管理サーバ２２からインターネットを介してサーバ２５のデータベース２５ａに送信して移しておいたりすることができる。これにより、ユーザは、例えば自宅のパーソナルコンピュータ２４からインターネットを介して管理サーバ２２またはサーバ２３にアクセスすることにより、自分の最終的な画像をダウンロードしてプリントアウトすることができる。また、選択画像決定により、ロボット１内での撮影画像の保存は必要なくなり、次の撮影指示に対する連続撮影によるメモリ不足になることを心配することなく対処し得る。

本発明にかかる携帯端末機器を用いた移動ロボットの画像撮影装置及びその方法は、携帯端末機器を用いて移動ロボットに撮影を指示すると共にロボットが自らフレーミング処理を行うことができ、携帯端末機器と信号の授受を行う移動ロボットにより撮影を行う分野等に有用である。

本発明が適用された全体システム図である。 （ａ）は移動体の動作の一例を示す説明図であり、（ｂ）は他の例を示す（ａ）に対応する図である。 （ａ）は人物を検出した状態を示す撮影画面の例を示す図であり、（ｂ）は（ａ）の画像から人物の輪郭を抽出した状態を示す図である。 顔から瞳を検出する例を示す説明図である。 ロボットとユーザとの位置関係を示す図である。 携帯端末機器を示す図である。 携帯端末機器及びロボットの制御要領を示すフロー図である。 携帯端末機器及びロボットの制御要領を示すフロー図である。 フレームを合成した撮影画像を示す図である。

符号の説明

１ ロボット
２ カメラ（撮像装置、人物検出手段）
３ 画像処理部（撮像装置、人物検出手段）
４ マイク（補正撮影実行手段、人物検出手段）
５ スピーカ（音声発生装置）
６ 音声処理部（音声発生装置、人物検出手段）
７ センサ（人物検出手段）
１０ 制御部（移動制御手段、撮影可否判断手段、画像信号送信手段、補正撮影実行手段）
１２ 駆動部（移動制御手段、補正撮影実行手段）
１３ ＬＡＮ送受信部（画像信号送信手段）
１４ 携帯端末機器
１５ 携帯送受信部（画像信号送信手段）
２２ 管理サーバ（撮影可否判断手段）

Claims (7)

1. 移動可能な移動ロボットが、撮像装置と、人物を検出する人物検出手段と、前記人物検出手段により検出された人物を撮影するべく当該人物に近付く制御を行う移動制御手段と、撮影要求者が操作する携帯端末機器からの撮影要求信号を受けた場合に撮影の可否を判断する撮影可否判断手段と、前記撮影を行うと判断した場合に前記撮像装置により撮影した撮影画像から顔画像を切り出す顔画像切り出し手段と、前記撮像装置による画角内に前記顔画像が所定の範囲内に位置するように撮影条件を補正しつつ前記撮像装置で撮影を実行する補正撮影実行手段と、前記撮像装置で撮影された撮影画像を前記携帯端末機器で表示可能な画像信号として送信する画像信号送信手段とを有することを特徴とする携帯端末機器を用いた移動ロボットの画像撮影装置。
2. 前記ロボットが発話機能を有する音声発生装置を有し、
   前記補正撮影実行手段による前記撮影条件の補正が、前記撮影対象の人物に対して前記音声発生装置から発せられる位置修正指示であることを特徴とする請求項１に記載の携帯端末機器を用いた移動ロボットの画像撮影装置。
3. 前記携帯端末機器により撮影開始を指示することを特徴とする請求項１または請求項２に記載の携帯端末機器を用いた移動ロボットの画像撮影装置。
4. 前記撮影の可否の判断が、予め前記携帯端末機器をサーバに登録すると共に前記撮影可否判断手段により前記撮影要求者が前記サーバに登録されているか否かを判断して行うものであることを特徴とする請求項１乃至請求項３のいずれかに記載の携帯端末機器を用いた移動ロボットの画像撮影装置。
5. 前記携帯端末機器に前記撮影画像を表示させると共に前記撮影要求者が当該表示された撮影画像を選択した場合に、前記携帯端末機器に対して前記撮影に応じた課金信号を送信すると共に課金処理を行う課金手段をさらに有することを特徴とする請求項１乃至請求項４のいずれかに記載の携帯端末機器を用いた移動ロボットの画像撮影装置。
6. 前記選択画像に合成可能な背景フレームを前記携帯端末機器に送信する背景フレーム送信手段と、前記携帯端末機器で選択された背景フレームを前記選択画像と合成した画像を作成する合成画像作成手段とを有することを特徴とする請求項１乃至請求項５のいずれかに記載の携帯端末機器を用いた移動ロボットの画像撮影装置。
7. 撮像装置を備えると共に人物を検出しかつ当該人物を撮影するべく当該検出された人物に接近し得る移動可能な移動ロボットにより、撮影要求者が操作する携帯端末機器からの撮影要求信号を受けた場合に撮影の可否を判断し、前記撮影を行うと判断した場合に前記撮像装置により撮影した撮影画像から顔画像を切り出し、前記撮像装置による画角内に前記顔画像が所定の範囲内に位置するように撮影条件を補正しつつ前記撮像装置で撮影を実行し、前記撮像装置で撮影された撮影画像を前記携帯端末機器で表示可能な画像信号として送信すること特徴とする携帯端末機器を用いた移動ロボットの画像撮影方法。

Images