JP2014062932A - 姿勢制御装置、操作装置、姿勢制御システム、制御方法、制御プログラム、記録媒体 - Google Patents

姿勢制御装置、操作装置、姿勢制御システム、制御方法、制御プログラム、記録媒体 Download PDF

Info

Publication number
JP2014062932A
JP2014062932A JP2012206351A JP2012206351A JP2014062932A JP 2014062932 A JP2014062932 A JP 2014062932A JP 2012206351 A JP2012206351 A JP 2012206351A JP 2012206351 A JP2012206351 A JP 2012206351A JP 2014062932 A JP2014062932 A JP 2014062932A
Authority
JP
Japan
Prior art keywords
image
rotation
control device
panoramic image
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012206351A
Other languages
English (en)
Inventor
Masaki Hashiura
正樹 橋浦
Yoshihisa Waki
善久 脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2012206351A priority Critical patent/JP2014062932A/ja
Publication of JP2014062932A publication Critical patent/JP2014062932A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Accessories Of Cameras (AREA)
  • Studio Devices (AREA)

Abstract

【課題】姿勢制御装置が保持する姿勢制御対象物を、簡単かつ直観的な操作で自在に、非接触的に制御する。
【解決手段】操作装置1は、姿勢制御装置2が回転軸周りに回転しながら撮影したパノラマ画像上でユーザによって選択された選択位置に基づいて、姿勢制御対象物の回転指示を生成し、姿勢制御装置2へ送信する。
【選択図】図1

Description

本発明は、姿勢制御対象物の姿勢を非接触的に制御することを可能にする姿勢制御装置、操作装置、姿勢制御システム、制御方法、および、コンピュータに実行させるプログラムとそれを記録した記録媒体に関するものである。
自走式ロボットは、ユーザによる直接操作なしに移動し、無人の環境や時間(期間)においても、指示された作業を遂行することができる。この利便性を生かして、最近では、掃除機機能を備えた自走式ロボットが家庭用電気製品として普及している。
また、従来、カメラの撮影方向を遠隔で制御する技術が開発されている。例えば、特許文献1には、カメラの位置及び姿勢の少なくとも一方を制御する、遠隔制御システムについて開示されている。該遠隔制御システムは、指示装置に固定されたカメラの現在の向きを知らせる画像を、携帯型端末が該カメラとの間のデータ通信により取得し、表示画面に該画像を表示する。表示された該画像内の位置がユーザによって指定されると、該指定された位置に基づく位置情報を含む制御情報が、該携帯型端末から該カメラへ送信される。該制御情報を受信した該カメラが、該カメラを固定している指示装置の動作を制御することで、該カメラの位置や向きを制御する。
特開2010−199734号公報(2010年 9月 9日公開)
しかしながら、特許文献1に記載の遠隔制御システムでは、1回の操作で制御できるカメラの位置や角度には限界があるという問題がある。
具体的には、携帯型端末がカメラとの間のデータ通信により取得する画像に含まれる領域は、該カメラの画角に制限される。すなわち、画像内にユーザが所望する位置が含まれない場合には遠隔制御することができない。従って、上述の遠隔制御システムでは、所望の位置が含まれる画像を得るまで、カメラの姿勢を繰り返し変更する必要があるため、操作が繁雑となってしまう。また、制御情報を繰り返し発信するため、携帯型端末とカメラとの間の通信コストが高くなってしまう。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、姿勢制御対象物の姿勢を、簡単かつ直観的な操作で自在に、非接触的に制御することができる姿勢制御装置、操作装置、姿勢制御システム、制御方法、制御プログラム、記録媒体を実現することにある。
上記の課題を解決するために、本発明に係る姿勢制御装置は、操作装置からの回転指示に基づいて、一つの回転軸周りに姿勢制御対象物を回転させる姿勢制御装置であって、上記操作装置と通信するための通信部とを備えるとともに、上記回転軸周りに回転しながら、自装置の周囲を撮影して、パノラマ画像を生成する撮影手段と、上記撮影手段が生成したパノラマ画像を、上記操作装置へ上記通信部を介して供給するパノラマ画像供給手段と、上記操作装置において選択された、上記パノラマ画像上の選択位置に基づく回転指示を、上記操作装置より上記通信部を介して取得する回転指示取得手段と、上記回転指示取得手段が取得した上記回転指示に基づいて、上記回転軸周りに上記姿勢制御対象物を回転させる回転角を決定する角度決定手段と、備えることを特徴としている。
また、本発明に係る姿勢制御装置の制御方法は、操作装置からの回転指示に基づいて、一つの回転軸周りに姿勢制御対象物を回転させる姿勢制御装置の制御方法であって、上記姿勢制御装置は、上記操作装置と通信するための通信部を備えるとともに、上記回転軸周りに回転しながら、自装置の周囲を撮影して、パノラマ画像を生成する撮影ステップと、上記撮影ステップにて生成したパノラマ画像を、上記操作装置へ上記通信部を介して供給するパノラマ画像供給ステップと、上記操作装置において選択された、上記パノラマ画像上の選択位置に基づく回転指示を、上記操作装置より上記通信部を介して取得する回転指示取得ステップと、上記回転指示取得ステップにて取得した上記回転指示に基づいて、上記回転軸周りに上記姿勢制御対象物を回転させる回転角を決定する角度決定ステップと、を含むことを特徴としている。
上記の構成および方法によれば、姿勢制御装置は、回転を利用して撮影する方向を変更しながら、姿勢制御装置の周囲の物体の撮影を行い、取得した画像を用いて、パノラマ画像を生成する。そして、姿勢制御装置に回転を指示するユーザの操作を受け付ける操作装置に対して、上記パノラマ画像を送信する。
そして、姿勢制御装置は、パノラマ画像を受け取った操作装置より、パノラマ画像上で選択された位置に基づいて、姿勢制御対象物を回転させるために生成された指示(回転指示)を取得する。さらに、姿勢制御装置は、取得した回転指示に基づいて姿勢制御対象物が回転すべき角度を算出する。
ここで、上記回転指示には、回転方向を決定するための情報として、例えば、
・パノラマ画像上の選択位置を示す位置指定情報、
・パノラマ画像の基準位置から上記選択位置までの距離に相当する、回転軸周りの回転における角度を示す角度指定情報、
・パノラマ画像が複数の画像が連結されたものであれば、選択された画像(上記選択位置を含む)を示す画像指定情報、
のいずれかが含まれていてもよい。
したがって、姿勢制御対象物の姿勢を遠隔操作するために、姿勢制御装置が姿勢制御対象物を回転させるべき角度の指定を、操作装置に表示されたパノラマ画像上でユーザが位置を選択することで行うことが可能となる。
よって、ユーザは広角度の画像を見ながら、簡単かつ直観的な操作で回転角度を入力することができる。
さらに、本発明に係る姿勢制御装置は、上記撮影手段は、上記パノラマ画像を1つの帯状の画像の形態に生成することを特徴としている。
上記の構成によれば、さらに、1つの帯状のパノラマ画像は姿勢制御装置の周囲の状況を直観的に示す効果が高い。よって、パノラマ画像の中の所望の位置をユーザが選択する操作において、より直観的な操作による回転指示を行うことが可能となる。
さらに、本発明に係る姿勢制御装置は、上記撮影手段は、上記パノラマ画像を撮影順に配置される複数の画像の形態に生成することを特徴としている。
上記の構成によれば、さらに、複数の画像は姿勢制御装置にて回転しながら撮影したものであるため、姿勢制御装置の回転角と対応している。よって、操作装置において、ユーザが、複数の画像の中から所望の位置を含む画像を選択するだけで、回転指示を生成することができる。
さらに、本発明に係る姿勢制御装置は、上記撮影手段は、上記複数の画像のうち、撮影に失敗した画像が配置されるべき領域に空き領域を割り当てて上記パノラマ画像を生成することを特徴としている。
上記の構成によれば、さらに、パノラマ画像生成に供される複数枚の元画像に、撮影に失敗した画像が含まれる場合でも、撮影に失敗した画像が配置されるべき領域には空き領域を割り当てたパノラマ画像が生成される。これにより、画像は表示されていなくても、空き領域の位置を選択することができるため、撮影に失敗した画像に対応する方向をユーザが指定することが可能となる。
さらに、本発明に係る姿勢制御装置は、上記撮影手段は、上記回転軸周りに回転しながら、自装置の周囲を撮影した複数の元画像を、外部のパノラマ画像生成装置へ送信し、上記パノラマ画像生成装置において上記複数の元画像から生成されたパノラマ画像を取得することを特徴としている。
上記の構成によれば、さらに、姿勢制御装置はパノラマ画像生成に供される複数枚の元画像の撮影のみを行えばよく、負荷の高い画像処理を伴うパノラマ画像の生成を外部のパノラマ生成装置に行わせることができる。よって、姿勢制御装置よりも処理能力の高い外部のパノラマ生成装置が利用できるため、姿勢制御装置ではその他の処理を実行できる。また、姿勢制御装置に高い処理能力が必要とされないため、姿勢制御装置を安価に実現することができる。
さらに、本発明に係る姿勢制御装置は、移動可能であり、上記撮影手段が自装置の周囲を撮影している間は少なくとも、移動を停止することを特徴としている。
上記の構成によれば、さらに、自走式でありながら、パノラマ画像を生成するために使用される画像を取得するときには、姿勢制御装置が移動を停止することで、周囲の撮影を成功させることができる。
また、本発明に係る操作装置は、一つの回転軸周りに姿勢制御対象物を回転させる姿勢制御装置に対して、上記姿勢制御対象物を回転させる回転角度を指示する操作装置であって、上記姿勢制御装置と通信するための通信部を備えるとともに、上記姿勢制御装置にて、上記回転軸周りに回転しながら周囲を撮影して、生成したパノラマ画像を、上記姿勢制御装置から上記通信部を介して取得するパノラマ画像取得手段と、上記パノラマ画像取得手段が取得した上記パノラマ画像を表示部に表示し、ユーザによって選択された、上記パノラマ画像上の選択位置に基づく回転指示を生成する回転指示生成手段と、上記回転指示生成手段が生成した上記回転指示を、上記通信部を介して上記姿勢制御装置へ供給し、上記姿勢制御装置に上記姿勢制御対象物を回転させる回転指示供給手段と、を備えることを特徴としている。
また、本発明に係る操作装置の制御方法は、一つの回転軸周りに姿勢制御対象物を回転させる姿勢制御装置に対して、上記姿勢制御対象物を回転させる回転角度を指示する操作装置の制御方法であって、上記操作装置は、上記姿勢制御装置と通信するための通信部を備えるとともに、上記姿勢制御装置にて、上記回転軸周りに回転しながら周囲を撮影して、生成したパノラマ画像を、上記姿勢制御装置から上記通信部を介して取得するパノラマ画像取得ステップと、上記パノラマ画像取得ステップにて取得した上記パノラマ画像を表示部に表示し、ユーザによって選択された、上記パノラマ画像上の選択位置に基づく回転指示を生成する回転指示生成ステップと、上記回転指示生成ステップにて生成した上記回転指示を、上記通信部を介して上記姿勢制御装置へ供給し、上記姿勢制御装置に上記姿勢制御対象物を回転させる回転指示供給ステップと、を含むことを特徴としている。
上記の構成および方法によれば、操作装置は、姿勢制御装置が回転を利用して撮影する方向を変更しながら、姿勢制御装置の周囲の物体の撮影を行い、取得した画像を用いて、生成したパノラマ画像を取得する。そして、操作装置は、取得したパノラマ画像を表示し、ユーザによりパノラマ画像上で選択された位置に基づいて、姿勢制御対象物を回転させるための指示(回転指示)を生成する。さらに、操作装置は、生成した回転指示を姿勢制御装置に送信し、姿勢制御対象物を回転させる。
ここで、上記回転指示には、回転方向を決定するための情報として、例えば、
・パノラマ画像上の選択位置を示す位置指定情報、
・パノラマ画像の基準位置から上記選択位置までの距離に相当する、回転軸周りの回転における角度を示す角度指定情報、
・パノラマ画像が複数の画像が連結されたものであれば、選択された画像(上記選択位置を含む)を示す画像指定情報、
のいずれかが含まれていてもよい。
したがって、姿勢制御対象物の姿勢を遠隔操作するために、姿勢制御装置が姿勢制御対象物を回転させるべき角度の指定を、操作装置に表示されたパノラマ画像上でユーザが位置を選択することで行うことが可能となる。
よって、ユーザが広角度の画像を見ながら、簡単かつ直観的な操作で回転角度を入力することができる。
また、本発明に係る姿勢制御システムは、上記の姿勢制御装置と、上記の操作装置と、を備えて構成されていてもよい。
なお、上記姿勢制御システムを構成する姿勢制御装置および操作装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記の姿勢制御装置および操作装置の各手段として動作させることにより、上記の姿勢制御装置および操作装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
以上のように、本発明に係る姿勢制御装置は、操作装置と通信するための通信部とを備えるとともに、回転軸周りに回転しながら、自装置の周囲を撮影して、パノラマ画像を生成する撮影手段と、上記撮影手段が生成したパノラマ画像を、上記操作装置へ上記通信部を介して供給するパノラマ画像供給手段と、上記操作装置において選択された、上記パノラマ画像上の選択位置に基づく回転指示を、上記操作装置より上記通信部を介して取得する回転指示取得手段と、上記回転指示取得手段が取得した上記回転指示に基づいて、上記回転軸周りに上記姿勢制御対象物を回転させる回転角を決定する角度決定手段と、を備える構成である。
また、本発明に係る姿勢制御装置の制御方法は、姿勢制御装置は、操作装置と通信するための通信部を備えるとともに、回転軸周りに回転しながら、自装置の周囲を撮影して、パノラマ画像を生成する撮影ステップと、上記撮影ステップにて生成したパノラマ画像を、上記操作装置へ上記通信部を介して供給するパノラマ画像供給ステップと、上記操作装置において選択された、上記パノラマ画像上の選択位置に基づく回転指示を、上記操作装置より上記通信部を介して取得する回転指示取得ステップと、上記回転指示取得ステップにて取得した上記回転指示に基づいて、上記回転軸周りに上記姿勢制御対象物を回転させる回転角を決定する角度決定ステップと、を含む方法である。
また、本発明に係る操作装置は、姿勢制御装置と通信するための通信部を備えるとともに、上記姿勢制御装置にて、回転軸周りに回転しながら周囲を撮影して、生成したパノラマ画像を、上記姿勢制御装置から上記通信部を介して取得するパノラマ画像取得手段と、上記パノラマ画像取得手段が取得した上記パノラマ画像を表示部に表示し、ユーザによって選択された、上記パノラマ画像上の選択位置に基づく回転指示を生成する回転指示生成手段と、上記回転指示生成手段が生成した上記回転指示を、上記通信部を介して上記姿勢制御装置へ供給し、上記姿勢制御装置に上記姿勢制御対象物を回転させる回転指示供給手段と、を備える方法である。
また、本発明に係る操作装置の制御方法は、操作装置は、姿勢制御装置と通信するための通信部を備えるとともに、上記姿勢制御装置にて、回転軸周りに回転しながら周囲を撮影して、生成したパノラマ画像を、上記姿勢制御装置から上記通信部を介して取得するパノラマ画像取得ステップと、上記パノラマ画像取得ステップにて取得した上記パノラマ画像を表示部に表示し、ユーザによって選択された、上記パノラマ画像上の選択位置に基づく回転指示を生成する回転指示生成ステップと、上記回転指示生成ステップにて生成した上記回転指示を、上記通信部を介して上記姿勢制御装置へ供給し、上記姿勢制御装置に上記姿勢制御対象物を回転させる回転指示供給ステップと、を含む方法である。
それゆえ、姿勢制御対象物の姿勢を遠隔操作するために、姿勢制御装置が姿勢制御対象物を回転させるべき角度の指定を、操作装置に表示されたパノラマ画像上でユーザが位置を選択することで行うことが可能となる。よって、ユーザが広角度の画像を見ながら、簡単かつ直観的な操作で回転角度を入力することができるという効果を奏する。
本発明の実施形態に係る姿勢制御システムを構成する操作装置および姿勢制御装置の概略構成を示すブロック図である。 (a)は上記姿勢制御システムの一実施例の概略を示す説明図であり、(b)は上記姿勢制御システムの別の実施例の概略を示す説明図である。 上記操作装置の表示画面の一例である。 上記姿勢制御システムの一実施例における姿勢制御の動作の流れの概略を説明するためのフローチャートである。 上記姿勢制御システムを構成する姿勢制御装置が行うパノラマ撮影の概略を、例示して説明するためのイメージ図である。 上記姿勢制御システムを構成する姿勢制御装置が一定の角度ずつ回転し撮影した画像の説明図である。 複数回の撮影により取得した複数の画像を繋ぎ合わせてパノラマ画像を生成する方法を例示して説明するための概略図である。 パノラマ画像を生成するときに、隣り合う画像と重複する画像領域をトリミングする方法を例示して説明するための概略図である。 パノラマ画像の生成において、互いに繋ぎ合わされる画像における、繋ぎ合わせ方の一例を示して説明するための概略図である。 パノラマ画像を生成するときに、ある画像が欠けた場合に他の複数の画像を繋ぎ合わせる方法の一例を示す概略図である。 上記姿勢制御システムにおける、指定画像と回転角度指示との対応関係の一例を示す説明図である。
(姿勢制御システムの構成)
本実施の形態に係る姿勢制御システム3は、操作装置1を操作して、姿勢制御装置2の姿勢を非接触的に制御(遠隔制御)するシステムである。
本実施の形態では、本発明の姿勢制御システム3を、操作装置1がタッチパネル式の携帯通信端末であるスマートフォンであり、姿勢制御装置2が自走式家電ロボットである場合に適用した例について説明する。
姿勢制御システム3は、後述するように、操作装置1が姿勢制御装置2との通信手段でパノラマ画像を取得し、操作装置1の表示画面上に該パノラマ画像を表示した状態で、該画像に基づいてユーザが操作入力することによって、姿勢制御装置2の姿勢変更の指示を行う。従って、操作装置1としては、タッチパネル式の操作入力デバイスを備えるスマートフォンであることがより望ましいが、操作入力可能であれば、タッチパネル式の操作入力デバイスは本発明において必須の構成ではない。
姿勢制御装置2は、撮影部(カメラ)23の他に、指向性アンテナ、赤外線発光部等の姿勢制御対象物を保持することができ、姿勢制御システム3は、姿勢制御装置2を回転させることにより、姿勢制御対象物の方向を制御することができる。あるいは、操作装置1からの姿勢変更の指示を受信した姿勢制御装置2は、姿勢制御対象物のみを回転させることにより、姿勢制御対象物の方向を制御できるようにしてもよい。
図1は、姿勢制御システム3を構成する操作装置1、および姿勢制御装置2の要部構成の概略を説明するための機能ブロック図である。
図1では、姿勢制御の機能に関連する構成のみを示しているが、これは単に説明を簡略化するためであり、姿勢制御システム3の操作装置1および姿勢制御装置2はいずれも図1に示されていない任意の機能を備えることが可能である。
(姿勢制御装置の構成)
姿勢制御装置2は、通信部21、撮影部制御部22、撮影部23、回転制御部24、回転モータ(回転部)25、記憶部26、パノラマ画像生成部27、回転指示取得部28、および角度演算部29を少なくとも備えている。さらに、記憶部26は、画像記憶部261、および角度テーブル262を少なくとも備えている。
なお、姿勢制御装置2が、位置・回転角検出部30、および位置・回転角保持部263をさらに備えるように構成してもよい。この詳細については、後述する。
姿勢制御装置2は、通信部21を介して、操作装置1から、パノラマ画像要求・撮影指示、および姿勢制御指示(回転指示)を受信する。また、姿勢制御装置2は、通信部21を介して、生成したパノラマ画像を操作装置1へ送信する。
通信部21が、操作装置1より送信されたパノラマ画像要求・撮影指示を受信すると、撮影部制御部22は該指示を取得し、撮影部23に対する撮影指示、および回転制御部24に対する回転指示を行う。
撮影部23は、デジタルカメラやデジタルビデオカメラであり、撮影指示に従い撮影を行い、取得した画像を撮影部制御部22に出力する。撮影部制御部22は該画像を記憶部26の画像記憶部261に保存する。
一方、上記回転指示を受けた回転制御部24は、写真撮影と協調した回転を実行するように、回転モータ(回転部)25の動作を制御する。
回転モータ(回転部)25は、一つの回転軸周りに回転可能な姿勢制御装置2を回転軸周りに回転させる。この回転軸の方向は限定されない。すなわち、回転モータ(回転部)25の回転は、例えば、コマのように回転軸が重力に平行な方向の回転でもよいし、観覧車のように回転軸が重力に直交する方向の回転でもよい。なお、以下では、床面に対して垂直な回転軸(重力に平行)を中心とした回転の場合を例として説明する。
また、上記パノラマ画像の要求・撮影指示に対して、姿勢制御装置2が回転する角度は360°であることがより望ましいがこれに制限されず、360°以下の任意の回転角度でよい。
上述のように、パノラマ画像要求・撮影指示を受信した姿勢制御装置2は、上記のように、写真撮影と回転とが協調的に制御されて撮影を行う。なお、写真撮影と回転とを交互に行い、繋ぎ合わせることで全周のパノラマ画像を生成できる複数枚の画像を取得するようにしてもよいし、あるいは、1つの帯状の画像の形態に生成されたパノラマ画像を取得するようにしてもよい。
以下では、回転モータ(回転部)25により回転軸周りに回転しながら、自装置の周囲を撮影して取得した複数の画像を繋ぎ合わせて、パノラマ画像を生成する場合を例として取り上げて説明を行う。
撮影部23によって撮影された上記複数の画像は、上記画像記憶部261に保存される。
パノラマ画像生成部27は、上記複数の画像を上記画像記憶部261から読み出して、繋ぎ合わせ、1つながりのパノラマ画像を生成する。このパノラマ画像の生成方法については、後述する。
パノラマ画像生成部27で生成されたパノラマ画像は、通信部21を介して操作装置1へ送信される(パノラマ画像供給手段)。
操作装置1から姿勢制御装置2へ送信された回転指示を、通信部21が受信し、回転指示取得部28が取得する。回転指示取得部28は取得した該回転指示に含まれる回転角に関する情報を角度演算部29に送る。
この回転角に関する情報は、前述のように、操作装置1において、上記パノラマ画像上で選択された位置情報を基に生成された回転指示であるため、該回転指示においては、上記パノラマ画像の生成のための最初の撮影を行った姿勢(あるいは最後の撮影を終えて回転を終了した姿勢)を基準姿勢として、該基準姿勢からどちらの方向にどれだけ回転すればよいのか、を指示する情報である。
角度テーブル262には、図11に示すような指定画像と、指定画像の幅方向の中央(図中では左右中央と記載)における正面からの回転角度(すなわち、1枚目の画像を撮影した方向から、該指定画像を撮影した方向までの回転角度)との対応関係が格納されている。
姿勢制御装置2の角度演算部29は、回転指示取得部28で取得した回転指示に基づいて、角度テーブル262を参照して回転角度を算出するように指示する。
ここで、姿勢制御装置2が上記基準姿勢の角度を保持しているときに上記回転指示を取得する場合には、前述のように、基準姿勢からの回転角として指示された角度へ回転すればよい。しかし、姿勢制御装置2が、パノラマ画像を撮像後にさらに回転したあとで上記回転指示を取得する場合には、回転指示が上記基準姿勢ではなく、予め規定された姿勢(後述する標準姿勢など)を基準として、回転すべき角度を指示することが望ましい。なお、該標準姿勢を基準とした角度を回転指示に適用する実施例については、後に説明する。
(操作装置の概略構成)
姿勢制御システム3の操作装置1は、タッチパネル11、通信部12、画像記憶部13、操作画面制御部14、選択位置解析部15、および回転指示生成部16を少なくとも備えている。
タッチパネル11は、操作装置1の表示画面を構成し、ユーザに対して情報を表示する表示部111と、ユーザによるタッチ操作による入力を受け付ける操作入力部112とを備えている。
表示部111は、画像を表示する機能を備えているものであればよく、例えばLCD(Liquid Crystal Display)表示装置、EL(Electro Luminescence)表示装置等で構成することもできる。
また、操作入力部112は、ユーザがタッチした位置を検出する方法について特に制限はなく、タッチ時の指の圧力を検出してもよいし、表示画面に接した指先を撮像した画像を解析することによりタッチ位置を検出してもよい。また、直接の接触を契機とする電気的検出法(抵抗膜方式)でもよいし、必ずしも直接の接触を必要としない電気的検出法(静電容量方式)であってもよい。なお、操作装置1は、入力部と表示部とを別々に備えていてもよい。この場合、操作入力部112は、例えば、キーボード(ハードキー)等によって入力操作を受け付けるものであってもよい。
操作装置1は、通信部12を介して、姿勢制御装置2に対して、パノラマ画像要求・撮影指示、および姿勢制御指示(回転指示)を送信する。また、操作装置1は、通信部12を介して、該姿勢制御装置2によって生成されたパノラマ画像を受信する(パノラマ画像取得手段)。
姿勢制御装置2によって生成されたパノラマ画像は、画像記憶部13に記憶される。
操作画面制御部14は、ユーザが姿勢制御装置2の角度を指定するための操作画面(図3)を表示し、ユーザの操作入力を取得する。具体的には、操作画面制御部14は、画像記憶部13に記憶されたパノラマ画像を読み出してタッチパネル11の表示部111に表示する。そして、操作入力部112により、ユーザが所望する姿勢制御装置2の位置(向き)に該当する該パノラマ画像中の位置の選択操作を受け付ける。
選択位置解析部15は、操作画面制御部14が取得した選択位置に関する情報に基づいて、画像記憶部13に記憶されているパノラマ画像を参照しながら、該選択位置に対応する位置あるいは角度に関する情報を決定する。
回転指示生成部16は、選択位置に対応する位置あるいは角度に関する情報を選択位置解析部15から取得し、姿勢制御装置2へ送信する回転指示を生成する。
生成された該回転指示は、通信部12を介して姿勢制御装置2へ送信され、一つの回転軸周りに回転可能な姿勢制御装置2を回転させる(回転指示供給手段)。あるいは、該回転指示を受信した姿勢制御装置2が保持する姿勢制御対象物のみを回転させることにより、その方向を制御できるようにしてもよい。ただし、この場合には、姿勢制御装置2の回転軸と、姿勢制御対象物の回転軸とは一致していることが望ましい。これにより、回転モータ(回転部)25の回転によって撮影されたパノラマ画像上における選択位置に基づいて、姿勢制御対象物を回転させることによって、姿勢制御対象物の方向を制御することができる。
(姿勢制御システムの概要)
姿勢制御システム3における、操作装置1と姿勢制御装置2との間で送受信される情報、及びそれぞれの動作の概略と、その変形例について、図2を用いて簡単に説明する。
図2(a)は、操作装置1と姿勢制御装置2とが直接、データを通信しあう実施例を示している。この実施例については、図4を用いて後に詳述する。
操作装置1からパノラマ画像要求・撮影指示(1)を受信した姿勢制御装置2は、写真撮影と回転(2)を複数回実行し、パノラマ画像の生成に必要な複数の画像を取得する。
姿勢制御装置2は、撮影によって取得した複数の画像を繋ぎ合わせてパノラマ画像を生成する(3)。
生成されたパノラマ画像は姿勢制御装置2から、操作装置1へ送信される(4)。
操作装置1は、受信した該パノラマ画像を表示し、パノラマ画像の中からユーザによる選択位置の入力を受け付ける(5)。
入力された選択位置に基づいて、回転指示が生成され(6)、該回転指示が姿勢制御装置2に送信される(7)。
姿勢制御装置2は、受信した該回転指示に基づいて回転し、姿勢を変更する(8)。
また、本発明に係る姿勢制御システム3は、図2(b)に示すように構成することもできる。すなわち、図2(a)に示した姿勢制御システム3では、操作装置1が行っていた回転指示生成、および姿勢制御装置2が行っていたパノラマ画像の生成を、姿勢制御装置2と操作装置1との間に設置されたサーバ4(パノラマ画像生成装置)が行うようにしてもよい。
この場合、上記操作装置1の選択位置解析部15、および回転指示生成部16と、上記姿勢制御装置2の画像記憶部261、角度テーブル262、パノラマ画像生成部27、および角度演算部29の各機能を、サーバ4に具備させることになる。
操作装置1からのパノラマ画像要求(1a)を受信したサーバ4は、姿勢制御装置2に対して、撮影指示を送信する(1b)。
撮影指示を受信した姿勢制御装置2は、写真撮影と回転(2a)を複数回実行し、パノラマ画像の生成に必要な複数の画像を取得する。
姿勢制御装置2は、撮影によって取得した複数の画像をサーバ4に送信する(2b)。
サーバ4は、受信した複数枚の画像を繋ぎ合わせてパノラマ画像を生成する(3)。
生成されたパノラマ画像はサーバ4から、操作装置1へ送信される(4)。
操作装置1は、受信した該パノラマ画像を表示し、パノラマ画像の中からユーザによる選択位置の入力を受け付ける(5a)。
入力された選択位置の情報はサーバ4に送信され(5b)、サーバ4は、該選択位置の情報に基づいて回転指示を生成する(6)。
サーバ4は、該回転指示を姿勢制御装置2に送信する(7)。
姿勢制御装置2は、受信した該回転指示に準拠して回転し、姿勢を変更する(8)。
(操作装置の表示画面例)
図3は、姿勢制御装置2の回転モータ(回転部)25により、姿勢制御装置2が1つの回転軸を中心に回転しながら撮影して取得した画像から生成されたパノラマ画像を、操作装置1が受信して表示したタッチパネル11の表示例を示している。
図3に示された例では、表示画面の下方において、帯状のパノラマ画像表示画面44があり、左端から右端に向けて姿勢制御装置2が右に回転しながら撮影することで取得し、生成したパノラマ画像が表示される。
ユーザがこのパノラマ画像表示画面の中のある位置を選択してタッチ操作を行うと、タッチパネル11は該操作入力を受け付け、操作画面制御部14が該選択された位置のパノラマ画像の領域45の拡大画像を生成して、タッチパネル11の拡大表示画面46に該拡大画像を表示する。
ユーザは、拡大表示画面46に表示されたパノラマ画像の一部に対してタッチ操作することも可能で、位置を選択する作業の微調整が可能である。
所望の位置に対応する画像が拡大表示画面46に表示されるようにタッチパネル11の操作が行われたとき、回転指示決定ボタン47をユーザがタッチ操作をすることを契機にして、操作画面制御部14は、選択位置解析部15に対して、選択された位置の情報を出力する。
(姿勢制御システムの流れ)
図4は、姿勢制御システム3において、操作装置1のユーザによる遠隔指示によって姿勢を制御される姿勢制御装置2と、操作装置1との間の通信、及びそれぞれの動作を示したフローチャートである。
操作装置1のユーザが、姿勢制御装置2の姿勢を制御したい場合、操作装置1を操作して、姿勢制御システム3のアプリケーションソフトウェア(アプリ)を起動(ステップS1、以後単にS1と表す)する。そして、姿勢制御装置2に対して、パノラマ画像要求・撮影指示を送信する(S2)。
上記パノラマ画像要求・撮影指示を受信した姿勢制御装置2は、移動、回転などの動作を停止し、撮影部23を起動する(S3)。
なお、パノラマ画像要求・撮影指示を受信した姿勢制御装置2が、最初の撮影を行う前に自動で所定の方向を向くようにしてもよい。充電器70から離脱して移動する間の移動履歴(方向と距離)を記憶し、再度自動的に充電器70とドッキングすることが可能である場合には、撮影を開始するときの基準となる方向を、充電器70にドッキングしたときの方向として設定してもよいし、地磁気に基づいた任意の方角として設定してもよい。
あるいは、上記パノラマ画像要求・撮影指示を受信したときに、移動、回転などの動作を停止するのではなく、例えば、周囲の見通しがよく、パノラマ画像に供する画像の取得に好適な場所を予め記憶しており、該場所へ自動で移動してから、撮影を開始するようにしてもよいし、その位置を記憶させるなどにより、自動的に該場所に移動するように設定してもよい。
上記パノラマ画像要求・撮影指示を受信した姿勢制御装置2は、最初の撮影を行った後に、続けて所定の角度だけ回転し、次の撮影を行う。この回転と撮影とを繰り返すことで、パノラマ撮影を行う(S4)。
ここでは水平方向の回転による場合を例示しているが、姿勢制御装置2の姿勢制御は、水平方向に限定されず、姿勢制御装置2が回転しうる如何なる方向に対しても適用することができる。
姿勢制御装置2は、パノラマ撮影によって取得された複数の画像を画像記憶部261に保存する(S5)。パノラマ画像生成部27は、画像記憶部261に保存された上記複数の画像を撮影された順番に従い、繋ぎ合せてパノラマ画像を生成する(S6;撮影ステップ)。このパノラマ画像を生成する方法の詳細については後述する。
姿勢制御装置2は、生成したパノラマ画像を、操作装置1へ送信する(パノラマ画像供給ステップ)(S7)。
操作装置1は、姿勢制御装置2で生成されたパノラマ画像を受信する(パノラマ画像取得ステップ)(S8)。受信したパノラマ画像は画像記憶部13に保存されると共に、操作装置1の表示部111において表示される(S9)。
操作装置1において、ユーザがパノラマ画像に所望の方向が撮影されている画像の位置をタッチパネル11において選択すると(S10)、操作画面制御部14は該選択された位置の情報を選択位置解析部15に送る。
選択位置解析部15は画像記憶部13に保存されているパノラマ画像を参照して、取得した選択位置を解析し、該解析結果に基づいて回転指示生成部16は、回転指示を生成する(回転指示生成ステップ)(S11)。
回転指示は、例えば、
・パノラマ画像上の選択位置を示す位置指定情報、
・パノラマ画像の基準位置から上記選択位置までの距離に相当する、回転軸周りの回転における角度を示す角度指定情報、
・パノラマ画像が複数の画像が連結されたものであれば、選択された画像(上記選択位置を含む)を示す画像指定情報、
のいずれかを含む。
生成された該回転指示は通信部12を介して姿勢制御装置2へ送信される(回転指示供給ステップ)(S12)。
姿勢制御装置2は、該回転指示を受信し(回転指示取得ステップ)(S13)、該回転指示に基づいて、回転すべき角度(回転角度)を算出する(角度決定ステップ)(S14)。この回転角度の算出方法については、後述する。
上記で算出された回転角度に基づいて回転モータ(回転部)25が回転し(S15)、姿勢制御が完了する。あるいは、該回転指示を受信した姿勢制御装置2が保持する姿勢制御対象物のみを回転させることにより、その方向を制御できるようにしてもよい。ただし、この場合には、姿勢制御装置2の回転軸と、姿勢制御対象物の回転軸とは一致していることが望ましい。これにより、回転モータ(回転部)25の回転によって撮影されたパノラマ画像上における選択位置に基づいて、姿勢制御対象物を回転させることによって、その方向を制御することができる。
なお、図2(b)で示したように、操作装置1と姿勢制御装置2との通信を仲介するサーバ4に、図2(a)に示した姿勢制御装置2の機能の一部を具備させてもよい。例えば、図2(b)では、姿勢制御装置2が撮影した複数の画像をサーバ4が取得し、これらを繋ぎ合わせてパノラマ画像を生成する。また、サーバ4が、ユーザが選択した位置に基づいて回転指示を生成する機能を備えている。このような構成にすることで、操作装置1および姿勢制御装置2の構成を簡単なものにすることができ、操作装置1および姿勢制御装置2の製造におけるコストアップを防ぐことができる。
(パノラマ画像生成)
姿勢制御装置2が撮影した複数の画像からパノラマ画像を生成する方法について、図5−10を参照しながら説明する。
ここでは、さまざまな設定を導入して説明を行うが、これらは単に本発明の姿勢制御システムに用いられるパノラマ画像の生成方法を簡略に説明するための設定に過ぎず、本発明は、これらの設定に限定されることはない。
図5はある空間100内に、姿勢制御装置2が1台存在する場合を上方から見下ろした様子を例示した模式図であり、姿勢制御装置2は1つの撮影部23を有しており、現在(P1)の方向を向いた姿勢である。
図5の(P1)の方向にはテレビ50があると仮定し、方向(P1)から方向(P8)の各方向の画像を区別して説明するために、ここでは便宜的にそれぞれ別の機器あるいはシンボルを配している。
この姿勢制御装置2は、例えば、撮影部23の画角が55°である。なお、この仮定は以後の説明のために選択されたにすぎず、姿勢制御装置2の撮影装置の画角を特に限定するものではない。
姿勢制御装置2は図4のフローチャートで例示して説明したように、操作装置1からのパノラマ画像要求・撮影指示(S2)を受信すると、水平方向1周を8等分するように1つの回転軸を中心とする回転(45°)により、それぞれの向きにおいて撮影を実行するものとする。その結果、8回の撮影と回転とをそれぞれ繰り返して8枚の画像を取得する。
図6には、それぞれ、画像P1にはテレビ50、画像P2には丸、画像P3には三角、画像P4には六角形、画像P5にはエアコン60と充電器70、画像P6には十字、画像P7には五角形、画像P8には空気清浄器80、という目印が各画像に映り込んでいる様子を示している。
姿勢制御装置2が備える撮影部23の画角が1回の撮影ごとに回転する角度よりも広い場合、各画像の回転方向の両端(左右両端)には重複する領域が存在することになる。従って、パノラマ画像を生成する際には、この重複部分をトリミングしてから繋ぎ合わせることが望ましい。
一般に、画角α°のカメラを用いて、一周(360°)を均等にn枚の画像(幅wピクセル)に分けて撮影した場合、左右それぞれの重なり部分に相当する角度X°は以下の数式(1)で求められる。
X=(α−360/n)/2 (1)
従って、トリミング量xは、x=w×X/αにより求められる。
図7の8枚の画像は姿勢制御装置2の画角55°の撮影部23を用いて撮影されているため、45°回転して撮影された各画像の左右両端にはそれぞれ、隣り合う画像と画角5°に相当する分の重複した画像領域がある。正しいパノラマ画像を生成するためには、図7に示すように、画像P1から画像P8のすべての左右両端に、上記の重複した画像領域があり、この部分をトリミングすることが必要となる。
図7に示すように、姿勢制御装置2のパノラマ画像生成部27は、各画像の左右両端の重複した画像領域を上記のように算出した分だけトリミング(図中破線)した後に、これらの画像を繋ぎ合わせて、重複のないパノラマ画像を生成することができる。
図7の中では、画像P1-P8に対して、左右のトリミングを行って得られる画像を、画像P1t‐P8tと呼び、これらを繋ぎ合わせて生成されるパノラマ画像を示している。
図8において、画像P3を例にしてトリミングの方法の1例を示す。画角55°に対応する左右の幅が、例えば640画素(ピクセル)とした場合、隣り合う画像と左右それぞれ約58.2ピクセルだけ重複した画像領域があることになる。この重複についてトリミングを行った後のつなぎ合わせることで、パノラマ画像を生成することができる。
また、姿勢制御装置2が備える撮影部23が床面に近い(低い位置にカメラが設置されている)場合には、例えば、図9に示すように、撮影した複数の画像には床と壁との境界90が共通して含まれることになる。
これらの画像を単に繋ぎ合わせると、床と壁との境界90に著しい段差が生じ、これによりパノラマ画像の連続性が大きく損なわれてしまう。そこで、床と壁との境界90を基準として用い、この境界90の位置を揃えるように画像を繋ぎ合わせることで、図9に示すように、生成するパノラマ画像における連続性を確保することができる。
姿勢制御装置2が回転して連続的に撮影した複数の画像の中に、日が差した窓などがあると極端な逆光による露光オーバーで白く抜けた画像になることがある。あるいは、撮影部(カメラ)23のごく近傍に障害物などが存在することで一面に暗くぼやけた画像になることもある。このような画像は、上記のパノラマ画像の生成に使用できない画像(撮影に失敗した画像)として扱ってもよい。そして、このような画像は、例えば、平均露光レベルを隣り合う画像と比較して、その差が所定の値よりも大きいか否かなどの判定により検出することができる。
上記のようなパノラマ画像生成に使用できない画像が含まれる場合、該画像が配置されるべき領域に、該画像の画角に対応する空き領域を割り当ててパノラマ画像を生成する。これにより、該画像を含んだパノラマ画像に対する位置選択を取得して回転指示を生成することができる。なお、可能な限り広い角度領域のパノラマ画像を生成するために、パノラマ画像生成に使用できない画像と隣り合う画像の、該パノラマ画像生成に使用できない画像の側におけるトリミングを行わないでパノラマ画像生成を行ってもよい。
すなわち、ある画像の両隣の画像がともにパノラマ画像の生成に使用できない場合、その画像の両端のトリミングは行わずにパノラマ画像の生成を行う。また、ある画像のいずれか一方の画像がパノラマ画像生成に使用できない場合には、その画像のトリミングは、使用できない画像の側では行なわずにパノラマ画像の生成を行う。
このことを、図10を用いて以下に説明する。
例えば、画像P5がパノラマ画像に使用できない画像(撮影に失敗した画像)であった場合、画像P5が配置されるべき領域には空き領域が割り当てられている。このとき、画像P4と画像P6の、それぞれ画像P5の側の端部を通常通りにトリミングを行い、画像P4tと画像P6tとを生成してから繋ぎ合わせると、図10においてAの幅で示す幅がパノラマ画像の欠落になってしまう。しかし、画像P4と画像P6の、それぞれ画像P5の側の端部がトリミングされていない、画像P4sと画像P6sを用いてパノラマ画像を生成すれば、図10のようにAの幅よりも狭いBの幅の欠落に抑えることが可能である。
姿勢制御システム3では、生成されるパノラマ画像ができるだけ欠落した領域が狭くなるような生成法を適用することが望ましい。
(パノラマ画像に基づく回転指示)
図6の各画像の幅方向の中央における、正面からの回転角度は画像P1から画像P8まで順に45°ずつ右方向に回転しているので、一つながりになった帯状のパノラマ画像と、姿勢制御装置2の撮影の向きとの対応関係は図7に示すとおりである。これにより、このパノラマ画像の任意の場所が選択されれば、正面(この例の場合、画像P1の幅方向の中心)から右にどれだけ回転すればよいか、が指示できる。
例えば、操作装置1のユーザによって、画像P5の左右中心付近にあるエアコン60が写っている位置が選択されたときを考える。操作装置1は、この選択位置に対応する回転指示を生成して(図4のS11)、姿勢制御装置2に発信する(図4のS12)。
回転指示は、例えば、次のいずれかを含む。
・パノラマ画像上の選択位置を示す位置指定情報。
・パノラマ画像の基準位置から上記選択位置までの距離に相当する、回転軸周りの回転における角度を示す角度指定情報。
・パノラマ画像が複数の画像が連結されたものであれば、選択された画像(上記選択位置を含む)を示す画像指定情報。
そして、姿勢制御装置2の回転指示取得部28が、通信部21から、回転指示を取得する(図4のS13)。
角度テーブル262には、図11に示すような指定画像と、指定画像の幅方向の中央(図中では左右中央と記載)における正面からの回転角度(すなわち、1枚目の画像を撮影した方向から、該指定画像を撮影した方向までの回転角度)との対応関係が格納されている。従って、姿勢制御装置2の角度演算部29は、回転指示取得部28で取得した回転指示に基づいて、角度テーブル262を参照して回転すべき角度を算出する(図4のS14)。
姿勢制御装置2は、上記パノラマ画像の生成のための最初の撮影を行った姿勢(あるいは最後の撮影を終えて回転を終了した姿勢)から、上記回転指示に従い回転する(図4のS15)。
角度テーブル262には、図11のように、各画像の幅方向の中央における正面からの回転角度との対応関係が記憶されている。そして、操作装置1により画像が選択された場合には、該選択された画像に対応する回転角度は、この角度テーブル262に基づいて算出することができる。
回転制御部24は、上記算出された回転角度に基づいて回転モータ(回転部)25に対して算出された角度(右に180°)だけ回転するように制御され、姿勢制御装置2がエアコン60の方向を向くように制御されることになる。
あるいは、エアコン60の方向に姿勢制御装置2が向くように制御したい場合、ユーザはパノラマ画像の中の画像P5を選択することになる。画像P5は図11において、指定画像5に相当するため、その左右中心は撮影開始の方向から180°回転したときに正面となる方向であることがわかる。このように、パノラマ画像から選択された位置に相当する画像が選択されることで、その選択された画像に対応する角度を決定することも可能である。
この位置選択の方法では、さらに、選択された位置が対応する画像の中心にない場合にも、以下のような姿勢制御方法が適用可能である。
画像(8)の空気清浄器80が指定された場合を考える。この場合、画像P1の左右中心から右に315°回転することで空気清浄器80が画角内に入るが、回転指示が180°より大きい場合には、逆の方向(左)に回転させることが望ましく、空気清浄器80が指示されたこの例の場合、姿勢制御装置2は左に45°回転する。
空気清浄器80は画像P8の左右中心から少しずれた場所にあるので、上記のように左に45°回転しても、姿勢制御装置2は空気清浄器80を真正面にとらえるように向いていない。この場合、角度演算部29が、画像P8の左右中心から空気清浄器80までのずれのピクセル値と、撮影部(カメラ)23の画角(この場合55°)とから回転角度を算出し、姿勢制御装置2を、空気清浄器80が画角の幅方向の中央になるように向けることが可能である。
一般に、1周(360°)をm分割し、画角a°をwピクセルでパノラマ化して、n枚目の幅方向の中央から、tピクセルの位置を指定した場合、回転角度Y°は次の数式(2)によって算出することができる。
Y=(360/m)×(n−1)+a×t/w (2)
以上のように、姿勢制御システム3によれば、姿勢制御装置2が撮影し生成したパノラマ画像に基づいて、姿勢制御装置2の姿勢を、直観的で簡便な方法で、操作装置1から制御することが可能である。
姿勢制御装置2にエアコン60、空気清浄器80の動作を制御するためのリモートコントローラ機能を具備させることで、撮影する方向を制御するだけではなく、該エアコン60、空気清浄器80の動作(電源の入/切、タイマー設定、温度設定の変更など)も遠隔制御できることになる。
このように、遠隔操作により姿勢を制御できることで、撮影された画像に写る任意の機器に対して、指向性が要求されるリモートコントローラ操作を遠隔的に行うことが可能となる。
姿勢制御装置2は、パノラマ画像要求・撮影指示を受けた場所で停止し(図4のS3)、撮影を開始する。しかし、姿勢制御装置2が部屋の隅や家具の近傍にある場合には、死角が多く、得られるパノラマ画像の有用性が低い。回転指示の生成に適していないパノラマ画像を取得する可能性もあるため、所望の回転指示が不調となることが考えられる。このような場合を回避するために、部屋の中央で家具などから離れた所定の撮影に好適な場所を姿勢制御装置2に予め記憶させておき、パノラマ画像要求・撮影指示を受けた時、該所定の場所まで自動的かつ速やかに移動して撮影を開始するようにしてもよい。
あるいは、姿勢制御装置2は、所定の場所でのパノラマ画像を予め生成して操作装置1に送信し、操作装置1の画像記憶部13に保存しておくとともに、パノラマ画像を撮影した所定の場所の位置を保存しておくことで、パノラマ画像要求・撮影指示を受信した姿勢制御装置2が速やかに該所定の場所まで移動して、回転指示を受信するように設定することも可能である。
なお、画像を繋ぎ合わせて死角領域のないパノラマ画像を生成する場合、姿勢制御装置2が備える撮影部23の画角よりも狭い回転角度が選択されるべきである。しかし、過度に細かい角度で回転し撮影することで多量の画像を取得し、パノラマ画像の生成を行えば、死角領域のないパノラマ画像を生成することが可能となるが、撮影に要する時間が長くなる。そのため、なるべく少ない撮影でパノラマ画像を生成することが好ましい。
(変形例)
姿勢制御装置2が上記基準姿勢の角度を保持しているときに上記回転指示を取得する場合には、前述のように、基準姿勢からの回転角として指示された角度へ回転すればよい。しかし、姿勢制御装置2が、パノラマ画像の撮像位置から移動したり、あるいはパノラマ画像を撮像後にさらに回転したあとで上記回転指示を取得する場合には、回転指示が上記標準姿勢を基準とした角度を用いて回転の角度を指示することが望ましい。
このような場合に対応するため、図1に示すように、姿勢制御装置2は、位置・回転角検出部30、位置・回転角保持部263をさらに備え、上記標準姿勢を基準とした角度を用いて回転の角度を指示できるようになっている。
詳細には、上記位置・回転角検出部30は、姿勢制御装置2が基準として、位置・回転角保持部263で予め記憶している姿勢(向き)を標準姿勢としたときに、該標準姿勢を基準として現在どの方向を向いているのか(以後、標準姿勢角と呼ぶ)について、回転するたびに検出するセンサである。
例えば、地磁気を検出して、所定の方角(東、西、南、北)を向いた姿勢を上記標準姿勢として規定してもよいし、あるいは、姿勢制御装置2が自走式ロボット家電であれば、充電器70とドッキングしたときの姿勢を上記標準姿勢とすることも可能である。
そして、上記位置・回転角保持部263は、回転するたびに上記標準姿勢角を保持するとともに、パノラマ画像の撮像のたびに上記標準姿勢を基準としたときの上記基準姿勢の角度(以後、基準姿勢角と呼ぶ)を保持する。
そして、上記角度演算部29は、まず、回転指示取得部28から取得した上記回転指示に含まれる回転角に関する情報を、位置・回転角保持部263に保持されている上記基準姿勢角を参照して、標準姿勢を基準とした回転角の情報に変換する。さらに、上記角度演算部29は、上記標準姿勢角を参照することで、上記変換した回転指示の標準姿勢を基準とした回転角の情報と、現在の標準姿勢角との両方を用いて、実際に現在の姿勢から回転すべき回転角を算出する。
また、上記位置・回転角検出部30は、標準位置(例えば、充電器70とドッキングする位置など)を基準とする現在の位置を検知する。そして、位置・回転角保持部263は、上記標準位置を基準としたときのパノラマ画像要求・撮影指示を受けて撮影を行った位置を保持する。
この構成により、姿勢制御装置2が基準姿勢の向きから移動、あるいは回転したあとで上記回転指示を取得する場合においても、パノラマ画像を撮像した位置に移動して、上記算出された回転すべき回転角の指示に従い回転することで、姿勢を制御することができる。
さらに、姿勢制御装置2が操作装置1に送信する一つながりになった帯状のパノラマ画像と、姿勢制御装置2の撮影の向き(角度)との対応関係を、上記標準姿勢に基づいた角度による表現を用いて規定してもよい。
この場合には、パノラマ画像要求・撮影指示を受けた姿勢制御装置2は、生成したパノラマ画像とともに、該パノラマ画像を撮影したときの上記基準姿勢角を操作装置1へ送信する。
ここで、操作装置1は、標準姿勢を基準とする回転指示を、
・パノラマ画像の上記基準位置から上記選択位置までの距離に相当する、回転軸周りの回転における角度を示す角度指定情報、
に基づいて生成することができる。なお、上述した、
・パノラマ画像上の選択位置を示す位置指定情報、
・パノラマ画像が複数の画像が連結されたものであれば、選択された画像(上記選択位置を含む)を示す画像指定情報、
に基づいて、標準姿勢を基準とする回転指示を生成することはできない。
すなわち、操作装置1は、パノラマ画像の任意の場所がユーザによって選択されれば、パノラマ画像の上記基準位置から上記選択位置までの距離に相当する、回転軸周りの回転における角度を示す角度指定情報を取得する。そして、この角度指定情報と上記基準姿勢角とから、上記標準姿勢を基準とする回転角度を用いた回転指示を生成することができる。
その後、操作装置1から、上記標準姿勢を基準とする回転角度を用いた回転指示を受信した姿勢制御装置2は、該回転指示に従い回転し、姿勢を制御する。
これにより、姿勢制御装置2は回転指示を受信するたびに、実際に回転すべき回転角度を算出する必要は無く、上記標準姿勢を基準とする回転角度に基づいた回転指示に従って回転するだけで、姿勢を制御することができる。
(付記事項)
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
最後に、操作装置1および姿勢制御装置2が備える各ブロック、特に選択位置解析部15、回転指示生成部16、パノラマ画像生成部27、角度演算部29、さらに、サーバ4の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、操作装置1および姿勢制御装置2、ならびにサーバ4は、各機能を実現する制御プログラム(アプリケーションソフトウェア)の命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した姿勢制御システムを実現するソフトウェアである姿勢制御対象物の姿勢制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記操作装置1および姿勢制御装置2、ならびにサーバ4に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM(登録商標)/フラッシュROM等の半導体メモリ系などを用いることができる。
また、操作装置1および姿勢制御装置2、ならびにサーバ4を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は、カメラ等の姿勢制御対象物の方向を遠隔操作にて制御する姿勢制御装置および姿勢制御システムに利用することができる。
1 操作装置
2 姿勢制御装置
3 姿勢制御システム
4 サーバ(パノラマ画像生成装置)
12 通信部
14 操作画面制御部(パノラマ画像取得手段、回転指示生成手段)
15 選択位置解析部(回転指示生成手段)
16 回転指示生成部(回転指示生成手段、回転指示供給手段)
21 通信部
22 撮影部制御部(撮影手段)
23 撮影部(撮影手段)
24 回転制御部
25 回転モータ(回転部)
27 パノラマ画像生成部(撮影手段、パノラマ画像供給手段)
28 回転指示取得部(回転指示取得手段)
29 角度演算部(角度決定手段)
S6 撮影ステップ

Claims (12)

  1. 操作装置からの回転指示に基づいて、一つの回転軸周りに姿勢制御対象物を回転させる姿勢制御装置であって、
    上記操作装置と通信するための通信部とを備えるとともに、
    上記回転軸周りに回転しながら、自装置の周囲を撮影して、パノラマ画像を生成する撮影手段と、
    上記撮影手段が生成したパノラマ画像を、上記操作装置へ上記通信部を介して供給するパノラマ画像供給手段と、
    上記操作装置において選択された、上記パノラマ画像上の選択位置に基づく回転指示を、上記操作装置より上記通信部を介して取得する回転指示取得手段と、
    上記回転指示取得手段が取得した上記回転指示に基づいて、上記回転軸周りに上記姿勢制御対象物を回転させる回転角を決定する角度決定手段と、を備えることを特徴とする姿勢制御装置。
  2. 上記撮影手段は、上記パノラマ画像を1つの帯状の画像の形態に生成することを特徴とする請求項1に記載の姿勢制御装置。
  3. 上記撮影手段は、上記パノラマ画像を撮影順に配置される複数の画像の形態に生成することを特徴とする請求項1に記載の姿勢制御装置。
  4. 上記撮影手段は、上記複数の画像のうち、撮影に失敗した画像が配置されるべき領域に空き領域を割り当てて上記パノラマ画像を生成することを特徴とする請求項3に記載の姿勢制御装置。
  5. 上記撮影手段は、上記回転軸周りに回転しながら、自装置の周囲を撮影した複数の元画像を、外部のパノラマ画像生成装置へ送信し、上記パノラマ画像生成装置において上記複数の元画像から生成されたパノラマ画像を取得することを特徴とする請求項2から4のいずれか1項に記載の姿勢制御装置。
  6. 移動可能であり、上記撮影手段が自装置の周囲を撮影している間は少なくとも、移動を停止することを特徴とする請求項1から5のいずれか1項に記載の姿勢制御装置。
  7. 一つの回転軸周りに姿勢制御対象物を回転させる姿勢制御装置に対して、上記姿勢制御対象物を回転させる回転角度を指示する操作装置であって、
    上記姿勢制御装置と通信するための通信部を備えるとともに、
    上記姿勢制御装置にて、上記回転軸周りに回転しながら周囲を撮影して、生成したパノラマ画像を、上記姿勢制御装置から上記通信部を介して取得するパノラマ画像取得手段と、
    上記パノラマ画像取得手段が取得した上記パノラマ画像を表示部に表示し、ユーザによって選択された、上記パノラマ画像上の選択位置に基づく回転指示を生成する回転指示生成手段と、
    上記回転指示生成手段が生成した上記回転指示を、上記通信部を介して上記姿勢制御装置へ供給し、上記姿勢制御装置に上記姿勢制御対象物を回転させる回転指示供給手段と、を備えることを特徴とする操作装置。
  8. 請求項1から6のいずれか1項に記載の姿勢制御装置と、
    請求項7に記載の操作装置と、を備えることを特徴とする姿勢制御システム。
  9. 操作装置からの回転指示に基づいて、一つの回転軸周りに姿勢制御対象物を回転させる姿勢制御装置の制御方法であって、
    上記姿勢制御装置は、上記操作装置と通信するための通信部を備えるとともに、
    上記回転軸周りに回転しながら、自装置の周囲を撮影して、パノラマ画像を生成する撮影ステップと、
    上記撮影ステップにて生成したパノラマ画像を、上記操作装置へ上記通信部を介して供給するパノラマ画像供給ステップと、
    上記操作装置において選択された、上記パノラマ画像上の選択位置に基づく回転指示を、上記操作装置より上記通信部を介して取得する回転指示取得ステップと、
    上記回転指示取得ステップにて取得した上記回転指示に基づいて、上記回転軸周りに上記姿勢制御対象物を回転させる回転角を決定する角度決定ステップと、を含むことを特徴とする姿勢制御装置の制御方法。
  10. 一つの回転軸周りに姿勢制御対象物を回転させる姿勢制御装置に対して、上記姿勢制御対象物を回転させる回転角度を指示する操作装置の制御方法であって、
    上記操作装置は、上記姿勢制御装置と通信するための通信部を備えるとともに、
    上記姿勢制御装置にて、上記回転軸周りに回転しながら周囲を撮影して、生成したパノラマ画像を、上記姿勢制御装置から上記通信部を介して取得するパノラマ画像取得ステップと、
    上記パノラマ画像取得ステップにて取得した上記パノラマ画像を表示部に表示し、ユーザによって選択された、上記パノラマ画像上の選択位置に基づく回転指示を生成する回転指示生成ステップと、
    上記回転指示生成ステップにて生成した上記回転指示を、上記通信部を介して上記姿勢制御装置へ供給し、上記姿勢制御装置に上記姿勢制御対象物を回転させる回転指示供給ステップと、を含むことを特徴とする操作装置の制御方法。
  11. 請求項1から6の何れか1項に記載の姿勢制御装置、または請求項7に記載の操作装置の少なくともいずれか1つを動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
  12. 請求項11に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2012206351A 2012-09-19 2012-09-19 姿勢制御装置、操作装置、姿勢制御システム、制御方法、制御プログラム、記録媒体 Pending JP2014062932A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012206351A JP2014062932A (ja) 2012-09-19 2012-09-19 姿勢制御装置、操作装置、姿勢制御システム、制御方法、制御プログラム、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012206351A JP2014062932A (ja) 2012-09-19 2012-09-19 姿勢制御装置、操作装置、姿勢制御システム、制御方法、制御プログラム、記録媒体

Publications (1)

Publication Number Publication Date
JP2014062932A true JP2014062932A (ja) 2014-04-10

Family

ID=50618261

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012206351A Pending JP2014062932A (ja) 2012-09-19 2012-09-19 姿勢制御装置、操作装置、姿勢制御システム、制御方法、制御プログラム、記録媒体

Country Status (1)

Country Link
JP (1) JP2014062932A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017158116A (ja) * 2016-03-03 2017-09-07 キヤノン株式会社 撮影制御装置及びその制御方法
KR102154434B1 (ko) * 2019-04-30 2020-09-09 주식회사 엘지유플러스 영상 촬영 기기 및 이의 동작 방법
JP2020142316A (ja) * 2019-03-05 2020-09-10 Dmg森精機株式会社 撮像装置
CN114615410A (zh) * 2022-03-09 2022-06-10 张磊 一种自然灾害全景头盔及其影像的拍摄姿态确定方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017158116A (ja) * 2016-03-03 2017-09-07 キヤノン株式会社 撮影制御装置及びその制御方法
JP2020142316A (ja) * 2019-03-05 2020-09-10 Dmg森精機株式会社 撮像装置
KR102154434B1 (ko) * 2019-04-30 2020-09-09 주식회사 엘지유플러스 영상 촬영 기기 및 이의 동작 방법
CN114615410A (zh) * 2022-03-09 2022-06-10 张磊 一种自然灾害全景头盔及其影像的拍摄姿态确定方法
CN114615410B (zh) * 2022-03-09 2023-05-02 张磊 一种自然灾害全景头盔及其影像的拍摄姿态确定方法

Similar Documents

Publication Publication Date Title
JP6205067B2 (ja) パン・チルト操作装置、カメラシステム、パン・チルト操作用プログラム及びパン・チルト操作方法
US10136069B2 (en) Apparatus and method for positioning image area using image sensor location
US10148886B2 (en) Method for photographing control and electronic device thereof
JP6205072B2 (ja) 撮像制御装置、撮像制御方法、カメラ、カメラシステム及びプログラム
TWI476505B (zh) 拍攝全景圖的方法與電子裝置
US10474414B2 (en) Image display system, information processing apparatus, and image display method
JP6205070B2 (ja) カメラの初期位置設定方法、カメラ及びカメラシステム
KR20140106265A (ko) 이미지 촬영장치 및 방법
JP6079695B2 (ja) 画像表示撮影システム、撮影装置、表示装置、画像の表示および撮影の方法、およびコンピュータープログラム
US20190197666A1 (en) Receiving and displaying sensor data on a substantially spherical surface of a display device
CN106162150B (zh) 一种拍照方法及移动终端
CN103581532A (zh) 利用手持装置操控镜头信号拍摄的方法及其装置
JP2014062932A (ja) 姿勢制御装置、操作装置、姿勢制御システム、制御方法、制御プログラム、記録媒体
JP5517705B2 (ja) 投影装置
WO2022061541A1 (zh) 控制方法、手持云台、系统及计算机可读存储介质
JP6205068B2 (ja) 撮像装置の操作装置、操作方法、及びプログラム
JP6473048B2 (ja) 移動装置操作端末、移動装置操作方法及び移動装置操作プログラム
TW201800902A (zh) 影像導覽系統之互動結合方法
JP2014155173A (ja) 撮像装置、その制御方法及びプログラム
KR20230033368A (ko) 경로 기반의 대상 트래킹 방법 및 장치
KR20230033367A (ko) 짐벌 카메라를 이용한 대상 트래킹 방법 및 장치
CN106231289A (zh) 一种移动终端及其3d影像拍摄控制方法和系统
JP2017040686A (ja) 画像表示システム、情報処理装置、画像表示方法及びプログラム
JP2016092434A (ja) プログラム、表示方法、および電子機器
JP2023125345A (ja) 電子機器、その制御方法およびプログラム