JP2004242244A - 通信ネットワークシステム、携帯端末装置、パノラマ画像の合成方法およびコンピュータプログラム - Google Patents
通信ネットワークシステム、携帯端末装置、パノラマ画像の合成方法およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2004242244A JP2004242244A JP2003032202A JP2003032202A JP2004242244A JP 2004242244 A JP2004242244 A JP 2004242244A JP 2003032202 A JP2003032202 A JP 2003032202A JP 2003032202 A JP2003032202 A JP 2003032202A JP 2004242244 A JP2004242244 A JP 2004242244A
- Authority
- JP
- Japan
- Prior art keywords
- server
- robot
- screen
- image data
- terminal device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
【解決手段】ロボット300はサーバ200を介して携帯端末100からのパノラマ撮影の指示を受け、連続する複数の画面の撮影を順次行い、撮影画像データをサーバに対して送信する。サーバは複数の撮影画像データを記憶手段に蓄積する。携帯端末は、サーバから受信した複数の撮影画像データを重複部分を重ねて合成して、ユーザの指示に応じてパノラマ画像をスクロール表示し、任意のスクロール位置において1画面撮影の指示を受けたとき、その位置に対応するカメラ角度を求めてサーバ経由でロボットに1画面撮影指示を与える。ロボットは当該指示されたカメラ角度で1画面撮影を行い、その撮影画像データをサーバに対して送信する。携帯端末装置はサーバから撮影画像情報を受信して表示画面に表示する。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、通信ネットワークシステムに関し、特に(但し限定する意味でなく)、入力操作部、画面表示部およびデータ通信機能を備えた携帯端末装置と、複数の角度で撮影可能なカメラおよびデータ通信機能を備えたロボットと、このロボットおよび前記携帯端末装置とデータ通信を行うサーバとを備えた通信ネットワークシステムに関する。
【0002】
【従来の技術】
従来、カメラで撮影した画像に対してズーム倍率やカメラの上下左右方向角度を含むカメラデータを付加して送信し、受信側でカメラデータをもとに画像を合成して全視野の画像を表示したり、全視野中の任意の位置指定に対応してカメラ側でその角度の画像を撮影、送信し、受信側のモニタ上に所望の視野の画像を表示させる技術が知られている(特許文献1参照)。この技術では、全視野の画像を合成・縮小して1画面上に表示し一度の全視野を見ることを可能とするとともに、この画面上でユーザからマウスカーソルで指示された位置に対応してTVカメラの位置を指示制御してこの角度の撮影を行わせ、この撮影画像を受信表示する。
【0003】
また、公衆回線網を利用してロボットを遠隔制御するシステムも知られている(特許文献2参照)。
【0004】
ロボットとしては、各種の製造、監視、作業等の用途のみならず、エンターテインメントを目的とした人型や動物型のロボットも販売されるようになってきた。このようなロボットは、一般に、各種センサやカメラによる情報の入力、認識、音声や光の出力等の機能を備えているものが多い。
【0005】
一方、携帯電話機を代表とする携帯無線端末装置が普及し、このような端末装置では、音声通話のみならずデータ通信機能により電子メールやウェブ閲覧等が可能となっている。
【0006】
【特許文献1】
特開平8−88787号公報
【特許文献2】
特開2001−195113号公報
【0007】
【発明が解決しようとする課題】
上記のような携帯端末装置により、カメラ付きのロボットを遠隔的に制御して横長のパノラマ撮影画像を撮影させ、このパノラマ撮影画像データを受信して表示する際、従来技術のように一度に全視野分を1画面で見られるようにするために画面サイズを縮小すると、携帯端末装置の表示画面はサイズが小さいため画面内容の視認性が極端に悪くなる。また、全視野中の任意の角度の1画面を指示するためにマウスカーソルで任意の画面位置を指示することも携帯端末装置では直ちに採用することができない。
【0008】
したがって、本発明は、遠隔的にカメラ付きロボットによるパノラマ撮影を行う際の携帯端末装置に適したパノラマ画像および1画面画像の撮影の制御および受信表示処理を行うことができる通信ネットワークシステム、携帯端末装置、パノラマ画像の合成方法およびコンピュータプログラムを提供することを目的とする。
【0009】
本発明による他の目的は、カメラ付きロボットを利用したイベント発生の監視結果を携帯端末の表示画面上で容易にかつ即座に認識することができるインタフェースを備えた通信ネットワークシステムを提供することにある。
【0010】
【課題を解決するための手段】
本発明による通信ネットワークシステムは、入力操作部、画面表示部およびデータ通信機能を備えた携帯端末装置と、複数の角度で撮影可能なカメラおよびデータ通信機能を備えたロボットと、このロボットおよび前記携帯端末装置とデータ通信を行うサーバとを備える。この通信ネットワークシステムにおいて、前記ロボットは前記サーバを介して前記携帯端末装置からのパノラマ撮影の指示を確認したとき、予め定めた複数の角度で各画面の境界部分が重複するように水平方向に連続する複数の画面の撮影を順次行い、これにより得られた撮影画像データを前記サーバに対して送信し、前記サーバは前記パノラマ撮影による複数の撮影画像データを記憶手段に蓄積する。前記携帯端末装置は、前記サーバから前記パノラマ撮影による複数の撮影画像データを受信し、これら複数の撮影画像データを重複部分を重ねて合成してパノラマ画像を生成し、ユーザの指示に応じて前記パノラマ画像をスクロールして表示画面に表示するとともに、任意のスクロール位置においてユーザからの指示により1画面撮影の指示を受けたとき、そのスクロール位置に対応するカメラ角度を求めて前記サーバ経由で前記ロボットに1画面撮影指示を与え、前記ロボットは前記1画面撮影指示を受けて当該指示されたカメラ角度で1画面撮影を行い、その撮影画像データを前記サーバに対して送信する。前記携帯端末装置は前記サーバから前記1画面撮影による撮影画像情報を受信して表示画面に表示する。
【0011】
この構成により、携帯端末装置のユーザは、遠隔地においてロボットにその位置する場所の周囲の様子をパノラマ撮影することができ、かつ、携帯端末装置でパノラマ撮影による複数の撮影画像データをパノラマ画像として合成し、スクロール表示可能とすることにより、画像を縮小することなく、表示画面を有効に利用してパノラマ画像を閲覧することができる。また、スクロール途中の任意の位置で1画面撮影指示を行うことにより、所望のカメラ角度での撮影画像が得られる。
【0012】
前記ロボットは前記サーバに対して周期的にポーリングを行うことにより、前記サーバとの間でデータの授受を行うことができる。これにより、ロボットからサーバにアクセスすれば足り、サーバからロボットにアクセスする必要がなくなる。
【0013】
前記ロボットの前記サーバに対するポーリングの周期は、前記携帯端末からの操作に応じて変更しうる。例えば、ロボットの即応の必要性が高いときほど、ポーリング周期を短くする。
【0014】
前記前記携帯端末装置は前記サーバに対して周期的にポーリングを行うことにより、前記サーバとの間でデータの授受を行うことも可能である。これにより、携帯端末装置主導でサーバにアクセスを行い、必要なデータ通信を行うことができる。
【0015】
前記携帯端末装置はスクロールによる画像表示時に、現在のスクロール位置に対応するカメラ角度を示す角度識別情報を併せて表示するようにしてもよい。これにより、現在表示されている画像のカメラの向きが即座に認識できる。よって、1面撮影指示の際のカメラ角度の指定が的確に行える。
【0016】
前記角度識別情報は、前記カメラ角度に対応した向きの前記ロボットの頭を示す画像とすれば、より感覚的にカメラ付きロボットのカメラ角度を操作している実感が得られる。
【0017】
本発明による携帯端末装置は、入力操作部、画面表示部およびデータ通信機能を備えた携帯端末装置であって、前記データ通信機能により撮影画像データを受信する手段と、撮影画像データを表示する画面表示部と、パノラマ撮影による複数の撮影画像データについて、これら複数の撮影画像データを重複部分を重ねて合成してパノラマ画像を生成する手段と、前記入力操作部によるユーザの指示に応じて前記パノラマ画像をスクロールして前記画面表示部の表示画面に表示する手段と、任意のスクロール位置においてユーザからの指示により1画面撮影の指示を受けたとき、そのスクロール位置に対応するカメラ角度を求めて前記ロボットに対する1画面撮影指示を与える手段とを備えたことを特徴とする。
【0018】
前記パノラマ画像を生成する手段は、例えば、前記パノラマ撮影による複数の撮影画像データのうち奇数番目の画面の撮影画像データに対して偶数番目の撮影画像データを、前記境界部分を重ねて合成し、この合成された撮影画像データに対して、さらに、奇数番目の画面の撮影画像データを、当該各奇数番目の画面の位置において、50%透明の関係で合成する。これによって、携帯端末装置に備わっている画面単位の半透明合成機能を有効に利用して、適切なパノラマ画像の合成を行うことができる。
【0019】
本発明によるコンピュータプログラムは、入力操作部、画面表示部およびデータ通信機能を備えた携帯端末装置において動作するコンピュータプログラムであって、パノラマ撮影による複数の撮影画像データについて、これら複数の撮影画像データを重複部分を重ねて合成してパノラマ画像を生成するステップと、前記入力操作部によるユーザの指示に応じて前記パノラマ画像をスクロールして前記画面表示部の表示画面に表示するステップと、任意のスクロール位置においてユーザからの指示により1画面撮影の指示を受けたとき、そのスクロール位置に対応するカメラ角度を求めて前記ロボットに対する1画面撮影指示を与えるステップとを備えたことを特徴とする。
【0020】
本発明による、携帯端末装置におけるパノラマ画像の合成方法は、境界部分が重複した水平方向に連続する複数の画面の撮影画像データを受信するステップと、奇数番目の画面の撮影画像データに対して偶数番目の撮影画像データを、前記境界部分を重ねて合成するステップと、この合成された撮影画像データに対して、さらに、奇数番目の画面の撮影画像データを、当該各奇数番目の画面の位置において、50%透明の関係で合成するステップとを備えたことを特徴とする。
【0021】
さらに本発明による他の通信ネットワークシステムは、入力操作部、画面表示部およびデータ通信機能を備えた携帯端末装置と、複数の角度で撮影可能なカメラおよびデータ通信機能を備えたロボットと、このロボットおよび前記携帯端末装置とデータ通信を行うサーバとを備える。この通信ネットワークシステムにおいて、前記ロボットは、光、音、接触の少なくとも一つを感知する感知手段と、これらの感知結果に基づいて予め定められたイベントの発生が検知されたとき、前記サーバを介して当該イベントの発生を通知する通知手段とを有する。前記携帯端末装置は、前記画面表示部において、仮想的な部屋の中に機器および機能を表すアイコンおよびロボットおよび/またはキャラクタを表すアイコンを含むグラフィックユーザインタフェース画面を表示するとともに、前記サーバを介して当該イベントの発生を検知したとき、前記グラフィックユーザインタフェース画面の表示に反映させる。
【0022】
前記ロボットは、予め定められたイベントとして、前記感知手段の感知結果の内容を定めるとともに、各イベントに対応する前記グラフィックユーザインタフェース画面の変換内容を定めたイベントテーブルを有してもよく、この場合、前記通知手段は前記検知手段の出力を前記イベントテーブルの内容に照らしてイベントの発生を検知するとともに、当該イベントに対応するグラフィックユーザインタフェース画面の変化内容を特定する。
【0023】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【0024】
図1に、本実施の形態における通信ネットワークシステムの概略構成を示す。
このシステムは、携帯端末装置100と、ロボット300と、このロボット300および携帯端末装置100と通信ネットワークを介してデータ通信を行うサーバ200とにより構成される。以下、携帯端末装置を単に携帯端末ともいう。本実施の形態においては、携帯端末100はインターネット接続機能を有する携帯電話機であり、サーバ200はインターネット等の通信ネットワーク上のサーバ200である。ロボット300は、データ通信機能を有するとともに撮影角度を制御することができるカメラ付きのロボットであり、本実施の形態ではエンターテインメント用の動物(ここでは犬)型のロボット(例えばソニー株式会社のAIBO(登録商標))を例としている。サーバ200はインターネット等の公のネットワーク上に置かれる場合と、個人の家庭内等に置かれる場合(ホームサーバと呼ばれる)とがありうる。本発明はそのいずれの場合にも適用可能である。ロボット300からホームサーバを介してインターネット上のサーバに接続する構成もありうる。
【0025】
図2に、図1のシステムの各部の概略の内部構成例を示す。
携帯端末100は、CPUやDSPなどのプロセッサを含む制御部101、プログラムや固定的なデータを格納するROM105、データの一時保存および作業領域を提供するRAM106、表示画面を有する表示デバイスを有する表示部102、各種操作キー(ボタン)やダイヤル等を含む入力部103、スピーカ107、マイク108、音声やデータの無線通信を行う無線通信部109を備えている。
【0026】
サーバ200は、CPUなどのプロセッサを含む制御部201、ROMやRAM等を含むメモリ、ディスプレイ装置などの表示デバイスやキーボード等の入力デバイスを含む入出力部203、ハードディスク装置等の外部記憶装置を含むデータベース205、外部のネットワークと接続するためのネットワークインタフェース(I/F)部209を備えている。データベース205は、データ(コマンドも含む)を格納する領域を有し、この領域にロボットからアップロードされた撮影データを格納する。サーバ200がインターネット上にある場合であって、複数の登録ユーザを対象に本実施の形態のサービスが提供される場合には、データベース205には登録ユーザ対応にデータの記録領域が確保される。
【0027】
ロボット300は、CPUなどのプロセッサを含む制御部301、ROMやRAM等を含むメモリ302、各部の接触、温度等の種々のセンサ群303、マイク304、スピーカ305、LED306、首、腕、足等のロボット各部の関節の回転等の動作を行う各種可動部308、CCD等の撮影素子を含むカメラ310、サーバ200と接続するためのネットワークI/F部309を有する。カメラ310はロボットの頭部に搭載され、可動部308は頭部の回転等の動作を行うモータ等を有する。
【0028】
次に本実施の形態における動作を説明する。この動作の典型的な用途としては、外出先において、携帯端末で自宅の部屋の様子(ペットや子供など)を確認するというような用途が考えられる。
【0029】
携帯端末100のユーザは、その画面上での操作により、サーバ200経由でロボット300によるパノラマ撮影を指示することができる。ロボット300はサーバ200を介して携帯端末100からのパノラマ撮影の指示を確認したとき、予め定めた複数の角度で各画面の境界部分が重複するように水平方向に連続する複数の画面の撮影を順次行い、これにより得られた撮影画像データをサーバ200に対して送信(アップロード)する。サーバはこの撮影画像データをデータベースに蓄積する。携帯端末100はサーバ200からこの撮影画像データを受信してパノラマ画像として合成する。この具体的な合成方法については後に詳述する。
【0030】
図3は、携帯端末100におけるグラフィックユーザインタフェース画面の例を示している。このユーザインタフェースはメンタルモデルをベースとしており、図3(a)に示すように仮想的な部屋の中に、機器や機能アイコン、マスコット(キャラクタ)のアイコン152およびロボットのアイコン151が表示されている。ユーザの処理として、画面内のフォーカス切り替えや処理をマスコットのアイコン152で分かりやすく表示し、エンターテイメント性のあるものになっている。例えば、ポストのアイコンはメッセージ受信時に入口にメールが差し込まれたような状態に変化する。天気表示のアイコンは図では太陽の表示となり、晴れの天気を示している。このような現実世界を模した画面の分かりやすさにより、ソフトウェアやネットワークに疎いユーザにとっても接しやすいものになる。
【0031】
図3(a)の初期的なユーザインタフェース画面では、ロボットを示すアイコン151も表示し、ロボットに関連した操作を行えるようになっている。例えば、ユーザ操作により画面上のロボットアイコン151を指示すると、図3(b)に示すようにロボットアイコン151が拡大表示され、この例ではカメラのアイコン154が表示される。ユーザがこのカメラアイコン154を指示すると、図3(c)に示すようなメニューメッセージが表示される。この例では、「前回撮影したイメージをダウンロードしますか」というメッセージが表示され、ユーザはこれに対して「はい」または「いいえ」を選択することができる。「はい」が選択された場合には、当該携帯端末のユーザの指示により撮影指示されサーバに残っている前回撮影したイメージ(画像)を、図4(a)に示すように、サーバからダウンロードして表示する。このときダウンロードされる画像は、前回撮影指示された画像が一面撮影によるものかパノラマ撮影によるものかによって、その画像サイズが異なりうる(但し、画面に現れるサイズは同じである)。図4(a)の例ではパノラマ撮影による画像を表示した画面例を示しており、ユーザの右または左の指示操作により画像を左右方向にスクロールして表示することができる。この画像表示領域の下側には、そのスクロール位置での撮影角度に合致する向きでロボットの頭部の画像を表示している。これによって、パノラマ画像の現在表示されている部分がどの撮影角度によるものかをユーザが容易に認識できる。画面の下側には、さらなる「一面撮影」または「パノラマ撮影」を、ユーザのキー操作で行えることがガイダンス表示されている。また、他のキー操作による「戻る」および「拡大」のガイダンスも表示されている。「戻る」は直前の画面に戻るための操作であり、「拡大」は現在のスクロール位置での携帯端末内で同画像データの拡大表示処理を行うための操作項目である。カメラにズーム機能がある場合には、「拡大」の指示に応じて、当該スクロール位置に対応するカメラ角度で所定のズーム倍率での拡大1面撮影をカメラに指示するようにしてもよい。1面撮影のカメラ角度は、パノラマ撮影時の上記5方向の角度(45度単位)より更に小さい分解能で指示される角度(例えば1度ないし5度程度の単位角度)である。例えば図4(b)では−60度の角度での撮影画像およびロボット頭部の画像を示している。所定の画面位置(例えばロボット頭部の横)に現在の画面のスクロール位置の角度を数値を併せて表示してもよい。
【0032】
図3(c)の画面で「いいえ」が指示された場合には、本実施の形態では、パノラマ撮影の指示を行い、その画像データを受信して図4(a)に示したように、表示する。
【0033】
図5(a)に示すようにロボット300が室内中央に位置し、携帯端末からの指示によりパノラマ撮影を行う場合の例を説明する。この例では、ロボット300を所定の高さのテーブルの上に載置した例を示しているが、テーブル上に載置することは必須ではない。
【0034】
パノラマ画像を構成する撮影画像データは、カメラの複数の方向に対応する複数の画面対応のデータであり、携帯端末での通信データ量および通信時間を考慮して、その撮影方向の個数(画面数)は画面が不連続とならない限度でなるべく少なくすることが好ましい。この実施の形態では、水平方向180度に亘る視野範囲を、−90度(左)、−45度(左斜め前)、0度(正面)、45度(右斜め前)、90度(右)の5方向でカバーしている。すなわち、図5(a)に示すように、−90度方向から0度を経由して90度方向まで、45度間隔で5回の撮影を行う。これによって得られた5つの画像例を図5(b)に示す。実際には画面が不連続とならないことを保証するために、カメラの視野角と隣接カメラ方向の間隔との関係は、隣接するカメラ方向では画面の側端部の境界で撮影画像が帯状に重複するようになっている。隣接するカメラ方向で撮影された2つの画像の境界の重複部分は互いに同じ部分を撮影したものであっても、その撮影角度が異なるため重複部分の像は通常完全には一致しない。したがって、画面の継ぎ目のずれが目立たないようにするためには何らかの方法による合成処理が必要となる。
【0035】
図6により本実施の形態における、重複した隣接画面の画像の合成方法を説明する。 本実施の形態ではこの合成処理を携帯端末に適した方法により行う。従来、このような画像の重なった部分の合成は、後から書き込んだ画素データで前の画素データを書き換えるか、または、両画素データの平均を算出して書き戻す、という処理が行われる。前者では両画面の境界で接合部(継ぎ目)のずれが明瞭に見えるという欠点がある。これに対して後者はよりずれが目立たない(ぼやける)という利点があるが、一般に当該重複領域での画素単位の画像処理が必要となる。しかし、現状の携帯端末ではこのような重複領域のみの画素単位の画像処理機能はサポートされていない。但し、現状の携帯端末では画面単位のアルファブレンディングがサポートされているものがあり、本実施の形態では、このような機能を有効に用いて画面境界部分の合成を行う。アルファブレンディングとは半透明処理を意味し、ある画像の上に別の画像を半透明に重ね合わせる技術である。その際の透明度を表す値はアルファ値と呼ばれる。
【0036】
図6(a)に示すように、境界部分が重複した水平方向に連続する複数の画面の撮影画像データについて、まず、奇数番目の画面(図の例ではA,C)の撮影画像データに対して偶数番目の画面(図の例ではB)の撮影画像データを、境界部分を重ねて合成する。このとき、重なった境界部分では画面Bの画像データが画面A,Cの画像データに上書きされる。ついで、図6(b)に示すようにこの合成された画面A,B,Cの画像データに対して、さらに、奇数番目の画面(この例ではA,C)の撮影画像データを、当該各奇数番目の画面の位置において、50%透明の関係で合成する。ここでは、携帯端末の画面単位のアルファブレンディングの機能を用いる。その結果、図6(c)に示すように、奇数番目の画面、例えば画面A、の非重複領域では(A+A)/2=Aとなる一方、重複領域では(A+B)/2となる。(ここで、A,Bは各画素の輝度を表すものとする。)よって、境界の重複領域では両画面の画素が平均化され、明確なずれがぼかされる。画面Bの非重複領域についてはそのままBの画面の画素が残る。(なお、第1層に対して第2層を直ちに50%の透明度で重ね合わせた場合には第2層の非重複領域が半輝度とある不都合がある。)
【0037】
図5(b)に示した5つの画面の例について図6に示した合成方法を適用すると、図7に示すように、最下層としての第3層に奇数番目の画面に対して偶数番目の画面が第2層として重ねられ、この合成画像に対してさらに奇数番目の画面がその対応する画面との位置関係を維持したまま第1層として50%の透明度で重ねられる。その結果を図8に示す。但し、図示の都合上、撮影画像として線画を用いているため、実際のビットマップイメージの合成結果とは感じがことなっていることに留意されたい。
【0038】
このようにして得られたパノラマ画像は横長の画像であり、一度に携帯端末100の画面に表示できないので、前述したように、その一部を画面上に表示し、他の部分は左右方向のスクロールにより表示できるようにする。このとき、ユーザは、携帯端末100から、任意のスクロール位置に対応した所望のカメラ角度で、ロボット300に対して再度1画面(一面)の撮影を行うことを指示することができる。この一面撮影は、上記のような画面合成によっても継ぎ目部分がいびつになることは避けられないので継ぎ目の方向での1画面撮影による明瞭な画像を得たい場合があること、(カメラにズーム機能がある場合には任意のカメラ角度でのより拡大した画像を見たい場合があること)、等の要請に応えるものである。ロボット300はこの一面撮影指示を受けて当該指示されたカメラ角度で一面撮影を行い、その撮影画像データを前記サーバに対して送信する。携帯端末100はサーバ200から当該一面撮影による撮影画像情報を受信して表示画面に表示する。
【0039】
次に、図9および図10に、ロボットとサーバとの間でやりとりされる要求および応答の具体例を示す。本実施の形態では、ロボットからサーバに対して定期的にポーリングを行うことにより、両者の間の通信を行うものとする。そのための通信プロトコルとしてはHTTP(Hyper Text Transfer Protocol)を用いる。ロボットからサーバへのポーリング形式の通信によって、サーバからロボットへアクセスを行う必要がない。これにより、ロボットがインターネットに接続できる環境でプライベートアドレスが割振られている場合や、プロキシが存在している場合でも、特に特殊な設定が無くても目的のデータ通信が通信が可能となる。
【0040】
図9はHTTPプロトコルによるPOST処理によりロボットがサーバに対して発行する要求(リクエスト)の例を示している。図9(a)はリクエストの種類(ここでは処理開始、コマンド取得、データ送信の3つ)を示し、図9(b)(c)(d)は各リクエストの構成を示している。「処理開始」リクエストはMAV_Request(”Start”), MAV_UserID,MAV_Passwdの形式をとり、ユーザIDおよびパスワードの送付によりユーザ認証から処理を開始することを依頼するものである。「コマンド取得」リクエストは、MAV_Request(getCommand”)の形式をとり、サーバに対して自己宛に保持されたコマンドを受け取ることを要求するものである。「データ送信」リクエストは、MAV_Request(”sendData”), MAV_Dataの形式をとり、データそのもの(例えば撮影画像データ)を添付してサーバに送るものである。MAV_Request(”image<n>”)の”n”はパノラマ撮影の場合の5つの角度−90度、−45度、0度、45度、90度にそれぞれ対応した1〜5の数値である。この数値nが省略されている場合は一面撮影と判断される。
【0041】
図10はロボットの各種リクエストに対応する応答(MAV_Response)の例を示すものである。図10(a1)は処理開始リクエストに対応する認証の成功/失敗を返答する応答を示し、MAV_Responseというタグで応答を挟んで(<MAV_Response>数値</MAV_Response>)返送する。図10(b)は処理開始リクエストに対してセッションIDを消す応答であり、同様にMAV_SessionIDというタグで応答を挟んで返送する(<MAV_SessionID>セッションID</MAV_SessionID>)。図10(b1)はコマンド取得リクエストに対する応答であり、(<MAV_Response>数値</MAV_Response>)という形式を有する。この場合の「数値」は「コマンド無し」「イメージ撮影(一面)」「パノラマ撮影」「認証からやり直し」「サービス(一時)停止」「ポーリング間隔変更」等を示す数値である。 「イメージ撮影(一面)」の場合、その返答に続いて、図10(b2)の形式でカメラ角度(首の角度)を示す数値をMAV_Angleというタグで返送する。本同様に、「ポーリング間隔変更」の場合、その返答に続いて、図10(b3)の形式でポーリング間隔を表す数値をMAV_PollingIntervalというタグで返送する。
【0042】
図10(c)はデータ送信リクエストに対する応答であり、サーバでデータ受信が成功したか失敗したかを示す数値をMAV_Responseというタグで応答を挟んで返送する。
【0043】
図11は、図10で説明したようなリクエストおよび応答を用いたサーバとロボットとの間のやりとりを示すシーケンス図である。
【0044】
ロボットは、通信の開始時にまず、ユーザIDおよびパスワードを含むPOSTデータを生成し(S1)、サーバに対して処理開始リクエストを発行する(S2)。これに対してサーバは認証が成功したら、認証成功の応答およびセッションIDを返送する(S3)。セッションIDは認証以降の通信に関しては使い捨てで割り当てられる任意のIDであり、これを利用し、個人を特定している。これはセキュリティ上、ポーリングの度にパスワード情報を転送することは問題であるためであり、ポーリング中に第三者が偽ってアクセスした場合にも、既にポーリングしているセッションIDが生きている場合に同ユーザに対する2重ポーリングを感知し、不正アクセスを防止するためである。
【0045】
ロボットはこの認証結果を確認する(S4)。認証成功であればセッションIDを取得する。認証失敗の場合はリトライがなされ、リトライによっても成功しない場合にはサーバにエラーが通知される。
【0046】
認証成功後、ロボットはコマンドチェックPOSTデータを生成し(S5)、これによりサーバに対してコマンド取得リクエストが発行される(S6)。サーバはこれに応答して、ポーリング間隔変更(この例ではポーリング間隔60秒)のコマンドを返す(S7)。ポーリング間隔のデフォルト値は180秒とする。ロボットは受信したコマンドを確認して(S8)、指定されたポーリング間隔の時間待機し(S9)、その後、コマンド取得リクエストを発行する(S10)。
【0047】
このコマンド取得リクエストに対してサーバが一面撮影のコマンドを返したとする(S11)。ロボットはこのコマンドを確認すると(S12)、一面撮影を行う(S13)。コマンドにカメラ角度が指定されていれば、その角度で撮影を行う。ロボットは、この撮影データを含むPOSTデータを生成し(S14)、これをサーバに送信する(S15)。コマンドがパノラマ撮影の場合にはロボットはパノラマ撮影を行い、すべての角度の撮影画像をサーバに順次送信する。
【0048】
サーバはデータ受信成功か否かの応答を返す(S16)。図の例では成功の場合を示している。ロボットは送信結果の確認を行う(S17)。失敗の場合には再送を行い、それでも失敗の場合にはサーバにエラーの通知を行う。
【0049】
ロボットはその後先のポーリング間隔でコマンド取得リクエストを発行する(S18)。ここでサーバがポーリング間隔変更(この例では30秒)のコマンドを返したとする(S19)。ロボットはこのコマンドを確認し(S20)、以後、この新たなポーリング間隔でコマンド取得リクエストを発行する(S22)。サーバはロボットに対して渡すべきコマンドがないときには、その旨を応答する(S23)。
【0050】
図12は、携帯端末、サーバ、ロボットの3者の間のやりとりの例を示すシーケンス図である。この例では、図11で説明したようなロボットとサーバ間の処理が開始されており、ロボットは指定されたポーリング間隔A(間隔長)で周期的にサーバにアクセスしているものとする。ポーリング間隔は図示するように、ユーザのアクセス状態等に応じ何段階かに変化するものとする。
【0051】
携帯端末において、図3に示したようなユーザインタフェース画面でユーザがロボットアイテムを選択すると(S31)、サーバに対してロボットのオープンが指示される(S32)。これに伴って、携帯端末ではロボットアイテムを展開(拡大)し、操作ボタンを無効化(Disable)するとともに、周期的にサーバにおけるデータ更新チェックを行うためにポーリングフラグをONする(S33)。操作ボタンを無効化するのは周期的なポーリング処理に対して、ユーザ操作の影響を与えないようにするためである。
【0052】
一方、ロボットはあるポーリングによる取得データチェック時に、サーバのデータベースの自己の記憶領域に一時蓄積されたロボットオープンのコマンドを確認すると(S51)、所定の撮影(この例ではパノラマ撮影)を行う(S52)。この撮影データをデータ送信用にパッキングして(S53)、サーバに画像アップロードを行い(S54)、それが成功したことを確認する(S55)。
【0053】
この時点で、携帯端末は周期的にデータ更新チェックを行っており、画像アップロード後のデータ更新チェック(S34)でデータ更新があった(画像がアップロードされた)ことを確認すると、ロボットのポーリング間隔を短く(ポーリング間隔C)するように指示する。これによって、ロボットのコマンド取得頻度が上がり、コマンドへの即応性が上がる。携帯端末は、さらに、操作ボタンをイネーブル化して、ポーリングフラグをOFFにする(S35)。なお、ロボットのポーリング間隔は短く設定された後、所定の時間で自動的に中レベルのポーリング間隔(B)に戻るように設定されている。
【0054】
携帯端末で更新ボタン(図3(c)のメニュー項目「はい」に相当)が押されると(S36)、サーバにアクセスして撮影データの取得(ダウンロード)を行い(S37)、これを画面に表示する(S38)。サーバの記憶容量の節約のため、ダウンロードされた撮影データは、自動的にサーバから削除されるようにしてもよい。
【0055】
その後、携帯端末において撮影ボタン(図4の一面撮影またはパノラマ撮影)が押されると、ポーリングフラグがONされ(S39)、サーバに撮影を指示した後(S40)、携帯端末の周期的なデータ更新チェックが始まる(S41)。
【0056】
ポーリングにより撮影指示を確認(S56)したロボットは撮影を行い(S57)、データパッキング後(S58)、サーバへ画像アップロードを行う(S59)。
【0057】
これに対して携帯端末は、データ更新チェック時(S42)に画像アップロードを確認すると、ロボットのポーリング周期を短くし、自己のポーリングフラグをOFFにする(S43)。そこで、サーバから撮影データを取得し(S44)、これを表示する(S45)。
【0058】
図13に、本実施の形態における携帯端末の処理のフローチャートを示す。携帯端末は、図3(a)に示したユーザインタフェース画面でロボットアイテムが選択されたら(S61,Yes)、図3(b)のように画面展開を行い、機能選択を促す(S62)。カメラ機能が選択されたら(S63,Yes)、図3(c)のように前回撮ったイメージを取り込むか否かの確認ダイアログを表示する(S64)。前回撮ったイメージを取り込む場合には(S65,Yes)、後述するステップS68へ移行する。
【0059】
前回撮ったイメージを取り込まない場合には、パノラマ撮影の撮影コマンドをサーバに送る(S66)。携帯端末によるサーバへのポーリングによりイメージが更新されたことが確認された場合、サーバに対して複数画面の各イメージの取得のリクエストを送り、その撮影データの取得および表示(図4)を行う(S68)。パノラマ画面の表示時には、現在のスクロール位置に合った角度のロボット頭部の画像を表示する。このような角度の異なるロボット頭部の画像は、角度毎に別個の画像を用意しておくか、あるいは、1つの画像を回転させて用いる。いずれにせよ、このような画像データは本アプリケーションを携帯端末へインストールすることに併せてメモリ内に保存することができる。
【0060】
その後、「一面撮影」が選択された場合(S69,Yes)、現在のスクロール位置から角度を割り出し、その角度での一面撮影コマンドをサーバへ送信する(S70)。サーバへのポーリングにより画面更新が確認されるのを待って(S71)、サーバへのイメージ取得のリクエストを送信し、撮影データを取得、表示する(S72)。パノラマ撮影が選択された場合(S73,Yes)、パノラマ撮影コマンドをサーバへ送信する(S74)。その後、サーバへのポーリングにより画面更新が確認されるのを待って(S75)、サーバへのイメージ取得のリクエストを送信し、撮影データを取得、表示する(S76)。
【0061】
画面上で「戻る」が選択された場合(S77,Yes)、最初のステップS61へ戻る。
【0062】
図14に、本実施の形態におけるロボットの処理のフローチャートを示す。
【0063】
ロボットは、設定されたポーリング周期の到来毎に(S81,Yes)、サーバへのポーリングを行う(S82)。このポーリングでサーバからコマンド等のデータを取得し、その取得データをチェックする(S83)。一面撮影が指示されている場合には、方向(および可能であれば倍率)をチェックしして(S85)、指示された方向(および可能であれば倍率)でカメラ撮影を行う(S86)。この撮影データをサーバへ送信(アップロード)する(S87)。
【0064】
パノラマ撮影が指示されている場合には、多画面(上述した5方向)の撮影を順次実行し(S89)、この多画面の撮影データをサーバへ順次送信する(S90)。
【0065】
取得データが他のコマンドである場合には(S91)、そのコマンドを実行する(S92)。この終了後、またはコマンドがない場合、最初のステップS81へ戻る。
【0066】
次に本発明の他の実施の形態について説明する。前述のようにロボットにはカメラおよび各種センサが搭載されており、ロボットによりロボット自身に対する外部からの働きかけの有無やロボット周囲の状況の変化をイベントとして自動的に検出することができる。そこで、検出対象のイベントを予め決めてそのイベントの発生を監視し、イベントの発生後、そのことをサーバを介して携帯端末が認識可能とし、携帯端末がイベントの発生を認識したとき、そのイベントの内容をグラフィックユーザインタフェース画面に反映させる。これによって、ユーザはロボットが置かれた室内の状況等の変化を、視覚的に容易にかつ即座に認識することができる。
【0067】
図15に本実施の形態において用いるイベントテーブル150の構成例を示す。このイベントテーブル150はロボットに保持し、ロボットが該当するイベントを検出したときに、対応するグラフィックユーザインタフェース画面の変化(GUI変化)の内容を指示するデータをサーバ経由で携帯端末に与える。このテーブル例では、6つのイベントを定義している。
【0068】
第1のイベントはカメラの複数方向の撮影データに基づいてロボット周辺の平均輝度を求め、その平均輝度の変化(例えば予め定められた所定量の変化)が検出されることである。このときのGUI変化は、グラフィックユーザインタフェース画面において部屋の明るさを対応して変更することである。
【0069】
第2のイベントは指定された方向でのカメラの撮影データに基づいて特定位置の輝度の変化が検出されることである。特定位置は例えばロボットの置かれた部屋にあるテレビの位置あるいは窓の位置である。テレビ画面の明るさの変化はテレビの電源がON/OFFの変化を示すものと考えられる。窓の明るさの変化は窓の外の明るさの変化を示す。これらのイベントに応じたGUI変化としては、グラフィックユーザインタフェース画面内のテレビアイコンの表示変化を行ったり、窓アイコンの明るさの変更を行ったりする。
【0070】
第3のイベントは、ロボットがそのマイクにより予め定めた閾値以上の音を検出することである。この場合、テレビOFFの場合であれば、来客によるインターフォンの鳴動等が原因と判断され、マスコットの表示態様を変える(例えばマスコットの向きを左右に振らせてキョロキョロしている感じを出す)。これに併せて、例えば「インターフォンが鳴りました」のようなメッセージを表示してもよい。
【0071】
第4のイベントは、ロボットが内部の温度センサにより所定の温度の変化を検出することである。この温度変化は、検出温度が予め定めた温度以上または以下になること、予め定めた温度差以上の変化があったこと等である。対応するGUI変化としては、例えば、ロボットアイコンや部屋の雰囲気(色など)を変えることである。GUI画面において温度計による温度表示を行ってもよい。
【0072】
第5のイベントは、ロボットが外力によって手や足、首の関節に設置された動作センサが作動したことである。これはロボットを人が持ち上げたような場合に相当する。対応するGUI変化としては、例えば、ロボットアイコンに所定の動作(例えばピョコンピョコンとはねる動作)をさせるものである。これに併せて、例えば「ロボットが持ち上げられました」のようなメッセージを表示してもよい。
【0073】
第6のイベントは、ロボットがその頭部等に設けられたタッチセンサへのタッチを検出することである。これは人がロボットにタッチした場合である。このときの対応するGUI変化としては、例えば、ロボットアイコンに所定の動作(例えば首を上下させる動作)をさせるものである。これに併せて、例えば「ロボットの頭がなでられました」のようなメッセージを表示してもよい。
【0074】
図16は図15のイベントテーブル150を用いるロボットの処理を示すフローチャートである。イベントチェック周期が到来したら(S101,Yes)、カメラや各種センサの出力に基づいてイベント発生のチェックを行う(S102)。イベントが検出されたら(S103,Yes)、イベントテーブルを参照し、そのイベントに対応するGUI変化の指示をサーバ経由で携帯端末へ与える(S104)。全イベントのチェックが終わるまで(S105)、S102〜S104の処理を繰り返す。全イベントのチェックが終わったら、最初のステップS101へ戻る。
【0075】
図17は図16のロボットの処理に対応する携帯端末の処理を示すフローチャートである。携帯端末は、データ更新チェック周期が到来したら(S111,Yes)、サーバにアクセスしてデータ更新の有無をチェックする(S112)。更新がなければステップS111に戻る。更新があったならば(S113)、指示されたGUI変化に応じてGUI表示の変更を行う(S114)。
【0076】
この第2の実施の形態の変形例として、イベントテーブル150を携帯端末側に保持しておき、ロボットはイベントに関係するカメラやセンサ等の出力データを周期的にサーバに送信し、携帯端末においても周期的にサーバからその出力データを受信して、当該イベントテーブル150に照らして検出したイベントをGUI変化に反映させるようにすることも可能である。
【0077】
さらなる変形例として、サーバにイベントテーブル150を保持しておき、サーバはロボットからイベントに関係するカメラやセンサ等の出力データを周期的に受信して、イベントテーブル150に照らしてイベントの発生を検出し、該当するGUI変化の指示を携帯端末に与えるようにすることも可能である。
【0078】
さらに上記以外のイベントとして、下記のような例が考えられる。
A.誰かが帰宅した場合、ある時点で輝度が急激に変化すると考えられ、このような輝度変化を感知した場合、「帰宅」イベントと判断し、これをGUI画面に何らかの形態で反映させる。
B.ロボットの頭を3回叩く、腕を伸ばす、などロボットに接触することをそれぞれ別のイベントとして検出し、これらに対応して「連絡して」「荷物が届いた」「雨が降ってきた」「遅くまで頑張ってるね」など伝言としてのメッセージをGUI画面に表示させる。これは、電話やメールなど通信手段を使いこなせない子供やお年寄りにとって有効と考えられる。
C.ロボットを通して限られたコミュニケーションを行うことも可能である。まず、携帯端末からロボットにあるポーズをとるようにコマンドを送り、家庭内に居る人や、利口なペットなどが反応し、腕を押す、頭をなでるなどした時に、ロボットは応答データをサーバに返す。携帯端末では、しばらくポーリングを行い、誰かが接触したことが分かると、アイコン表示が変化するなどで、明確ではないが漠としたコミュニケーションを実現することが出来る。これは、外出先で暇な時に家との繋がりを楽しむというレベルの利用である。
【0079】
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも、種々の変形、変更が可能である。
例えば、第2の実施の形態は第1の実施の形態とは独立に実施可能である。
サーバでのサービスの利用、携帯端末やロボットにインストールするアプリケーションへの課金やロボットのパッケージ販売など、ビジネス化が可能である。
なお、サーバは必ずしも必須の要素ではなく、サーバを省略し携帯端末から直接ロボットを制御するようにしてもよい。
パノラマ撮影のカメラの角度は5方向180度としたが、その方向数および角度範囲はこれらに限るものではない。
【0080】
【発明の効果】
本発明による通信ネットワークシステムによれば、カメラ付きロボットおよび携帯端末を用いて、遠隔的にカメラ付きロボットによるパノラマ撮影を行い、その複数の画面の画像を携帯端末においてパノラマ画像として表示することができる。パノラマ画像は、単なる一枚画像に比べ、部屋の様子などを認識するには手軽で効果的である。携帯端末におけるパノラマ画像の表示にはスクロール表示を行うことにより、画面を縮小することなく全体の画像を視認することができる。また、所望のスクロール位置で1面画像の撮影を可能とすることにより、パノラマ画像の複数の画面の継ぎ目にあたる方向等、任意のカメラ角度の1面画像を容易に再撮影することができる。さらに、現在のスクロール位置に対応するカメラ角度を示す角度識別情報を併せて表示することにより、現在表示されている画像のカメラ角度を容易に認識することができる。
【0081】
また、本発明のパノラマ画像の合成方法によれば、携帯端末の画面単位の半透明合成方法を用いて、隣接するカメラ角度の撮影画像の継ぎ目の画像部分のずれを目立たなくすることができる。
【0082】
さらに、本発明による他の通信ネットワークシステムによれば、カメラ付きロボットを利用したイベント発生の監視結果を、そのイベントの種類に応じてグラフィックユーザインタフェース画面の表示に反映させることにより、遠隔地の室内等でのイベントの発生を携帯端末の表示画面上で容易にかつ即座に認識することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態における通信ネットワークシステムの概略構成を示す図である。
【図2】図1のシステムの各部の概略の内部構成例を示すブロック図である。
【図3】図の携帯端末におけるユーザインタフェース画面の例を示す図である。
【図4】本発明の実施の形態におけるパノラマ撮影による画像を表示した画面例を示す図である。
【図5】本発明の実施の形態におけるロボットによるパノラマ撮影の説明図である。
【図6】本発明の実施の形態における、重複した隣接画面の合成方法を説明するための図である。
【図7】図5に示した5つの画面の例について図6に示した合成方法を適用する工程の説明図である。
【図8】図5に示した5つの画面の例について図6に示した合成方法を適用した結果を示す図である。
【図9】本発明の実施の形態においてロボットがサーバに対して発行する要求(リクエスト)の例を示す図である。
【図10】ロボットの各種リクエストに対応する応答の例を示す図である。
【図11】図10で説明したようなリクエストおよび応答を用いたサーバとロボットとの間のやりとりを示すシーケンス図である。
【図12】本発明の実施の形態における携帯端末、サーバ、ロボットの3者の間のやりとりの例を示すシーケンス図である。
【図13】本発明の実施の形態における携帯端末の処理のフローチャートである。
【図14】本発明の実施の形態におけるロボットの処理のフローチャートである。
【図15】本発明の実施の形態において用いるイベントテーブルの構成例を示す図である。
【図16】図15のイベントテーブルを用いるロボットの処理を示すフローチャートである。
【図17】図16のロボットの処理に対応する携帯端末の処理を示すフローチャートである。
【符号の説明】
100…携帯端末、101,201,301…制御部、102…表示部、103…入力部、105…ROM、106…RAM、107,305…スピーカ、108,304…マイク、109…無線通信部、150…イベントテーブル、200…サーバ、202,302…メモリ、209,319…ネットワークI/F部、205…データベース、300…ロボット、303…センサ群、306…LED、308…可動部、310…カメラ
Claims (12)
- 入力操作部、画面表示部およびデータ通信機能を備えた携帯端末装置と、
複数の角度で撮影可能なカメラおよびデータ通信機能を備えたロボットと、
このロボットおよび前記携帯端末装置とデータ通信を行うサーバとを備えた通信ネットワークシステムにおいて、
前記ロボットは前記サーバを介して前記携帯端末装置からのパノラマ撮影の指示を確認したとき、予め定めた複数の角度で各画面の境界部分が重複するように水平方向に連続する複数の画面の撮影を順次行い、これにより得られた撮影画像データを前記サーバに対して送信し、
前記サーバは前記パノラマ撮影による複数の撮影画像データを記憶手段に蓄積し、
前記携帯端末装置は、前記サーバから前記パノラマ撮影による複数の撮影画像データを受信し、これら複数の撮影画像データを重複部分を重ねて合成してパノラマ画像を生成し、ユーザの指示に応じて前記パノラマ画像をスクロールして表示画面に表示するとともに、任意のスクロール位置においてユーザからの指示により1画面撮影の指示を受けたとき、そのスクロール位置に対応するカメラ角度を求めて前記サーバ経由で前記ロボットに1画面撮影指示を与え、
前記ロボットは前記1画面撮影指示を受けて当該指示されたカメラ角度で1画面撮影を行い、その撮影画像データを前記サーバに対して送信し、
前記携帯端末装置は前記サーバから前記1画面撮影による撮影画像情報を受信して表示画面に表示する
ことを特徴とする通信ネットワークシステム。 - 前記ロボットは前記サーバに対して周期的にポーリングを行うことにより、前記サーバとの間でデータの授受を行うことを特徴とする請求項1記載の通信ネットワークシステム。
- 前記ロボットの前記サーバに対するポーリングの周期は、前記携帯端末からの操作に応じて変更されることを特徴とする請求項2記載の通信ネットワークシステム。
- 前記前記携帯端末装置は前記サーバに対して周期的にポーリングを行うことにより、前記サーバとの間でデータの授受を行うことを特徴とする請求項1記載の通信ネットワークシステム。
- 前記携帯端末装置はスクロールによる画像表示時に、現在のスクロール位置に対応するカメラ角度を示す角度識別情報を併せて表示することを特徴とする請求項1記載の通信ネットワークシステム。
- 前記角度識別情報は、前記カメラ角度に対応した向きの前記ロボットの頭を示す画像である請求項5記載の通信ネットワークシステム。
- 入力操作部、画面表示部およびデータ通信機能を備えた携帯端末装置であって、
前記データ通信機能により撮影画像データを受信する手段と、
撮影画像データを表示する画面表示部と、
パノラマ撮影による複数の撮影画像データについて、これら複数の撮影画像データを重複部分を重ねて合成してパノラマ画像を生成する手段と、
前記入力操作部によるユーザの指示に応じて前記パノラマ画像をスクロールして前記画面表示部の表示画面に表示する手段と、
任意のスクロール位置においてユーザからの指示により1画面撮影の指示を受けたとき、そのスクロール位置に対応するカメラ角度を求めて前記ロボットに対する1画面撮影指示を与える手段と、
を備えたことを特徴とする携帯端末装置。 - 前記パノラマ画像を生成する手段は、前記パノラマ撮影による複数の撮影画像データのうち奇数番目の画面の撮影画像データに対して偶数番目の撮影画像データを、前記境界部分を重ねて合成し、この合成された撮影画像データに対して、さらに、奇数番目の画面の撮影画像データを、当該各奇数番目の画面の位置において、50%透明の関係で合成することを特徴とする請求項7記載の携帯端末装置。
- 入力操作部、画面表示部およびデータ通信機能を備えた携帯端末装置において動作するコンピュータプログラムであって、
パノラマ撮影による複数の撮影画像データについて、これら複数の撮影画像データを重複部分を重ねて合成してパノラマ画像を生成するステップと、
前記入力操作部によるユーザの指示に応じて前記パノラマ画像をスクロールして前記画面表示部の表示画面に表示するステップと、
任意のスクロール位置においてユーザからの指示により1画面撮影の指示を受けたとき、そのスクロール位置に対応するカメラ角度を求めて前記ロボットに対する1画面撮影指示を与えるステップと、
を備えたことを特徴とするコンピュータプログラム。 - 携帯端末装置におけるパノラマ画像の合成方法であって、
境界部分が重複した水平方向に連続する複数の画面の撮影画像データを受信するステップと、
奇数番目の画面の撮影画像データに対して偶数番目の撮影画像データを、前記境界部分を重ねて合成するステップと、
この合成された撮影画像データに対して、さらに、奇数番目の画面の撮影画像データを、当該各奇数番目の画面の位置において、50%透明の関係で合成するステップと、
を備えたことを特徴とするパノラマ画像の合成方法。 - 入力操作部、画面表示部およびデータ通信機能を備えた携帯端末装置と、
複数の角度で撮影可能なカメラおよびデータ通信機能を備えたロボットと、
このロボットおよび前記携帯端末装置とデータ通信を行うサーバとを備えた通信ネットワークシステムにおいて、
前記ロボットは、光、音、接触の少なくとも一つを感知する感知手段と、これらの感知結果に基づいて予め定められたイベントの発生が検知されたとき、前記サーバを介して当該イベントの発生を通知する通知手段とを有し、
前記携帯端末装置は、前記画面表示部において、仮想的な部屋の中に機器および機能を表すアイコンおよびロボットおよび/またはキャラクタを表すアイコンを含むグラフィックユーザインタフェース画面を表示するとともに、前記サーバを介して当該イベントの発生を検知したとき、前記グラフィックユーザインタフェース画面の表示に反映させることを特徴とする通信ネットワークシステム。 - 前記ロボットは、予め定められたイベントとして、前記感知手段の感知結果の内容を定めるとともに、各イベントに対応する前記グラフィックユーザインタフェース画面の変換内容を定めたイベントテーブルを有し、前記通知手段は前記検知手段の出力を前記イベントテーブルの内容に照らしてイベントの発生を検知するとともに、当該イベントに対応するグラフィックユーザインタフェース画面の変化内容を特定することを特徴とする請求項11記載の通信ネットワークシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003032202A JP4350389B2 (ja) | 2003-02-10 | 2003-02-10 | 通信ネットワークシステム、携帯端末装置およびコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003032202A JP4350389B2 (ja) | 2003-02-10 | 2003-02-10 | 通信ネットワークシステム、携帯端末装置およびコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004242244A true JP2004242244A (ja) | 2004-08-26 |
JP4350389B2 JP4350389B2 (ja) | 2009-10-21 |
Family
ID=32958518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003032202A Expired - Fee Related JP4350389B2 (ja) | 2003-02-10 | 2003-02-10 | 通信ネットワークシステム、携帯端末装置およびコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4350389B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008252376A (ja) * | 2007-03-29 | 2008-10-16 | Kyocera Corp | 携帯端末装置 |
US7756322B2 (en) | 2003-08-18 | 2010-07-13 | Honda Motor Co., Ltd. | Picture taking mobile robot |
JP2011024015A (ja) * | 2009-07-16 | 2011-02-03 | Emprie Technology Development LLC | 撮影システム、移動体、撮影制御方法 |
JP2013172434A (ja) * | 2012-02-23 | 2013-09-02 | Jvc Kenwood Corp | カメラ遠隔制御装置、カメラ遠隔制御方法、カメラ遠隔制御プログラム |
JP2013188840A (ja) * | 2012-03-14 | 2013-09-26 | Toyota Motor Corp | 作業支援装置 |
JP2015069297A (ja) * | 2013-09-27 | 2015-04-13 | 大和ハウス工業株式会社 | 状態監視システム |
JP2015159392A (ja) * | 2014-02-24 | 2015-09-03 | 株式会社オプティム | オペレータ端末、携帯端末、指示送信方法、オペレータ端末用プログラム |
JP2016219923A (ja) * | 2015-05-15 | 2016-12-22 | 株式会社日立ビルシステム | 映像監視システム及び映像配信サーバ |
CN110336957A (zh) * | 2019-06-10 | 2019-10-15 | 北京字节跳动网络技术有限公司 | 一种视频制作方法、装置、介质和电子设备 |
JP2022078760A (ja) * | 2020-11-13 | 2022-05-25 | 本田技研工業株式会社 | 遠隔操作システム、移動ロボット、及び操作端末 |
JP2022078761A (ja) * | 2020-11-13 | 2022-05-25 | 本田技研工業株式会社 | 遠隔表示システム、ロボット、及び表示端末 |
CN116260901A (zh) * | 2023-03-16 | 2023-06-13 | 中国工商银行股份有限公司 | 用户多角度影像采集方法、装置及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH118844A (ja) * | 1997-04-21 | 1999-01-12 | Sony Corp | 撮像装置コントローラおよび撮像システム |
WO2001084260A2 (en) * | 2000-05-01 | 2001-11-08 | Irobot Corporation | Method and system for remote control of mobile robot |
JP2001333327A (ja) * | 2000-03-14 | 2001-11-30 | Fuji Photo Film Co Ltd | デジタルカメラおよび画像処理方法 |
JP2002213984A (ja) * | 2001-01-12 | 2002-07-31 | Oojisu Soken:Kk | パノラマ画像による案内システム、中央装置及び端末装置、並びにコンピュータプログラム及び記録媒体 |
JP2002261966A (ja) * | 2000-09-08 | 2002-09-13 | Matsushita Electric Works Ltd | コミュニケーション支援システムおよび撮影装置 |
-
2003
- 2003-02-10 JP JP2003032202A patent/JP4350389B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH118844A (ja) * | 1997-04-21 | 1999-01-12 | Sony Corp | 撮像装置コントローラおよび撮像システム |
JP2001333327A (ja) * | 2000-03-14 | 2001-11-30 | Fuji Photo Film Co Ltd | デジタルカメラおよび画像処理方法 |
WO2001084260A2 (en) * | 2000-05-01 | 2001-11-08 | Irobot Corporation | Method and system for remote control of mobile robot |
JP2002261966A (ja) * | 2000-09-08 | 2002-09-13 | Matsushita Electric Works Ltd | コミュニケーション支援システムおよび撮影装置 |
JP2002213984A (ja) * | 2001-01-12 | 2002-07-31 | Oojisu Soken:Kk | パノラマ画像による案内システム、中央装置及び端末装置、並びにコンピュータプログラム及び記録媒体 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7756322B2 (en) | 2003-08-18 | 2010-07-13 | Honda Motor Co., Ltd. | Picture taking mobile robot |
JP2008252376A (ja) * | 2007-03-29 | 2008-10-16 | Kyocera Corp | 携帯端末装置 |
US9237267B2 (en) | 2009-07-16 | 2016-01-12 | Empire Technology Development Llc | Imaging systems, moving bodies, and imaging control methods for remote monitoring of a moving target |
JP2011024015A (ja) * | 2009-07-16 | 2011-02-03 | Emprie Technology Development LLC | 撮影システム、移動体、撮影制御方法 |
US8817118B2 (en) | 2009-07-16 | 2014-08-26 | Empire Technology Development Llc | Imaging systems, moving bodies, and imaging control methods for remote monitoring of a moving target |
JP2013172434A (ja) * | 2012-02-23 | 2013-09-02 | Jvc Kenwood Corp | カメラ遠隔制御装置、カメラ遠隔制御方法、カメラ遠隔制御プログラム |
JP2013188840A (ja) * | 2012-03-14 | 2013-09-26 | Toyota Motor Corp | 作業支援装置 |
JP2015069297A (ja) * | 2013-09-27 | 2015-04-13 | 大和ハウス工業株式会社 | 状態監視システム |
JP2015159392A (ja) * | 2014-02-24 | 2015-09-03 | 株式会社オプティム | オペレータ端末、携帯端末、指示送信方法、オペレータ端末用プログラム |
JP2016219923A (ja) * | 2015-05-15 | 2016-12-22 | 株式会社日立ビルシステム | 映像監視システム及び映像配信サーバ |
CN110336957A (zh) * | 2019-06-10 | 2019-10-15 | 北京字节跳动网络技术有限公司 | 一种视频制作方法、装置、介质和电子设备 |
CN110336957B (zh) * | 2019-06-10 | 2022-05-03 | 北京字节跳动网络技术有限公司 | 一种视频制作方法、装置、介质和电子设备 |
JP2022078760A (ja) * | 2020-11-13 | 2022-05-25 | 本田技研工業株式会社 | 遠隔操作システム、移動ロボット、及び操作端末 |
JP2022078761A (ja) * | 2020-11-13 | 2022-05-25 | 本田技研工業株式会社 | 遠隔表示システム、ロボット、及び表示端末 |
JP7402145B2 (ja) | 2020-11-13 | 2023-12-20 | 本田技研工業株式会社 | 遠隔操作システム、移動ロボット、及び操作端末 |
JP7402784B2 (ja) | 2020-11-13 | 2023-12-21 | 本田技研工業株式会社 | 遠隔表示システム、ロボット、及び表示端末 |
CN116260901A (zh) * | 2023-03-16 | 2023-06-13 | 中国工商银行股份有限公司 | 用户多角度影像采集方法、装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
JP4350389B2 (ja) | 2009-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020108261A1 (zh) | 拍摄方法及终端 | |
US7652693B2 (en) | Portable telephone capable of recording a composite image | |
JP4350389B2 (ja) | 通信ネットワークシステム、携帯端末装置およびコンピュータプログラム | |
US20060132605A1 (en) | Image providing service system | |
JP2022137135A5 (ja) | コンピュータシステム及びサービス提供方法 | |
CN109076161A (zh) | 一种图像处理方法、移动平台、控制设备及系统 | |
JP2005176301A (ja) | 画像処理装置、ネットワークカメラシステム、画像処理方法、及びプログラム | |
JP5632035B2 (ja) | 遠隔作業支援システム及び遠隔作業支援プログラム | |
JP2010519866A (ja) | ビデオ通話を利用した装置制御 | |
JP6216109B2 (ja) | 表示制御装置,表示制御プログラムおよび表示制御方法 | |
JP2006245822A (ja) | 画像配信システム | |
CN109474786A (zh) | 一种预览图像生成方法及终端 | |
CN112118390A (zh) | 摄像头的控制方法、装置、电子设备及存储介质 | |
JP2007274216A (ja) | 送信装置、受信装置、通信システム | |
CN104903844A (zh) | 用于呈现网络和相关联的移动设备中的数据的方法 | |
WO2022048372A1 (zh) | 图像处理方法、移动终端及存储介质 | |
JP2014204412A (ja) | 情報処理装置及びプログラム | |
JP2004040221A (ja) | 画像配信システム | |
JPH10336503A (ja) | 画像処理装置及び方法及び記憶媒体 | |
CN110493457A (zh) | 一种终端设备控制方法及终端设备 | |
JP2006245823A (ja) | 画像配信システム | |
CN114285980B (zh) | 视频录制方法、装置及电子设备 | |
JP6008759B2 (ja) | 監視装置、監視システムおよび監視支援プログラム | |
JP6575561B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2003168021A (ja) | 画像伝送システム、通信制御装置及び通信制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060105 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20071016 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20071016 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081021 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090701 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090722 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130731 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |