JP2009118273A - 画像データ送信装置、画像表示装置、ビデオサーバー装置、画像表示プログラム、画像表示支援プログラム、及び画像表示システム - Google Patents

画像データ送信装置、画像表示装置、ビデオサーバー装置、画像表示プログラム、画像表示支援プログラム、及び画像表示システム Download PDF

Info

Publication number
JP2009118273A
JP2009118273A JP2007290137A JP2007290137A JP2009118273A JP 2009118273 A JP2009118273 A JP 2009118273A JP 2007290137 A JP2007290137 A JP 2007290137A JP 2007290137 A JP2007290137 A JP 2007290137A JP 2009118273 A JP2009118273 A JP 2009118273A
Authority
JP
Japan
Prior art keywords
image data
wide
angle
display
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007290137A
Other languages
English (en)
Other versions
JP5466360B2 (ja
Inventor
Yutaka Usuda
裕 臼田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Usuda Research Institute & Systems Corp
Original Assignee
Usuda Research Institute & Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Usuda Research Institute & Systems Corp filed Critical Usuda Research Institute & Systems Corp
Priority to JP2007290137A priority Critical patent/JP5466360B2/ja
Publication of JP2009118273A publication Critical patent/JP2009118273A/ja
Application granted granted Critical
Publication of JP5466360B2 publication Critical patent/JP5466360B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】パノラマ画像データ又は広角画像データを表示可能なサイズよりも小さいサイズの表示画面を有する画像表示装置を用いて、操作者に対して不快感の軽減を図る。
【解決手段】動画又は静止画像を含むパノラマ画像データ又は広角画像データを撮像する撮像モジュールと、パノラマ画像データ又は広角画像データに割り当てられた画像IDと、ファイル名と、指定するためのURIと、予め定められた座標系におけるパノラマ画像データ又は広角画像データの中心点の位置座標と、座標系における基準点と中心点との相対的位置関係で規定される方角に関する情報とを含む画像用テーブルのデータを送信する送信モジュールとを備える。
【選択図】図2

Description

本発明は、通信ネットワークを介して送信した、複数の動画又は静止画像を含むパノラマ画像データ又は広角画像データを、外部からの操作によって発生した速度、加速度、及び角速度に基づいて、パノラマ画像データ又は広角画像データの中心点の位置座標の変更、又はパノラマ画像データ又は広角画像データの表示倍率を変更することによって、表示可能なサイズよりも小さい表示画面上で表示させるための画像データ送信装置、画像表示装置、ビデオサーバー装置、画像表示プログラム、画像表示支援プログラム、及び画像表示システムに関する。
近年、情報通信の発達に伴い、携帯電話、PDA(Personal Digital Assistants:携帯情報端末)、スマートフォン、パーソナルコンピュータ等の端末装置が急速に普及してきている。
かかる端末装置を用いて、操作者から選択されたコンテンツを、サーバー装置から通信ネットワークを介してダウンロードして、ダウンロードしたコンテンツを当該端末装置の表示画面に表示させることが可能な画像表示システムが知られている(特許文献1参照)。
また、表示画面上に表示された複数の部分画像から操作者の操作によって選択された機器を遠隔制御することが可能な端末装置も知られている(特許文献2参照)。
更に、表示画面上に表示されたソフトウェアキーボードを操作者の操作によって移動させることが可能な端末装置が知られている(特許文献3参照)。
特開2003−308149号公報 特開2003−308119号公報 特開2003−316502号公報
しかしながら、特許文献1の技術は、表示画面に表示可能なサイズの画像データを表示させる技術であり、表示させようとするパノラマ画像データ又は広角画像データを、当該パノラマ画像データ又は広角画像データのサイズよりも小さなサイズを有する表示画面に表示させようとする場合、例えばパノラマ画像データ又は広角画像データを、表示可能なサイズよりも小さな表示画面に表示させる場合には、この技術をそのまま適用することは出来ない。
また、特許文献2の技術は、制御対象の機器を示す複数の画像を表示画面に選択可能に表示させる技術であり、表示させようとするパノラマ画像データ又は広角画像データを、当該パノラマ画像データ又は広角画像データのサイズよりも小さなサイズを有する表示画面に表示させようとする場合、例えばパノラマ画像データ又は広角画像データを表示可能なサイズよりも小さな表示画面に表示させる場合には、特許文献1の技術と同様に、この技術をそのまま適用することは出来ない。
更に、特許文献3の技術は、ソフトウェアキーボードに関する技術であり、表示させようとするパノラマ画像データ又は広角画像データを、当該パノラマ画像データ又は広角画像データのサイズよりも小さなサイズを有する表示画面に表示させようとする場合、例えばパノラマ画像データ又は広角画像データを、表示可能なサイズよりも小さな表示画面に表示させる場合には、特許文献1の技術と同様にこの技術をそのまま適用することは出来ない。
一般に、パノラマ画像データ又は広角画像データを当該パノラマ画像データ又は広角画像データが表示可能なサイズよりも小さなサイズを有する表示画面に表示させた場合、パノラマ画像データ又は広角画像データのうち表示画面に表示されない部分が生じてしまい、表示されない部分のパノラマ画像データ又は広角画像データを操作者が視認することが出来ないので、操作者に対して不快感を与えてしまう可能性がある。
本発明者のパノラマ画像データ又は広角画像データに関する検討によれば、パノラマ画像データ又は広角画像データを、当該パノラマ画像データ又は広角画像データが表示可能なサイズよりも小さなサイズを有する表示画面に表示させた場合、パノラマ画像データ又は広角画像データのうち表示画面に表示されない部分を操作者が何らかの操作を行った場合に表示画面上に視認可能なように表示させることによって、操作者に対して与える不快感の軽減を図ることが可能な画像データ送信装置、画像表示装置、ビデオサーバー装置、画像表示プログラム、画像表示支援プログラム、及び画像表示システムに対する産業界の要望が高まっている。
そこで、本発明は、パノラマ画像データ又は広角画像データを、当該パノラマ画像データ又は広角画像データが表示可能なサイズよりも小さなサイズを有する表示画面に表示させた場合、パノラマ画像データ又は広角画像データのうち表示画面に表示されない部分を操作者が何らかの操作を行った場合に表示画面上に視認可能なように表示させることによって、操作者に対して与える不快感の軽減を図ることが可能な画像データ送信装置、画像表示装置、ビデオサーバー装置、画像表示プログラム、画像表示支援プログラム、及び画像表示システムを提供することを目的とする。
上記課題を解決するために、第1の発明は、複数の動画又は静止画像を少なくとも含むパノラマ画像データ又は広角画像データを撮像する撮像手段と、パノラマ画像データ又は広角画像データに割り当てられた画像IDと、パノラマ画像データ又は広角画像データのファイル名と、パノラマ画像データ又は広角画像データを指定するためのURIと、予め定められた座標系におけるパノラマ画像データ又は広角画像データの中心点の位置座標と、座標系における基準点とパノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報とを少なくとも含む画像用テーブルのデータを、撮像手段によりパノラマ画像データ又は広角画像データを撮像する際、又はパノラマ画像データ又は広角画像データの撮像後に生成するテーブルデータ生成手段と、テーブルデータ生成手段により生成された画像用テーブルのデータと、撮像手段により撮像されたパノラマ画像データ又は広角画像データとを送信する画像データ送信手段とを備えた画像データ送信装置である。
これにより、パノラマ画像データ又は広角画像データを表示可能なサイズよりも小さいサイズの表示画面を有する画像表示装置であっても、テーブルデータ生成手段により生成された画像用テーブルと、速度、加速度、角速度のうち少なくとも何れか1つのデータを検出するセンサーモジュールとを用いることによって、検出された速度、加速度、角速度に応じて、パノラマ画像データ又は広角画像データをスクロール表示したり、パノラマ画像データ又は広角画像データの表示倍率を変更したりして、パノラマ画像データ又は広角画像データを表示可能なサイズよりも小さいサイズの表示画面を有する画像表示装置を用いて表示させることが出来る。
なお、本明細書内では「URI(Uniform Resource Identifier)」とは、インターネットINT上に存在するデータを識別するための識別子のことを意味し、URN(Uniform Resource Name)、及びURL(Uniform Resource Locator)を包含する。
第2の発明は、複数の動画又は静止画像を少なくとも含むパノラマ画像データ又は広角画像データを表示可能なサイズよりも小さいサイズの表示画面を有する表示手段に表示させる画像表示装置であって、パノラマ画像データ又は広角画像データに割り当てられた画像IDと、パノラマ画像データ又は広角画像データのファイル名と、パノラマ画像データ又は広角画像データを指定するためのURIと、予め定められた座標系におけるパノラマ画像データ又は広角画像データの中心点の位置座標と、座標系における基準点とパノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報とを少なくとも含み、外部から送信された画像用テーブルのデータを受信するテーブルデータ受信手段と、テーブルデータ受信手段によって受信された画像用テーブルのデータが記憶されるテーブルデータ記憶手段と、テーブルデータ受信手段により受信された画像用テーブルのデータをテーブルデータ記憶手段に記憶させるテーブルデータ保存手段と、操作者の操作により入力されたパノラマ画像又は広角画像を表示させるための画像表示要求と、画像IDとの入力を受け付ける入力受付手段と、入力受付手段により入力を受け付けた画像IDに対応するパノラマ画像データ又は広角画像データを指定するためのURIをテーブルデータ記憶手段から読み出すURI読み出し手段と、URI読み出し手段により読み出されたURIで指定されるパノラマ画像データ又は広角画像データを、通信ネットワークを介して取得する画像データ取得手段と、画像データ取得手段によって取得されたパノラマ画像データ又は広角画像データが記憶される画像データ記憶手段と、画像データ取得手段によって取得された画像データを画像データ記憶手段に記憶させる画像データ保存手段と、画像データ取得手段により取得したパノラマ画像データ又は広角画像データを、テーブルデータ記憶手段に記憶された位置座標とパノラマ画像データ又は広角画像データの中心点の位置座標とが一致するように配置して表示手段に表示させる第1の表示制御手段と、操作者によって外部から加えられた操作に基づいて、発生した角速度を検出する角速度検出手段と、操作者によって外部から加えられた操作に基づいて、発生した速度を検出する速度検出手段と、操作者によって外部から加えられた操作に基づいて、発生した加速度を検出する加速度検出手段と、角速度検出手段により検出された角速度、速度検出手段により検出された速度、及び加速度検出手段により検出された加速度の少なくとも1つのデータに基づいて、操作による移動距離及び移動角度を算出する変位算出手段と、操作前における表示画面上の基準点の位置座標と、変位算出手段により算出された移動距離及び移動角度とに基づいて、操作後における表示画面上の基準点の位置座標を算出し、表示画面上の基準点の位置座標を操作後における表示画面上の基準点の位置座標に変更して、変更後の表示画面上の基準点を含むパノラマ画像又は広角画像のデータを画像データ記憶手段から読み出して、操作後におけるパノラマ画像データ又は広角画像データを表示手段に表示させる第2の表示制御手段と、操作後における表示画面上の基準点の位置座標と、変位算出手段により算出される移動距離及び移動角度とに基づいて、画像用テーブルのデータに含まれ、かつ、表示中のパノラマ画像データ又は広角画像データに隣接して配置されている他のパノラマ画像データ又は広角画像データの画像IDを特定し、特定した画像IDに対応するURIをテーブルデータ記憶手段から読み出し、読み出したURIに対応するパノラマ画像データ又は広角画像データを、通信ネットワークを介して取得する隣接画像取得手段とを備えた画像表示装置である。
これにより、パノラマ画像データ又は広角画像データを表示可能なサイズよりも小さいサイズの表示画面を有する画像表示装置であっても、テーブルデータ生成手段により生成された画像用テーブルと、速度、加速度、角速度のうち少なくとも何れか1つのデータを検出するセンサーモジュールとを用いることによって、検出された速度、加速度、角速度に応じてパノラマ画像データ又は広角画像データをスクロール表示することで、パノラマ画像データ又は広角画像データを、パノラマ画像又は広角画像を表示可能なサイズよりも小さいサイズの表示画面を有する画像表示装置を用いて表示させることが出来る。
第3の発明は、複数の動画又は静止画像を少なくとも含むパノラマ画像データ又は広角画像データを撮像して送信する画像送信装置と、パノラマ画像データ又は広角画像データを表示する画像表示装置との間のパノラマ画像データ又は広角画像データの伝送を中継するビデオサーバー装置であって、パノラマ画像データ又は広角画像データが記憶されるパノラマ画像データ又は広角画像データ記憶手段と、画像送信装置から送信されたパノラマ画像データ又は広角画像データを受信するパノラマ画像データ又は広角画像データ受信手段と、パノラマ画像データ又は広角画像データ受信手段により受信されたパノラマ画像データ又は広角画像データをパノラマ画像データ又は広角画像データ記憶手段に記憶させるパノラマ画像データ又は広角画像データ書き込み手段と、パノラマ画像データ又は広角画像データ記憶手段に記憶されたパノラマ画像データ又は広角画像データに含まれる画像IDとパノラマ画像データ又は広角画像データのファイル名との組に、少なくともパノラマ画像データ又は広角画像データを指定するためのURIを付与して、画像ID、パノラマ画像データ又は広角画像データのファイル名、及びパノラマ画像データ又は広角画像データを指定するためのURIを含む画像用テーブルのデータを生成するテーブルデータ生成手段と、テーブルデータ生成手段により生成された画像用テーブルのデータをパノラマ画像データ又は広角画像データと関連付けてパノラマ画像データ又は広角画像データ記憶手段に記憶させるテーブルデータ書き込み手段と、テーブルデータ生成手段により生成された画像用テーブルのデータを画像表示装置に送信するテーブルデータ送信手段と、画像表示装置からURIを指定したパノラマ画像データ又は広角画像データの送信要求がある場合に、URIに対応するパノラマ画像データ又は広角画像データをパノラマ画像データ又は広角画像データ記憶手段から読み出すパノラマ画像データ又は広角画像データ読み出し手段と、パノラマ画像データ又は広角画像データ読み出し手段により読み出されたパノラマ画像データ又は広角画像データを送信要求の送信元の画像表示装置に返送する画像データ送信手段とを備えたビデオサーバー装置である。
これにより、画像送信装置が画像用テーブルを生成する機能を有していない場合であっても、ビデオサーバー装置で生成した画像用テーブルを用いて、画像表示装置内で定義された座標系上にパノラマ画像データ又は広角画像データを配置した後、速度、加速度、角速度のうち少なくとも何れか1つのデータを検出するセンサーモジュールを用いることによって、検出された速度、加速度、角速度に応じて、パノラマ画像データ又は広角画像データをスクロール表示したり、パノラマ画像データ又は広角画像データの表示倍率を変更したりして、パノラマ画像データ又は広角画像データを、パノラマ画像又は広角画像を表示可能なサイズよりも小さいサイズの表示画面を有する画像表示装置を用いて表示させることが出来る。
第4の発明は、複数の動画又は静止画像を少なくとも含むパノラマ画像データ又は広角画像データを撮像する撮像工程と、パノラマ画像データ又は広角画像データに割り当てられた画像IDと、パノラマ画像データ又は広角画像データのファイル名と、パノラマ画像データ又は広角画像データを指定するためのURIと、予め定められた座標系におけるパノラマ画像データ又は広角画像データの中心点の位置座標と、座標系における基準点とパノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報とを少なくとも含む画像用テーブルのデータを、撮像工程によりパノラマ画像データ又は広角画像データを撮像する際、又はパノラマ画像データ又は広角画像データの撮像後に生成するテーブルデータ生成工程と、テーブルデータ生成工程により生成された画像用テーブルのデータと、撮像工程により撮像されたパノラマ画像データ又は広角画像データとを送信する画像データ送信工程とを含むパノラマ画像データ又は広角画像データ送信方法である。
これにより、パノラマ画像データ又は広角画像データを表示可能なサイズよりも小さいサイズの表示画面を有する画像表示装置であっても、テーブルデータ生成手段により生成された画像用テーブルと、速度、加速度、角速度のうち少なくとも何れか1つのデータを検出するセンサーモジュールとを用いることによって、検出された速度、加速度、角速度に応じて、パノラマ画像データ又は広角画像データをスクロール表示したり、パノラマ画像データ又は広角画像データの表示倍率を変更したりして、パノラマ画像データ又は広角画像データを、表示可能なサイズよりも小さいサイズの表示画面を有する画像表示装置を用いて表示させることが出来る。
第5の発明は、複数の動画又は静止画像を少なくとも含むパノラマ画像データ又は広角画像データを表示可能なサイズよりも小さいサイズの表示画面を有する表示手段に表示させる画像表示方法であって、パノラマ画像データ又は広角画像データに割り当てられた画像IDと、パノラマ画像データ又は広角画像データのファイル名と、パノラマ画像データ又は広角画像データを指定するためのURIと、予め定められた座標系におけるパノラマ画像データ又は広角画像データの中心点の位置座標と、座標系における基準点とパノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報とを少なくとも含み、外部から送信された画像用テーブルのデータを受信するテーブルデータ受信工程と、テーブルデータ受信工程により受信された画像用テーブルのデータをテーブルデータ記憶手段に記憶させるテーブルデータ保存工程と、操作者の操作により入力されたパノラマ画像又は広角画像を表示させるための画像表示要求と、画像IDとの入力を受け付ける入力受付工程と、入力受付工程により入力を受け付けた画像IDに対応するパノラマ画像データ又は広角画像データを指定するためのURIをテーブルデータ記憶手段から読み出すURI読み出し工程と、URI読み出し工程により読み出されたURIで指定されるパノラマ画像データ又は広角画像データを、通信ネットワークを介して取得する画像データ取得工程と、画像データ取得工程によって取得されたパノラマ画像データ又は広角画像データを画像データ記憶手段に記憶させる画像データ保存工程と、画像データ取得工程により取得したパノラマ画像データ又は広角画像データを、テーブルデータ記憶手段に記憶された位置座標とパノラマ画像データ又は広角画像データの中心点の位置座標とが一致するように配置して前記表示手段に表示させる第1の表示制御工程と、操作者によって外部から加えられた操作に基づいて、発生した角速度を検出する角速度検出工程と、操作者によって外部から加えられた操作に基づいて、発生した速度を検出する速度検出工程と、操作者によって外部から加えられた操作に基づいて、発生した加速度を検出する加速度検出工程と、角速度検出工程により検出された角速度、速度検出工程により検出された速度、及び加速度検出工程により検出された加速度の少なくとも1つのデータに基づいて、操作による移動距離及び移動角度を算出する変位算出工程と、操作前における表示画面上の基準点の位置座標と、変位算出工程により算出された移動距離及び移動角度とに基づいて、操作後における表示画面上の基準点の位置座標を算出し、表示画面上の基準点の位置座標を前記操作後における表示画面上の基準点の位置座標に変更して、変更後の表示画面上の基準点を含むパノラマ画像又は広角画像のデータを画像データ記憶手段から読み出して、操作後におけるパノラマ画像データ又は広角画像データを表示手段に表示させる第2の表示制御工程と、操作後における表示画面上の基準点の位置座標と、変位算出手段により算出される移動距離及び移動角度とに基づいて、画像用テーブルのデータに含まれ、かつ、表示中のパノラマ画像データ又は広角画像データに隣接して配置されている他のパノラマ画像データ又は広角画像データの画像IDを特定し、特定した画像IDに対応するURIをテーブルデータ記憶手段から読み出し、読み出したURIに対応するパノラマ画像データ又は広角画像データを、通信ネットワークを介して取得する隣接画像取得工程とを含む画像表示方法である。
これにより、パノラマ画像データ又は広角画像データを表示可能なサイズよりも小さいサイズの表示画面を有する画像表示装置であっても、テーブルデータ生成手段により生成された画像用テーブルと、速度、加速度、角速度のうち少なくとも何れか1つのデータを検出するセンサーモジュールとを用いることによって、検出された速度、加速度、角速度に応じて、パノラマ画像データ又は広角画像データをスクロール表示することで、パノラマ画像データ又は広角画像データを、表示可能なサイズよりも小さいサイズの表示画面を有する画像表示装置を用いて表示させることが出来る。
第6の発明は、操作者によって外部から加えられた操作に基づいて、発生した角速度を検出する角速度検出手段と、操作に基づいて、発生した速度を検出する速度検出手段と、操作に基づいて、発生した加速度を検出する加速度検出手段とを備え、複数の動画又は静止画像を少なくとも含むパノラマ画像データ又は広角画像データを、角速度、速度、加速度に応じて、表示可能なサイズよりも小さいサイズの表示画面を有する表示手段に表示させる画像表示装置にインストールされた画像表示プログラムであって、画像表示装置のコンピュータに、パノラマ画像データ又は広角画像データに割り当てられた画像IDと、パノラマ画像データ又は広角画像データのファイル名と、パノラマ画像データ又は広角画像データを指定するためのURIと、予め定められた座標系におけるパノラマ画像データ又は広角画像データの中心点の位置座標と、座標系における基準点とパノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報とを少なくとも含み、外部から受信された画像用テーブルのデータをテーブルデータ記憶手段に記憶させるテーブルデータ保存機能、入力を受け付けた画像IDに対応するパノラマ画像データ又は広角画像データを指定するためのURIをテーブルデータ記憶手段から読み出すURI読み出し機能、URI読み出し機能により読み出されたURIで指定され、通信ネットワークを介して取得されたパノラマ画像データ又は広角画像データを画像データ記憶手段に記憶させる画像データ保存機能、通信ネットワークを介して取得されたパノラマ画像データ又は広角画像データを、テーブルデータ記憶手段に記憶された位置座標とパノラマ画像データ又は広角画像データの中心点の位置座標とが一致するように配置して表示手段に表示させる第1の表示制御機能、角速度検出手段により検出された角速度、速度検出手段により検出された速度、及び加速度検出手段により検出された加速度の少なくとも1つのデータに基づいて、操作による移動距離及び移動角度を算出する変位算出機能、操作前における表示画面上の基準点の位置座標と、変位算出機能により算出された移動距離及び移動角度とに基づいて、操作後における表示画面上の基準点の位置座標を算出し、表示画面上の基準点の位置座標を操作後における表示画面上の基準点の位置座標に変更して、変更後の表示画面上の基準点を含むパノラマ画像又は広角画像のデータを画像データ記憶手段から読み出して、操作後におけるパノラマ画像データ又は広角画像データを表示手段に表示させる第2の表示制御機能、操作後における表示画面上の基準位置の位置座標と、変位算出機能により算出される移動距離及び移動角度とに基づいて、画像用テーブルのデータに含まれ、かつ、表示中のパノラマ画像データ又は広角画像データに隣接して配置されている他のパノラマ画像データ又は広角画像データの画像IDを特定し、特定した画像IDに対応するURIをテーブルデータ記憶手段から読み出し、読み出したURIに対応し、通信ネットワークを介して取得されたパノラマ画像データ又は広角画像データを、テーブルデータ記憶手段に記憶された位置座標とパノラマ画像データ又は広角画像データの中心点の位置座標とが一致するように配置して表示手段に表示させる隣接画像表示制御機能を実現させるための画像表示プログラムである。
これにより、パノラマ画像データ又は広角画像データを表示可能なサイズよりも小さいサイズの表示画面を有する画像表示装置であっても、テーブルデータ生成手段により生成された画像用テーブルと、速度、加速度、角速度のうち少なくとも何れか1つのデータを検出するセンサーモジュールとを用いることによって、検出された速度、加速度、角速度に応じてパノラマ画像データ又は広角画像データをスクロール表示することでパノラマ画像データ又は広角画像データを表示可能なサイズよりも小さいサイズの表示画面を有する画像表示装置を用いて表示させることが出来る。
第7の発明は、複数の動画又は静止画像を少なくとも含むパノラマ画像データ又は広角画像データを撮像して送信する画像送信装置と、パノラマ画像データ又は広角画像データを表示する画像表示装置との間のパノラマ画像データ又は広角画像データの伝送を中継するビデオサーバー装置にインストールされた画像表示支援プログラムであって、ビデオサーバー装置のコンピュータに、画像送信装置から受信されたパノラマ画像データ又は広角画像データをパノラマ画像データ又は広角画像データが記憶されるパノラマ画像データ又は広角画像データ記憶手段に記憶させるパノラマ画像データ又は広角画像データ書き込み機能、パノラマ画像データ又は広角画像データ記憶手段に記憶されたパノラマ画像データ又は広角画像データに含まれる画像IDとパノラマ画像データ又は広角画像データのファイル名との組に、少なくともパノラマ画像データ又は広角画像データを指定するためのURIを付与して、画像ID、パノラマ画像データ又は広角画像データのファイル名、及びパノラマ画像データ又は広角画像データを指定するためのURIを含む画像用テーブルのデータを生成するテーブルデータ生成機能、テーブルデータ生成機能により生成された画像用テーブルのデータをパノラマ画像データ又は広角画像データと関連付けてパノラマ画像データ又は広角画像データ記憶手段に記憶させるテーブルデータ書き込み機能、テーブルデータ生成機能により生成された画像用テーブルのデータを画像表示装置に送信するテーブルデータ送信機能、画像表示装置からURIを指定したパノラマ画像データ又は広角画像データの送信要求がある場合に、URIに対応するパノラマ画像データ又は広角画像データをパノラマ画像データ又は広角画像データ記憶手段から読み出すパノラマ画像データ又は広角画像データ読み出し機能、パノラマ画像データ又は広角画像データ読み出し機能により読み出されたパノラマ画像データ又は広角画像データを前記送信要求の送信元の画像表示装置に返送するパノラマ画像データ又は広角画像データ送信機能を実現させるための画像表示支援プログラムである。
これにより、パノラマ画像データ又は広角画像データを表示可能なサイズよりも小さいサイズの表示画面を有する画像表示装置であっても、テーブルデータ生成手段により生成された画像用テーブルと、速度、加速度、角速度のうち少なくとも何れか1つのデータを検出するセンサーモジュールとを用いることによって、検出された速度、加速度、角速度に応じてパノラマ画像データ又は広角画像データをスクロール表示することで、パノラマ画像データ又は広角画像データを表示可能なサイズよりも小さいサイズの表示画面を有する画像表示装置を用いて表示させることが出来る。
第8の発明は、複数の動画又は静止画像を少なくとも含むパノラマ画像データ又は広角画像データを撮像する撮像手段と、パノラマ画像データ又は広角画像データに割り当てられた画像IDと、パノラマ画像データ又は広角画像データのファイル名と、パノラマ画像データ又は広角画像データを指定するためのURIと、予め定められた座標系におけるパノラマ画像データ又は広角画像データの中心点の位置座標と、座標系における基準点とパノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報とを少なくとも含む画像用テーブルのデータを、撮像手段によりパノラマ画像データ又は広角画像データを撮像する際、又はパノラマ画像データ又は広角画像データの撮像後に生成するテーブルデータ生成手段と、テーブルデータ生成手段により生成された画像用テーブルのデータと、撮像手段により撮像されたパノラマ画像データ又は広角画像データとを送信する画像データ送信手段とを備えた画像データ送信装置と、複数の動画又は静止画像を少なくとも含むパノラマ画像データ又は広角画像データに割り当てられた画像IDと、パノラマ画像データ又は広角画像データのファイル名と、パノラマ画像データ又は広角画像データを指定するためのURIと、予め定められた座標系におけるパノラマ画像データ又は広角画像データの中心点の位置座標と、座標系における基準点とパノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報とを少なくとも含み、外部から送信された画像用テーブルのデータを受信するテーブルデータ受信手段と、テーブルデータ受信手段によって受信された画像用テーブルのデータが記憶されるテーブルデータ記憶手段と、テーブルデータ受信手段により受信された画像用テーブルのデータをテーブルデータ記憶手段に記憶させるテーブルデータ保存手段と、操作者の操作により入力されたパノラマ画像又は広角画像を表示させるための画像表示要求と、画像IDとの入力を受け付ける入力受付手段と、入力受付手段により入力を受け付けた画像IDに対応するパノラマ画像データ又は広角画像データを指定するためのURIをテーブルデータ記憶手段から読み出すURI読み出し手段と、URI読み出し手段により読み出されたURIで指定されるパノラマ画像データ又は広角画像データを、通信ネットワークを介して取得する画像データ取得手段と、画像データ取得手段によって取得されたパノラマ画像データ又は広角画像データが記憶される画像データ記憶手段と、画像データ取得手段によって取得された画像データを画像データ記憶手段に記憶させる画像データ保存手段と、画像データ取得手段により取得したパノラマ画像データ又は広角画像データを、テーブルデータ記憶手段に記憶された位置座標とパノラマ画像データ又は広角画像データの中心点の位置座標とが一致するように配置して表示手段に表示させる第1の表示制御手段と、操作者によって外部から加えられた操作に基づいて、発生した角速度を検出する角速度検出手段と、操作者によって外部から加えられた操作に基づいて、発生した速度を検出する速度検出手段と、操作者によって外部から加えられた操作に基づいて、発生した加速度を検出する加速度検出手段と、角速度検出手段により検出された角速度、速度検出手段により検出された速度、及び加速度検出手段により検出された加速度の少なくとも1つのデータに基づいて、操作による移動距離及び移動角度を算出する変位算出手段と、操作前における表示画面上の基準点の位置座標と、変位算出手段により算出された移動距離及び移動角度とに基づいて、操作後における表示画面上の基準点の位置座標を算出し、表示画面上の基準点の位置座標を操作後における表示画面上の基準点の位置座標に変更して、変更後の表示画面上の基準点を含むパノラマ画像又は広角画像のデータを画像データ記憶手段から読み出して、操作後におけるパノラマ画像データ又は広角画像データを表示手段に表示させる第2の表示制御手段と、操作後における表示画面上の基準点の位置座標と、変位算出手段により算出される移動距離及び移動角度とに基づいて、画像用テーブルのデータに含まれ、かつ、表示中のパノラマ画像データ又は広角画像データに隣接して配置されている他のパノラマ画像データ又は広角画像データの画像IDを特定し、特定した画像IDに対応するURIをテーブルデータ記憶手段から読み出し、読み出したURIに対応するパノラマ画像データ又は広角画像データを、通信ネットワークを介して取得する隣接画像取得手段とを備えた画像表示装置とを備えた画像表示システムである。
これにより、パノラマ画像データ又は広角画像データを表示可能なサイズよりも小さいサイズの表示画面を有する画像表示装置であっても、テーブルデータ生成手段により生成された画像用テーブルと、速度、加速度、角速度のうち少なくとも何れか1つのデータを検出するセンサーモジュールとを用いることによって、検出された速度、加速度、角速度に応じて、パノラマ画像データ又は広角画像データをスクロール表示することで、パノラマ画像データ又は広角画像データを表示可能なサイズよりも小さいサイズの表示画面を有する画像表示装置を用いて表示させることが出来る。
第9の発明は、複数の動画又は静止画像を少なくとも含むパノラマ画像データ又は広角画像データを撮像して、撮像したパノラマ画像データ又は広角画像データを送信する画像送信装置と、パノラマ画像データ又は広角画像データが記憶されるパノラマ画像データ又は広角画像データ記憶手段と、画像送信装置から送信されたパノラマ画像データ又は広角画像データを受信するパノラマ画像データ又は広角画像データ受信手段と、パノラマ画像データ又は広角画像データ受信手段により受信されたパノラマ画像データ又は広角画像データをパノラマ画像データ又は広角画像データ記憶手段に記憶させるパノラマ画像データ又は広角画像データ書き込み手段と、パノラマ画像データ又は広角画像データ記憶手段に記憶されたパノラマ画像データ又は広角画像データに含まれる画像IDとパノラマ画像データ又は広角画像データのファイル名との組に、少なくともパノラマ画像データ又は広角画像データを指定するためのURIを付与して、画像ID、画像ファイル名、及びパノラマ画像データ又は広角画像データを指定するためのURIを含む画像用テーブルのデータを生成するテーブルデータ生成手段と、テーブルデータ生成手段により生成された画像用テーブルのデータをパノラマ画像データ又は広角画像データと関連付けてパノラマ画像データ又は広角画像データ記憶手段に記憶させるテーブルデータ書き込み手段と、テーブルデータ生成手段により生成された画像用テーブルのデータを画像表示装置に送信するテーブルデータ送信手段と、画像表示装置からURIを指定したパノラマ画像データ又は広角画像データの送信要求がある場合に、URIに対応するパノラマ画像データ又は広角画像データをパノラマ画像データ又は広角画像データ記憶手段から読み出すパノラマ画像データ又は広角画像データ読み出し手段と、パノラマ画像データ又は広角画像データ読み出し手段により読み出されたパノラマ画像データ又は広角画像データを送信要求の送信元の画像表示装置に返送する画像データ送信手段とを備えたビデオサーバー装置と、複数の動画又は静止画像を少なくとも含むパノラマ画像データ又は広角画像データに割り当てられた画像IDと、パノラマ画像データ又は広角画像データのファイル名と、パノラマ画像データ又は広角画像データを指定するためのURIと、予め定められた座標系におけるパノラマ画像データ又は広角画像データの中心点の位置座標と、座標系における基準点とパノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報とを少なくとも含み、外部から送信された画像用テーブルのデータを受信するテーブルデータ受信手段と、テーブルデータ受信手段によって受信された画像用テーブルのデータが記憶されるテーブルデータ記憶手段と、テーブルデータ受信手段により受信された画像用テーブルのデータをテーブルデータ記憶手段に記憶させるテーブルデータ保存手段と、操作者の操作により入力されたパノラマ画像又は広角画像を表示させるための画像表示要求と、画像IDとの入力を受け付ける入力受付手段と、入力受付手段により入力を受け付けた画像IDに対応するパノラマ画像データ又は広角画像データを指定するためのURIをテーブルデータ記憶手段から読み出すURI読み出し手段と、URI読み出し手段により読み出されたURIで指定されるパノラマ画像データ又は広角画像データを、通信ネットワークを介して取得する画像データ取得手段と、画像データ取得手段によって取得されたパノラマ画像データ又は広角画像データが記憶される画像データ記憶手段と、画像データ取得手段によって取得された画像データを画像データ記憶手段に記憶させる画像データ保存手段と、画像データ取得手段により取得したパノラマ画像データ又は広角画像データを、テーブルデータ記憶手段に記憶された位置座標とパノラマ画像データ又は広角画像データの中心点の位置座標とが一致するように配置して表示手段に表示させる第1の表示制御手段と、操作者によって外部から加えられた操作に基づいて、発生した角速度を検出する角速度検出手段と、操作者によって外部から加えられた操作に基づいて、発生した速度を検出する速度検出手段と、操作者によって外部から加えられた操作に基づいて、発生した加速度を検出する加速度検出手段と、角速度検出手段により検出された角速度、速度検出手段により検出された速度、及び加速度検出手段により検出された加速度の少なくとも1つのデータに基づいて、操作による移動距離及び移動角度を算出する変位算出手段と、操作前における表示画面上の基準点の位置座標と、変位算出手段により算出された移動距離及び移動角度とに基づいて、操作後における表示画面上の基準点の位置座標を算出し、表示画面上の基準点の位置座標を操作後における表示画面上の基準点の位置座標に変更して、変更後の表示画面上の基準点を含むパノラマ画像又は広角画像のデータを画像データ記憶手段から読み出して、操作後におけるパノラマ画像データ又は広角画像データを表示手段に表示させる第2の表示制御手段と、操作後における表示画面上の基準点の位置座標と、変位算出手段により算出される移動距離及び移動角度とに基づいて、画像用テーブルのデータに含まれ、かつ、表示中のパノラマ画像データ又は広角画像データに隣接して配置されている他のパノラマ画像データ又は広角画像データの画像IDを特定し、特定した画像IDに対応するURIをテーブルデータ記憶手段から読み出し、読み出したURIに対応するパノラマ画像データ又は広角画像データを、通信ネットワークを介して取得する隣接画像取得手段とを備えた画像表示装置とを備えた画像表示システムである。
これにより、パノラマ画像データ又は広角画像データを表示可能なサイズよりも小さいサイズの表示画面を有する画像表示装置であっても、テーブルデータ生成手段により生成された画像用テーブルと、速度、加速度、角速度のうち少なくとも何れか1つのデータを検出するセンサーモジュールとを用いることによって、検出された速度、加速度、角速度に応じてパノラマ画像データ又は広角画像データをスクロール表示することによって、パノラマ画像データ又は広角画像データを表示可能なサイズよりも小さいサイズの表示画面を有する画像表示装置を用いて表示させることが出来る。
本発明によれば、パノラマ画像データ又は広角画像データを表示可能なサイズよりも小さいサイズの表示画面を有する画像表示装置を用いて表示させることが出来る。その結果、本発明によれば、操作者に対して与える不快感の軽減を図ることが可能になる。
以下、本発明に係るパノラマ画像データ又は広角画像データを表示する画像表示システムに関して、図面を参照しながら詳細に説明する。
(第1の実施の形態)
図1は、本発明の第1の実施の形態に係る画像表示システムSの一例を示す模式図である。また、図2は、本実施の形態に係る画像表示システムSの一例を示すブロック図である。
本実施の形態に係る画像表示システムSは、ネットワークカメラ装置1によって撮像された複数の動画又は静止画像を含むパノラマ画像データ又は広角画像データを、当該ネットワークカメラ装置1と通信ネットワークを介して接続された携帯電話6本体に加えられた操作に応じて当該携帯電話6本体に内蔵されたセンサーモジュールに発生した速度、加速度、角速度に基づいて、パノラマ画像データ又は広角画像データをスクロール表示したり、パノラマ画像データ又は広角画像データの表示倍率を変更したりすることによって、パノラマ画像データ又は広角画像データを表示させることが可能なサイズよりも小さな表示画面を有する携帯電話6で当該のパノラマ画像データ又は広角画像データを表示させるためのシステムである。
本実施の形態に係る画像表示システムSは、通信ネットワークを介して接続されたネットワークカメラ装置1と、ビデオサーバー装置2と、WWWサーバー装置3と、携帯ネットワークサーバー装置4と、基地局5と、携帯電話(画像表示装置)6とを備えている。
なお、図1及び図2に示される画像表示システムSには、図示されたネットワークカメラ装置1、ビデオサーバー装置2、WWWサーバー装置3、携帯ネットワークサーバー装置4、基地局5の他にも、ファイヤーウォールサーバー装置、ブリッジ装置、ルータ装置等の種々の装置が存在するが、説明の簡略化を図る観点から、これらの装置の記載は省略している。
ネットワークカメラ装置1は、撮像モジュール1a、画像データメモリ1b、画像用テーブル生成モジュール1c、及びデータ送信モジュール1dを有する。
なお、本実施の形態に係るネットワークカメラ装置1は、製造時に図示しない内蔵メモリにプログラムが書き込まれた、又は記録媒体もしくは通信ネットワークを介してプログラムがインストールされたコンピュータによって実現される。
また、本実施の形態に係るネットワークカメラ装置1を構成する各モジュールは、ソフトウェアもしくはハードウェア又はハードウェアとソフトウェアとの組み合わせの何れから構成されていてもよいことは言うまでもない。
撮像モジュール1aは、撮像領域のデータを撮像し、撮像した静止画像のデータ又は動画のデータを含むパノラマ画像データ又は広角画像データのファイルを取得する機能と、取得したパノラマ画像データ又は広角画像データのファイルを画像データメモリ1bに記憶させる機能とを有する。
画像データメモリ1bには、撮像モジュール1aによって撮像されたパノラマ画像データ又は広角画像データが記憶されている。
画像用テーブル生成モジュール1cは、画像データメモリ1bに記憶されたパノラマ画像データ又は広角画像データを読み出し、読み出したパノラマ画像データ又は広角画像データを用いて、パノラマ画像データ又は広角画像データに割り当てられた画像IDと、パノラマ画像データ又は広角画像データのファイル名と、パノラマ画像データ又は広角画像データを指定するためのURIと、予め定められた座標系におけるパノラマ画像データ又は広角画像データの中心点の位置座標と、当該座標系における基準点とパノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報とを少なくとも含む画像用テーブルのデータを生成する機能と、生成した画像用テーブルをデータ送信モジュール1dに出力する機能とを有する。
図3は、本実施の形態に係る画像用テーブル生成モジュール1cによって生成される画像用テーブルGTのデータの一例を示す模式図である。
本実施の形態に係る画像用テーブルGTには、パノラマ画像データ又は広角画像データに割り当てられた画像ID(a)と、パノラマ画像データ又は広角画像データのファイル名(b)と、パノラマ画像データ又は広角画像データを指定するためのURI(c)と、予め定められた座標系におけるパノラマ画像データ又は広角画像データの中心点の位置座標(d)と、座標系における基準点とパノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報(e)とが対応して記憶されている。
「画像ID」とは、パノラマ画像データ又は広角画像データ毎に割り当てられたIDのデータである。
「画像ファイル名」とは、パノラマ画像データ又は広角画像データのファイルに個別に割り当てられた名称のデータである。
「URI」とは、通信ネットワーク上に存在するパノラマ画像データ又は広角画像データを識別するための識別子を意味する。
「パノラマ画像データ又は広角画像データの中心点の位置座標」とは、パノラマ画像データ又は広角画像データを予め定められた三次元座標系に配置する場合、当該配置されるパノラマ画像データ又は広角画像データの中心点の位置座標を意味する。
ここで「パノラマ画像データ又は広角画像データの中心点」とは、パノラマ画像データ又は広角画像データの外郭線で形成される略四角形の図形の対角線を結んだ際に、相互に向かいあう各頂点を結んだ対角線の交点のことを意味する。
「方角」とは、座標系における基準点、例えば原点と、パノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される、座標系の基準点を基準としたパノラマ画像データ又は広角画像データの配置される方角に関する情報をいう。
例えば、図3に示す例で説明すると、「U8」という画像IDが割り当てられたパノラマ画像データ又は広角画像データには、画像ファイル名として「PIC8」というファイル名が付与されている。また、このパノラマ画像データ又は広角画像データには、「http://WWW.u-brain.com/index1.html」というURIが割り当てられている。更に、この画像ファイルが配置される座標系における画像のデータの中心点の位置座標は、(50,70,80)に予め定められている。また、座標系の基準点と、パノラマ画像データ又は広角画像データの中心点の位置座標との位置関係で規定される方角は、座標系の基準点を基準としてパノラマ画像データ又は広角画像データの中心点の位置座標は東78°の方向と定められている。
なお、本実施の形態に係る画像用テーブルGTには、パノラマ画像データ又は広角画像データの座標系における位置座標を規定する情報として、パノラマ画像データ又は広角画像データの中心点の位置座標を用いていたが、これに限らず、パノラマ画像データ又は広角画像データ上の点であれば、任意の点、例えば、パノラマ画像データ又は広角画像データの外郭線で形成される四角形の各頂点の何れかの点の位置座標を用いてもよいことは言うまでもない。
データ送信モジュール1dは、前述した撮像モジュール1aにより取得したパノラマ画像データ又は広角画像データと、画像用テーブル生成モジュール1cによって生成された画像用テーブルGTのデータとを通信ネットワークを介してビデオサーバー装置2に送信する機能を有する。
ビデオサーバー装置2は、画像データ送受信モジュール2a、画像データ記憶メモリ2b、及び制御モジュール2cとを有している。
なお、本実施の形態に係るビデオサーバー装置2は、製造時に図示しない内蔵メモリに画像表示支援プログラムが書き込まれた、又は記録媒体もしくは通信ネットワークを介して画像表示支援プログラムがインストールされたコンピュータによって実現される。
また、本実施の形態に係るビデオサーバー装置を構成する各モジュールは、ソフトウェアもしくはハードウェア又はハードウェアとソフトウェアとの組み合わせの何れから構成されていてもよいことは言うまでもない。
画像データ送受信モジュール2aは、ネットワークカメラ装置1から送信されたパノラマ画像データ又は広角画像データと画像用テーブルGTのデータとを受信する機能と、受け取った画像用テーブルGTのデータを、インターネットINTを介してWWWサーバー装置3に送信する機能と、URIが指定された画像ファイルの送信要求をWWWサーバー装置3から受信する機能と、制御モジュール2cによって読み出されたパノラマ画像データ又は広角画像データのファイルをWWWサーバー装置3にインターネットINTを介して送信する機能とを有する。
画像データ記憶メモリ2bには、ネットワークカメラ装置1から送信されたパノラマ画像データ又は広角画像データが記憶されている。
制御モジュール2cは、受信したパノラマ画像データ又は広角画像データを画像データ記憶メモリ2bに記憶させる機能と、画像データ送受信モジュール2aから受け取った画像用テーブルGTのデータをWWWサーバー装置3にインターネットINTを介して送信するように送受信モジュール2aを制御する機能と、URIが指定された画像ファイルの送信要求をWWWサーバー装置3から受け取ったかを判定する機能と、当該判定の結果、URIが指定された画像ファイルの送信要求を受け取ったと判定した場合に、画像データ記憶メモリ2bからURIに該当するパノラマ画像データ又は広角画像データのファイルを抽出して読み出す機能と、読み出したパノラマ画像データ又は広角画像データのファイルをWWWサーバー装置3にインターネットINTを介して送信するように制御する機能とを有する。
なお、本実施の形態に係るビデオサーバー装置2は、ネットワークカメラ装置1から送信された画像のデータを順次画像データ記憶メモリ2bに記憶させ、記憶させた画像のデータから、パノラマ画像データ又は広角画像データに割り当てられた画像IDと、パノラマ画像データ又は広角画像データのファイル名と、パノラマ画像データ又は広角画像データを指定するためのURIと、予め定められた座標系におけるパノラマ画像データ又は広角画像データの中心点の位置座標と、座標系における基準点とパノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報とを少なくとも含む画像用テーブルGTのデータを生成する機能を有していてもよいことはいうまでもない。この場合、ネットワークカメラ装置1は、撮像領域のデータを撮像し、撮像した静止画像のデータ又は動画のデータを含むパノラマ画像データ又は広角画像データのファイルを取得する機能と、取得したパノラマ画像データ又は広角画像データのファイルをビデオサーバー装置2に送信する機能とを有する構成となる。
WWWサーバー装置3は、インターネットサービスプロバイダ(Internet Service Provider)が所有する周知のサーバーコンピュータであり、ビデオサーバー装置2とWWWサーバー装置3との間で規定されたプロトコルに従った画像用テーブルGTのデータ、パノラマ画像データ又は広角画像データの送信要求、及びパノラマ画像データ又は広角画像データの伝送と、WWWサーバー装置3と携帯ネットワークサーバー装置4との間で規定されたプロトコルに準拠した画像用テーブルGTのデータ、パノラマ画像データ又は広角画像データの送信要求、及びパノラマ画像データ又は広角画像データの伝送とをそれぞれ中継する機能を備えたサーバーコンピュータである。
携帯ネットワークサーバー装置4は、インターネットサービスプロバイダ(Internet Service Provider)が所有する周知のサーバーコンピュータであり、携帯電話6からインターネットINTへのアクセスを中継するアクセス中継機能と、e-mail等のメールサービスを提供するメールサービス提供機能と、WWWサーバー装置と携帯ネットワークサーバー装置との間で規定されたプロトコルに従った画像用テーブルGTのデータ、パノラマ画像データ又は広角画像データの送信要求、及びパノラマ画像データ又は広角画像データの伝送と、携帯ネットワークサーバー装置4と基地局5との間で規定されたプロトコルに準拠した画像用テーブルGTのデータ、パノラマ画像データ又は広角画像データの送信要求、及びパノラマ画像データ又は広角画像データの伝送とをそれぞれ中継する機能を備えたサーバーコンピュータである。
基地局5は、携帯電話6との通信を行うための送受信アンテナ5aを有しており、携帯ネットワークサーバー装置4と基地局5との間で規定されるプロトコルに準拠した画像用テーブルGTのデータ、パノラマ画像データ又は広角画像データの送信要求、及びパノラマ画像データ又は広角画像データの伝送と、基地局5と、セル内に存在する携帯電話6との間で規定されるプロトコルに準拠した画像用テーブルGTのデータ、パノラマ画像データ又は広角画像データの送信要求、及びパノラマ画像データ又は広角画像データの伝送とを中継する装置である。
図4は、本実施の形態に係る携帯電話6の外観の一例を示す模式図であり、図5は、本実施の形態に係る携帯電話6のハードウェア構成の一例を示す図である。
本実施の形態に係る携帯電話6は、図4に示すように、例えば操作者が片手で持てるような大きさの筐体6aを有している。この筐体6aの前面6a1には、カメラ6b、マイク6c、スピーカ6d、表示部6e、操作領域6fが設けられている。また、筐体6aの上面6a2には、送受信用のアンテナ6gが設けられている。更に、筐体6aの下面6a3には、例えばスティック状の記録媒体6hが着脱自在に装着可能な装着部6iが設けられている。また、カメラ6bは例えばCCDカメラによって構成され、表示部6eは例えばカラー液晶表示装置によって構成されている。更に、筐体6aの操作領域6fには、Ok釦6j、Undo釦6k、カメラキャプチャ釦6l、及び数字キー等の種々の釦や種々のキー6mが設けられている。
本実施の形態に係る携帯電話6は、図5に示すように、メインバス6nにCPU6o、ROM6p、S−RAM(Static RAM)6q、RAM6r、記憶媒体用インターフェース6s、センサーインターフェース6t、TTY(Tele typewriter)6u、イーサネット(登録商標)ボード(Ethernet Board)6v、イメージプロセッシングユニット(Image Processing Unit)6w、Viscaインターフェース(Visca Interface)6x、VGAボード(VGA Board)6y、オーディオビデオインターフェース(Audio & Video Interface)6z、送受信部6aaを接続して構成される。
CPU6oは、携帯電話6全体を統括的に制御するプロセッサである。
ROM6pは、CPU6oの動作に必要なプログラム、例えばBIOS(Basic Input-Output System)が読み出し可能に記憶された不揮発性メモリである。
SRAM(Static RAM)6qは、必要なデータ、例えば携帯電話6に固有のIDが記憶されたキャッシュメモリとして使用される揮発性メモリである。
RAM6rは、CPU6oが実行する処理の際の作業スペースとして用いられる揮発性メモリであり、RAM6rには、ビデオサーバー装置から受信した、パノラマ画像データ又は広角画像データに割り当てられた画像ID(a)と、パノラマ画像データ又は広角画像データのファイル名(b)と、パノラマ画像データ又は広角画像データを指定するためのURI(c)と、予め定められた座標系におけるパノラマ画像データ又は広角画像データの中心点の位置座標(d)と、座標系における基準点とパノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報(e)とが対応して記憶された画像用テーブルGTのデータが記憶されている。
VRAM6zaは、ビデオサーバー装置2から送信されたパノラマ画像データ又は広角画像データを記憶させるためのバッファとして用いられるメモリである。
記憶媒体用インターフェース6sには、装着部6iが接続されるインターフェースであり、装着部6iに装着された記録媒体6hとの間でデータ通信が行われるように構成されている。
センサーインターフェース6tには、角速度センサー、速度センサー、及び加速度センサーを内蔵したセンサーモジュール6xeが接続されるインターフェースである。
TTY(Tele typewriter)6uは、操作領域6fの各種の釦6mと接続されている。
イーサネット(登録商標)ボード(Ethernet Board)6vは、イーサネットに接続可能とするインターフェースである。
イメージプロセッシングユニット6wには、カメラインターフェース(Camera Interface)6acが接続され、このカメラインターフェースにはCCDカメラ6bが接続されている。このCCDカメラ6bにより接続された画像を携帯電話内に取り込むことが可能であり、取り込んだ画像を表示部6eに表示させることも可能なように構成されている。
Viscaインターフェース6xには、外部のパーソナルコンピュータ等が接続され、このインターフェースを介して各種の制御を行うことが可能なように構成されている。
VGAボード6yは、表示部6eとしての液晶表示装置が接続されている。
オーディオビデオインターフェース6zには、オーディオビデオ系の機器が接続されるインターフェースである。このインターフェースを介してオーディオビデオ系機器からの信号を端末装置に取り込んだり、オーディオ信号や画像信号をオーディオビデオ系の機器に出力したりすることが可能なように構成されている。
送受信部6aaは、拡散符号発生回路6aa1と、ベースバンド信号発生回路6aa2と、変調回路6aa3と、拡散変調回路6aa4と、送信アンテナ6aa5と、受信アンテナ6aa6と、拡散復調回路6aa7と、復調回路6aa8とを備えている。
拡散符号発生回路6aa1は、拡散符号を発生する回路である。
ベースバンド信号発生回路6aa2は、ベースバンド信号を発生する回路である。
変調回路6aa3はベースバンド信号を変調する回路である。
拡散変調回路6aa4は、変調回路6aa3で変調されたベースバンド信号を前述した拡散符号発生回路6aa1で発生した拡散符号を用いて拡散変調する回路である。
送信アンテナ6aa5は、拡散変調したベースバンド信号を無線で基地局5に向けて送信するアンテナである。
受信アンテナ6aa6は、基地局5から無線で送信された信号を受信するアンテナである。
拡散復調回路6aa7は、受信アンテナで受信した受信信号を前述した拡散符号発生回路で発生した拡散符号を用いて拡散復調する回路である。
復調回路6aa8は、拡散復調回路6aa7で拡散復調した受信信号を復調してデータを取り出す回路である。
また、本実施の形態に係る携帯電話6は、前述した図2に示すように、送受信モジュール6xa、画像用テーブルメモリ6xb、入力受付モジュール6xc、表示デバイス6xd、センサーモジュール6xe、及び制御モジュール6xfを備えている。
なお、本実施の形態に係る携帯電話6は、製造時に図示しない内蔵メモリに画像表示プログラムが書き込まれた、又は記録媒体もしくは通信ネットワークを介して画像表示プログラムがインストールされたコンピュータによって実現される。
また、本実施の形態に係る携帯電話6を構成する各モジュールは、ソフトウェアもしくはハードウェア又はハードウェアとソフトウェアとの組み合わせの何れから構成されていてもよいことは言うまでもない。
送受信モジュール6xaは、基地局5との間で通信を行う送受信アンテナを有しており、外部から送信された画像用テーブルGTのデータを受信する機能と、受信された画像用テーブルGTのデータを画像用テーブルデータ記憶メモリ6xbに記憶させる機能と、URIを指定した画像の送信要求に応じてビデオサーバー装置から送信されたパノラマ画像データ又は広角画像データを受信する機能とを有しており、主に前述した送受信部6aa、CPU6oによって構成される。
画像用テーブルデータ記憶メモリ6xbには、パノラマ画像データ又は広角画像データに割り当てられた画像IDと、パノラマ画像データ又は広角画像データのファイル名と、パノラマ画像データ又は広角画像データを指定するためのURIと、予め定められた座標系におけるパノラマ画像データ又は広角画像データの中心点の位置座標と、座標系における基準点とパノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報とを少なくとも含む画像用テーブルGTのデータが記憶されており、主に前述したRAM6rによって構成される。
画像メモリ6xgは、ビデオサーバー装置2から送信されたパノラマ画像データ又は広角画像データが記憶されており、主としてVRAM6zaによって構成される。
入力受付モジュール6xcは、操作者の操作により入力された画像を表示させるための画像表示要求と、画像IDとの入力を受け付けるモジュールであり、主として前述したTTY(Tele typewriter)6uと、TTY(Tele typewriter)6uに接続された各釦6mとによって構成される。
表示デバイス6xdは、操作者によってURIを指定されたパノラマ画像データ又は広角画像データが表示される表示画面6eを有しており、主として前述したVGAボード6y、及び表示画面6eとしての液晶表示装置によって構成される。
センサーモジュール6xeは、操作者によって外部から携帯電話6本体に加えられた操作に基づいて、当該携帯電話6本体に発生した角速度を検出する角速度センサーと、操作者によって外部から携帯電話6本体に加えられた操作に基づいて、携帯電話6本体に発生した速度を検出する速度センサーと、操作者によって外部から携帯電話6本体に加えられた操作に基づいて、当該携帯電話6本体に発生した加速度を検出する加速度センサーとを有しており、検出した角速度、速度、加速度のデータを制御モジュール6xfに出力する機能を有している。
本実施の形態に係るセンサーモジュール6abは、図5に示すように速度センサー6ab1、加速度センサー6ab2、角速度センサー6ab3、A/D変換器6ab4、ROM6ab5、RAM6ab6、CPU6ab7、及びセンサーインターフェース6ab8を備えている。
速度センサー6ab1は、センサーモジュール6abに対して操作者の操作によって、センサーモジュール6ab本体に発生した速度を検出し、検出した速度のデータを示すアナログ信号をA/D変換器6ab4に出力する。
加速度センサー6ab2は、センサーモジュール6abに対して操作者の操作によって、センサーモジュール6ab本体に発生した加速度を検出し、検出した加速度のデータを示すアナログ信号をA/D変換器6ab4に出力する。
角速度センサー6ab3は、センサーモジュール6abに対して操作者の操作によって、センサーモジュール6ab本体に発生した角速度を検出し、検出した速度のデータを示すアナログ信号をA/D変換器6ab4に出力する。
A/D変換器6ab4は、速度センサー6ab1、加速度センサー6ab2、加速度センサー6ab3から出力されたアナログ信号をA/D変換して、変換の結果、得られたディジタル信号をCPU6ab7に供給する。
ROM6ab5には、センサーモジュール6ab全体を制御する制御プログラムが記憶されている。
RAM6ab6には、速度センサー6ab1によって検出された速度のデータ、加速度センサー6ab2によって検出された加速度のデータ、角速度センサー6ab3によって検出された角速度のデータが時系列に沿って記憶されている。
CPU6ab7は、センサーインターフェース6ab8を介してセンサーモジュール6ab本体に給電がなされると、ROM6ab4に記憶された制御プログラムを読み出し、CPU6ab7自体の初期化処理、センサーインターフェース6ab8の初期化処理と、A/D変換器6ab4の初期化処理と、A/D変換器6ab4がA/D変換処理を実行する際のパラメータを設定するパラメータ設定処理と、速度センサー6ab1、加速度センサー6ab2、加速度センサー6ab3から出力されたアナログ信号をディジタル信号に変換するA/D変換処理をA/D変換器6ab4に実行させるA/D変換制御処理と、A/D変換器6ab4から出力された速度センサー6ab1、加速度センサー6ab2、加速度センサー6ab3の検出データを含むディジタル信号を受け取るセンサー検出データ受信処理と、受け取った速度センサー6ab1、加速度センサー6ab2、角速度センサー6ab3の検出データを含むディジタル信号を、携帯電話6全体を制御するCPU6oに送信させるためのセンサーデータ送信開始命令が当該携帯電話6全体を制御するCPU6oから出力されたかを判定するセンサーデータ送信開始命令有無判定処理と、前述したセンサーデータ送信開始命令有無判定処理による判定の結果、速度センサー6ab1、加速度センサー6ab2、角速度センサー6ab3の検出データを含むディジタル信号を携帯電話6全体を制御するCPU6oに送信させるためのセンサーデータ送信開始命令が当該携帯電話6のCPU6oから送信されたと判定した場合、速度センサー6ab1、加速度センサー6ab2、角速度センサー6ab3の検出データを含むディジタル信号を、当該後述する携帯電話6全体を制御するCPU6oに送信するように、センサーインターフェース6ab8を制御するデータ送信制御処理と、速度センサー6ab1、加速度センサー6ab2、角速度センサー6ab3の検出データを含むディジタル信号を、携帯電話6全体を制御するCPU6oに送信する処理を終了させるためのセンサーデータ送信終了命令が当該携帯電話6全体を制御するCPU6oから送信されたかを判定するセンサーデータ送信終了命令有無判定処理と、前述したセンサーデータ送信終了命令有無判定処理で、速度センサー6ab1、加速度センサー6ab2、角速度センサー6ab3の検出データを含むディジタル信号を、携帯電話全体6を制御するCPU6oに送信する処理を終了させるためのセンサーデータ送信終了命令が当該携帯電話6全体を制御するCPU6oから送信されたと判定された場合、速度センサー6ab1、加速度センサー6ab2、角速度センサー6ab3の検出データを含むディジタル信号を、携帯電話6全体を制御するCPU6oに送信する処理を終了させるように、センサーインターフェース6ab8を制御するデータ送信終了制御処理とを順次実行する。
センサーインターフェース6ab8は、センサーモジュール6ab本体に給電を行うと共に、センサーモジュール6abと携帯電話6本体内の他のモジュール及びメモリとのデータのやり取りを実行するためのインターフェースである。
なお、本実施の形態に係るセンサーモジュール6xeはX軸、Y軸、Z軸の3つの軸に対する動き、換言すれば3次元上における動きを検出する位置センサーであるが、これに限らず、X軸、Y軸の2つの軸に対する動きを検出する、換言すれば2次元上における動きを検出する姿勢センサー又は方位センサーを用いてもよいことはいうまでもない。
制御モジュール6xfは、主として前述したCPU6o、RAM6s、S−RAM6q等によって構成され、携帯電話6全体を制御するモジュールであり、以下の各機能を有している。
画像用テーブル受信有無判定機能は、パノラマ画像データ又は広角画像データに割り当てられた画像ID(a)と、パノラマ画像データ又は広角画像データのファイル名(b)と、パノラマ画像データ又は広角画像データを指定するためのURI(c)と、予め定められた座標系におけるパノラマ画像データ又は広角画像データの中心点の位置座標(d)と、座標系における基準点とパノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報(e)とが対応して記憶された画像用テーブルGTのデータをデータ送受信モジュールから受け取ったかにより、ネットワークを介して送信された画像用テーブルGTをビデオサーバー装置2から受信したかを判定する機能である。
テーブルデータ保存機能は、前述した画像用テーブル受信有無判定機能によりネットワークを介して送信された画像用テーブルGTをビデオサーバー装置から受信したと判定された場合、ネットワークを介して送信された画像用テーブルGTのデータを画像用テーブルデータ記憶メモリ6xbに記憶させる機能である。
第1のURI読み出し機能は、入力を受け付けた画像IDに対応するパノラマ画像データ又は広角画像データを指定するためのURIを画像用テーブルデータ記憶メモリ6xbから読み出す機能である。
なお、本実施の形態に係る携帯電話6では、第1のURI読み出し機能が本発明のURI読み出し機能に該当する。
第1の画像データ送信要求送信制御機能は、前述したURI読み出し機能により画像用テーブルデータ記憶メモリ6xbから読み出されたURIで指定されるパノラマ画像データ又は広角画像データの送信要求を、通信ネットワークを介してビデオサーバー装置2に送信するように、前述した送受信モジュール6xaを制御する機能である。
画像データ保存機能は、前述した第1の画像データ送信要求送信制御機能によって送信されたURIで指定されるパノラマ画像データ又は広角画像データの送信要求に応じて、ビデオサーバー装置2から送信されたパノラマ画像データ又は広角画像データを送受信モジュール6xaから受け取り、受け取ったパノラマ画像データ又は広角画像データを画像メモリ6xbに記憶させる機能である。
第1の表示制御機能は、ビデオサーバー装置2から通信ネットワークを介して取得したパノラマ画像データ又は広角画像データを、画像用テーブルデータ記憶メモリ6xbに記憶された位置座標とパノラマ画像データ又は広角画像データの中心点の位置座標とが一致するように、座標系内に配置した画像データを生成して、生成した画像データを表示デバイス6xdの表示画面に表示させる機能である。
URI変更有無判定機能は、URIが変更されたURI更新済みの画像用テーブルGTのデータを受信したかを判定する機能である。
第1の画像用テーブル更新機能は、前述したURI変更有無判定機能によってURI更新済みの画像用テーブルGTのデータを受信したと判定した場合に、受信したURI更新済みの画像用テーブルGTのデータを画像用テーブルデータ記憶メモリ6xbに記憶させて、画像用テーブルGTのデータを更新する機能である。
操作者有無判定機能は、角速度、速度、及び加速度の少なくとも1つのデータが検出されたかにより、操作者によって操作がなされたかを判定する機能である。
変位算出機能は、前述した操作者有無判定機能によって操作者によって操作がなされたと判定した場合に、予め外乱除去やセンサー誤差を補正した後、加速度のディジタル情報を一定時間間隔ごとに2重積分を行うことによってセンサーモジュール6xe本体の移動距離の演算を行うと共に、角速度のディジタル情報を一定時間間隔ごとに積分することによってセンサーモジュール6xe本体の移動角度の演算を行って、操作者の操作の前後における移動距離及び移動角度を算出する機能である。
第2の表示制御機能は、操作前における表示画面上の基準点の位置座標と、前述した変位算出機能により算出された移動距離及び移動角度とに基づいて、操作後における表示画面上の基準点の位置座標を算出し、表示画面上の基準点の位置座標を操作後における表示画面上の基準点の位置座標に変更して、変更後の表示画面上の基準点を含むパノラマ画像又は広角画像のデータを画像データ記憶手段から読み出して、操作後におけるパノラマ画像データ又は広角画像データを表示手段に表示させる機能である。
隣接画像有無判定機能は、操作後における座標系の基準点の位置座標と、前述した変位算出機能により算出される移動距離及び移動角度とに基づいて、画像用テーブルGTのデータに含まれ、かつ、座標系で表示中のパノラマ画像データ又は広角画像データに隣接して配置されている他のパノラマ画像データ又は広角画像データの有無に関して、画像用テーブルGTに記憶された表示可能なパノラマ画像データ又は広角画像データを検索することによって判定する機能である。
第2のURI読み出し機能は、前述した隣接画像有無判定機能による判定の結果、座標系で表示中のパノラマ画像データ又は広角画像データに隣接して配置されている他のパノラマ画像データ又は広角画像データの有無に関して、画像用テーブルGTに記憶された表示可能なパノラマ画像データ又は広角画像データが画像用テーブルGTに存在すると判定した場合、当該隣接するパノラマ画像データ又は広角画像データの画像IDを特定し、特定した画像IDに対応するURIを画像用テーブルデータ記憶メモリ6xbに記憶された画像用テーブルGTから読み出す機能である。
第2の画像データ送信要求送信制御機能は、前述した第2のURI読み出し機能によって読み出されたURIによって指定される、表示中のパノラマ画像データ又は広角画像データに隣接するパノラマ画像データ又は広角画像データの送信要求をビデオサーバー装置2に送信するように送受信モジュール6xaを制御する機能である。
第3の示制御機能は、ビデオサーバー装置2から通信ネットワークを介して取得した表示中のパノラマ画像又は広角画像に隣接するパノラマ画像データ又は広角画像データを、画像用テーブルデータ記憶メモリ6xbに記憶された位置座標とパノラマ画像データ又は広角画像データの中心点の位置座標とが一致するように配置して表示デバイス6xdの表示画面に表示させる機能である。
なお、本実施の形態に係る携帯電話6では、隣接画像有無判定機能、第2のURI読み出し機能、第2の画像データ送信要求送信制御機能、及び第3の示制御機能が隣接画像表示制御機能に該当する。
画像用テーブル更新要求送信制御機能は、前述した隣接画像有無判定機能による判定の結果、変更後の表示デバイスの表示画面に表示された表示中のパノラマ画像データ又は広角画像データに隣接して配置された表示可能なパノラマ画像データ又は広角画像データが画像用テーブルGT内に存在しないと判定された場合、新たな画像用テーブルのデータを送信させるための画像用テーブル更新要求を、ネットワークカメラ装置1によって撮像された新たなパノラマ画像データ又は広角画像データが記憶されたビデオサーバー装置2に通信ネットワークを介して送信する機能である。
新規画像用テーブル受信有無判定機能は、前述した画像用テーブル更新要求送信制御機能によって画像用テーブル更新要求が送信されたビデオサーバー装置2から返送された画像用テーブルGTを受信したかを判定する機能である。
なお、本実施の形態に係る携帯電話6の制御モジュール6xfでは、前述した隣接画像有無判定機能による判定の結果、変更後の表示デバイスの表示画面に表示された表示中のパノラマ画像データ又は広角画像データに隣接して配置された表示可能なパノラマ画像データ又は広角画像データが画像用テーブルGT内に存在しないと判定された場合、新たな画像用テーブルのデータを送信させるための画像用テーブル更新要求を、ネットワークカメラ装置1によって撮像された新たなパノラマ画像データ又は広角画像データが記憶されたビデオサーバー装置2に通信ネットワークを介して送信していたが、これに限らず、通信ネットワーク上に存在し、かつ、ネットワークカメラ装置1によって撮像された新たなパノラマ画像データ又は広角画像データが記憶されたビデオサーバー装置であれば何れのビデオサーバー装置に新たな画像用テーブルのデータを送信させるための画像用テーブル更新要求を送ってもよいことは言うまでもない。
第2の画像用テーブル更新機能は、前述した新規画像用テーブル受信有無判定機能によりビデオサーバー装置2から返送された画像用テーブルを受信したと判定された場合、受信した画像用テーブルGTのデータを画像用テーブルデータ記憶メモリ6xbに記憶させて、画像用テーブルGTのデータを更新する機能である。
スクロール解除操作有無判定機能は、前述した操作者有無判定機能により検出済みの角速度、速度、及び加速度の向きとは反対向きの角速度、速度、及び加速度のうち何れかが検出されたかにより、操作者によって解除操作がなされたかを判定する機能である。
第4の表示制御機能は、前述したスクロール解除操作有無判定機能により操作者によって解除操作がなされたと判定された場合、変更済みの表示画面内の基準点の位置座標を変更前の表示画面内の基準点の位置座標に戻して、換言すれば画像用テーブルデータ記憶メモリ6xbに記憶された位置座標とパノラマ画像データ又は広角画像データの中心点の位置座標とが一致するように配置した画像データを生成して、生成した画像データを表示デバイス6xdの表示画面に表示させる機能である。
なお、本実施の形態に係る携帯電話6は、ビデオサーバー装置2から通信ネットワークを介して取得したパノラマ画像データ又は広角画像データを、画像用テーブルデータ記憶メモリ6xbに記憶された位置座標とパノラマ画像データ又は広角画像データの中心点の位置座標とが一致するように配置した画像データを生成して、生成した画像データを表示デバイス6xdの表示画面に表示させているが、これに限らず、ビデオサーバー装置2から通信ネットワークを介して取得したパノラマ画像データ又は広角画像データを、画像用テーブルデータ記憶メモリ6xbに記憶された座標系における基準点とパノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報に基づいて座標系に配置した画像データを生成して、生成した画像データを表示デバイス6xdの表示画面に表示させてもよい。
また、本実施の形態に係る制御モジュールは、ビデオサーバー装置2から通信ネットワークを介して取得したパノラマ画像データ又は広角画像データを、画像用テーブルデータ記憶メモリ6xbに記憶された座標系における基準点とパノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報と、位置座標とに基づいて座標系に配置した画像データを生成して、生成した画像データを表示デバイス6xdの表示画面に表示させてもよい。
なお、本実施の形態に係る携帯電話6は、通信ネットワークを介して取得したパノラマ画像データ又は広角画像データを、画像用テーブルデータ記憶メモリ6xbに記憶された位置座標とパノラマ画像データ又は広角画像データの中心点の位置座標とが一致するように配置して表示デバイス6xdの表示画面6eに表示させた後で、検出された角速度、速度、及び加速度の少なくとも1つのデータに基づいて、予め外乱除去やセンサー誤差を補正した後、加速度のディジタル情報を一定時間間隔ごとに2重積分を行うことによってセンサーモジュール6xe本体の移動距離の演算を行うと共に、角速度のディジタル情報を一定時間間隔ごとに積分することによってセンサーモジュール6xe本体の移動角度の演算を行って、操作者の操作の前後における表示画面上の基準点の移動距離及び移動角度を算出し、操作前における表示画面上の基準点の位置座標と、算出された表示画面上の基準点の移動距離及び移動角度とに基づいて、操作後における表示画面上の基準点の位置座標を算出し、表示画面上の基準点の位置座標を操作後における表示画面上の基準点の位置座標に変更して、変更後の表示画面上の基準点を含むパノラマ画像又は広角画像のデータを画像メモリ6xgから読み出して、操作後におけるパノラマ画像データ又は広角画像データを表示画面に表示させているが、これに限らず、通信ネットワークを介して取得したパノラマ画像データ又は広角画像データを、画像用テーブルデータ記憶メモリ6xbに記憶された位置座標とパノラマ画像データ又は広角画像データの中心点の位置座標とが一致するように配置して表示デバイスの表示画面に表示させた後、角速度、速度、及び加速度の少なくとも1つのデータが検出された場合に、表示中のパノラマ画像データ又は広角画像データの表示倍率を変更して、変更後のパノラマ画像データ又は広角画像データを表示デバイス6xdに表示させる機能とを有していてもよい。
また、本実施の形態に係る携帯電話6では、操作者によって外部から携帯電話6本体に加えられた操作に基づいて、当該携帯電話6本体に発生した角速度を検出する角速度センサーと、操作者によって外部から携帯電話6本体に加えられた操作に基づいて、携帯電話6本体に発生した速度を検出する速度センサーと、操作者によって外部から携帯電話6本体に加えられた操作に基づいて、当該携帯電話6本体に発生した加速度を検出する加速度センサーとを有するセンサーモジュール6xeが携帯電話6本体に内蔵されていたが、これに限らず、当該センサーモジュール6xeと携帯電話6本体とは、別体として設けられていてもよいことはいうまでもない。
また、本実施の形態に係る画像表示装置は、例えば、画像表示装置としての携帯電話6と、当該携帯電話6本体とは別体として設けられ、当該携帯電話と有線、例えばUSBケーブルで接続された、図6に示すような操作者の指や手に取り付け可能なUSBインターフェースHPを有する、速度センサー、加速度センサー、及び角速度センサーを含むセンサーモジュール6xeとから構成してもよい。この場合、センサーモジュールは、前述した第1の実施の形態に係る携帯電話に内蔵されたセンサーモジュール6abの構成に外部から電圧をセンサーモジュール本体に印加するための図示しない電源を付加すると共に、第1の実施の形態に係る携帯電話に内蔵されたセンサーモジュール6abのセンサーインターフェース6ab8を、周知のUSBの規格に準拠したインターフェースに置換した構成となる。
なお、このセンサーモジュールは、図6に示すように周知のUSBの規格に準拠したインターフェースを有していたが、これに限らず、USBの規格に準拠したインターフェースを周知のRS−232Cの規格に準拠したインターフェース、IEEE802.11a、IEEE802.11b、IEEE802.11e、IEEE802.11g、IEEE802.11i、IEEE802.11n、IEEE802.16a、IEEE802.16e、IEEE1394等の種々の規格に準拠したインターフェースに置換した構成としてもよい。
以上のように構成された画像表示システムSの実行する処理に関して、図面を参照しながらより詳細に説明する。なお、以下の説明では、本実施の形態に係る画像表示システムのうち、ビデオサーバー装置2、WWWサーバー装置3、携帯ネットワークサーバー装置4、基地局5における実行処理(送信処理)は、本発明のポイントではないので、図面を参照することなく簡単に概略を説明し、本実施の形態に係る画像表示システムの構成のうち、本発明のポイントとなるネットワークカメラ装置1の実行する実行処理と、携帯電話6の実行する実行処理とに関してのみ図面を参照して説明することとする。
<ネットワークカメラ装置1の実行処理>
図7は、本実施の形態に係る画像表示システムに適用されるネットワークカメラ装置1全体の実行する処理を説明するためのフローチャートである。
始めに、ネットワークカメラ装置1の撮像モジュール1aは、撮像範囲のパノラマ画像データ又は広角画像データを撮像し(A1)、撮像したパノラマ画像データ又は広角画像データをネットワークカメラ装置1に内蔵された画像データメモリ1bに記憶させる(A2)。
次に、ネットワークカメラ装置1の画像用テーブル生成モジュール1cは、内蔵された画像データメモリ1bからパノラマ画像データ又は広角画像データを読み出し、読み出したパノラマ画像データ又は広角画像データから、パノラマ画像データ又は広角画像データに割り当てられた画像IDと、パノラマ画像データ又は広角画像データのファイル名と、パノラマ画像データ又は広角画像データを指定するためのURIと、予め定められた座標系におけるパノラマ画像データ又は広角画像データの中心点の位置座標と、座標系における基準点とパノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報とを少なくとも含む画像用テーブルGTのデータを生成する(A3:テーブルデータ生成手段)。
次に、ネットワークカメラ装置1のデータ送信モジュール1dは、パノラマ画像データ又は広角画像データと、生成した画像用テーブルGTのデータとをビデオサーバー装置に送信する(A4:画像データ送信手段)。
以上によりネットワークカメラ装置1は、実行中の処理を終了する。
<ビデオサーバー装置2の実行処理>
次に、ビデオサーバー装置2全体の実行する処理に関して説明する。
始めに、画像データ送受信モジュール2aは、ネットワークカメラ装置1から送信されたパノラマ画像データ又は広角画像データと画像用テーブルGTのデータとを受信する。
次に、画像データ送受信モジュール2aは、ビデオサーバー装置2とWWWサーバー装置3との間で規定されたプロトコルに準拠した手順でコネクションが確立した後、ビデオサーバー装置2とWWWサーバー装置3との間で規定されたプロトコルに準拠した手順で受け取った画像用テーブルGTのデータをWWWサーバー装置3に送信する。
次に、制御モジュール2cは、受信したパノラマ画像データ又は広角画像データを画像データ記憶メモリ2bに記憶させる。
次に、制御モジュール2cは、URIが指定された画像ファイルの送信要求をWWWサーバー装置3から受け取ったか否かを判定する。
制御モジュール2cは、前述の判定の結果、URIが指定された画像ファイルの送信要求を受け取ったと判定した場合には、画像データ記憶メモリ2bからURIに該当するパノラマ画像データ又は広角画像データのファイルを抽出して読み出す。
一方、制御モジュールは、前述の判定の結果、URIが指定された画像ファイルの送信要求を受け取っていないと判定した場合には、URIが指定された画像ファイルの送信要求を受け取ったかに関する判定処理を繰り返す。
送受信モジュール2aは、ビデオサーバー装置2とWWWサーバー装置3との間で規定されたプロトコルに準拠した手順でコネクションが確立した後、制御モジュール2cによって読み出されたパノラマ画像データ又は広角画像データのファイルを、ビデオサーバー装置2とWWWサーバー装置3との間で規定されたプロトコルに準拠した手順でWWWサーバー装置3に送信する。
次に、制御モジュール2cは、URIが指定された表示中のパノラマ画像又は広角画像に隣接する画像データの送信要求をWWWサーバー装置3から受け取ったか否かを判定する。
制御モジュール2cは、前述の判定の結果、URIが指定された表示中のパノラマ画像又は広角画像に隣接する画像データの送信要求をWWWサーバー装置3から受け取ったと判定した場合には、画像データ記憶メモリ2bからURIに該当する隣接するパノラマ画像データ又は広角画像データのファイルを抽出して読み出す。
一方、制御モジュールは、前述の判定の結果、URIが指定された表示中のパノラマ画像又は広角画像に隣接する画像データの送信要求を受け取っていないと判定した場合には、URIが指定された表示中のパノラマ画像又は広角画像に隣接するパノラマ画像データ又は広角画像データの画像ファイルの送信要求を受け取ったかに関する判定処理を繰り返す。
送受信モジュール2aは、ビデオサーバー装置2とWWWサーバー装置3との間で規定されたプロトコルに準拠した手順でコネクションが確立した後、制御モジュール2cによって読み出された隣接するパノラマ画像データ又は広角画像データのファイルを、ビデオサーバー装置2とWWWサーバー装置3との間で規定されたプロトコルに準拠した手順でWWWサーバー装置3に送信する。
以上によりビデオサーバー装置2は、実行中の処理を終了する。
<WWWサーバー装置3の実行処理>
次に、WWWサーバー装置3全体の実行する処理に関して説明する。
始めに、WWWサーバー装置3は、ビデオサーバー装置2から画像用テーブルGTデータを受信すると、携帯ネットワークサーバー装置4との間でコネクションが確立した後、WWWサーバー装置3と携帯ネットワークサーバー装置4との間で規定されたプロトコルに従って画像用テーブルGTのデータを携帯ネットワークサーバー装置4に送信する。
次に、WWWサーバー装置3は、URIを指定したパノラマ画像データ又は広角画像データの送信要求を携帯ネットワークサーバー装置4から受け取ると、ビデオサーバー装置2との間でコネクションが確立した後、ビデオサーバー装置2とWWWサーバー装置3との間で規定されたプロトコルに従ってURIを指定したパノラマ画像データ又は広角画像データの送信要求をビデオサーバー装置2に送信する。
次に、WWWサーバー装置3は、パノラマ画像データ又は広角画像データをビデオサーバー装置2から受け取ると、携帯ネットワークサーバー装置4との間でコネクションが確立した後、WWWサーバー装置3と携帯ネットワークサーバー装置4との間で規定されたプロトコルに従ってパノラマ画像データ又は広角画像データを携帯ネットワークサーバー装置4に送信する。
次に、WWWサーバー装置3は、URIを指定した表示中のパノラマ画像又は広角画像に隣接する画像データのパノラマ画像データ又は広角画像データの送信要求を携帯ネットワークサーバー装置4から受け取ると、ビデオサーバー装置2との間でコネクションが確立した後、ビデオサーバー装置2とWWWサーバー装置3との間で規定されたプロトコルに従ってURIを指定した表示中のパノラマ画像又は広角画像に隣接するパノラマ画像データ又は広角画像データの送信要求をビデオサーバー装置2に送信する。
次に、WWWサーバー装置3は、表示中のパノラマ画像又は広角画像に隣接するパノラマ画像データ又は広角画像データをビデオサーバー装置2から受け取ると、携帯ネットワークサーバー装置4との間でコネクションが確立した後、WWWサーバー装置3と携帯ネットワークサーバー装置4との間で規定されたプロトコルに従って表示中のパノラマ画像又は広角画像に隣接するパノラマ画像データ又は広角画像データを携帯ネットワークサーバー装置4に送信する。
以上によりWWWサーバー装置3は、実行中の処理を終了する。
<携帯ネットワークサーバー装置4の実行処理>
次に、携帯ネットワークサーバー装置4全体の実行する処理に関して説明する。
始めに、携帯ネットワークサーバー装置4は、WWWサーバー装置3から画像用テーブルGTデータを受信すると、基地局5との間でコネクションが確立した後、携帯ネットワークサーバー装置4と基地局5との間で規定されたプロトコルに従って画像用テーブルGTのデータを基地局5に送信する。
次に、携帯ネットワークサーバー装置4は、URIを指定したパノラマ画像データ又は広角画像データの送信要求を受け取ると、WWWサーバー装置3との間でコネクションが確立した後、WWWサーバー装置3と携帯ネットワークサーバー装置4との間で規定されたプロトコルに従ってURIを指定したパノラマ画像データ又は広角画像データの送信要求をWWWサーバー装置3に送信する。
次に、携帯ネットワークサーバー装置4は、パノラマ画像データ又は広角画像データをWWWサーバー装置3から受け取ると、基地局5との間でコネクションが確立した後、携帯ネットワークサーバー装置4と基地局5の間で規定されたプロトコルに従ってパノラマ画像データ又は広角画像データを基地局5に送信する。
次に、携帯ネットワークサーバー装置4は、URIを指定した表示中のパノラマ画像又は広角画像に隣接するパノラマ画像データ又は広角画像データの送信要求を受け取ると、WWWサーバー装置3との間でコネクションが確立した後、WWWサーバー装置3と携帯ネットワークサーバー装置4との間で規定されたプロトコルに従ってURIを指定した表示中のパノラマ画像又は広角画像に隣接するパノラマ画像データ又は広角画像データの送信要求をWWWサーバー装置3に送信する。
次に、携帯ネットワークサーバー装置4は、表示中のパノラマ画像又は広角画像に隣接するパノラマ画像データ又は広角画像データをWWWサーバー装置3から受け取ると、基地局5との間でコネクションが確立した後、携帯ネットワークサーバー装置4と基地局5の間で規定されたプロトコルに従って表示中のパノラマ画像又は広角画像に隣接するパノラマ画像データ又は広角画像データを基地局5に送信する。
以上により携帯ネットワークサーバー装置4は、実行中の処理を終了する。
<基地局5の実行処理>
次に、基地局5全体の実行する処理に関して説明する。
始めに、基地局5は、携帯ネットワークサーバー装置4から画像用テーブルGTデータを受信すると、セル内に存在する携帯電話6との間でコネクションが確立した後、基地局5と携帯電話6との間で規定されたプロトコルに従って画像用テーブルGTのデータを携帯電話6に無線で送信する。
次に、基地局5は、URIを指定したパノラマ画像データ又は広角画像データの送信要求をセル内の携帯電話6から無線で受信すると、携帯ネットワークサーバー装置4との間でコネクションが確立した後、携帯ネットワークサーバー装置4と基地局5との間で規定されたプロトコルに従ってURIを指定したパノラマ画像データ又は広角画像データの送信要求を携帯ネットワークサーバー装置4に送信する。
次に、基地局5は、パノラマ画像データ又は広角画像データを携帯ネットワークサーバー装置4から受け取ると、セル内に存在する携帯電話6との間でコネクションが確立した後、基地局5とセル内の携帯電話6との間で規定されたプロトコルに従ってパノラマ画像データ又は広角画像データをセル内に存在する携帯電話6に無線で送信する。
次に、基地局5は、URIを指定した表示中のパノラマ画像又は広角画像に隣接するパノラマ画像データ又は広角画像データの送信要求をセル内の携帯電話6から無線で受信すると、携帯ネットワークサーバー装置4との間でコネクションが確立した後、携帯ネットワークサーバー装置4と基地局5との間で規定されたプロトコルに従ってURIを指定した表示中のパノラマ画像又は広角画像に隣接するパノラマ画像データ又は広角画像データの送信要求を携帯ネットワークサーバー装置4に送信する。
次に、基地局5は、表示中のパノラマ画像又は広角画像に隣接するパノラマ画像データ又は広角画像データを携帯ネットワークサーバー装置4から受け取ると、セル内に存在する携帯電話6との間でコネクションが確立した後、基地局5とセル内の携帯電話6との間で規定されたプロトコルに従って表示中のパノラマ画像又は広角画像に隣接するパノラマ画像又は広角画像のデータをセル内に存在する携帯電話6に無線で送信する。
以上により基地局5は、実行中の処理を終了する。
<携帯電話6の実行処理>
図8は、本実施の形態に係る画像表示システムSに適用される携帯電話6全体の実行する処理を説明するためのフローチャートである。
本実施の形態に係る画像表示システムSに適用される携帯電話6は、電源が投入されると、携帯電話6本体にインストールされた画像表示プログラムが起動して以下の処理を順次実行する。
始めに、携帯電話6が画像用テーブルGTのデータを受信すると(B1:テーブルデータ受信手段)、制御モジュール6xfは、受信した画像用テーブルGTのデータを画像用テーブルデータ記憶メモリ(テーブルデータ記憶手段)6xbに記憶させる(B2:テーブルデータ保存手段)。
次に、制御モジュール6xfは、画像ID又は画像ファイル名を指定したパノラマ画像データ又は広角画像データの表示要求が操作者の操作によって外部から入力されたかを判定する(B3)。
制御モジュール6xfは、前述した工程B3で、当該画像IDを指定したパノラマ画像データ又は広角画像データの表示要求が操作者の操作によって外部から入力されたと判定した場合(B3:Yes)、画像用テーブルデータ記憶メモリ2xbから当該画像IDに対応するURIのデータを読み出す(B4:URI読み出し手段)。
一方、制御モジュール6xfは、前述した工程B3で、当該画像IDを指定したパノラマ画像データ又は広角画像データの表示要求が操作者の操作によって外部から入力されていないと判定した場合(B3:No)、当該画像IDを指定したパノラマ画像データ又は広角画像データの表示要求が操作者の操作によって外部から入力されたかに関する判定処理を実行する。
工程B5では、制御モジュール6xfは、読み出したURIで指定されるパノラマ画像データ又は広角画像データの送信要求を、通信ネットワークを介してビデオサーバー装置2に向けて送信させる。
次に、携帯電話6がURIに対応するパノラマ画像又は広角画像のデータを受信すると(B6:画像データ取得手段)、制御モジュール6xfは、受信したパノラマ画像又は広角画像のデータを画像メモリ(画像データ記憶手段)6xgに一旦記憶させた後(画像データ保存手段)、URIに対応する画像の中心点の位置座標のデータを読み出し(B7)、読み出したパノラマ画像データ又は広角画像データの中心点の位置座標と、当該画像メモリ(画像データ記憶手段)6xgに記憶させたパノラマ画像データ又は広角画像データの中心点とが一致するように、パノラマ画像データ又は広角画像データの中心点の位置座標を変更して、受信したパノラマ画像データ又は広角画像データを配置する(B8)。
次に、制御モジュール6xfは、読み出したパノラマ画像データ又は広角画像データの中心点の位置座標と、当該パノラマ画像データ又は広角画像データの中心点とが一致するように、パノラマ画像データ又は広角画像データの中心点の位置座標を変更して配置したパノラマ画像データ又は広角画像データを表示デバイス6xdに表示させる(B9)。
本実施の形態に係る携帯電話6では、工程B8及び工程B9における実行処理が第1の表示制御手段に該当する。
なお、本実施の形態に係る制御モジュール6xfは、ビデオサーバー装置2から通信ネットワークを介して取得したパノラマ画像データ又は広角画像データを、画像用テーブルデータ記憶メモリ6xbに記憶された位置座標とパノラマ画像データ又は広角画像データの中心点の位置座標とが一致するように配置した画像データを生成して、生成した画像データを表示デバイス6xdの表示画面に表示させているが、これに限らず、ビデオサーバー装置2から通信ネットワークを介して取得したパノラマ画像データ又は広角画像データを、画像用テーブルデータ記憶メモリ6xbに記憶された座標系における基準点とパノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報に基づいて座標系に配置した画像データを生成して、生成した画像データを表示デバイス6xdの表示画面に表示させてもよい。
また、本実施の形態に係る制御モジュール6xfは、ビデオサーバー装置2から通信ネットワークを介して取得したパノラマ画像データ又は広角画像データを、画像用テーブルデータ記憶メモリ6xbに記憶された座標系における基準点とパノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報と、位置座標とに基づいて座標系に配置した画像データを生成して、生成した画像データを表示デバイス6xdの表示画面に表示させてもよい。
次に、制御モジュール6xfは、URIが更新されたことを示すURI更新通知と共に送信されたURI更新済みの画像用テーブルGTのデータを受信したかを判定する(B10)。
制御モジュール6xfは、前述した工程B10でURI更新済みの画像用テーブルのデータを受信したと判定した場合に(B10:Yes)、受信したURI更新済みの画像用テーブルGTのデータを画像用テーブルデータ記憶メモリ6xbに上書き記憶させることによって、URIのデータを上書きして画像用テーブルGTのデータを更新した後(B11)、前述した工程B4における実行処理を実行する。
一方、制御モジュール6xfは、前述した工程B10でURI更新通知と共に送信されたURI更新済みの画像用テーブルGTのデータを受信していないと判定した場合には(B10:No)、センサーモジュール6xeによって速度、加速度、角速度が検出されたかにより、操作者による操作がなされたかを判定する(B12)。
制御モジュール6xfは、操作者による操作がなされたと判定した場合(B12:Yes)、外乱除去やセンサー誤差を補正した後、加速度のディジタル情報を一定時間間隔ごとに2重積分を行うことによってセンサーモジュールの本体の移動距離の演算を行うと共に、角速度のディジタル情報を一定時間間隔ごとに積分することによってセンサーモジュール本体の移動角度の演算を行って、操作者の操作の前後における移動距離及び移動角度を算出する(B13:変位算出手段)。
一方、制御モジュール6xfは、前述した工程B12で操作者による操作がなされていないと判定した場合(B12:No)、当該操作者による操作がなされたかに関する判定処理を繰り返す。
次に、制御モジュール6xfは、操作前における表示画面上の基準点の位置座標と、算出された移動距離及び移動角度とに基づいて、操作後における表示画面上の基準点の位置座標を算出し、表示画面上の基準点の位置座標を操作後における表示画面上の基準点の位置座標に変更して、変更後の表示画面上の基準点を含むパノラマ画像又は広角画像のデータを画像データ記憶メモリ6xgから読み出して、操作後におけるパノラマ画像データ又は広角画像データを表示デバイス6xdに表示させる(B14:第2の表示制御手段)。
次に、制御モジュール6xfは、操作後における座標系の基準点の位置座標と、前述した変位算出機能により算出される移動距離及び移動角度とに基づいて、画像用テーブルのデータに含まれ、かつ、座標系で表示中のパノラマ画像データ又は広角画像データに隣接して配置されている他のパノラマ画像データ又は広角画像データの有無に関して、画像用テーブルに記憶された表示可能なパノラマ画像データ又は広角画像データを検索することによって判定する(B15)。
制御モジュール6xfは、前述した工程B15で、座標系で表示中のパノラマ画像データ又は広角画像データに隣接して配置されている他のパノラマ画像データ又は広角画像データの有無に関して、画像用テーブルに記憶された表示可能なパノラマ画像データ又は広角画像データが画像用テーブルに存在すると判定した場合(B15:Yes)、当該隣接するパノラマ画像データ又は広角画像データの画像IDを特定し、特定した画像IDに対応するURIを画像用テーブルから読み出す(B16)。
次に、制御モジュール6xfは、読み出されたURIによって指定される、表示中のパノラマ画像又は広角画像に隣接するパノラマ画像データ又は広角画像データの送信要求をビデオサーバー装置2に送信するようにデータ送受信モジュール6xaを制御する(B17)。
次に、制御モジュール6xfは、ビデオサーバー装置2から通信ネットワークを介して表示中のパノラマ画像又は広角画像に隣接するパノラマ画像データ又は広角画像データを取得し(隣接画像取得手段)、取得した表示中のパノラマ画像又は広角画像に隣接するパノラマ画像データ又は広角画像データを画像用テーブルデータ記憶メモリ6xbに記憶された位置座標とパノラマ画像データ又は広角画像データの中心点の位置座標とが一致するように配置して表示デバイスの表示画面に表示させる(B18)。
一方、制御モジュール6xfは、前述した工程B15で、座標系で表示中のパノラマ画像データ又は広角画像データに隣接して配置されている他のパノラマ画像データ又は広角画像データの有無に関して、画像用テーブルに記憶された表示可能なパノラマ画像データ又は広角画像データが画像用テーブルに存在すると判定された場合(B15:No)、新たな画像用テーブルのデータを送信させるための画像用テーブル更新要求を、ネットワークカメラ装置によって撮像された新たなパノラマ画像データ又は広角画像データが記憶されたビデオサーバー装置に通信ネットワークを介して送信する(B19)。
次に、制御モジュール6xfは、前述した工程B19で画像用テーブル更新要求が送信されたビデオサーバー装置から返送された画像用テーブルを受信したかを判定する(B20)。
制御モジュール6xfは、前述した工程新規画像用テーブル受信有無判定機能によりビデオサーバー装置から返送された画像用テーブルを受信したと判定された場合(B20:Yes)、受信した画像用テーブルのデータを画像用テーブルデータ記憶メモリ6xbに記憶させて、画像用テーブルGTのデータを更新する(B21)。
一方、制御モジュール6xfは、前述した工程B20でビデオサーバー装置から返送された画像用テーブルを受信していないと判定された場合(B20:No)、ビデオサーバー装置2から返送された画像用テーブルを受信したかに関する判定処理を繰り返す。
工程B22では、制御モジュール6xfは、前述した操作者有無判定機能により検出済みの角速度、速度、及び加速度の向きとは反対向きの角速度、速度、及び加速度のうち何れかが検出されたかにより、操作者によって解除操作がなされたかを判定する。
制御モジュール6xfは、前述した工程B22で操作者によって解除操作がなされたと判定した場合(B22:Yes)、変更済みの表示画面内の基準点の位置座標を変更前の表示画面内の基準点の位置座標に戻して、換言すれば画像用テーブルデータ記憶メモリ6xbに記憶された位置座標とパノラマ画像データ又は広角画像データの中心点の位置座標とが一致するように配置した画像データを生成して、生成した画像データを表示デバイス6xdの表示画面に表示させる(B23)。
なお、本実施の形態に係る携帯電話6では、工程B23で実行される実行処理をスクロール解除処理と呼んでもよい。
また本実施の形態に係る携帯電話6では、操作者によって解除操作がなされたと判定した場合に、パノラマ画像又は広角画像のスクロール表示を解除して解除操作直前の表示状態を維持したままの状態でパノラマ画像又は広角画像を表示画面に表示させてもよいことは言うまでもない。
一方、制御モジュール6xfは、前述した工程B22で、操作者によって解除操作がなされていないと判定した場合(B22:No)、前述した操作者による操作がなされたかに関する判定処理を実行する。
以上のような一連の処理により、携帯電話6は実行中の処理を終了する。
なお、本実施の形態に係る画像表示システムSでは、制御モジュール6xfは、センサーモジュール6xeによって速度、加速度、角速度が検出された場合に、外乱除去やセンサー誤差を補正した後、加速度のディジタル情報を一定時間間隔ごとに2重積分を行うことによってセンサーモジュールの本体の移動距離の演算を行うと共に、角速度のディジタル情報を一定時間間隔ごとに積分することによってセンサーモジュール本体の移動角度の演算を行って、操作者の操作の前後における表示画面上の基準点の位置座標の移動距離及び移動角度を算出し、算出された移動距離及び移動角度に基づいて、操作後における表示画面上の基準点の位置座標を算出し、表示画面上の基準点の位置座標を操作後における表示画面上における基準点の位置座標に変更して、変更後の基準点を含むパノラマ画像又は広角画像を画像メモリ6xgから読み出して、操作後におけるパノラマ画像データ又は広角画像データを表示デバイスに表示させていたが、これに限らず、制御モジュール6xfは、センサーモジュール6xeによって速度、加速度、角速度が検出された場合に、表示中のパノラマ画像データ又は広角画像データの表示倍率を変更して変更後のパノラマ画像データ又は広角画像データを表示デバイス6xdに表示させてもよいことは言うまでもない。
なお、本実施の形態に係る画像表示システムSでは、説明の便宜上、携帯電話に関して説明を行ったが、PHS(Personal Handyphone System)、PDA(Personal Digital Assistants)、スマートフォン(Smart Phone)等であってもよいことは言うまでもない。
また、本実施の形態に係るネットワークカメラ装置1と、携帯電話とを接続する通信ネットワークは、画像用テーブルGTのデータ、画像のデータ、及びパノラマ画像データ又は広角画像データの送信要求等を伝送可能なネットワークで構成されていれば、形態は如何なるものであってもよい。
本実施の形態によれば、パノラマ画像データ又は広角画像データを表示可能なサイズよりも小さいサイズの表示画面を有する携帯電話6であっても、ネットワークカメラ装置1により生成された画像用テーブルGTと、速度、加速度、角速度のうち少なくとも何れか1つのデータを検出するセンサーモジュール6xeとを用いることによって、検出された速度、加速度、角速度に応じて、外乱除去やセンサー誤差を補正した後、加速度のディジタル情報を一定時間間隔ごとに2重積分を行うことによってセンサーモジュールの本体の移動距離の演算を行うと共に、角速度のディジタル情報を一定時間間隔ごとに積分することによってセンサーモジュール本体の移動角度の演算を行って、操作者の操作の前後における表示画面上の基準点の位置座標の移動距離及び移動角度を算出し、算出された移動距離及び移動角度に基づいて、操作後における表示画面上の基準点の位置座標を算出し、表示画面上の基準点の位置座標を操作後における表示画面上における基準点の位置座標に変更して、変更後の基準点を含むパノラマ画像又は広角画像を画像メモリ6xgから読み出して、操作後におけるパノラマ画像データ又は広角画像データを表示デバイスに表示させるので、パノラマ画像データ又は広角画像データを表示可能なサイズよりも小さいサイズの表示画面を有する携帯電話6を用いて表示させることが出来る。
本実施の形態によれば、パノラマ画像データ又は広角画像データに商品やサービスに関するコンテンツが含まれる場合には、操作者がセンサーモジュール8に操作を加えることによってインタラクティブに商品やサービスに関するコンテンツを表示させることが出来る。
また、本実施の形態によれば、携帯電話6を上下、又は回転させる操作を行うことによって、画像データ記憶メモリに記憶されているパノラマ画像空間を表示画面上で自動的に上下又は回転して移動表示させることが可能である。
更に、本実施の形態によれば、センサーモジュール6xeを携帯電話6に搭載することによって、子供から年配者に至るまで、携帯電話を楽しく、直感的に操ることが可能になる。
(第2の実施の形態)
図9は、本発明の第2の実施の形態に係る画像表示システムS´の一例を示す模式図である。
また、図10は、本実施の形態に係る画像表示システムの一例を示す機能ブロック図である。なお、説明の効率化を図る観点から、前述した図面と同一部分に関しては、同一符号を付してその詳細な説明を省略し、ここでは主として異なる部分に関して説明する。以下の実施の形態においても同様とする。
本実施の形態に係る画像表示システムは、ネットワークカメラ装置1によって撮像された動画又は静止画像を含むパノラマ画像データ又は広角画像データを、当該ネットワークカメラ装置1と通信ネットワークを介して接続されたパーソナルコンピュータ7本体に着脱自在に接続されたセンサーモジュール8に加えられた操作に応じて当該センサーモジュール8に発生した速度、加速度、角速度に基づいてパノラマ画像データ又は広角画像データの中心位置又はパノラマ画像データ又は広角画像データの表示倍率を変更することによって、パノラマ画像データ又は広角画像データを表示させることが可能なサイズよりも小さな表示画面を有するパーソナルコンピュータ7でのパノラマ画像データ又は広角画像データを表示させるためのシステムである。
本実施の形態に係る画像表示システムS´は、ネットワークカメラ装置1と、当該ネットワークカメラ装置1と通信ネットワークを介して接続されたビデオサーバー装置2と、当該ビデオサーバー装置2とインターネットINTを介して接続されたWWWサーバー装置3´と、当該WWWサーバー装置3´とインターネットINTを介して接続されたパーソナルコンピュータ(画像表示装置)7と、当該パーソナルコンピュータ7に着脱自在に接続されたセンサーモジュール8とを備えている。
なお、説明の簡略化を図る観点から、本実施の形態に係る画像表示システムのネットワークカメラ装置1は、前述した第1の実施の形態に係るネットワークカメラ装置1と構成及び実行処理が同一であるので、ここでは、その説明を省略する。
また、同様の主旨から、本実施の形態に係る画像表示システムのビデオサーバー装置2は、前述した第1の実施の形態に係るビデオサーバー装置2と構成及び実行処理が同一であるので、ここでは、その説明を省略する。
WWWサーバー装置3´は、インターネットサービスプロバイダ(Internet Service Provider)が所有する周知のサーバーコンピュータであり、ビデオサーバー装置2とWWWサーバー装置3との間で規定されたプロトコルに従った画像用テーブルGTのデータ、パノラマ画像データ又は広角画像データの送信要求、及びパノラマ画像データ又は広角画像データの伝送と、WWWサーバー装置3とパーソナルコンピュータ7との間で規定されたプロトコルに準拠した画像用テーブルGTのデータ、パノラマ画像データ又は広角画像データの送信要求、及びパノラマ画像データ又は広角画像データの伝送とをそれぞれ中継する機能を備えたサーバーコンピュータである。
なお、本実施の形態に係る画像表示システムS´では、ビデオサーバー装置2と、WWWサーバー装置3とがインターネットINTを介して接続された別個のサーバー装置として設けられていたが、これに限らず、ビデオサーバー装置2の有する各機能をWWWサーバー装置3に保有させることによって、単一のサーバー装置で構成してもよいことは言うまでもない。
パーソナルコンピュータ7は、周知のノイマン型コンピュータで実現されている。
図11は、本実施の形態に係るパーソナルコンピュータ7のハードウェア構成の一例を示す模式図である。
本実施の形態に係るパーソナルコンピュータ7は、ノースブリッジ7aと、ノースブリッジ7aと接続されたCPU7b、ROM7c、RAM7d、SRAM7e、ビデオカード7f、及びビデオカード7fに接続されたDVI7gと、ノースブリッジ7aとPCIバス7hで接続されたサウスブリッジ7iと、サウスブリッジ7iと接続されたHDD7j、CD−ROMドライブ7k、サウンドカード7l、USBポート7mと、バックポートコネクタ7nと、モデムカード7oとを備えている。
ノースブリッジ7aは、CPU7b、ROM7c、RAM7d、SRAM7e、及びビデオカード7fのデバイスの管理及び制御を行うチップである。
CPU7bは、パーソナルコンピュータ7全体を統括的に制御するプロセッサである。
ROM7cは、CPU7bの動作に必要なプログラム、例えばIPL(Initial Program Loader)、ブートストラップ、BIOS(Basic Input-Output System)等が読み出し可能に記憶された不揮発性メモリである。
RAM7dは、OS、アプリケーションソフト、及びアプリケーションソフトに必要なデータが書込み/読み出し可能に記憶された揮発性メモリである。
SRAM(Static RAM)7eは、主としてキャッシュメモリとして用いられる揮発性メモリである。
ビデオカード7fは、画像関係の処理を実行する図示しないGPU(Graphic Processing Unit)と、画像表示用のデータを記憶する図示しないビデオメモリとが搭載された拡張カードである。
DVI(Digital Video Interface)7gは、ビデオカード7fとディジタルディスプレイ(表示パネル)7pとを接続するインターフェースであり、表示画面が接続されている。
サウスブリッジ7iは、キーボード7q、マウス7r、USB、IDE、LANの各種I/Oの制御を行うチップである。
ハードディスクドライブ7iは、(HDD:Hard Disk Drive)は、アプリケーションソフト、及びアプリケーションソフトに必要なデータが書込み/読み出し可能に記憶された外部記憶装置である。
CD−ROMドライブ7kは、読み出し専用の記録媒体であるCD−ROMからを読み出す処理を実行可能なドライブである。
サウンドカード7lは、パーソナルコンピュータ7に音声機能を持たせるための拡張ボードである。
USBポート7mは、USBの規格に準拠した外部機器、例えば速度センサー、加速度センサー、角速度センサーを含むセンサーモジュール8が図示しないUSBケーブルで接続されている。
バックポートコネクタ7nは、主としてキーボード7q、マウス7rを接続するためのコネクタであり、図示しないキーボード7q及びマウス7rが接続されている。
モデムカード7oは、パーソナルコンピュータ7と電話回線とを接続するカードである。
また、本実施の形態に係るパーソナルコンピュータ7は、前述した図10に示すように、送受信モジュール7s、画像用テーブルメモリ7t、画像メモリ7x、入力受付モジュール7u、表示デバイス7v、及び制御モジュール7wを備えている。
送受信モジュール7sは、外部から送信された画像用テーブルGTのデータを受信する機能と、受信された画像用テーブルGTのデータを制御モジュール7wに出力する機能と、URIを指定したパノラマ画像データ又は広角画像データの送信要求をビデオサーバー装置2に送信する機能と、URIを指定した画像の送信要求に応じてビデオサーバー装置2から送信されたパノラマ画像データ又は広角画像データを受信する機能とを有しており、主としてモデムカード7o等によって構成されている。
画像用テーブルデータ記憶メモリ7tは、パノラマ画像データ又は広角画像データに割り当てられた画像IDと、パノラマ画像データ又は広角画像データのファイル名と、パノラマ画像データ又は広角画像データを指定するためのURIと、予め定められた座標系におけるパノラマ画像データ又は広角画像データの中心点の位置座標と、座標系における基準点とパノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報とを少なくとも含む画像用テーブルGTデータが記憶されている揮発性メモリであり、主としてRAM7dによって構成されている。
画像メモリ7xは、ビデオサーバー装置2から通信ネットワークを介して送信されたパノラマ画像又は広角画像のデータが一時的に記憶されるメモリであり、主としてビデオカード7fに搭載された図示しないビデオメモリによって構成される。
入力受付モジュール7uは、操作者の操作により入力された画像を表示させるための画像表示要求と画像IDとの入力、及び画像用テーブルGTの予め定められた座標系における基準点とパノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報とのうち少なくとも一方を操作者の操作によって設定するための設定入力、パノラマ画像データ又は広角画像データの表示倍率の設定入力を受け付けるモジュールであり、図示しないキーボード、マウス、及びバックポートコネクタ等によって構成される。
表示デバイス7vは、操作者によってURIを指定されたパノラマ画像データ又は広角画像データが表示される表示画面を有しており、主として表示パネルによって構成されている。
制御モジュール7wは、以下の各機能を有しており、主として前述したCPU7b、ROM7c、RAM7d、SRAM7e、ビデオカード7f、DVI7g等によって構成される。
画像用テーブル書き込み機能は、送受信モジュール7sから出力された画像用テーブルGTのデータを受け取り、受け取った画像用テーブルGTのデータを画像用テーブルデータ記憶メモリ7tに記憶させる機能である。
URI読み出し機能は、入力受付モジュール7uによって入力を受け付けた画像IDに対応するパノラマ画像データ又は広角画像データを指定するためのURIを画像用テーブルデータ記憶メモリ7tから読み出す機能である。
送信要求送信制御機能は、前述したURI読み出し機能によって読み出されたURIで指定されるパノラマ画像データ又は広角画像データの送信要求を、通信ネットワークを介してビデオサーバー装置2に送信させる機能である。
画像データ書き込み機能は、前述した送信要求送信制御機能によってパノラマ画像データ又は広角画像データの送信要求に応じてビデオサーバー装置2から取得したパノラマ画像データ又は広角画像データを、画像データメモリ7xに記憶させる機能である。
第1の表示制御機能は、画像データ書き込み機能によって画像データメモリ7xに書き込んだ画像データを画像用テーブルデータ記憶メモリ7tに記憶された位置座標とパノラマ画像データ又は広角画像データの中心点の位置座標とが一致するように配置して、配置したパノラマ画像データ又は広角画像データを表示デバイス7vの表示画面に表示させる機能である。
URI更新有無判定機能は、URIが変更されたURI更新済みの画像用テーブルGTのデータを受信したかを判定する機能である。
画像用テーブル更新機能は、前述したURI更新有無判定機能によりURI更新済みの画像用テーブルGTのデータを受信したと判定した場合に、受信したURI更新済みの画像用テーブルGTのデータを画像用テーブルデータ記憶メモリ7tに記憶させて、画像用テーブルGTのデータを更新する機能である。
操作者操作有無判定機能は、センサーモジュール8によって角速度、速度、及び加速度の少なくとも1つのデータが検出されたかにより、操作者によって操作がなされたかを判定する機能である。
第2の表示制御機能は、前述した操作者操作有無判定機能により操作者によって操作がなされたと判定された場合、換言すれば、センサーモジュール8によって角速度、速度、及び加速度の少なくとも1つのデータが検出された場合に、表示中のパノラマ画像データ又は広角画像データの表示倍率を変更して、変更後のパノラマ画像データ又は広角画像データを表示デバイスに表示させる機能である。
解除操作有無判定機能は、前述した操作者操作有無判定機能によって検出済みの角速度、速度、及び加速度の向きとは反対向きの角速度、速度、及び加速度のうち何れかが検出されたかにより、操作者によって解除操作がなされたかを判定する機能である。
第3の表示制御機能は、前述した解除操作有無判定機能による該判定の結果、操作者によって解除操作がなされたと判定した場合、換言すれば、センサーモジュール8によって検出済みの角速度、速度、及び加速度の向きとは反対向きの角速度、速度、及び加速度のうち何れかが検出された場合に、表示倍率を変更して表示中のパノラマ画像又は広角画像の表示倍率を、表示倍率の変更前の表示倍率に戻して、表示デバイスに表示させる機能である。
なお、本実施の形態に係る制御モジュール7wは、通信ネットワークを介して取得したパノラマ画像データ又は広角画像データを、画像用テーブルデータ記憶メモリ7tに記憶された位置座標とパノラマ画像データ又は広角画像データの中心点の位置座標とが一致するように配置して表示デバイス7v表示画面に表示させる機能と、角速度、速度、及び加速度の少なくとも1つのデータが検出された場合に、通信ネットワークを介して取得した表示中のパノラマ画像データ又は広角画像データの表示倍率を変更して、変更後のパノラマ画像データ又は広角画像データを表示デバイスに表示させる機能と、検出済みの角速度、速度、及び加速度のうち何れかのデータとは反対向きの角速度、速度、及び加速度のうち何れかのデータが検出された場合に、表示中のパノラマ画像データ又は広角画像データの表示倍率を、表示倍率の変更前の表示倍率に変更して表示デバイスに表示させる機能とを有していたが、これに限らず、センサーモジュール8によって速度、加速度、角速度が検出された場合に、外乱除去やセンサー誤差を補正した後、加速度のディジタル情報を一定時間間隔ごとに2重積分を行うことによってセンサーモジュールの本体の移動距離の演算を行うと共に、角速度のディジタル情報を一定時間間隔ごとに積分することによってセンサーモジュール8本体の移動角度の演算を行って、操作者の操作の前後におけるパノラマ画像データ又は広角画像データの中心点の位置座標の変位を算出し、算出された変位に基づいて、配置されたパノラマ画像データ又は広角画像データの中心点の位置座標を変更して、変更後のパノラマ画像データ又は広角画像データを表示デバイス6xeに表示させてもよいことは言うまでもない。
センサーモジュール8は、操作者によって外部からセンサーモジュール8本体に加えられた操作に基づいて、当該センサーモジュール8本体に発生した角速度を検出する角速度センサーと、操作者によって外部からセンサーモジュール8本体に加えられた操作に基づいて、携帯電話8本体に発生した速度を検出する速度センサーと、操作者によって外部からセンサーモジュール8本体に加えられた操作に基づいて、当該センサーモジュール8本体に発生した加速度を検出する加速度センサーとを有しており、検出した角速度、速度、加速度をパーソナルコンピュータ7に出力する機能を有するモジュールである。
このセンサーモジュール8は、図12に示すように、速度センサー8a、加速度センサー8b、角速度センサー8c、A/D変換器8d、ROM8e、RAM8f、CPU8g、USBインターフェース8hを備えている。
なお、本実施の形態に係るセンサーモジュール8は、図示しない外部電源によって、給電されているが、説明の簡略化を図る観点から外部電源に関してはここでは記載を省略している。
なお、本実施の形態に係るセンサーモジュール8はX軸、Y軸、Z軸の3つの軸に対する動き、換言すれば3次元上における動きを検出する位置センサーであるが、これに限らず、X軸、Y軸の2つの軸に対する動きを検出する姿勢センサー又は方位センサーを用いてもよいことはいうまでもない。
速度センサー8aは、センサーモジュール8に対して操作者の操作によって、センサーモジュール8本体に発生した速度を検出し、検出した速度のデータを示すアナログ信号をA/D変換器8dに出力する。
加速度センサー8bは、センサーモジュール8に対して操作者の操作によって、センサーモジュール8本体に発生した加速度を検出し、検出した加速度のデータを示すアナログ信号をA/D変換器8dに出力する。
角速度センサー8cは、センサーモジュール8に対して操作者の操作によって、センサーモジュール8本体に発生した角速度を検出し、検出した速度のデータを示すアナログ信号をA/D変換器8dに出力する。
A/D変換器8dは、速度センサー8a、加速度センサー8b、加速度センサー8cから出力されたアナログ信号をA/D変換して、変換の結果、得られたディジタル信号をCPU8gに供給する。
ROM8eには、センサーモジュール8全体を制御する制御プログラムが記憶されている。
RAM8fには、速度センサー8aによって検出された速度のデータ、加速度センサー8bによって検出された加速度のデータ、角速度センサー8cによって検出された角速度のデータが時系列に沿って記憶されている。
CPU8gは、USBインターフェース8hを介してセンサーモジュール8本体に給電がなされると、ROM8eに記憶された制御プログラムを読み出し、CPU8g自体の初期化処理、USBインターフェース8hの初期化処理、A/D変換器8dの初期化処理、A/D変換器8dがA/D変換処理を実行する際のパラメータを設定するパラメータ設定処理、速度センサー8a、加速度センサー8b、角速度センサー8cから出力されたアナログ信号をディジタル信号に変換するA/D変換処理をA/D変換器8dに実行させるA/D変換制御処理、A/D変換器8dから出力された速度センサー8a、加速度センサー8b、角速度センサー8cの検出データを含むディジタル信号を受け取るセンサー検出データ受信処理、受け取った速度センサ8aー、加速度センサー8b、加速度センサー8cの検出データを含むディジタル信号を、パーソナルコンピュータ7に送信させるためのセンサーデータ送信開始命令がパーソナルコンピュータ7から出力されたかを判定するセンサーデータ送信開始命令有無判定処理、前述したセンサーデータ送信開始命令有無判定処理による判定の結果、速度センサー8a、加速度センサー8b、角速度センサー8cの検出データを含むディジタル信号をパーソナルコンピュータ7に送信させるためのセンサーデータ送信開始命令が当該パーソナルコンピュータ7から送信されたと判定した場合、速度センサー8a、加速度センサー8b、角速度センサー8cの検出データを含むディジタル信号を、当該パーソナルコンピュータに送信するように、USBインターフェースを制御するデータ送信制御処理、速度センサー8a、加速度センサー8b、角速度センサー8cの検出データを含むディジタル信号を、パーソナルコンピュータ7に送信する処理を終了させるためのセンサーデータ送信終了命令が当該パーソナルコンピュータ7から送信されたかを判定するセンサーデータ送信終了命令有無判定処理、及び前述したセンサーデータ送信終了命令有無判定処理で、速度センサー8a、加速度センサー8b、角速度センサー8cの検出データを含むディジタル信号を、パーソナルコンピュータ7に送信する処理を終了させるためのセンサーデータ送信終了命令が当該パーソナルコンピュータ7から送信されたと判定された場合、速度センサー8a、加速度センサー8b、角速度センサー8cの検出データを含むディジタル信号を、パーソナルコンピュータ7に送信する処理を終了させるように、USBインターフェース8hを制御するデータ送信終了制御処理を順次実行する。
USBインターフェース8hは、センサーモジュール8本体に給電を行うと共に、センサーモジュール8とパーソナルコンピュータ7との間でデータのやり取りを実行するためのインターフェースである。
なお、本実施の形態に係る画像表示装置は、例えば、図13に示すように、画像表示装置としてのパーソナルコンピュータ7と、当該パーソナルコンピュータ7本体とは別体として設けられ、有線又は無線によって当該パーソナルコンピュータ7と接続されたヘッドマウントディスプレイHMDと、当該ヘッドマウントディスプレイHMDのフレームに取り付けられた速度センサー、加速度センサー、及び角速度センサーを含むセンサーモジュール8とから構成してもよい。なお、この場合、ヘッドマウントディスプレイには、前述した図6に示すような外観、及び図12に示すようなハードウェア構成を有するセンサーモジュール8が取り付けられている。
これにより、選択された動画又は静止画像の再生、拡大、リンク先表示を鑑賞する場合には、操作者の首を空間的に上下左右に移動又は回転させたりして、取り付けられたセンサーモジュール8を空間的に上下左右に移動したり、回転させたりすることによって、動画や静止画像を自動的にスクロールして、任意の位置や方向の画像を鑑賞することが可能になる。
また、本実施の形態に係る画像表示装置は、例えば、図14に示すように、画像表示装置としての図示しないパーソナルコンピュータ7と、当該パーソナルコンピュータ7本体とは別体として設けられ、有線又は無線によって当該パーソナルコンピュータ7と接続された、回転軸を中心として回転可能な椅子CHに取り付けられた表示画面SCRと、当該椅子SCHの背もたれ部分等に取り付けられた速度センサー、加速度センサー、及び角速度センサーを含む図示しないセンサーモジュール8とから構成してもよい。なお、この場合、椅子SCHの背もたれ部分等には、前述した図6に示すような外観、及び図12に示すようなハードウェア構成を有するセンサーモジュール8が取り付けられている。
これにより、選択された動画又は静止画像の再生、拡大、リンク先表示を鑑賞する場合には、画像表示装置であるパーソナルコンピュータの釦を操作したり、取り付けられたセンサーモジュールを空間的に上下左右に移動したり、回転させたりすることによって、動画や静止画像を自動的にスクロールして、任意の位置や方向の画像を鑑賞することが可能になる。
更に、本実施の形態に係る画像表示装置は、例えば、画像表示装置としての図示しないパーソナルコンピュータ7と、当該パーソナルコンピュータ7本体とは別体として設けられ、有線又は無線によって当該パーソナルコンピュータ7と接続された、前述した図14に示すような、回転軸を中心として回転可能な椅子に取り付けられた表示画面と、当該表示画面と着脱自在に取り付けられた、図15に示すような、速度センサー、加速度センサー、及び角速度センサーを含むセンサーモジュール8が取り付けられたヘッドフォンHDPとから構成してもよい。
なお、本実施の形態では、画像表示装置としての図示しないパーソナルコンピュータ7と、当該パーソナルコンピュータ7本体とは別体として設けられ、有線又は無線によって当該パーソナルコンピュータ7と接続された、前述した図14に示すような、回転軸を中心として回転可能な椅子に取り付けられた表示画面と、当該表示画面と着脱自在に取り付けられた、速度センサー、加速度センサー、及び角速度センサーを含むセンサーモジュール8が内蔵されたヘッドフォンHDPとから構成してもよい。
また、本実施の形態に係る画像表示装置は、例えば、画像表示装置としてのパーソナルコンピュータ7と、当該パーソナルコンピュータ7本体とは別体として設けられ、有線又は無線によって当該パーソナルコンピュータ7と接続された、回転軸を中心として回転可能な椅子に取り付けられた図14に示すような表示画面と、当該表示画面と着脱自在に取り付けられた、操作者の指や手に取り付け可能な、速度センサー、加速度センサー、及び角速度センサーを含む前述した図6に示すような外観及び図12に示すようなハードウェア構成を有するセンサーモジュール8との組み合わせで構成してもよい。
なお、この場合、センサーモジュール8は、図示しないUSBケーブル又は無線で表示画面と接続された、操作者の指又は手に装着可能な指輪に取り付けてもよい。
これにより、本実施の形態に係る画像表示システムS´によれば、選択された動画又は静止画像の再生、拡大、リンク先表示を鑑賞する場合には、操作者の指や手に取り付けられたセンサーモジュールを空間的に上下左右に移動したり、回転させたりすることによって、動画や静止画像を自動的にスクロールして、任意の位置や方向の画像を鑑賞することが可能になる。
以上のように構成された画像表示システムS´の実行する処理に関して、図面を参照しながらより詳細に説明する。
なお、重複を避けて説明の簡略化を図る観点から、本実施の形態に係るネットワークカメラ装置1及びビデオサーバー装置2の実行処理に関しては、前述した第1の実施の形態に係るネットワークカメラ装置1、及びビデオサーバー装置2の実行処理と同一であるので、ここではその説明を省略する。また、以下の説明では、本実施の形態に係る画像表示システムのうち、WWWサーバー装置3における実行処理(送信処理)は、本発明のポイントではないので、図面を参照することなく簡単に概略を説明し、本実施の形態に係る画像表示システムの構成のうち、本発明のポイントとなるパーソナルコンピュータ7の実行する実行処理に関してのみ図面を参照して説明することとする。
<WWWサーバー装置3´の実行処理>
まず、WWWサーバー装置3´全体の実行する処理に関して説明する。
始めに、WWWサーバー装置3´は、ビデオサーバー装置2から画像用テーブルGTのデータを受信すると、パーソナルコンピュータ7との間でコネクションが確立した後、WWWサーバー装置3´とパーソナルコンピュータ7との間で規定されたプロトコルに従って画像用テーブルGTのデータをパーソナルコンピュータ7に送信する。
次に、WWWサーバー装置3は、URIを指定したパノラマ画像データ又は広角画像データの送信要求をパーソナルコンピュータ7から受け取ると、ビデオサーバー装置2との間でコネクションが確立した後、ビデオサーバー装置2とWWWサーバー装置3との間で規定されたプロトコルに従ってURIを指定したパノラマ画像データ又は広角画像データの送信要求をビデオサーバー装置2に送信する。
次に、WWWサーバー装置3は、パノラマ画像データ又は広角画像データをビデオサーバー装置2から受け取ると、パーソナルコンピュータ7との間でコネクションが確立した後、WWWサーバー装置3とパーソナルコンピュータ7との間で規定されたプロトコルに従ってパノラマ画像データ又は広角画像データをパーソナルコンピュータ7に送信する。
以上によりWWWサーバー装置3´は、実行中の処理を終了する。
<パーソナルコンピュータ7の実行処理>
図16は、本実施の形態に係る画像表示システムS´に適用されるパーソナルコンピュータ7全体の実行する処理を説明するためのフローチャートである。
始めに、パーソナルコンピュータ7が画像用テーブルGTのデータを受信すると(B1´:テーブルデータ受信手段)、制御モジュール7wは、受信した画像用テーブルGTのデータを画像用テーブルデータ記憶メモリ(テーブルデータ記憶手段)7tに記憶させる(B2´:テーブルデータ保存手段)。
次に、制御モジュール7wは、画像ID又は画像ファイル名を指定したパノラマ画像データ又は広角画像データの表示要求があるかを判定する(B3´)。
制御モジュール7wは、前述した工程B3´で、画像ID又は画像ファイル名を指定したパノラマ画像データ又は広角画像データの表示要求があると判定した場合(B3´:Yes)、画像用テーブルデータ記憶メモリ7tから当該画像ID又は画像ファイル名に対応するURIのデータを読み出す(B4´:URI読み出し手段)。
次に、制御モジュール7wは、読み出したURIとパノラマ画像データ又は広角画像データの送信要求とを通信ネットワークを介してビデオサーバー装置2に向けて送信させる(B5´)。
次に、パーソナルコンピュータ7がURIに対応するパノラマ画像又は広角画像のデータを受信すると(B´6:画像データ取得手段)、制御モジュール7wは、受信したパノラマ画像又は広角画像のデータを画像メモリ(画像データ記憶手段)7xに一旦記憶させた後(画像データ保存手段)、URIに対応する画像の中心点の位置座標のデータを読み出し(B7)、読み出したパノラマ画像データ又は広角画像データの中心点の位置座標と、当該画像メモリ(画像データ記憶手段)7xに記憶させたパノラマ画像データ又は広角画像データの中心点とが一致するように、パノラマ画像データ又は広角画像データの中心点の位置座標を変更して、受信したパノラマ画像データ又は広角画像データを配置する(B8´)。
次に、制御モジュール7wは、パノラマ画像データ又は広角画像データの中心点の位置座標に相当する位置に配置したパノラマ画像データ又は広角画像データを表示デバイス7vに表示させる(B9´)。
なお、本実施の形態に係るパーソナルコンピュータ7では、工程B8´及び工程B9´における実行処理が第1の表示制御手段に該当する。
また、本実施の形態に係る制御モジュール7wは、ビデオサーバー装置2から通信ネットワークを介して取得したパノラマ画像データ又は広角画像データを、画像用テーブルデータ記憶メモリ7tに記憶された位置座標とパノラマ画像データ又は広角画像データの中心点の位置座標とが一致するように配置した画像データを生成して、生成した画像データを表示デバイス7vの表示画面に表示させているが、これに限らず、ビデオサーバー装置2から通信ネットワークを介して取得したパノラマ画像データ又は広角画像データを、画像用テーブルデータ記憶メモリ7tに記憶された座標系における基準点とパノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報に基づいて座標系に配置した画像データを生成して、生成した画像データを表示デバイス7vの表示画面に表示させてもよい。
また、本実施の形態に係る制御モジュール7wは、ビデオサーバー装置2から通信ネットワークを介して取得したパノラマ画像データ又は広角画像データを、画像用テーブルデータ記憶メモリ6xbに記憶された座標系における基準点とパノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報と、位置座標とに基づいて座標系に配置した画像データを生成して、生成した画像データを表示デバイス6xdの表示画面に表示させてもよい。
図17は、パノラマ画像データ又は広角画像データの中心点の位置座標を画像用テーブルGTに設定されたパノラマ画像データ又は広角画像データの中心点の位置座標と一致するように、取得済みのパノラマ画像データ又は広角画像データの中心点の位置座標を変更した後で本実施の形態に係るパーソナルコンピュータ7の表示画面に表示させたパノラマ画像データ又は広角画像データの一例を示す模式図である。
本実施の形態に係るパーソナルコンピュータ7の表示画面には、取得済みのA、B、C3枚の静止画像を含むパノラマ画像データ又は広角画像データを、当該パノラマ画像データ又は広角画像データの中心点の位置座標を画像用テーブルGTに設定された各パノラマ画像データ又は広角画像データの中心点の位置座標と一致するように、パノラマ画像データ又は広角画像データの中心点の位置座標を変更した後で表示画面に表示させている。
なお、本実施の形態で示したパーソナルコンピュータ7の表示画面は、あくまで本実施の形態に係るパーソナルコンピュータの表示画面に表示される種々の画面の一例を示したものに過ぎず、この表示画面に限定されないことは言うまでもない。
次に、制御モジュール7wは、URIが変更されたURI更新済みの画像用テーブルGTのデータを受信したかを判定する(B10´)。
制御モジュール7wは、前述した工程B10´でURI更新済みの画像用テーブルGTのデータを受信したと判定した場合に(B10´:Yes)、受信したURI更新済みの画像用テーブルGTのデータを画像用テーブルデータ記憶メモリ7tに上書き記憶させて、画像用テーブルGTのデータを更新した後(B11´)、前述したB4´の実行処理を実行する。
工程B12´では、制御モジュール7wは、センサーモジュール8によって速度、加速度、角速度が検出されたかにより、操作者による操作がなされたかを判定する。
制御モジュール7wは、操作者による操作がなされたと判定した場合(B12´:Yes)、検出された角速度、速度、及び加速度の少なくとも1つのデータに基づいて、操作の前後におけるパノラマ画像データ又は広角画像データの表示倍率を変更する(B´13:第2の表示制御手段)。
一方、制御モジュール7wは、前述した工程B11´で操作者による操作がなされていないと判定した場合(B11´:No)、当該操作者による操作がなされたかに関する判定処理を繰り返す。
工程B14´では、制御モジュール7wは、表示倍率が変更されたパノラマ画像データ又は広角画像データを表示デバイス7vに表示させる。
なお、本実施の形態に係るパーソナルコンピュータ7では、工程B13´及び工程B14´における実行処理が第2の表示制御手段に該当する。
また、本実施の形態に係る画像表示システムでは、制御モジュール7wは、センサーモジュール8によって速度、加速度、角速度が検出された場合に、表示中のパノラマ画像データ又は広角画像データの表示倍率を変更して変更後のパノラマ画像データ又は広角画像データを表示デバイスに表示させているが、これに限らず、センサーモジュール8によって速度、加速度、角速度が検出された場合に、外乱除去やセンサー誤差を補正した後、加速度のディジタル情報を一定時間間隔ごとに2重積分を行うことによってセンサーモジュールの本体の移動距離の演算を行うと共に、角速度のディジタル情報を一定時間間隔ごとに積分することによってセンサーモジュール本体の移動角度の演算を行って、操作者の操作の前後における表示画面上の基準点の位置座標の移動距離及び移動角度を算出し、算出された移動距離及び移動角度に基づいて、操作後における表示画面上の基準点の位置座標を算出し、表示画面上の基準点の位置座標を操作後における表示画面上における基準点の位置座標に変更して、変更後の基準点を含むパノラマ画像又は広角画像のデータを画像メモリ7xから読み出して、操作後におけるパノラマ画像データ又は広角画像データを表示デバイス7vに表示させてもよい。
工程B15´では、制御モジュール7wは、検出済みの角速度、速度、及び加速度の向きとは反対向きの角速度、速度、及び加速度のうち何れかが検出されたかにより、操作者によって解除操作がなされたかを判定する。
制御モジュールは、前述した工程B15´で操作者によって解除操作がなされたと判定した場合(B15´:Yes)、表示倍率変更済みのパノラマ画像データ又は広角画像データの表示倍率を変更前の表示倍率に戻して、換言すれば表示倍率変更表示の解除処理を実行して表示デバイスに表示させる(B16´)。
一方、制御モジュールは、前述した工程B15´で、操作者によって解除操作がなされていないと判定した場合(B15´:No)、前述した操作者による操作がなされたかに関する判定処理を実行する。
以上により本実施の形態に係るパーソナルコンピュータは、実行中の処理を終了する。
本実施の形態によれば、パノラマ画像データ又は広角画像データをよりも小さいサイズの表示画面を有するパーソナルコンピュータ7であっても、ネットワークカメラ装置1により生成された画像用テーブルGTと、速度、加速度、角速度のうち少なくとも何れか1つのデータを検出するセンサーモジュール8とを用いることによって、検出された速度、加速度、角速度に応じて、表示中のパノラマ画像データ又は広角画像データの表示倍率を変更することによって、パノラマ画像データ又は広角画像データを表示可能なサイズよりも小さいサイズの表示画面を有するパーソナルコンピュータを用いて表示させることが出来る。
本実施の形態によれば、パノラマ画像又は広角画像に商品又はサービスに関するコンテンツが含まれる場合、センサーモジュール8をヘッドマウントディスプレイ、ヘッドフォンに取り付けたり、センサーモジュール8をヘッドマウントディスプレイ、ヘッドフォンに内蔵させたりすることによって、操作者が首を上下左右に動かすことにより、商品やサービスを仮想空間に提示して、楽しく体験することが出来る。
なお、本実施の形態に係る画像表示システムS´によって実行される画像用テーブルGT、パノラマ画像データ又は広角画像データ、パノラマ画像データ又は広角画像データの送信要求の送信処理は、周知のVoIP(Voice over IP)ソフトウェアであるSkype(スカイプ)の一機能として実行されるものであってもよい。
(第3の実施の形態)
図18は、本発明の第3の実施の形態に係る画像表示システムS´´の一例を示す模式図である。
図19は、本実施の形態に係る画像表示システムS´´の一例を示す機能ブロック図である。
なお、本実施の形態に係る画像表示システムS´´は、ネットワークカメラ装置1に掛かる負荷の削減を図る観点から、ネットワークカメラ装置1で実行される画像用テーブルGTの生成処理を、ビデオサーバー装置2に実行させるよう改良したものである。
本実施の形態に係る画像表示システムS´´は、第2の実施の形態に係るネットワークカメラ装置1をネットワークカメラ装置1´に、画像ストアサーバー装置2を画像ストアサーバー装置2´に、それぞれ置換した構成となっている。
本実施の形態に係るネットワークカメラ装置1´は、撮像モジュール1aと、データ送信モジュール1dとを有している。
撮像モジュール1aは、撮像領域のデータを撮像し、撮像した静止画像のデータ又は動画のデータを含むパノラマ画像データ又は広角画像データのファイルを取得する機能と、取得したパノラマ画像データ又は広角画像データのファイルをデータ送信モジュール1dに出力する機能とを有する。
データ送信モジュール1dは、前述した撮像モジュール1aにより取得したパノラマ画像データ又は広角画像データを、通信ネットワークを介してビデオサーバー装置2に送信する機能を有する。
また、本実施の形態に係るビデオサーバー装置2は、画像データ送受信モジュール2a´と、画像データ記憶メモリ2b´と、制御モジュール2c´とを有している。
画像データ送受信モジュール2a´は、ネットワークカメラ装置1から送信されたパノラマ画像データ又は広角画像データを受信する機能と、受け取った画像用テーブルGTのデータを制御モジュール2c´に出力する機能と、制御モジュール2c´で生成された画像用テーブルGTのデータをWWWサーバー装置3´に送信する機能と、URIが指定された画像ファイルの送信要求をWWWサーバー装置3´から受信する機能と、制御モジュール2c´によって読み出されたパノラマ画像データ又は広角画像データのファイルをWWWサーバー装置3´に送信する機能とを有する。
画像データ記憶メモリ2b´には、ネットワークカメラ装置1から送信されたパノラマ画像データ又は広角画像データが記憶されている。
制御モジュール2c´は、受信したパノラマ画像データ又は広角画像データを画像データ記憶メモリ2b´に記憶させる機能と、記憶されたパノラマ画像データ又は広角画像データの容量が予め定められた容量以上であるかを判定する機能と、当該判定の結果、記憶されたパノラマ画像データ又は広角画像データの容量が予め定められた容量以上であると判定された場合に、画像データ記憶メモリ2b´からパノラマ画像データ又は広角画像データを読み出し、読み出したパノラマ画像データ又は広角画像データに含まれる画像IDとパノラマ画像データ又は広角画像データのファイル名との組に、少なくともパノラマ画像データ又は広角画像データを指定するためのURIを付与して、画像ID、パノラマ画像データ又は広角画像データのファイル名、及びパノラマ画像データ又は広角画像データを指定するためのURIを含む画像用テーブルGTのデータを生成する機能と、生成された画像用テーブルGTのデータをパノラマ画像データ又は広角画像データと関連付けて画像データ記憶メモリ2b´に記憶させる機能と、生成された画像用テーブルGTのデータをパーソナルコンピュータ7に送信するように、データ送受信モジュール2a´を制御する機能と、パーソナルコンピュータ7からURIを指定したパノラマ画像データ又は広角画像データの送信要求があるかを判定する機能と、当該判定の結果、パーソナルコンピュータ7からURIを指定したパノラマ画像データ又は広角画像データの送信要求があると判定した場合に、URIに対応するパノラマ画像データ又は広角画像データを画像データ記憶メモリ2b´から読み出す機能と、読み出されたパノラマ画像データ又は広角画像データを送信要求の送信元のパーソナルコンピュータ7に返送するようにデータ送受信モジュール2a´を制御する機能とを有する。
上述した構成以外の構成に関しては、前述した第2の実施の形態に係る表示システムS´と同一であるので、ここではその説明を省略する。
なお、本実施の形態に係る画像表示装置は、例えば、前述した図13に示すように、画像表示装置としてのパーソナルコンピュータ7と、当該パーソナルコンピュータ7本体とは別体として設けられ、有線又は無線によって当該パーソナルコンピュータ7と接続されたヘッドマウントディスプレイHMDと、当該ヘッドマウントディスプレイHMDのフレームに取り付けられた速度センサー、加速度センサー、及び角速度センサーを含むセンサーモジュール8とから構成してもよい。なお、この場合、ヘッドマウントディスプレイには、前述した図6に示すような外観、及び図12に示すようなハードウェア構成を有するセンサーモジュール8が取り付けられている。
これにより、選択された動画又は静止画像の再生、拡大、リンク先表示を鑑賞する場合には、操作者の首を空間的に上下左右に移動又は回転させたりして、取り付けられたセンサーモジュールを空間的に上下左右に移動したり、回転させたりすることによって、動画や静止画像を自動的にスクロールして、任意の位置や方向の画像を鑑賞することが可能になる。
また、本実施の形態に係る画像表示装置は、例えば、前述した図14に示すように、画像表示装置としての図示しないパーソナルコンピュータ7と、当該パーソナルコンピュータ7本体とは別体として設けられ、有線又は無線によって当該パーソナルコンピュータ7と接続された、回転軸を中心として回転可能な椅子CHに取り付けられた表示画面SCRと、当該椅子CHの背もたれ部分等に取り付けられた速度センサー、加速度センサー、及び角速度センサーを含む図示しないセンサーモジュール8とから構成してもよい。なお、この場合、椅子の背もたれ部分等には、前述した図6に示すような外観、及び図12に示すようなハードウェア構成を有するセンサーモジュール8が取り付けられている。
これにより、選択された動画又は静止画像の再生、拡大、リンク先表示を鑑賞する場合には、画像表示装置であるパーソナルコンピュータの釦を操作したり、取り付けられたセンサーモジュールを空間的に上下左右に移動したり、回転させたりすることによって、動画や静止画像を自動的にスクロールして、任意の位置や方向の画像を鑑賞することが可能になる。
更に、本実施の形態に係る画像表示装置は、例えば、図15に示すように、画像表示装置としての図示しないパーソナルコンピュータ7と、当該パーソナルコンピュータ7本体とは別体として設けられ、有線又は無線によって当該パーソナルコンピュータ7と接続された、回転軸を中心として回転可能な椅子に取り付けられた図14に示すような表示画面と、当該表示画面と着脱自在に取り付けられた、速度センサー、加速度センサー、及び角速度センサーを含むセンサーモジュール8が取り付けられたヘッドフォンHDPとから構成してもよい。
なお、本実施の形態では、画像表示装置としての図示しないパーソナルコンピュータ7と、当該パーソナルコンピュータ7本体とは別体として設けられ、有線又は無線によって当該パーソナルコンピュータ7と接続された、前述した図14に示すような、回転軸を中心として回転可能な椅子に取り付けられた表示画面と、当該表示画面と着脱自在に取り付けられた、速度センサー、加速度センサー、及び角速度センサーを含むセンサーモジュール8が内蔵されたヘッドフォンHDPとから構成してもよい。
また、本実施の形態に係る画像表示装置は、例えば、画像表示装置としてのパーソナルコンピュータと、当該パーソナルコンピュータ本体とは別体として設けられ、有線又は無線によって当該パーソナルコンピュータと接続された、回転軸を中心として回転可能な椅子に取り付けられた図13に示すような表示画面と、当該表示画面と着脱自在に取り付けられた、操作者の指や手に取り付け可能な、速度センサー、加速度センサー、及び角速度センサーを含む前述した図6に示すようなハードウェア構成を有するセンサーモジュール8とから構成してもよい。
また、本実施の形態に係る画像表示装置は、例えば、画像表示装置としてのパーソナルコンピュータ7と、当該パーソナルコンピュータ7本体とは別体として設けられ、有線又は無線によって当該パーソナルコンピュータ7と接続された、回転軸を中心として回転可能な椅子に取り付けられた図14に示すような表示画面と、当該表示画面と着脱自在に取り付けられた、操作者の指や手に取り付け可能な、速度センサー、加速度センサー、及び角速度センサーを含む前述した図6に示すような外観及び図12に示すようなハードウェア構成を有するセンサーモジュール8との組み合わせで構成してもよい。
なお、この場合、センサーモジュール8は、図示しないUSBケーブル又は無線で表示画面と接続された、操作者の指又は手に装着可能な指輪に取り付けてもよい。
これにより、本実施の形態に係る画像表示システムS´によれば、選択された動画又は静止画像の再生、拡大、リンク先表示を鑑賞する場合には、操作者の指や手に取り付けられたセンサーモジュールを空間的に上下左右に移動したり、回転させたりすることによって、動画や静止画像を自動的にスクロールして、任意の位置や方向の画像を鑑賞することが可能になる。
以上のように構成された画像表示システムの実行処理に関して説明する。
本実施の形態に係る画像表示システムでは、前述した第2の実施の形態に係る構成と、ネットワークカメラ装置1´及びビデオサーバー装置2´以外の構成に関しては、同一であるので、ここでは、本実施の形態に係るビデオサーバー装置2´の実行する処理に関して説明する。
図20は、本実施の形態に係る画像表示システムに係るビデオサーバー装置2´の実行する処理を説明するためのフローチャートである。
始めに、制御モジュール2c´は、ネットワークカメラ装置1から送信されたパノラマ画像データ又は広角画像データを受信したかを判定する(C1)。
制御モジュール2c´は、前述した工程C1でネットワークカメラ装置1から送信されたパノラマ画像データ又は広角画像データを受信したと判定した場合には(C1:Yes)、受信したパノラマ画像データ又は広角画像データを画像データ記憶メモリ2b´に記憶させる(C2)。
一方、制御モジュール2c´は、前述した工程C1でネットワークカメラ装置1から送信されたパノラマ画像データ又は広角画像データを受信していないと判定した場合には(C1:No)、ネットワークカメラ装置1から送信されたパノラマ画像データ又は広角画像データを受信したかに関する判定処理を繰り返す。
制御モジュール2c´は、記憶されたパノラマ画像データ又は広角画像データが予め定められた一定の容量以上であるかを判定する(C3)。
制御モジュール2c´は、前述した工程C3で記憶されたパノラマ画像データ又は広角画像データが予め定められた一定の容量以上であると判定された場合には(C3:Yes)、画像データ記憶メモリ2b´からパノラマ画像データ又は広角画像データを読み出す(C4)。
一方、制御モジュール2c´は、前述した工程C3で記憶されたパノラマ画像データ又は広角画像データが予め定められた一定の容量未満であると判定された場合には(C3:No)、前述した記憶されたパノラマ画像データ又は広角画像データが予め定められた一定の容量以上であるかに関する判定処理を繰り返す。
工程C5では、制御モジュール2c´は、読み出したパノラマ画像データ又は広角画像データに含まれる画像IDとパノラマ画像データ又は広角画像データのファイル名との組に、少なくともパノラマ画像データ又は広角画像データを指定するためのURIを付与して、画像ID、パノラマ画像データ又は広角画像データのファイル名、及びパノラマ画像データ又は広角画像データを指定するためのURIを含む画像用テーブルGTのデータを生成する(C5)。
なお、本実施の形態に係るビデオサーバー装置2´では、画像用テーブルGTの生成時に制御モジュールがパノラマ画像データ又は広角画像データを読み出す閾値として予め定められた容量を用いていたが、これに限らず、一定の時間毎にパノラマ画像データ又は広角画像データを読み出して、読み出したパノラマ画像データ又は広角画像データに含まれる画像IDとパノラマ画像データ又は広角画像データのファイル名との組に、少なくともパノラマ画像データ又は広角画像データを指定するためのURIを付与して、画像ID、パノラマ画像データ又は広角画像データのファイル名、及びパノラマ画像データ又は広角画像データを指定するためのURIを含む画像用テーブルGTのデータを生成させてもよいことは言うまでもない。
工程C6では、制御モジュール2c´は、生成された画像用テーブルGTのデータのコピーを生成して生成した画像用テーブルGTのデータコピーをパノラマ画像データ又は広角画像データと関連付けて画像データ記憶メモリ2b´に記憶させる。
工程C7では、制御モジュール2c´は、生成された画像用テーブルGTのデータを、WWWサーバー装置3を介してパーソナルコンピュータ7に送信するように、データ送受信モジュール2a´を制御する。これにより、データ送受信モジュール2a´によって、画像用テーブルGTのデータが、WWWサーバー装置3´を介してパーソナルコンピュータ7に送信される。
工程C8では、制御モジュール2c´は、パーソナルコンピュータ7からURIを指定したパノラマ画像データ又は広角画像データの送信要求があるかを判定する。
制御モジュール2c´は、前述した工程C8でパーソナルコンピュータ7からURIを指定したパノラマ画像データ又は広角画像データの送信要求があると判定した場合には(C8:Yes)、URIに対応するパノラマ画像データ又は広角画像データを画像データ記憶メモリ2b´から読み出す(C9)。
一方、制御モジュール2c´は、前述した工程C8でパーソナルコンピュータ7からURIを指定したパノラマ画像データ又は広角画像データの送信要求がないと判定した場合には(C8:No)、パーソナルコンピュータ7からURIを指定したパノラマ画像データ又は広角画像データの送信要求があるかに関する判定処理を繰り返す。
工程C10では、制御モジュール2c´は、読み出されたパノラマ画像データ又は広角画像データを送信要求の送信元のパーソナルコンピュータ7に返送するようにデータ送受信モジュール2a´を制御する。これにより、データ送受信モジュール2a´によって、画像のデータが、WWWサーバー装置3´を介してパーソナルコンピュータ7に送信される。
以上により、本実施の形態に係るビデオサーバー装置2´は、実行中の処理を終了する。
本実施の形態に係る表示制御システムS´´によれば、第2の実施の形態に係る画像表示システムの奏する効果に加え、ネットワークカメラ装置1に掛かる負荷を軽減することが可能となるので、ネットワークカメラ装置1からビデオサーバー装置へのパノラマ画像データ又は広角画像データの送信時間の短縮を図ることが出来る。
なお、上記実施の形態に係る画像形成プログラムは、コンピュータにインストールされた、アプリケーションプログラム、OS、ブラウザー、ミドルウェア等によってその機能が実現されるものであってもよい。
なお、上述した各実施の形態に示す手法は、コンピュータにより読み出して実行させることのできるプログラムとして磁気ディスク(フロッピー(登録商標)ディスク、ハードディスクドライブ等)、光ディスク(CD−ROM、DVD、BD(Blu-ray Disk)−ROM(Read Only Memory:再生専用型)、BD(Blu-ray Disk)−R(Recordable:追記型)、BD(Blu-ray Disk)−RE(Rewritable:書き換え型)HD DVD-ROM、HD DVD-R、HD DVD-RW、HD DVD-RAM:等)、光磁気ディスク(MO)、半導体メモリ、ホログラフィックメモリ等の記録媒体に格納して頒布することにより操作者に提供することができる。
また、本発明の画像形成プログラムの提供手法としては、例えば画像形成プログラムを記録媒体に記録させた状態で操作者に頒布する手法や、例えばインターネットINT等の通信ネットワークを介して操作者の保有するコンピュータに送信し、送信したプログラムをコンピュータにインストールさせる手法、無線を用いて提供する手法等が上げられる。また、本実施の形態に係る画像形成プログラムを提供する手法としては、いわゆる周知のASP(Application Service Provider)による手法によってもよいことはいうまでもない。
また、上記各実施の形態に係る画像形成プログラムは、一般的な高級言語、例えばC言語、Delphi、XTL、Perl(Practical Extraction and Report Language)、XML(eXtensible Markup Language)や、オブジェクト指向言語(C++、JAVA、C#、JAVA2、Small Talk)等の任意のプログラム言語で作成されたものであってもよい。
また、本発明に関して記録媒体としては、プログラムを記録でき、かつ、コンピュータが読み取り可能な記録媒体であれば、記録形式はいかなる形式であっても、例えば、磁気テープ、半導体フラッシュメモリ、フロッピー(登録商標)ディスク、CD−ROM、CD−R/RW、DVD−ROM、DVD−RAM、DVD−R/−RW、DVD+R/+RW、MO、ホログラフィックメモリ、BD−ROM、BD−R、BD−RE、HD DVD-ROM、HD DVD-R、HD DVD-RW、HD DVD-RAM等のいずれの形態であってもよい。
更に、本発明の記録媒体は、コンピュータと独立した媒体に限らず、LAN、WAN、イントラネット、及びインターネットINT等の通信ネットワークを介して記憶又は一時記憶した媒体であってもよい。
また、本発明では、記録媒体の種類及び数は、ひとつである必要は無く、同一の形態または形態の異なる複数の記録媒体の組み合わせからなっていてもよいことはいうまでもない。
また、本発明は、上述した各機能を実現するプログラムを構成するのに必要不可欠なデータ構造、加工用プログラム、及び上記加工用プログラムが機能する各種ハードウェアを包含する。
なお、上記加工用プログラムは、一般的な高級言語、例えばC言語、Delphi、XTL、Perl(Practical Extraction and Report Language)、XML(eXtensible Markup Language)や、オブジェクト指向言語(C++、JAVA、C#、JAVA2、Small Talk)等の任意のプログラム言語で作成されたものであってもよい。
なお、本発明は、上記各実施の形態に限定されるものではなく、実施段階では本発明の要旨を逸脱しない範囲内で種々の変更が可能である。更に上記各実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が生成され得る。例えば各実施の形態に示される全構成要件からいくつかの要件が省略されることで発明が生成される場合には、その生成された発明を実施する段階では省略部分が周知慣用技術で補われるものである。
その他、本発明は、その要旨を逸脱しない範囲内で種々変更して実施することができる。
本発明の第1の実施の形態に係る画像表示システムSの一例を示す模式図である。 同実施の形態に係る画像表示システムSの一例を示すブロック図である。 同実施の形態に係る画像用テーブル生成モジュール1cによって生成される画像用テーブルGTのデータの一例を示す模式図である。 同実施の形態に係る携帯電話6の外観の一例を示す模式図である。 同実施の形態に係る携帯電話6のハードウェア構成の一例を示す図である。 同実施形態に係る画像表示システムに適用されるセンサーモジュールの外観の一例を示す模式図である。 同実施の形態に係る画像表示システムに適用されるネットワークカメラ装置1全体の実行する処理を説明するためのフローチャートである。 同実施の形態に係る画像表示システムSに適用される携帯電話6全体の実行する処理を説明するためのフローチャートである。 本発明の第2の実施の形態に係る画像表示システムS´の一例を示す模式図である。 同実施の形態に係る画像表示システムの一例を示す機能ブロック図である。 同実施の形態に係るパーソナルコンピュータ7のハードウェア構成の一例を示す模式図である。 同実施の形態に係るセンサーモジュール8のハードウェア構成の一例を示す模式図である。 同実施形態に係る画像表示装置の一例の外観を示す模式図である。 同実施形態に係る画像表示装置の他の一例の外観を示す模式図である。 同実施形態に係る画像表示装置の更に他の一例の外観を示す模式図である。 同実施の形態に係る画像表示システムS´に適用されるパーソナルコンピュータ7全体の実行する処理を説明するためのフローチャートである。 パノラマ画像データ又は広角画像データの中心点の位置座標を画像用テーブルGTに設定されたパノラマ画像データ又は広角画像データの中心点の位置座標と一致するように、取得済みのパノラマ画像データ又は広角画像データの中心点の位置座標を変更した後で本実施の形態に係るパーソナルコンピュータ7の表示画面に表示させたパノラマ画像データ又は広角画像データの一例を示す模式図である。 本発明の第3の実施の形態に係る画像表示システムS´´の一例を示す模式図である。 同実施の形態に係る画像表示システムS´´の一例を示す機能ブロック図である。 同実施の形態に係る画像表示システムに係るビデオサーバー装置2´の実行する処理を説明するためのフローチャートである。
符号の説明
1、1´…ネットワークカメラ装置、1a…撮像モジュール、1b…画像データメモリ、1c…画像用テーブル作成モジュール、1d…データ通信モジュール、2、2´…ビデオサーバー装置、2a、2a´…送受信モジュール、2b、2b´…画像データメモリ、2c、2c´…制御モジュール、3、3´…WWWサーバー装置、4…携帯ネットワークサーバー装置、5…基地局、6…携帯電話、6xa…送受信モジュール、6xb…画像用テーブルデータ記憶メモリ、6xc…入力受付モジュール、6xd…表示デバイス、6xe…センサーモジュール、6xf…制御モジュール、6xg…画像メモリ、7…パーソナルコンピュータ、7s…送受信モジュール、7t…画像用テーブルデータ記憶メモリ、7u…入力受付モジュール、7v…表示デバイス、7w…制御モジュール、7x…画像メモリ、8…センサーモジュール

Claims (30)

  1. 複数の動画又は静止画像を少なくとも含むパノラマ画像データ又は広角画像データを撮像する撮像手段と、
    前記パノラマ画像データ又は広角画像データに割り当てられた画像IDと、前記パノラマ画像データ又は広角画像データのファイル名と、前記パノラマ画像データ又は広角画像データを指定するためのURIと、予め定められた座標系における前記パノラマ画像データ又は広角画像データの中心点の位置座標と、前記座標系における基準点と前記パノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報とを少なくとも含む画像用テーブルのデータを、前記撮像手段により前記パノラマ画像データ又は広角画像データを撮像する際、又は前記パノラマ画像データ又は広角画像データの撮像後に生成するテーブルデータ生成手段と、
    前記テーブルデータ生成手段により生成された画像用テーブルのデータと、前記撮像手段により撮像されたパノラマ画像データ又は広角画像データとを送信する画像データ送信手段と
    を備えたことを特徴とする画像データ送信装置。
  2. 複数の動画又は静止画像を少なくとも含むパノラマ画像データ又は広角画像データを表示可能なサイズよりも小さいサイズの表示画面を有する表示手段に表示させる画像表示装置であって、
    前記パノラマ画像データ又は広角画像データに割り当てられた画像IDと、前記パノラマ画像データ又は広角画像データのファイル名と、前記パノラマ画像データ又は広角画像データを指定するためのURIと、予め定められた座標系における前記パノラマ画像データ又は広角画像データの中心点の位置座標と、前記座標系における基準点と前記パノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報とを少なくとも含み、外部から送信された画像用テーブルのデータを受信するテーブルデータ受信手段と、
    前記テーブルデータ受信手段によって受信された画像用テーブルのデータが記憶されるテーブルデータ記憶手段と、
    前記テーブルデータ受信手段により受信された画像用テーブルのデータを前記テーブルデータ記憶手段に記憶させるテーブルデータ保存手段と、
    操作者の操作により入力されたパノラマ画像又は広角画像を表示させるための画像表示要求と、画像IDとの入力を受け付ける入力受付手段と、
    前記入力受付手段により入力を受け付けた画像IDに対応するパノラマ画像データ又は広角画像データを指定するためのURIを前記テーブルデータ記憶手段から読み出すURI読み出し手段と、
    前記URI読み出し手段により読み出されたURIで指定されるパノラマ画像データ又は広角画像データを、通信ネットワークを介して取得する画像データ取得手段と、
    前記画像データ取得手段によって取得されたパノラマ画像データ又は広角画像データが記憶される画像データ記憶手段と、
    前記画像データ取得手段によって取得された画像データを前記画像データ記憶手段に記憶させる画像データ保存手段と、
    前記画像データ取得手段により取得したパノラマ画像データ又は広角画像データを、前記テーブルデータ記憶手段に記憶された位置座標と前記パノラマ画像データ又は広角画像データの中心点の位置座標とが一致するように配置して前記表示手段に表示させる第1の表示制御手段と、
    操作者によって外部から加えられた操作に基づいて、発生した角速度を検出する角速度検出手段と、
    操作者によって外部から加えられた操作に基づいて、発生した速度を検出する速度検出手段と、
    操作者によって外部から加えられた操作に基づいて、発生した加速度を検出する加速度検出手段と、
    前記角速度検出手段により検出された角速度、前記速度検出手段により検出された速度、及び前記加速度検出手段により検出された加速度の少なくとも1つのデータに基づいて、前記操作による移動距離及び移動角度を算出する変位算出手段と、
    前記操作前における前記表示画面上の基準点の位置座標と、前記変位算出手段により算出された移動距離及び移動角度とに基づいて、前記操作後における前記表示画面上の基準点の位置座標を算出し、前記表示画面上の基準点の位置座標を前記操作後における前記表示画面上の基準点の位置座標に変更して、変更後の表示画面上の基準点を含むパノラマ画像又は広角画像のデータを前記画像データ記憶手段から読み出して、前記操作後におけるパノラマ画像データ又は広角画像データを前記表示手段に表示させる第2の表示制御手段と、
    前記操作後における表示画面上の基準点の位置座標と、前記変位算出手段により算出される移動距離及び移動角度とに基づいて、前記画像用テーブルのデータに含まれ、かつ、表示中のパノラマ画像データ又は広角画像データに隣接して配置されている他のパノラマ画像データ又は広角画像データの画像IDを特定し、特定した画像IDに対応するURIを前記テーブルデータ記憶手段から読み出し、読み出したURIに対応するパノラマ画像データ又は広角画像データを、通信ネットワークを介して取得する隣接画像取得手段と
    を備えたことを特徴とする画像表示装置。
  3. 前記パノラマ画像データ又は広角画像データを前記表示手段に表示させる場合の表示倍率を設定する表示倍率設定手段を更に備え、
    前記第2の表示制御手段は、操作者によって外部から画像表示装置本体に加えられた操作に基づいて、鉛直及び水平方向に一定以上の角速度、速度、又は加速度の何れかが検出された場合に、前記パノラマ画像データ又は広角画像データの表示倍率を前記表示倍率設定手段によって設定された表示倍率に変更した後、表示倍率を変更した後のパノラマ画像データ又は広角画像データを前記表示手段に表示させること
    を特徴とする請求項2に記載の画像表示装置。
  4. 通信ネットワークを介して外部からURIが変更されたことを示すURI変更通知と変更後のURIとを受け取った場合に、前記テーブルデータ記憶手段に記憶された変更前のURIを、受け取った変更後のURIで上書きして更新するURI更新手段を更に備えたことを特徴とする請求項2又は請求項3に記載の画像表示装置。
  5. 前記表示手段は、ヘッドマウントディスプレイであり、
    前記ヘッドマウントディスプレイと、画像表示装置本体とは、別体として設けられていること
    を特徴とする請求項2乃至請求項4の何れか1項に記載の画像表示装置。
  6. 前記表示手段は、回転軸の周りに回転可能な椅子に取り付けられたディスプレイであり、
    前記ディスプレイと、画像表示装置本体とは、別体として設けられていること
    を特徴とする請求項2乃至請求項4の何れか1項に記載の画像表示装置。
  7. 前記表示手段は、回転軸の周りに回転可能な椅子に取り付けられたディスプレイであり、
    前記ディスプレイと、画像表示装置本体とは、別体として設けられており、
    前記角速度検出手段、前記速度検出手段、及び前記加速度検出手段を少なくとも含むセンサーモジュールは、前記ディスプレイに、着脱自在に接続されたヘッドフォンに取り付けられていること
    を特徴とする請求項2乃至請求項4の何れか1項に記載の画像表示装置。
  8. 前記表示手段は、回転軸の周りに回転可能な椅子に取り付けられたディスプレイであり、
    前記ディスプレイと、画像表示装置本体とは、別体として設けられており、
    前記角速度検出手段、前記速度検出手段、及び前記加速度検出手段を少なくとも含むセンサーモジュールは、前記ディスプレイに、着脱自在に接続されたヘッドフォンに内蔵されていること
    を特徴とする請求項2乃至請求項4の何れか1項に記載の画像表示装置。
  9. 複数の動画又は静止画像を少なくとも含むパノラマ画像データ又は広角画像データを撮像して送信する画像送信装置と、前記パノラマ画像データ又は広角画像データを表示する画像表示装置との間のパノラマ画像データ又は広角画像データの伝送を中継するビデオサーバー装置であって、
    パノラマ画像データ又は広角画像データが記憶されるパノラマ画像データ又は広角画像データ記憶手段と、
    前記画像送信装置から送信されたパノラマ画像データ又は広角画像データを受信するパノラマ画像データ又は広角画像データ受信手段と、
    前記パノラマ画像データ又は広角画像データ受信手段により受信されたパノラマ画像データ又は広角画像データを前記パノラマ画像データ又は広角画像データ記憶手段に記憶させるパノラマ画像データ又は広角画像データ書き込み手段と、
    前記パノラマ画像データ又は広角画像データ記憶手段に記憶されたパノラマ画像データ又は広角画像データに含まれる画像IDとパノラマ画像データ又は広角画像データのファイル名との組に、少なくとも前記パノラマ画像データ又は広角画像データを指定するためのURIを付与して、画像ID、パノラマ画像データ又は広角画像データのファイル名、及びパノラマ画像データ又は広角画像データを指定するためのURIを含む画像用テーブルのデータを生成するテーブルデータ生成手段と、
    前記テーブルデータ生成手段により生成された画像用テーブルのデータを前記パノラマ画像データ又は広角画像データと関連付けて前記パノラマ画像データ又は広角画像データ記憶手段に記憶させるテーブルデータ書き込み手段と、
    前記テーブルデータ生成手段により生成された画像用テーブルのデータを前記画像表示装置に送信するテーブルデータ送信手段と、
    前記画像表示装置から前記URIを指定したパノラマ画像データ又は広角画像データの送信要求がある場合に、前記URIに対応するパノラマ画像データ又は広角画像データを前記パノラマ画像データ又は広角画像データ記憶手段から読み出すパノラマ画像データ又は広角画像データ読み出し手段と、
    前記パノラマ画像データ又は広角画像データ読み出し手段により読み出されたパノラマ画像データ又は広角画像データを前記送信要求の送信元の画像表示装置に返送する画像データ送信手段と
    を備えたことを特徴とするビデオサーバー装置。
  10. 複数の動画又は静止画像を少なくとも含むパノラマ画像データ又は広角画像データを撮像する撮像工程と、
    前記パノラマ画像データ又は広角画像データに割り当てられた画像IDと、前記パノラマ画像データ又は広角画像データのファイル名と、前記パノラマ画像データ又は広角画像データを指定するためのURIと、予め定められた座標系における前記パノラマ画像データ又は広角画像データの中心点の位置座標と、前記座標系における基準点と前記パノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報とを少なくとも含む画像用テーブルのデータを、前記撮像工程により前記パノラマ画像データ又は広角画像データを撮像する際、又は前記パノラマ画像データ又は広角画像データの撮像後に生成するテーブルデータ生成工程と、
    前記テーブルデータ生成工程により生成された画像用テーブルのデータと、前記撮像工程により撮像されたパノラマ画像データ又は広角画像データとを送信する画像データ送信工程と
    を含むことを特徴とするパノラマ画像データ又は広角画像データ送信方法。
  11. 複数の動画又は静止画像を少なくとも含むパノラマ画像データ又は広角画像データを表示可能なサイズよりも小さいサイズの表示画面を有する表示手段に表示させる画像表示方法であって、
    前記パノラマ画像データ又は広角画像データに割り当てられた画像IDと、前記パノラマ画像データ又は広角画像データのファイル名と、前記パノラマ画像データ又は広角画像データを指定するためのURIと、予め定められた座標系における前記パノラマ画像データ又は広角画像データの中心点の位置座標と、前記座標系における基準点と前記パノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報とを少なくとも含み、外部から送信された画像用テーブルのデータを受信するテーブルデータ受信工程と、
    前記テーブルデータ受信工程により受信された画像用テーブルのデータを前記テーブルデータ記憶手段に記憶させるテーブルデータ保存工程と、
    操作者の操作により入力されたパノラマ画像又は広角画像を表示させるための画像表示要求と、画像IDとの入力を受け付ける入力受付工程と、
    前記入力受付工程により入力を受け付けた画像IDに対応するパノラマ画像データ又は広角画像データを指定するためのURIを前記テーブルデータ記憶手段から読み出すURI読み出し工程と、
    前記URI読み出し工程により読み出されたURIで指定されるパノラマ画像データ又は広角画像データを、通信ネットワークを介して取得する画像データ取得工程と、
    前記画像データ取得工程によって取得されたパノラマ画像データ又は広角画像データを画像データ記憶手段に記憶させる画像データ保存工程と、
    前記画像データ取得工程により取得したパノラマ画像データ又は広角画像データを、前記テーブルデータ記憶手段に記憶された位置座標と前記パノラマ画像データ又は広角画像データの中心点の位置座標とが一致するように配置して前記表示手段に表示させる第1の表示制御工程と、
    操作者によって外部から加えられた操作に基づいて、発生した角速度を検出する角速度検出工程と、
    操作者によって外部から加えられた操作に基づいて、発生した速度を検出する速度検出工程と、
    操作者によって外部から加えられた操作に基づいて、発生した加速度を検出する加速度検出工程と、
    前記角速度検出工程により検出された角速度、前記速度検出工程により検出された速度、及び前記加速度検出工程により検出された加速度の少なくとも1つのデータに基づいて、前記操作による移動距離及び移動角度を算出する変位算出工程と、
    前記操作前における前記表示画面上の基準点の位置座標と、前記変位算出工程により算出された移動距離及び移動角度とに基づいて、前記操作後における前記表示画面上の基準点の位置座標を算出し、前記表示画面上の基準点の位置座標を前記操作後における前記表示画面上の基準点の位置座標に変更して、変更後の表示画面上の基準点を含むパノラマ画像又は広角画像のデータを前記画像データ記憶手段から読み出して、前記操作後におけるパノラマ画像データ又は広角画像データを前記表示手段に表示させる第2の表示制御工程と、
    前記操作後における表示画面上の基準点の位置座標と、前記変位算出手段により算出される移動距離及び移動角度とに基づいて、前記画像用テーブルのデータに含まれ、かつ、表示中のパノラマ画像データ又は広角画像データに隣接して配置されている他のパノラマ画像データ又は広角画像データの画像IDを特定し、特定した画像IDに対応するURIを前記テーブルデータ記憶手段から読み出し、読み出したURIに対応するパノラマ画像データ又は広角画像データを、通信ネットワークを介して取得する隣接画像取得工程と
    を含むことを特徴とする画像表示方法。
  12. 前記パノラマ画像データ又は広角画像データを前記表示手段に表示させる場合の表示倍率を設定する表示倍率設定工程を更に備え、
    前記第2の表示制御工程は、操作者によって外部から加えられた操作に基づいて、鉛直及び水平方向に一定以上の角速度、速度、又は加速度の何れかが検出された場合に、前記パノラマ画像データ又は広角画像データの表示倍率を前記表示倍率設定工程で設定された表示倍率に変更した後、表示倍率を変更した後のパノラマ画像データ又は広角画像データを前記表示手段に表示させること
    を特徴とする請求項11に記載の画像表示方法。
  13. 通信ネットワークを介して外部からURIが変更されたことを示すURI変更通知と
    変更後のURIとを受け取った場合に、前記テーブルデータ記憶手段に記憶された変更前のURIを変更後のURIで上書きして更新するURI更新工程を更に備えたことを特徴とする請求項11又は請求項12に記載の画像表示方法。
  14. 操作者によって外部から加えられた操作に基づいて、発生した角速度を検出する角速度検出手段と、前記操作に基づいて、発生した速度を検出する速度検出手段と、前記操作に基づいて、発生した加速度を検出する加速度検出手段とを備え、複数の動画又は静止画像を少なくとも含むパノラマ画像データ又は広角画像データを、前記角速度、速度、加速度に応じて、表示可能なサイズよりも小さいサイズの表示画面を有する表示手段に表示させる画像表示装置にインストールされた画像表示プログラムであって、
    前記画像表示装置のコンピュータに、
    前記パノラマ画像データ又は広角画像データに割り当てられた画像IDと、前記パノラマ画像データ又は広角画像データのファイル名と、前記パノラマ画像データ又は広角画像データを指定するためのURIと、予め定められた座標系における前記パノラマ画像データ又は広角画像データの中心点の位置座標と、前記座標系における基準点と前記パノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報とを少なくとも含み、外部から受信された画像用テーブルのデータをテーブルデータ記憶手段に記憶させるテーブルデータ保存機能、
    入力を受け付けた画像IDに対応するパノラマ画像データ又は広角画像データを指定するためのURIを前記テーブルデータ記憶手段から読み出すURI読み出し機能、
    前記URI読み出し機能により読み出されたURIで指定され、通信ネットワークを介して取得されたパノラマ画像データ又は広角画像データを画像データ記憶手段に記憶させる画像データ保存機能、
    通信ネットワークを介して取得されたパノラマ画像データ又は広角画像データを、前記テーブルデータ記憶手段に記憶された位置座標と前記パノラマ画像データ又は広角画像データの中心点の位置座標とが一致するように配置して前記表示手段に表示させる第1の表示制御機能、
    前記角速度検出手段により検出された角速度、前記速度検出手段により検出された速度、及び前記加速度検出手段により検出された加速度の少なくとも1つのデータに基づいて、前記操作による移動距離及び移動角度を算出する変位算出機能、
    前記操作前における前記表示画面上の基準点の位置座標と、前記変位算出機能により算出された移動距離及び移動角度とに基づいて、前記操作後における前記表示画面上の基準点の位置座標を算出し、前記表示画面上の基準点の位置座標を前記操作後における前記表示画面上の基準点の位置座標に変更して、変更後の表示画面上の基準点を含むパノラマ画像又は広角画像のデータを前記画像データ記憶手段から読み出して、前記操作後におけるパノラマ画像データ又は広角画像データを前記表示手段に表示させる第2の表示制御機能、
    前記操作後における表示画面上の基準位置の位置座標と、前記変位算出機能により算出される移動距離及び移動角度とに基づいて、前記画像用テーブルのデータに含まれ、かつ、表示中のパノラマ画像データ又は広角画像データに隣接して配置されている他のパノラマ画像データ又は広角画像データの画像IDを特定し、特定した画像IDに対応するURIを前記テーブルデータ記憶手段から読み出し、読み出したURIに対応し、通信ネットワークを介して取得されたパノラマ画像データ又は広角画像データを、前記テーブルデータ記憶手段に記憶された位置座標と前記パノラマ画像データ又は広角画像データの中心点の位置座標とが一致するように配置して前記表示手段に表示させる隣接画像表示制御機能
    を実現させるための画像表示プログラム。
  15. 前記第2の表示制御機能は、操作者によって外部から画像表示装置本体に加えられた操作に基づいて、鉛直及び水平方向に一定以上の角速度、速度、又は加速度の何れかが検出された場合に、前記パノラマ画像データ又は広角画像データの表示倍率を、前記パノラマ画像データ又は広角画像データを前記表示手段に表示させる場合の予め設定された表示倍率に変更した後、表示倍率を変更した後のパノラマ画像データ又は広角画像データを前記表示手段に表示させる機能であること
    を特徴とする請求項14に記載の画像表示プログラム。
  16. 前記画像表示装置のコンピュータに、
    通信ネットワークを介して外部からURIが変更されたことを示すURI変更通知と
    変更後のURIとを受け取った場合に、前記テーブルデータ記憶手段に記憶された変更前のURIを変更後のURIで上書きして更新するURI更新機能を更に実行させるための請求項14又は請求項15に記載の画像表示プログラム。
  17. 複数の動画又は静止画像を少なくとも含むパノラマ画像データ又は広角画像データを撮像して送信する画像送信装置と、前記パノラマ画像データ又は広角画像データを表示する画像表示装置との間のパノラマ画像データ又は広角画像データの伝送を中継するビデオサーバー装置にインストールされた画像表示支援プログラムであって、
    前記ビデオサーバー装置のコンピュータに、
    前記画像送信装置から受信されたパノラマ画像データ又は広角画像データをパノラマ画像データ又は広角画像データが記憶されるパノラマ画像データ又は広角画像データ記憶手段に記憶させるパノラマ画像データ又は広角画像データ書き込み機能、
    前記パノラマ画像データ又は広角画像データ記憶手段に記憶されたパノラマ画像データ又は広角画像データに含まれる画像IDとパノラマ画像データ又は広角画像データのファイル名との組に、少なくとも前記パノラマ画像データ又は広角画像データを指定するためのURIを付与して、画像ID、パノラマ画像データ又は広角画像データのファイル名、及びパノラマ画像データ又は広角画像データを指定するためのURIを含む画像用テーブルのデータを生成するテーブルデータ生成機能、
    前記テーブルデータ生成機能により生成された画像用テーブルのデータを前記パノラマ画像データ又は広角画像データと関連付けて前記パノラマ画像データ又は広角画像データ記憶手段に記憶させるテーブルデータ書き込み機能、
    前記テーブルデータ生成機能により生成された画像用テーブルのデータを前記画像表示装置に送信するテーブルデータ送信機能、
    前記画像表示装置から前記URIを指定したパノラマ画像データ又は広角画像データの送信要求がある場合に、前記URIに対応するパノラマ画像データ又は広角画像データを前記パノラマ画像データ又は広角画像データ記憶手段から読み出すパノラマ画像データ又は広角画像データ読み出し機能、
    前記パノラマ画像データ又は広角画像データ読み出し機能により読み出されたパノラマ画像データ又は広角画像データを前記送信要求の送信元の画像表示装置に返送するパノラマ画像データ又は広角画像データ送信機能
    を実現させるための画像表示支援プログラム。
  18. 複数の動画又は静止画像を少なくとも含むパノラマ画像データ又は広角画像データを撮像する撮像手段と、前記パノラマ画像データ又は広角画像データに割り当てられた画像IDと、前記パノラマ画像データ又は広角画像データのファイル名と、前記パノラマ画像データ又は広角画像データを指定するためのURIと、予め定められた座標系における前記パノラマ画像データ又は広角画像データの中心点の位置座標と、前記座標系における基準点と前記パノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報とを少なくとも含む画像用テーブルのデータを、前記撮像手段により前記パノラマ画像データ又は広角画像データを撮像する際、又は前記パノラマ画像データ又は広角画像データの撮像後に生成するテーブルデータ生成手段と、前記テーブルデータ生成手段により生成された画像用テーブルのデータと、前記撮像手段により撮像されたパノラマ画像データ又は広角画像データとを送信する画像データ送信手段とを備えた画像データ送信装置と、
    複数の動画又は静止画像を少なくとも含むパノラマ画像データ又は広角画像データに割り当てられた画像IDと、前記パノラマ画像データ又は広角画像データのファイル名と、前記パノラマ画像データ又は広角画像データを指定するためのURIと、予め定められた座標系における前記パノラマ画像データ又は広角画像データの中心点の位置座標と、前記座標系における基準点と前記パノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報とを少なくとも含み、外部から送信された画像用テーブルのデータを受信するテーブルデータ受信手段と、前記テーブルデータ受信手段によって受信された画像用テーブルのデータが記憶されるテーブルデータ記憶手段と、前記テーブルデータ受信手段により受信された画像用テーブルのデータを前記テーブルデータ記憶手段に記憶させるテーブルデータ保存手段と、操作者の操作により入力されたパノラマ画像又は広角画像を表示させるための画像表示要求と、画像IDとの入力を受け付ける入力受付手段と、前記入力受付手段により入力を受け付けた画像IDに対応するパノラマ画像データ又は広角画像データを指定するためのURIを前記テーブルデータ記憶手段から読み出すURI読み出し手段と、前記URI読み出し手段により読み出されたURIで指定されるパノラマ画像データ又は広角画像データを、通信ネットワークを介して取得する画像データ取得手段と、前記画像データ取得手段によって取得されたパノラマ画像データ又は広角画像データが記憶される画像データ記憶手段と、前記画像データ取得手段によって取得された画像データを前記画像データ記憶手段に記憶させる画像データ保存手段と、前記画像データ取得手段により取得したパノラマ画像データ又は広角画像データを、前記テーブルデータ記憶手段に記憶された位置座標と前記パノラマ画像データ又は広角画像データの中心点の位置座標とが一致するように配置して前記表示手段に表示させる第1の表示制御手段と、操作者によって外部から加えられた操作に基づいて、発生した角速度を検出する角速度検出手段と、操作者によって外部から加えられた操作に基づいて、発生した速度を検出する速度検出手段と、操作者によって外部から加えられた操作に基づいて、発生した加速度を検出する加速度検出手段と、前記角速度検出手段により検出された角速度、前記速度検出手段により検出された速度、及び前記加速度検出手段により検出された加速度の少なくとも1つのデータに基づいて、前記操作による移動距離及び移動角度を算出する変位算出手段と、前記操作前における前記表示画面上の基準点の位置座標と、前記変位算出手段により算出された移動距離及び移動角度とに基づいて、前記操作後における前記表示画面上の基準点の位置座標を算出し、前記表示画面上の基準点の位置座標を前記操作後における前記表示画面上の基準点の位置座標に変更して、変更後の表示画面上の基準点を含むパノラマ画像又は広角画像のデータを前記画像データ記憶手段から読み出して、前記操作後におけるパノラマ画像データ又は広角画像データを前記表示手段に表示させる第2の表示制御手段と、前記操作後における表示画面上の基準点の位置座標と、前記変位算出手段により算出される移動距離及び移動角度とに基づいて、前記画像用テーブルのデータに含まれ、かつ、表示中のパノラマ画像データ又は広角画像データに隣接して配置されている他のパノラマ画像データ又は広角画像データの画像IDを特定し、特定した画像IDに対応するURIを前記テーブルデータ記憶手段から読み出し、読み出したURIに対応するパノラマ画像データ又は広角画像データを、通信ネットワークを介して取得する隣接画像取得手段とを備えた画像表示装置と
    を備えたことを特徴とする画像表示システム。
  19. 前記画像表示装置は、前記パノラマ画像データ又は広角画像データを前記表示手段に表示させる場合の表示倍率を設定する表示倍率設定手段を更に備え、
    前記第2の表示制御手段は、操作者によって外部から画像表示装置本体に加えられた操作に基づいて、鉛直及び水平方向に一定以上の角速度、速度、又は加速度の何れかが検出された場合に、前記パノラマ画像データ又は広角画像データの表示倍率を前記表示倍率設定手段によって設定された表示倍率に変更した後、表示倍率を変更した後のパノラマ画像データ又は広角画像データを前記表示手段に表示させること
    を特徴とする請求項18に記載の画像表示システム。
  20. 前記表示手段は、ヘッドマウントディスプレイであり、
    前記ヘッドマウントディスプレイと、画像表示装置本体とは、別体として設けられていること
    を特徴とする請求項18又は請求項19に記載の画像表示システム。
  21. 前記表示手段は、回転軸の周りに回転可能な椅子に取り付けられたディスプレイであり、
    前記ディスプレイと、画像表示装置本体とは、別体として設けられていること
    を特徴とする請求項18又は請求項19に記載の画像表示システム。
  22. 前記表示手段は、回転軸の周りに回転可能な椅子に取り付けられたディスプレイであり、
    前記ディスプレイと、画像表示装置本体とは、別体として設けられており、
    前記角速度検出手段、前記速度検出手段、及び前記加速度検出手段を少なくとも含むセンサーモジュールは、前記ディスプレイに着脱自在に接続されたヘッドフォンに取り付けられていること
    を特徴とする請求項18又は請求項19に記載の画像表示装置。
  23. 前記表示手段は、回転軸の周りに回転可能な椅子に取り付けられたディスプレイであり、
    前記ディスプレイと、画像表示装置本体とは、別体として設けられており、
    前記角速度検出手段、前記速度検出手段、及び前記加速度検出手段を少なくとも含むセンサーモジュールは、前記ディスプレイに着脱自在に接続されたヘッドフォンに内蔵されていること
    を特徴とする請求項18又は請求項19に記載の画像表示装置。
  24. 複数の動画又は静止画像を少なくとも含むパノラマ画像データ又は広角画像データを撮像して、撮像したパノラマ画像データ又は広角画像データを送信する画像送信装置と、
    パノラマ画像データ又は広角画像データが記憶されるパノラマ画像データ又は広角画像データ記憶手段と、前記画像送信装置から送信されたパノラマ画像データ又は広角画像データを受信するパノラマ画像データ又は広角画像データ受信手段と、前記パノラマ画像データ又は広角画像データ受信手段により受信されたパノラマ画像データ又は広角画像データを前記パノラマ画像データ又は広角画像データ記憶手段に記憶させるパノラマ画像データ又は広角画像データ書き込み手段と、前記パノラマ画像データ又は広角画像データ記憶手段に記憶されたパノラマ画像データ又は広角画像データに含まれる画像IDとパノラマ画像データ又は広角画像データのファイル名との組に、少なくとも前記パノラマ画像データ又は広角画像データを指定するためのURIを付与して、画像ID、画像ファイル名、及びパノラマ画像データ又は広角画像データを指定するためのURIを含む画像用テーブルのデータを生成するテーブルデータ生成手段と、前記テーブルデータ生成手段により生成された画像用テーブルのデータを前記パノラマ画像データ又は広角画像データと関連付けて前記パノラマ画像データ又は広角画像データ記憶手段に記憶させるテーブルデータ書き込み手段と、前記テーブルデータ生成手段により生成された画像用テーブルのデータを前記画像表示装置に送信するテーブルデータ送信手段と、前記画像表示装置から前記URIを指定したパノラマ画像データ又は広角画像データの送信要求がある場合に、前記URIに対応するパノラマ画像データ又は広角画像データを前記パノラマ画像データ又は広角画像データ記憶手段から読み出すパノラマ画像データ又は広角画像データ読み出し手段と、前記パノラマ画像データ又は広角画像データ読み出し手段により読み出されたパノラマ画像データ又は広角画像データを前記送信要求の送信元の画像表示装置に返送する画像データ送信手段とを備えたビデオサーバー装置と、
    複数の動画又は静止画像を少なくとも含むパノラマ画像データ又は広角画像データに割り当てられた画像IDと、前記パノラマ画像データ又は広角画像データのファイル名と、前記パノラマ画像データ又は広角画像データを指定するためのURIと、予め定められた座標系における前記パノラマ画像データ又は広角画像データの中心点の位置座標と、前記座標系における基準点と前記パノラマ画像データ又は広角画像データの中心点との相対的位置関係で規定される方角に関する情報とを少なくとも含み、外部から送信された画像用テーブルのデータを受信するテーブルデータ受信手段と、前記テーブルデータ受信手段によって受信された画像用テーブルのデータが記憶されるテーブルデータ記憶手段と、
    前記テーブルデータ受信手段により受信された画像用テーブルのデータを前記テーブルデータ記憶手段に記憶させるテーブルデータ保存手段と、操作者の操作により入力されたパノラマ画像又は広角画像を表示させるための画像表示要求と、画像IDとの入力を受け付ける入力受付手段と、前記入力受付手段により入力を受け付けた画像IDに対応するパノラマ画像データ又は広角画像データを指定するためのURIを前記テーブルデータ記憶手段から読み出すURI読み出し手段と、前記URI読み出し手段により読み出されたURIで指定されるパノラマ画像データ又は広角画像データを、通信ネットワークを介して取得する画像データ取得手段と、前記画像データ取得手段によって取得されたパノラマ画像データ又は広角画像データが記憶される画像データ記憶手段と、前記画像データ取得手段によって取得された画像データを前記画像データ記憶手段に記憶させる画像データ保存手段と、前記画像データ取得手段により取得したパノラマ画像データ又は広角画像データを、前記テーブルデータ記憶手段に記憶された位置座標と前記パノラマ画像データ又は広角画像データの中心点の位置座標とが一致するように配置して前記表示手段に表示させる第1の表示制御手段と、操作者によって外部から加えられた操作に基づいて、発生した角速度を検出する角速度検出手段と、操作者によって外部から加えられた操作に基づいて、発生した速度を検出する速度検出手段と、操作者によって外部から加えられた操作に基づいて、発生した加速度を検出する加速度検出手段と、前記角速度検出手段により検出された角速度、前記速度検出手段により検出された速度、及び前記加速度検出手段により検出された加速度の少なくとも1つのデータに基づいて、前記操作による移動距離及び移動角度を算出する変位算出手段と、前記操作前における前記表示画面上の基準点の位置座標と、前記変位算出手段により算出された移動距離及び移動角度とに基づいて、前記操作後における前記表示画面上の基準点の位置座標を算出し、前記表示画面上の基準点の位置座標を前記操作後における前記表示画面上の基準点の位置座標に変更して、変更後の表示画面上の基準点を含むパノラマ画像又は広角画像のデータを前記画像データ記憶手段から読み出して、前記操作後におけるパノラマ画像データ又は広角画像データを前記表示手段に表示させる第2の表示制御手段と、前記操作後における表示画面上の基準点の位置座標と、前記変位算出手段により算出される移動距離及び移動角度とに基づいて、前記画像用テーブルのデータに含まれ、かつ、表示中のパノラマ画像データ又は広角画像データに隣接して配置されている他のパノラマ画像データ又は広角画像データの画像IDを特定し、特定した画像IDに対応するURIを前記テーブルデータ記憶手段から読み出し、読み出したURIに対応するパノラマ画像データ又は広角画像データを、通信ネットワークを介して取得する隣接画像取得手段とを備えた画像表示装置

    を備えたことを特徴とする画像表示システム。
  25. 前記画像表示装置は、前記パノラマ画像データ又は広角画像データを前記表示手段に表示させる場合の表示倍率を設定する表示倍率設定手段を更に備え、
    前記第2の表示制御手段は、操作者によって外部から画像表示装置本体に加えられた操作に基づいて、鉛直及び水平方向に一定以上の角速度、速度、又は加速度の何れかが検出された場合に、前記パノラマ画像データ又は広角画像データの表示倍率を前記表示倍率設定手段によって設定された表示倍率に変更した後、表示倍率を変更した後のパノラマ画像データ又は広角画像データを前記表示手段に表示させること
    を特徴とする請求項24に記載の画像表示システム。
  26. 前記表示手段は、ヘッドマウントディスプレイであり、
    前記ヘッドマウントディスプレイと、画像表示装置本体とは、別体として設けられていること
    を特徴とする請求項24又は請求項25に記載の画像表示システム。
  27. 前記表示手段は、回転軸の周りに回転可能な椅子に取り付けられたディスプレイであり、
    前記ディスプレイと、画像表示装置本体とは、別体として設けられていること
    を特徴とする請求項24又は請求項25に記載の画像表示システム。
  28. 前記表示手段は、回転軸の周りに回転可能な椅子に取り付けられたディスプレイであり、
    前記ディスプレイと、画像表示装置本体とは、別体として設けられており、
    前記角速度検出手段、前記速度検出手段、及び前記加速度検出手段を少なくとも含むセンサーモジュールは、前記ディスプレイに、着脱自在に接続されたヘッドフォンに取り付けられていること
    を特徴とする請求項24又は請求項25の何れか1項に記載の画像表示システム。
  29. 前記表示手段は、回転軸の周りに回転可能な椅子に取り付けられたディスプレイであり、
    前記ディスプレイと、画像表示装置本体とは、別体として設けられており、
    前記角速度検出手段、前記速度検出手段、及び前記加速度検出手段を少なくとも含むセンサーモジュールは、前記ディスプレイに、着脱自在に接続されたヘッドフォンに内蔵されていること
    を特徴とする請求項24又は請求項25の何れか1項に記載の画像表示システム。
  30. 前記表示手段は、回転軸の周りに回転可能な椅子に取り付けられたディスプレイであり、
    前記ディスプレイと、画像表示装置本体とは、別体として設けられており、
    前記角速度検出手段、前記速度検出手段、及び前記加速度検出手段を少なくとも含むセンサーモジュールは、操作者の指に、着脱可能な指輪に内蔵されていること
    を特徴とする請求項24又は請求項25の何れか1項に記載の画像表示システム。
JP2007290137A 2007-11-07 2007-11-07 画像データ送信装置、画像表示装置、画像表示プログラム、及び画像表示システム Expired - Fee Related JP5466360B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007290137A JP5466360B2 (ja) 2007-11-07 2007-11-07 画像データ送信装置、画像表示装置、画像表示プログラム、及び画像表示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007290137A JP5466360B2 (ja) 2007-11-07 2007-11-07 画像データ送信装置、画像表示装置、画像表示プログラム、及び画像表示システム

Publications (2)

Publication Number Publication Date
JP2009118273A true JP2009118273A (ja) 2009-05-28
JP5466360B2 JP5466360B2 (ja) 2014-04-09

Family

ID=40784885

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007290137A Expired - Fee Related JP5466360B2 (ja) 2007-11-07 2007-11-07 画像データ送信装置、画像表示装置、画像表示プログラム、及び画像表示システム

Country Status (1)

Country Link
JP (1) JP5466360B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003308149A (ja) * 2002-04-16 2003-10-31 Sony Corp コンテンツ提供システム、画像表示装置、サーバ及びコンテンツの提供方法
JP2003348516A (ja) * 2002-05-27 2003-12-05 Nikon Corp 画像伝送システム、画像中継装置および電子画像機器
JP2005251100A (ja) * 2004-03-08 2005-09-15 Fuji Xerox Co Ltd 携帯情報処理端末装置および表示制御方法および表示制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003308149A (ja) * 2002-04-16 2003-10-31 Sony Corp コンテンツ提供システム、画像表示装置、サーバ及びコンテンツの提供方法
JP2003348516A (ja) * 2002-05-27 2003-12-05 Nikon Corp 画像伝送システム、画像中継装置および電子画像機器
JP2005251100A (ja) * 2004-03-08 2005-09-15 Fuji Xerox Co Ltd 携帯情報処理端末装置および表示制御方法および表示制御プログラム

Also Published As

Publication number Publication date
JP5466360B2 (ja) 2014-04-09

Similar Documents

Publication Publication Date Title
US11558431B2 (en) Communication terminal, communication system, communication method, and display method
EP3301909B1 (en) Communication management apparatus, communication system, communication management method, and carrier means
US10863086B2 (en) Communication terminal, image communication system, display control method, and non-transitory computer-readable medium
US10764513B2 (en) Communication terminal, image data communication system, and communication method
US10944798B2 (en) Communication terminal, image communication system, and display control method
JP4816789B2 (ja) 情報処理装置、情報処理方法、プログラムおよび情報処理システム
US11042342B2 (en) Communication terminal, image communication system, display method, and non-transitory recording medium
US10666898B2 (en) Communication management system, communication system, and communication method
JP7192592B2 (ja) 撮像装置、画像通信システム、画像処理方法、プログラム
JP2019054322A (ja) 通信端末、画像通信システム、通信方法、及びプログラム
JP2019176436A (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP2020150330A (ja) 画像通信システム、撮像装置、モード切替方法、プログラム
JP2022547955A (ja) インターネット接続設定のための拡張現実
JP2011142392A (ja) 携帯情報処理装置
JP6149862B2 (ja) 表示制御装置、表示制御システムおよび表示制御方法
JP2006345214A (ja) 3次元イメージデータ配信装置並びに3次元イメージデータ配信方法
WO2017014126A1 (ja) 画像管理システム、画像管理方法及びプログラム
JP2014165763A (ja) 編集装置、編集方法、及び編集プログラム
JP2017212510A (ja) 画像管理装置、プログラム、画像管理システム及び情報端末
JP5466360B2 (ja) 画像データ送信装置、画像表示装置、画像表示プログラム、及び画像表示システム
JP6711118B2 (ja) 画像管理システム、プログラム及び情報端末
JP2018061243A (ja) 通信端末、表示方法、及びプログラム
JP2019145959A (ja) 通信端末、通信システム、通信方法、及びプログラム
JP7371369B2 (ja) 通信端末および画像通信システム
US20240137463A1 (en) Communication management device, image communication system, communication management method, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140124

R150 Certificate of patent or registration of utility model

Ref document number: 5466360

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees