JP2008154192A - 画像表示システム、表示装置、表示方法 - Google Patents

画像表示システム、表示装置、表示方法 Download PDF

Info

Publication number
JP2008154192A
JP2008154192A JP2007039902A JP2007039902A JP2008154192A JP 2008154192 A JP2008154192 A JP 2008154192A JP 2007039902 A JP2007039902 A JP 2007039902A JP 2007039902 A JP2007039902 A JP 2007039902A JP 2008154192 A JP2008154192 A JP 2008154192A
Authority
JP
Japan
Prior art keywords
imaging
image
display
information
designation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007039902A
Other languages
English (en)
Other versions
JP5245257B2 (ja
JP2008154192A5 (ja
Inventor
Yoichiro Sako
曜一郎 佐古
Takaharu Kimura
敬治 木村
Masaaki Tsuruta
雅明 鶴田
Masamichi Asukai
正道 飛鳥井
Daiji Ito
大二 伊藤
Kan Ebisawa
観 海老澤
Nozomi Ozaki
望 尾崎
Akinobu Sugino
彰信 杉野
Hidehiko Sekizawa
英彦 關澤
Yonetaro Totsuka
米太郎 戸塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2007039902A priority Critical patent/JP5245257B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to PCT/JP2007/071564 priority patent/WO2008062664A1/ja
Priority to EP15160562.3A priority patent/EP2903257B1/en
Priority to KR1020097010396A priority patent/KR101417167B1/ko
Priority to IN2218CHN2009 priority patent/IN2009CN02218A/en
Priority to EP07831296.4A priority patent/EP2094001B1/en
Priority to CN200780043425.9A priority patent/CN101543047B/zh
Priority to US12/515,747 priority patent/US9413983B2/en
Publication of JP2008154192A publication Critical patent/JP2008154192A/ja
Publication of JP2008154192A5 publication Critical patent/JP2008154192A5/ja
Application granted granted Critical
Publication of JP5245257B2 publication Critical patent/JP5245257B2/ja
Priority to US15/212,952 priority patent/US9800840B2/en
Priority to US15/695,434 priority patent/US10187612B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/38Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Abstract

【課題】ユーザが自分以外の視界光景(自分以外の移動体から見える光景)を任意に、かつ容易に見ることのできるようにする。
【解決手段】表示装置(撮像表示装置1又は表示装置40)において、外部の撮像装置(撮像表示装置1又は表示装置40)の内で、特定の撮像装置を指定するための指定情報を生成し、指定情報に基づいて指定された撮像装置からの画像データを受信して表示する。例えば、外部の撮像装置として、他人が装着している撮像装置や、自動車、電車等に取り付けられた撮像装置、更には動物や鳥などに装着された撮像装置などを想定し、これらの撮像装置によって撮像された画像データが表示装置側に送信され、表示装置において画像表示を行うものとする。すると表示装置のユーザは、表示画像として、 例えば他人が見ている視覚光景の画像や、自動車、電車等から見える視界光景の画像、更には動物や鳥などの視界光景の画像などを見ることができる。
【選択図】図3

Description

本発明は、画像表示システム、表示装置、表示方法に関し、特に表示装置側で外部の撮像装置により撮像された画像表示を行う技術に関する。
特開2005−341604号公報 特開2003−244691号公報 特表2004−538681号公報 特表2004−537193号公報 特表2004−538679号公報
上記特許文献1にはデータ通信システムの一例が述べられている。
上記特許文献2には自身の見る視聴覚にタイムスタンプを押して事後に利用するシステムが開示されている。
上記特許文献3、4、5には、放送済み・記録済みの番組をWWW(World Wide Web)上で拡張して楽しむ試みが開示されている。
しかしながら従来は、ユーザが任意に自分以外の視覚へアクセスできるようにするという技術は提案されていない。
そこで本発明は、ユーザが自分以外の視界光景(自分以外の移動体から見える光景)を任意に、かつ容易に見ることのできるようにすることを目的とする。
本発明の画像表示システムは、表示装置と、移動体に装着されて画像撮像を行う撮像装置とを有して構成される。そして上記撮像装置は、画像撮像を行う撮像手段と、外部機器との間でデータ通信を行う通信手段と、上記撮像手段の撮像により得られた画像データを上記通信手段により送信出力させる送信制御処理を行う制御手段とを備える。また上記表示装置は、画像表示を行う表示手段と、外部機器との間でデータ通信を行う通信手段と、特定の撮像装置を指定するための指定情報を設定する指定処理、上記指定情報に基づいて指定される撮像装置についての画像要求を上記通信手段により送信させる画像要求送信処理、上記画像要求に応じて送信されてくる画像データを上記通信手段により受信し受信した画像データに基づく表示動作を上記表示手段に実行させる表示処理、を行う制御手段とを備える。
また上記移動体は人であって上記撮像装置は人に装着される構造を備え、上記撮像手段は、上記撮像装置を装着した使用者の視界方向を撮像するようにされているものとする。
或いは上記移動体は、人以外の生物、又は地上移動機器、又は海上移動機器、又は海中移動機器、又は航空移動機器、又は宇宙移動機器のいずれかである。
また上記表示装置の上記通信手段は、上記指定情報に基づいて指定された特定の撮像装置の上記通信手段との間でデータ通信を行って、該特定の撮像装置からの画像データを受信する。
また上記表示装置及び上記撮像装置とデータ通信可能なサーバ装置を更に備え、上記撮像装置から送信される画像データは、上記サーバ装置を介して上記表示装置に送信されるようにする。
この場合、上記表示装置は、上記画像要求と共に上記指定情報を上記サーバ装置に送信し、上記サーバ装置は、上記指定情報で指定された特定の撮像装置から送信されてくる画像データを上記表示装置に送信する。
或いは上記サーバ装置は、上記指定情報に基づいて特定の撮像装置を指定し、指定した撮像装置から送信されてくる画像データを、上記表示装置に送信する。
上記指定情報は、上記撮像装置もしくは上記撮像装置の使用者を示す情報である。
また上記指定情報は、位置情報、又は撮像方向としての方位情報、又は撮像方向としての仰角情報、又は撮像場所の高度情報、又は撮像時の移動体の移動速度情報である。
また上記指定情報は、上記撮像装置の性能を示す情報である。
また上記指定情報は、上記撮像装置の撮像動作状態を示す情報である。
また上記指定情報は、上記移動体の種別を示す情報である。
また上記指定情報は、複数の上記撮像装置で撮像されている画像のうちで選択された画像を示す情報である。例えば上記サーバ装置は、複数の上記撮像装置で撮像されている各画像データを指定用画像データとして上記表示装置に送信し、上記表示装置の上記制御手段は、上記指定処理として、受信した上記指定用画像データのうちで選択された画像を示す情報を上記指定情報とする。さらには上記サーバ装置は、所定の条件で1又は複数の上記撮像装置を抽出し、抽出された上記撮像装置で撮像されている各画像データを指定用画像データとして上記表示装置に送信する。
また上記指定情報は、特定の撮像装置を指定するための情報と時間情報とを含む。
また上記指定情報は、1又は複数の特定の撮像装置を指定するための情報である。
本発明の表示装置は、画像表示を行う表示手段と、外部機器との間でデータ通信を行う通信手段と、移動体に装着されて画像撮像を行うようにされている外部の撮像装置のうちで特定の撮像装置を指定するための指定情報を設定する指定処理、上記指定情報に基づいて指定される撮像装置についての画像要求を上記通信手段により送信させる画像要求送信処理、上記画像要求に応じて送信されてくる画像データを上記通信手段により受信し受信した画像データに基づく表示動作を上記表示手段に実行させる表示処理、を行う制御手段とを備える。
上記指定情報に基づいて指定される外部の撮像装置とは、上記移動体として、人、又は人以外の生物、又は地上移動機器、又は海上移動機器、又は海中移動機器、又は航空移動機器、又は宇宙移動機器のいずれかに装着された撮像装置である。
また上記制御手段は、上記通信手段に、上記指定情報に基づいて指定された撮像装置との間でのデータ通信を実行させる。
また上記制御手段は、上記通信手段に、外部のサーバ装置との間でデータ通信を実行させ、上記サーバ装置を介して、上記指定情報に基づいて指定された撮像装置からの画像データの受信が行われるようにする。
また上記制御手段は、上記指定処理の際に、使用者の指定入力操作に応じて上記指定情報を設定する。
また上記制御手段は、上記指定処理の際に、上記指定情報として、特定の撮像装置もしくは上記撮像装置の使用者を示す情報を設定する。
また上記制御手段は、上記指定処理の際に、上記指定情報として、位置情報、又は撮像方向としての方位情報、又は撮像方向としての仰角情報、又は撮像場所の高度情報、又は撮像時の移動体の移動速度情報を設定する。
また上記制御手段は、上記指定処理の際に、上記表示部に地図画像を表示させるとともに、上記指定情報として、上記地図画像に対する使用者の指定入力操作に応じた位置情報を設定する。
また上記制御手段は、上記指定処理の際に、上記表示部に上記撮像装置の位置を示した地図画像を表示させるとともに、上記指定情報として、上記地図画像上に表された上記撮像装置に対する使用者の指定入力操作に応じて特定の撮像装置を示す情報を設定する。
また上記制御手段は、上記指定処理の際に、上記指定情報として、上記撮像装置の性能を示す情報を設定する。
また上記制御手段は、上記指定処理の際に、上記指定情報として、上記撮像装置の撮像動作状態を示す情報を設定する。
また上記制御手段は、上記指定処理の際に、上記指定情報として、上記移動体の種別を示す情報を設定する。
また上記制御手段は、上記指定処理の際に、上記指定情報として、複数の上記撮像装置で撮像されている画像のうちで選択された画像を示す情報を設定する。この場合、例えば上記制御手段は、複数の上記撮像装置で撮像されている各画像データを含む指定用画像データを上記通信手段により受信することに応じて、上記指定用画像データに基づく表示を上記表示手段に実行させ、上記指定用画像データの表示に対する使用者の指定入力操作に応じて、上記画像選択情報を設定する。
また上記制御手段は、上記指定処理の際に、時間情報を含む上記指定情報を設定する。
また上記制御手段は、上記指定処理の際に、1又は複数の特定の撮像装置を指定するための上記選択された画像を示す情報を設定する。
また上記表示手段は、使用者の目の前方に位置するように配置されて画像表示を行う構造とされる。
また画像撮像を行う撮像手段を更に備え、上記制御手段は、上記撮像手段の撮像により得られた画像データを上記通信手段により送信出力させる送信制御処理も実行可能とされる。即ち、上記画像表示システムにおける撮像装置としても機能できるようにする。
本発明の表示方法は、移動体に装着されて画像撮像を行うようにされている外部の撮像装置のうちで特定の撮像装置を指定するための指定情報を設定する指定処理ステップと、上記指定情報に基づいて指定される撮像装置についての画像要求を送信する画像要求送信ステップと、上記画像要求に応じて送信されてくる画像データを受信し、受信した画像データに基づく表示を行う表示ステップとを備える。
以上の本発明では、表示装置の使用者(ユーザ)は、その本人以外の視界光景を見ることができる。例えば、外部の撮像装置として、例えば他人が装着している撮像装置や、自動車、電車等に取り付けられた撮像装置、更には動物や鳥などに装着された撮像装置などを考える。そしてこれらの撮像装置によって撮像された画像データが表示装置側に送信され、表示装置において画像表示を行う。すると表示装置のユーザは、表示画像として、 例えば他人が見ている視覚光景の画像や、自動車、電車等から見える視界光景の画像、更には動物や鳥などの視界光景の画像などを見ることができる。
つまり、表示装置から外部の撮像装置の内で、1又は複数の特定の撮像装置を直接的又は間接的に指定できるようにし、指定した撮像装置からの画像データが受信できるようにすることで、表示装置のユーザは外部の撮像装置によって撮像される自分以外の移動体の視界光景を見ることができる。特定の撮像装置を直接的又は間接的に指定するために、表示装置では指定情報を設定する。この指定情報とは、撮像装置やその所有者などを直接的に示す識別情報のような情報であったり、表示装置のユーザが光景を見たいと思う場所、状況、移動体種別、画像内容などを示す情報である。つまり指定情報は、結果的に1又は複数の或る撮像装置を指定できるものであればよい。
本発明によれば、表示装置のユーザは、自分以外の移動体の視界光景を見ることができ、異なる視点の光景、通常見ることのできない光景など、多様な光景を容易に見ることができる。これにより本発明は、視覚的な楽しみを与える用途、学術研究用途、情報収集用途など、多様な用途に好適なシステム及び装置となる。
以下、本発明の画像表示システム、表示装置、表示方法の実施の形態を説明する。実施の形態においては、撮像表示装置1又は表示装置40が、本発明請求項でいう表示装置に該当し、撮像表示装置1又は表示装置40の処理として本発明の表示方法が実行される。また撮像表示装置1又は撮像装置30が、本発明請求項でいう撮像装置に該当する。なお、従って実施の形態の撮像表示装置1は、本発明請求項でいう表示装置、撮像装置の双方として機能できるものである。
説明は次の順序で行う。
[1.撮像表示装置、撮像装置、表示装置の外観例]
[2.システム形態]
[3.撮像表示装置、撮像装置、表示装置、サーバ装置の構成例]
[4.システム動作例I]
[5.システム動作例II]
[6.システム動作例III]
[7.システム動作例IV]
[8.システム動作例V]
[9.システム動作例VI]
[10.システム動作例VII]
[11.システム動作例VIII]
[12.システム動作例IX]
[13.システム動作例X]
[14.実施の形態の効果、及び変形例、拡張例]
[1.撮像表示装置、撮像装置、表示装置の外観例]

図1に実施の形態の撮像表示装置1の外観例を示す。この撮像表示装置1は眼鏡型ディスプレイカメラとしてユーザが装着できるものとしている。
撮像表示装置1は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
そしてこの撮像表示装置1は、図1のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示パネル部2a、2bが配置される構成とされている。この表示パネル部2a、2bには、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示パネル部2a,2bがスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
またユーザが装着した状態において、ユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ3aが配置されている。
また撮像レンズ3aによる撮像方向に対して照明を行う発光部4aが、例えばLED(Light Emitting Diode)等により設けられる。
また、図では左耳側しか示されていないが、装着状態でユーザの右耳孔及び左耳孔に挿入できる一対のイヤホンスピーカ5aが設けられる。
また右眼用の表示部2の右方と、左眼用の表示部2の左方に、外部音声を集音するマイクロホン6a,6bが配置される。
なお図1は一例であり、撮像表示装置1をユーザが装着するための構造は多様に考えられる。一般に眼鏡型、或いは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示パネル部2a、2bが設けられ、また撮像レンズ3aによる撮像方向がユーザの視界方向、つまりユーザの前方となるようにされていればよい。但し、撮像方向を変化させることができるようにしたり、さらにユーザの後方、上方、左右側方、下方(足もと)などを撮像することができるようにすることも考えられる。
また表示パネル部2a,2bとして両眼に対応して表示部が一対設けられる構成の他、片側の眼に対応して1つ表示部が設けられる構成でもよい。
またイヤホンスピーカ5aは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために1つ設けられるのみでもよい。またマイクロホンも、マイクロホン6a,6bのうちの一方でもよい。さらには、撮像表示装置1としてマイクロホンやイヤホンスピーカを備えない構成も考えられる。
また発光部4aを設けない構成も考えられる。
撮像表示装置1として眼鏡型或いは頭部装着型の装着ユニットを有する例を示したが、例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着させる形態であってもよい。また必ずしもユーザの頭部に装着されるものでなくても良い。
ところで図1の撮像表示装置1は、撮像のための構成部分と画像をモニタできる表示パネル部2a,2bが一体に形成されてユーザに装着される機器とした例であるが、ユーザが装着する機器としては、図2(a)(b)に示すような撮像装置30や表示装置40も考えられる。
図2(a)の撮像装置30は、所定の装着フレームによりユーザの側頭部に装着される。そして装着状態においてユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ3a及び発光部4aが配置されている。また、外部音声を集音するマイクロホン6aが設けられている。
即ちこの撮像装置30は、表示機能は持たないが、ユーザに装着された状態でユーザの視界光景の撮像を行う装置とされる。なお、このような撮像装置30についても、上記撮像表示装置1と同じく、形状、装着構造、構成要素などは多様に考えられる。
図2(b)の表示装置40は、腕時計型の表示装置とした例であり、リストバンドによってユーザの手首に装着された状態で、ユーザが視認できる表示パネル部2aが形成されたものである。
なお、ここでは腕時計型の表示装置40を示しているが、ユーザが装着又は所持する表示装置40として多様な形状や装着構造が想定される。表示装置40としては例えば携帯用の小型機器としてユーザが所持できるものであってもよい。また、図1のような眼鏡型の形状でユーザが装着できる表示装置40(図1の撮像表示装置1から撮像機能を無くした装置)も考えられる。
さらにユーザが携帯できる表示装置40を考えた場合、モニタリング表示のみの専用装置だけでなく、携帯電話機、携帯ゲーム機、PDA(Personal Digital Assistant)などの表示機能を有する機器も、本例の表示装置40となり得る。
また、ユーザが装着又は携帯する機器以外に、据置型の表示装置、コンピュータ装置、テレビジョン受像器、車載用ディスプレイモニタ機器なども、本例の表示装置40として採用できる。
また図2(a)(b)の撮像装置30、表示装置40は、それぞれを個別に使用しても良いが、ユーザが、この撮像装置30、表示装置40の両方を装着し、2つの機器で、撮像表示装置として使用する形態も想定される。例えば撮像装置30、表示装置40がデータ通信を行って、表示装置40で撮像装置30での撮像画像のモニタリングや、外部機器から送信されてきた画像表示を行うようにする場合である。
ところで本例においては、撮像表示装置1、表示装置40はユーザ(人)が使用することを想定するが、撮像装置1については、人に限らず各種の移動体に装着されて用いられることが想定されており、移動体とは人を含めて多様に考えられる。上記図2(a)のような撮像装置30は人が装着して、人の視界光景を撮像するものとされた例であるが、人以外の移動体に装着される撮像装置30も多様に考えられる。
人以外の移動体とは、人以外の生物、又は地上移動機器、又は海上移動機器、又は海中移動機器、又は航空移動機器、又は宇宙移動機器などである。
人以外の生物としては、鳥類、ほ乳類、は虫類、両生類、魚類、昆虫類その他の各種の生物である。
地上移動機器としては、乗用車、トラック、バス、タクシー、オートバイ等の自動車両や、自転車、人力車、遊具車など人力で移動する車両がある。また、電車、蒸気機関車などの鉄道車両も想定される。さらに遊園地等における乗り物、工場その他の施設における業務用の乗り物も想定される。また、人が乗る移動体でないものもある。例えば業務用や遊具としての各種ロボット、いわゆるラジコン等の遊具なども考えられる。
海上移動機器としては、各種船舶、水上バイク、サーフボード、手こぎボート、浮き輪、筏などが想定される。
海中移動機器としては、潜水艦、潜水ロボット、アクアラング等の潜水器具などが想定される。
航空移動機器としては、各種航空機、ヘリコプター、グライダー、パラシュート、気球、凧などが想定される。
宇宙移動機器としては、ロケット、宇宙探査機、人工衛星などが想定される。
移動体としての具体例は更に多様に考えられるが、撮像装置1は、それぞれ装着される移動体に応じた形状や装着構造とされればよい。
[2.システム形態]

実施の形態では、撮像表示装置1又は表示装置40のユーザは、他の撮像表示装置1又は撮像装置30に任意にアクセスし、それら他の撮像表示装置1又は撮像装置30よって撮像された画像を見ることができる。つまり撮像表示装置1又は表示装置40のユーザは、他人の視界光景や、上記のような各種移動体によって見ることができる光景としての画像を、自分の撮像表示装置1又は表示装置40で見ることができる。
このためのシステム形態の例を図3,図4,図5に示す。
図3は、撮像表示装置1、表示装置40,撮像装置30が、それぞれ任意に直接データ通信を行う例である。
ここでは、ユーザA,B,Cは、例えば図1のような撮像表示装置1を装着しているとする。またユーザDは例えば図2(b)のような表示装置40を装着し、ユーザEは図2(a)のような撮像装置30を装着しているとする。さらにユーザFは、図2(a)の撮像装置30と図2(b)の表示装置40を共に装着し、2つの機器で撮像表示装置として機能するようにしているとする。
この場合、撮像表示装置1又は表示装置40を所持するユーザA、B、C、D、Fは、任意に他の機器にアクセスして、他のユーザの視界光景を見ることができる。
例えばユーザAは自分の撮像表示装置1から、ユーザBの撮像表示装置1を指定してアクセスする。するとユーザBの撮像表示装置1で撮像している画像データが送信される。ユーザAの撮像表示装置1は、この画像データを受信して表示出力する。これにより、ユーザAは、ユーザBの視界光景を見ることができる状態となる。
図3では、同様の動作を、ユーザC、D間、ユーザC,E間、ユーザE,F間で示している。例えばユーザDは、自分の表示装置40からユーザCの撮像表示装置1を指定して撮像画像データの送信を求める。すると撮像表示装置1から表示装置40に画像データが送信され、表示装置40において表示される。これにより、ユーザDは、ユーザCの視界光景を見ることができる。
ユーザEについては、表示機能のない撮像装置1を装着しているのみであるため、他のユーザの視界光景を見ることはできない。この場合ユーザEは、視界光景画像の提供者としての位置づけとなる。ユーザCやユーザFは、自分の機器からユーザEの撮像装置30を指定することで、ユーザEの視界光景を見ることができる。なお、上記した人以外の各種移動体に装着される撮像装置30も、このユーザEの撮像装置30と同様に、画像提供者としての位置づけで考えることができる。
図4は、同じくユーザA〜Fがそれぞれ所持する撮像表示装置1、撮像装置30、表示装置40を示しているが、これら各機器が、ネットワーク60を介して通信するシステム形態である。撮像表示装置1又は表示装置40は、ネットワーク60を介した通信で他の撮像表示装置1又は撮像装置30にアクセスし、画像要求を行う。そして画像要求に応じて送信されてくる画像データを受信し、表示する。
上記図3の場合は、機器同志が直接通信を行うシステム例であり、例えばサッカー場や野球場などのスポーツ施設内のみ、テーマパーク内のみ、イベント会場内のみ、特定の地区のみなど、直接通信が可能な比較的狭い範囲でのシステムに適している。もちろん撮像表示装置1等に与えられる通信能力により範囲は異なるが、より広域な範囲、例えばワールドワイドに他の機器にアクセスすることを考えると、この図4のようにネットワーク60を介して相互通信を行うことが好適である。
なお、ネットワーク60としてはインターネットなどの広域ネットワークが考えられるが、もちろんLAN(Local Area Network)その他の狭域ネットワークも想定される。
図5は、同じくユーザA〜Fがそれぞれ所持する撮像表示装置1、撮像装置30、表示装置40を示しているが、これら各機器が、ネットワーク60上のサーバ装置70を介して通信するシステム形態である。
即ち、撮像表示装置1又は表示装置40からは、サーバ装置70に対してアクセスし、指定した撮像表示装置1又は撮像装置30による画像を要求する。サーバ装置70は、指定された撮像表示装置1又は撮像装置30に通信して画像を求め、送信されてきた画像データを撮像表示装置1又は表示装置40に転送する。これによって撮像表示装置1又は表示装置40のユーザは、他の撮像表示装置1又は撮像装置30による撮像画像を見ることができる。
なお、これら図3,図4,図5のシステム形態においては、或るユーザが、他のユーザの視界光景をリアルタイム(リアルタイムとは通信等のタイムラグを考えない)に見ることができるものとしているが、過去の光景を見ることができるようにしても良い。
例えば図3,図4の場合において、撮像装置30や撮像表示装置1が、或る程度の時間分の撮像画像を記憶できるようにすれば、その記憶容量でまかなえる範囲で過去の画像を表示装置40や撮像表示装置1に送信することが可能である。
或いは図5のシステム形態の場合、サーバ装置70が撮像表示装置1又は撮像装置30で撮像された画像を蓄積しておけば、撮像表示装置1又は撮像装置30で撮像された過去の画像を、表示装置40や撮像表示装置1に提供することもできるようになる。
また、撮像表示装置1又は表示装置40が、アクセスする撮像表示装置1又は撮像装置30を指定する場合、装置やユーザの識別情報などにより直接的に撮像表示装置1又は撮像装置30を指定することもできるが、間接的な指定も可能である。例えば撮像場所としての位置や撮像方位、仰角、高度、場所の種別、撮像時の移動体の移動速度情報、移動体の種別、撮像表示装置1又は撮像装置30の性能、撮像表示装置1又は撮像装置30の撮像動作状態、撮像している画像内容などによって指定できる。この場合、撮像表示装置1又は表示装置40は、これらの指定条件に該当する撮像表示装置1又は撮像装置30にアクセスするようにしたり、或いは図5のシステム形態で、サーバ装置70が指定条件に該当する撮像表示装置1又は撮像装置30を探し出してアクセスするような動作が実現できる。
[3.撮像表示装置、撮像装置、表示装置、サーバ装置の構成例]

撮像表示装置1、撮像装置30、表示装置40、サーバ装置70の各構成例を図6〜図10で説明する。
まず図6に、撮像表示装置1の構成例を示す。
システムコントローラ10は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像表示装置1の全体を制御する制御部とされる。このシステムコントローラ10は内部のROM等に保持したプログラムに基づいて、各種演算処理やバス13を介した各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。
撮像表示装置1内では、ユーザの視界方向の光景の撮像のための構成として、撮像部3が設けられる。
撮像部3は、撮像光学系、撮像素子部、撮像信号処理部を有する。
撮像部3における撮像光学系では、図1に示した撮像レンズ3aや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部3における撮像素子部では、撮像光学系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイとされる。
また撮像部3における撮像信号処理部では、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド/AGC(Automatic Gain Control)回路や、ビデオA/Dコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理などを行う。
これらの撮像光学系、撮像素子部、撮像信号処理部を有する撮像部3により、撮像が行われ、撮像による画像データが得られる。
システムコントローラ10は、この撮像部3における撮像動作のオン/オフ制御、撮像光学系のズームレンズ、フォーカスレンズの駆動制御、撮像素子部の感度やフレームレート制御、撮像信号処理部の各処理のパラメータや実行処理の設定などを行う。
この撮像部3の撮像動作によって得られた撮像画像データは、画像処理部15を介して表示部2、ストレージ部25,通信部26に供給することができる。
画像処理部15は、システムコントローラ10の制御に従って、撮像画像データを所定の画像データフォーマットに変換する処理や、表示部2でモニタ表示させるための所要の信号処理を行う。表示部2でモニタ表示させるための信号処理とは、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス(輪郭強調)調整、画面分割処理、キャラクタ画像の合成処理、拡大又は縮小画像の生成、モザイク画像/輝度反転画像/ソフトフォーカス/画像内の一部の強調表示/画像全体の色の雰囲気の可変などの画像エフェクト処理などである。
また画像処理部15は、撮像部3,表示部2,ストレージ部25、通信部26の間の画像データの転送処理も行う。即ち、撮像部3からの撮像画像データを表示部2,ストレージ部25,通信部26に供給する処理や、ストレージ部25で再生された画像データを表示部2に供給する処理や、通信部26で受信した画像データを表示部2に供給する処理も行う。
撮像表示装置1においてユーザに対して表示を行う構成としては、表示部2が設けられる。この表示部2は、上述した液晶パネル等による表示パネル部2a、2bと、表示パネル部2a、2bを表示駆動する表示駆動部が設けられる。
表示駆動部は、画像処理部15から供給される画像信号を、例えば液晶ディスプレイとされる表示パネル部2a,2bにおいて表示させるための画素駆動回路で構成されている。即ち表示パネル部2a,2bにおいてマトリクス状に配置されている各画素について、それぞれ所定の水平/垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。この処理により、撮像部3での撮像モニタとしての表示や、ストレージ部25で再生された再生画像の表示、さらには通信部26で受信された受信画像の表示が、表示パネル部2a、2bにおいて行われる。
また表示駆動部は、表示パネル部2a、2bの各画素の透過率を制御して、スルー状態(透明又は半透明の状態)とすることもできる。
システムコントローラ10は、この表示部2における表示動作のオン/オフ(スルー)制御、表示する画像データに対する処理パラメータの指示、画面領域設定制御、キャラクタ発生指示などを行う。
また撮像表示装置1には、音声入力部6、音声処理部16,音声出力部5が設けられる。
音声入力部6は、図1に示したマイクロホン6a,6bと、そのマイクロホン6a,6bで得られた音声信号を増幅処理するマイクアンプ部やA/D変換器を有し、音声データを出力する。
音声入力部6で得られた音声データは音声処理部16に供給される。
音声処理部16は、システムコントローラ10の制御に応じて、音声データの転送を制御する。即ち音声入力部6で得られた音声データを、音声出力部5、ストレージ部25、通信部26に供給する。或いは、ストレージ部25で再生された音声データや、通信部26で受信された音声データを音声出力部5に供給する。
また音声処理部16は、システムコントローラ10の制御に基づいて、音量調整、音質調整、音響エフェクト等の処理を行う。
音声出力部5は、図1に示した一対のイヤホンスピーカ5aと、そのイヤホンスピーカ5aに対するアンプ回路やD/A変換器を有する。
即ち音声処理部から供給された音声データはD/A変換器でアナログ音声信号に変換され、アンプ回路で増幅されてイヤホンスピーカ5aから音声として出力される。これによりユーザは外部音声を聞いたり、ストレージ部25で再生された音声データや通信部26で受信した音声データによる音声を聞くことができる。
なお音声出力部5は、いわゆる骨伝導スピーカを用いた構成とされてもよい。
ストレージ部25は、所定の記録媒体に対して画像データ(及び音声データ)の記録再生を行う部位とされる。例えばHDD(Hard Disk Drive)として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部25としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
このストレージ部25は、システムコントローラ10の制御に基づいて、撮像によって得られる画像データ(及び音声データ)を記録媒体に記録する。即ち、画像処理部15を介して供給される画像データや音声処理部16を介して供給される音声データに対して、記録媒体への記録のためのエンコード処理を行い、記録媒体に記録する。
またストレージ部25はシステムコントローラ10の制御に従って、記録した画像データ、音声データを再生することができる。再生した画像データは画像処理部15を介して表示部2に供給され、音声データは音声処理部16を介して音声出力部5に供給される。また再生した画像データ/音声データは、外部機器に送信するデータとして通信部26に供給することもできる。
なお、後述するシステム動作例III、VIIでは、地図上で他の撮像表示装置1又は撮像装置30を指定する処理を行うが、その場合、表示部2で地図画像を表示する。この地図画像の表示のためにストレージ部25には地図データベースが格納されているものとする。但しもちろんストレージ部25以外に地図データベースの格納部を設けても良い。
システムコントローラ10は、地図データベースを利用した地図検索及び地図表示処理を実行できる。
通信部26は外部機器との間でのデータの送受信を行う。外部機器とは、図3〜図5に示した、他の撮像表示装置1、撮像装置30、表示装置40、サーバ装置70等である。
この通信部26は、無線LAN、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでも良い。
通信部26に対しては、撮像部3で得られた撮像画像データが画像処理部15を介して供給される。また音声入力部6で得られた音声データが音声処理部16を介して供給される。通信部26は、この画像データ及び音声データについて通信用のエンコード処理を行い、無線送信のための変調を行って外部機器に送信することができる。つまりこの撮像表示装置1で現在撮像及び集音されているリアルタイムの画像データ/音声データを、外部機器(他の撮像表示装置1、表示装置40、サーバ装置70)に送信することができる。
また、ストレージ部25で再生された画像データ及び音声データについて通信用のエンコード処理を行い、無線送信のための変調を行って外部機器に送信することもできる。
また通信部26は外部機器(他の撮像表示装置1、撮像装置30、サーバ装置70)から送信されてきた画像データ/音声データを受信し、復調して画像処理部15及び音声処理部16に供給する。この場合、表示部2と音声出力部5により、受信した画像及び音声の出力が行われる。
もちろん、通信部26で受信した画像データ/音声データをストレージ部25に供給して記録媒体に記録することも可能である。
また撮像表示装置1には照明部4と照明制御部18が設けられる。照明部4は、図1、図2に示した発光部4aとその発光部4a(例えばLED)を発光させる発光回路から成る。照明制御部18は、システムコントローラ10の指示に基づいて、照明部4に発光動作を実行させる。
照明部4における発光部4aが図1又は図2に示したように取り付けられていることで、照明部4は撮像レンズ3aによる被写体方向に対する照明動作を行うことになる。
この撮像表示装置1では、ユーザの操作のために操作入力部11が設けられる。
操作入力部11は、例えばキー、ダイヤル等の操作子を有するようにし、キー操作等としてのユーザの操作を検知する構成としてもよいし、或いはユーザの意識的な挙動を検知する構成としても良い。
操作子を設ける場合、例えば、電源オン/オフ操作、撮像系の操作(例えばズーム等の操作や、信号処理の指示操作)、表示関連操作(例えば表示内容の選択や表示調整操作)、更には後述する外部装置の指定のための操作に用いる操作子が形成されればよい。
またユーザの挙動を検知する構成とする場合は、加速度センサ、角速度センサ、振動センサ、圧力センサ等を設けることが考えられる。
例えばユーザが撮像表示装置1を側面側からコツコツと軽く叩くといったことを、加速度センサ、振動センサ等で検知し、例えば横方向の加速度が一定値を越えたときにシステムコントローラ10がユーザの操作として認識するようにすることができる。また、加速度センサや角速度センサによりユーザが右側から側部(眼鏡のツルに相当する部分)を叩いたか、左側から側部を叩いたかを検出できるようにすれば、それらを、それぞれ所定の操作として判別することもできる。
またユーザが頭を回す、首を振るなどとすることを加速度センサや角速度センサで検知し、これをシステムコントローラ10がユーザの操作として認識することができる。
また、撮像表示装置1の左右の側部(眼鏡のツルに相当する部分)等に圧力センサを配置し、右側部をユーザが指で押したときは望遠方向のズーム操作、左側部をユーザが指で押したときは広角方向のズーム操作などとすることもできる。
さらには、生体センサとしての構成を備えるようにし、ユーザの生体情報を検出して、操作入力と認識するようにしても良い。生体情報とは、脈拍数、心拍数、心電図情報、筋電、呼吸情報(例えば呼吸の速さ、深さ、換気量など)、発汗、GSR(皮膚電気反応)、血圧、血中酸素飽和濃度、皮膚表面温度、脳波(例えばα波、β波、θ波、δ波の情報)、血流変化、眼の状態などである。
そしてシステムコントローラ10は生体センサの検出情報を、ユーザの操作入力として認識するようにしてもよい。例えばユーザの意識的な挙動として目の動き(視線方向の変化やまばたき)が考えられるが、ユーザが3回まばたきをしたことを検知したら、それを特定の操作入力と判断するなどである。さらには、上記生体情報の検知によりユーザが撮像表示装置1を装着したことや外したこと、あるいは特定のユーザが装着したことなども検出可能であり、システムコントローラ10がその検出に応じて電源オン/オフなどを行うようにしてもよい。
操作入力部20は、このように操作子、加速度センサ、角速度センサ、振動センサ、圧力センサ、生体センサ等として得られる情報をシステムコントローラ10に供給し、システムコントローラ10はこれらの情報によりユーザの操作を検知する。
また撮像表示装置1は位置検出部12を備える。位置検出部12は例えばGPS受信部とされる。GPS受信部は、GPS(Global Positioning System)の衛星からの電波を受信し、現在位置としての緯度・経度の情報をシステムコントローラ10に出力する。
この位置検出部12は、後述するシステム動作例III、VIIの場合において、或る撮像表示装置1又は表示装置40が、他の撮像表示装置1又は撮像装置30を位置によって指定する処理を行うために設けられる。
システムコントローラ10は、位置検出部12で検出される位置情報(緯度・経度)を例えば定期的に通信部26からサーバ装置70に送信させる処理を行う。
なお、位置検出部12としては、WiFi(Wireless Fidelity)や携帯電話会社が提供する位置情報サービスを利用するものとしてもよい。
また、歩行速度(自動車等に搭載される装置の場合は車速等)を検出することで、検出位置を補正できるようにすることも考えられる。
次に撮像装置30の構成を図7に示す。なお図6と同一部分は同一符号を付して重複説明を避ける。図7の撮像装置30は、図6の撮像表示装置1における画像及び音声の出力系である表示部2,音声出力部5を無くした構成である。
即ちこの撮像装置30は、図2のようにユーザに装着されたり、上述したように各種の移動体に装着された状態において、撮像部3により撮像を行い、撮像画像データを通信部26から外部装置に送信したり、ストレージ部25において記録することができる。
システムコントローラ10は撮像動作、通信動作、記録動作等の制御を行う。
表示装置40の構成例は図8のようになる。ここでも図6と同一部分は同一符号を付して重複説明を避ける。図8の表示装置40は、図6の撮像表示装置1における画像撮像及び音声入力の機能のための撮像部3,音声入力部6を無くした構成である。また撮像のための補助となる照明部4,照明制御部14も設けられない。また表示装置40は画像提供者側とはならないため、画像提供者を指定する目的のための位置検出部12も設けられなくて良い。
この表示装置30は、図2(b)のような形態でユーザに装着されたり、或いはユーザが所持したり、或いはユーザが家庭や自動車等に設置する機器として所有する機器であり、外部装置から送信されてくる画像データ/音声データを通信部26で受信する。そして受信した画像データ/音声データを表示部2,音声出力部6から出力したり、ストレージ部25において記録する。
システムコントローラ10は通信動作、表示動作、音声出力動作、記録動作等の制御を行う。
ところで、上述したように図2(a)(b)のような撮像装置30と表示装置40の両方を用いて撮像表示装置1と同等の機能を持つようにしても良い。
その場合、撮像装置30と表示装置40として図9のような構成例が考えられる。
この図9の例では、撮像装置30において、図6の撮像表示装置1とほぼ同様の構成を備えるようにする。但し撮像装置30において表示部2は設けられず、代わりに送信部27が設けられる。
送信部27は、画像処理部15から表示モニタ用として供給される画像データについて、表示装置40への送信の為のエンコード処理を行う。そしてエンコードした画像データを表示装置40に送信する。
また表示装置40には、受信部41、表示制御部42、表示部2が設けられる。
受信部41は、撮像装置30の送信部21との間でデータ通信を行う。そして撮像装置30から送信されてくる画像データを受信し、デコード処理をおこなう。
受信部41でデコードされた画像データは、表示制御部42に供給される。表示制御部42は、画像データについて表示のための信号処理や画面分割、キャラクタ合成等の処理を行って表示用の画像信号を生成し、例えば液晶ディスプレイとされる表示パネル部2aを有する表示部2に供給する。
表示部2では、表示用の画像信号に応じて、マトリクス状に配置されている表示パネル部2aの各画素について、それぞれ所定の水平/垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。
このように構成することで、例えば図3,図4,図5のユーザFのように撮像装置30と表示装置40を装着したユーザが、これらを撮像表示装置1と同様に使用することができる。
次に図10に、図5に示したサーバ装置70の構成例を示す。
サーバ装置70は、サーバ制御部72、ネットワークストレージ部71、通信部73、カメラ情報管理部74、地図データベース75を備える。
ネットワークストレージ部71は、例えばHDD等により実現され、例えば撮像装置30又は撮像表示装置1からネットワーク60を介して送信されてくる画像データ/音声データを、表示装置40又は撮像表示装置1に転送する際に、一時的にバッファリング記憶したり、或いは、撮像装置30又は撮像表示装置1からネットワーク60を介して送信されてくる画像データ/音声データを、所定期間保存するためなどに用いられる。
通信部73は、撮像表示装置1、撮像装置30、表示装置40の通信部26との間で、ネットワーク60を介したデータ通信を行う。
サーバ制御部72は、サーバ装置70としての必要な動作制御を行う。具体的には撮像表示装置1、撮像装置30、表示装置40との間の通信動作や、画像データ/音声データのネットワークストレージ部71への格納処理などを行う。
カメラ情報管理部74、地図データベース75は、後述するシステム動作例III〜VII、IXを実施する場合に必要な部位となる。カメラ情報管理部74は、実行するシステム動作に応じて、撮像表示装置1、撮像装置30の現在位置、撮像方向(方位)、仰角、移動速度を管理したり、撮像表示装置1や撮像装置30の性能(スペック)、撮像動作状態を管理したり、移動体の種別を管理する。
例えば撮像表示装置1や撮像装置30の現在位置管理/検索などの処理を行う場合、後述する図16(a)のようなカメラ情報管理テーブルを用い、撮像表示装置1、撮像装置30からの逐次送信されてくる位置情報を管理する。また地図データベース75に格納されている地図情報に照らし合わせることで、撮像表示装置1、撮像装置30の現在位置をより詳しく管理することもできる。
以上、撮像表示装置1、撮像装置30、表示装置40、サーバ装置70の構成を示したが、これらはそれぞれ一例にすぎない。実際に実施されるシステム動作例や機能に応じて各種の構成要素の追加や削除は当然考えられる。また撮像装置30、撮像表示装置1が搭載(装着)される移動体の別や、表示装置30の形態(例えば腕時計型、携帯型、据置型など)の別に応じて、それぞれ適切な構成が考えられることはいうまでもない。
[4.システム動作例I]

以下、本実施の形態として行われるシステム動作例について説明していく。
まずシステム動作例Iとして、図3又は図4のように、撮像表示装置1又は表示装置40が、他の撮像表示装置1又は撮像装置30との間で通信を行って、他の撮像表示装置1又は撮像装置30からの画像データを取得して表示する動作例を説明する。
図11は、システム動作例Iとして装置A及び装置Bの処理を示す。
装置Aとは、図3又は図4における撮像表示装置1又は表示装置40のことである。また装置Bとは、図3又は図4における撮像表示装置1又は撮像装置30のことである。
つまり装置Aは、或るユーザが使用して、他の移動体で撮像された画像を受信して表示する側の機器であり、本発明請求項でいう「表示装置」に該当する機器である。図11に示す装置Aの処理は、撮像表示装置1又は表示装置40のシステムコントローラ10の制御処理であるが、従って、この装置Aのシステムコントローラ10の処理において、本発明請求項で言う「指定処理」、「画像要求送信処理」、「表示処理」が含まれる。
一方装置Bは、装置Aからの指定に応じて画像を提供する側の機器であり、人、生物、車両、その他の上述した移動体に装着/搭載される機器であって、本発明請求項でいう「撮像装置」に該当する機器である。図11に示す装置Bの処理は、撮像表示装置1又は撮像装置30のシステムコントローラ10の制御処理であるが、従って、この装置Bのシステムコントローラ10の処理において、本発明請求項で言う「送信制御処理」が含まれる。
なお、後述するシステム動作例として図14、図15、図18、図19、図20、図21、図23、図25、図27の装置A、装置Bも以上の点は同様である。
システム動作例Iとしての図11の処理を説明する。
装置A側では、まずステップF100としてカメラ指定処理を行う。例えば装置Aのユーザは、操作入力部11を用いて、他の撮像表示装置1又は撮像装置30としての或る装置Bを指定する操作を行う。
一例としては、他の装置BのカメラID(撮像表示装置1又は撮像装置30を個別に識別できる情報)を入力したり、他の装置Bを所持するユーザ(例えば友人や画像サービス提供者)のユーザID(ユーザコードやユーザ名などユーザを識別できる情報)を入力しても良い。
或いは装置Aのシステムコントローラ10は表示部2に、その装置Aからアクセス可能な装置Bを一覧表示を行い、ユーザが一覧表示された中から任意の装置Bを選択できるようにし、ユーザがこれに対して選択操作を行うようにすることで、カメラID、ユーザID等を確定させてもよい。
そして装置Aのシステムコントローラ10は、これらユーザ操作に応じて、指定されたカメラID又はユーザIDによって示される装置Bをアクセス先として設定する。アクセス先の設定のためには、いわゆる電話番号や電子メールアドレス、或いはURL(Uniform Resource Locator)、ローカルエリア内で用いる専用の通信先コードなど、通信先の相手を特定する情報を取り出せばよい。このためにはシステムコントローラ10は内部の不揮発性メモリ等に、カメラID等に対応して通信先を特定する情報を保持しておけばよい。
装置Aからアクセス可能な装置Bの範囲(指定可能な機器の範囲)としては多様に考えられる。例えば友人同志のグループ間などで特定のグループIDを設定し、同一のグループIDの撮像表示装置1、撮像装置30、表示装置40の間で画像データ通信を行うようにされている場合は、装置Aから見て、装置A自身が含まれるグループ内の他の撮像表示装置1や撮像装置30が装置Bとなり得る。
また、当該画像データ通信を、或る特定の施設、地域などの特定のエリア内で実施する場合、装置Aから見て、そのエリア内に存在する他の撮像表示装置1や撮像装置30が装置Bとなり得る。
さらに、多数の撮像装置30等を多様な移動体に設置した企業や団体等のサービス提供者が、本例の画像提供サービスを行う場合、そのサービス提供者が設置した撮像装置30等が装置Aから見て、装置Bとなり得る。
もちろん、グループやエリア、或いはサービス提供者によるもの以外でも指定可能な装置Bの範囲の設定が考えられるし、これらの制限無く、任意に撮像表示装置1や撮像装置30を装置Bとして指定できるようにしてもよい。
装置Aのシステムコントローラ10は、ステップF100でユーザ入力の検知や入力のための表示等を含むカメラ指定処理を行い、或る装置Bの指定を確定したら、次に装置Aのシステムコントローラ10はステップF101で、指定された装置Bに対して通信接続処理を行う。即ちカメラ指定処理で指定された装置Bに対して通信アクセスを行い、装置Bとの間で通信接続を確立する。装置B側では、装置Aからのアクセスに応じてステップF200で通信確立処理を行う。そして通信接続が確立されたら、装置A側は装置Bに対して画像要求の情報を送信する。装置Bは画像要求を受け付ける。
装置Bでは、画像要求に応じてステップF201で画像送信処理を行う。即ち装置Bのシステムコントローラ10は撮像部3での撮像で得られている画像データ及び音声入力部6で集音された音声データを、通信部26から装置Aに対して送信させる。なお、装置B側では、画像要求受付前の時点から撮像を実行している場合もあるし、画像要求受付に応じて撮像を開始する場合もある。
装置B側での画像送信処理が開始されたら、装置A側ではステップ102で画像データの受信及び表示を実行する。即ち装置Aのシステムコントローラ10は、通信部26で受信及び復調される画像データ(及び音声データ)を、画像処理部15及び音声処理部16に供給させ、表示部2での表示出力と音声出力部5での音声出力を実行させる。
装置Aのシステムコントローラ10はステップF103で終了と判断されるまで、この受信したデータの表示出力(及び音声出力)を継続的に実行する。また装置Bでも、装置Aからの通信解除要求があるまでは、画像撮像及び撮像した画像データ(及び音声データ)の送信を継続する。
従ってこの間、装置Aのユーザは、装置B側で撮像される光景を見ることができる。
装置Aでは、ステップF103で画像表示の終了か否かを判断する。例えばユーザが操作入力部11により表示終了の操作を行ったら、終了と判断する。或いは、受信及び表示を所定時間行ったら自動的に終了とするような処理も考えられる。また、図11のフローチャートでは表現していないが、装置Bから装置Aに対して終了指示を行う処理例も考えられる。
装置Aのシステムコントローラ10は、ユーザ操作或いは他の終了条件によりステップF103で終了と判断したら、ステップF104に進み、通信部26から装置Bに対して通信解除要求を送信させる。
装置Bのシステムコントローラ10は、ステップF202として通信解除要求の受信を確認したら、ステップF203に進む。
そして装置Aのシステムコントローラ10はステップF105で、また装置Bのシステムコントローラ10はステップF203で、それぞれ通信接続解除処理を行い、一連のシステム動作を終える。
以上の処理により、装置Aのユーザは、任意に或る装置Bを指定し、指定した装置Bによって得られる光景を、自分が装着又は所持している装置Aにおいて見ることができる。
装置Aのユーザが見ることのできる光景の例を図12、図13に示す。
例えば装置Aのユーザが、装置Bとして、知人が装着又は所持する撮像表示装置1又は撮像装置30を指定したとする。すると、装置Aのユーザは、その知人が見ている視界光景を見ることができる。例えば図12(a)は、知人が観光地、リゾート地にいる場合に見ている光景が、自分の装置Aとしての撮像表示装置1又は表示装置40の表示部2に表示されている状態である。これにより、遠いリゾート地等の光景を味わうことができる。
また運動会の会場において、競技が見えにくい位置に居る装置Aのユーザが、競争のゴール付近の見やすい位置にいる知人が装着する装置Bを指定すれば、装置Aのユーザは、図12(b)のような、見やすい位置にいる知人が見ている光景を、見ることができる。
また例えば装置Aのユーザが、或る施設内に居るときに、その施設内で他人或いは何らかの移動体に装着された装置Bを指定すれば、その他人或いは何らかの移動体からの光景を見ることができる。
例えば装置Aのユーザがサッカースタジアムの観客席に居るとする。そして装置Aから、サッカーの審判員が装着している装置Bが指定可能とされているとする。すると、装置Aのユーザは、観客席にいながらにして、図12(c)のような審判員から見える光景を見ることができる。
図12(d)は、ゴルフ練習の光景である。例えば装置Aのユーザがスイングをしている姿を、装置Bのユーザが正面で見ているとする。装置Aのユーザは、装置Bを指定することで、装置Bで撮像される自分のスイングのフォームの画像を、自分が装着している装置Aの表示部2で見ることができる状態となる。つまり、自分のスイングフォームを見ながらスイングすることができ、フォームのチェックに有用である。
図13(a)は、装置Bとしての撮像表示装置1又は撮像装置30が、自動車に装着されている場合の画像例である。装置Aのユーザは自動車に搭載されている或る装置Bを指定し、装置Bから送信される画像データを受信するようにすることで、図のように、その自動車から見えている光景を、自分が装着又は所持している装置Aで見ることができる。
図13(b)は、装置Bとしての撮像表示装置1又は撮像装置30が、鉄道車両に装着されている場合の画像例である。装置Aのユーザは鉄道車両に搭載されている或る装置Bを指定し、装置Bから送信される画像データを受信するようにすることで、図のように、その鉄道車両から見えている光景を、自分が装着又は所持している装置Aで見ることができる。
図13(c)は、装置Bとしての撮像装置30が、鳥に装着されている場合の画像例である。装置Aのユーザは鳥に搭載されている或る装置Bを指定し、装置Bから送信される画像データを受信するようにすることで、図のように、その鳥からの視界光景(例えばこの場合は巣の中の光景など)を、自分が装着又は所持している装置Aで見ることができる。
例えば以上の例のように、装置Aのユーザは、他人、他の移動機器、他の生物など、各種移動体から見える光景を、任意に見ることができる。つまり、自分の視覚を擬似的に拡張して、自分以外の移動体から見える光景を見ることのできる状態となる。
[5.システム動作例II]

次にシステム動作例IIを図14で説明する。これは、図5のようにサーバ装置70を介して装置Bから装置Aへの画像データ送信を行う場合の処理例である。図14におけるサーバ装置70の動作は、図10のサーバ制御部72の処理と考えることができる。
装置A側では、まずステップF110としてカメラ指定処理を行う。カメラ指定処理については上記図11のステップF100と同様である。
装置Aのシステムコントローラ10は、ステップF110でのカメラ指定処理により、或る装置Bの指定を確定したら、次にステップF111で、サーバ装置70にアクセスする。即ちサーバ装置70との間で通信接続状態を確立する。そしてこのとき、画像要求の情報と、指定した装置Bを示すカメラ指定情報(例えばカメラIDやユーザIDなど)をサーバ装置70に通知する。
サーバ装置70のサーバ制御部72は、ステップF310で、装置Aとの通信接続を確立し、画像要求とカメラ指定情報を受け付ける。そして、カメラ指定情報で示される或る特定の装置Bに対して通信接続要求を行い、通信接続を確立する処理を行う。そして装置Aからの画像要求を通知する。
装置Bのシステムコントローラ10は、ステップF210でサーバ装置70からの接続要求に応じて通信接続状態とする処理を行い、通信を開始するとともに画像要求を受け付ける。
装置Bでは、画像要求に応じてステップF211で画像送信処理を行う。即ち装置Bのシステムコントローラ10は撮像部3での撮像で得られる画像データ及び音声入力部6で集音された音声データを、通信部26からサーバ装置70に対して送信させる。
サーバ装置70では、ステップF311の処理として、装置Bから送信されてきた画像データ(及び音声データ)を、装置Aに転送する。
装置A側ではステップ112で、サーバ装置70を介して装置Bから送信されてくる画像データの受信及び表示を実行する。即ち装置Aのシステムコントローラ10は、通信部26で受信及び復調される画像データ(及び音声データ)を、画像処理部15及び音声処理部16に供給させ、表示部2での表示出力と音声出力部5での音声出力を実行させる。
装置Aのシステムコントローラ10はステップF113で終了と判断されるまで、この受信したデータの表示出力(及び音声出力)を継続的に実行する。また装置Bでも、装置Aからの通信解除要求があるまでは、画像撮像及び撮像した画像データ(及び音声データ)の送信を継続する。
従ってこの間、装置Aのユーザは、装置B側で撮像される光景を見ることができる。
装置Aのシステムコントローラ10は、ステップF113で画像表示の終了か否かを判断し、ユーザ操作或いは他の終了条件により終了と判断したら、ステップF114に進み、通信部26からサーバ装置70に対して通信解除要求を送信させる。
サーバ装置70は、通信解除要求を受信するまではステップF311の転送処理を継続している。そして通信解除要求を受信したらステップF312からF313に進み、装置Bに対して通信解除指示を送信する。
装置Bのシステムコントローラ10は、ステップF212として通信解除指示の受信を確認したら、ステップF213に進む。
そして装置Aのシステムコントローラ10はステップF105で、また装置Bのシステムコントローラ10はステップF203で、それぞれサーバ装置70との間の通信接続解除処理を行う。またサーバ装置70のサーバ制御部72はステップF314で装置A,B間の通信及びサーバ処理を終了させる。以上でシステム動作を終える。
このようなサーバ装置70を介したシステム動作によっても、装置Aのユーザは、任意に或る装置Bを指定し、指定した装置Bによって得られる光景を、自分が装着又は所持している装置Aにおいて見ることができる。例えば図12、図13で例示したような光景の画像を見ることができる。
[6.システム動作例III]

次にシステム動作例IIIを図15で説明する。これは、上記図14のシステム動作例IIと同様にサーバ装置70を介して装置Bから装置Aへの画像データ送信を行う場合の処理例であるが、装置A側から、位置を指定することで、或る装置Bが指定されるようにする例である。
装置A側では、まずステップF120として位置指定処理を行う。例えば装置Aのシステムコントローラ10は、ストレージ部25等に格納している地図データベースを用いて地図表示を行う。またユーザの操作に応じて地図上の或る地域の検索やスクロール表示なども行う。これにより、ユーザが特定の地方、地域の地図画像を表示部2で見ることができるようにする。
例えばユーザが地名や縮尺を指定したり、スクロール操作を行うことに応じて、システムコントローラ10は表示される地域や縮尺を変化させることで、例えば図17(a)のように或る地区の地図画像を表示させる。
そして、この地図画像上で、ユーザが或る地点を指定する操作を行うことに応じて、位置指定情報を生成する。例えば地図上でユーザが指定したポイントの緯度、経度の値を含む位置指定情報を生成する。
装置Aのシステムコントローラ10は、ステップF120での位置指定処理により、或る位置指定情報を生成したら、次にステップF121で、サーバ装置70にアクセスする。即ちサーバ装置70との間で通信接続状態を確立する。そしてこのとき、画像要求の情報と、位置指定情報をサーバ装置70に通知する。
サーバ装置70のサーバ制御部72は、ステップF320で、装置Aとの通信接続を確立し、画像要求と位置指定情報を受け付ける。
そしてステップF321で、その時点で位置指定情報で示される或る特定の位置の近辺に存在する装置B(撮像表示装置1又は撮像装置30)を検索する。
なお、この検索のため、画像供給元となり得る全ての撮像表示装置1、撮像装置30は、それぞれ、逐次又は定期的に自己の現在位置情報(緯度・経度)をサーバ装置70に送信しているものとする。
サーバ装置70では、カメラ情報管理部74が、各撮像表示装置1及び撮像装置30について、そのカメラIDに対応づけて現在位置情報を管理する。
例えばカメラ情報管理部74は、図16(a)のようなカメラ情報管理テーブルを備える。このカメラ情報管理テーブルは、カメラID(CM001、CM002・・・)に対応して、現在位置情報(cp1,cp2・・・)を記録したテーブルである。
そして各撮像表示装置1又は撮像装置30からの現在位置情報を受信するたびに、その送信元の撮像表示装置1又は撮像装置30のカメラIDに対応する現在位置情報を、このカメラ情報管理テーブル上で更新する処理を行うことで、対象となる全ての撮像表示装置1又は撮像装置30についての現在位置を把握しているようにする。
例えばカメラID「CM001」の装置Bが、定期的に現在位置情報をサーバ装置70に送信しているとすると、カメラ情報管理テーブルにおいて「CM001」の現在位置情報cp1が、定期的に書き換えられることになる。
ステップF321では、サーバ制御部72は、位置指定情報に含まれていた経度・緯度に対して、現在近い位置に居る撮像表示装置1又は撮像装置30を、カメラ情報管理部74に検索させ、或る1つの撮像表示装置1又は撮像装置30を装置Bとして特定する。
位置指定情報に基づいて或る撮像表示装置1又は撮像装置30が今回対象の装置Bとして特定されたら、サーバ制御部72はステップF322で、当該装置Bに対して通信接続要求を行い、通信接続を確立する処理を行う。そして装置Aからの画像要求を通知する。
なお図15では示していないが、実際には、位置指定情報で示された位置の近辺に、その時点において、撮像表示装置1又は撮像装置30が1台も存在しないこともあり得る。そのような場合は、サーバ制御部72は装置Aに対して該当する装置Bの検索不能であって画像提供不能ということの通知を行うことになる。これに応じて装置A側では、画像提供不能の旨をユーザに提示して処理を終える。
サーバ装置70のステップF322の処理によって接続要求を受信した或る装置Bのシステムコントローラ10は、ステップF220で、その接続要求に応じて通信接続状態とする処理を行い、通信を開始するとともに画像要求を受け付ける。
装置Bでは、画像要求に応じてステップF221で画像送信処理を行う。即ち装置Bのシステムコントローラ10は撮像部3での撮像で得られる画像データ及び音声入力部6で集音された音声データを、通信部26からサーバ装置70に対して送信させる。
サーバ装置70では、ステップF323の処理として、装置Bから送信されてきた画像データ(及び音声データ)を、装置Aに転送する。
装置A側ではステップF122で、サーバ装置70を介して装置Bから送信されてくる画像データの受信及び表示を実行する。即ち装置Aのシステムコントローラ10は、通信部26で受信及び復調される画像データ(及び音声データ)を、画像処理部15及び音声処理部16に供給させ、表示部2での表示出力と音声出力部5での音声出力を実行させる。
装置Aのシステムコントローラ10はステップF123で終了と判断されるまで、この受信したデータの表示出力(及び音声出力)を継続的に実行する。また装置Bでも、装置Aからの通信解除要求があるまでは、画像撮像及び撮像した画像データ(及び音声データ)の送信を継続する。
従ってこの間、装置Aのユーザは、自分で指定した位置の近辺に存在する装置Bにおいて撮像される光景を見ることができる。
装置Aのシステムコントローラ10は、ステップF123で画像表示の終了か否かを判断し、ユーザ操作或いは他の終了条件により終了と判断したら、ステップF124に進み、通信部26からサーバ装置70に対して通信解除要求を送信させる。
サーバ装置70は、通信解除要求を受信するまではステップF323の転送処理を継続している。そして通信解除要求を受信したらステップF324からF325に進み、装置Bに対して通信解除指示を送信する。
装置Bのシステムコントローラ10は、ステップF222として通信解除指示の受信を確認したら、ステップF223に進む。
そして装置Aのシステムコントローラ10はステップF125で、また装置Bのシステムコントローラ10はステップF223で、それぞれサーバ装置70との間の通信接続解除処理を行う。またサーバ装置70のサーバ制御部72はステップF326で装置A,B間の通信及びサーバ処理を終了させる。以上でシステム動作を終える。
このような処理によれば、装置Aのユーザは、地図画像を用いて任意の位置を指定することで、その指定した位置の近辺に存在する装置Bによって得られる光景を、自分が装着又は所持している装置Aにおいて見ることができる。例えば図12、図13で例示したような光景の画像を見ることができる。
また位置を指定するということは、ユーザが特定の地域の現在の光景を確認したいという要望がある場合に好適である。例えば或る道路を指定することで、その近辺の渋滞状況の光景を見て実際の渋滞状況を詳しく知ることができたり、或るイベント会場近辺の混雑具合を光景として見て確認できる。また、或る観光地の現在の状況を見ることで、紅葉の具合、天気の具合なども、実際の光景として確認できる。
なお、この動作例では、装置A側で地図表示を行って、地図上で或る位置を指定するものとしたが、地図表示を行わなくとも、装置Aのユーザが、特定の地名や住所を入力し、その地名や住所等を位置指定情報としてサーバ装置70に送信してもよい。その場合、サーバ装置70側では、地名や住所等に応じて、地図データベース75から位置を特定(例えば緯度・経度の特定)し、当該位置近辺の装置Bを検索すればよい。
さらには、特定の位置ではなく、不特定の位置(場所の種別)を指定することも考えられる。例えば「山」「海岸」「森林地帯」「海上」「海中」「空」などの不特定の情報を位置指定情報とする。そしてサーバ装置70において、それらに該当する位置にいる装置Bを検索することも可能である。
また、装置A側で、位置情報以外の内容の指定情報や、複数の指定内容を含む指定情報を生成してもよい。
例えば指定情報としては、位置情報以外に、撮像方向としての方位情報、撮像方向としての仰角情報、撮像場所の高度情報、撮像時の移動体の移動速度情報などが考えられる。
上記のように位置情報を指定情報に含む場合、その位置の装置Bで撮像された光景を見ることができるが、撮像方向(方位)が、装置Aのユーザによって適切ではない場合もあり得る。そこで、位置情報に加えて撮像方向としての方位も指定できるようにすることも好適である。例えば図17(a)のような地図画像上で、位置を指定するとともに、その位置からの撮像方向としての方位を指定できるようにする。方位の指定は、東、西、南、北、東南、南西、北西、北東、東南東、南南東、南南西、西南西、西北西、北北西、北北東、東北東などを入力できるようにしてもよいし、地図上でのポインティングで方位を入力できるようにしてもよい。
そして装置Aは、サーバ装置70に対して、位置情報と方位情報を指定情報として送信するようにする。
サーバ装置70では、カメラ情報管理部74が、図16(b)のようなカメラ情報管理テーブルを用いて管理/検索を行う。この場合、カメラ情報管理テーブルは、カメラID(CM001、CM002・・・)に対応して、現在位置情報(cp1,cp2・・・)と現在の撮像方向(例えばW:西、SSW:南南西、NE:北東など)を記録したテーブルである。
画像供給元となり得る全ての撮像表示装置1、撮像装置30は、それぞれ、逐次又は定期的に自己の現在位置情報(緯度・経度)と撮像方向の情報をサーバ装置70に送信しているものとする。なおこのため、撮像表示装置1、撮像装置30では、例えば位置検出部12に方位センサを備えるようにし、撮像方向も検出できるようにしている必要がある。
サーバ装置70では、各撮像表示装置1又は撮像装置30からの現在位置情報及び方位情報を受信するたびに、その送信元の撮像表示装置1又は撮像装置30のカメラIDに対応する現在位置情報と現在の撮像方向の情報を、このカメラ位置管理テーブル上で更新する処理を行うことで、対象となる全ての撮像表示装置1又は撮像装置30についての現在位置及び撮像方向を把握しているようにする。
例えばカメラID「CM001」の装置Bが、定期的に現在位置情報と現在の方位情報をサーバ装置70に送信しているとすると、カメラ情報管理テーブルにおいて「CM001」の現在位置情報cp1及び撮像方向の情報が、定期的に書き換えられることになる。
すると、サーバ装置70では、装置Aから位置情報と方位情報が送信されてきた際に、カメラ情報管理テーブルを参照して、該当する撮像表示装置1又は撮像装置30を該当する装置Bとして検索することができ、上記図15と同様の処理で、該当する装置Bからの画像を装置Aに転送できる。
撮像方向としての仰角情報、撮像場所の高度情報、撮像時の移動体の移動速度情報なども、同様に扱うことができる。
例えば撮像表示装置1、撮像装置30において、仰角センサ、高度センサ、速度センサを備えるようにし、これらの検出情報を逐次サーバ装置70に送信できるようにしておき、サーバ装置70では、カメラ情報管理テーブルにおいて、各装置Bについての仰角、高度、移動速度などを把握できるようにする。
その場合、装置A側から仰角、高度、移動速度などを指定することで、サーバ装置70が該当する装置Bを検索し、図15と同様の処理で装置Aに画像を転送できる。
つまり、サーバ装置70が、各撮像表示装置1又は撮像装置30について、位置情報、撮像方向としての方位情報、撮像方向としての仰角情報、撮像場所の高度情報、撮像時の移動体の移動速度情報などを、逐次更新管理するようにすれば、指定情報として、位置情報、撮像方向としての方位情報、撮像方向としての仰角情報、撮像場所の高度情報、撮像時の移動体の移動速度情報などを、個別に、或いは組み合わせて用いるシステム動作が想定される。
[7.システム動作例IV]

システム動作例IVを図18で説明する。これは、上記図15のシステム動作例IIIと同様にサーバ装置70を介して装置Bから装置Aへの画像データ送信を行う場合の処理例であるが、装置A側から、カメラスペックを指定することで、或る装置Bが指定されるようにする例である。
装置A側では、まずステップF130としてカメラスペック指定処理を行う。カメラスペックとは撮像表示装置1、撮像装置30の性能に関する事項であり、例えば撮像フレームレート、解像度、撮像素子部の有効画素数、画像圧縮方式などである。
例えば装置Aのシステムコントローラ10は、カメラスペックの選択画像を表示部2に表示させ、装置Aのユーザが任意のカメラスペックを指定できるようにする。なお、所望のカメラスペックを備えた機種名を指定するような指定入力方式も考えられる。
装置Aのシステムコントローラ10は、ステップF130での指定処理により、或るカメラスペック情報としての指定情報を生成したら、次にステップF131で、サーバ装置70にアクセスする。即ちサーバ装置70との間で通信接続状態を確立する。そしてこのとき、画像要求の情報と、カメラスペックの指定情報をサーバ装置70に通知する。
サーバ装置70のサーバ制御部72は、ステップF330で、装置Aとの通信接続を確立し、画像要求とカメラスペック指定情報を受け付ける。
そしてステップF331で、カメラスペック指定情報に基づいて、或る特定の装置B(撮像表示装置1又は撮像装置30)を検索する。
この検索のため、サーバ装置70では、カメラ情報管理部74が、各撮像表示装置1及び撮像装置30について、そのカメラIDに対応づけてスペック情報を管理する。
例えばカメラ情報管理部74は、図16(c)のようなカメラ情報管理テーブルを備える。このカメラ情報管理テーブルは、カメラID(CM001、CM002・・・)に対応して、スペック情報(sp1,sp2・・・)を記録したテーブルである。
ステップF331では、サーバ制御部72は、カメラスペック指定情報に基づいて該当する撮像表示装置1又は撮像装置30を、カメラ情報管理部74に検索させ、或る1つの撮像表示装置1又は撮像装置30を装置Bとして特定する。
或る撮像表示装置1又は撮像装置30が今回対象の装置Bとして特定されたら、サーバ制御部72はステップF332で、当該装置Bに対して通信接続要求を行い、通信接続を確立する処理を行う。そして装置Aからの画像要求を通知する。
なお図18では示していないが、実際には、指定されたカメラスペックに該当する撮像表示装置1又は撮像装置30が1台も存在しないことや、或いは存在するが通信不能ということもあり得る。そのような場合は、サーバ制御部72は装置Aに対して該当する装置Bの検索不能もしくは通信不能であって画像提供不能ということの通知を行うことになる。これに応じて装置A側では、画像提供不能の旨をユーザに提示して処理を終える。
サーバ装置70のステップF332の処理によって接続要求を受信した或る装置Bのシステムコントローラ10は、ステップF230で、その接続要求に応じて通信接続状態とする処理を行い、通信を開始するとともに画像要求を受け付ける。
なお、以降の処理は図15と同様であるため説明を省略する。即ち装置AのステップF132〜F135は図15のステップF122〜F125と同様であり、サーバ装置70のステップF333〜F336は図15のステップF323〜F326と同様であり、装置BのステップF231〜F233は図15のステップF221〜F223と同様である。
このような処理によれば、装置Aのユーザは、任意のカメラスペックを指定することで、その指定した性能の装置Bによって得られる光景を、自分が装着又は所持している装置Aにおいて見ることができる。従って、装置Bからの画像として、その画像品質を指定したい場合に有用である。
なお、カメラスペックの指定と、上記処理例IIIで述べた、位置、方位、仰角、移動速度、高度などの指定を組み合わせることも可能である。例えば特定の位置において特定のスペックの装置Bを指定可能とするような例である。
[8.システム動作例V]

システム動作例Vを図19で説明する。これも上記図15のシステム動作例IIIと同様にサーバ装置70を介して装置Bから装置Aへの画像データ送信を行う場合の処理例であるが、装置A側から、カメラの撮像動作状態を指定することで、或る装置Bが指定されるようにする例である。
装置A側では、まずステップF160として撮像動作状態の指定処理を行う。撮像動作状態とは撮像表示装置1、撮像装置30で実行している撮像動作としての例えば望遠ズーム撮像、広角ズーム撮像、高感度撮像、低感度撮像、赤外線感度上昇撮像、紫外線感度上昇撮像、高フレームレート撮像、モノクロ撮像/カラー撮像などの各種状態をいう。
例えば装置Aのシステムコントローラ10は、撮像動作状態の選択画像を表示部2に表示させ、装置Aのユーザが任意の撮像動作状態を指定できるようにする。
装置Aのシステムコントローラ10は、ステップF160での指定処理により、或る撮像動作状態を指定する指定情報を生成したら、次にステップF161で、サーバ装置70にアクセスする。即ちサーバ装置70との間で通信接続状態を確立する。そしてこのとき、画像要求の情報と、撮像動作状態の指定情報をサーバ装置70に通知する。
サーバ装置70のサーバ制御部72は、ステップF360で、装置Aとの通信接続を確立し、画像要求と撮像動作状態の指定情報を受け付ける。
そしてステップF361で、撮像動作状態の指定情報に基づいて、或る特定の装置B(撮像表示装置1又は撮像装置30)を検索する。
なお、この検索のため、画像供給元となり得る全ての撮像表示装置1、撮像装置30は、それぞれ、逐次又は定期的に、或いは撮像動作状態が切り換えられる毎に、自己の撮像動作状態の情報をサーバ装置70に送信しているものとする。
サーバ装置70では、カメラ情報管理部74が、各撮像表示装置1及び撮像装置30について、そのカメラIDに対応づけて現在位置情報を管理する。
例えばカメラ情報管理部74は、図16(d)のようなカメラ情報管理テーブルを備える。このカメラ情報管理テーブルは、カメラID(CM001、CM002・・・)に対応して、現在の撮像動作状態(MST1,MST2・・・)を記録したテーブルである。
そして各撮像表示装置1又は撮像装置30からの現在の撮像動作状態の情報を受信するたびに、その送信元の撮像表示装置1又は撮像装置30のカメラIDに対応する撮像動作状態を、このカメラ情報管理テーブル上で更新する処理を行うことで、対象となる全ての撮像表示装置1又は撮像装置30についての現在の撮像動作状態を把握しているようにする。
ステップF361では、サーバ制御部72は、撮像動作状態の指定情報に基づいて該当する撮像表示装置1又は撮像装置30を、カメラ情報管理部74に検索させ、或る1つの撮像表示装置1又は撮像装置30を装置Bとして特定する。
或る撮像表示装置1又は撮像装置30が今回対象の装置Bとして特定されたら、サーバ制御部72はステップF362で、当該装置Bに対して通信接続要求を行い、通信接続を確立する処理を行う。そして装置Aからの画像要求を通知する。
なお図19では示していないが、指定された撮像動作状態に該当する撮像表示装置1又は撮像装置30が1台も存在しない場合や、或いは存在するが通信不能という場合は、サーバ制御部72は装置Aに対して該当する装置Bの検索不能もしくは通信不能であって画像提供不能ということの通知を行う。これに応じて装置A側では、画像提供不能の旨をユーザに提示して処理を終える。
サーバ装置70のステップF362の処理によって接続要求を受信した或る装置Bのシステムコントローラ10は、ステップF260で、その接続要求に応じて通信接続状態とする処理を行い、通信を開始するとともに画像要求を受け付ける。
なお、以降の処理は図15と同様であるため説明を省略する。即ち装置AのステップF162〜F165は図15のステップF122〜F125と同様であり、サーバ装置70のステップF363〜F366は図15のステップF323〜F326と同様であり、装置BのステップF261〜F263は図15のステップF221〜F223と同様である。
このような処理によれば、装置Aのユーザは、任意の撮像動作状態を指定することで、その指定した撮像動作状態の装置Bによって得られる光景を、自分が装着又は所持している装置Aにおいて見ることができる。従って、装置Bからの画像として、特定の撮像動作状態で撮像された画像を見たい場合に有用である。例えば赤外線感度上昇撮像(いわゆる暗視撮像)を行っている装置Bの画像をみることができる。
なお、撮像動作状態の指定と、上記処理例IIIで述べた、位置、方位、仰角、移動速度、高度などの指定や、上記処理例IVで述べたカメラスペックの指定を組み合わせることも可能である。例えば特定の位置において特定の撮像動作状態の装置Bを指定可能とするような例である。
[9.システム動作例VI]

システム動作例VIを図20で説明する。これも上記図15のシステム動作例IIIと同様にサーバ装置70を介して装置Bから装置Aへの画像データ送信を行う場合の処理例であるが、装置A側から、撮像表示装置1又は撮像装置30を搭載した移動体の種別を指定することで、或る装置Bが指定されるようにする例である。
装置A側では、まずステップF190として移動体の指定処理を行う。装置Aのシステムコントローラ10は、移動体として、人、自動車、鉄道車両、飛行機、船舶、潜水艦、人工衛星、鳥・・・などの、移動体種別の選択画像を表示部2に表示させ、装置Aのユーザが任意の移動体を指定できるようにする。
装置Aのシステムコントローラ10は、ステップF190での指定処理により、或る移動体を指定する指定情報を生成したら、次にステップF191で、サーバ装置70にアクセスし、サーバ装置70との間で通信接続状態を確立する。そしてこのとき、画像要求の情報と、移動体指定情報をサーバ装置70に通知する。
サーバ装置70のサーバ制御部72は、ステップF390で、装置Aとの通信接続を確立し、画像要求と移動体指定情報を受け付ける。
そしてステップF391で、移動体指定情報に基づいて、或る特定の装置B(撮像表示装置1又は撮像装置30)を検索する。
サーバ装置70では、各撮像表示装置1又は撮像装置30について、搭載された移動体をカメラ情報管理テーブルで管理しておく。図示しないが、例えば図16で述べような形式のカメラ情報管理テーブルで、各カメラIDに対応させて、移動体の種別情報を管理するようにすればよい。
ステップF391では、サーバ制御部72は、移動体指定情報に基づいて該当する撮像表示装置1又は撮像装置30を、カメラ情報管理部74に検索させ、或る1つの撮像表示装置1又は撮像装置30を装置Bとして特定する。
或る撮像表示装置1又は撮像装置30が今回対象の装置Bとして特定されたら、サーバ制御部72はステップF392で、当該装置Bに対して通信接続要求を行い、通信接続を確立する処理を行う。そして装置Aからの画像要求を通知する。
なお図20では示していないが、指定された移動体に搭載された撮像表示装置1又は撮像装置30が存在しなかったり、或いは存在するが通信不能の場合は、サーバ制御部72は装置Aに対して該当する装置Bの検索不能もしくは通信不能であって画像提供不能ということの通知を行う。これに応じて装置A側では、画像提供不能の旨をユーザに提示して処理を終える。
サーバ装置70のステップF392の処理によって接続要求を受信した或る装置Bのシステムコントローラ10は、ステップF290で、その接続要求に応じて通信接続状態とする処理を行い、通信を開始するとともに画像要求を受け付ける。
なお、以降の処理は図15と同様であるため説明を省略する。即ち装置AのステップF192〜F195は図15のステップF122〜F125と同様であり、サーバ装置70のステップF393〜F396は図15のステップF323〜F326と同様であり、装置BのステップF291〜F293は図15のステップF221〜F223と同様である。
このような処理によれば、装置Aのユーザは、任意の移動体を指定することで、その指定した移動体に搭載された装置Bによって得られる光景を、自分が装着又は所持している装置Aにおいて見ることができる。従って、ユーザが特定の移動体から見える光景を見たいと思った場合に好適である。
なお、移動体の指定と、上記処理例IIIで述べた、位置、方位、仰角、移動速度、高度などの指定や、上記処理例IVで述べたカメラスペックの指定、上記処理例Vで述べた撮像動作状態の指定を組み合わせることも可能である。
例えば特定の位置において特定の移動体に搭載された装置Bを指定可能とするような例である。
また、指定情報及び検索で用いる移動体の種別指定として、人、自動車、飛行機、鳥・・・などの別の例を述べたが、指定できる種別としては多様に考えられる。例えば自動車の場合は、乗用車、バス、トラックなどの別、或いは車種(モデル名)など、より細かい種別を指定できるようにしてもよい。人の場合は男女の別、年齢別などの指定も考えられるし、飛行機や鉄道車両等の機種別の指定も考えられる。動物の場合も同様である。
[10.システム動作例VII]

次にシステム動作例VIIを図21で説明する。これは上記図15のシステム動作例IIIと同様に地図画像を利用するものであるが、地図画像上で特定の撮像表示装置1又は撮像装置30を指定するようにした動作例である。
装置A側では、まずステップF140として位置指定処理を行う。例えば装置Aのシステムコントローラ10は、ストレージ部25等に格納している地図データベースを用いて地図表示を行う。またユーザの操作に応じて地図上の或る地域の検索やスクロール表示なども行う。これにより、ユーザが特定の地方、地域の地図画像を表示部2で見ることができるようにする。
例えばユーザは地名を指定したり、スクロール操作を行うことで、図17(a)のように或る地区の地図画像を表示させる。
そして、この地図画像上で、ユーザが或る地点を指定する操作を行うことに応じて、位置指定情報を生成する。例えば地図上でユーザが指定したポイントの緯度、経度の値を含む位置指定情報を生成する。
装置Aのシステムコントローラ10は、ステップF140での位置指定処理により、或る位置指定情報を生成したら、次にステップF141で、サーバ装置70にアクセスする。即ちサーバ装置70との間で通信接続状態を確立する。そしてこのとき位置指定情報をサーバ装置70に通知する。
サーバ装置70のサーバ制御部72は、ステップF340で、装置Aとの通信接続を確立し、位置指定情報を受け付ける。
そしてステップF341で、その時点で位置指定情報で示される或る特定の位置の近辺に存在する1又は複数の装置B(撮像表示装置1又は撮像装置30)を検索する。
この場合も、検索のために、画像供給元となり得る全ての撮像表示装置1、撮像装置30は、それぞれ、逐次又は定期的に自己の現在位置情報(緯度・経度)をサーバ装置70に送信しているものとする。サーバ装置70では、カメラ情報管理部74が、図16(a)のカメラ情報管理テーブルにより、各撮像表示装置1及び撮像装置30について、そのカメラIDに対応づけて現在位置情報を管理する。即ち各撮像表示装置1又は撮像装置30からの現在位置情報を受信するたびに、カメラ情報管理テーブル上で、その送信元の撮像表示装置1又は撮像装置30のカメラIDに対応する現在位置情報を更新する処理を行うことで、対象となる全ての撮像表示装置1又は撮像装置30についての現在位置を把握しているようにする。
但しこの動作例VIIの場合は、検索によって1つの装置Bを特定するのではなく、位置指定情報で示される地点の近辺として所定の範囲に存在する全ての撮像表示装置1又は撮像装置30を抽出する。
そして抽出した撮像表示装置1又は撮像装置30のそれぞれの現在位置情報をカメラ位置情報として装置Aに対して送信する。例えば抽出された1又は複数の装置BのカメラIDとそれらの現在位置情報を送信する。
なお図21では示していないが、位置指定情報で示された位置の近辺に、その時点において、撮像表示装置1又は撮像装置30が1台も存在しない場合は、サーバ制御部72は装置Aに対して該当する装置Bの検索不能であって画像提供不能ということの通知を行う。これに応じて装置A側では、画像提供不能の旨をユーザに提示して処理を終える。
装置Aのシステムコントローラ10はステップF142でカメラ位置情報を受信したら、ステップF140で表示した地図画像に、カメラ位置の画像を付加して表示する。例えば図17(b)のように、地図画像上に装置Bとなり得る撮像表示装置1又は撮像装置30のマークCAを表示させる。
この図17(b)のような表示に対し、装置Aのユーザは、地図上に現れている装置Bのうちで、画像要求を行いたい装置Bを指定する操作を行う。
装置Aのシステムコントローラ10はステップF143で、ユーザの指定操作を受け付けるとともに、ユーザに選択された装置BのカメラIDを、カメラ指定情報とし、画像要求とともにサーバ装置70に送信する。
サーバ装置70はステップF342で、装置Aからカメラ指定情報と画像要求を受信したら、そのカメラ指定情報に該当する装置Bに対して通信接続要求を行い、通信接続を確立する処理を行う。そして装置Aからの画像要求を通知する。
サーバ装置70のステップF342の処理によって接続要求を受信した或る装置Bのシステムコントローラ10は、ステップF240で、その接続要求に応じて通信接続状態とする処理を行い、通信を開始するとともに画像要求を受け付ける。
そして装置Bでは、画像要求に応じてステップF241で画像送信処理を行う。即ち装置Bのシステムコントローラ10は撮像部3での撮像で得られる画像データ及び音声入力部6で集音された音声データを、通信部26からサーバ装置70に対して送信させる。
サーバ装置70では、ステップF343の処理として、装置Bから送信されてきた画像データ(及び音声データ)を、装置Aに転送する。
装置A側ではステップ144で、サーバ装置70を介して装置Bから送信されてくる画像データの受信及び表示を実行する。即ち装置Aのシステムコントローラ10は、通信部26で受信及び復調される画像データ(及び音声データ)を、画像処理部15及び音声処理部16に供給させ、表示部2での表示出力と音声出力部5での音声出力を実行させる。
装置Aのシステムコントローラ10はステップF145で終了と判断されるまで、この受信したデータの表示出力(及び音声出力)を継続的に実行する。また装置Bでも、装置Aからの通信解除要求があるまでは、画像撮像及び撮像した画像データ(及び音声データ)の送信を継続する。
従ってこの間、装置Aのユーザは、自分で地図上で指定した装置Bにおいて撮像される光景を見ることができる。
装置Aのシステムコントローラ10は、ステップF145で画像表示の終了か否かを判断し、ユーザ操作或いは他の終了条件により終了と判断したら、ステップF146に進み、通信部26からサーバ装置70に対して通信解除要求を送信させる。
サーバ装置70は、通信解除要求を受信するまではステップF343の転送処理を継続している。そして通信解除要求を受信したらステップF344からF345に進み、装置Bに対して通信解除指示を送信する。
装置Bのシステムコントローラ10は、ステップF242として通信解除指示の受信を確認したら、ステップF243に進む。
そして装置Aのシステムコントローラ10はステップF147で、また装置Bのシステムコントローラ10はステップF243で、それぞれサーバ装置70との間の通信接続解除処理を行う。またサーバ装置70のサーバ制御部72はステップF346で装置A,B間の通信及びサーバ処理を終了させる。以上でシステム動作を終える。
このような処理によれば、装置Aのユーザは、地図画像上で任意の装置B(撮像表示装置1又は撮像装置30)を指定することができ、その指定した装置Bによって得られる光景を、自分が装着又は所持している装置Aにおいて見ることができる。例えば図12、図13で例示したような光景の画像を見ることができる。
またこれは、特定の位置を指定することにもなるため、上記システム動作例IIIの場合と同様、特定の地域の現在の光景を確認したいという要望にも合致し、特定の位置の現在の状況を画像によりリアルに知ることができる。
なお、この動作例では、最初に装置A側で地図表示を行って、地図上で或る位置を指定するものとしたが、地図表示を行わなくとも、装置Aのユーザが、特定の地名や住所を入力し、その地名や住所等を位置指定情報としてサーバ装置70に送信してもよい。その場合、サーバ装置70側では、地名や住所等に応じて、地図データベース75から位置を特定(例えば緯度・経度の特定)し、当該位置近辺の装置Bを検索する。そして抽出された1又は複数の装置BのカメラIDと現在位置情報を装置Aに送信して、その時点で装置Aが図17(b)のような地図表示を行うようにしても良い。
さらにその場合、サーバ装置70が、抽出された1又は複数の装置BのカメラIDと現在位置情報とともに地図画像データも送信するようにすれば、装置A側で地図データベースを備える必要を無くすこともできる。言い換えれば、地図データベースを装備しない撮像表示装置1又は表示装置40において、図17(b)のような地図画像上で或る撮像表示装置1又は撮像装置30を指定するという指定方式を実現することもできる。
[11.システム動作例VIII]

続いてシステム動作例VIIIを説明する。このシステム動作例VIIIは、装置A側から、装置Bで撮像されている画像内容を確認して所望の装置Bを指定できるようにするものである。
図22でシステム動作の概略を述べる。図22(a)(b)は装置Aとしての撮像表示装置1(又は表示装置40)と、サーバ装置70と、装置Bとしての撮像表示装置1、撮像装置30を示している。
図22(a)に示すように、例えば装置A(撮像表示装置1)は、まずサーバ70に対して指定用画像を要求する。
これに応じてサーバ装置70は、複数の装置Bに対して画像要求を送信する。画像要求を受信した各装置Bは、現在撮像している画像データをサーバ装置70に送信する。
サーバ装置70は、各装置Bから送信されてくる画像データに基づいて、指定用画像データを生成し、装置Aに送信する。指定用画像データとは、例えば図24(a)のように、複数の装置Bから送信されてきた画像を1画面に合成したような画像データが考えられる。
装置A側では、例えば図24(a)のような指定用画像データを受信し、表示部2に表示させ、ユーザが画像を確認しながら特定の画像を指定入力できるようにする。
そして図22(b)に示すように、装置A側ではユーザの指定入力に基づいて、或る画像の指定情報をサーバ装置70に送信する。サーバ装置70は、画像指定の指定情報に基づいて、指定された装置Bを特定し、特定された装置Bからの画像を引き続き受信する。そして受信した画像データを装置Aに転送する。
このような動作により、装置Aのユーザが、撮像している画像内容により装置Bを指定して、その撮像光景を見ることができるようにする。
図23により、このようなシステム動作のための処理を述べる。
装置A側では、まずステップF170としてサーバ装置70にアクセスし、サーバ装置70との間で通信接続状態を確立する。そしてこのとき指定用画像要求をサーバ装置70に送信する。
サーバ装置70のサーバ制御部72は、ステップF370で、装置Aとの通信接続を確立し、指定用画像要求を受け付ける。
そしてステップF371で、存在する装置Bに対して通信接続要求を行い、通信接続を確立する処理を行う。そして各装置Bに画像要求を通知する。
この図23では、装置Bとして、装置B(1)、装置B(2)の2つの装置Bの処理を代表して示しているが、サーバ装置70は、例えばその時点で通信可能な多数の装置Bに対して通信接続を行い、画像要求を送信することになる。
サーバ装置70から通信を求められた多数の装置B(1)、装置B(2)・・・は、それぞれステップF270でサーバ装置70との間の通信を開始する処理を行い、画像要求を受け付ける。
そして装置B(1)、装置B(2)・・・は、それぞれステップF271で、撮像している画像データをサーバ装置70に送信する処理を開始する。なお、装置B側では、画像要求受付前の時点から撮像を実行している場合もあるし、画像要求受付に応じて撮像を開始する場合もある。
また、この図23の例では、装置Bは、サーバ装置70からの画像要求に応じてステップF271でサーバ装置70に対する画像データ送信を開始するものとして説明するが、各装置Bが、常時、サーバ装置70に対して撮像画像データを送信しているとするシステム動作例も考えられる。
サーバ装置70のサーバ制御部72は、ステップF372で、各装置B(1)、装置B(2)・・・からの画像データの受信を開始する。そして、例えば各装置B(1)、装置B(2)・・・からの画像データを合成する指定用画像の生成処理、及び生成した指定用画像を装置Aに送信する処理を開始する。
例えば各装置B(1)からの画像G1、装置B(2)からの画像G2、図示しない装置B(3)からの画像G3、図示しない装置B(4)からの画像G4を縮小して図24(a)のように画像G1,G2,G3,G4の内容を提示する指定用画像を生成し、装置Aに送信する。
各装置B(1)、装置B(2)・・・からは継続して動画撮像データを送信してくるため、サーバ装置70は、以降、動画データの合成処理を続け、図24(a)の動画内容を含む指定用画像の生成/送信を継続する。
なお、指定用画像に含まれる各装置Bからの画像G1,G2,G3,G4・・・は、それぞれ例えば所定フレーム毎に抽出した擬似動画のような画像データとしてもよいし、最初に受信した時点のフレームのみの静止画像としてもよい。
また、図24では4つの装置Bの画像を合成しているが、より多数の装置Bの撮像画像を確認できるように、画像の縮小率を可変したり、或いは一覧画像を多数ページの画像として生成してもよい。さらには、各装置Bからの画像G1,G2,G3,G4・・・を縮小せずに、これらを時分割的に装置Aに送信することで、指定用画像としてもよい。
装置Aは、ステップF171でサーバ装置70から送信されてくる指定用画像データの受信を開始する。装置Aのシステムコントローラ10は、通信部26で受信した指定用画像データに基づく表示を表示部2において開始させる。
これにより、例えば図24(a)のような画像が表示部2に表示され、ユーザは、各装置B(1)、装置B(2)・・・で撮像されている画像の内容を確認できることになる。
装置Aのユーザは、この画像を見て、所望の画像内容を選択する操作を行う。例えば表示画像上で、任意の画像を指定する操作を行う。また指定用画像として全ての装置Bの画像を一画面で表示できず、指定用画像が複数ページにわたっているような場合は、ユーザのページ送り操作やスクロール操作によって画面が送られていくようにすればよい。
そして、このような指定用画像の表示に対して、ユーザが或る画像を指定する操作を行ったら、システムコントローラ10は処理をステップF171からF173に進め、操作によって選択された画像を示す指定情報を生成し、その指定情報と画像要求をサーバ装置70に送信する。
サーバ装置70のサーバ制御部72は、ステップF373で、装置Aからの指定情報と画像要求を受け付けたら、処理をステップF374に進める。
即ちサーバ制御部72は、画像の指定情報により特定の装置Bを決定し、それ以外の装置Bとの通信を解除する。例えば装置Aのユーザが指定した画像が図24(a)の画像G2であり、装置B(2)で撮像されている画像であった場合、装置B(2)が指定されたものとして処理を進め、装置B(2)以外の装置B(つまり装置B(1)や図示しない他の装置B(3)、装置B(4)・・・)に対して通信解除を指示する。
通信解除指示の送信対象となった装置B(例えば装置B(1))では、ステップF272でその通信解除指示を確認したら、ステップF273でサーバ装置70との通信接続を解除する。
またサーバ制御部72は、このステップF373で、指定用画像生成処理を終了する。
そしてサーバ制御部72の処理はステップF375に進み、接続中の装置Bからの画像転送を開始する。上記ステップF374の処理により、例えばこの時点では例えば装置B(2)のみが通信接続を維持されているため、サーバ装置70は、装置Bからの画像G2を装置Aに転送する処理を開始する。
装置Aは、ステップF174で、サーバ装置70から送信されてくる画像データの受信を開始し、装置Aのシステムコントローラ10は、通信部26で受信した画像データに基づく表示を表示部2において開始させる。
これにより、例えば図24(b)のような、装置B(2)からの画像G2が表示部2に表示される。つまりユーザが、先に図24(a)の指定用画像において装置B(2)の画像データを指定したことに応じて、装置B(2)で撮像されている画像を見ることができる状態となる。
装置Aのシステムコントローラ10は、ステップF175で画像表示の終了か否かを判断し、ユーザ操作或いは他の終了条件により終了と判断したら、ステップF176に進み、通信部26からサーバ装置70に対して通信解除要求を送信させる。
サーバ装置70は、通信解除要求を受信するまではステップF375の転送処理を継続している。そして通信解除要求を受信したらステップF376からF377に進み、通信接続中の装置B(例えば装置B(2))に対して通信解除指示を送信する。
それまで通信接続を維持していた装置B(例えば装置B(2))のシステムコントローラ10は、ステップF272として通信解除指示の受信を確認したら、ステップF273に進む。
そして装置Aのシステムコントローラ10はステップF177で、また装置Bのシステムコントローラ10はステップF273で、それぞれサーバ装置70との間の通信接続解除処理を行う。またサーバ装置70のサーバ制御部72はステップF378で装置A,B間の通信及びサーバ処理を終了させる。以上でシステム動作を終える。
このような処理によれば、装置Aのユーザは、実際に多数の装置B(撮像表示装置1又は撮像装置30)で撮像されている光景の画像内容を見て、見たい画像内容を選択するという手法で、特定の装置Bを指定することができ、その指定した装置Bによって得られる光景を、自分が装着又は所持している装置Aにおいて見ることができる。例えば図12、図13で例示したような光景の中で見たい画像を選んで見ることができる。
特に画像内容により選択できることで、ユーザにとっては、見たい光景を容易に選択できることになる。
[12.システム動作例IX]

システム動作例IXを図25で説明する。これは、基本的には上記のシステム動作例VIIIと同様に、装置Aのユーザが、各装置Bで撮像されている画像を確認して見たい画像を選択できるようにするものであるが、サーバ装置70における指定用画像の生成段階において、装置Bの候補を絞り込むことができるようにする例である。
装置A側では、まずステップF180として、カメラ抽出情報の設定処理を行う。
カメラ抽出情報とは、装置Bの検索条件となる情報であり、具体的には、上記処理例IIIで述べた、位置、方位、仰角、移動速度、高度などの情報や、上記処理例IVで述べたカメラスペックの情報、上記処理例Vで述べた撮像動作状態の情報、上記処理例VIで述べた移動体種別の情報などである。
例えば装置Aのシステムコントローラ10は、表示部2においてカメラ抽出情報の入力画面を表示させ、ユーザに選択を求める。例えば位置、方位、仰角、移動速度、高度、カメラスペック、撮像動作状態、移動体種別などを入力できる画面を表示させ、特定の項目についての指定条件を設定する。もちろん位置と移動体種別の両方を指定するなどの複合的な指定条件設定を可能としても良い。システムコントローラ10はユーザの入力に応じて、カメラ抽出情報を設定する。
システムコントローラ10はカメラ抽出情報を設定したら、ステップF181でサーバ装置70にアクセスし、サーバ装置70との間で通信接続状態を確立する。そしてこのとき指定用画像要求、及びカメラ抽出情報をサーバ装置70に送信する。
サーバ装置70のサーバ制御部72は、ステップF380で、装置Aとの通信接続を確立し、指定用画像要求及びカメラ抽出情報を受け付ける。
サーバ装置70のサーバ制御部72は、ステップF381でカメラ抽出処理を行う。例えばカメラ抽出情報に基づく検索をカメラ情報管理部74に実行させ、カメラ抽出情報に該当する1又は複数の装置Bを抽出させる。
例えばカメラ抽出情報として、特定の位置が示されていた場合、このカメラ抽出処理により、その位置の近辺の装置Bが抽出される。
また例えばカメラ抽出情報として、特定の移動体が示されていた場合、このカメラ抽出処理により、その移動体に搭載されている装置Bが抽出される。
カメラ抽出情報に基づいて1又は複数の装置Bが抽出されたら、サーバ制御部72はステップF381で、抽出された装置Bに対して通信接続要求を行い、通信接続を確立する処理を行う。そして各装置Bに画像要求を通知する。
この図25でも、装置Bとして、装置B(1)、装置B(2)の2つの装置Bの処理を例示しているが、サーバ装置70は、カメラ抽出情報に応じて抽出された1又は複数の装置Bに対して通信接続を行い、画像要求を送信することになる。
なお図25では示していないが、カメラ抽出情報に該当する装置Bが1台も存在しない場合や、或いは存在するが通信不能という場合は、サーバ制御部72は装置Aに対して該当する装置Bの検索不能もしくは通信不能であって画像提供不能ということの通知を行う。これに応じて装置A側では、画像提供不能の旨をユーザに提示して処理を終える。
サーバ装置70から通信を求められた装置B(1)、装置B(2)・・・は、それぞれステップF280でサーバ装置70との間の通信を開始する処理を行い、画像要求を受け付ける。
そして装置B(1)、装置B(2)・・・は、それぞれステップF281で、撮像している画像データをサーバ装置70に送信する処理を開始する。
サーバ装置70のサーバ制御部72は、ステップF383で、各装置B(1)、装置B(2)・・・からの画像データの受信を開始する。そして、例えば各装置B(1)、装置B(2)・・・からの画像データを合成する指定用画像の生成処理、及び生成した指定用画像を装置Aに送信する処理を開始する。
装置Aは、ステップF182でサーバ装置70から送信されてくる指定用画像データの受信を開始する。装置Aのシステムコントローラ10は、通信部26で受信した指定用画像データに基づく表示を表示部2において開始させる。
これにより、例えば図24(a)のような画像が表示部2に表示され、ユーザは、各装置B(1)、装置B(2)・・・で撮像されている画像の内容を確認できることになる。特にこの場合、表示される画像内容G1,G2,G3,G4は、ユーザが指定したカメラ抽出情報に該当する装置Bからの画像となる。
装置Aのユーザは、この画像を見て、所望の画像内容を選択する操作を行う。
そして、このような指定用画像の表示に対して、ユーザが或る画像を指定する操作を行ったら、システムコントローラ10は処理をステップF183からF184に進め、指定された画像を示す指定情報を生成し、その指定情報と画像要求をサーバ装置70に送信する。
なお、以降の処理は図23と同様であるため説明を省略する。即ち装置AのステップF185〜F188は図23のステップF174〜F177と同様であり、サーバ装置70のステップF384〜F389は図23のステップF373〜F378と同様であり、装置BのステップF282、F283は図23のステップF272、F273と同様である。
このような処理によれば、装置Aのユーザは、実際に多数の装置B(撮像表示装置1又は撮像装置30)で撮像されている光景の画像内容を見て、見たい画像内容を選択するという手法で、特定の装置Bを指定することができ、その指定した装置Bによって得られる光景を、自分が装着又は所持している装置Aにおいて見ることができる。
特に、予めカメラ抽出情報を指定して指定候補とする装置Bを絞り込むことで、ユーザにとって効率の良い画像選択が可能となり、またシステム通信やサーバ処理の効率化が実現される。
[13.システム動作例X]

続いて図26,図27でシステム動作例Xを説明する。上記システム動作例I〜IXは、装置Bでリアルタイムに撮像されている画像を、装置A側で見ることができるようにした例であるが、装置Bで撮像された過去の画像を、装置Aで見ることができるようにするのが、このシステム動作例Vである。
図26は装置Aとしての撮像表示装置1、表示装置40と、サーバ装置70と、装置Bとしての撮像表示装置1、撮像装置30を示している。
装置Bとしての撮像装置30、撮像表示装置1は、撮像した画像データ(及び音声データ)をサーバ装置70に送信する処理を継続して行っている。例えば常時撮像を行って、撮像画像データ(及び音声データ)をサーバ装置70に送信するものとしてもよいし、或いは時限的に撮像を行う際には、その撮像実行時には常に撮像画像データ(及び音声データ)をサーバ装置70に送信するものとしてもよい。
サーバ装置70は、撮像表示装置1、撮像装置30のそれぞれから送信されてくる画像データ及び音声データを、カメラIDに対応させてネットワークストレージ部71に蓄積する。どの程度の期間、ネットワークストレージ部71に記憶させておくかは、ネットワークストレージ部71の容量や撮像表示装置1又は撮像装置30の数などに応じて決められればよい。
このように、装置Bとなり得る撮像表示装置1又は撮像装置30が、撮像した画像データ(及び音声データ)をサーバ装置70に蓄積させることを前提として、装置Aとサーバ装置70の間で図27の処理が行われる。
装置A側では、まずステップF150としてカメラ指定及びリプレイ時間指定処理を行う。即ち装置Aのシステムコントローラ10は、ユーザ入力に応じて、図26に示した装置Bとしての撮像表示装置1又は撮像装置30の1つを指定する処理を行うとともに、ユーザ入力又は固定の時間として、見たいシーンの時間の指定を行う。例えば「何分前」というように現在からの遡る時間の指定、又は特定の日時としてリプレイ時間の指定処理を行う。
装置Aのシステムコントローラ10は、ステップF150でのカメラ指定及びリプレイ時間指定処理により、或る装置Bの指定とリプレイ時間の指定を確定したら、次にステップF151で、サーバ装置70にアクセスする。即ちサーバ装置70との間で通信接続状態を確立する。そしてこのとき、画像要求の情報と、指定した装置Bを示すカメラ指定情報と、リプレイ時間情報をサーバ装置70に通知する。
サーバ装置70のサーバ制御部72は、ステップF350で、装置Aとの通信接続を確立し、画像要求とカメラ指定情報とリプレイ時間情報を受け付ける。
そしてステップF351で再生画像を特定する。即ちネットワークストレージ部71に格納されている画像データのうちで、カメラ指定情報で指定された装置Bによって撮像された画像データであって、かつリプレイ時間情報で指定された日時からの画像データを、再生画像として特定する。
続いてサーバ制御部72はステップF352で、再生画像として特定した画像データを、ネットワークストレージ部71から再生させ、再生された画像データ及び音声データを、通信部73から装置Aに対して送信させる。
装置A側ではステップ152で、サーバ装置70から送信されてくる画像データの受信及び表示を実行する。即ち装置Aのシステムコントローラ10は、通信部26で受信及び復調される画像データ(及び音声データ)を、画像処理部15及び音声処理部16に供給させ、表示部2での表示出力と音声出力部5での音声出力を実行させる。
装置Aのシステムコントローラ10はステップF153で終了と判断されるまで、この受信したデータの表示出力(及び音声出力)を継続的に実行する。またサーバ装置70でも、装置Aからの通信解除要求があるまでは、画像再生及び画像データ(及び音声データ)の送信を継続する。
従ってこの間、装置Aのユーザは、装置B側で撮像された過去の光景を見ることができる。
装置Aのシステムコントローラ10は、ステップF153で画像表示の終了か否かを判断し、ユーザ操作或いは他の終了条件により終了と判断したら、ステップF154に進み、通信部26からサーバ装置70に対して通信解除要求を送信させる。
サーバ装置70は、通信解除要求を受信するまではステップF352の再生及び送信処理を継続している。そして通信解除要求を受信したらステップF353からF354に進む。
そして装置Aのシステムコントローラ10はステップF155でサーバ装置70との間の通信接続解除処理を行う。またサーバ装置70のサーバ制御部72はステップF354で装置Aとの通信及びサーバ処理を終了させる。以上でシステム動作を終える。
このような動作により、装置Aのユーザは、任意に或る装置Bを指定し、指定した装置Bによって得られた過去の光景を、自分が装着又は所持している装置Aにおいて見ることができる。
例えばサッカー場や野球場などにおいて、図26の撮像装置30又は撮像表示装置1を各審判員が装着しているとする。すると、サーバ装置70のネットワークストレージ部71には、各審判員が見ている光景が画像データとして蓄積される。
装置Aのユーザは、或る審判員の撮像装置30を指定し、また「5分前」などとしてリプレイ時間を指定する。すると、指定した撮像装置30を装着している審判が5分前から見た光景を、装置Aのユーザは見ることができる。この場合、サッカーや野球におけるハイライトシーンや、微妙な判定のシーンなどを、観客席にいる装置Aのユーザが、審判員の視点でのリプレイ画像として見ることができる。
特に競技場、サッカースタジアム、野球場などでスポーツ観戦をしている場合、テレビジョン放送視聴時のようにリプレイを見ることはできないが、装置Aを用いて任意にプレイのリプレイを見ることができることは、観戦の楽しみを大きく広げるものとなる。
[14.実施の形態の効果、及び変形例、拡張例]

以上、実施の形態を説明してきたが、上記した装置Aに相当する撮像表示装置1又は表示装置40のユーザは、自分以外の移動体の視界光景を見ることができ、異なる視点の光景、通常見ることのできない光景など、多様な光景を容易に見ることができる。これにより、視覚的な楽しみを得たり、学術研究、各種情報収集などに好適となる。
例えば旅行中の友人・知人が装着するの装置Bを指定することで、知人等が旅行先で現在見ている光景(又は少し過去の時点の光景)を見ることができ、擬似旅行体験のようなことも可能となる。
さらに、生物から見える光景、自分が居ない場所の自動車、船、航空機、潜水艦、ロケットなどからの光景として、通常見ることができない光景を見ることができる。これは新たな視界を手に入れるという楽しみもあるとともに、渋滞状況や観光地の状況などの情報収集、生物の生態研究などにも有用である。
上述のように野球やサッカーなどのスポーツ観戦時に、審判の視点、監督の視点など、自分以外の視点により興味深い視界画像を得ることもでき、スポーツ観戦の楽しみを広げることもできる。
また地図画像上で位置又は装置Bを指定することで、位置も含めた条件で光景を見ることができる。地図画像を利用することは、本発明をナビゲーション装置に適用する場合にも好適である。
また、位置、方位、仰角、移動速度、高度、カメラスペック、撮像動作状態、移動体種別などを指定情報とすることで、ユーザが希望する画像を撮像する装置Bを、より的確かつ効率的に指定することができる。
また、リアルタイムの画像だけでなく、リプレイ画像も見ることができるようにすることで、ユーザはさらに多様な光景を体験できることになる。
また装置Bとなる撮像表示装置1又は撮像装置30は、人を含めた移動体に装着されるものとすることで、いわゆる定点カメラのような固定的な設備を設けることが不要である。
なお、本発明の画像表示システム、表示装置、表示方法の実施の形態を説明してきたが、上記実施の形態の例に限らず多様な変形例や拡張例が考えられる。
本発明の表示装置に該当する装置Aとしての撮像表示装置1又は表示装置40の構成例や処理例、さらに本発明請求項でいう撮像装置に該当する装置Bとしての撮像表示装置1又は撮像装置30の構成例や処理例、さらにサーバ装置70の構成例や処理例は、それぞれ多様に考えられる。
例えば、上記のシステム動作例I〜Xでは述べていないが、装置Aから指定された装置Bにおいて、装置Aに対する画像提供を拒否できるような処理を加えることも考えられる。
またシステム動作例I〜Xでは、通信の終了は装置Aから指示を行うものとしたが、装置Aからの指示ではなく、装置Bからの指示による通信終了、或いはサーバ装置70からの指示による通信終了を行う処理例もあり得る。
また、装置B側で、通常の撮像だけでなく、多様な撮像動作で撮像を行って送信したり、或いは多様な撮像動作を装置A側から要求できるようにしてもよい。例えば、望遠撮像、広角撮像、望遠から広角までの間のズームインもしくはズームアウトを行いながらの撮像、画像拡大撮像、画像縮小撮像、フレームレートの可変撮像(高フレームレートでの撮像や低フレームレートでの撮像など)、高輝度撮像、低輝度撮像、コントラスト可変撮像、シャープネス可変撮像、撮像感度上昇状態の撮像、赤外線撮像感度上昇状態の撮像、紫外線撮像感度上昇状態の撮像、特定波長帯域をカットした撮像、撮像画像データに対するモザイク処理/輝度反転処理/ソフトフォーカス処理/画像内の一部の強調処理/画像全体の色の雰囲気の可変処理などの画像エフェクトを加えた撮像、静止画撮像などである。
また、画像データと音声データを装置Bから装置Aに送信するものとしたが、画像データのみ送信する例も考えられる。
或いは本発明を、音声データのみを装置Bから装置Aに送信するシステムとして適用することもできる。
また、装置Aが或る装置Bから画像データ送信を受けていたときに、何らかの事情で装置Bが画像データ送信をできない状況となった場合、他の装置Bに指定を自動的に切り換えて画像データ送信を受けるような処理例も考えられる。或いはこのような場合に、ユーザに警告や状況通知を提示することも考えられる。
また、システム動作例I〜Xでは、或る1つの装置Bを指定し、その装置Bによる画像を装置A側で見ることができるようにした例を述べたが、各システム動作例において、複数の装置Bを指定できるようにしてもよい。
例えば装置Aでは、複数の特定の装置Bを指定するための指定情報を生成する。
そしてシステム動作例Iの場合は、指定情報で指定された複数の装置Bに対して画像要求を行う。
またシステム動作例II〜Xの場合は、画像要求と、複数の特定の装置Bを指定するための指定情報をサーバ装置70に送信する。
そして装置Aは、複数の装置Bからの画像データを受信する。この場合、各画像データを、画面分割して同時に表示させたり、ユーザの操作等に応じて切換表示させるような動作が可能である。
また、システム動作例III〜IXの処理では、サーバ装置70において、位置情報、方位情報、仰角情報、高度情報、移動速度情報、カメラスペック情報、撮像動作状態の情報、移動体種別情報等に基づいて装置Bの検索を行う動作を含むが、これらの指定情報に基づく装置Bの検索や、検索のためのカメラ情報管理を、装置A内で実行できるようにすることも考えられる。つまりサーバ装置70を介在させないで、装置A、装置Bのみでシステム動作例III〜IXのような動作を実現することもできる。
本発明の実施の形態の撮像表示装置の外観例の説明図である。 実施の形態の撮像装置、表示装置の外観例の説明図である。 実施の形態のシステム構成例の説明図である。 実施の形態のシステム構成例の説明図である。 実施の形態のシステム構成例の説明図である。 実施の形態の撮像表示装置のブロック図である。 実施の形態の撮像装置のブロック図である。 実施の形態の表示装置のブロック図である。 実施の形態の撮像装置及び表示装置のブロック図である。 実施の形態のサーバ装置のブロック図である。 実施の形態のシステム動作例Iのフローチャートである。 実施の形態で表示される他の移動体からの画像の説明図である。 実施の形態で表示される他の移動体からの画像の説明図である。 実施の形態のシステム動作例IIのフローチャートである。 実施の形態のシステム動作例IIIのフローチャートである。 実施の形態のカメラ情報管理テーブルの説明図である。 実施の形態での地図画像を用いた指定の際の画像の説明図である。 実施の形態のシステム動作例IVのフローチャートである。 実施の形態のシステム動作例Vのフローチャートである。 実施の形態のシステム動作例VIのフローチャートである。 実施の形態のシステム動作例VIIのフローチャートである。 実施の形態のシステム動作例VIIIの説明図である。 実施の形態のシステム動作例VIIIのフローチャートである。 実施の形態の指定用画像及び表示画像の説明図である。 実施の形態のシステム動作例IXのフローチャートである。 実施の形態のシステム動作例Xの説明図である。 実施の形態のシステム動作例Xのフローチャートである。
符号の説明
1 撮像表示装置、2 表示部、3 撮像部、5 音声出力部、6 音声入力部、10 システムコントローラ、11 操作入力部、12 位置検出部、15 画像処理部、16 音声処理部、25 ストレージ部、26 通信部、30 撮像装置、40 表示装置、70 サーバ装置、71 ネットワークストレージ部、72 サーバコントローラ、74 カメラ情報管理部

Claims (36)

  1. 表示装置と、移動体に装着されて画像撮像を行う撮像装置とを有して成る画像表示システムであって、
    上記撮像装置は、
    画像撮像を行う撮像手段と、
    外部機器との間でデータ通信を行う通信手段と、
    上記撮像手段の撮像により得られた画像データを上記通信手段により送信出力させる送信制御処理を行う制御手段と、
    を備え、
    上記表示装置は、
    画像表示を行う表示手段と、
    外部機器との間でデータ通信を行う通信手段と、
    特定の撮像装置を指定するための指定情報を設定する指定処理、上記指定情報に基づいて指定される撮像装置についての画像要求を上記通信手段により送信させる画像要求送信処理、上記画像要求に応じて送信されてくる画像データを上記通信手段により受信し受信した画像データに基づく表示動作を上記表示手段に実行させる表示処理、を行う制御手段と、
    を備えたことを特徴とする画像表示システム。
  2. 上記移動体は人であって上記撮像装置は人に装着される構造を備え、
    上記撮像手段は、上記撮像装置を装着した使用者の視界方向を撮像するようにされていることを特徴とする請求項1に記載の画像表示システム。
  3. 上記移動体は、人以外の生物、又は地上移動機器、又は海上移動機器、又は海中移動機器、又は航空移動機器、又は宇宙移動機器のいずれかであることを特徴とする請求項1に記載の画像表示システム。
  4. 上記表示装置の上記通信手段は、上記指定情報に基づいて指定された特定の撮像装置の上記通信手段との間でデータ通信を行って、該特定の撮像装置からの画像データを受信することを特徴とする請求項1に記載の画像表示システム。
  5. 上記表示装置及び上記撮像装置とデータ通信可能なサーバ装置を更に備え、
    上記撮像装置から送信される画像データは、上記サーバ装置を介して上記表示装置に送信されることを特徴とする請求項1に記載の画像表示システム。
  6. 上記表示装置は、上記画像要求と共に上記指定情報を上記サーバ装置に送信し、
    上記サーバ装置は、上記指定情報で指定された特定の撮像装置から送信されてくる画像データを、上記表示装置に送信することを特徴とする請求項5に記載の画像表示システム。
  7. 上記表示装置は、上記画像要求と共に上記指定情報を上記サーバ装置に送信し、
    上記サーバ装置は、上記指定情報に基づいて特定の撮像装置を指定し、指定した撮像装置から送信されてくる画像データを、上記表示装置に送信することを特徴とする請求項5に記載の画像表示システム。
  8. 上記指定情報は、上記撮像装置もしくは上記撮像装置の使用者を示す情報であることを特徴とする請求項1に記載の画像表示システム。
  9. 上記指定情報は、位置情報、又は撮像方向としての方位情報、又は撮像方向としての仰角情報、又は撮像場所の高度情報、又は撮像時の移動体の移動速度情報であることを特徴とする請求項1に記載の画像表示システム。
  10. 上記指定情報は、上記撮像装置の性能を示す情報であることを特徴とする請求項1に記載の画像表示システム。
  11. 上記指定情報は、上記撮像装置の撮像動作状態を示す情報であることを特徴とする請求項1に記載の画像表示システム。
  12. 上記指定情報は、上記移動体の種別を示す情報であることを特徴とする請求項1に記載の画像表示システム。
  13. 上記指定情報は、複数の上記撮像装置で撮像されている画像のうちで選択された画像を示す情報であることを特徴とする請求項1に記載の画像表示システム。
  14. 上記サーバ装置は、複数の上記撮像装置で撮像されている各画像データを指定用画像データとして上記表示装置に送信し、
    上記表示装置の上記制御手段は、上記指定処理として、受信した上記指定用画像データのうちで選択された画像を示す情報を上記指定情報とすることを特徴とする請求項13に記載の画像表示システム。
  15. 上記サーバ装置は、所定の条件で1又は複数の上記撮像装置を抽出し、抽出された上記撮像装置で撮像されている各画像データを指定用画像データとして上記表示装置に送信することを特徴とする請求項14に記載の画像表示システム。
  16. 上記指定情報は、特定の撮像装置を指定するための情報と時間情報とを含むことを特徴とする請求項1に記載の画像表示システム。
  17. 上記指定情報は、1又は複数の特定の撮像装置を指定するための情報であることを特徴とする請求項1に記載の画像表示システム。
  18. 画像表示を行う表示手段と、
    外部機器との間でデータ通信を行う通信手段と、
    移動体に装着されて画像撮像を行うようにされている外部の撮像装置のうちで特定の撮像装置を指定するための指定情報を設定する指定処理、上記指定情報に基づいて指定される撮像装置についての画像要求を上記通信手段により送信させる画像要求送信処理、上記画像要求に応じて送信されてくる画像データを上記通信手段により受信し受信した画像データに基づく表示動作を上記表示手段に実行させる表示処理、を行う制御手段と、
    を備えたことを特徴とする表示装置。
  19. 上記指定情報に基づいて指定される外部の撮像装置とは、上記移動体として、人、又は人以外の生物、又は地上移動機器、又は海上移動機器、又は海中移動機器、又は航空移動機器、又は宇宙移動機器のいずれかに装着された撮像装置であることを特徴とする請求項18に記載の表示装置。
  20. 上記制御手段は、上記通信手段に、上記指定情報に基づいて指定された撮像装置との間でのデータ通信を実行させることを特徴とする請求項18に記載の表示装置。
  21. 上記制御手段は、上記通信手段に、外部のサーバ装置との間でデータ通信を実行させ、上記サーバ装置を介して、上記指定情報に基づいて指定された撮像装置からの画像データの受信が行われるようにすることを特徴とする請求項18に記載の表示装置。
  22. 上記制御手段は、上記指定処理の際に、使用者の指定入力操作に応じて上記指定情報を設定することを特徴とする請求項18に記載の表示装置。
  23. 上記制御手段は、上記指定処理の際に、上記指定情報として、特定の撮像装置もしくは上記撮像装置の使用者を示す情報を設定することを特徴とする請求項18に記載の表示装置。
  24. 上記制御手段は、上記指定処理の際に、上記指定情報として、位置情報、又は撮像方向としての方位情報、又は撮像方向としての仰角情報、又は撮像場所の高度情報、又は撮像時の移動体の移動速度情報を設定することを特徴とする請求項18に記載の表示装置。
  25. 上記制御手段は、上記指定処理の際に、上記表示部に地図画像を表示させるとともに、上記指定情報として、上記地図画像に対する使用者の指定入力操作に応じた位置情報を設定することを特徴とする請求項18に記載の表示装置。
  26. 上記制御手段は、上記指定処理の際に、上記表示部に上記撮像装置の位置を示した地図画像を表示させるとともに、上記指定情報として、上記地図画像上に表された上記撮像装置に対する使用者の指定入力操作に応じて特定の撮像装置を示す情報を設定することを特徴とする請求項18に記載の表示装置。
  27. 上記制御手段は、上記指定処理の際に、上記指定情報として、上記撮像装置の性能を示す情報を設定することを特徴とする請求項18に記載の表示装置。
  28. 上記制御手段は、上記指定処理の際に、上記指定情報として、上記撮像装置の撮像動作状態を示す情報を設定することを特徴とする請求項18に記載の表示装置。
  29. 上記制御手段は、上記指定処理の際に、上記指定情報として、上記移動体の種別を示す情報を設定することを特徴とする請求項18に記載の表示装置。
  30. 上記制御手段は、上記指定処理の際に、上記指定情報として、複数の上記撮像装置で撮像されている画像のうちで選択された画像を示す情報を設定することを特徴とする請求項18に記載の表示装置。
  31. 上記制御手段は、
    複数の上記撮像装置で撮像されている各画像データを含む指定用画像データを上記通信手段により受信することに応じて、上記指定用画像データに基づく表示を上記表示手段に実行させ、上記指定用画像データの表示に対する使用者の指定入力操作に応じて、上記選択された画像を示す情報を設定することを特徴とする請求項30に記載の表示装置。
  32. 上記制御手段は、上記指定処理の際に、時間情報を含む上記指定情報を設定することを特徴とする請求項18に記載の表示装置。
  33. 上記制御手段は、上記指定処理の際に、1又は複数の特定の撮像装置を指定するための上記指定情報を設定することを特徴とする請求項18に記載の表示装置。
  34. 上記表示手段は、使用者の目の前方に位置するように配置されて画像表示を行う構造とされることを特徴とする請求項18に記載の表示装置。
  35. 画像撮像を行う撮像手段を更に備え、
    上記制御手段は、上記撮像手段の撮像により得られた画像データを上記通信手段により送信出力させる送信制御処理も実行可能とされることを特徴とする請求項18に記載の表示装置。
  36. 移動体に装着されて画像撮像を行うようにされている外部の撮像装置のうちで特定の撮像装置を指定するための指定情報を設定する指定処理ステップと、
    上記指定情報に基づいて指定される撮像装置についての画像要求を送信する画像要求送信ステップと、
    上記画像要求に応じて送信されてくる画像データを受信し、受信した画像データに基づく表示を行う表示ステップと、
    を備えたことを特徴とする表示方法。
JP2007039902A 2006-11-22 2007-02-20 画像表示システム、表示装置、表示方法 Expired - Fee Related JP5245257B2 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP2007039902A JP5245257B2 (ja) 2006-11-22 2007-02-20 画像表示システム、表示装置、表示方法
US12/515,747 US9413983B2 (en) 2006-11-22 2007-11-06 Image display system, display device and display method
KR1020097010396A KR101417167B1 (ko) 2006-11-22 2007-11-06 화상 표시 시스템, 표시 장치, 표시 방법
IN2218CHN2009 IN2009CN02218A (ja) 2006-11-22 2007-11-06
EP07831296.4A EP2094001B1 (en) 2006-11-22 2007-11-06 Image display system, display device and display method
CN200780043425.9A CN101543047B (zh) 2006-11-22 2007-11-06 图像显示系统、图像显示设备和图像显示方法
PCT/JP2007/071564 WO2008062664A1 (en) 2006-11-22 2007-11-06 Image display system, display device and display method
EP15160562.3A EP2903257B1 (en) 2006-11-22 2007-11-06 Image display system
US15/212,952 US9800840B2 (en) 2006-11-22 2016-07-18 Image display system, image display apparatus, and image display method
US15/695,434 US10187612B2 (en) 2006-11-22 2017-09-05 Display apparatus for displaying image data received from an image pickup apparatus attached to a moving body specified by specification information

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006315750 2006-11-22
JP2006315750 2006-11-22
JP2007039902A JP5245257B2 (ja) 2006-11-22 2007-02-20 画像表示システム、表示装置、表示方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013024520A Division JP5630513B2 (ja) 2006-11-22 2013-02-12 表示装置、表示方法、画像表示システム

Publications (3)

Publication Number Publication Date
JP2008154192A true JP2008154192A (ja) 2008-07-03
JP2008154192A5 JP2008154192A5 (ja) 2010-03-18
JP5245257B2 JP5245257B2 (ja) 2013-07-24

Family

ID=39429602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007039902A Expired - Fee Related JP5245257B2 (ja) 2006-11-22 2007-02-20 画像表示システム、表示装置、表示方法

Country Status (7)

Country Link
US (3) US9413983B2 (ja)
EP (2) EP2094001B1 (ja)
JP (1) JP5245257B2 (ja)
KR (1) KR101417167B1 (ja)
CN (1) CN101543047B (ja)
IN (1) IN2009CN02218A (ja)
WO (1) WO2008062664A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010134152A (ja) * 2008-12-04 2010-06-17 Brother Ind Ltd ヘッドマウントディスプレイ
JP2011124898A (ja) * 2009-12-14 2011-06-23 Brother Industries Ltd ヘッドマウントディスプレイ
JP2012520152A (ja) * 2009-03-13 2012-09-06 ケー−スペース エルエルシー 医療用の対話型mriシステムおよび患者の不安軽減ディストラクションシステム
JP2014115457A (ja) * 2012-12-10 2014-06-26 Sony Corp 情報処理装置および記録媒体
WO2014115393A1 (ja) * 2013-01-24 2014-07-31 ソニー株式会社 画像表示装置及び画像表示方法、並びに画像表示システム
JP2014236426A (ja) * 2013-06-04 2014-12-15 株式会社Jvcケンウッド 画像処理装置および撮像システム
JP2015525502A (ja) * 2012-05-25 2015-09-03 孝之 有馬 スーパーリアリティ・エンターテイメントのための管理
JP2015156889A (ja) * 2014-02-21 2015-09-03 ソニー株式会社 表示制御装置、表示装置および表示制御システム
JP2016189616A (ja) * 2016-06-17 2016-11-04 オリンパス株式会社 携帯機器、表示方法およびプログラム
JP2017005431A (ja) * 2015-06-08 2017-01-05 キヤノン株式会社 制御装置、制御方法、及びプログラム
US9621747B2 (en) 2011-02-14 2017-04-11 Sony Corporation Information processing apparatus and imaging region sharing determination method
KR20180063040A (ko) 2015-09-30 2018-06-11 소니 주식회사 정보 처리 장치 및 정보 처리 방법
KR20180064370A (ko) 2015-09-30 2018-06-14 소니 주식회사 정보 처리 시스템 및 정보 처리 방법
DE112016004803T5 (de) 2015-10-20 2018-06-28 Sony Corporation Informationsverarbeitungseinrichtung, steuerverfahren für informationsverarbeitungseinrichtung und computerprogramm
US10986206B2 (en) 2015-10-21 2021-04-20 Sony Corporation Information processing apparatus, control method thereof, and computer readable medium for visual information sharing
US11151775B2 (en) 2019-12-06 2021-10-19 Toyota Jidosha Kabushiki Kaisha Image processing apparatus, display system, computer readable recoring medium, and image processing method

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5017989B2 (ja) 2006-09-27 2012-09-05 ソニー株式会社 撮像装置、撮像方法
JP2008096868A (ja) 2006-10-16 2008-04-24 Sony Corp 撮像表示装置、撮像表示方法
JP5245257B2 (ja) * 2006-11-22 2013-07-24 ソニー株式会社 画像表示システム、表示装置、表示方法
WO2009038149A1 (ja) * 2007-09-20 2009-03-26 Nec Corporation 映像提供システム、および映像提供方法
US8531526B1 (en) * 2009-08-25 2013-09-10 Clinton A. Spence Wearable video recorder and monitor system and associated method
CN101815211A (zh) * 2010-04-08 2010-08-25 山东科技大学 自然环境中动物行为视频监测方法与装置
PL392068A1 (pl) * 2010-08-05 2012-02-13 Zuza Pictures Spółka Z Ograniczoną Odpowiedzialnością Przenośne urządzenie wideotelekomunikacyjne, sposób transmisji danych, w szczególności danych audio/wideo oraz ich zastosowanie
JP2012109742A (ja) * 2010-11-16 2012-06-07 Sony Corp 情報提供装置及び情報提供方法、並びに通信システム
EP2500816B1 (en) * 2011-03-13 2018-05-16 LG Electronics Inc. Transparent display apparatus and method for operating the same
WO2013126985A1 (en) * 2012-02-28 2013-09-06 Research In Motion Limited System and method for obtaining images from external cameras using a mobile device
JP6040731B2 (ja) * 2012-03-22 2016-12-07 株式会社リコー 連携処理装置、連携処理システム及びプログラム
US20130300821A1 (en) * 2012-05-10 2013-11-14 Qualcomm Incorporated Selectively combining a plurality of video feeds for a group communication session
WO2014021031A1 (ja) * 2012-07-31 2014-02-06 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JPWO2014132465A1 (ja) 2013-02-28 2017-02-02 株式会社ニコン 電子機器および表示方法
US9445031B2 (en) * 2014-01-02 2016-09-13 Matt Sandy Article of clothing
US20150189132A1 (en) * 2014-01-02 2015-07-02 Matt Sandy Article of clothing
JP2015158748A (ja) * 2014-02-21 2015-09-03 ソニー株式会社 制御装置、情報処理装置、制御方法、情報処理方法、情報処理システム、ウェアラブル機器
JP6435640B2 (ja) * 2014-05-20 2018-12-12 株式会社ニコン 混雑度推定システム
US10225525B2 (en) * 2014-07-09 2019-03-05 Sony Corporation Information processing device, storage medium, and control method
CN105900052B (zh) * 2014-07-15 2019-04-05 奥林巴斯株式会社 摄像装置、摄像系统、摄像装置的控制方法和摄像装置的控制程序
CN105607253B (zh) * 2014-11-17 2020-05-12 精工爱普生株式会社 头部佩戴型显示装置以及控制方法、显示系统
JP6582403B2 (ja) 2014-12-10 2019-10-02 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
KR102368791B1 (ko) * 2014-12-12 2022-03-03 삼성디스플레이 주식회사 전자 광학장치 및 이를 포함하는 웨어러블 전자장치
US10106079B2 (en) 2015-09-24 2018-10-23 Miller Felpax System and method for fault tolerant roadway worker safety system
JPWO2017159063A1 (ja) 2016-03-14 2019-01-17 ソニー株式会社 表示装置並びに情報処理端末装置
IT201700101255A1 (it) * 2017-09-11 2019-03-11 Catellani Andrea Bonasi Dispositivo elettronico per la ricezione di dati in tempo reale da almeno un ulteriore dispositivo elettronico e relativo sistema elettronico e metodo di ricezione di dati in tempo reale
JP2019023939A (ja) * 2018-11-15 2019-02-14 株式会社ニコン ウェアラブル端末
US11297224B2 (en) * 2019-09-30 2022-04-05 Snap Inc. Automated eyewear device sharing system
JP7414355B2 (ja) 2020-07-16 2024-01-16 ベンテック ライフ システムズ, インコーポレイテッド ガスを濃縮するためのシステムおよび方法
AU2021309952A1 (en) 2020-07-16 2023-03-16 Ventec Life Systems, Inc. System and method for concentrating gas
CN113014995A (zh) 2021-02-26 2021-06-22 北京蜂巢世纪科技有限公司 视频回放方法、介质、眼镜及程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10304351A (ja) * 1997-02-25 1998-11-13 Masanobu Kujirada 動物移動映像等提供システム
JP2004222254A (ja) * 2002-12-27 2004-08-05 Canon Inc 画像処理システム、方法及びプログラム
JP2006186645A (ja) * 2004-12-27 2006-07-13 Kyocera Corp 移動カメラシステム

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5754961A (en) 1994-06-20 1998-05-19 Kabushiki Kaisha Toshiba Radio communication system including SDL having transmission rate of relatively high speed
JP3793773B2 (ja) 1994-06-20 2006-07-05 株式会社東芝 無線通信方法、無線通信基地局および無線端末
EP0765086A2 (en) * 1995-09-21 1997-03-26 AT&T Corp. Video camera including multiple image sensors
DE69632384T2 (de) * 1995-12-19 2005-05-04 Canon K.K. Gerät und Verfahren zur Steuerung einer Mehrzahl von Fernkameras
US6567122B1 (en) * 1998-03-18 2003-05-20 Ipac Acquisition Subsidiary I Method and system for hosting an internet web site on a digital camera
EP1061712B1 (de) * 1999-06-14 2007-11-21 Abb Research Ltd. Einrichtung und Verfahren zur Selektion von Informationseinheiten für mobile Client-Rechner
JP4174923B2 (ja) * 1999-07-23 2008-11-05 コニカミノルタホールディングス株式会社 装着型カメラ
US20020049979A1 (en) * 2000-05-18 2002-04-25 Patrick White Multiple camera video system which displays selected images
TW540235B (en) 2001-05-10 2003-07-01 Ibm System and method for enhancing broadcast programs with information on the world wide web
TWI220036B (en) 2001-05-10 2004-08-01 Ibm System and method for enhancing broadcast or recorded radio or television programs with information on the world wide web
TWI256250B (en) 2001-05-10 2006-06-01 Ibm System and method for enhancing recorded radio or television programs with information on the world wide web
JP2003178309A (ja) 2001-10-03 2003-06-27 Toyota Central Res & Dev Lab Inc 移動量推定装置
US20030107654A1 (en) * 2001-12-12 2003-06-12 Nikon Corporation Digital camera
US7268810B2 (en) * 2002-01-29 2007-09-11 Fujifilm Corporation Digital camera for changing a recording size to a high-sensitivity compatible recording size
JP2003244691A (ja) 2002-02-20 2003-08-29 Matsushita Electric Ind Co Ltd 記憶支援システム
ATE319257T1 (de) * 2002-07-01 2006-03-15 Siemens Mobile Comm Spa System und verfahren zur bereitstellung von mobilen multimedialen dienstleistungen mit echtzeitvideoübertragung
CN1216466C (zh) * 2002-07-11 2005-08-24 郑桂一 一种定位、图像传输、监控报警系统
CN1391405A (zh) * 2002-07-18 2003-01-15 陈涛 无线图像报警装置和方法
JP3770859B2 (ja) * 2002-08-22 2006-04-26 株式会社日立国際電気 監視カメラ装置
JP2004106858A (ja) 2002-09-13 2004-04-08 Morinaga Milk Ind Co Ltd 食品容器用蓋材
JP4125107B2 (ja) 2002-12-11 2008-07-30 キヤノン株式会社 移動情報端末装置及びその通信方法
JPWO2004106858A1 (ja) 2003-05-29 2006-07-20 オリンパス株式会社 ステレオカメラシステム及びステレオ光学モジュール
US20050046698A1 (en) 2003-09-02 2005-03-03 Knight Andrew Frederick System and method for producing a selectable view of an object space
US7373109B2 (en) * 2003-11-04 2008-05-13 Nokia Corporation System and method for registering attendance of entities associated with content creation
JP2005175701A (ja) * 2003-12-09 2005-06-30 Hitachi Building Systems Co Ltd 遠隔映像監視システム
JP4364002B2 (ja) * 2004-02-06 2009-11-11 オリンパス株式会社 頭部装着型カメラ及び頭部装着型カメラによる撮影方法
JP4277717B2 (ja) 2004-03-17 2009-06-10 株式会社日立製作所 車両位置推定装置およびこれを用いた運転支援装置
KR100548004B1 (ko) * 2004-05-03 2006-02-01 삼성테크윈 주식회사 디지털 촬영 장치의 제어 방법 및 이 방법을 사용한디지털 촬영 장치
JP4714149B2 (ja) * 2004-06-29 2011-06-29 パナソニック株式会社 映像編集装置及び方法
JP2006065368A (ja) 2004-08-24 2006-03-09 Sony Corp 画像表示装置,画像表示方法,およびコンピュータプログラム
US7312809B2 (en) * 2004-10-12 2007-12-25 Codian Ltd. Method and apparatus for controlling a conference call
US7990467B2 (en) * 2004-11-08 2011-08-02 Sony Corporation Parallax image pickup apparatus and image pickup method
KR20070089213A (ko) * 2004-12-01 2007-08-30 코닌클리케 필립스 일렉트로닉스 엔.브이. 텔레비전 상의 사이클링 및 다른 스포츠를 위한 대화식애플리케이션
US20060242679A1 (en) * 2005-04-05 2006-10-26 Grouplynx Remote monitoring and information system
JP4953603B2 (ja) * 2005-09-09 2012-06-13 キヤノン株式会社 撮像装置及びその制御方法
JP4345749B2 (ja) * 2006-01-31 2009-10-14 コニカミノルタビジネステクノロジーズ株式会社 画像送信装置
US7965309B2 (en) * 2006-09-15 2011-06-21 Quickwolf Technology, Inc. Bedside video communication system
JP5245257B2 (ja) * 2006-11-22 2013-07-24 ソニー株式会社 画像表示システム、表示装置、表示方法
US9571713B2 (en) * 2008-12-05 2017-02-14 International Business Machines Corporation Photograph authorization system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10304351A (ja) * 1997-02-25 1998-11-13 Masanobu Kujirada 動物移動映像等提供システム
JP2004222254A (ja) * 2002-12-27 2004-08-05 Canon Inc 画像処理システム、方法及びプログラム
JP2006186645A (ja) * 2004-12-27 2006-07-13 Kyocera Corp 移動カメラシステム

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010134152A (ja) * 2008-12-04 2010-06-17 Brother Ind Ltd ヘッドマウントディスプレイ
JP2012520152A (ja) * 2009-03-13 2012-09-06 ケー−スペース エルエルシー 医療用の対話型mriシステムおよび患者の不安軽減ディストラクションシステム
JP2011124898A (ja) * 2009-12-14 2011-06-23 Brother Industries Ltd ヘッドマウントディスプレイ
US9621747B2 (en) 2011-02-14 2017-04-11 Sony Corporation Information processing apparatus and imaging region sharing determination method
JP2015525502A (ja) * 2012-05-25 2015-09-03 孝之 有馬 スーパーリアリティ・エンターテイメントのための管理
JP2014115457A (ja) * 2012-12-10 2014-06-26 Sony Corp 情報処理装置および記録媒体
WO2014115393A1 (ja) * 2013-01-24 2014-07-31 ソニー株式会社 画像表示装置及び画像表示方法、並びに画像表示システム
CN104919518A (zh) * 2013-01-24 2015-09-16 索尼公司 图像显示设备、图像显示方法与图像显示系统
JPWO2014115393A1 (ja) * 2013-01-24 2017-01-26 ソニー株式会社 画像表示装置及び画像表示方法、並びに画像表示システム
JP2014236426A (ja) * 2013-06-04 2014-12-15 株式会社Jvcケンウッド 画像処理装置および撮像システム
JP2015156889A (ja) * 2014-02-21 2015-09-03 ソニー株式会社 表示制御装置、表示装置および表示制御システム
US10874284B2 (en) 2014-02-21 2020-12-29 Sony Corporation Display control device, display device, surgical endoscopic system and display control system
JP2017005431A (ja) * 2015-06-08 2017-01-05 キヤノン株式会社 制御装置、制御方法、及びプログラム
KR20180063040A (ko) 2015-09-30 2018-06-11 소니 주식회사 정보 처리 장치 및 정보 처리 방법
KR20180064370A (ko) 2015-09-30 2018-06-14 소니 주식회사 정보 처리 시스템 및 정보 처리 방법
US10628114B2 (en) 2015-09-30 2020-04-21 Sony Corporation Displaying images with integrated information
US10771739B2 (en) 2015-09-30 2020-09-08 Sony Corporation Information processing device and information processing method
KR20230049131A (ko) 2015-09-30 2023-04-12 소니그룹주식회사 정보 처리 시스템 및 정보 처리 방법
DE112016004803T5 (de) 2015-10-20 2018-06-28 Sony Corporation Informationsverarbeitungseinrichtung, steuerverfahren für informationsverarbeitungseinrichtung und computerprogramm
US10986206B2 (en) 2015-10-21 2021-04-20 Sony Corporation Information processing apparatus, control method thereof, and computer readable medium for visual information sharing
JP2016189616A (ja) * 2016-06-17 2016-11-04 オリンパス株式会社 携帯機器、表示方法およびプログラム
US11151775B2 (en) 2019-12-06 2021-10-19 Toyota Jidosha Kabushiki Kaisha Image processing apparatus, display system, computer readable recoring medium, and image processing method

Also Published As

Publication number Publication date
US9800840B2 (en) 2017-10-24
JP5245257B2 (ja) 2013-07-24
IN2009CN02218A (ja) 2015-08-07
EP2903257B1 (en) 2019-02-20
US10187612B2 (en) 2019-01-22
EP2903257A1 (en) 2015-08-05
WO2008062664A1 (en) 2008-05-29
EP2094001A1 (en) 2009-08-26
US9413983B2 (en) 2016-08-09
CN101543047A (zh) 2009-09-23
EP2094001A4 (en) 2010-12-29
US20100020185A1 (en) 2010-01-28
KR20090083909A (ko) 2009-08-04
CN101543047B (zh) 2014-02-05
US20160330410A1 (en) 2016-11-10
KR101417167B1 (ko) 2014-07-08
EP2094001B1 (en) 2015-03-25
US20180020191A1 (en) 2018-01-18

Similar Documents

Publication Publication Date Title
JP5245257B2 (ja) 画像表示システム、表示装置、表示方法
JP4961984B2 (ja) 画像表示システム、表示装置、表示方法
JP5176311B2 (ja) 画像表示システム、表示装置、表示方法
JP5630513B2 (ja) 表示装置、表示方法、画像表示システム
JP2013034237A (ja) 画像処理装置、画像処理方法、画像処理システム
WO2021014716A1 (ja) 画像処理装置、画像処理方法、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100128

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121019

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130212

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130325

R151 Written notification of patent or utility model registration

Ref document number: 5245257

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160419

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees