JP2003143505A - 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム - Google Patents
表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラムInfo
- Publication number
- JP2003143505A JP2003143505A JP2001340429A JP2001340429A JP2003143505A JP 2003143505 A JP2003143505 A JP 2003143505A JP 2001340429 A JP2001340429 A JP 2001340429A JP 2001340429 A JP2001340429 A JP 2001340429A JP 2003143505 A JP2003143505 A JP 2003143505A
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- display
- setting command
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
- H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
(57)【要約】
【課題】 複数視点位置からの画像データに関する表示
処理をフレキシブルな態様で実行可能とした表示画像制
御処理装置を提供する。 【解決手段】 複数視点からの動画像データを記憶媒体
からまたはサーバから受信して表示する際、ユーザの操
作するコントローラまたはヘッドトラッカ等のセンサか
らの視点設定コマンドに基づく視点位置等の指定情報に
基づく選択あるいは合成画像を表示するマニュアル処理
と、予め動画像に対応して設定された表示プログラムに
従って動画像データを表示するプリセット処理とを任意
のタイミングで切り替え可能とした。本構成により、ユ
ーザの興味のある部分においてのみユーザ設定の有効化
が可能となる。
処理をフレキシブルな態様で実行可能とした表示画像制
御処理装置を提供する。 【解決手段】 複数視点からの動画像データを記憶媒体
からまたはサーバから受信して表示する際、ユーザの操
作するコントローラまたはヘッドトラッカ等のセンサか
らの視点設定コマンドに基づく視点位置等の指定情報に
基づく選択あるいは合成画像を表示するマニュアル処理
と、予め動画像に対応して設定された表示プログラムに
従って動画像データを表示するプリセット処理とを任意
のタイミングで切り替え可能とした。本構成により、ユ
ーザの興味のある部分においてのみユーザ設定の有効化
が可能となる。
Description
【０００１】
【発明の属する技術分野】本発明は、表示画像制御処理
装置、動画像情報送受信システム、および表示画像制御
処理方法、動画像情報送受信方法、並びにコンピュータ
・プログラムに関する。さらに、詳細には、異なる視
点、あるいは異なる視線方向からの複数の画像につい
て、予め定められたデータ出力順による表示処理態様
と、ユーザが自己の意思をもって画像選択を行なう表示
処理態様とを自在に切り替えることを可能とした表示画
像制御処理装置、動画像情報送受信システム、および表
示画像制御処理方法、動画像情報送受信方法、並びにコ
ンピュータ・プログラムに関する。
装置、動画像情報送受信システム、および表示画像制御
処理方法、動画像情報送受信方法、並びにコンピュータ
・プログラムに関する。さらに、詳細には、異なる視
点、あるいは異なる視線方向からの複数の画像につい
て、予め定められたデータ出力順による表示処理態様
と、ユーザが自己の意思をもって画像選択を行なう表示
処理態様とを自在に切り替えることを可能とした表示画
像制御処理装置、動画像情報送受信システム、および表
示画像制御処理方法、動画像情報送受信方法、並びにコ
ンピュータ・プログラムに関する。
【０００２】
【従来の技術】近年、パノラマ、全天球画像など、視点
を様々に移動可能とした画像データの利用が盛んになり
つつある。例えば、ＤＶＤ、ＣＤ等の記憶媒体に複数の
視点位置、視線方向からある被写体を撮影した画像を蓄
積し、蓄積画像をＣＲＴ、液晶表示装置等に表示する際
に、ユーザがコントローラの操作によって、自由な位置
に視点を移動させて、被写体の像を観察するシステムが
実現されている。また、インターネット等の通信システ
ムを介して複数の視点位置、視線方向からある被写体を
撮影した画像を配信し、ユーザがＰＣ等のマウス操作に
より、好みの視点位置、視線方向からの画像をディスプ
レイに表示するシステム等が構築されている。
を様々に移動可能とした画像データの利用が盛んになり
つつある。例えば、ＤＶＤ、ＣＤ等の記憶媒体に複数の
視点位置、視線方向からある被写体を撮影した画像を蓄
積し、蓄積画像をＣＲＴ、液晶表示装置等に表示する際
に、ユーザがコントローラの操作によって、自由な位置
に視点を移動させて、被写体の像を観察するシステムが
実現されている。また、インターネット等の通信システ
ムを介して複数の視点位置、視線方向からある被写体を
撮影した画像を配信し、ユーザがＰＣ等のマウス操作に
より、好みの視点位置、視線方向からの画像をディスプ
レイに表示するシステム等が構築されている。
【０００３】視点を様々に移動可能とした画像データ
は、例えば複数の異なる視点位置に配置したカメラによ
って撮影した複数の画像をつなぎ合わせて合成すること
によって生成される。カメラ間の画像は、画像データの
補正処理として例えばビューインタポレーション等の手
法により、隣接カメラの撮影画像に基づいて生成するこ
とが可能である。動画像においては、複数のカメラの撮
影した動画像データの時間的な同期処理を行なった上で
同様に生成することが可能となる。このような全方位映
像の生成手法は、例えば文献「Ｓ．Ｅ．Ｃｈｅｎ”ck t
ime VR-An Image-Based Approach to virtual Environm
ent Navigation", Computer Graphics SIGGRAPH,pp.29-
38,1995」等に記載されている。
は、例えば複数の異なる視点位置に配置したカメラによ
って撮影した複数の画像をつなぎ合わせて合成すること
によって生成される。カメラ間の画像は、画像データの
補正処理として例えばビューインタポレーション等の手
法により、隣接カメラの撮影画像に基づいて生成するこ
とが可能である。動画像においては、複数のカメラの撮
影した動画像データの時間的な同期処理を行なった上で
同様に生成することが可能となる。このような全方位映
像の生成手法は、例えば文献「Ｓ．Ｅ．Ｃｈｅｎ”ck t
ime VR-An Image-Based Approach to virtual Environm
ent Navigation", Computer Graphics SIGGRAPH,pp.29-
38,1995」等に記載されている。
【０００４】視点を自由に変更できる画像を、例えばＤ
ＶＤ等の記憶媒体から読み出してディスプレイにおいて
再生する場合には、どの視点位置からのデータを表示す
るかをユーザが自ら選択するか、あるいは、あらかじめ
画像データに付随するプログラムに従って表示するかの
いずれかの処理を実行することとなる。また、インター
ネット、あるいは衛星を介したプロードキャスト等のデ
ータ配信システムにおいては、データ配信元から送信さ
れる複数の視点画像からの画像からユーザが１つの視点
画像を選択して表示したり、あるいは配信元においてあ
らかじめ定めた代表画像のみをディスプレイに表示する
等の処理が実行されることになる。
ＶＤ等の記憶媒体から読み出してディスプレイにおいて
再生する場合には、どの視点位置からのデータを表示す
るかをユーザが自ら選択するか、あるいは、あらかじめ
画像データに付随するプログラムに従って表示するかの
いずれかの処理を実行することとなる。また、インター
ネット、あるいは衛星を介したプロードキャスト等のデ
ータ配信システムにおいては、データ配信元から送信さ
れる複数の視点画像からの画像からユーザが１つの視点
画像を選択して表示したり、あるいは配信元においてあ
らかじめ定めた代表画像のみをディスプレイに表示する
等の処理が実行されることになる。
【０００５】表示画像が静止画像である場合には、ユー
ザは、好みの視点画像を持つ静止画像を時間にとらわれ
ることなく順次、例えばＤＶＤ等の記憶媒体から読み出
して表示することが可能であるが、動画像である場合に
は、ユーザは、動画像を観察しながら、視点位置を移動
させる処理を例えばマウス、あるいは所定のコントロー
ラ等の入力装置を介して実行することになる。
ザは、好みの視点画像を持つ静止画像を時間にとらわれ
ることなく順次、例えばＤＶＤ等の記憶媒体から読み出
して表示することが可能であるが、動画像である場合に
は、ユーザは、動画像を観察しながら、視点位置を移動
させる処理を例えばマウス、あるいは所定のコントロー
ラ等の入力装置を介して実行することになる。
【０００６】一方、ユーザの視点位置の入力を不要と
し、予め動画像データに対応して設定されたプログラム
に従って、様々な視点位置からの画像を切り替えて表示
する手法もある。
し、予め動画像データに対応して設定されたプログラム
に従って、様々な視点位置からの画像を切り替えて表示
する手法もある。
【０００７】
【発明が解決しようとする課題】このような、パノラ
マ、全天球動画など、視点を様々に移動可能とした動画
の表示処理において、ユーザによる画像を観察しながら
の視点位置の切り替え処理は、ユーザの積極的な視点選
択意思が継続している場合には有効であるが、ユーザの
視点選択意思が減退した場合には操作の煩わしさを感じ
ることになる。ユーザによる視点位置の移動コマンドが
コントローラから入力されない限り、最後に入力した視
点位置からの動画像がその後、継続して表示されること
になり、単調な動画像表示となってしまう。一方、予め
動画像データに対応して設定されたプログラムに従った
画像表示処理は、ユーザによる意思とは無関係な視点位
置の画像を表示することになる。
マ、全天球動画など、視点を様々に移動可能とした動画
の表示処理において、ユーザによる画像を観察しながら
の視点位置の切り替え処理は、ユーザの積極的な視点選
択意思が継続している場合には有効であるが、ユーザの
視点選択意思が減退した場合には操作の煩わしさを感じ
ることになる。ユーザによる視点位置の移動コマンドが
コントローラから入力されない限り、最後に入力した視
点位置からの動画像がその後、継続して表示されること
になり、単調な動画像表示となってしまう。一方、予め
動画像データに対応して設定されたプログラムに従った
画像表示処理は、ユーザによる意思とは無関係な視点位
置の画像を表示することになる。
【０００８】このように、視点を様々に移動可能とした
動画の表示処理において、ユーザによる視点位置の入力
を継続させることは、操作の煩わしさという問題を生
じ、一方、動画像の設定プログラムに従った表示は、ユ
ーザによる意思を反映させない画像表示という問題を生
じさせる。
動画の表示処理において、ユーザによる視点位置の入力
を継続させることは、操作の煩わしさという問題を生
じ、一方、動画像の設定プログラムに従った表示は、ユ
ーザによる意思を反映させない画像表示という問題を生
じさせる。
【０００９】本発明は、上記問題点に鑑みてなされたも
のであり、視点を様々に移動可能とした動画の表示処理
において予め定められたデータ出力順による表示処理態
様と、ユーザが自己の意思をもって画像選択を行なう表
示処理態様とを自在に切り替えることを可能とした表示
画像制御処理装置、動画像情報送受信システム、および
表示画像制御処理方法、動画像情報送受信方法、並びに
コンピュータ・プログラムを提供することを目的とす
る。
のであり、視点を様々に移動可能とした動画の表示処理
において予め定められたデータ出力順による表示処理態
様と、ユーザが自己の意思をもって画像選択を行なう表
示処理態様とを自在に切り替えることを可能とした表示
画像制御処理装置、動画像情報送受信システム、および
表示画像制御処理方法、動画像情報送受信方法、並びに
コンピュータ・プログラムを提供することを目的とす
る。
【００１０】
【課題を解決するための手段】本発明の第１の側面は、
複数視点からの画像を含む動画像データから選択または
合成される特定視点からの画像を表示手段に出力する表
示画像制御処理装置であり、前記表示手段に表示すべき
画像の決定処理を実行する制御手段を有し、前記制御手
段は、動画像データに対応付けられ、表示画像を特定す
る時系列データとして構成されるプリセット表示画像プ
ログラムに従った画像表示態様としてのプリセットモー
ドと、ユーザ入力手段またはセンサからの視点設定コマ
ンド入力に基づいて表示画像を特定するマニュアルモー
ドの各モードのいずれかを選択して実行する構成を有
し、プリセットモードの実行中に、前記視点設定コマン
ドの入力を条件として、マニュアルモードへの移行処理
を実行し、前記表示手段に出力する画像を、入力視点設
定コマンドに対応する視点画像へ切り替える処理を実行
する構成を有することを特徴とする表示画像制御処理装
置にある。
複数視点からの画像を含む動画像データから選択または
合成される特定視点からの画像を表示手段に出力する表
示画像制御処理装置であり、前記表示手段に表示すべき
画像の決定処理を実行する制御手段を有し、前記制御手
段は、動画像データに対応付けられ、表示画像を特定す
る時系列データとして構成されるプリセット表示画像プ
ログラムに従った画像表示態様としてのプリセットモー
ドと、ユーザ入力手段またはセンサからの視点設定コマ
ンド入力に基づいて表示画像を特定するマニュアルモー
ドの各モードのいずれかを選択して実行する構成を有
し、プリセットモードの実行中に、前記視点設定コマン
ドの入力を条件として、マニュアルモードへの移行処理
を実行し、前記表示手段に出力する画像を、入力視点設
定コマンドに対応する視点画像へ切り替える処理を実行
する構成を有することを特徴とする表示画像制御処理装
置にある。
【００１１】さらに、本発明の表示画像制御処理装置の
一実施態様において、前記制御手段は、マニュアルモー
ド実行中、あらかじめ定められた閾値時間：Ｔａ以内に
新たな視点設定コマンドの入力がないことを条件とし
て、プリセットモードへの移行処理を実行する構成を有
することを特徴とする。
一実施態様において、前記制御手段は、マニュアルモー
ド実行中、あらかじめ定められた閾値時間：Ｔａ以内に
新たな視点設定コマンドの入力がないことを条件とし
て、プリセットモードへの移行処理を実行する構成を有
することを特徴とする。
【００１２】さらに、本発明の表示画像制御処理装置の
一実施態様において、前記入力手段は、視点設定コマン
ドとして、画像の視点位置、視線方向、画角の少なくと
もいずれかをユーザ入力により指定した視点設定コマン
ドを出力する構成であり、前記制御手段は、画像の視点
位置、視線方向、画角の少なくともいずれかを指定した
視点設定コマンドに対応する視点画像へ切り替える処理
を実行する構成であることを特徴とする。
一実施態様において、前記入力手段は、視点設定コマン
ドとして、画像の視点位置、視線方向、画角の少なくと
もいずれかをユーザ入力により指定した視点設定コマン
ドを出力する構成であり、前記制御手段は、画像の視点
位置、視線方向、画角の少なくともいずれかを指定した
視点設定コマンドに対応する視点画像へ切り替える処理
を実行する構成であることを特徴とする。
【００１３】さらに、本発明の表示画像制御処理装置の
一実施態様において、前記センサは、視点設定コマンド
として、画像の視点位置、視線方向、画角の少なくとも
いずれかをセンサによる検出情報に基づいて指定したコ
マンドを出力する構成であり、前記制御手段は、画像の
視点位置、視線方向、画角の少なくともいずれかを指定
した視点設定コマンドに対応する視点画像へ切り替える
処理を実行する構成であることを特徴とする。
一実施態様において、前記センサは、視点設定コマンド
として、画像の視点位置、視線方向、画角の少なくとも
いずれかをセンサによる検出情報に基づいて指定したコ
マンドを出力する構成であり、前記制御手段は、画像の
視点位置、視線方向、画角の少なくともいずれかを指定
した視点設定コマンドに対応する視点画像へ切り替える
処理を実行する構成であることを特徴とする。
【００１４】さらに、本発明の表示画像制御処理装置の
一実施態様において、前記センサは、方向検出機能を持
つジャイロを備えた構成であり、ジャイロによって取得
される方向情報に基づくデータを前記視点設定コマンド
として出力する構成であり、前記制御手段は、ジャイロ
によって取得される方向情報に基づくデータを含む視点
設定コマンドに対応する視点画像へ切り替える処理を実
行する構成であることを特徴とする。
一実施態様において、前記センサは、方向検出機能を持
つジャイロを備えた構成であり、ジャイロによって取得
される方向情報に基づくデータを前記視点設定コマンド
として出力する構成であり、前記制御手段は、ジャイロ
によって取得される方向情報に基づくデータを含む視点
設定コマンドに対応する視点画像へ切り替える処理を実
行する構成であることを特徴とする。
【００１５】さらに、本発明の表示画像制御処理装置の
一実施態様において、前記センサは、ユーザの顔の撮影
画像に基づく画像分析処理に基づく視線方向検出処理手
段えた構成であり、画像分析処理によって取得される方
向情報に基づくデータを前記視点設定コマンドとして出
力する構成であり、前記制御手段は、前記画像分析処理
によって取得される方向情報に基づくデータを含む視点
設定コマンドに対応する視点画像へ切り替える処理を実
行する構成であることを特徴とする。
一実施態様において、前記センサは、ユーザの顔の撮影
画像に基づく画像分析処理に基づく視線方向検出処理手
段えた構成であり、画像分析処理によって取得される方
向情報に基づくデータを前記視点設定コマンドとして出
力する構成であり、前記制御手段は、前記画像分析処理
によって取得される方向情報に基づくデータを含む視点
設定コマンドに対応する視点画像へ切り替える処理を実
行する構成であることを特徴とする。
【００１６】さらに、本発明の表示画像制御処理装置の
一実施態様において、前記制御手段は、複数視点からの
画像を含む動画像データに基づいて、該動画像データに
は含まれない視点画像を合成し、合成画像を前記表示手
段に出力する構成を有することを特徴とする。
一実施態様において、前記制御手段は、複数視点からの
画像を含む動画像データに基づいて、該動画像データに
は含まれない視点画像を合成し、合成画像を前記表示手
段に出力する構成を有することを特徴とする。
【００１７】さらに、本発明の表示画像制御処理装置の
一実施態様において、前記制御手段は、複数視点からの
画像を含む動画像データに対応する表示可能な視点位置
データ、および該表示手段に表示中の画像の視点位置識
別データを、該表示手段に表示する処理を実行する構成
を有することを特徴とする。
一実施態様において、前記制御手段は、複数視点からの
画像を含む動画像データに対応する表示可能な視点位置
データ、および該表示手段に表示中の画像の視点位置識
別データを、該表示手段に表示する処理を実行する構成
を有することを特徴とする。
【００１８】さらに、本発明の表示画像制御処理装置の
一実施態様において、複数視点からの画像を含む動画像
データは、離間した複数の被写体位置各々に対応して設
定された複数の視点画像を含み、前記制御手段は、前記
離間した複数の被写体位置各々に対応して設定された複
数の視点画像を含む動画像データに基づいて、前記表示
手段に表示すべき画像の決定処理を実行する構成を有す
ることを特徴とする。
一実施態様において、複数視点からの画像を含む動画像
データは、離間した複数の被写体位置各々に対応して設
定された複数の視点画像を含み、前記制御手段は、前記
離間した複数の被写体位置各々に対応して設定された複
数の視点画像を含む動画像データに基づいて、前記表示
手段に表示すべき画像の決定処理を実行する構成を有す
ることを特徴とする。
【００１９】さらに、本発明の第２の側面は、複数視点
からの画像を含む動画像データを保持し、動画像データ
の配信を実行するサーバと、前記サーバから受信する動
画像データに基づく画像表示処理を実行するユーザシス
テムとによって構成される動画像情報送受信システムで
あり、前記ユーザシステムは、表示手段に表示すべき画
像の決定処理を実行する制御手段を有し、前記制御手段
は、動画像データに対応付けられ、表示画像を特定する
時系列データとして構成されるプリセット表示画像プロ
グラムに従った画像表示態様としてのプリセットモード
と、ユーザ入力手段またはセンサからの視点設定コマン
ド入力に基づいて表示画像を特定するマニュアルモード
の各モードのいずれかを選択して実行する構成を有し、
プリセットモードの実行中に、前記視点設定コマンドの
入力を条件として、マニュアルモードへの移行処理を実
行し、前記表示手段に出力する画像を、入力視点設定コ
マンドに対応する視点画像へ切り替える処理を実行する
構成を有することを特徴とする動画像情報送受信システ
ムにある。
からの画像を含む動画像データを保持し、動画像データ
の配信を実行するサーバと、前記サーバから受信する動
画像データに基づく画像表示処理を実行するユーザシス
テムとによって構成される動画像情報送受信システムで
あり、前記ユーザシステムは、表示手段に表示すべき画
像の決定処理を実行する制御手段を有し、前記制御手段
は、動画像データに対応付けられ、表示画像を特定する
時系列データとして構成されるプリセット表示画像プロ
グラムに従った画像表示態様としてのプリセットモード
と、ユーザ入力手段またはセンサからの視点設定コマン
ド入力に基づいて表示画像を特定するマニュアルモード
の各モードのいずれかを選択して実行する構成を有し、
プリセットモードの実行中に、前記視点設定コマンドの
入力を条件として、マニュアルモードへの移行処理を実
行し、前記表示手段に出力する画像を、入力視点設定コ
マンドに対応する視点画像へ切り替える処理を実行する
構成を有することを特徴とする動画像情報送受信システ
ムにある。
【００２０】さらに、本発明の動画像情報送受信システ
ムの一実施態様において、前記サーバは、動画像データ
に含まれる全視点画像データの配信を実行し、前記ユー
ザシステムは、前記動画像データに含まれる全視点画像
データ、および、前記プリセット表示画像プログラムを
格納する記憶手段を有し、前記制御手段は、プリセット
モードにおいては、前記プリセット表示画像プログラム
に従った特定視点画像データを出力し、マニュアルモー
ドにおいては、視点設定コマンドに対応する特定視点画
像データを出力する構成であることを特徴とする。
ムの一実施態様において、前記サーバは、動画像データ
に含まれる全視点画像データの配信を実行し、前記ユー
ザシステムは、前記動画像データに含まれる全視点画像
データ、および、前記プリセット表示画像プログラムを
格納する記憶手段を有し、前記制御手段は、プリセット
モードにおいては、前記プリセット表示画像プログラム
に従った特定視点画像データを出力し、マニュアルモー
ドにおいては、視点設定コマンドに対応する特定視点画
像データを出力する構成であることを特徴とする。
【００２１】さらに、本発明の動画像情報送受信システ
ムの一実施態様において、前記サーバは、動画像データ
に含まれる特定視点画像データの配信を実行し、前記ユ
ーザシステムは、プリセットモードにおいては、前記サ
ーバにおいて設定されたプリセット表示画像プログラム
に従った特定視点画像データを前記サーバから受信し、
受信データを表示手段に出力し、マニュアルモードにお
いては、視点設定コマンドに対応する画像指定情報を前
記サーバに送信するとともに、前記サーバにおいて該画
像指定情報に従って送信される画像データを受信し、前
記視点設定コマンドに対応する特定視点画像データを表
示手段に出力する構成であることを特徴とする。
ムの一実施態様において、前記サーバは、動画像データ
に含まれる特定視点画像データの配信を実行し、前記ユ
ーザシステムは、プリセットモードにおいては、前記サ
ーバにおいて設定されたプリセット表示画像プログラム
に従った特定視点画像データを前記サーバから受信し、
受信データを表示手段に出力し、マニュアルモードにお
いては、視点設定コマンドに対応する画像指定情報を前
記サーバに送信するとともに、前記サーバにおいて該画
像指定情報に従って送信される画像データを受信し、前
記視点設定コマンドに対応する特定視点画像データを表
示手段に出力する構成であることを特徴とする。
【００２２】さらに、本発明の第３の側面は、複数視点
からの画像を含む動画像データから選択または合成され
る特定視点からの画像を表示手段に出力する表示画像制
御処理方法であり、動画像データに対応付けられ、表示
画像を特定する時系列データとして構成されるプリセッ
ト表示画像プログラムに従った画像表示態様としてのプ
リセットモードと、ユーザ入力手段またはセンサからの
視点設定コマンド入力に基づいて表示画像を特定するマ
ニュアルモードの各モードのいずれかのモードに設定す
るモード設定ステップと、前記モード設定ステップにお
いて設定したモードに従って前記表示手段に表示すべき
画像の決定処理を実行する画像決定ステップとを有し、
さらに、前記プリセットモードにおいて、前記視点設定
コマンドの入力を条件としてマニュアルモードへの移行
処理を実行し、前記表示手段に出力する画像を入力視点
設定コマンドに対応する視点画像への切り替え処理を実
行するステップ、を有することを特徴とする表示画像制
御処理方法にある。
からの画像を含む動画像データから選択または合成され
る特定視点からの画像を表示手段に出力する表示画像制
御処理方法であり、動画像データに対応付けられ、表示
画像を特定する時系列データとして構成されるプリセッ
ト表示画像プログラムに従った画像表示態様としてのプ
リセットモードと、ユーザ入力手段またはセンサからの
視点設定コマンド入力に基づいて表示画像を特定するマ
ニュアルモードの各モードのいずれかのモードに設定す
るモード設定ステップと、前記モード設定ステップにお
いて設定したモードに従って前記表示手段に表示すべき
画像の決定処理を実行する画像決定ステップとを有し、
さらに、前記プリセットモードにおいて、前記視点設定
コマンドの入力を条件としてマニュアルモードへの移行
処理を実行し、前記表示手段に出力する画像を入力視点
設定コマンドに対応する視点画像への切り替え処理を実
行するステップ、を有することを特徴とする表示画像制
御処理方法にある。
【００２３】さらに、本発明の表示画像制御処理方法の
一実施態様において、前記表示画像制御処理方法におい
て、さらに、マニュアルモード実行中、あらかじめ定め
られた閾値時間：Ｔａ以内に新たな視点設定コマンドの
入力がないことを条件として、プリセットモードへの移
行処理を実行するステップを有することを特徴とする。
一実施態様において、前記表示画像制御処理方法におい
て、さらに、マニュアルモード実行中、あらかじめ定め
られた閾値時間：Ｔａ以内に新たな視点設定コマンドの
入力がないことを条件として、プリセットモードへの移
行処理を実行するステップを有することを特徴とする。
【００２４】さらに、本発明の表示画像制御処理方法の
一実施態様において、マニュアルモードにおける前記画
像決定ステップは、画像の視点位置、視線方向、画角の
少なくともいずれかを指定した視点設定コマンドに対応
する視点画像への切り替え処理を実行するステップであ
ることを特徴とする。
一実施態様において、マニュアルモードにおける前記画
像決定ステップは、画像の視点位置、視線方向、画角の
少なくともいずれかを指定した視点設定コマンドに対応
する視点画像への切り替え処理を実行するステップであ
ることを特徴とする。
【００２５】さらに、本発明の表示画像制御処理方法の
一実施態様において、前記センサは、方向検出機能を持
つジャイロを備えた構成であり、ジャイロによって取得
される方向情報に基づくデータを前記視点設定コマンド
として出力し、マニュアルモードにおける前記画像決定
ステップは、前記ジャイロによって取得される方向情報
に基づくデータを含む視点設定コマンドに対応する視点
画像へ切り替える処理を実行するステップであることを
特徴とする。
一実施態様において、前記センサは、方向検出機能を持
つジャイロを備えた構成であり、ジャイロによって取得
される方向情報に基づくデータを前記視点設定コマンド
として出力し、マニュアルモードにおける前記画像決定
ステップは、前記ジャイロによって取得される方向情報
に基づくデータを含む視点設定コマンドに対応する視点
画像へ切り替える処理を実行するステップであることを
特徴とする。
【００２６】さらに、本発明の表示画像制御処理方法の
一実施態様において、前記センサは、ユーザの顔の撮影
画像に基づく画像分析処理に基づく視線方向検出処理手
段えた構成であり、画像分析処理によって取得される方
向情報に基づくデータを前記視点設定コマンドとして出
力し、マニュアルモードにおける前記画像決定ステップ
は、前記画像分析処理によって取得される方向情報に基
づくデータを含む視点設定コマンドに対応する視点画像
へ切り替える処理を実行するステップであることを特徴
とする。
一実施態様において、前記センサは、ユーザの顔の撮影
画像に基づく画像分析処理に基づく視線方向検出処理手
段えた構成であり、画像分析処理によって取得される方
向情報に基づくデータを前記視点設定コマンドとして出
力し、マニュアルモードにおける前記画像決定ステップ
は、前記画像分析処理によって取得される方向情報に基
づくデータを含む視点設定コマンドに対応する視点画像
へ切り替える処理を実行するステップであることを特徴
とする。
【００２７】さらに、本発明の表示画像制御処理方法の
一実施態様において、前記表示画像制御処理方法は、さ
らに、複数視点からの画像を含む動画像データに基づい
て、該動画像データには含まれない視点画像を合成し、
合成画像を前記表示手段に出力するステップを含むこと
を特徴とする。
一実施態様において、前記表示画像制御処理方法は、さ
らに、複数視点からの画像を含む動画像データに基づい
て、該動画像データには含まれない視点画像を合成し、
合成画像を前記表示手段に出力するステップを含むこと
を特徴とする。
【００２８】さらに、本発明の表示画像制御処理方法の
一実施態様において、前記表示画像制御処理方法は、さ
らに、複数視点からの画像を含む動画像データに対応す
る表示可能な視点位置データ、および該表示手段に表示
中の画像の視点位置識別データを、該表示手段に表示す
る処理を実行するステップを有することを特徴とする。
一実施態様において、前記表示画像制御処理方法は、さ
らに、複数視点からの画像を含む動画像データに対応す
る表示可能な視点位置データ、および該表示手段に表示
中の画像の視点位置識別データを、該表示手段に表示す
る処理を実行するステップを有することを特徴とする。
【００２９】さらに、本発明の表示画像制御処理方法の
一実施態様において、複数視点からの画像を含む動画像
データは、離間した複数の被写体位置各々に対応して設
定された複数の視点画像を含み、前記表示画像制御処理
方法は、さらに、前記離間した複数の被写体位置各々に
対応して設定された複数の視点画像を含む動画像データ
に基づいて、前記表示手段に表示すべき画像の決定処理
を実行するステップを有することを特徴とする。
一実施態様において、複数視点からの画像を含む動画像
データは、離間した複数の被写体位置各々に対応して設
定された複数の視点画像を含み、前記表示画像制御処理
方法は、さらに、前記離間した複数の被写体位置各々に
対応して設定された複数の視点画像を含む動画像データ
に基づいて、前記表示手段に表示すべき画像の決定処理
を実行するステップを有することを特徴とする。
【００３０】さらに、本発明の第４の側面は、複数視点
からの画像を含む動画像データを保持し、動画像データ
の配信を実行するサーバと、前記サーバから受信する動
画像データに基づく画像表示処理を実行するユーザシス
テムとによって構成される動画像情報送受信システムに
おける動画像情報送受信方法であり、前記ユーザシステ
ムは、動画像データに対応付けられ、表示画像を特定す
る時系列データとして構成されるプリセット表示画像プ
ログラムに従った画像表示態様としてのプリセットモー
ドと、ユーザ入力手段またはセンサからの視点設定コマ
ンド入力に基づいて表示画像を特定するマニュアルモー
ドの各モードのいずれかを選択して実行し、プリセット
モードの実行中に、前記視点設定コマンドの入力を条件
として、マニュアルモードへの移行処理を実行し、前記
表示手段に出力する画像を、入力視点設定コマンドに対
応する視点画像へ切り替える処理を実行することを特徴
とする動画像情報送受信方法にある。
からの画像を含む動画像データを保持し、動画像データ
の配信を実行するサーバと、前記サーバから受信する動
画像データに基づく画像表示処理を実行するユーザシス
テムとによって構成される動画像情報送受信システムに
おける動画像情報送受信方法であり、前記ユーザシステ
ムは、動画像データに対応付けられ、表示画像を特定す
る時系列データとして構成されるプリセット表示画像プ
ログラムに従った画像表示態様としてのプリセットモー
ドと、ユーザ入力手段またはセンサからの視点設定コマ
ンド入力に基づいて表示画像を特定するマニュアルモー
ドの各モードのいずれかを選択して実行し、プリセット
モードの実行中に、前記視点設定コマンドの入力を条件
として、マニュアルモードへの移行処理を実行し、前記
表示手段に出力する画像を、入力視点設定コマンドに対
応する視点画像へ切り替える処理を実行することを特徴
とする動画像情報送受信方法にある。
【００３１】さらに、本発明の動画像情報送受信方法の
一実施態様において、前記サーバは、動画像データに含
まれる全視点画像データの配信を実行し、前記ユーザシ
ステムは、前記動画像データに含まれる全視点画像デー
タ、および、前記プリセット表示画像プログラムを記憶
手段に格納し、プリセットモードにおいては、前記プリ
セット表示画像プログラムに従った特定視点画像データ
を出力し、マニュアルモードにおいては、視点設定コマ
ンドに対応する特定視点画像データを出力することを特
徴とする。
一実施態様において、前記サーバは、動画像データに含
まれる全視点画像データの配信を実行し、前記ユーザシ
ステムは、前記動画像データに含まれる全視点画像デー
タ、および、前記プリセット表示画像プログラムを記憶
手段に格納し、プリセットモードにおいては、前記プリ
セット表示画像プログラムに従った特定視点画像データ
を出力し、マニュアルモードにおいては、視点設定コマ
ンドに対応する特定視点画像データを出力することを特
徴とする。
【００３２】さらに、本発明の動画像情報送受信方法の
一実施態様において、前記サーバは、動画像データに含
まれる特定視点画像データの配信を実行し、前記ユーザ
システムは、プリセットモードにおいては、前記サーバ
において設定されたプリセット表示画像プログラムに従
った特定視点画像データを前記サーバから受信し、受信
データを表示手段に出力し、マニュアルモードにおいて
は、視点設定コマンドに対応する画像指定情報を前記サ
ーバに送信するとともに、前記サーバにおいて該画像指
定情報に従って送信される画像データを受信し、前記視
点設定コマンドに対応する特定視点画像データを表示手
段に出力することを特徴とする。
一実施態様において、前記サーバは、動画像データに含
まれる特定視点画像データの配信を実行し、前記ユーザ
システムは、プリセットモードにおいては、前記サーバ
において設定されたプリセット表示画像プログラムに従
った特定視点画像データを前記サーバから受信し、受信
データを表示手段に出力し、マニュアルモードにおいて
は、視点設定コマンドに対応する画像指定情報を前記サ
ーバに送信するとともに、前記サーバにおいて該画像指
定情報に従って送信される画像データを受信し、前記視
点設定コマンドに対応する特定視点画像データを表示手
段に出力することを特徴とする。
【００３３】さらに、本発明の第５の側面は、複数視点
からの画像を含む動画像データから選択または合成され
る特定視点からの画像を表示手段に出力する表示画像制
御処理を実行するコンピュータ・プログラムであって、
動画像データに対応付けられ、表示画像を特定する時系
列データとして構成されるプリセット表示画像プログラ
ムに従った画像表示態様としてのプリセットモードと、
ユーザ入力手段またはセンサからの視点設定コマンド入
力に基づいて表示画像を特定するマニュアルモードの各
モードのいずれかのモードに設定するモード設定ステッ
プと、前記モード設定ステップにおいて設定したモード
に従って前記表示手段に表示すべき画像の決定処理を実
行する画像決定ステップとを有し、さらに、前記プリセ
ットモードにおいて、前記視点設定コマンドの入力を条
件としてマニュアルモードへの移行処理を実行し、前記
表示手段に出力する画像を入力視点設定コマンドに対応
する視点画像への切り替え処理を実行するステップ、を
具備することを特徴とするコンピュータ・プログラムに
ある。
からの画像を含む動画像データから選択または合成され
る特定視点からの画像を表示手段に出力する表示画像制
御処理を実行するコンピュータ・プログラムであって、
動画像データに対応付けられ、表示画像を特定する時系
列データとして構成されるプリセット表示画像プログラ
ムに従った画像表示態様としてのプリセットモードと、
ユーザ入力手段またはセンサからの視点設定コマンド入
力に基づいて表示画像を特定するマニュアルモードの各
モードのいずれかのモードに設定するモード設定ステッ
プと、前記モード設定ステップにおいて設定したモード
に従って前記表示手段に表示すべき画像の決定処理を実
行する画像決定ステップとを有し、さらに、前記プリセ
ットモードにおいて、前記視点設定コマンドの入力を条
件としてマニュアルモードへの移行処理を実行し、前記
表示手段に出力する画像を入力視点設定コマンドに対応
する視点画像への切り替え処理を実行するステップ、を
具備することを特徴とするコンピュータ・プログラムに
ある。
【００３４】なお、本発明のコンピュータ・プログラム
は、例えば、様々なプログラム・コードを実行可能な汎
用コンピュータ・システムに対して、コンピュータ可読
な形式で提供する記憶媒体、通信媒体、例えば、ＣＤや
ＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークな
どの通信媒体によって提供可能なコンピュータ・プログ
ラムである。このようなプログラムをコンピュータ可読
な形式で提供することにより、コンピュータ・システム
上でプログラムに応じた処理が実現される。
は、例えば、様々なプログラム・コードを実行可能な汎
用コンピュータ・システムに対して、コンピュータ可読
な形式で提供する記憶媒体、通信媒体、例えば、ＣＤや
ＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークな
どの通信媒体によって提供可能なコンピュータ・プログ
ラムである。このようなプログラムをコンピュータ可読
な形式で提供することにより、コンピュータ・システム
上でプログラムに応じた処理が実現される。
【００３５】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づく、より
詳細な説明によって明らかになるであろう。なお、本明
細書においてシステムとは、複数の装置の論理的集合構
成であり、各構成の装置が同一筐体内にあるものには限
らない。
後述する本発明の実施例や添付する図面に基づく、より
詳細な説明によって明らかになるであろう。なお、本明
細書においてシステムとは、複数の装置の論理的集合構
成であり、各構成の装置が同一筐体内にあるものには限
らない。
【００３６】
【発明の実施の形態】以下、本発明の表示画像制御処理
装置、動画像情報送受信システム、および表示画像制御
処理方法、動画像情報送受信方法について、図面を参照
しながら詳細に説明する。
装置、動画像情報送受信システム、および表示画像制御
処理方法、動画像情報送受信方法について、図面を参照
しながら詳細に説明する。
【００３７】複数視点からの画像データを含む動画像デ
ータは、例えばＤＶＤ、ＣＤ等の記憶媒体に記憶され、
ＣＲＴ、ＬＣＤ等の表示手段において表示されたり、あ
るいはインターネット、その他、無線、有線のデータ配
信網を介してユーザに配信され、ユーザの持つ端末等の
ディスプレイにおいて表示される。
ータは、例えばＤＶＤ、ＣＤ等の記憶媒体に記憶され、
ＣＲＴ、ＬＣＤ等の表示手段において表示されたり、あ
るいはインターネット、その他、無線、有線のデータ配
信網を介してユーザに配信され、ユーザの持つ端末等の
ディスプレイにおいて表示される。
【００３８】図１に本発明のシステムの適用可能な動画
像コンテンツの利用形態の概念図を示す。動画像コンテ
ンツは、コンテンツ提供サイト１８０のサーバ１８１か
ら衛星、インターネット他、有線、無線のデータ通信網
１７０を介してユーザサイト１００に配信されたり、あ
るいは、例えばフラッシュメモリ等の記憶素子を持つ着
脱可能なメモリ１５１、あるいはＤＶＤ、ＣＤ等の記憶
媒体１５２に格納され、ユーザサイトに提供される。
像コンテンツの利用形態の概念図を示す。動画像コンテ
ンツは、コンテンツ提供サイト１８０のサーバ１８１か
ら衛星、インターネット他、有線、無線のデータ通信網
１７０を介してユーザサイト１００に配信されたり、あ
るいは、例えばフラッシュメモリ等の記憶素子を持つ着
脱可能なメモリ１５１、あるいはＤＶＤ、ＣＤ等の記憶
媒体１５２に格納され、ユーザサイトに提供される。
【００３９】ユーザサイト１００には、ディスプレイを
持つ例えばデスクトップＰＣ１０１、ノート型ＰＣ１０
２、携帯電話端末１０３、ヘッドマウントディスプレイ
１０４等においてネットワークを介して受信したコンテ
ンツ、あるいは記憶媒体に格納された動画像コンテンツ
を再生する。ユーザサイトには代表的な装置を示してあ
るが、この他にもテレビ画像受信機、ゲーム装置等の各
種機器がしよう可能である。また、コンテンツ提供サイ
トもインターネットを介したデータ配信を実行するサー
ビスプロバイダや、放送局等が含まれる。
持つ例えばデスクトップＰＣ１０１、ノート型ＰＣ１０
２、携帯電話端末１０３、ヘッドマウントディスプレイ
１０４等においてネットワークを介して受信したコンテ
ンツ、あるいは記憶媒体に格納された動画像コンテンツ
を再生する。ユーザサイトには代表的な装置を示してあ
るが、この他にもテレビ画像受信機、ゲーム装置等の各
種機器がしよう可能である。また、コンテンツ提供サイ
トもインターネットを介したデータ配信を実行するサー
ビスプロバイダや、放送局等が含まれる。
【００４０】本発明で取り扱うデータは、複数視点から
の画像データを含む動画像である。このような複数視点
からの動画像は、複数の異なる視点からの画像を撮影す
るカメラの画像データに基づいて制作される。なお、本
明細書において説明する複数視点からの画像とは、異な
る位置に配置したカメラによって取得される画像のみな
らず、撮影方向、画角等が異なる画像も含むものであ
る。すなわち、空間上の離間した異なる位置に配置され
たカメラによって撮影される各画像が複数視点からの画
像データであることは勿論、さらに、空間上の１つの点
を中心点とした回りの画像、例えば３６０度画像、全方
位画像を構成する画像の各々も複数視点からの画像デー
タであり、同一点からの異なる方向を撮影した画像、ま
たは異なる画角で撮影した個々の画像も視点位置の異な
る画像データであると定義する。
の画像データを含む動画像である。このような複数視点
からの動画像は、複数の異なる視点からの画像を撮影す
るカメラの画像データに基づいて制作される。なお、本
明細書において説明する複数視点からの画像とは、異な
る位置に配置したカメラによって取得される画像のみな
らず、撮影方向、画角等が異なる画像も含むものであ
る。すなわち、空間上の離間した異なる位置に配置され
たカメラによって撮影される各画像が複数視点からの画
像データであることは勿論、さらに、空間上の１つの点
を中心点とした回りの画像、例えば３６０度画像、全方
位画像を構成する画像の各々も複数視点からの画像デー
タであり、同一点からの異なる方向を撮影した画像、ま
たは異なる画角で撮影した個々の画像も視点位置の異な
る画像データであると定義する。
【００４１】また、以下、説明する本発明のシステムに
おいては、異なる位置、または方向、または画角等を設
定し、異なる画像を撮影する複数のカメラによって取得
された画像に基づいて生成されるカメラ間画像について
も、ユーザが異なる視点からの画像として指定可能な構
成を持つものであり、例えば複数のカメラによって撮影
された画像に基づいて、あらかじめパノラマ画像、３６
０度画像、全方位画像、全天球画像等を生成し、この生
成画像中から任意の視点を設定して、ディスプレイに表
示する構成も含むものである。このような複数視点から
の画像データの生成処理については、例えば、文献
「Ｓ．Ｅ．Ｃｈｅｎ”ck time VR-An Image-Based Appr
oach to virtual Environment Navigation", Computer
Graphics SIGGRAPH,pp.29-38,1995」等に記載されてい
る。
おいては、異なる位置、または方向、または画角等を設
定し、異なる画像を撮影する複数のカメラによって取得
された画像に基づいて生成されるカメラ間画像について
も、ユーザが異なる視点からの画像として指定可能な構
成を持つものであり、例えば複数のカメラによって撮影
された画像に基づいて、あらかじめパノラマ画像、３６
０度画像、全方位画像、全天球画像等を生成し、この生
成画像中から任意の視点を設定して、ディスプレイに表
示する構成も含むものである。このような複数視点から
の画像データの生成処理については、例えば、文献
「Ｓ．Ｅ．Ｃｈｅｎ”ck time VR-An Image-Based Appr
oach to virtual Environment Navigation", Computer
Graphics SIGGRAPH,pp.29-38,1995」等に記載されてい
る。
【００４２】視点位置の異なる画像データの構成例につ
いて、図を参照して説明する。図２に示すカメラ配置Ａ
は、被写体２０１を被写体２０１の周囲にほぼ等間隔に
配置した５台のカメラＡ１〜Ａ５によって撮影する構成
を示したものである。５台のカメラＡ１〜Ａ５によって
撮影した複数の動画像データは、各々が同期したデータ
として、記憶媒体に格納され、あるいはネットワークを
介する配信データとされる。例えば図２に示すカメラ配
置構成で撮影された動画像データ中の、時間：ｔ１にお
けるフレームデータは、図２のデータ構成に示すデータ
態様として記憶媒体に格納、または配信される。ユーザ
による視点位置指定、あるいはプリセットされた視点位
置に従って、５台のカメラＡ１〜Ａ５によって撮影した
複数の動画像データの中から１つの動画像データが選択
されてユーザの持つ表示装置に表示される。
いて、図を参照して説明する。図２に示すカメラ配置Ａ
は、被写体２０１を被写体２０１の周囲にほぼ等間隔に
配置した５台のカメラＡ１〜Ａ５によって撮影する構成
を示したものである。５台のカメラＡ１〜Ａ５によって
撮影した複数の動画像データは、各々が同期したデータ
として、記憶媒体に格納され、あるいはネットワークを
介する配信データとされる。例えば図２に示すカメラ配
置構成で撮影された動画像データ中の、時間：ｔ１にお
けるフレームデータは、図２のデータ構成に示すデータ
態様として記憶媒体に格納、または配信される。ユーザ
による視点位置指定、あるいはプリセットされた視点位
置に従って、５台のカメラＡ１〜Ａ５によって撮影した
複数の動画像データの中から１つの動画像データが選択
されてユーザの持つ表示装置に表示される。
【００４３】図３に示すカメラ配置Ｂは、被写体２１１
を前方から３つの異なる角度、正面、右斜め前、左斜め
前、各方向において近距離、中距離、遠距離の３つの異
なる距離にカメラ位置を設定し、これらの９つのカメラ
位置にカメラＢ１〜Ｂ９を配置して撮影する構成を示し
ている。このカメラ配置を採用した場合には、９つの動
画像データについて、図２に示したと同様、複数の動画
像データを同期データとして記憶媒体に格納、またはデ
ータ通信網を介して配信する。
を前方から３つの異なる角度、正面、右斜め前、左斜め
前、各方向において近距離、中距離、遠距離の３つの異
なる距離にカメラ位置を設定し、これらの９つのカメラ
位置にカメラＢ１〜Ｂ９を配置して撮影する構成を示し
ている。このカメラ配置を採用した場合には、９つの動
画像データについて、図２に示したと同様、複数の動画
像データを同期データとして記憶媒体に格納、またはデ
ータ通信網を介して配信する。
【００４４】図４に示すカメラ配置Ｃは、被写体２２１
を被写体２２１の周囲にほぼ等間隔に配置した５台のカ
メラＣ１〜Ｃ５によって撮影するとともに、被写体２２
２を被写体２２２の周囲にほぼ等間隔に配置した５台の
カメラＣ６〜Ｃ１０によって撮影する構成例を示してい
る。なお、この場合は、被写体２２１、被写体２２２は
特定の異なる物体、あるいは人物であってもよいし、ま
た、サッカーフィールドにおける右サイドと左サイドと
いった異なる領域をそれぞれ被写体２２１と被写体２２
２として設定する構成としてもよい。この図４に示すカ
メラ配置を採用した場合には、１０の動画像データにつ
いて、図２に示したと同様、複数の動画像データを同期
データとして記憶媒体に格納、またはデータ通信網を介
して配信する。
を被写体２２１の周囲にほぼ等間隔に配置した５台のカ
メラＣ１〜Ｃ５によって撮影するとともに、被写体２２
２を被写体２２２の周囲にほぼ等間隔に配置した５台の
カメラＣ６〜Ｃ１０によって撮影する構成例を示してい
る。なお、この場合は、被写体２２１、被写体２２２は
特定の異なる物体、あるいは人物であってもよいし、ま
た、サッカーフィールドにおける右サイドと左サイドと
いった異なる領域をそれぞれ被写体２２１と被写体２２
２として設定する構成としてもよい。この図４に示すカ
メラ配置を採用した場合には、１０の動画像データにつ
いて、図２に示したと同様、複数の動画像データを同期
データとして記憶媒体に格納、またはデータ通信網を介
して配信する。
【００４５】図５に示すカメラ配置Ｄ，Ｅは、撮影方向
をカメラ位置を中心として周囲の３６０度平面（Ｄ）、
あるいは全天球方向（Ｅ）とした構成である。カメラ配
置Ｄは、平面軸の中心点２３１の周囲の画像を撮影する
ようにカメラＤ１〜Ｄ８を配置して、平面３６０度の画
像を撮影する構成であり、カメラ配置Ｅは、球体の中心
点２３２の周囲の画像を撮影するようにカメラＥ１〜Ｅ
ｎを配置して、全天球の画像を撮影する構成である。こ
の図５に示すカメラ配置を採用した場合には、カメラ数
に対応する動画像データについて、図２に示したと同
様、複数の動画像データを同期データとして記憶媒体に
格納、またはデータ通信網を介して配信する。
をカメラ位置を中心として周囲の３６０度平面（Ｄ）、
あるいは全天球方向（Ｅ）とした構成である。カメラ配
置Ｄは、平面軸の中心点２３１の周囲の画像を撮影する
ようにカメラＤ１〜Ｄ８を配置して、平面３６０度の画
像を撮影する構成であり、カメラ配置Ｅは、球体の中心
点２３２の周囲の画像を撮影するようにカメラＥ１〜Ｅ
ｎを配置して、全天球の画像を撮影する構成である。こ
の図５に示すカメラ配置を採用した場合には、カメラ数
に対応する動画像データについて、図２に示したと同
様、複数の動画像データを同期データとして記憶媒体に
格納、またはデータ通信網を介して配信する。
【００４６】なお、図２〜図５に示すカメラ配置以外に
も様々なカメラ配置が可能である。例えば、図５に示す
カメラ配置Ｄ，Ｅの構成、すなわち、カメラ位置を中心
として周囲の３６０度平面（Ｄ）、あるいは全天球方向
（Ｅ）とした構成を、先に説明した図４に示すと同様に
複数の異なる位置に設定して、複数の異なる位置からの
３６０度平面（Ｄ）、あるいは全天球方向（Ｅ）の画像
を撮影する構成としてもよい。
も様々なカメラ配置が可能である。例えば、図５に示す
カメラ配置Ｄ，Ｅの構成、すなわち、カメラ位置を中心
として周囲の３６０度平面（Ｄ）、あるいは全天球方向
（Ｅ）とした構成を、先に説明した図４に示すと同様に
複数の異なる位置に設定して、複数の異なる位置からの
３６０度平面（Ｄ）、あるいは全天球方向（Ｅ）の画像
を撮影する構成としてもよい。
【００４７】なお、各カメラによって撮影された複数の
画像は、図２を用いて説明したように、カメラ毎の個別
の画像データとして記憶媒体に格納、またはデータ通信
網を介して配信し、選択画像をユーザのディスプレイに
表示する。なお、カメラ間の画像データをビューインタ
ポレーション等の画像合成技術を用いて生成し、あらか
じめパノラマ画像、３６０度画像、全方位画像、全天球
画像等を生成して生成画像からユーザが任意の視点を選
択してディスプレイに表示することが可能である。すな
わち、上述の図２〜図５に示すカメラ配置のように異な
る位置、または方向、または画角等を設定した複数のカ
メラによって取得された画像に基づいて生成されるカメ
ラ間画像についても、ユーザが異なる視点からの画像と
して指定可能な構成を持つ。例えば複数のカメラによっ
て撮影された画像に基づいて、あらかじめパノラマ画
像、３６０度画像、全方位画像、全天球画像等を生成
し、この生成画像中から任意の視点を設定して、ディス
プレイに表示することが可能である。
画像は、図２を用いて説明したように、カメラ毎の個別
の画像データとして記憶媒体に格納、またはデータ通信
網を介して配信し、選択画像をユーザのディスプレイに
表示する。なお、カメラ間の画像データをビューインタ
ポレーション等の画像合成技術を用いて生成し、あらか
じめパノラマ画像、３６０度画像、全方位画像、全天球
画像等を生成して生成画像からユーザが任意の視点を選
択してディスプレイに表示することが可能である。すな
わち、上述の図２〜図５に示すカメラ配置のように異な
る位置、または方向、または画角等を設定した複数のカ
メラによって取得された画像に基づいて生成されるカメ
ラ間画像についても、ユーザが異なる視点からの画像と
して指定可能な構成を持つ。例えば複数のカメラによっ
て撮影された画像に基づいて、あらかじめパノラマ画
像、３６０度画像、全方位画像、全天球画像等を生成
し、この生成画像中から任意の視点を設定して、ディス
プレイに表示することが可能である。
【００４８】このような様々な視点からのデータを含む
動画像データを記憶媒体から再生、あるいは配信データ
中から選択してユーザ所有のディスプレイに表示する処
理態様としては、大きく分けて２つの態様がある。１つ
は、ユーザによる視点位置指定に基づいて、指定された
画像を選択して、あるいは合成して表示するマニュアル
モード処理態様であり、もう１つは、予め動画像に対応
して設定された表示プログラムに従って、様々な視点位
置からの動画像データを順次切り替えて表示するプリセ
ットモード処理態様である。
動画像データを記憶媒体から再生、あるいは配信データ
中から選択してユーザ所有のディスプレイに表示する処
理態様としては、大きく分けて２つの態様がある。１つ
は、ユーザによる視点位置指定に基づいて、指定された
画像を選択して、あるいは合成して表示するマニュアル
モード処理態様であり、もう１つは、予め動画像に対応
して設定された表示プログラムに従って、様々な視点位
置からの動画像データを順次切り替えて表示するプリセ
ットモード処理態様である。
【００４９】動画像の表示シーケンスを設定したプリセ
ット表示画像プログラムの一例について、図６を用いて
説明する。図６（ａ）に示すように、プログラムは、時
間（Ｔ）に対応した視点位置データ（Ａ）、視線方向デ
ータ（Ｂ）、画角（Ｃ１）、その他の設定データＤ…の
各パラメータによって構成される。プリセット表示画像
プログラムは、このように、表示画像を特定する時系列
データとして構成される。この、プリセット表示画像プ
ログラムに従った画像表示態様がプリセットモードであ
る。
ット表示画像プログラムの一例について、図６を用いて
説明する。図６（ａ）に示すように、プログラムは、時
間（Ｔ）に対応した視点位置データ（Ａ）、視線方向デ
ータ（Ｂ）、画角（Ｃ１）、その他の設定データＤ…の
各パラメータによって構成される。プリセット表示画像
プログラムは、このように、表示画像を特定する時系列
データとして構成される。この、プリセット表示画像プ
ログラムに従った画像表示態様がプリセットモードであ
る。
【００５０】時間：Ｔ１，Ｔ２・・は、動画像コンテン
ツの表示プログラムの開始からの経過時間を示し、視点
位置データ：Ａ１，Ａ２・・は、各時点Ｔｎおいて切り
替えるべき視点位置を示す。例えば図６（ｂ）に示すよ
うに被写体等の基準位置Ｐを中心とした座標位置情報と
した場合、Ａｎ＝（ｘ，ｙ）として設定される。視線方
向データ：Ｂ１，Ｂ２・・は、各時点Ｔｎにおいて切り
替えるべき視線方向を示す。例えば図６（ｂ）に示すよ
うにベクトルデータ（Ｖｘ，Ｖｙ）が適用可能である。
また、画角データ：Ｃ１，Ｃ２・・は、各時点Ｔｎにお
いて切り替えるべき画角を示す。画角データとしては、
図６（ｂ）に示すように角度データ（θ）が適用可能で
ある。なお、図６（ｂ）に示す例は、２次元平面におけ
る各情報構成例を示してあるが、３次元情報として各デ
ータを構成することも可能である。
ツの表示プログラムの開始からの経過時間を示し、視点
位置データ：Ａ１，Ａ２・・は、各時点Ｔｎおいて切り
替えるべき視点位置を示す。例えば図６（ｂ）に示すよ
うに被写体等の基準位置Ｐを中心とした座標位置情報と
した場合、Ａｎ＝（ｘ，ｙ）として設定される。視線方
向データ：Ｂ１，Ｂ２・・は、各時点Ｔｎにおいて切り
替えるべき視線方向を示す。例えば図６（ｂ）に示すよ
うにベクトルデータ（Ｖｘ，Ｖｙ）が適用可能である。
また、画角データ：Ｃ１，Ｃ２・・は、各時点Ｔｎにお
いて切り替えるべき画角を示す。画角データとしては、
図６（ｂ）に示すように角度データ（θ）が適用可能で
ある。なお、図６（ｂ）に示す例は、２次元平面におけ
る各情報構成例を示してあるが、３次元情報として各デ
ータを構成することも可能である。
【００５１】図６（ａ）に示すようなプリセット表示画
像プログラムに従って動画像データをユーザのディスプ
レイに表示する場合は、プログラム開始時間からの経過
時間に従って、プログラムに従った、視点位置、視線位
置、画角の設定画像を表示する。経過時間は、タイマ等
によって計測してもよいが、コンテンツの各フレームに
対応して設定された付帯情報としてのフレームナンバ等
の識別データを再生時間に対応付けて用いてもよい。所
定時間あたり規定フレーム数、例えばｎフレーム／ｓの
再生処理を実行する場合には、再生フレーム数に対応さ
せた時間計測が可能となる。
像プログラムに従って動画像データをユーザのディスプ
レイに表示する場合は、プログラム開始時間からの経過
時間に従って、プログラムに従った、視点位置、視線位
置、画角の設定画像を表示する。経過時間は、タイマ等
によって計測してもよいが、コンテンツの各フレームに
対応して設定された付帯情報としてのフレームナンバ等
の識別データを再生時間に対応付けて用いてもよい。所
定時間あたり規定フレーム数、例えばｎフレーム／ｓの
再生処理を実行する場合には、再生フレーム数に対応さ
せた時間計測が可能となる。
【００５２】例えば先に説明した図２のような５つのカ
メラ配置によって、５つの画像から選択された画像のみ
が表示可能な構成においては、プログラムの設定情報
は、５つのカメラのいずれかの視点位置、視線位置、画
角の情報として設定される。また、ビューインタポレー
ション等によって実際の撮影画像間の画像、例えば３６
０度の全方位画像を予め格納、または配信、あるいはユ
ーザのシステム内で合成処理を実行する場合には、プロ
グラムの設定情報は、実際の撮影カメラの視点位置、視
線位置、画角の情報のみならず、その他の位置情報等が
設定可能であり、設定情報に従って画像をユーザのディ
スプレイに表示する。
メラ配置によって、５つの画像から選択された画像のみ
が表示可能な構成においては、プログラムの設定情報
は、５つのカメラのいずれかの視点位置、視線位置、画
角の情報として設定される。また、ビューインタポレー
ション等によって実際の撮影画像間の画像、例えば３６
０度の全方位画像を予め格納、または配信、あるいはユ
ーザのシステム内で合成処理を実行する場合には、プロ
グラムの設定情報は、実際の撮影カメラの視点位置、視
線位置、画角の情報のみならず、その他の位置情報等が
設定可能であり、設定情報に従って画像をユーザのディ
スプレイに表示する。
【００５３】本発明のシステムでは、様々な視点からの
動画像データを記憶媒体から再生、あるいは配信データ
中から選択してユーザ所有のディスプレイに表示する
際、前述した２つの処理態様、すなわち、ユーザによる
視点位置等の指定情報に基づいて、指定された画像を選
択して、あるいは合成して表示するマニュアル処理態様
と、予め動画像に対応して設定された表示プログラムに
従って、様々な視点位置からの動画像データを順次切り
替えて表示するプリセット処理態様とを任意のタイミン
グで切り替えることが可能な構成を持つ。
動画像データを記憶媒体から再生、あるいは配信データ
中から選択してユーザ所有のディスプレイに表示する
際、前述した２つの処理態様、すなわち、ユーザによる
視点位置等の指定情報に基づいて、指定された画像を選
択して、あるいは合成して表示するマニュアル処理態様
と、予め動画像に対応して設定された表示プログラムに
従って、様々な視点位置からの動画像データを順次切り
替えて表示するプリセット処理態様とを任意のタイミン
グで切り替えることが可能な構成を持つ。
【００５４】動画像をネットワークを介して受信、ある
いは記憶媒体から読み出して再生する表示画像制御処理
装置の構成例を図７に示す。
いは記憶媒体から読み出して再生する表示画像制御処理
装置の構成例を図７に示す。
【００５５】表示画像制御処理装置３００には、インタ
ーネット配信データ、あるいはブロードキャストデータ
等を受信する通信インタフェース３０１を有し、画像配
信サイトから送信されるパノラマ、全天球動画など異な
る視点位置からの動画像データを含むコンテンツを受信
する。また、記憶媒体インタフェース３０２は、ＤＶ
Ｄ、フラッシュメモリ等、各種記憶媒体３２０との間の
データ転送用インタフェースであり、異なる視点位置か
らの動画像データを含むコンテンツを記憶媒体３２０か
らデータ処理装置３００に撮り込むためのインタフェー
スである。
ーネット配信データ、あるいはブロードキャストデータ
等を受信する通信インタフェース３０１を有し、画像配
信サイトから送信されるパノラマ、全天球動画など異な
る視点位置からの動画像データを含むコンテンツを受信
する。また、記憶媒体インタフェース３０２は、ＤＶ
Ｄ、フラッシュメモリ等、各種記憶媒体３２０との間の
データ転送用インタフェースであり、異なる視点位置か
らの動画像データを含むコンテンツを記憶媒体３２０か
らデータ処理装置３００に撮り込むためのインタフェー
スである。
【００５６】画像配信サイトから送信されるコンテン
ツ、あるいは記憶媒体３２０に格納されるコンテンツ
は、多くの場合、データ量削減のために符号化されてお
り、デコード処理部３０３においてデコード処理が実行
された後、表示制御部３０８の制御のもとに、表示装置
３１０において表示する。
ツ、あるいは記憶媒体３２０に格納されるコンテンツ
は、多くの場合、データ量削減のために符号化されてお
り、デコード処理部３０３においてデコード処理が実行
された後、表示制御部３０８の制御のもとに、表示装置
３１０において表示する。
【００５７】予め動画像に対応して設定された表示プロ
グラムに従った動画像データを表示するプリセット処理
態様での表示の際には、様々な視点からの動画像データ
を、設定された表示プログラムに従って、設定パラメー
タに従った視点位置、視点方向、画角を持つ動画像デー
タを選択、または合成処理を実行して表示装置３１０に
表示する。
グラムに従った動画像データを表示するプリセット処理
態様での表示の際には、様々な視点からの動画像データ
を、設定された表示プログラムに従って、設定パラメー
タに従った視点位置、視点方向、画角を持つ動画像デー
タを選択、または合成処理を実行して表示装置３１０に
表示する。
【００５８】一方、ユーザによる視点位置等の指定情報
に基づいて、指定された画像を選択して、あるいは合成
して表示するマニュアル処理においては、表示画像の視
点位置等のコントロール情報を、コントローラ３１１か
らのユーザ入力、あるいは、角度情報取得装置等のセン
サ３１２からの方向データ等の入力に基づいて、表示画
像が選択、または合成処理がなされて表示装置３１０に
表示される。
に基づいて、指定された画像を選択して、あるいは合成
して表示するマニュアル処理においては、表示画像の視
点位置等のコントロール情報を、コントローラ３１１か
らのユーザ入力、あるいは、角度情報取得装置等のセン
サ３１２からの方向データ等の入力に基づいて、表示画
像が選択、または合成処理がなされて表示装置３１０に
表示される。
【００５９】表示画像制御処理装置３００の受信部３０
７は、コントローラ３１１、またはセンサ３１２から送
信される信号（例えば赤外線信号）を受信して、制御部
（ＣＰＵ）３０４に出力する。コントローラ３１１、ま
たはセンサ３１２から送信される信号は、表示画像の指
定情報であり、例えばパノラマ、全天球動画像における
表示位置の設定情報としての情報であり、図６を参照し
て説明したプリセット表示画像プログラムに含まれる視
点位置データ（Ａ）、視線方向データ（Ｂ）、画角（Ｃ
１）、その他の設定データＤ…の各パラメータの少なく
ともいずれかに対応する情報を含むデータである。
７は、コントローラ３１１、またはセンサ３１２から送
信される信号（例えば赤外線信号）を受信して、制御部
（ＣＰＵ）３０４に出力する。コントローラ３１１、ま
たはセンサ３１２から送信される信号は、表示画像の指
定情報であり、例えばパノラマ、全天球動画像における
表示位置の設定情報としての情報であり、図６を参照し
て説明したプリセット表示画像プログラムに含まれる視
点位置データ（Ａ）、視線方向データ（Ｂ）、画角（Ｃ
１）、その他の設定データＤ…の各パラメータの少なく
ともいずれかに対応する情報を含むデータである。
【００６０】センサ３１２は、例えば３軸ジャイロ等の
角度センサをユーザの頭部に装着し、ユーザの視線方向
を角度情報として取得するヘッドトラッカ等によって構
成され、ユーザの見ている方向に対応する視点位置情報
を入力する。表示画像制御処理装置は、コントローラ３
１１からのユーザ入力、あるいはセンサ３１２から入力
される情報を、先に図６を参照して説明したプリセット
表示画像プログラムにおけると同様のパラメータに変換
して、設定パラメータに従った視点位置、視点方向、画
角を持つ動画像データを選択、または合成処理によって
生成して表示装置３１０に表示する。
角度センサをユーザの頭部に装着し、ユーザの視線方向
を角度情報として取得するヘッドトラッカ等によって構
成され、ユーザの見ている方向に対応する視点位置情報
を入力する。表示画像制御処理装置は、コントローラ３
１１からのユーザ入力、あるいはセンサ３１２から入力
される情報を、先に図６を参照して説明したプリセット
表示画像プログラムにおけると同様のパラメータに変換
して、設定パラメータに従った視点位置、視点方向、画
角を持つ動画像データを選択、または合成処理によって
生成して表示装置３１０に表示する。
【００６１】なお、センサ３１２は、上述の３軸ジャイ
ロを用いた構成のみならず、例えばユーザの顔を撮影
し、撮影画像を分析することによって、ユーザの視線方
向等のデータを取得する構成を持つものでもよい。この
ような構成の場合は、画像分析によって取得したユーザ
の視点方向等のデータを表示画像制御処理装置に入力す
る。
ロを用いた構成のみならず、例えばユーザの顔を撮影
し、撮影画像を分析することによって、ユーザの視線方
向等のデータを取得する構成を持つものでもよい。この
ような構成の場合は、画像分析によって取得したユーザ
の視点方向等のデータを表示画像制御処理装置に入力す
る。
【００６２】表示画像制御処理装置３００における記憶
部は、受信データの記憶、各種処理プログラムの記憶、
プリセット表示画像プログラムの記憶、あるいはＣＰＵ
３０４におけるワークエリアとしての記憶領域等に用い
られる記憶部であり、ＲＡＭ、ＲＯＭ等によって構成さ
れる。タイマ３０６は、画像表示プログラムの開始から
の時間を計測する際等に使用される。
部は、受信データの記憶、各種処理プログラムの記憶、
プリセット表示画像プログラムの記憶、あるいはＣＰＵ
３０４におけるワークエリアとしての記憶領域等に用い
られる記憶部であり、ＲＡＭ、ＲＯＭ等によって構成さ
れる。タイマ３０６は、画像表示プログラムの開始から
の時間を計測する際等に使用される。
【００６３】図８にコントローラ３１１の構成例を示
す。コントローラ３１１は、パワースイッチ３５１、コ
ンテンツ選択スイッチ３５２、音量設定部３５３、視点
位置移動部３５４、視線方向設定部３５５、ズームイン
設定部３５６、ズームアウト設定部３５７、カメラ選択
部３５８を有する。
す。コントローラ３１１は、パワースイッチ３５１、コ
ンテンツ選択スイッチ３５２、音量設定部３５３、視点
位置移動部３５４、視線方向設定部３５５、ズームイン
設定部３５６、ズームアウト設定部３５７、カメラ選択
部３５８を有する。
【００６４】コントローラの各操作部の操作に基づいて
設定されたデータがコントローラ前面のデータ送信部
（例えば赤外光発光部）３５９から処理指令コマンド
（視点設定コマンド）として送信され、表示画像制御処
理装置３００の受信部３０７によって受信されて画像の
視点位置、視線方向、画角等のパラメータとして設定さ
れて、各パラメータに対応する画像が選択または合成さ
れて、表示装置３１０に表示される。
設定されたデータがコントローラ前面のデータ送信部
（例えば赤外光発光部）３５９から処理指令コマンド
（視点設定コマンド）として送信され、表示画像制御処
理装置３００の受信部３０７によって受信されて画像の
視点位置、視線方向、画角等のパラメータとして設定さ
れて、各パラメータに対応する画像が選択または合成さ
れて、表示装置３１０に表示される。
【００６５】視点位置移動部３５４における設定が視点
位置パラメータ、視線方向設定部３５５における設定が
視線方向パラメータ、ズームイン設定部３５６における
設定が画角パラメータに相当するデータとして表示画像
制御処理装置３００に送信される。なお、図８に示すコ
ントローラの構成は一例に過ぎず、その他の構成とする
ことも可能である。例えばジョイステイックのような操
作部を設けて、ジョイスティックの操作に応じて視点位
置、視線方向、画角等の各種設定情報を出力する構成と
してもよい。
位置パラメータ、視線方向設定部３５５における設定が
視線方向パラメータ、ズームイン設定部３５６における
設定が画角パラメータに相当するデータとして表示画像
制御処理装置３００に送信される。なお、図８に示すコ
ントローラの構成は一例に過ぎず、その他の構成とする
ことも可能である。例えばジョイステイックのような操
作部を設けて、ジョイスティックの操作に応じて視点位
置、視線方向、画角等の各種設定情報を出力する構成と
してもよい。
【００６６】図９は、センサ３１２の一実施例の詳細構
成を示すブロック図である。変位検出手段としての３軸
ジャイロ３６１は、Ｘ軸、Ｙ軸、Ｚ軸の各座標軸に対応
したジャイロ３６２，３６３，３６４からなる。ジャイ
ロは、振動している物体に回転角速度を加えると、その
振動と直角方向にコリオリ力Ｆ＝２ｍｖω（ただし、ｍ
は質量、ｖは速度、ωは角速度）を生じる特性を有して
いる。角速度ωは、コリオリ力Ｆに比例することにな
り、コリオリ力Ｆを検出することにより、回転角速度が
検出可能となる。
成を示すブロック図である。変位検出手段としての３軸
ジャイロ３６１は、Ｘ軸、Ｙ軸、Ｚ軸の各座標軸に対応
したジャイロ３６２，３６３，３６４からなる。ジャイ
ロは、振動している物体に回転角速度を加えると、その
振動と直角方向にコリオリ力Ｆ＝２ｍｖω（ただし、ｍ
は質量、ｖは速度、ωは角速度）を生じる特性を有して
いる。角速度ωは、コリオリ力Ｆに比例することにな
り、コリオリ力Ｆを検出することにより、回転角速度が
検出可能となる。
【００６７】各ジャイロ３６２，３６３，３６４には、
それぞれ駆動用圧電磁器と検出用圧電磁器（図示せず）
が設けられており、駆動用圧電磁器にはオシレータの発
振出力である交番信号が印加されるようになされてい
る。この状態で、ジャイロが回転されると、検出用圧電
磁器にコリオリ力Ｆが加わり、電圧Ｅが発生する。
それぞれ駆動用圧電磁器と検出用圧電磁器（図示せず）
が設けられており、駆動用圧電磁器にはオシレータの発
振出力である交番信号が印加されるようになされてい
る。この状態で、ジャイロが回転されると、検出用圧電
磁器にコリオリ力Ｆが加わり、電圧Ｅが発生する。
【００６８】各ジャイロ３６２，３６３，３６４に備え
られた検出用圧電磁器より出力される微小な電圧は、ア
ンプ３６５，３６６，３６７において増幅され、Ａ／Ｄ
変換器３７１，３７２，３７３おいてデジタル・データ
に変換される。
られた検出用圧電磁器より出力される微小な電圧は、ア
ンプ３６５，３６６，３６７において増幅され、Ａ／Ｄ
変換器３７１，３７２，３７３おいてデジタル・データ
に変換される。
【００６９】それぞれのジャイロ３６２，３６３，３６
４に加わった角速度ωと、発生する電圧Ｅは、比例関係
を有しており、例えば、ジャイロ３６２がＸ軸回りに右
方向に回転させたとき、電圧Ｅが上昇し、左方向に回転
させたとき、電圧Ｅが下降するように配置される。
４に加わった角速度ωと、発生する電圧Ｅは、比例関係
を有しており、例えば、ジャイロ３６２がＸ軸回りに右
方向に回転させたとき、電圧Ｅが上昇し、左方向に回転
させたとき、電圧Ｅが下降するように配置される。
【００７０】インタフェース３７７は、Ａ／Ｄ変換器３
７１，３７２，３７３より供給された３軸ジャイロの検
出信号をバスを介してＣＰＵ(Central processing Uni
t)３７４に供給する。ＣＰＵ３７４は、バスを介して入
力する３軸ジャイロの検出信号に基づいて、ロール角、
ピッチ角、及びヨー角、それぞれの角度データ、および
Ｘ，Ｙ，Ｚ各軸方向における振動特性データを取得す
る。
７１，３７２，３７３より供給された３軸ジャイロの検
出信号をバスを介してＣＰＵ(Central processing Uni
t)３７４に供給する。ＣＰＵ３７４は、バスを介して入
力する３軸ジャイロの検出信号に基づいて、ロール角、
ピッチ角、及びヨー角、それぞれの角度データ、および
Ｘ，Ｙ，Ｚ各軸方向における振動特性データを取得す
る。
【００７１】演算処理手段としてのＣＰＵ３７４は、算
出したロール角、ピッチ角、及びヨー角、それぞれの角
度データ、Ｘ，Ｙ，Ｚ各軸方向における振動特性データ
をバスを介してＲＡＭ３７６に蓄積し、さらに蓄積デー
タに基づいて操作情報への変換のための演算処理を実行
し、変換した操作情報を通信インタフェース３７８を介
して表示画像制御処理装置３００側へ出力する。ＲＯＭ
（Read-Only-Memory）３７５は、ＣＰＵ３７４が実行す
るプログラム、あるいは演算パラメータとしての固定デ
ータを格納する。ＣＰＵ３７４の変換処理によって取得
した操作情報は、必要に応じてＲＡＭ（Random Access
Memory）３７６に蓄積する。また、ＲＡＭ（Random Acc
ess Memory）３７６は、ＣＰＵ３７４の処理において実
行されるプログラム、およびプログラム処理において適
宜変化するパラメータの格納エリア、ワーク領域として
使用される。
出したロール角、ピッチ角、及びヨー角、それぞれの角
度データ、Ｘ，Ｙ，Ｚ各軸方向における振動特性データ
をバスを介してＲＡＭ３７６に蓄積し、さらに蓄積デー
タに基づいて操作情報への変換のための演算処理を実行
し、変換した操作情報を通信インタフェース３７８を介
して表示画像制御処理装置３００側へ出力する。ＲＯＭ
（Read-Only-Memory）３７５は、ＣＰＵ３７４が実行す
るプログラム、あるいは演算パラメータとしての固定デ
ータを格納する。ＣＰＵ３７４の変換処理によって取得
した操作情報は、必要に応じてＲＡＭ（Random Access
Memory）３７６に蓄積する。また、ＲＡＭ（Random Acc
ess Memory）３７６は、ＣＰＵ３７４の処理において実
行されるプログラム、およびプログラム処理において適
宜変化するパラメータの格納エリア、ワーク領域として
使用される。
【００７２】通信インタフェース３７８は、表示画像制
御処理装置３００の受信部３０７に対して例えば赤外光
等による無線通信を実行し、ＣＰＵ３７４による演算の
結果、３軸ジャイロ３６１の動きに基づいて生成された
画像設定指令情報が出力される。
御処理装置３００の受信部３０７に対して例えば赤外光
等による無線通信を実行し、ＣＰＵ３７４による演算の
結果、３軸ジャイロ３６１の動きに基づいて生成された
画像設定指令情報が出力される。
【００７３】表示画像制御処理装置３００は、コントロ
ーラ３１１、センサ３１２等から画像の視点位置、視線
方向、画角等の各種設定指令情報（以下、視点設定コマ
ンドという）を受信すると受信コマンドに応じて画像の
選択、または合成処理を実行する。先に説明したよう
に、本発明の表示画像制御処理装置は、ユーザ指定情報
により画像の視点位置等を設定するマニュアルモード
と、予め画像に対応して設定されたプログラムに従って
画像を出力するプリセットモードとを有する。
ーラ３１１、センサ３１２等から画像の視点位置、視線
方向、画角等の各種設定指令情報（以下、視点設定コマ
ンドという）を受信すると受信コマンドに応じて画像の
選択、または合成処理を実行する。先に説明したよう
に、本発明の表示画像制御処理装置は、ユーザ指定情報
により画像の視点位置等を設定するマニュアルモード
と、予め画像に対応して設定されたプログラムに従って
画像を出力するプリセットモードとを有する。
【００７４】表示画像制御処理装置３００は、コントロ
ーラ３１１、センサ３１２等からの視点設定コマンドの
受信を検出した時点で、プリセットモードにある場合で
あっても、マニュアルモードに移行し、コントローラ等
から受信する視点設定コマンドに基づく視点位置、視線
方向、画角等の各種設定パラメータに従った画像に切り
替えた画像の表示処理を実行する。また、表示画像制御
処理装置３００は、コントローラ３１１、センサ３１２
等から画像の視点設定コマンドを受信を検出した時点
で、すでにマニュアルモードにある場合には、マニュア
ルモードを継続し、コントローラ等から新たに受信する
視点位置、視線方向、画角等の各種設定パラメータに従
った画像に切り替えた画像の表示処理を実行する。
ーラ３１１、センサ３１２等からの視点設定コマンドの
受信を検出した時点で、プリセットモードにある場合で
あっても、マニュアルモードに移行し、コントローラ等
から受信する視点設定コマンドに基づく視点位置、視線
方向、画角等の各種設定パラメータに従った画像に切り
替えた画像の表示処理を実行する。また、表示画像制御
処理装置３００は、コントローラ３１１、センサ３１２
等から画像の視点設定コマンドを受信を検出した時点
で、すでにマニュアルモードにある場合には、マニュア
ルモードを継続し、コントローラ等から新たに受信する
視点位置、視線方向、画角等の各種設定パラメータに従
った画像に切り替えた画像の表示処理を実行する。
【００７５】さらに、マニュアルモードの実行中に、予
め定められた時間（閾値時間：Ｔａ）、コントローラ３
１１、センサ３１２等から、新たな画像の視点設定コマ
ンドを受信しなかった場合には、マニュアルモードから
プリセットモードに切り替える処理を実行する。時間の
計測は、図７に示す表示画像制御処理装置３００のタイ
マ３０６が実行する。
め定められた時間（閾値時間：Ｔａ）、コントローラ３
１１、センサ３１２等から、新たな画像の視点設定コマ
ンドを受信しなかった場合には、マニュアルモードから
プリセットモードに切り替える処理を実行する。時間の
計測は、図７に示す表示画像制御処理装置３００のタイ
マ３０６が実行する。
【００７６】図１０にコントローラによる処理を実行す
る際に表示装置における表示例を示す。表示装置３８０
の右上の表示領域３８１には、現在のモードがマニュア
ルモードであるか、プリセットモードであるかの情報が
表示される。表示装置３８０の右下の表示領域３８２に
は、現在表示されている画像がどの視点位置からの画像
であるかが表示される。例えば図１０（ａ）の表示態様
は、表示装置３８０の表示画像が先に図３を用いて説明
したカメラ配置により被写体を撮影した画像データから
選択可能な画像であることを示し、現在、表示中の画像
はカメラ位置３８３の位置にほぼ相当する位置からの画
像であることを示している。図１０（ｂ）の表示態様
は、表示装置３８０の表示画像が先に図２を用いて説明
した被写体に対して３６０度周囲に配置したカメラによ
る撮影画像データから選択可能な画像であることを示
し、現在、表示中の画像はカメラ位置３８４の位置にほ
ぼ相当する位置からの画像であることを示している。図
１０（ｃ）の表示態様は、表示装置３８０の表示画像が
先に図４を用いて説明した２つの被写体に対してそれぞ
れ３６０度周囲に配置したカメラによる撮影画像データ
から選択可能な画像であることを示し、現在、表示中の
画像はカメラ位置３８５の位置にほぼ相当する位置から
の画像であることを示している。図１０（ｄ）の表示態
様は、表示装置３８０の表示画像が先に図５を用いて説
明した平面３６０度、または全天球型の画像撮影用のカ
メラ配置による撮影画像データから選択可能な画像であ
ることを示し、現在、表示中の画像はカメラ位置３８６
の位置にほぼ相当する位置からの画像であることを示し
ている。
る際に表示装置における表示例を示す。表示装置３８０
の右上の表示領域３８１には、現在のモードがマニュア
ルモードであるか、プリセットモードであるかの情報が
表示される。表示装置３８０の右下の表示領域３８２に
は、現在表示されている画像がどの視点位置からの画像
であるかが表示される。例えば図１０（ａ）の表示態様
は、表示装置３８０の表示画像が先に図３を用いて説明
したカメラ配置により被写体を撮影した画像データから
選択可能な画像であることを示し、現在、表示中の画像
はカメラ位置３８３の位置にほぼ相当する位置からの画
像であることを示している。図１０（ｂ）の表示態様
は、表示装置３８０の表示画像が先に図２を用いて説明
した被写体に対して３６０度周囲に配置したカメラによ
る撮影画像データから選択可能な画像であることを示
し、現在、表示中の画像はカメラ位置３８４の位置にほ
ぼ相当する位置からの画像であることを示している。図
１０（ｃ）の表示態様は、表示装置３８０の表示画像が
先に図４を用いて説明した２つの被写体に対してそれぞ
れ３６０度周囲に配置したカメラによる撮影画像データ
から選択可能な画像であることを示し、現在、表示中の
画像はカメラ位置３８５の位置にほぼ相当する位置から
の画像であることを示している。図１０（ｄ）の表示態
様は、表示装置３８０の表示画像が先に図５を用いて説
明した平面３６０度、または全天球型の画像撮影用のカ
メラ配置による撮影画像データから選択可能な画像であ
ることを示し、現在、表示中の画像はカメラ位置３８６
の位置にほぼ相当する位置からの画像であることを示し
ている。
【００７７】なお、先に図５を参照して説明したカメラ
配置、すなわち、平面の周囲３６０度画像を撮影し、表
示する構成においても、図１０（ａ）、（ｂ）、（ｃ）
と同様のカメラ位置識別表示を用いることが可能であ
る。ただし、この場合は、カメラの撮影方向が外側に向
かっていることを示すことになる。
配置、すなわち、平面の周囲３６０度画像を撮影し、表
示する構成においても、図１０（ａ）、（ｂ）、（ｃ）
と同様のカメラ位置識別表示を用いることが可能であ
る。ただし、この場合は、カメラの撮影方向が外側に向
かっていることを示すことになる。
【００７８】ユーザは、例えばコントローラのスイッチ
操作により、これらの視点位置を変更することが可能と
なる。例えば図８に示すコントローラの視点位置移動部
３５４の操作により、図１０（ａ）の場合であれば、９
箇所のカメラ位置を順次変更することが可能であり、図
１０（ｂ）の場合であれば、５箇所のカメラ位置を順次
変更することが可能であり、図１０（ｃ）の場合であれ
ば、１０箇所のカメラ位置を順次変更することが可能と
なる。図１０（ｄ）の場合であれば、設定されたカメラ
数：ｎ箇所のカメラ位置を順次変更することが可能とな
る。
操作により、これらの視点位置を変更することが可能と
なる。例えば図８に示すコントローラの視点位置移動部
３５４の操作により、図１０（ａ）の場合であれば、９
箇所のカメラ位置を順次変更することが可能であり、図
１０（ｂ）の場合であれば、５箇所のカメラ位置を順次
変更することが可能であり、図１０（ｃ）の場合であれ
ば、１０箇所のカメラ位置を順次変更することが可能と
なる。図１０（ｄ）の場合であれば、設定されたカメラ
数：ｎ箇所のカメラ位置を順次変更することが可能とな
る。
【００７９】図１１に本発明の表示画像制御処理装置に
おけるマニュアルモードと、プリセットモードとの移行
処理態様を説明する図を示す。図１１に示すように、予
め画像に対応して設定されたプログラムに従った視点位
置、視線方向、画角等を設定した出力画像としてのプリ
セット画像４０１と、コントローラ、センサからの視点
設定コマンドに基づいて視点位置、視線方向、画角等が
設定されたマニュアル設定画像４０２との間で、コント
ローラからの入力に基づいてプリセット画像４０１から
マニュアル設定画像４０２に移行する。また、予め定め
られた時間（閾値時間：Ｔａ）、コントローラ等から、
新たな画像の視点設定コマンドを受信しなかった場合に
は、マニュアル設定画像４０２からプリセット画像４０
１に移行する。
おけるマニュアルモードと、プリセットモードとの移行
処理態様を説明する図を示す。図１１に示すように、予
め画像に対応して設定されたプログラムに従った視点位
置、視線方向、画角等を設定した出力画像としてのプリ
セット画像４０１と、コントローラ、センサからの視点
設定コマンドに基づいて視点位置、視線方向、画角等が
設定されたマニュアル設定画像４０２との間で、コント
ローラからの入力に基づいてプリセット画像４０１から
マニュアル設定画像４０２に移行する。また、予め定め
られた時間（閾値時間：Ｔａ）、コントローラ等から、
新たな画像の視点設定コマンドを受信しなかった場合に
は、マニュアル設定画像４０２からプリセット画像４０
１に移行する。
【００８０】マニュアル設定画像４０２の表示処理中
に、予め定められた時間（閾値時間：Ｔａ）以内にコン
トローラ等から、新たな画像の視点設定コマンドを受信
した場合には、コントローラ等から新たに受信した視点
位置、視線方向、画角等の各種設定パラメータに従った
マニュアル設定画像４０３に切り替える処理を実行す
る。マニュアル設定画像４０３の表示中に予め定められ
た時間（閾値時間：Ｔａ）、コントローラ等から、新た
な画像の視点設定コマンドを受信しなかった場合には、
マニュアル設定画像４０３からプリセット画像４０１に
移行し、閾値時間：Ｔａ以内にコントローラ等から、新
たな画像の視点設定コマンドを受信した場合には、新た
な視点設定コマンドに基づくマニュアル設定画像４０４
に切り替える処理を実行する。以下、同様に、閾値時
間：Ｔａ以内にコントローラ等から、新たな画像の視点
設定コマンドを受信した場合には、マニュアル設定画像
４０５に切り替える処理を実行する。
に、予め定められた時間（閾値時間：Ｔａ）以内にコン
トローラ等から、新たな画像の視点設定コマンドを受信
した場合には、コントローラ等から新たに受信した視点
位置、視線方向、画角等の各種設定パラメータに従った
マニュアル設定画像４０３に切り替える処理を実行す
る。マニュアル設定画像４０３の表示中に予め定められ
た時間（閾値時間：Ｔａ）、コントローラ等から、新た
な画像の視点設定コマンドを受信しなかった場合には、
マニュアル設定画像４０３からプリセット画像４０１に
移行し、閾値時間：Ｔａ以内にコントローラ等から、新
たな画像の視点設定コマンドを受信した場合には、新た
な視点設定コマンドに基づくマニュアル設定画像４０４
に切り替える処理を実行する。以下、同様に、閾値時
間：Ｔａ以内にコントローラ等から、新たな画像の視点
設定コマンドを受信した場合には、マニュアル設定画像
４０５に切り替える処理を実行する。
【００８１】このように、本発明の表示画像制御処理装
置においては、ユーザの指定した視点設定コマンドに基
づく画像を任意のタイミングで設定可能であり、また、
視点設定コマンドを一定時間、入力しない場合には、プ
リセットモードに切り替えられるので、ユーザの興味の
ある部分においてのみユーザの設定を有効にすることが
可能となるとともに、視点設定コマンドとして最後に設
定した視点位置に画像が固定された単調な画像が表示さ
れることがなくなる。
置においては、ユーザの指定した視点設定コマンドに基
づく画像を任意のタイミングで設定可能であり、また、
視点設定コマンドを一定時間、入力しない場合には、プ
リセットモードに切り替えられるので、ユーザの興味の
ある部分においてのみユーザの設定を有効にすることが
可能となるとともに、視点設定コマンドとして最後に設
定した視点位置に画像が固定された単調な画像が表示さ
れることがなくなる。
【００８２】図１２に表示画像の、マニュアルモード
と、プリセットモードとの移行処理を時間の経過に対応
する処理として説明する図を示す。図１２は、横軸に時
間（ｔ）、縦軸に視線方向を示した図である。この図は
視線方向のみのデータを示しているが、この他にも視点
位置、画角についても同様のシーケンスでの処理が実行
される。
と、プリセットモードとの移行処理を時間の経過に対応
する処理として説明する図を示す。図１２は、横軸に時
間（ｔ）、縦軸に視線方向を示した図である。この図は
視線方向のみのデータを示しているが、この他にも視点
位置、画角についても同様のシーケンスでの処理が実行
される。
【００８３】まず、時間Ｔ０からＴ１までは、コントロ
ーラからの視点設定コマンド入力がない状態であり、こ
の期間はプリセットモードによって、画像に対応して設
定された視線方向パラメータに基づいて画像表示がなさ
れる。時間Ｔ１において、ユーザがコントローラまたは
センサから視点設定コマンドを送信すると、プリセット
モードからマニュアルモードに切り替えられ、その後、
時間Ｔ２まで継続して、または断続的にユーザによるコ
ントローラまたはセンサから視点設定コマンドの送信が
実行され、マニュアルモードが継続され、視点設定コマ
ンドに基づいて視線方向が切り替えられた画像が表示さ
れる。
ーラからの視点設定コマンド入力がない状態であり、こ
の期間はプリセットモードによって、画像に対応して設
定された視線方向パラメータに基づいて画像表示がなさ
れる。時間Ｔ１において、ユーザがコントローラまたは
センサから視点設定コマンドを送信すると、プリセット
モードからマニュアルモードに切り替えられ、その後、
時間Ｔ２まで継続して、または断続的にユーザによるコ
ントローラまたはセンサから視点設定コマンドの送信が
実行され、マニュアルモードが継続され、視点設定コマ
ンドに基づいて視線方向が切り替えられた画像が表示さ
れる。
【００８４】時間Ｔ２から時間Ｔ３まで継続してコント
ローラからの視点設定コマンド入力がなく、コマンド非
入力時間が閾値時間：Ｔａに達したと判定されると、マ
ニュアルモードからプリセットモードへ移行し、画像に
対応して予め設定された視線方向パラメータに基づく画
像が表示される。
ローラからの視点設定コマンド入力がなく、コマンド非
入力時間が閾値時間：Ｔａに達したと判定されると、マ
ニュアルモードからプリセットモードへ移行し、画像に
対応して予め設定された視線方向パラメータに基づく画
像が表示される。
【００８５】なお、時間Ｔ３において、閾値時間：Ｔａ
に達したと判定された場合に、プリセットモードに従っ
た画像を表示装置に表示することになるが、この際の表
示コンテンツのフレームは、マニュアルモード終了時点
（Ｔ＝Ｔ３）に時間的に継続するフレームであるポイン
トＰ１としたり、または、プリセットモードからマニュ
アルモードに切り替えたポイントＰ３としたり、あるい
は、例えばコンテンツが複数曲の音楽コンテンツである
場合などにおいては、曲の区切りポイントＰ２とするな
ど、設定に従って各種の移行ポイントを設定することが
可能である。
に達したと判定された場合に、プリセットモードに従っ
た画像を表示装置に表示することになるが、この際の表
示コンテンツのフレームは、マニュアルモード終了時点
（Ｔ＝Ｔ３）に時間的に継続するフレームであるポイン
トＰ１としたり、または、プリセットモードからマニュ
アルモードに切り替えたポイントＰ３としたり、あるい
は、例えばコンテンツが複数曲の音楽コンテンツである
場合などにおいては、曲の区切りポイントＰ２とするな
ど、設定に従って各種の移行ポイントを設定することが
可能である。
【００８６】記憶媒体からコンテンツを読み出して表示
装置に表示する場合と、サーバからの配信コンテンツを
表示装置に表示する場合の処理例について、図１３、図
１４を参照して説明する。
装置に表示する場合と、サーバからの配信コンテンツを
表示装置に表示する場合の処理例について、図１３、図
１４を参照して説明する。
【００８７】図１３は、複数視点画像データを格納した
ＤＶＤ、ＣＤ等の記憶媒体５３１から表示画像制御処理
装置５２１、コントローラ５２２、またはセンサ５２３
からなるユーザシステム５２０が画像を読み出して表示
装置５３２に画像を表示する構成例である。
ＤＶＤ、ＣＤ等の記憶媒体５３１から表示画像制御処理
装置５２１、コントローラ５２２、またはセンサ５２３
からなるユーザシステム５２０が画像を読み出して表示
装置５３２に画像を表示する構成例である。
【００８８】この構成において、プリセットモードに従
った画像は、表示画像制御処理装置５２１またはコント
ローラ５２２において再生コンテンツの指定がなされる
と、指定コンテンツに対応するプリセット表示画像プロ
グラムが、記憶媒体５３１から読み出されて表示画像制
御処理装置５２１内の記憶部（図７に示す記憶部３０
５）に格納される。また、コンテンツがどのような複数
視点画像を保有しているかについての情報も併せて取得
し、表示画像制御処理装置５２１内の記憶部に格納す
る。例えば先に図２を参照して説明した３６０度画像、
図３を参照して説明した９つの位置の情報である。これ
らの情報は、コンテンツの表示装置５３２に対する表示
時に、先に図１０を参照して説明した各態様で操作用情
報として表示される。
った画像は、表示画像制御処理装置５２１またはコント
ローラ５２２において再生コンテンツの指定がなされる
と、指定コンテンツに対応するプリセット表示画像プロ
グラムが、記憶媒体５３１から読み出されて表示画像制
御処理装置５２１内の記憶部（図７に示す記憶部３０
５）に格納される。また、コンテンツがどのような複数
視点画像を保有しているかについての情報も併せて取得
し、表示画像制御処理装置５２１内の記憶部に格納す
る。例えば先に図２を参照して説明した３６０度画像、
図３を参照して説明した９つの位置の情報である。これ
らの情報は、コンテンツの表示装置５３２に対する表示
時に、先に図１０を参照して説明した各態様で操作用情
報として表示される。
【００８９】コンテンツの再生がまず記憶部に格納され
たプリセット表示画像プログラムに従って開始され、プ
リセット表示画像プログラムに設定された視点位置、視
線方向、画角の各パラメータに対応した画像データが記
憶媒体５３１から読み出されて表示装置５３２に表示さ
れる。
たプリセット表示画像プログラムに従って開始され、プ
リセット表示画像プログラムに設定された視点位置、視
線方向、画角の各パラメータに対応した画像データが記
憶媒体５３１から読み出されて表示装置５３２に表示さ
れる。
【００９０】その後、コントローラ５２２、またはセン
サ５２３からの視点設定コマンドが表示画像制御処理装
置５２１に入力されると、表示画像制御処理装置５２１
は、受信した視点設定コマンドに対応する視点位置、視
線方向、画角を持つ画像を記憶媒体５３１から取得する
ために、視点設定コマンドに対応する視点位置、視線方
向、画角に従って、これらのパラメータに最も近いパラ
メータを持つ画像を選択し、選択画像の指定情報に従っ
て記憶媒体５３１から対応する画像データを取得する。
サ５２３からの視点設定コマンドが表示画像制御処理装
置５２１に入力されると、表示画像制御処理装置５２１
は、受信した視点設定コマンドに対応する視点位置、視
線方向、画角を持つ画像を記憶媒体５３１から取得する
ために、視点設定コマンドに対応する視点位置、視線方
向、画角に従って、これらのパラメータに最も近いパラ
メータを持つ画像を選択し、選択画像の指定情報に従っ
て記憶媒体５３１から対応する画像データを取得する。
【００９１】例えば、３６０度画像データが記憶媒体に
格納されている場合は、視点設定コマンドで任意に指定
した角度に完全一致するデータを記憶媒体から読み出す
ることが可能となるが、図２を参照して説明したように
５つのカメラからの画像のみが記憶媒体に格納されてい
る場合には、視点設定コマンドに対応する視点位置、視
線方向、画角にもっとも近い画像を取得して表示する。
なお、先に説明した様に複数のカメラから取得した画像
に基づいてカメラ間の画像をビューインタポレーション
等の手法によって生成する処理を表示画像制御処理装置
５２１内で実行する構成としてもよく、この場合には、
同一フレームに属する複数の異なる視点位置からの画像
データを記憶媒体から読み出して、表示画像制御処理装
置５２１内で、、視点設定コマンドに対応する視点位
置、視線方向、画角に対応する画像を生成する処理を実
行し、生成した画像を表示装置５３２に表示する。
格納されている場合は、視点設定コマンドで任意に指定
した角度に完全一致するデータを記憶媒体から読み出す
ることが可能となるが、図２を参照して説明したように
５つのカメラからの画像のみが記憶媒体に格納されてい
る場合には、視点設定コマンドに対応する視点位置、視
線方向、画角にもっとも近い画像を取得して表示する。
なお、先に説明した様に複数のカメラから取得した画像
に基づいてカメラ間の画像をビューインタポレーション
等の手法によって生成する処理を表示画像制御処理装置
５２１内で実行する構成としてもよく、この場合には、
同一フレームに属する複数の異なる視点位置からの画像
データを記憶媒体から読み出して、表示画像制御処理装
置５２１内で、、視点設定コマンドに対応する視点位
置、視線方向、画角に対応する画像を生成する処理を実
行し、生成した画像を表示装置５３２に表示する。
【００９２】図１４（ａ）は、複数視点画像データをサ
ーバからネットワークを介して受信する構成であり、サ
ーバ５４１から表示画像制御処理装置５２１、コントロ
ーラ５２２、またはセンサ５２３からなるユーザシステ
ム５２０が画像を受信して表示装置５４２に画像を表示
する構成例である。
ーバからネットワークを介して受信する構成であり、サ
ーバ５４１から表示画像制御処理装置５２１、コントロ
ーラ５２２、またはセンサ５２３からなるユーザシステ
ム５２０が画像を受信して表示装置５４２に画像を表示
する構成例である。
【００９３】この構成において、サーバ５４１から表示
画像制御処理装置５２１に対しては、複数視点画像デー
タの全体データが配信され、表示画像制御処理装置５２
１内の記憶部（図７に示す記憶部３０５）に全体データ
を格納する。例えば先に図２を参照して説明した３６０
度画像、図３を参照して説明した９つの位置のすべての
画像情報等である。さらに、コンテンツに対応するプリ
セット表示画像プログラムについても、サーバ５４１か
ら表示画像制御処理装置５２１に送信され、記憶部に格
納される。また、コンテンツがどのような複数視点画像
を保有しているかについての情報も併せて取得し、表示
画像制御処理装置５２１内の記憶部に格納する。これら
の情報は、コンテンツの表示装置５４２に対する表示時
に、先に図１０を参照して説明した各態様で操作用情報
として表示される。
画像制御処理装置５２１に対しては、複数視点画像デー
タの全体データが配信され、表示画像制御処理装置５２
１内の記憶部（図７に示す記憶部３０５）に全体データ
を格納する。例えば先に図２を参照して説明した３６０
度画像、図３を参照して説明した９つの位置のすべての
画像情報等である。さらに、コンテンツに対応するプリ
セット表示画像プログラムについても、サーバ５４１か
ら表示画像制御処理装置５２１に送信され、記憶部に格
納される。また、コンテンツがどのような複数視点画像
を保有しているかについての情報も併せて取得し、表示
画像制御処理装置５２１内の記憶部に格納する。これら
の情報は、コンテンツの表示装置５４２に対する表示時
に、先に図１０を参照して説明した各態様で操作用情報
として表示される。
【００９４】コンテンツの再生がまず記憶部に格納され
たプリセット表示画像プログラムに従って開始され、プ
リセット表示画像プログラムに設定された視点位置、視
線方向、画角の各パラメータに対応した画像データが表
示画像制御処理装置３００内の記憶部３０５から読み出
されて表示装置５４２に表示される。
たプリセット表示画像プログラムに従って開始され、プ
リセット表示画像プログラムに設定された視点位置、視
線方向、画角の各パラメータに対応した画像データが表
示画像制御処理装置３００内の記憶部３０５から読み出
されて表示装置５４２に表示される。
【００９５】その後、コントローラ５２２、またはセン
サ５２３からの視点設定コマンドが表示画像制御処理装
置５２１に入力されると、表示画像制御処理装置５２１
は、受信した視点設定コマンドに対応する視点位置、視
線方向、画角を持つ画像を記憶部３０５から取得するた
めに、視点設定コマンドに対応する視点位置、視線方
向、画角に従って、これらのパラメータに最も近いパラ
メータを持つ画像を選択し、選択画像の指定情報に従っ
て記憶部３０５から対応する画像データを取得する。こ
の際、前述の例と同様、ビューインタポレーション等の
手法によって画像の生成処理を実行する構成としてもよ
い。
サ５２３からの視点設定コマンドが表示画像制御処理装
置５２１に入力されると、表示画像制御処理装置５２１
は、受信した視点設定コマンドに対応する視点位置、視
線方向、画角を持つ画像を記憶部３０５から取得するた
めに、視点設定コマンドに対応する視点位置、視線方
向、画角に従って、これらのパラメータに最も近いパラ
メータを持つ画像を選択し、選択画像の指定情報に従っ
て記憶部３０５から対応する画像データを取得する。こ
の際、前述の例と同様、ビューインタポレーション等の
手法によって画像の生成処理を実行する構成としてもよ
い。
【００９６】図１４（ｂ）は、図１４（ａ）と同様、複
数視点画像データをサーバからネットワークを介して受
信する構成であるが、本構成では、サーバ５４３から表
示画像制御処理装置５２１に対しては、表示画像制御処
理装置５２１から要求のあった視点画像データのみが配
信される。
数視点画像データをサーバからネットワークを介して受
信する構成であるが、本構成では、サーバ５４３から表
示画像制御処理装置５２１に対しては、表示画像制御処
理装置５２１から要求のあった視点画像データのみが配
信される。
【００９７】表示画像制御処理装置５２１からコンテン
ツ要求がなされるとプリセット表示画像プログラムに従
った特定の視点画像データがユーザシステム５２０の表
示画像制御処理装置５２１に送信され、表示画像制御処
理装置は、受信データを表示装置５４４に送信する。な
お、サーバ５４３から表示画像制御処理装置５２１に対
しては、コンテンツがどのような複数視点画像を保有し
ているかについての情報も送信され、その態様に従っ
て、表示装置５４４には、先に図１０を参照して説明し
た操作用情報が表示される。
ツ要求がなされるとプリセット表示画像プログラムに従
った特定の視点画像データがユーザシステム５２０の表
示画像制御処理装置５２１に送信され、表示画像制御処
理装置は、受信データを表示装置５４４に送信する。な
お、サーバ５４３から表示画像制御処理装置５２１に対
しては、コンテンツがどのような複数視点画像を保有し
ているかについての情報も送信され、その態様に従っ
て、表示装置５４４には、先に図１０を参照して説明し
た操作用情報が表示される。
【００９８】その後、コントローラ５２２、またはセン
サ５２３からの視点設定コマンドが表示画像制御処理装
置５２１に入力されると、表示画像制御処理装置５２１
は、受信した視点設定コマンドに対応する視点位置、視
線方向、画角を持つ画像をサーバ５４３から取得するた
めに、視点設定コマンド、またはコマンドに基づいて算
出した視点位置、視線方向、画角情報、あるいはこれら
の視点位置、視線方向、画角情報に基づいて選択される
画像指定情報のいずれかをサーバ５４３に送信する。
サ５２３からの視点設定コマンドが表示画像制御処理装
置５２１に入力されると、表示画像制御処理装置５２１
は、受信した視点設定コマンドに対応する視点位置、視
線方向、画角を持つ画像をサーバ５４３から取得するた
めに、視点設定コマンド、またはコマンドに基づいて算
出した視点位置、視線方向、画角情報、あるいはこれら
の視点位置、視線方向、画角情報に基づいて選択される
画像指定情報のいずれかをサーバ５４３に送信する。
【００９９】サーバ５４３は、表示画像制御処理装置５
２１から受信した情報に基づいて表示用の画像データを
選択し、表示画像制御処理装置５２１に送信する。な
お、３６０度画像データが記憶媒体に格納されている場
合は、視点設定コマンドで任意に指定した角度に完全一
致するデータをサーバが抽出して送信することが可能と
なるが、限られた位置のカメラからの画像のみをサーバ
５４３が有する場合には、視点設定コマンドに対応する
視点位置、視線方向、画角にもっとも近い画像を取得し
て送信する。
２１から受信した情報に基づいて表示用の画像データを
選択し、表示画像制御処理装置５２１に送信する。な
お、３６０度画像データが記憶媒体に格納されている場
合は、視点設定コマンドで任意に指定した角度に完全一
致するデータをサーバが抽出して送信することが可能と
なるが、限られた位置のカメラからの画像のみをサーバ
５４３が有する場合には、視点設定コマンドに対応する
視点位置、視線方向、画角にもっとも近い画像を取得し
て送信する。
【０１００】なお、先に説明した様に複数のカメラから
取得した画像に基づいてカメラ間の画像をビューインタ
ポレーション等の手法によって生成する処理をサーバ５
４３において実行し、視点設定コマンドで指定した情報
に一致する画像データを生成してユーザシステム５２０
に送信する構成としてもよい。また、画像合成処理を表
示画像制御処理装置５２１内で実行する構成としてもよ
く、この場合には、合成処理に必要となる同一フレーム
に属する複数の異なる視点位置からの画像データをサー
バ５４３が選択して、ユーザシステム５２０に送信し、
ユーザシステム５２０内の表示画像制御処理装置５２１
において、視点設定コマンドに対応する視点位置、視線
方向、画角に対応する画像を生成する処理を実行し、生
成した画像を表示装置５４４に表示する構成としてもよ
い。
取得した画像に基づいてカメラ間の画像をビューインタ
ポレーション等の手法によって生成する処理をサーバ５
４３において実行し、視点設定コマンドで指定した情報
に一致する画像データを生成してユーザシステム５２０
に送信する構成としてもよい。また、画像合成処理を表
示画像制御処理装置５２１内で実行する構成としてもよ
く、この場合には、合成処理に必要となる同一フレーム
に属する複数の異なる視点位置からの画像データをサー
バ５４３が選択して、ユーザシステム５２０に送信し、
ユーザシステム５２０内の表示画像制御処理装置５２１
において、視点設定コマンドに対応する視点位置、視線
方向、画角に対応する画像を生成する処理を実行し、生
成した画像を表示装置５４４に表示する構成としてもよ
い。
【０１０１】画像配信を実行するサーバの構成例を図１
５に示す。ＣＰＵ(Central processing Unit)７１１
は、各種アプリケーションプログラムや、ＯＳ（Operat
ing System）を実行するプロセッサである。ＲＯＭ（Re
ad-Only-Memory）７１２は、ＣＰＵ７１１が実行するプ
ログラム、あるいは演算パラメータとしての固定データ
を格納する。ＲＡＭ（Random Access Memory）７１３
は、ＣＰＵ７１１の処理において実行されるプログラ
ム、およびプログラム処理において適宜変化するパラメ
ータの格納エリア、ワーク領域として使用される。
５に示す。ＣＰＵ(Central processing Unit)７１１
は、各種アプリケーションプログラムや、ＯＳ（Operat
ing System）を実行するプロセッサである。ＲＯＭ（Re
ad-Only-Memory）７１２は、ＣＰＵ７１１が実行するプ
ログラム、あるいは演算パラメータとしての固定データ
を格納する。ＲＡＭ（Random Access Memory）７１３
は、ＣＰＵ７１１の処理において実行されるプログラ
ム、およびプログラム処理において適宜変化するパラメ
ータの格納エリア、ワーク領域として使用される。
【０１０２】ＨＤＤ７１４はハードディスクの制御を実
行し、ハードディスクに対する各種データ、プログラム
の格納処理および読み出し処理を実行する。バス７２０
はＰＣＩ（Peripheral Component Internet/Interfac
e）バス等により構成され、各モジュール、入出力イン
タフェース７２１を介した各入手力装置とのデータ転送
を可能にしている。
行し、ハードディスクに対する各種データ、プログラム
の格納処理および読み出し処理を実行する。バス７２０
はＰＣＩ（Peripheral Component Internet/Interfac
e）バス等により構成され、各モジュール、入出力イン
タフェース７２１を介した各入手力装置とのデータ転送
を可能にしている。
【０１０３】入力部７１５は、例えばキーボード、ポイ
ンティングデバイス等によって構成され、ＣＰＵ７１１
に各種のコマンド、データを入力する。出力部７１６
は、例えばＣＲＴ、液晶ディスプレイ等であり、各種情
報をテキストまたはイメージ等により表示する。
ンティングデバイス等によって構成され、ＣＰＵ７１１
に各種のコマンド、データを入力する。出力部７１６
は、例えばＣＲＴ、液晶ディスプレイ等であり、各種情
報をテキストまたはイメージ等により表示する。
【０１０４】通信部７１７はユーザサイトとの双方向通
信処理を実行し、ＣＰＵ７１１の制御の下に、各記憶部
から供給されたデータ、あるいはＣＰＵ７１１によって
処理されたデータを送信したり、ユーザサイトからのコ
ントロール情報を受信する処理を実行する。
信処理を実行し、ＣＰＵ７１１の制御の下に、各記憶部
から供給されたデータ、あるいはＣＰＵ７１１によって
処理されたデータを送信したり、ユーザサイトからのコ
ントロール情報を受信する処理を実行する。
【０１０５】ドライブ７１８は、フロッピー（登録商
標）ディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only
Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Dig
ital Versatile Disc)、磁気ディスク、半導体メモリな
どの記録媒体７１９の記録再生を実行するドライブであ
り、各記録媒体７１９からのプログラムまたはデータ再
生、記録媒体７１９に対するプログラムまたはデータ格
納を実行する。
標）ディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only
Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Dig
ital Versatile Disc)、磁気ディスク、半導体メモリな
どの記録媒体７１９の記録再生を実行するドライブであ
り、各記録媒体７１９からのプログラムまたはデータ再
生、記録媒体７１９に対するプログラムまたはデータ格
納を実行する。
【０１０６】各記憶媒体に記録されたプログラムまたは
データを読み出してＣＰＵ７１１において実行または処
理を行なう場合は、読み出したプログラム、データは入
出力インタフェース７２１、バス７２０を介して例えば
接続されているＲＡＭ７１３に供給される。サーバは、
ユーザサイトの表示画像制御処理装置からの画像指定情
報を受信し、指定された画像をパケット化して、ユーザ
サイトに送信する処理等を実行する。
データを読み出してＣＰＵ７１１において実行または処
理を行なう場合は、読み出したプログラム、データは入
出力インタフェース７２１、バス７２０を介して例えば
接続されているＲＡＭ７１３に供給される。サーバは、
ユーザサイトの表示画像制御処理装置からの画像指定情
報を受信し、指定された画像をパケット化して、ユーザ
サイトに送信する処理等を実行する。
【０１０７】次に、図１６に本発明の表示画像制御処理
装置において実行される表示画像の選択、すなわちプリ
セットモードとマニュアルモードとの移行処理を中心と
して説明する処理フローを示す。図１６の処理フローの
各ステップについて説明する。
装置において実行される表示画像の選択、すなわちプリ
セットモードとマニュアルモードとの移行処理を中心と
して説明する処理フローを示す。図１６の処理フローの
各ステップについて説明する。
【０１０８】ステップＳ１０１では、まず、記憶媒体か
ら読み出した、またはサーバ等から配信された画像を画
像に対応するプリセット表示画像プログラムに従って選
択される画像、すなわちプリセット画像を表示装置に表
示する。ステップＳ１０２では、ユーザコマンドの入力
の有無を判定する。これは、コントローラまたはセンサ
からの視点設定コマンドを受信したか否かを判定する処
理である。
ら読み出した、またはサーバ等から配信された画像を画
像に対応するプリセット表示画像プログラムに従って選
択される画像、すなわちプリセット画像を表示装置に表
示する。ステップＳ１０２では、ユーザコマンドの入力
の有無を判定する。これは、コントローラまたはセンサ
からの視点設定コマンドを受信したか否かを判定する処
理である。
【０１０９】ユーザコマンドの入力がない場合は、プリ
セット画像の表示を継続して実行する。ユーザコマンド
の入力があった場合は、ステップＳ１０３に進み、コン
トローラまたはセンサからの視点設定コマンドに基づい
て、コマンドに対応する視点位置、視線方向、画角等を
持つ画像、すなわちマニュアルモード画像を表示装置に
表示する。
セット画像の表示を継続して実行する。ユーザコマンド
の入力があった場合は、ステップＳ１０３に進み、コン
トローラまたはセンサからの視点設定コマンドに基づい
て、コマンドに対応する視点位置、視線方向、画角等を
持つ画像、すなわちマニュアルモード画像を表示装置に
表示する。
【０１１０】このマニュアルモード画像の表示開始時点
で、ステップＳ１０４のタイマＯＮ設定が実行される。
ステップＳ１０５では、コントローラまたはセンサから
の最後の視点設定コマンド入力からの経過時間と、予め
定められた時間（閾値時間：Ｔａ）との比較が実行さ
れ、閾値時間：Ｔａ以内に、新たな視点設定コマンドを
受信した場合は、ステップＳ１０３でコマンドに対応す
る視点位置、視線方向、画角等を持つ画像、すなわちマ
ニュアルモード画像の表示を継続して実行する。
で、ステップＳ１０４のタイマＯＮ設定が実行される。
ステップＳ１０５では、コントローラまたはセンサから
の最後の視点設定コマンド入力からの経過時間と、予め
定められた時間（閾値時間：Ｔａ）との比較が実行さ
れ、閾値時間：Ｔａ以内に、新たな視点設定コマンドを
受信した場合は、ステップＳ１０３でコマンドに対応す
る視点位置、視線方向、画角等を持つ画像、すなわちマ
ニュアルモード画像の表示を継続して実行する。
【０１１１】閾値時間：Ｔａ以内に、新たな視点設定コ
マンドを受信しなかった場合は、ステップＳ１０６に進
み、プリセット表示画像プログラムに従って選択される
画像、すなわちプリセット画像を表示装置に表示する。
なお、先に図１２を参照して説明したように、マニュア
ルモードからプリセットモードに復帰する場合のコンテ
ンツの画像は、マニュアルモードの終了フレームに継続
するフレームの画像を表示、または、マニュアルモード
の開始ポイントに戻ってプリセット画像を表示、あるい
は曲の区切り等のポイントに戻って画像を表示するなど
の処理を予め設定した設定情報に従って実行する。な
お、フローには示していないが、マニュアルモードから
プリセットモードへの移行処理は、コントローラからモ
ード移行コマンドを発行し、表示画像制御処理装置がモ
ード移行コマンドを受信した場合にも実行される。
マンドを受信しなかった場合は、ステップＳ１０６に進
み、プリセット表示画像プログラムに従って選択される
画像、すなわちプリセット画像を表示装置に表示する。
なお、先に図１２を参照して説明したように、マニュア
ルモードからプリセットモードに復帰する場合のコンテ
ンツの画像は、マニュアルモードの終了フレームに継続
するフレームの画像を表示、または、マニュアルモード
の開始ポイントに戻ってプリセット画像を表示、あるい
は曲の区切り等のポイントに戻って画像を表示するなど
の処理を予め設定した設定情報に従って実行する。な
お、フローには示していないが、マニュアルモードから
プリセットモードへの移行処理は、コントローラからモ
ード移行コマンドを発行し、表示画像制御処理装置がモ
ード移行コマンドを受信した場合にも実行される。
【０１１２】以上、特定の実施例を参照しながら、本発
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。
【０１１３】なお、明細書中において説明した一連の処
理はハードウェア、またはソフトウェア、あるいは両者
の複合構成によって実行することが可能である。ソフト
ウェアによる処理を実行する場合は、処理シーケンスを
記録したプログラムを、専用のハードウェアに組み込ま
れたコンピュータ内のメモリにインストールして実行さ
せるか、あるいは、各種処理が実行可能な汎用コンピュ
ータにプログラムをインストールして実行させることが
可能である。
理はハードウェア、またはソフトウェア、あるいは両者
の複合構成によって実行することが可能である。ソフト
ウェアによる処理を実行する場合は、処理シーケンスを
記録したプログラムを、専用のハードウェアに組み込ま
れたコンピュータ内のメモリにインストールして実行さ
せるか、あるいは、各種処理が実行可能な汎用コンピュ
ータにプログラムをインストールして実行させることが
可能である。
【０１１４】例えば、プログラムは記録媒体としてのハ
ードディスクやＲＯＭ（Read OnlyMemory)に予め記録し
ておくことができる。あるいは、プログラムはフロッピ
ーディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Me
mory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digit
al Versatile Disc)、磁気ディスク、半導体メモリなど
のリムーバブル記録媒体に、一時的あるいは永続的に格
納（記録）しておくことができる。このようなリムーバ
ブル記録媒体は、いわゆるパッケージソフトウエアとし
て提供することができる。
ードディスクやＲＯＭ（Read OnlyMemory)に予め記録し
ておくことができる。あるいは、プログラムはフロッピ
ーディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Me
mory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digit
al Versatile Disc)、磁気ディスク、半導体メモリなど
のリムーバブル記録媒体に、一時的あるいは永続的に格
納（記録）しておくことができる。このようなリムーバ
ブル記録媒体は、いわゆるパッケージソフトウエアとし
て提供することができる。
【０１１５】なお、プログラムは、上述したようなリム
ーバブル記録媒体からコンピュータにインストールする
他、ダウンロードサイトから、コンピュータに無線転送
したり、ＬＡＮ(Local Area Network)、インターネット
といったネットワークを介して、コンピュータに有線で
転送し、コンピュータでは、そのようにして転送されて
くるプログラムを受信し、内蔵するハードディスク等の
記録媒体にインストールすることができる。
ーバブル記録媒体からコンピュータにインストールする
他、ダウンロードサイトから、コンピュータに無線転送
したり、ＬＡＮ(Local Area Network)、インターネット
といったネットワークを介して、コンピュータに有線で
転送し、コンピュータでは、そのようにして転送されて
くるプログラムを受信し、内蔵するハードディスク等の
記録媒体にインストールすることができる。
【０１１６】なお、明細書に記載された各種の処理は、
記載に従って時系列に実行されるのみならず、処理を実
行する装置の処理能力あるいは必要に応じて並列的にあ
るいは個別に実行されてもよい。また、本明細書におい
てシステムとは、複数の装置の論理的集合構成であり、
各構成の装置が同一筐体内にあるものには限らない。
記載に従って時系列に実行されるのみならず、処理を実
行する装置の処理能力あるいは必要に応じて並列的にあ
るいは個別に実行されてもよい。また、本明細書におい
てシステムとは、複数の装置の論理的集合構成であり、
各構成の装置が同一筐体内にあるものには限らない。
【０１１７】
【発明の効果】以上説明してきたように、本発明の構成
によれば、様々な視点からの動画像データを記憶媒体か
ら再生、あるいはサーバからインターネット等のネット
ワーク、あるいは゛ロードキャスト配信データとして受
信して表示装置に表示する際、ユーザの操作するコント
ローラまたはヘッドトラッカ等のセンサからの視点設定
コマンドに基づく視点位置等の指定情報に基づく選択画
像、あるいは合成して生成した合成画像を表示するマニ
ュアル処理態様と、予め動画像に対応して設定された表
示プログラムに従って、様々な視点位置からの動画像デ
ータを順次切り替えて表示するプリセット処理態様とを
任意のタイミングで切り替えることが可能となる。
によれば、様々な視点からの動画像データを記憶媒体か
ら再生、あるいはサーバからインターネット等のネット
ワーク、あるいは゛ロードキャスト配信データとして受
信して表示装置に表示する際、ユーザの操作するコント
ローラまたはヘッドトラッカ等のセンサからの視点設定
コマンドに基づく視点位置等の指定情報に基づく選択画
像、あるいは合成して生成した合成画像を表示するマニ
ュアル処理態様と、予め動画像に対応して設定された表
示プログラムに従って、様々な視点位置からの動画像デ
ータを順次切り替えて表示するプリセット処理態様とを
任意のタイミングで切り替えることが可能となる。
【０１１８】さらに、本発明の表示画像制御処理装置に
おいては、ユーザの指定した視点設定コマンドに基づく
画像を任意のタイミングで設定可能であり、また、視点
設定コマンドを一定時間、入力しない場合には、プリセ
ットモードに切り替えられるので、ユーザの興味のある
部分においてのみユーザの設定を有効にすることが可能
となるとともに、視点設定コマンドとして最後に設定し
た視点位置に画像が固定された単調な画像が表示される
ことがなくなる。
おいては、ユーザの指定した視点設定コマンドに基づく
画像を任意のタイミングで設定可能であり、また、視点
設定コマンドを一定時間、入力しない場合には、プリセ
ットモードに切り替えられるので、ユーザの興味のある
部分においてのみユーザの設定を有効にすることが可能
となるとともに、視点設定コマンドとして最後に設定し
た視点位置に画像が固定された単調な画像が表示される
ことがなくなる。
【図１】本発明の表示画像制御処理装置を適用した処理
を実行するシステム例を説明する図である。
を実行するシステム例を説明する図である。
【図２】複数視点画像のデータ取得処理およびデータ構
成例について説明する図である。
成例について説明する図である。
【図３】複数視点画像のデータ取得処理例について説明
する図である。
する図である。
【図４】複数視点画像のデータ取得処理例について説明
する図である。
する図である。
【図５】複数視点画像のデータ取得処理例について説明
する図である。
する図である。
【図６】本発明の表示画像制御処理装置において処理さ
れる画像に対応するパラメータ構成を説明する図であ
る。
れる画像に対応するパラメータ構成を説明する図であ
る。
【図７】本発明の表示画像制御処理装置の構成例を示す
ブロック図である。
ブロック図である。
【図８】本発明の表示画像制御処理装置のコントローラ
構成例を示す図である。
構成例を示す図である。
【図９】本発明の表示画像制御処理装置のセンサ構成例
を示す図である。
を示す図である。
【図１０】本発明の表示画像制御処理装置を適用した画
像表示例を示す図である。
像表示例を示す図である。
【図１１】本発明の表示画像制御処理装置におけるモー
ド遷移について説明する図である。
ド遷移について説明する図である。
【図１２】本発明の表示画像制御処理装置におけるモー
ド遷移を時間経過とともに示す図である。
ド遷移を時間経過とともに示す図である。
【図１３】本発明の表示画像制御処理装置において記憶
媒体からコンテンツを再生するデータ処理例を説明する
図である。
媒体からコンテンツを再生するデータ処理例を説明する
図である。
【図１４】本発明の表示画像制御処理装置においてサー
バから受信するコンテンツを再生するデータ処理例を説
明する図である。
バから受信するコンテンツを再生するデータ処理例を説
明する図である。
【図１５】本発明の表示画像制御処理装置において処理
するコンテンツを提供するサーバのシステム構成例を説
明する図である。
するコンテンツを提供するサーバのシステム構成例を説
明する図である。
【図１６】本発明の表示画像制御処理装置においてコン
テンツを表示する際のモード移行処理について説明する
フロー図である。
テンツを表示する際のモード移行処理について説明する
フロー図である。
１００ ユーザサイト
１０１ デスクトップＰＣ
１０２ ノートＰＣ
１０３ 携帯電話
１０４ ヘッドマウントディスプレイ
１５１ メモリ
１５２ ディスク
１７０ データ通信網
１８０コンテンツ提供サイト
１８１ サーバ
２０１，２１１，２２１，２２２ 被写体
３０１ 通信インタフェース
３０２ 記憶媒体インタフェース
３０３ デコード処理部
３０４ 制御部
３０５ 記憶部
３０６ タイマ
３０７ 受信部
３０８ 表示制御部
３１０ 表示装置
３１１ コントローラ
３１２ センサ
３５１ パワースイッチ
３５２ コンテンツ選択スイッチ
３５３ 音量設定部
３５４ 視点位置設定部
３５５ 視線方向設定部
３５６ ズームイン設定部
３５７ ズームアウト設定部
３５８ カメラ選択部
３６１ ３軸ジャイロ
３６２ ジャイロ（ピッチ）
３６３ ジャイロ（ヨー）
３６４ ジャイロ（ロール）
３６５，３６６，３６７ アンプ
３７１，３７２，３７３ Ａ／Ｄ変換器
３７４ ＣＰＵ
３７５ ＲＯＭ
３７６ ＲＡＭ
３７７ インタフェース
３７８ 通信インタフェース
３８０ 表示装置
３８１，３８２ 表示領域
４０１ プリセット画像
４０２〜４０５ マニュアル設定画像
５２０ ユーザシステム
５２１ 表示画像制御処理装置
５２２ コントローラ
５２３ センサ
５３１ 記憶媒体
５３２ 表示装置
５４１，５４３ サーバ
５４２，５４４ 表示装置
７１１ ＣＰＵ
７１２ ＲＯＭ
７１３ ＲＡＭ
７１４ ＨＤＤ
７１５ 入力部
７１６ 出力部
７１７ 通信部
７１８ ドライブ
７１９ 記憶媒体
７２０ バス
７２１ 入出力インタフェース
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｈ０４Ｎ 5/93 Ｈ０４Ｎ 7/173 ６３０
7/173 ６３０ 5/93 Ｚ
(72)発明者 兼松 幸市
東京都千代田区六番町４−５ ＳＭＥ六番
町ビル 株式会社ソニー・ミュージックエ
ンタテインメント内
(72)発明者 夏目 哲
東京都品川区北品川６丁目７番35号 ソニ
ー株式会社内
(72)発明者 吉村 司
東京都品川区北品川６丁目７番35号 ソニ
ー株式会社内
Ｆターム(参考） 5C025 BA14 BA22 BA30 CA03 CA06
CA09 CB06 DA01
5C053 FA14 FA24 FA28 FA29 GB02
GB06 HA40 LA06 LA14
5C064 BB10 BC23 BC24 BC25 BD08
BD09
5C082 AA01 AA21 BA12 BB25 BB42
CA55 CA76 CA81 DA22 DA42
DA61 DA86 DA89 MM09
5E501 AA02 AC16 BA05 CA03 CB14
CC02 EA01 FA15 FB42
Claims (24)
- 【請求項１】複数視点からの画像を含む動画像データか
ら選択または合成される特定視点からの画像を表示手段
に出力する表示画像制御処理装置であり、 前記表示手段に表示すべき画像の決定処理を実行する制
御手段を有し、 前記制御手段は、動画像データに対応付けられ、表示画
像を特定する時系列データとして構成されるプリセット
表示画像プログラムに従った画像表示態様としてのプリ
セットモードと、ユーザ入力手段またはセンサからの視
点設定コマンド入力に基づいて表示画像を特定するマニ
ュアルモードの各モードのいずれかを選択して実行する
構成を有し、 プリセットモードの実行中に、前記視点設定コマンドの
入力を条件として、マニュアルモードへの移行処理を実
行し、前記表示手段に出力する画像を、入力視点設定コ
マンドに対応する視点画像へ切り替える処理を実行する
構成を有することを特徴とする表示画像制御処理装置。 - 【請求項２】前記制御手段は、 マニュアルモード実行中、あらかじめ定められた閾値時
間：Ｔａ以内に新たな視点設定コマンドの入力がないこ
とを条件として、プリセットモードへの移行処理を実行
する構成を有することを特徴とする請求項１に記載の表
示画像制御処理装置。 - 【請求項３】前記入力手段は、視点設定コマンドとし
て、画像の視点位置、視線方向、画角の少なくともいず
れかをユーザ入力により指定した視点設定コマンドを出
力する構成であり、 前記制御手段は、画像の視点位置、視線方向、画角の少
なくともいずれかを指定した視点設定コマンドに対応す
る視点画像へ切り替える処理を実行する構成であること
を特徴とする請求項１に記載の表示画像制御処理装置。 - 【請求項４】前記センサは、視点設定コマンドとして、
画像の視点位置、視線方向、画角の少なくともいずれか
をセンサによる検出情報に基づいて指定したコマンドを
出力する構成であり、 前記制御手段は、画像の視点位置、視線方向、画角の少
なくともいずれかを指定した視点設定コマンドに対応す
る視点画像へ切り替える処理を実行する構成であること
を特徴とする請求項１に記載の表示画像制御処理装置。 - 【請求項５】前記センサは、方向検出機能を持つジャイ
ロを備えた構成であり、ジャイロによって取得される方
向情報に基づくデータを前記視点設定コマンドとして出
力する構成であり、 前記制御手段は、ジャイロによって取得される方向情報
に基づくデータを含む視点設定コマンドに対応する視点
画像へ切り替える処理を実行する構成であることを特徴
とする請求項１に記載の表示画像制御処理装置。 - 【請求項６】前記センサは、ユーザの顔の撮影画像に基
づく画像分析処理に基づく視線方向検出処理手段えた構
成であり、画像分析処理によって取得される方向情報に
基づくデータを前記視点設定コマンドとして出力する構
成であり、 前記制御手段は、前記画像分析処理によって取得される
方向情報に基づくデータを含む視点設定コマンドに対応
する視点画像へ切り替える処理を実行する構成であるこ
とを特徴とする請求項１に記載の表示画像制御処理装
置。 - 【請求項７】前記制御手段は、 複数視点からの画像を含む動画像データに基づいて、該
動画像データには含まれない視点画像を合成し、合成画
像を前記表示手段に出力する構成を有することを特徴と
する請求項１に記載の表示画像制御処理装置。 - 【請求項８】前記制御手段は、 複数視点からの画像を含む動画像データに対応する表示
可能な視点位置データ、および該表示手段に表示中の画
像の視点位置識別データを、該表示手段に表示する処理
を実行する構成を有することを特徴とする請求項１に記
載の表示画像制御処理装置。 - 【請求項９】複数視点からの画像を含む動画像データ
は、離間した複数の被写体位置各々に対応して設定され
た複数の視点画像を含み、 前記制御手段は、前記離間した複数の被写体位置各々に
対応して設定された複数の視点画像を含む動画像データ
に基づいて、前記表示手段に表示すべき画像の決定処理
を実行する構成を有することを特徴とする請求項１に記
載の表示画像制御処理装置。 - 【請求項１０】複数視点からの画像を含む動画像データ
を保持し、動画像データの配信を実行するサーバと、 前記サーバから受信する動画像データに基づく画像表示
処理を実行するユーザシステムとによって構成される動
画像情報送受信システムであり、 前記ユーザシステムは、表示手段に表示すべき画像の決
定処理を実行する制御手段を有し、 前記制御手段は、動画像データに対応付けられ、表示画
像を特定する時系列データとして構成されるプリセット
表示画像プログラムに従った画像表示態様としてのプリ
セットモードと、ユーザ入力手段またはセンサからの視
点設定コマンド入力に基づいて表示画像を特定するマニ
ュアルモードの各モードのいずれかを選択して実行する
構成を有し、 プリセットモードの実行中に、前記視点設定コマンドの
入力を条件として、マニュアルモードへの移行処理を実
行し、前記表示手段に出力する画像を、入力視点設定コ
マンドに対応する視点画像へ切り替える処理を実行する
構成を有することを特徴とする動画像情報送受信システ
ム。 - 【請求項１１】前記サーバは、動画像データに含まれる
全視点画像データの配信を実行し、 前記ユーザシステムは、前記動画像データに含まれる全
視点画像データ、および、前記プリセット表示画像プロ
グラムを格納する記憶手段を有し、 前記制御手段は、 プリセットモードにおいては、前記プリセット表示画像
プログラムに従った特定視点画像データを出力し、 マニュアルモードにおいては、視点設定コマンドに対応
する特定視点画像データを出力する構成であることを特
徴とする請求項１０に記載の動画像情報送受信システ
ム。 - 【請求項１２】前記サーバは、動画像データに含まれる
特定視点画像データの配信を実行し、 前記ユーザシステムは、 プリセットモードにおいては、前記サーバにおいて設定
されたプリセット表示画像プログラムに従った特定視点
画像データを前記サーバから受信し、受信データを表示
手段に出力し、 マニュアルモードにおいては、視点設定コマンドに対応
する画像指定情報を前記サーバに送信するとともに、前
記サーバにおいて該画像指定情報に従って送信される画
像データを受信し、前記視点設定コマンドに対応する特
定視点画像データを表示手段に出力する構成であること
を特徴とする請求項１０に記載の動画像情報送受信シス
テム。 - 【請求項１３】複数視点からの画像を含む動画像データ
から選択または合成される特定視点からの画像を表示手
段に出力する表示画像制御処理方法であり、 動画像データに対応付けられ、表示画像を特定する時系
列データとして構成されるプリセット表示画像プログラ
ムに従った画像表示態様としてのプリセットモードと、
ユーザ入力手段またはセンサからの視点設定コマンド入
力に基づいて表示画像を特定するマニュアルモードの各
モードのいずれかのモードに設定するモード設定ステッ
プと、 前記モード設定ステップにおいて設定したモードに従っ
て前記表示手段に表示すべき画像の決定処理を実行する
画像決定ステップとを有し、さらに、 前記プリセットモードにおいて、前記視点設定コマンド
の入力を条件としてマニュアルモードへの移行処理を実
行し、前記表示手段に出力する画像を入力視点設定コマ
ンドに対応する視点画像への切り替え処理を実行するス
テップ、 を有することを特徴とする表示画像制御処理方法。 - 【請求項１４】前記表示画像制御処理方法において、さ
らに、 マニュアルモード実行中、あらかじめ定められた閾値時
間：Ｔａ以内に新たな視点設定コマンドの入力がないこ
とを条件として、プリセットモードへの移行処理を実行
するステップを有することを特徴とする請求項１３に記
載の表示画像制御処理方法。 - 【請求項１５】マニュアルモードにおける前記画像決定
ステップは、 画像の視点位置、視線方向、画角の少なくともいずれか
を指定した視点設定コマンドに対応する視点画像への切
り替え処理を実行するステップであることを特徴とする
請求項１３に記載の表示画像制御処理方法。 - 【請求項１６】前記センサは、方向検出機能を持つジャ
イロを備えた構成であり、ジャイロによって取得される
方向情報に基づくデータを前記視点設定コマンドとして
出力し、 マニュアルモードにおける前記画像決定ステップは、 前記ジャイロによって取得される方向情報に基づくデー
タを含む視点設定コマンドに対応する視点画像へ切り替
える処理を実行するステップであることを特徴とする請
求項１３に記載の表示画像制御処理方法。 - 【請求項１７】前記センサは、ユーザの顔の撮影画像に
基づく画像分析処理に基づく視線方向検出処理手段えた
構成であり、画像分析処理によって取得される方向情報
に基づくデータを前記視点設定コマンドとして出力し、 マニュアルモードにおける前記画像決定ステップは、 前記画像分析処理によって取得される方向情報に基づく
データを含む視点設定コマンドに対応する視点画像へ切
り替える処理を実行するステップであることを特徴とす
る請求項１３に記載の表示画像制御処理方法。 - 【請求項１８】前記表示画像制御処理方法は、さらに、 複数視点からの画像を含む動画像データに基づいて、該
動画像データには含まれない視点画像を合成し、合成画
像を前記表示手段に出力するステップを含むことを特徴
とする請求項１３に記載の表示画像制御処理方法。 - 【請求項１９】前記表示画像制御処理方法は、さらに、 複数視点からの画像を含む動画像データに対応する表示
可能な視点位置データ、および該表示手段に表示中の画
像の視点位置識別データを、該表示手段に表示する処理
を実行するステップを有することを特徴とする請求項１
３に記載の表示画像制御処理方法。 - 【請求項２０】複数視点からの画像を含む動画像データ
は、離間した複数の被写体位置各々に対応して設定され
た複数の視点画像を含み、 前記表示画像制御処理方法は、さらに、 前記離間した複数の被写体位置各々に対応して設定され
た複数の視点画像を含む動画像データに基づいて、前記
表示手段に表示すべき画像の決定処理を実行するステッ
プを有することを特徴とする請求項１３に記載の表示画
像制御処理方法。 - 【請求項２１】複数視点からの画像を含む動画像データ
を保持し、動画像データの配信を実行するサーバと、 前記サーバから受信する動画像データに基づく画像表示
処理を実行するユーザシステムとによって構成される動
画像情報送受信システムにおける動画像情報送受信方法
であり、 前記ユーザシステムは、動画像データに対応付けられ、
表示画像を特定する時系列データとして構成されるプリ
セット表示画像プログラムに従った画像表示態様として
のプリセットモードと、ユーザ入力手段またはセンサか
らの視点設定コマンド入力に基づいて表示画像を特定す
るマニュアルモードの各モードのいずれかを選択して実
行し、 プリセットモードの実行中に、前記視点設定コマンドの
入力を条件として、マニュアルモードへの移行処理を実
行し、前記表示手段に出力する画像を、入力視点設定コ
マンドに対応する視点画像へ切り替える処理を実行する
ことを特徴とする動画像情報送受信方法。 - 【請求項２２】前記サーバは、動画像データに含まれる
全視点画像データの配信を実行し、 前記ユーザシステムは、 前記動画像データに含まれる全視点画像データ、およ
び、前記プリセット表示画像プログラムを記憶手段に格
納し、 プリセットモードにおいては、前記プリセット表示画像
プログラムに従った特定視点画像データを出力し、 マニュアルモードにおいては、視点設定コマンドに対応
する特定視点画像データを出力することを特徴とする請
求項２１に記載の動画像情報送受信方法。 - 【請求項２３】前記サーバは、動画像データに含まれる
特定視点画像データの配信を実行し、 前記ユーザシステムは、 プリセットモードにおいては、前記サーバにおいて設定
されたプリセット表示画像プログラムに従った特定視点
画像データを前記サーバから受信し、受信データを表示
手段に出力し、 マニュアルモードにおいては、視点設定コマンドに対応
する画像指定情報を前記サーバに送信するとともに、前
記サーバにおいて該画像指定情報に従って送信される画
像データを受信し、前記視点設定コマンドに対応する特
定視点画像データを表示手段に出力することを特徴とす
る請求項２１に記載の動画像情報送受信方法。 - 【請求項２４】複数視点からの画像を含む動画像データ
から選択または合成される特定視点からの画像を表示手
段に出力する表示画像制御処理を実行するコンピュータ
・プログラムであって、 動画像データに対応付けられ、表示画像を特定する時系
列データとして構成されるプリセット表示画像プログラ
ムに従った画像表示態様としてのプリセットモードと、
ユーザ入力手段またはセンサからの視点設定コマンド入
力に基づいて表示画像を特定するマニュアルモードの各
モードのいずれかのモードに設定するモード設定ステッ
プと、 前記モード設定ステップにおいて設定したモードに従っ
て前記表示手段に表示すべき画像の決定処理を実行する
画像決定ステップとを有し、さらに、 前記プリセットモードにおいて、前記視点設定コマンド
の入力を条件としてマニュアルモードへの移行処理を実
行し、前記表示手段に出力する画像を入力視点設定コマ
ンドに対応する視点画像への切り替え処理を実行するス
テップ、 を具備することを特徴とするコンピュータ・プログラ
ム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001340429A JP4148671B2 (ja) | 2001-11-06 | 2001-11-06 | 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム |
| US10/287,149 US7576742B2 (en) | 2001-11-06 | 2002-11-04 | Picture display controller, moving-picture information transmission/reception system, picture display controlling method, moving-picture information transmitting/receiving method, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001340429A JP4148671B2 (ja) | 2001-11-06 | 2001-11-06 | 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003143505A true JP2003143505A (ja) | 2003-05-16 |
| JP4148671B2 JP4148671B2 (ja) | 2008-09-10 |
Family
ID=19154629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001340429A Expired - Lifetime JP4148671B2 (ja) | 2001-11-06 | 2001-11-06 | 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7576742B2 (ja) |
| JP (1) | JP4148671B2 (ja) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7620236B2 (en) | 2003-07-31 | 2009-11-17 | Canon Kabushiki Kaisha | Image processing method and apparatus |
| JP2010088017A (ja) * | 2008-10-02 | 2010-04-15 | Canon Inc | 放送受信装置及びその制御方法 |
| JP2011109392A (ja) * | 2009-11-17 | 2011-06-02 | Canon Inc | コンテンツ再生装置及びその制御方法 |
| JP2012034343A (ja) * | 2010-07-02 | 2012-02-16 | Canon Inc | 映像処理装置、及びその制御方法 |
| JP2012039220A (ja) * | 2010-08-04 | 2012-02-23 | Nec Personal Computers Ltd | 映像再生装置及びその制御方法 |
| WO2012046373A1 (ja) * | 2010-10-05 | 2012-04-12 | 株式会社ソニー・コンピュータエンタテインメント | 画像表示装置および画像表示方法 |
| JP2013165429A (ja) * | 2012-02-13 | 2013-08-22 | Nippon Telegr & Teleph Corp <Ntt> | 映像視聴システム及び映像視聴システムの制御方法 |
| JP2013534791A (ja) * | 2010-07-14 | 2013-09-05 | アルカテル−ルーセント | 複数のコンテンツアイテムから合成ビューを生成する方法、サーバ、および端末 |
| JP2014126907A (ja) * | 2012-12-25 | 2014-07-07 | Casio Comput Co Ltd | 表示制御装置、表示制御システム、表示制御方法及びプログラム |
| JP2015222989A (ja) * | 2010-07-02 | 2015-12-10 | キヤノン株式会社 | 画像処理装置、及びその制御方法 |
| JP2017187757A (ja) * | 2016-03-30 | 2017-10-12 | ＴｓＺ株式会社 | 画像表示装置 |
| WO2017183292A1 (ja) * | 2016-04-20 | 2017-10-26 | 株式会社ソニー・インタラクティブエンタテインメント | 処理装置および画像決定方法 |
| JP2017201742A (ja) * | 2016-05-02 | 2017-11-09 | 株式会社ソニー・インタラクティブエンタテインメント | 処理装置および画像決定方法 |
| JP2018074294A (ja) * | 2016-10-26 | 2018-05-10 | 学校法人幾徳学園 | 情報処理システムおよび情報処理方法 |
| JP2018133806A (ja) * | 2018-03-01 | 2018-08-23 | キヤノンマーケティングジャパン株式会社 | 撮像装置、撮像システム、その制御方法及びプログラム |
| WO2018155670A1 (ja) * | 2017-02-27 | 2018-08-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像配信方法、画像表示方法、画像配信装置及び画像表示装置 |
| JP2019071650A (ja) * | 2018-12-27 | 2019-05-09 | キヤノン株式会社 | 制御装置、制御方法、及び、プログラム |
| JP2019537303A (ja) * | 2016-09-29 | 2019-12-19 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 画像処理 |
| JP2020201575A (ja) * | 2019-06-06 | 2020-12-17 | 株式会社ソニー・インタラクティブエンタテインメント | 表示制御装置、表示制御方法、及び表示制御プログラム |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7734085B2 (en) * | 2002-06-28 | 2010-06-08 | Sharp Kabushiki Kaisha | Image data delivery system, image data transmitting device thereof, and image data receiving device thereof |
| US8553113B2 (en) * | 2003-08-20 | 2013-10-08 | At&T Intellectual Property I, L.P. | Digital image capturing system and method |
| US10417298B2 (en) * | 2004-12-02 | 2019-09-17 | Insignio Technologies, Inc. | Personalized content processing and delivery system and media |
| US7710452B1 (en) | 2005-03-16 | 2010-05-04 | Eric Lindberg | Remote video monitoring of non-urban outdoor sites |
| JP2007020092A (ja) * | 2005-07-11 | 2007-01-25 | Matsushita Electric Ind Co Ltd | 画像表示装置、画像表示方法および画像表示システム |
| CN101263548B (zh) * | 2005-09-15 | 2010-05-26 | 夏普株式会社 | 影像传送装置和使用该装置的显示系统 |
| WO2008056421A1 (fr) * | 2006-11-10 | 2008-05-15 | Mitsubishi Electric Corporation | Système d'affichage synthétisant une image de réseau |
| US20080226281A1 (en) * | 2007-03-13 | 2008-09-18 | Real D | Business system for three-dimensional snapshots |
| JP5239881B2 (ja) * | 2008-03-31 | 2013-07-17 | カシオ計算機株式会社 | 画像表示装置、画像表示処理プログラム、及び、画像表示方法 |
| KR101502419B1 (ko) * | 2008-07-11 | 2015-03-13 | 삼성디스플레이 주식회사 | 다시점 영상 표시방법, 이를 수행하기 위한 표시장치 |
| JP5096302B2 (ja) * | 2008-12-12 | 2012-12-12 | 株式会社キーエンス | 撮像装置 |
| JP5096303B2 (ja) * | 2008-12-12 | 2012-12-12 | 株式会社キーエンス | 撮像装置 |
| US9037992B2 (en) * | 2008-12-29 | 2015-05-19 | International Business Machines Corporation | System and method for changing system modes |
| US20100259595A1 (en) * | 2009-04-10 | 2010-10-14 | Nokia Corporation | Methods and Apparatuses for Efficient Streaming of Free View Point Video |
| JP5182229B2 (ja) * | 2009-06-02 | 2013-04-17 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| CN101990034A (zh) * | 2009-08-07 | 2011-03-23 | 鸿富锦精密工业（深圳）有限公司 | 影像调整系统及方法 |
| JP5418386B2 (ja) * | 2010-04-19 | 2014-02-19 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US20120038668A1 (en) * | 2010-08-16 | 2012-02-16 | Lg Electronics Inc. | Method for display information and mobile terminal using the same |
| US8836771B2 (en) * | 2011-04-26 | 2014-09-16 | Echostar Technologies L.L.C. | Apparatus, systems and methods for shared viewing experience using head mounted displays |
| JP5367034B2 (ja) * | 2011-08-24 | 2013-12-11 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
| CN103870102B (zh) * | 2012-12-13 | 2017-12-12 | 腾讯科技（武汉）有限公司 | 图片切换方法及装置 |
| US9282309B1 (en) | 2013-12-22 | 2016-03-08 | Jasmin Cosic | Methods, systems and apparatuses for multi-directional still pictures and/or multi-directional motion pictures |
| US10102226B1 (en) | 2015-06-08 | 2018-10-16 | Jasmin Cosic | Optical devices and apparatuses for capturing, structuring, and using interlinked multi-directional still pictures and/or multi-directional motion pictures |
| US10129579B2 (en) * | 2015-10-15 | 2018-11-13 | At&T Mobility Ii Llc | Dynamic video image synthesis using multiple cameras and remote control |
| US9888284B2 (en) * | 2015-10-26 | 2018-02-06 | Nokia Technologies Oy | Method and apparatus for improved streaming of immersive content |
| KR102438199B1 (ko) * | 2015-12-24 | 2022-08-30 | 삼성전자주식회사 | 디스플레이 장치 및 디스플레이 장치의 설정 값을 변경하는 방법 |
| WO2017119034A1 (ja) | 2016-01-06 | 2017-07-13 | ソニー株式会社 | 撮影システム、撮影方法およびプログラム |
| US10165258B2 (en) | 2016-04-06 | 2018-12-25 | Facebook, Inc. | Efficient determination of optical flow between images |
| EP3322186A1 (en) * | 2016-11-14 | 2018-05-16 | Thomson Licensing | Method and device for transmitting data representative of an image |
| JP7249755B2 (ja) * | 2018-10-26 | 2023-03-31 | キヤノン株式会社 | 画像処理システムおよびその制御方法、プログラム |
| CN111510370B (zh) * | 2020-04-09 | 2023-09-05 | 京东方科技集团股份有限公司 | 内容处理方法及装置、计算机介质和电子设备 |
| CN113572975B (zh) * | 2020-04-29 | 2023-06-06 | 华为技术有限公司 | 视频播放方法、装置及系统、计算机存储介质 |
| CN113253843B (zh) * | 2021-05-24 | 2023-05-09 | 哈尔滨工业大学 | 一种基于全景图的室内虚拟漫游实现方法及实现系统 |
Family Cites Families (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8706348D0 (en) * | 1987-03-17 | 1987-04-23 | Quantel Ltd | Electronic image processing systems |
| US4888203A (en) * | 1987-11-13 | 1989-12-19 | Massachusetts Institute Of Technology | Hydrolysis-induced vapor deposition of oxide films |
| EP0486475B1 (en) * | 1988-03-03 | 1997-12-03 | Asahi Glass Company Ltd. | Amorphous oxide film and article having such film thereon |
| JP2768732B2 (ja) * | 1989-05-01 | 1998-06-25 | 神鋼パンテック株式会社 | 加熱脱気超純水装置 |
| US5282850A (en) * | 1989-07-25 | 1994-02-01 | Smith & Nephew Richards, Inc. | Artificial heart components with wear resistant coatings of reduced thrombogenicity |
| US5545208A (en) * | 1990-02-28 | 1996-08-13 | Medtronic, Inc. | Intralumenal drug eluting prosthesis |
| US5146557A (en) * | 1990-07-27 | 1992-09-08 | General Electric Company | User interface for a golf green and a golf putt modelling system |
| US5205921A (en) * | 1991-02-04 | 1993-04-27 | Queen's University At Kingston | Method for depositing bioactive coatings on conductive substrates |
| JP3017301B2 (ja) * | 1991-02-18 | 2000-03-06 | 大阪酸素工業株式会社 | 不動態膜の形成方法 |
| US5259935A (en) * | 1991-05-03 | 1993-11-09 | The Boc Group, Inc. | Stainless steel surface passivation treatment |
| US5147370A (en) * | 1991-06-12 | 1992-09-15 | Mcnamara Thomas O | Nitinol stent for hollow body conduits |
| US5211663A (en) * | 1991-06-24 | 1993-05-18 | Smith & Nephew Richards, Inc. | Passivation methods for metallic medical implants |
| US5344455A (en) * | 1992-10-30 | 1994-09-06 | Medtronic, Inc. | Graft polymer articles having bioactive surfaces |
| US5275696A (en) * | 1993-05-03 | 1994-01-04 | The United States Of America As Represented By The Secretary Of The Navy | Stainless steel surface treatment |
| JP3218802B2 (ja) * | 1993-05-07 | 2001-10-15 | 株式会社神戸製鋼所 | 半導体製造装置用ステンレス鋼材の表面処理法 |
| EP0637815B1 (en) * | 1993-08-04 | 2006-04-05 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
| EP0641132B1 (en) * | 1993-08-26 | 1999-04-14 | Matsushita Electric Industrial Co., Ltd. | Stereoscopic image pickup apparatus |
| US5645740A (en) * | 1993-11-01 | 1997-07-08 | Naiman; Charles S. | System and assemblage for producing microtexturized substrates and implants |
| JPH07184089A (ja) * | 1993-12-21 | 1995-07-21 | Canon Inc | ビデオカメラ |
| EP0684585B1 (en) * | 1994-04-22 | 2003-02-05 | Canon Kabushiki Kaisha | Image forming method and apparatus |
| US5838906A (en) * | 1994-10-17 | 1998-11-17 | The Regents Of The University Of California | Distributed hypermedia method for automatically invoking external application providing interaction and display of embedded objects within a hypermedia document |
| US5637113A (en) * | 1994-12-13 | 1997-06-10 | Advanced Cardiovascular Systems, Inc. | Polymer film for wrapping a stent structure |
| JPH08202281A (ja) * | 1995-01-30 | 1996-08-09 | Olympus Optical Co Ltd | 頭部装着型映像表示装置システム |
| US5642185A (en) * | 1995-03-07 | 1997-06-24 | Eastman Kodak Company | Automatic termination of screen saver mode on a display of reproduction apparatus |
| JP3352562B2 (ja) * | 1995-03-31 | 2002-12-03 | 東芝機械株式会社 | プロセスコントローラのマンマシンインタフェース装置 |
| US5729471A (en) * | 1995-03-31 | 1998-03-17 | The Regents Of The University Of California | Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene |
| US5850352A (en) * | 1995-03-31 | 1998-12-15 | The Regents Of The University Of California | Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images |
| US5841409A (en) * | 1995-04-18 | 1998-11-24 | Minolta Co., Ltd. | Image display apparatus |
| US5675364A (en) * | 1995-04-28 | 1997-10-07 | Dell Usa, L.P. | Display wakeup control |
| US6283857B1 (en) * | 1996-09-24 | 2001-09-04 | Nintendo Co., Ltd. | Three-dimensional image processing apparatus with enhanced automatic and user point of view control |
| US6208379B1 (en) * | 1996-02-20 | 2001-03-27 | Canon Kabushiki Kaisha | Camera display control and monitoring system |
| US6788314B1 (en) * | 1996-03-22 | 2004-09-07 | Interval Research Corporation | Attention manager for occupying the peripheral attention of a person in the vicinity of a display device |
| US6139434A (en) * | 1996-09-24 | 2000-10-31 | Nintendo Co., Ltd. | Three-dimensional image processing apparatus with enhanced automatic and user point of view control |
| US6111582A (en) * | 1996-12-20 | 2000-08-29 | Jenkins; Barry L. | System and method of image generation and encoding using primitive reprojection |
| JP3009633B2 (ja) * | 1997-04-03 | 2000-02-14 | コナミ株式会社 | 画像装置、画像表示方法および記録媒体 |
| US6307563B2 (en) * | 1997-04-30 | 2001-10-23 | Yamaha Corporation | System for controlling and editing motion of computer graphics model |
| US6215505B1 (en) * | 1997-06-20 | 2001-04-10 | Nippon Telegraph And Telephone Corporation | Scheme for interactive video manipulation and display of moving object on background image |
| JP3127137B2 (ja) * | 1997-08-14 | 2001-01-22 | 株式会社ナムコ | 画像生成装置及び情報記憶媒体 |
| US6028584A (en) * | 1997-08-29 | 2000-02-22 | Industrial Technology Research Institute | Real-time player for panoramic imaged-based virtual worlds |
| US6246801B1 (en) * | 1998-03-06 | 2001-06-12 | Lucent Technologies Inc. | Method and apparatus for generating selected image views from a larger image having dependent macroblocks |
| US6466207B1 (en) * | 1998-03-18 | 2002-10-15 | Microsoft Corporation | Real-time image rendering with layered depth images |
| US6144375A (en) * | 1998-08-14 | 2000-11-07 | Praja Inc. | Multi-perspective viewer for content-based interactivity |
| US6256037B1 (en) * | 1998-11-27 | 2001-07-03 | Dicomit Dicom Information Technologies Corp. | Method and system for selecting at least one optimal view of a three dimensional image |
| JP3634677B2 (ja) * | 1999-02-19 | 2005-03-30 | キヤノン株式会社 | 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体 |
| US6285394B1 (en) * | 1999-05-10 | 2001-09-04 | James L. F. Huang | Video monitoring system |
| US20010037509A1 (en) * | 2000-03-02 | 2001-11-01 | Joel Kligman | Hybrid wired/wireless video surveillance system |
| JP2001325612A (ja) * | 2000-03-08 | 2001-11-22 | Sony Computer Entertainment Inc | ゲーム再生方法、記録媒体、プログラムおよびエンタテインメントシステム |
| US6724385B2 (en) * | 2000-03-08 | 2004-04-20 | Sony Computer Entertainment Inc. | Method of replaying game, recording medium, program, and entertainment system |
| US20020010655A1 (en) * | 2000-05-25 | 2002-01-24 | Realitybuy, Inc. | Real time, three-dimensional, configurable, interactive product display system and method |
| US20020063714A1 (en) * | 2000-10-04 | 2002-05-30 | Michael Haas | Interactive, multimedia advertising systems and methods |
| JP2002209208A (ja) * | 2001-01-11 | 2002-07-26 | Mixed Reality Systems Laboratory Inc | 画像処理装置及びその方法並びに記憶媒体 |
-
2001
- 2001-11-06 JP JP2001340429A patent/JP4148671B2/ja not_active Expired - Lifetime
-
2002
- 2002-11-04 US US10/287,149 patent/US7576742B2/en active Active
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7620236B2 (en) | 2003-07-31 | 2009-11-17 | Canon Kabushiki Kaisha | Image processing method and apparatus |
| JP2010088017A (ja) * | 2008-10-02 | 2010-04-15 | Canon Inc | 放送受信装置及びその制御方法 |
| JP2011109392A (ja) * | 2009-11-17 | 2011-06-02 | Canon Inc | コンテンツ再生装置及びその制御方法 |
| JP2012034343A (ja) * | 2010-07-02 | 2012-02-16 | Canon Inc | 映像処理装置、及びその制御方法 |
| JP2015222989A (ja) * | 2010-07-02 | 2015-12-10 | キヤノン株式会社 | 画像処理装置、及びその制御方法 |
| JP2013534791A (ja) * | 2010-07-14 | 2013-09-05 | アルカテル−ルーセント | 複数のコンテンツアイテムから合成ビューを生成する方法、サーバ、および端末 |
| JP2012039220A (ja) * | 2010-08-04 | 2012-02-23 | Nec Personal Computers Ltd | 映像再生装置及びその制御方法 |
| JP2012080433A (ja) * | 2010-10-05 | 2012-04-19 | Sony Computer Entertainment Inc | パノラマ画像表示装置およびパノラマ画像表示方法 |
| CN103141078A (zh) * | 2010-10-05 | 2013-06-05 | 索尼电脑娱乐公司 | 图像显示装置及图像显示方法 |
| WO2012046373A1 (ja) * | 2010-10-05 | 2012-04-12 | 株式会社ソニー・コンピュータエンタテインメント | 画像表示装置および画像表示方法 |
| US9262996B2 (en) | 2010-10-05 | 2016-02-16 | Sony Corporation | Apparatus and method for displaying images |
| JP2013165429A (ja) * | 2012-02-13 | 2013-08-22 | Nippon Telegr & Teleph Corp <Ntt> | 映像視聴システム及び映像視聴システムの制御方法 |
| JP2014126907A (ja) * | 2012-12-25 | 2014-07-07 | Casio Comput Co Ltd | 表示制御装置、表示制御システム、表示制御方法及びプログラム |
| JP2017187757A (ja) * | 2016-03-30 | 2017-10-12 | ＴｓＺ株式会社 | 画像表示装置 |
| WO2017183292A1 (ja) * | 2016-04-20 | 2017-10-26 | 株式会社ソニー・インタラクティブエンタテインメント | 処理装置および画像決定方法 |
| JP2017201742A (ja) * | 2016-05-02 | 2017-11-09 | 株式会社ソニー・インタラクティブエンタテインメント | 処理装置および画像決定方法 |
| JP7065836B2 (ja) | 2016-09-29 | 2022-05-12 | コーニンクレッカ フィリップス エヌ ヴェ | 画像処理 |
| JP7065836B6 (ja) | 2016-09-29 | 2022-06-06 | コーニンクレッカ フィリップス エヌ ヴェ | 画像処理 |
| JP2019537303A (ja) * | 2016-09-29 | 2019-12-19 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 画像処理 |
| JP2018074294A (ja) * | 2016-10-26 | 2018-05-10 | 学校法人幾徳学園 | 情報処理システムおよび情報処理方法 |
| JP7368886B2 (ja) | 2016-10-26 | 2023-10-25 | グリー株式会社 | 情報処理システム、情報処理方法、および情報処理プログラム |
| WO2018155670A1 (ja) * | 2017-02-27 | 2018-08-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像配信方法、画像表示方法、画像配信装置及び画像表示装置 |
| JPWO2018155670A1 (ja) * | 2017-02-27 | 2019-12-19 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 画像配信方法、画像表示方法、画像配信装置及び画像表示装置 |
| JP7212611B2 (ja) | 2017-02-27 | 2023-01-25 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像配信方法、画像表示方法、画像配信装置及び画像表示装置 |
| JP2018133806A (ja) * | 2018-03-01 | 2018-08-23 | キヤノンマーケティングジャパン株式会社 | 撮像装置、撮像システム、その制御方法及びプログラム |
| JP2019071650A (ja) * | 2018-12-27 | 2019-05-09 | キヤノン株式会社 | 制御装置、制御方法、及び、プログラム |
| JP2020201575A (ja) * | 2019-06-06 | 2020-12-17 | 株式会社ソニー・インタラクティブエンタテインメント | 表示制御装置、表示制御方法、及び表示制御プログラム |
| JP7384576B2 (ja) | 2019-06-06 | 2023-11-21 | 株式会社ソニー・インタラクティブエンタテインメント | 表示制御装置、表示制御方法、及び表示制御プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4148671B2 (ja) | 2008-09-10 |
| US7576742B2 (en) | 2009-08-18 |
| US20030122949A1 (en) | 2003-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003143505A (ja) | 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム | |
| JP4098808B2 (ja) | 遠隔映像表示方法、映像取得装置及びその方法とそのプログラム | |
| JP5406813B2 (ja) | パノラマ画像表示装置およびパノラマ画像表示方法 | |
| JP2022031324A (ja) | 通信管理システム、通信システム、通信管理方法、及びプログラム | |
| WO2017036329A1 (zh) | 对视频内容任意位置和时间播放的方法及装置 | |
| JP7017175B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
| CN110213616B (zh) | 视频提供方法、获取方法、装置及设备 | |
| US11310459B2 (en) | Image capturing device, image capturing system, image processing method, and recording medium | |
| US20120011464A1 (en) | Display control device, display control method, and program | |
| JP2001008232A (ja) | 全方位映像出力方法と装置 | |
| US20220070412A1 (en) | Communication terminal, image communication system, method of displaying image, and recording medium | |
| EP3972236A1 (en) | Communication terminal, image communication system, method for displaying image, and carrier means | |
| JP2004128997A (ja) | 映像遠隔制御装置，映像遠隔制御方法，映像遠隔制御プログラムおよび映像遠隔制御プログラムを記録した記録媒体 | |
| JP2019531038A (ja) | ディスプレイ装置及びその制御方法 | |
| US11818492B2 (en) | Communication management apparatus, image communication system, communication management method, and recording medium | |
| US20220103751A1 (en) | Communication management apparatus, image communication system, communication management method, and recording medium | |
| JP2006041888A (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
| JP2006041885A (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
| JP2007281961A (ja) | 撮像装置、撮像装置制御方法及び撮像制御方法 | |
| JP2003323170A (ja) | 画像表示システムと画像処理装置及び画像表示方法 | |
| JP7017045B2 (ja) | 通信端末、表示方法、及びプログラム | |
| JP2021097326A (ja) | 通信端末、撮影システム、画像処理方法及びプログラム | |
| US11863871B2 (en) | Communication terminal, image communication system, and method of displaying image | |
| JP5646033B2 (ja) | 画像表示装置および画像表示方法 | |
| US11700455B2 (en) | Image capturing device, image communication system, and method for display control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040305 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040525 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050128 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050914 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051111 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20051208 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060512 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080526 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080624 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4148671 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130704 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |