JP2004192207A - 表示画像制御処理装置、取得画像制御処理装置、画像制御情報通信システム、および方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】表示領域指定処理を伴う画像表示処理において、任意の画像に任意の制御情報を対応付けた画像表示制御を可能とした装置および方法を提供する。
【解決手段】例えばパノラマ画像、全方位画像等、表示領域の設定を伴う画像表示処理において、画像データの表示画像領域指定情報を格納した制御情報に、制御対象の画像データを任意に設定可能な記述情報（Ｐａｔｈ）を設定し、画像データとは独立に管理可能なデータファイルとして構成した。また、制御情報をメタ情報と操作情報に区分し、複数の操作情報を１つのメタ情報に関連付けることを可能とした。本構成により、任意の複数の画像データに任意の制御情報を対応付けて制御を行なうことが可能となる。
【選択図】 図９

Description

【０００１】
【発明の属する技術分野】
本発明は、表示画像制御処理装置、取得画像制御処理装置、画像制御情報通信システム、および方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、全方位画像等、多視点画像等の画像情報の任意領域画像を選択的にディスプレイに表示する処理あるいは画像取得処理を効率的に実行することを可能とした表示画像制御処理装置、取得画像制御処理装置、画像制御情報通信システム、および方法、並びにコンピュータ・プログラムに関する。
【０００２】
【従来の技術】
近年、全方位画像、パノラマ、全天球画像など、視点を様々に移動可能とした画像データの利用が盛んになりつつある。例えば、ＤＶＤ、ＣＤ等の記憶媒体に複数の視点位置、視線方向からある被写体を撮影した画像を蓄積し、蓄積画像をＣＲＴ、液晶表示装置等に表示する際に、ユーザがコントローラの操作によって、自由な位置に視点を移動させて、被写体の像を観察するシステムが実現されている。また、インターネット等の通信システムを介して複数の視点位置、視線方向からある被写体を撮影した画像を配信し、ユーザがＰＣ等のマウス操作により、好みの視点位置、視線方向からの画像をディスプレイに表示するシステム等が構築されている。
【０００３】
視点を様々に移動可能とした画像データは、例えば複数の異なる視点位置に配置したカメラによって撮影した複数の画像をつなぎ合わせて合成することによって生成される。カメラ間の画像は、画像データの補正処理として例えばビューインタポレーション等の手法により、隣接カメラの撮影画像に基づいて生成することが可能である。動画像においては、複数のカメラの撮影した動画像データの時間的な同期処理を行なった上で同様に生成することが可能となる。このような全方位映像の生成手法は、例えば非特許文献１に記載されている。
【０００４】
視点を自由に変更できる画像を、例えばＤＶＤ等の記憶媒体から読み出してディスプレイにおいて再生する場合には、どの視点位置からのデータを表示するかをユーザが自ら選択して表示する処理を実行することとなる。また、インターネット、あるいは衛星を介したプロードキャスト等のデータ配信システムにおいては、データ配信元から送信される複数の視点画像からの画像からユーザが１つの視点画像を選択して表示したり、あるいは配信元においてあらかじめ定めた代表画像のみをディスプレイに表示する等の処理が実行されていた。
【０００５】
例えば特許文献１には、異なる視点から撮影した画像データをユーザに配信し、ユーザがコントローラの操作により、各視点からの画像を選択的に表示することを可能としたシステムが開示されている。
【０００６】
表示画像が静止画像である場合には、ユーザは、好みの視点画像を持つ静止画像を時間にとらわれることなく順次、例えばＨＤ、ＤＶＤ等の記憶媒体から読み出して表示することが可能であるが、動画像である場合には、ユーザは、動画像を観察しながら、視点位置を移動させる処理を例えばマウス、あるいは所定のコントローラ等の入力装置を介して実行することになる。
【０００７】
一方、ユーザの視点位置の入力を不要とし、予め動画像データに対応して設定されたプログラムに従って、様々な視点位置からの画像を切り替えて表示する手法もある。しかし、このようなシステムにおいては、表示画像の切替プログラムは、特定の画像データに付随して設定されており、ある画像データに対して様々な異なる表示画像切替プログラムをユーザが任意に選択して適用するといった処理を実現するものではなかった。
【０００８】
【特許文献１】
特開平９−５１５１３号公報
【非特許文献１】
「Ｓ．Ｅ．Ｃｈｅｎ”ｃｋ ｔｉｍｅ ＶＲ−Ａｎ Ｉｍａｇｅ−Ｂａｓｅｄ Ａｐｐｒｏａｃｈ ｔｏ ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔ Ｎａｖｉｇａｔｉｏｎ”， Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ＳＩＧＧＲＡＰＨ，ｐｐ．２９−３８，１９９５」
【０００９】
【発明が解決しようとする課題】
全方位画像、パノラマ画像等、視点を様々に移動可能とした動画の表示処理において、ユーザによる画像を観察しながらの視点位置の切り替え処理は、ユーザの積極的な視点選択意思が継続している場合には有効であるが、ユーザの視点選択意思が減退した場合には操作の煩わしさを感じることになる。ユーザによる視点位置の移動コマンドがコントローラから入力されない限り、最後に入力した視点位置からの動画像がその後、継続して表示されることになり、単調な動画像表示となってしまう。一方、予め動画像データに対応して固定的に設定されたプログラムに従った画像表示処理は、ユーザによる意思とは無関係な視点位置の画像を表示することになる。
【００１０】
このように、視点を様々に移動可能とした動画の表示処理において、ユーザによる視点位置の入力を継続させることは、操作の煩わしさという問題を生じ、一方、ある特定の動画像に固定的に設定されたプログラムに従った表示は、ユーザによる意思を反映させない画像表示という問題を生じさせる。
【００１１】
本発明は、上記問題点に鑑みてなされたものであり、全方位画像、多視点画像等、ディスプレイに対する表示画像領域を設定することの可能な画像データの表示処理において、特定の画像データに付随しない制御情報を生成し、制御情報を様々な画像データに関連付けて、様々な画像データの表示制御を実行することを可能としたものである。
【００１２】
具体的には、制御情報ファイルをＸＭＬファイル等の記述言語を用いて生成し、制御情報に、画像データの指定情報、表示画像領域指定情報、画像の表示順序、さらには、色彩変更、表示態様の設定等、様々な表示効果に関する設定情報を記述し、制御情報に従って、制御対象の画像データを取得し表示する処理を可能とした表示画像制御処理装置、取得画像制御処理装置、画像制御情報通信システム、および方法、並びにコンピュータ・プログラムを提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明の第１の側面は、
画像表示処理を実行する表示画像制御処理装置であり、
画像データの表示画像領域指定情報を含み、制御対象の画像データを任意に設定可能な記述情報として有する制御情報を格納した記憶部と、
前記制御情報に従って決定される制御対象の画像データから、該制御情報に従って選択される表示画像ファイルを取得し、前記制御情報に記述された表示画像領域指定情報に従って表示画像領域を決定し、該決定表示画像領域を出力部に対する出力画像として設定する画像表示制御を実行する制御部と、
前記制御部の制御に従った画像表示処理を実行する出力部と、
を有することを特徴とする表示画像制御処理装置にある。
【００１４】
さらに、本発明の表示画像制御処理装置の一実施態様において、前記制御部は、前記制御情報に従って決定される制御対象の画像データから、該制御情報に従って選択される表示画像ファイルの識別情報を表示シーケンスに従って記録した再生情報テーブルの生成処理を実行し、前記制御情報および前記再生情報テーブルに従った画像表示制御を実行する構成であることを特徴とする。
【００１５】
さらに、本発明の表示画像制御処理装置の一実施態様において、前記制御情報は、制御対象の画像データを任意に設定可能な記述情報として有するとともに、表示画像領域情報を格納した操作情報と、操作情報の指定情報を任意に設定可能な記述情報として有するとともに、少なくとも表示対象とする操作情報中の画像指定情報を含むメタ情報とを有し、前記制御部は、前記メタ情報および操作情報に基づいて、表示シーケンスおよび表示画像領域の決定処理を実行する構成であることを特徴とする。
【００１６】
さらに、本発明の表示画像制御処理装置の一実施態様において、前記メタ情報は、複数の異なる操作情報の指定情報を有し、複数の操作情報に関連付けられた異なる画像データを順次表示する制御情報を記述した構成であり、前記制御部は、複数の操作情報に基づいて、異なる画像データについての表示シーケンスおよび表示画像領域の決定処理を実行する構成であることを特徴とする。
【００１７】
さらに、本発明の表示画像制御処理装置の一実施態様において、前記制御情報は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）データによって記述されたデータであることを特徴とする。
【００１８】
さらに、本発明の表示画像制御処理装置の一実施態様において、前記制御情報による制御対象画像データは、パノラマ画像データであり、前記制御情報は、画像データの表示画像領域指定情報として、少なくとも表示対象領域の水平方向の指定情報である水平角度情報を含み、前記制御部は、前記水平角度情報に基づいて表示領域設定処理を実行する構成であることを特徴とする。
【００１９】
さらに、本発明の表示画像制御処理装置の一実施態様において、前記制御情報は、表示対象領域の水平方向の指定情報としての水平角度情報、表示対象領域の垂直方向の指定情報としての垂直角度情報、表示対象領域のズーム指定情報の少なくともいずれかの領域指定情報を含み、前記制御部は、前記領域指定情報に基づいて表示領域設定処理を実行する構成であることを特徴とする。
【００２０】
さらに、本発明の表示画像制御処理装置の一実施態様において、前記制御情報は、制御対象の画像データを任意に設定可能な記述情報として有するとともに、表示画像領域情報を格納した操作情報と、操作情報の指定情報を任意に設定可能な記述情報として有するとともに、少なくとも表示対象とする操作情報中の画像指定情報を含むメタ情報とを含み、前記メタ情報は、画像表示における画像表示態様設定処理情報を含み、前記制御部は、前記画像表示態様設定処理情報に従った表示制御処理を実行する構成であることを特徴とする。
【００２１】
さらに、本発明の表示画像制御処理装置の一実施態様において、前記画像表示態様設定処理情報は、複数の異なる画像の画像切り替え処理態様の指定情報、表示許容領域の設定情報、表示色変更情報の少なくともいずれかの画像処理指定情報を含み、前記制御部は、前記画像処理指定情報に従った表示制御処理を実行する構成であることを特徴とする。
【００２２】
さらに、本発明の第２の側面は、
撮影画像の取得処理を実行する取得画像制御処理装置であり、
取得画像データの取得画像領域指定情報を含む制御情報を格納した記憶部と、
前記制御情報に従って決定される取得画像領域指定情報に従って取得画像領域を決定し、該決定情報に従って、画像取得処理を実行する撮像部の設定を制御する制御部と、
前記制御部の制御に従った画像取得処理を実行する撮像部と、
を有することを特徴とする取得画像制御処理装置にある。
【００２３】
さらに、本発明の取得画像制御処理装置の一実施態様において、前記制御情報は、取得画像領域情報を格納した操作情報と、操作情報の指定情報を任意に設定可能な記述情報として有するとともに、少なくとも操作情報中の画像指定情報を含むメタ情報とを有し、前記制御部は、前記メタ情報および操作情報に基づいて、画像取得シーケンスおよび取得画像領域の決定処理を実行する構成であることを特徴とする。
【００２４】
さらに、本発明の取得画像制御処理装置の一実施態様において、前記制御情報は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）データによって記述されたデータであることを特徴とする。
【００２５】
さらに、本発明の第３の側面は、
画像制御情報通信システムであり、
通信ネットワークを介した画像表示制御情報を送信するデータ送信手段と、
前記送信手段からの制御情報を受信するデータ受信手段とを有し、
前記データ受信手段は、
前記制御情報に基づく制御対象データとして設定可能な画像データを格納した記憶部と、
前記制御情報に従って決定される制御対象の画像データから、該制御情報に従って選択される表示画像ファイルを取得し、前記制御情報に記述された表示画像領域指定情報に従って表示画像領域を決定し、該決定表示画像領域を出力部に対する出力画像として設定する画像表示制御を実行する制御部と、
前記制御部の制御に従った画像表示処理を実行する出力部と、
を有する構成であることを特徴とする画像制御情報通信システムにある。
【００２６】
さらに、本発明の画像制御情報通信システムの一実施態様において、前記制御情報は、制御対象の画像データを任意に設定可能な記述情報として有するとともに、表示画像領域情報を格納した操作情報と、操作情報の指定情報を任意に設定可能な記述情報として有するとともに、少なくとも表示対象とする操作情報中の画像指定情報を含むメタ情報とを有し、前記データ受信手段の制御部は、前記メタ情報および操作情報に基づいて、表示シーケンスおよび表示画像領域の決定処理を実行する構成であることを特徴とする。
【００２７】
さらに、本発明の画像制御情報通信システムの一実施態様において、前記制御情報は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）データによって記述されたデータであることを特徴とする。
【００２８】
さらに、本発明の画像制御情報通信システムの一実施態様において、前記制御情報は、制御対象の画像データを任意に設定可能な記述情報として有するとともに、表示画像領域情報を格納した操作情報を含み、前記操作情報は、表示対象領域の水平方向の指定情報としての水平角度情報、表示対象領域の垂直方向の指定情報としての垂直角度情報、表示対象領域のズーム指定情報の少なくともいずれかの情報を含む構成であることを特徴とする。
【００２９】
さらに、本発明の第４の側面は、
画像表示処理を実行する表示画像制御処理方法であり、
画像データの表示画像領域指定情報を含み、制御対象の画像データを任意に設定可能な記述情報として有する制御情報を取得する制御情報取得ステップと、
前記制御情報に従って決定される制御対象の画像データから、該制御情報に従って選択される表示画像ファイルを取得するステップと、
前記制御情報に記述された表示画像領域指定情報に従って表示画像領域を決定し、該決定表示画像領域を出力部に対する出力画像として設定する制御ステップと、
前記制御ステップの制御に従った画像表示処理を実行する出力ステップと、
を有することを特徴とする表示画像制御処理方法にある。
【００３０】
さらに、本発明の表示画像制御処理方法の一実施態様において、前記制御ステップは、前記制御情報に従って決定される制御対象の画像データから、該制御情報に従って選択される表示画像ファイルの識別情報を表示シーケンスに従って記録した再生情報テーブルの生成処理を実行し、前記制御情報および前記再生情報テーブルに従った画像表示制御を実行するステップを含むことを特徴とする。
【００３１】
さらに、本発明の表示画像制御処理方法の一実施態様において、前記制御情報は、制御対象の画像データを任意に設定可能な記述情報として有するとともに、表示画像領域情報を格納した操作情報と、操作情報の指定情報を任意に設定可能な記述情報として有するとともに、少なくとも表示対象とする操作情報中の画像指定情報を含むメタ情報とを有し、前記制御ステップは、前記メタ情報および操作情報に基づいて、表示シーケンスおよび表示画像領域の決定処理を実行することを特徴とする。
【００３２】
さらに、本発明の表示画像制御処理方法の一実施態様において、前記メタ情報は、複数の異なる操作情報の指定情報を有し、複数の操作情報に関連付けられた異なる画像データを順次表示する制御情報を記述した構成であり、前記制御ステップは、複数の操作情報に基づいて、異なる画像データについての表示シーケンスおよび表示画像領域の決定処理を実行することを特徴とする。
【００３３】
さらに、本発明の表示画像制御処理方法の一実施態様において、前記制御情報は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）データによって記述されたデータであることを特徴とする。
【００３４】
さらに、本発明の表示画像制御処理方法の一実施態様において、前記制御情報による制御対象画像データは、パノラマ画像データであり、前記制御情報は、画像データの表示画像領域指定情報として、少なくとも表示対象領域の水平方向の指定情報である水平角度情報を含み、前記制御ステップは、前記水平角度情報に基づいて表示領域設定処理を実行することを特徴とする。
【００３５】
さらに、本発明の表示画像制御処理方法の一実施態様において、前記制御情報は、表示対象領域の水平方向の指定情報としての水平角度情報、表示対象領域の垂直方向の指定情報としての垂直角度情報、表示対象領域のズーム指定情報の少なくともいずれかの情報を含み、前記制御ステップは、前記領域指定情報に基づいて表示領域設定処理を実行することを特徴とする。
【００３６】
さらに、本発明の表示画像制御処理方法の一実施態様において、前記制御情報は、制御対象の画像データを任意に設定可能な記述情報として有するとともに、表示画像領域情報を格納した操作情報と、操作情報の指定情報を任意に設定可能な記述情報として有するとともに、少なくとも表示対象とする操作情報中の画像指定情報を含むメタ情報とを含み、前記メタ情報は、画像表示における画像表示態様設定処理情報を含み、前記制御ステップは、前記画像表示態様設定処理情報に従った表示制御処理を実行することを特徴とする。
【００３７】
さらに、本発明の表示画像制御処理方法の一実施態様において、前記画像表示態様設定処理情報は、複数の異なる画像の画像切り替え処理態様の指定情報、表示許容領域の設定情報、表示色変更情報の少なくともいずれかの画像処理指定情報を含み、前記制御ステップは、前記画像処理指定情報に従った表示制御処理を実行することを特徴とする。
【００３８】
さらに、本発明の第５の側面は、
撮影画像の取得処理を実行する取得画像制御処理方法であり、
取得画像データの取得画像領域指定情報を含む制御情報に従って決定される取得画像領域指定情報に従って取得画像領域を決定し、該決定情報に従って、画像取得処理を実行する撮像部の設定を制御する制御ステップと、
前記制御制御に従った画像取得処理を実行する撮像ステップと、
を有することを特徴とする取得画像制御処理方法にある。
【００３９】
さらに、本発明の取得画像制御処理方法の一実施態様において、前記制御情報は、取得画像領域情報を格納した操作情報と、操作情報の指定情報を任意に設定可能な記述情報として有するとともに、少なくとも操作情報中の画像指定情報を含むメタ情報とを有し、前記制御ステップは、前記メタ情報および操作情報に基づいて、画像取得シーケンスおよび取得画像領域の決定処理を実行するステップを含むことを特徴とする。
【００４０】
さらに、本発明の取得画像制御処理方法の一実施態様において、前記制御情報は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）データによって記述されたデータであることを特徴とする。
【００４１】
さらに、本発明の第６の側面は、
画像表示処理を実行する表示画像制御処理を実行するコンピュータ・プログラムであって、
画像データの表示画像領域指定情報を含み、制御対象の画像データを任意に設定可能な記述情報として有する制御情報を取得する制御情報取得ステップと、
前記制御情報に従って決定される制御対象の画像データから、該制御情報に従って選択される表示画像ファイルを取得するステップと、
前記制御情報に記述された表示画像領域指定情報に従って表示画像領域を決定し、該決定表示画像領域を出力部に対する出力画像として設定する制御ステップと、
前記制御ステップの制御に従った画像表示処理を実行する出力ステップと、
を具備することを特徴とするコンピュータ・プログラムにある。
【００４２】
【作用】
本発明の構成によれば、例えばパノラマ画像、全方位画像等、表示領域の設定を伴う画像表示処理において、画像データの表示画像領域指定情報を格納した制御情報に、制御対象の画像データを任意に設定可能な記述情報（Ｐａｔｈ）を設定し、画像データとは独立に管理可能なデータファイルとして構成したので、ユーザが任意の画像に任意の制御情報を対応付けて画像表示制御を実行することが可能となる。
【００４３】
さらに、本発明の構成によれば、制御対象の画像データを任意に設定可能な記述情報として有するとともに、表示画像領域情報を格納した操作情報と、操作情報の指定情報を任意に設定可能な記述情報として有するとともに、少なくとも表示対象とする操作情報中の画像指定情報を含むメタ情報とによってＸＭＬ記述の制御情報を構成したので、メタ情報に基づいて、複数の操作情報を指定情報として設定することや、メタ情報中にトランジッション処理、表示領域指定、表示色指定情報等を設定可能であり、高度な表示制御が可能となる。
【００４４】
さらに、本発明の構成によれば、表示画像領域情報を格納した操作情報の表示画像領域情報として、例えば水平角度情報、垂直角度情報、ズーム情報を指定する構成としたので、様々な態様での表示領域設定が可能となる。
【００４５】
さらに、本発明の構成によれば、撮影画像の取得処理を実行する取得画像制御処理装置においても、取得画像データの取得画像領域指定情報を含む制御情報を適用することで、制御情報に従って決定される取得画像領域指定情報に従って取得画像領域を決定し、該決定情報に従って、画像取得処理を実行する撮像部の制御構成が実現され、ユーザ操作等を不要とし、かつ制御設定を容易に変更可能な画像取得シーケンスの設定が可能となる。
【００４６】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００４７】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００４８】
【発明の実施の形態】
以下、本発明の表示画像制御処理装置、取得画像制御処理装置、画像制御情報通信システム、および方法、並びにコンピュータ・プログラムについて、図面を参照しながら詳細に説明する。
【００４９】
本発明で取り扱うデータは、主に全方位画像、多視点画像等、ディスプレイに対する表示画像領域を設定することの可能な画像データである。このような画像データは、異なる視点からの画像を撮影する複数カメラの撮影データに基づいて制作される。ただし、本発明の適用可能な画像データは、パノラマ画像等の多視点画像に限らず、例えば単一カメラで撮影された画像であってもよく、撮影画像からディスプレイに対する表示対象領域を設定可能な画像データであればどのような画像であってもよい。なお、本発明は、画像データの表示処理のみならず、取得処理においても適用される。まず、表示制御について説明する。
【００５０】
以下の実施例では、全方位画像等のパノラマ画像の動画像表示において表示領域を設定する処理例を説明する。複数視点からの画像によって構成される動画像データは、例えばＤＶＤ、ＣＤ、ＨＤ等の記憶媒体に記憶され、ＣＲＴ、ＬＣＤ等の表示手段において表示される。表示画像を設定するための制御情報も同様に記憶部に格納される。表示処理に際しては、制御情報と制御対象の画像情報が関連付けられて表示制御が行なわれる。なお、画像情報、制御情報は、インターネット、その他、無線、有線のデータ配信網を介してユーザに配信する構成としてもよい。
【００５１】
まず、視点位置の異なる画像データの取得例について、図１を参照して説明する。図１（ａ）に示すカメラ配置は、被写体１０１を被写体１０１の周囲にほぼ等間隔に配置した５台のカメラＡ〜Ｅによって撮影する構成を示したものである。５台のカメラＡ〜Ｅによって撮影した複数の画像データをつなぎ合わせて内向きの３６０度の全方位画像が生成される。カメラ間の画像は、画像データの補正処理として例えばビューインタポレーション等の手法により、隣接カメラの撮影画像に基づいて生成することが可能である。動画像においては、複数のカメラの撮影した動画像データの時間的な同期処理を行なった上で同様に生成することが可能となる。
【００５２】
図１（ｂ）に示すカメラ配置は、撮影方向をカメラの周囲の３６０度とした構成である。このカメラ配置は、被写体１０２をカメラの外側の周囲領域として設定した構成であり、カメラＨ〜Ｌを配置して、周囲の３６０度の画像を撮影する。５台のカメラＨ〜Ｌによって撮影した複数の画像データをつなぎ合わせて外向きの３６０度の全方位画像が生成される。
【００５３】
このような複数カメラで撮影した各画像データをつなぎ合わせることにより、内向きまたは外向きのパノラマ画像や、３６０度の全方位画像が生成される。動画像データの場合、各フレーム毎のパノラマ画像や全方位画像が生成される。本発明の表示画像制御処理装置、取得画像制御処理装置、画像制御情報通信システム、および方法は、上述した内向きまたは外向き、両者のパノラマ画像や３６０度の全方位画像、全天球画像等の処理に適したものである。
【００５４】
図２を参照して、動画像における全方位画像の構成、および、本発明において実行しようとする表示領域の設定処理の概要について説明する。例えば３０フレーム／秒の動画像データの場合、図２に示すように、１秒間に３０フレームの全方位画像の撮影画像フレーム１５１が画像データとして生成される。
【００５５】
このような動画像データをディスプレイに表示する場合、出力画像領域１５２の設定を行ない、設定領域の画像をディスプレイに表示する。表示領域の設定のためには、何らかの指定情報が必要となる。各フレーム毎に表示領域を設定することで、様々な動画像表示が可能となる。従来は、これらの表示画像領域指定情報としてユーザからの入力情報や、画像データに対応して固定されたプログラムに記録された情報を適用していた。しかし、ユーザ情報による場合は、ユーザによる視点位置の逐次入力が要求されることになり、操作の煩わしさという問題を生じさせる。一方、固定プログラムに従った表示は、常に同じ設定画像が表示されてしまうという問題を生じさせる。
【００５６】
本発明においては、上述の問題を解消するため、動画像データと独立した制御情報を生成し、制御情報を様々な動画像データに対して適用することを可能な構成とした。本発明の構成において制御情報は、画像データの表示画像領域指定情報を含み、制御対象の画像データを任意に設定可能な記述情報として有する制御情報として構成した。
【００５７】
表示画像制御処理装置の制御部は、制御情報に従って決定される制御対象の画像データから、制御情報に従って選択される表示画像ファイルを取得し、制御情報に記述された表示画像領域指定情報に従って表示画像領域を決定し、決定表示画像領域を出力部に対する出力画像として設定する処理を実行する。
【００５８】
なお、制御情報は、大きく２つの情報に区分され、
（１）制御対象の画像データを任意に設定可能な記述情報として有するとともに、表示画像領域情報を格納した操作情報と、
（２）操作情報の指定情報を任意に設定可能な記述情報として有するとともに、少なくとも表示対象とする操作情報中の画像指定情報を含むメタ情報、とによって構成される。
【００５９】
メタ情報中には、操作情報に記述された画像ファイルの指定情報、表示画像フレームのシーケンス、その他のトランジッション、表示領域指定、表示色変更等、様々な表示効果態様を設定する画像処理情報も記述可能である。
【００６０】
図３を参照して、本発明で適用する制御情報と、その制御情報を使用した画像データ表示処理の概要について説明する。
【００６１】
制御情報は、図３に示すように、操作情報ファイルの指定情報、表示画像フレームのシーケンス、その他の制御情報を記述したメタ情報１７１と、画像データの指定情報として、画像ファイルに格納された画像フレームとその表示画像領域指定情報を格納した操作情報１７２からなる。全方位画像等、表示画像領域を設定可能な画像データは、画像データ記憶部１７４に格納され、ディスプレイ等の画像データ表示部１７５には、制御情報（メタ情報および操作情報）に基づいて決定されるフレームおよび表示画像領域指定情報に従って出力画像の設定が実行され、各フレーム毎に表示画像領域指定情報に対応する領域の画像データが表示される。
【００６２】
メタ情報１７１に基づいて、操作情報１７２が指定され、メタ情報の記述に基づいて、例えば図３に示す再生順序１７３が設定され、設定された再生順序１７３に従った画像データが画像データ記憶部１７４から読み出され、操作情報１７２に記述されたフレーム毎の表示画像領域指定情報に従って、表示領域が設定されて画像データ表示部１７５に表示される。
【００６３】
制御情報としてのメタ情報１７１および、操作情報１７２は構造化記述言語、例えばＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）により記述される。図３の例におけるメタ情報１７１の記載項目は、以下の通りである。
【００６４】
［Ｔｕｒｎ Ｎｏ］：表示ストリームの順番を設定する情報である。ＴｕｒｎＮｏ＝０１は、最初に表示されるストリームという意味である。例えばＴｕｒｎ Ｎｏ＝０２と設定された画像ストリームは、設定がＴｕｒｎ Ｎｏ＝０１の画像ストリームの次に表示される設定であることを示す。
［Ｐａｔｈ］：操作情報ファイルに対するパス情報である。図３に示す例では、操作情報１７２のファイルの指定情報である。このパス情報は、任意に書き替え可能である。すなわち、操作情報の指定を任意に変更することが可能となる。
［ＳｔａｒｔＦｒａｍｅＮｏ］：指定された操作情報ファイル内の表示開始画像フレームを指示する情報である。図３に示す例では、フレームＮｏ．＝１０が表示開始フレームである。
［ＥｎｄＦｒａｍｅＮｏ］：指定された操作情報ファイル内の表示終了画像フレームを指示する情報である。図３に示す例では、フレームＮｏ．＝１４が表示終了フレームである。
【００６５】
また、操作情報１７２には、操作情報に関連付けられる画像データのパスと、操作情報としての各フレームの表示領域を設定する情報が格納される。
［Ｐａｔｈ］は、操作情報に関連付けられる画像データのパスである。このパス情報を変更することにより、操作情報１７２は、様々な画像データと関連付けて、その関連付けた画像データを制御することが可能となる。すなわち、［Ｐａｔｈ］は、制御対象の画像データを任意に設定可能な記述情報である。
【００６６】
操作情報１７２には、さらに、各フレーム毎の表示画像領域指定情報が格納される。具体的には、［フレームＮｏ．（ＩｎｐｕｔＦｒａｍｅ）］、［水平角度］、［垂直角度］、［ズーム（ＺＯＯＭ）］等である。これらについて、図４を参照して説明する。
【００６７】
図４に示す操作情報ファイル２１２には、フレームＮｏ．０００９〜００１７の表示画像領域指定情報が格納されている。例えば、操作情報ファイル２１２のフレーム１０の表示画像領域指定情報として、水平角度＝２０、垂直角度０１、ズーム＝０２が設定されている。これらは、図に示すフレーム１０の表示画像領域２３１を指定した情報である。同様に操作情報ファイル２１２のフレーム１１の表示画像領域指定情報は、図に示すフレーム１１の表示画像領域２３２、操作情報ファイル２１２のフレーム１２の表示画像領域指定情報は、図に示すフレーム１２の表示画像領域２３３を指定した情報である。
【００６８】
これらの指定情報について、図５を参照して説明する。１つのフレームには水平方向に−Ｐ度〜＋Ｐ度の画像、例えば、３６０度の全方位画像の場合は−１８０度〜＋１８０度の画像データが含まれることになる。この水平方向のどの位置の画像を表示画像として設定するかを示す値が水平角度データである。設定基準は、例えば表示領域の中心の角度情報、あるいは表示領域の端部の角度情報等、各種の設定が可能である。垂直方向についても同様であり、各フレーム画像には垂直方向に−Ｑ度〜＋Ｑ度の画像が含まれる。この垂直方向のどの位置の画像を表示画像として設定するかを示す値が垂直角度データとして設定される。ズームは、表示画像領域の拡縮情報、すなわち表示領域の大きさの設定値に対応する値である。
【００６９】
図５に示す操作情報２５１が１つのフレームにおける表示画像領域情報であり、フレームＮｏ．に対して、水平角度、垂直角度、ズームの各値が設定され、各値に基づく表示領域が決定される。動画画像の場合、例えば３０フレーム／秒で全方位画像データフレームが生成され、各フレーム毎に表示領域が設定される。
【００７０】
なお、操作情報に指定する表示画像の領域情報としては、上述の水平角度、垂直角度、ズームの各情報の他にも様々な設定が可能である。設定可能な情報の例を以下に示す。
水平角度情報：画像を横スクロールさせるための情報
垂直角度情報：画像を縦スクロールさせるための情報
回転角度情報：画像を回転させるための情報
ズーム情報：画像をズームする情報
フレーム情報：画像を早送り再生させたり巻き戻し再生させたりする、再生フレームを編集する情報
上記以外の制御情報がメタ情報に記述されることになる。
【００７１】
各フレーム毎の表示領域設定情報により図４に示すような操作情報ファイル２１２が生成される。なお、図４に示す操作情報ファイル２１２は、１フレームについて、１つの表示画像領域を設定した構成となっているが、同一フレームの異なる領域を表示領域として連続して設定する記述も可能である。このような記述をした操作情報ファイルを適用し、再生順序として、同一フレームの異なる画像領域の表示を順次行なう設定とすることで、同一フレームにおいて視点のみを順次切り替えた画像表示が可能となる。
【００７２】
本発明の画像制御処理装置の構成について、図６のブロック図を参照して説明する。通信部３０１は、インターネット、ＬＡＮ等の通信ネットワークを介して多視点画像、全方位画像等の画像データ、あるいはＸＭＬ等の記述言語で構成された制御情報を受信する。画像データ、および制御情報は、全く個別のデータファイルとして受信することが可能である。
【００７３】
制御情報記憶部３０２は、前述した制御情報としてのメタ情報および操作情報を格納する記憶部である。画像データ記憶部３０４は、多視点画像、全方位画像等、表示領域を指定して表示することの可能な画像データを格納する。例えばＨＤＤ、ＣＤ、ＤＶＤ等の記憶媒体に格納される。なお、画像データは必要に応じて例えばＭＰＥＧ等の圧縮処理がなされる。
【００７４】
制御部３０３は、ＣＰＵ、ＲＡＭ、ＲＯＭを有し、さらに例えばＭＰＥＧ符号化復号化等のデータ処理制御を行なうハードウェアを備えた制御部である。
【００７５】
制御部３０３は、前述した制御情報、すなわちメタ情報と、操作情報、および画像データとの関連に基づいて、表示画像シーケンスを決定し、出力部３０６に対する画像データの表示制御を行なう。すなわち、メタ情報と操作情報から構成される制御情報に従って決定される制御対象の画像データから、制御情報に従って選択される表示画像ファイルを取得し、制御情報に記述された表示画像領域指定情報に従って表示画像領域を決定し、決定した表示画像領域を出力部に対する出力画像として設定する画像表示制御を実行する。さらに、制御部３０３は、入力部３０５からの入力情報に基づいて、メタ情報、操作情報、画像データ各ファイルのリンク（関連付け）設定処理も実行する。
【００７６】
入力部３０５はマウス、キーボード等からの入力情報を入力する。メタ情報、操作情報等の記述変更等により、メタ情報、操作情報、画像データ各ファイルのリンク設定処理、リンク設定変更処理が可能である。さらに、メタ情報の生成、書き換え等による画像表示シーケンスの設定、変更等の処理が可能となる。出力部３０６は、ＣＲＴ，ＬＣＤ等のディスプレイであり、制御情報によって選択された画像データの表示が実行される。
【００７７】
次に、図７を参照して、制御情報に従って画像データを順次再生する処理手順について説明する。
【００７８】
まず、ステップＳ１０１において、制御情報ファイル、すなわちメタ情報と、操作情報ファイルを記憶部から読み取り、各情報ファイルを開く。なお、既にメタ情報および操作情報は生成済みであり、メタ情報には、特定の操作情報ファイルの指定情報としてのパス情報（Ｐａｔｈ）が設定され、また、操作情報にも特定の画像データファイルのパスが設定されているものとする。
【００７９】
なお、前述したように、各データファイルに設定されるパスはユーザが任意に変更、設定可能である。すなわち、それぞれの制御情報（メタ情報、操作情報）のＸＭＬファイルを書き替えることで任意のメタ情報と操作情報、および操作情報と画像データファイルとの各々のリンク（関連付け）を自在に設定することが可能である。
【００８０】
次に、ステップＳ１０２において、メタ情報と操作情報に記述されたデータを読み取り、ステップＳ１０３において、読み取りデータに基づいて再生順序に従った画像データのシーケンスを決定する。図３を参照して説明したように、メタ情報には、再生順序情報としてスタートフレーム、エンドフレームの指定情報が記述され、この記述に基づいて、操作情報から対応フレームに対する画像データを特定し、これらの画像データのシーケンスを決定する。
【００８１】
ステップＳ１０４では、決定した画像データシーケンスを記述した再生情報テーブルを生成する。再生情報テーブルの構成例を図８に示す。図８に示すように、再生情報テーブルは、再生シーケンスＮｏ．と、画像データファイルとを対応付けたデータである。ステップＳ１０５において、再生情報テーブルに従った画像表示処理、すなわち再生処理が実行される。
【００８２】
再生処理においては、再生情報テーブルに設定されたシーケンスＮｏ．に従って、順次画像データが取得され、制御情報としての操作情報に設定された表示画像領域指定情報に従って表示画像領域を決定し、該決定表示画像領域を出力部に対する出力画像として設定する処理が実行される。すなわち、制御情報および再生情報テーブルに従った画像表示制御が実行される。なお、再生処理においては、必要に応じてＭＰＥＧ復号等のデータ処理が実行される。また、この時点において表示処理を実行せず、生成した動画像データを記憶部に格納し、任意タイミングで、記憶部に格納した動画像テータの表示処理を行なうことも可能である。
【００８３】
上述したように、本発明の構成によれば、例えばパノラマ画像、全方位画像等、表示領域の設定を伴う画像表示処理において、画像データの表示画像領域指定情報を格納した制御情報に、制御対象の画像データを任意に設定可能な記述情報（Ｐａｔｈ）を設定し、画像データとは独立に管理可能なデータファイルとして構成したので、ユーザが任意の画像に任意の制御情報を対応付けて画像表示制御を実行することが可能となる。
【００８４】
上述した実施例では、１つのメタ情報にリンクする操作情報を１つの操作情報ファイルとした例を説明したが、本発明の構成おいて、制御情報はメタ情報と操作情報とによって構成される。従って１つのメタ情報に複数の操作情報ファイルを関連付ける構成も可能である。このように、１つのメタ情報に複数の操作情報を関連付け、すなわち複数の操作情報のパスを設定することで、複数の操作情報ファイルにそれぞれリンクする画像データを組み合わせて表示画像シーケンスを設定して表示する処理が可能となる。
【００８５】
さらに、画像表示に際して表示領域の制御や、表示色彩制御、あるいは画像切り替え時の効果的表示等、表示態様の設定をメタ情報において指定することも可能である。以下では、このようなメタ情報の設定および、画像表示処理例について説明する。
【００８６】
図９に複数の操作情報ファイルを関連付けるとともに、各操作情報ファイルにリンクする画像データの切り替え処理の際に特殊な画像切り替え（トランジッション）を実行するように設定したメタ情報４０１の構成を示す。
【００８７】
メタ情報４０１は、操作情報４０２、および操作情報４０３の２つの操作情報ファイルをリンク情報として設定したＸＭＬ記述データである。メタ情報の記述中、＜Ｔｕｒｎ Ｎｏ＝０２＞〜＜ＥｎｄＦｒａｍｅＮｏ＝１４＞は、パス情報として操作情報ファイル［ｔｅｓｔ０１．ｘｍｌ］が設定され、操作情報４０２のリンク情報であることを示している。この記述において、＜Ｔｕｒｎ Ｎｏ＝０２＞と設定されており、操作情報４０２の設定フレーム１０〜１４が、Ｔｕｒｎ Ｎｏ＝０１の画像ストリームの次に表示される設定であることを示している。
【００８８】
メタ情報の次の記述、＜Ｔｕｒｎ Ｎｏ＝０１＞〜＜ＥｎｄＦｒａｍｅＮｏ＝１１７＞は、パス情報として操作情報ファイル［ｔｅｓｔ０２．ｘｍｌ］が設定され、操作情報４０３のリンク情報であることを示している。この記述において、＜Ｔｕｒｎ Ｎｏ＝０１＞と設定されており、操作情報４０３の設定フレーム１１４〜１１７が、最初の画像ストリームとして表示される設定であることを示している。
【００８９】
メタ情報の次の記述、＜Ｔｒａｎｓｉｔｉｏｎ＝０１＞〜＜ＦｒａｍｅＡｆｔｅｒ＝０３＞は、表示効果処理の１つとしての画像切り替え（トランジッション）処理の態様を設定した情報である。＜Ｔｒａｎｓｉｔｉｏｎ＝０１＞に設定された［０１］は、画像切り替え（トランジッション）処理の処理態様識別子である。
【００９０】
図１０に複数の画像切り替え（トランジッション）処理態様を示す。Ｔｒａｎｓｉｔｉｏｎ＝０１は、ワイプ処理を示す。ワイプ処理は、図に示すように、先行表示画像Ａ上に、後続表示画像Ｂがディスプレイの右から左に移行し、次第に全画面を後続表示画像Ｂが占める処理によってトランジッションを行なう処理である。Ｔｒａｎｓｉｔｉｏｎ＝０２は、ボックスイン処理を示す。ボックスイン処理は、図に示すように、先行表示画像Ａが次第にディスプレイの中央に縮小され、後続表示画像Ｂがディスプレイの周囲から次第に全画面を占めるように移行する処理によってトランジッションを行なう処理である。
【００９１】
図９に示す＜Ｔｒａｎｓｉｔｉｏｎ＝０１＞は、本例においては、ワイプ処理の実行を指定したものである。＜Ｔｕｒｎ Ｎｏ＝０１＞は、１番目のストリームの後にトランジッションを挿入することを示し、＜ＦｒａｍｅＢｅｆｏｒｅ＝０２＞は、前２フレームにトランジションをかけること、＜ＦｒａｍｅＡｆｔｅｒ＝０３＞は、後３フレームにトランジションをかけることを意味している。
【００９２】
すなわち、先行画像である＜Ｔｕｒｎ Ｎｏ＝０１＞によって指定される操作情報ファイル４０３の最終フレーム２つ（０１１６，０１１７）と後続画像である＜Ｔｕｒｎ Ｎｏ＝０２＞によって指定される操作情報ファイル４０２の開始フレーム３つ（００１０〜００１２）がワイプ処理によるトランジッション処理対象フレームであることが示されている。
【００９３】
この制御情報によって設定される再生順序は、図９に示す再生順序４０４に示す通りであり、＜Ｔｕｒｎ Ｎｏ＝０１＞によって指定される操作情報ファイル４０３のフレーム０１１４〜０１１７が最初の表示ストリームとして設定され、＜Ｔｕｒｎ Ｎｏ＝０２＞によって指定される操作情報ファイル４０２のフレーム００１０〜００１４が次の表示ストリームとして設定されている。またトランジッション０１が、操作情報ファイル４０３の最終フレーム２つ（０１１６，０１１７）と後続画像である操作情報ファイル４０２の開始フレーム３つ（００１０〜００１２）に適用される設定となる。
【００９４】
図９に示すようなメタ情報に基づく画像データ再生処理においては、複数の操作情報ファイルに基づく画像データの再生シーケンスとトランジッション情報を格納した再生情報テーブルを生成する。再生情報テーブルの構成例を図１１に示す。図１１に示すように、再生情報テーブルは、再生シーケンスＮｏ．と、画像データファイルとを対応付けるとともに、トランジッション情報を格納している。なお、図１１に示す再生情報テーブルは、画像データと、トランジッションデータとを持つテーブルとして設定した例であるが、画像データテーブルと、トランジッションデータテーブルとをそれぞれ別々に設定する構成としてもよい。
【００９５】
再生シーケンスＮｏ．０〜３には、＜Ｔｕｒｎ Ｎｏ＝０１＞によって指定される操作情報ファイル４０３の画像フレーム０１１４〜０１１７が設定され、再生シーケンスＮｏ．４〜８には、＜Ｔｕｒｎ Ｎｏ＝０２＞によって指定される操作情報ファイル４０２の画像フレーム００１０〜００１４が設定されている。さらに、＜Ｔｕｒｎ Ｎｏ＝０１＞によって指定される操作情報ファイル４０３の最終フレーム２つ（０１１６，０１１７）と後続画像である＜Ｔｕｒｎ Ｎｏ＝０２＞によって指定される操作情報ファイル４０２の開始フレーム３つ（００１０〜００１２）がワイプ処理によるトランジッション処理対象フレームであることが設定されたテーブルとして構成される。
【００９６】
この再生情報テーブルに基づいて再生処理が実行される。再生処理の実行シーケンスは、先に図７を参照して説明した処理と同様である。ただし、ステップＳ１０１のファイルオープンにおいて、メタ情報に従った複数の操作情報ファイルが読み取られ、また、トランジッション処理を設定した再生情報テーブル（図１１）を生成する点が異なる。
【００９７】
このように、本発明の構成に従えば、異なる画像データファイルを任意に組み合わせて表示シーケンスを設定して画像データ表示を実行することが可能となる。また画像の表示態様についてもメタ情報の記述を設定することで、様々な表示態様を実現することが可能となる。
【００９８】
なお、上記の例において、複数の操作情報ファイルによって関連付けられる複数の画像データは、例えば異なるカメラによって撮影された画像データ、具体的には、全方位背景情報と、全方位人物情報等の組合わせ等が可能である。
【００９９】
なお、本発明の制御情報による画像表示制御の対象となる画像データは、全方位画像データに限らず、表示領域を設定可能な画像であればよく、単一のカメラの撮影画像等にも適用可能である。例えば単一カメラの撮影画像のカット編集を実行する場合に、上述のメタ情報、操作情報に基づく制御を適用することが可能である。具体的には画像データファイル１とファイル２での撮影カットが違うものを組み合わせて表示シーケンスを設定する。さらに、撮影対象が違う画像データを組み合わせたり、撮影場所が違うデータ、撮影日時が違う画像データ等、任意の画像データを組み合わせてそれぞれの操作情報を１つのメタ情報に関連付けることにより、様々な設定の異なる画像データを組み合わせて制御することが可能となる。
【０１００】
上述した実施例では、トランジッション処理をメタ情報の記述によって設定した構成例を説明した。さらに、メタ情報の記述によって表示態様を変更する処理例について、説明する。図１２は、ディスプレイに対する表示範囲を制限する記述をメタ情報に記述し、画像データに設定される表示許容領域のみの表示を可能とした例である。
【０１０１】
図１２（ａ）にメタ情報に記述する情報例を示す。水平角度−１４０°〜１５０°は、（ｂ）の全方位画像データの水平角度−１４０°〜１５０°の範囲の画像データのみを表示可能領域として設定することを示す。また、垂直角度−２５°〜２０°は、（ｂ）の全方位画像データの垂直角度−２５°〜２０°の範囲の画像データのみを表示許容領域として設定することを示す。
【０１０２】
このように表示許容領域情報をメタ情報に記述し、メタ情報の記述に従って画像データの表示を実行することで、操作情報中の画像データに表示許容領域外の画像データを含む場合は、制御部において、表示許容領域外を消去し、消去済みデータを出力画像として設定してディスプレイに表示する。
【０１０３】
図１２に示すような表示許容領域情報を記述したメタ情報に基づく画像データ再生処理においては、操作情報ファイルに基づく画像データの再生シーケンスと表示可能領域情報を格納した再生情報テーブルを生成する。再生情報テーブルの構成例を図１３に示す。図１３に示すように、再生情報テーブルは、再生シーケンスＮｏ．と、画像データファイルとを対応付けるとともに、画像処理情報として表示範囲の設定情報を格納する。具体的には、テーブルの各フレームに対応付けて表示許可領域に対応する角度情報をそれぞれ設定するか、あるいはメタ情報の参照情報を設定としたテーブルとして構成する。
【０１０４】
図１３には、先に図９を参照して説明した２つの操作情報ファイルにリンクする２つの画像ファイルを順次再生する構成において、再生シーケンスＮｏ．０〜３にのみ、表示領域を制限する処理を施す構成としたテーブル例を示している。
【０１０５】
再生シーケンスＮｏ．０〜３には、図９に示す操作情報ファイル４０３の画像フレーム０１１４〜０１１７が設定され、再生シーケンスＮｏ．４〜８には、操作情報ファイル４０２の画像フレーム００１０〜００１４が設定されている。さらに、再生シーケンスＮｏ．０〜３のみに画像処理として表示範囲設定があることを示す情報を設定してある。表示処理においては、制御部が、再生情報テーブルを参照し、表示範囲設定があるフレームの表示に際して、操作情報に設定された表示領域が表示許容領域外の画像データを含む場合は、その表示許容領域外を消去し、消去後のデータをディスプレイに表示する処理を実行する。
【０１０６】
次に、メタ情報の記述によって、表示画像の特定領域の表示色を変更する処理例について図１４以下を参照して説明する。
【０１０７】
図１４（ｃ）は、（ｄ）に示す全方位画像中の一部領域、水平角度−１００°〜１５０°垂直角度−２５°〜２０°の領域の表示色をＲＧＢ中、Ｒのみをオリジナル画像データに加算して設定する例であり、例えばＲＧＢの各々を８ビットデータとして表示される場合、Ｒ，Ｇ，Ｂには、０〜２５５の値がオリジナル画像の出力値として設定されるが、そのオリジナル画像データのＲのみの値を＋２０する処理を実行する。この処理の結果、（ｄ）に示す水平角度１００°〜１５０°垂直角度−２５°〜２０°の領域が表示データ中に含まれる場合、その領域部分のみが、赤みがかって表示される。
【０１０８】
図１４（ｅ）は、（ｆ）に示す全方位画像中の一部領域、水平角度１００°〜１５０°垂直角度−２５°〜２０°の領域の表示色をＲＧＢ、それぞれ−２５５として設定する例である。この処理によりＲＧＢの出力値は全て０として設定され、この処理の結果、（ｆ）に示す水平角度１００°〜１５０°垂直角度−２５°〜２０°の領域が表示データ中に含まれる場合、その領域部分のみが、真っ黒く塗りつぶされて表示される。
【０１０９】
図１４に示すような表示可能領域情報を記述したメタ情報に基づく画像データ再生処理においては、操作情報ファイルに基づく画像データの再生シーケンスと表示可能領域情報を格納した再生情報テーブルを生成する。再生情報テーブルの構成例を図１５に示す。図１５に示すように、再生情報テーブルは、再生シーケンスＮｏ．と、画像データファイルとを対応付けるとともに、画像処理情報として表示色の設定情報を格納する。具体的には、テーブルの各フレームに対応付けて表示色変更情報をそれぞれ設定するか、あるいはメタ情報の参照情報を設定としたテーブルとして構成する。
【０１１０】
図１５には、先に図９を参照して説明した２つの操作情報ファイルにリンクする２つの画像ファイルを順次再生する構成において、再生シーケンスＮｏ．４〜８にのみ、表示色を変更する処理を施す構成としたテーブル例を示している。
【０１１１】
再生シーケンスＮｏ．０〜３には、図９に示す操作情報ファイル４０３の画像フレーム０１１４〜０１１７が設定され、再生シーケンスＮｏ．４〜８には、操作情報ファイル４０２の画像フレーム００１０〜００１４が設定されている。さらに、再生シーケンスＮｏ．４〜８のみに画像処理として表示色変更設定があることを示す情報を設定してある。表示処理においては、制御部が、再生情報テーブルを参照し、表示色変更設定があるフレームの表示に際して、操作情報に設定された表示領域が表示色変更領域を含む場合は、その表示色変更領域のＲＧＢ値を変更してディスプレイに表示する処理を実行する。
【０１１２】
このように、本発明の構成によれば、トランジッション処理、表示領域制限処理、表示色変更処理等、様々な表示態様の設定をメタ情報を用いて記述することが可能であり、メタ情報に記述された情報に従って、様々な態様の画像表示を実行することが可能となる。
【０１１３】
上述の実施例において説明したように、本発明の構成においては、全方位画像、パノラマ画像等の画像データファイルと、制御情報としてのメタ情報、操作情報とを個別に独立したデータとして構成し、それぞれを自在にリンクさせて様々な画像データに対して、任意の制御情報を適用した処理が可能となる。
【０１１４】
ネットワークを介して制御情報を送信し、制御情報を受信した側で、画像表示、あるいは画像取得処理を可能とした画像制御情報通信システムネットワーク構成例について図１６を参照して説明する。
【０１１５】
図１６に示す構成は、上述したメタ情報、操作情報からなる制御情報を記憶したデータ記憶部５０１と、データ記憶部５０１から制御情報を取得してネットワーク５１０を介して送信するデータ送信部５０２と、データ送信部５０２から制御情報をネットワーク５１０を介して受信する監視カメラ５２１、ＰＣ（パーソナルコンピュータ）５２２、携帯端末５２３を有する構成である。
【０１１６】
例えばＰＣ５２２、携帯端末５２３は、パノラマ画像、あるいは全方位画像データを格納した記憶部を有し、データ送信部５０２から受信した制御情報（メタ情報、操作情報）を自己の記憶部に格納した画像データに対して関連付け（リンク）を行ない、受信した制御情報に従って、ＰＣあるいは携帯端末のディスプレイに表示する処理を実行する。
【０１１７】
図１６に示す画像制御情報通信システムは、通信ネットワークを介した画像表示制御情報を送信するデータ送信部５０２と、送信部５０２からの制御情報を受信するデータ受信手段としてのＰＣ５２２、あるいは携帯端末５２３を有する。ＰＣ５２２、あるいは携帯端末５２３等のデータ受信手段は、上述した表示画像制御処理装置として機能する。
【０１１８】
ＰＣ５２２、あるいは携帯端末５２３等のデータ受信手段は、データ送信部５０２から送信される制御情報に基づく制御対象データとして設定可能な画像データを格納した記憶部と、制御情報に従って決定される制御対象の画像データから、制御情報に従って選択される表示画像ファイルを取得し、制御情報に記述された表示画像領域指定情報に従って表示画像領域を決定し、決定表示画像領域を出力部に対する出力画像として設定する画像表示制御を実行する制御部と、制御部の制御に従った画像表示処理を実行する出力部とを有する。
【０１１９】
図１６に示す画像制御情報通信システム構成では、データ送信部５０２から、ユーザ対応の制御情報を生成してＰＣ５２２、あるいは携帯端末５２３等のデータ受信手段に対して送信することが可能となる。例えば、前述した表示範囲の設定情報を持つメタ情報を特定のユーザグループ毎に生成し、画像データコンテンツの利用料金を支払ったユーザに対しては、表示制限を設定しないメタ情報を生成して送信し、利用料金の未払いのユーザに対しては、試聴用に一部領域のみを表示可能とした表示範囲設定情報を持つメタ情報を生成して送信するなどの処理が可能となる。なお、制御情報は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）データによって記述されて送信される。
【０１２０】
また、監視カメラ５２１に対する制御情報の送信は、ＰＣ５２２、携帯端末５２３に対する処理とは異なり、監視カメラ５２１による画像取得に際する制御情報としてメタ情報と、操作情報を適用するものである。監視カメラ５２１の制御部は、ネットワークを介して受信するメタ情報と操作情報によって決定される画像シーケンスに従って対応する画像データを取得するように、監視カメラの方向、ズームの設定処理を行なう。この制御処理により、メタ情報と操作情報によって決定される画像シーケンスに従った画像取得が可能となる。
【０１２１】
すなわち、監視カメラ５２１は、撮影画像の取得処理を実行する取得画像制御処理装置として機能する。監視カメラ５２１は、取得画像データの取得画像領域指定情報を含む制御情報をデータ送信部５０２から受信して記憶部に格納し、監視カメラ５２１の制御部が、制御情報から取得画像領域指定情報を取得して取得画像領域を決定し、取得画像領域指定情報に従った画像取得処理を実行するために撮像部のコントロール、すなわち、方向制御や、ズーム設定処理等を実行する。
【０１２２】
制御情報は、取得画像領域情報を格納した操作情報と、操作情報の指定情報としてのパスを任意に設定可能で、操作情報中の画像指定情報を含むメタ情報とを有するものとして、データ送信部５０２から、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）データ等の記述言語を用いて生成、送信される。監視カメラ５２１の制御部は、制御情報に含まれるメタ情報および操作情報に基づいて、画像取得シーケンスおよび取得画像領域の決定処理を実行する。
【０１２３】
次に、図１７を参照して、本発明の画像制御処理装置８５０の構成例について説明する。本発明の画像制御処理装置は、例えばＰＣ、携帯端末、ＰＤＡ等、ＣＰＵ等の制御部と、ディスプレイを持つ様々な機器によって実現される。図１７に示す構成例は、その一例を示すものである。
【０１２４】
ＣＰＵ（Ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８５６は、上述した制御情報に基づく画像データ表示制御等の各種アプリケーションプログラムや、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を実行するプロセッサである。メモリ８５７は、ＣＰＵ８５６が実行するプログラム、あるいは演算パラメータとしての固定データを格納するＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ−Ｍｅｍｏｒｙ）、ＣＰＵ８５６の処理において実行されるプログラム、およびプログラム処理において適宜変化するパラメータの格納エリア、ワーク領域として使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等によって構成される。上述したメタ情報、操作情報に基づいて生成される再生情報テーブルの格納領域としても利用可能である。
【０１２５】
ＨＤＤ８５８は画像データを格納したハードディスクを持つ記憶部であり、全方位画像、パノラマ画像等が格納される。メタ情報、操作情報等の格納領域としても適用可能である。また、制御情報に基づいて生成した画像データの再格納領域としても使用可能である。なお、図には、ＨＤＤを利用した例を示しているが、ＣＤ、ＤＶＤ等を記憶媒体として適用することも可能である。
【０１２６】
コーデック８５１は、画像データのエンコード（符号化）処理、デコード（復号）処理を実行する。ネットワークインタフェース８５２は、通信ネットワークとのインタフェースとして機能する。入力インタフェース８５３は、マウス８３７、キーボード８３６等の入力機器とのインタフェースとして機能する。ユーザは例えばキーボード８３６からのデータ入力により、メタ情報、操作情報等の生成、書き換え処理、制御情報、画像情報とのリンク（パス）の設定等の処理が可能である。
【０１２７】
ＡＶインタフェース８５４、ディスプレイインタフェース８５５は、ビデオカメラ８３３、マイク８３４、スピーカ８３５等のＡＶデータ入出力機器からのデータ入出力を行なう。ＰＣＩバス８０９を介して制御情報、データが各構成要素間において転送される。これらのデータ転送制御、その他各種プログラム制御はＣＰＵ８５６によって実行される。
【０１２８】
なお、図１７に示す構成では、画像データ取得用のカメラ８３３、音声データ取得用のマイク８３４を備えた構成例を示しているが、再生対象画像データは、記憶部（例えばＨＤＤ８５８）の格納データを適用可能であり、表示制御のみを実行する装置においては、カメラ、マイク等のデータ取得構成は必ずしも備えることを必須とするものではない。
【０１２９】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１３０】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１３１】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏ ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１３２】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１３３】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【０１３４】
【発明の効果】
以上説明してきたように、本発明の構成によれば、例えばパノラマ画像、全方位画像等、表示領域の設定を伴う画像表示処理において、画像データの表示画像領域指定情報を格納した制御情報に、制御対象の画像データを任意に設定可能な記述情報（Ｐａｔｈ）を設定し、画像データとは独立に管理可能なデータファイルとして構成したので、ユーザが任意の画像に任意の制御情報を対応付けて画像表示制御を実行することが可能となる。
【０１３５】
さらに、本発明の構成によれば、制御対象の画像データを任意に設定可能な記述情報として有するとともに、表示画像領域情報を格納した操作情報と、操作情報の指定情報を任意に設定可能な記述情報として有するとともに、少なくとも表示対象とする操作情報中の画像指定情報を含むメタ情報とによってＸＭＬ記述の制御情報を構成したので、メタ情報に基づいて、複数の操作情報を指定情報として設定することや、メタ情報中にトランジッション処理、表示領域指定、表示色指定情報等を設定可能であり、高度な表示制御が可能となる。
【０１３６】
さらに、本発明の構成によれば、表示画像領域情報を格納した操作情報の表示画像領域情報として、例えば水平角度情報、垂直角度情報、ズーム情報を指定する構成としたので、様々な態様での表示領域設定が可能となる。
【０１３７】
さらに、本発明の構成によれば、撮影画像の取得処理を実行する取得画像制御処理装置においても、取得画像データの取得画像領域指定情報を含む制御情報を適用することで、制御情報に従って決定される取得画像領域指定情報に従って取得画像領域を決定し、決定情報に従って画像取得処理を実行する撮像部の制御構成が実現され、ユーザ操作等を不要とし、かつ制御設定を容易に変更可能な画像取得シーケンスの設定が可能となる。
【図面の簡単な説明】
【図１】全方位画像等の多視点画像データの取得処理について説明する図である。
【図２】全方位画像等の動画像データにおける表示領域設定について説明する図である。
【図３】本発明において適用する制御情報を用いた画像表示処理について説明する図である。
【図４】本発明において適用する操作情報について説明する図である。
【図５】本発明において適用する操作情報について説明する図である。
【図６】本発明の画像制御処理装置の構成例を示すブロック図である。
【図７】本発明の画像制御処理装置の処理手順について説明するフロー図である。
【図８】本発明の画像制御処理装置において画像表示の際に生成する再生情報テーブルの構成例を示す図である。
【図９】本発明の画像制御処理装置において複数の画像データファイルを適用した処理例を説明する図である。
【図１０】本発明の画像制御処理装置において適用するトランジッション処理例を説明する図である。
【図１１】トランジッション処理を含む再生情報テーブルの構成例について説明する図である。
【図１２】表示許容領域の設定情報をメタ情報に記述した例を説明する図である。
【図１３】表示許容領域の設定情報を含む再生情報テーブルの構成例について説明する図である。
【図１４】表示色変更領域の設定情報をメタ情報に記述した例を説明する図である。
【図１５】表示色変更領域の設定情報を含む再生情報テーブルの構成例について説明する図である。
【図１６】本発明の画像制御処理装置をネットワーク接続して処理を実行する例を説明する図である。
【図１７】本発明の画像制御処理装置の構成例を説明する図である。
【符号の説明】
１０１ 被写体
１０２ 被写体
１５２ 出力画像領域
１７１ メタ情報
１７２ 操作情報
１７３ 再生順序
１７４ 画像データ記憶部
１７５ 画像データ表示部
２１２ 操作情報ファイル
２３１ 表示画像領域
２５１ 操作情報
３０１ 通信部
３０２ 制御情報記憶部
３０３ 制御部
３０４ 画像データ記憶部
３０５ 入力部
３０６ 出力部
４０１ メタ情報
４０２，４０３ 操作情報
４０４ 再生順序
５０１ データ記憶部
５０２ データ送信部
５２１ 監視カメラ
５２２ ＰＣ
５２３ 携帯端末
８０９ ＰＣＩバス
８３２ ディスプレイ
８３３ ビデオカメラ
８３４ マイク
８３５ スピーカ
８３７ マウス
８３８ キーボード
８５０ 画像制御処理装置
８５１ コーデック
８５２ ネットワークインタフェース
８５３ 入出力インタフェース
８５４ ＡＶインタフェース
８５５ ディスプレイインタフェース
８５６ ＣＰＵ
８５７ メモリ
８５８ ＨＤＤ

Claims (29)

1. 画像表示処理を実行する表示画像制御処理装置であり、
   画像データの表示画像領域指定情報を含み、制御対象の画像データを任意に設定可能な記述情報として有する制御情報を格納した記憶部と、
   前記制御情報に従って決定される制御対象の画像データから、該制御情報に従って選択される表示画像ファイルを取得し、前記制御情報に記述された表示画像領域指定情報に従って表示画像領域を決定し、該決定表示画像領域を出力部に対する出力画像として設定する画像表示制御を実行する制御部と、
   前記制御部の制御に従った画像表示処理を実行する出力部と、
   を有することを特徴とする表示画像制御処理装置。
2. 前記制御部は、
   前記制御情報に従って決定される制御対象の画像データから、該制御情報に従って選択される表示画像ファイルの識別情報を表示シーケンスに従って記録した再生情報テーブルの生成処理を実行し、前記制御情報および前記再生情報テーブルに従った画像表示制御を実行する構成であることを特徴とする請求項１に記載の表示画像制御処理装置。
3. 前記制御情報は、
   制御対象の画像データを任意に設定可能な記述情報として有するとともに、表示画像領域情報を格納した操作情報と、
   操作情報の指定情報を任意に設定可能な記述情報として有するとともに、少なくとも表示対象とする操作情報中の画像指定情報を含むメタ情報とを有し、
   前記制御部は、
   前記メタ情報および操作情報に基づいて、表示シーケンスおよび表示画像領域の決定処理を実行する構成であることを特徴とする請求項１に記載の表示画像制御処理装置。
4. 前記メタ情報は、
   複数の異なる操作情報の指定情報を有し、複数の操作情報に関連付けられた異なる画像データを順次表示する制御情報を記述した構成であり、
   前記制御部は、
   複数の操作情報に基づいて、異なる画像データについての表示シーケンスおよび表示画像領域の決定処理を実行する構成であることを特徴とする請求項３に記載の表示画像制御処理装置。
5. 前記制御情報は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）データによって記述されたデータであることを特徴とする請求項１に記載の表示画像制御処理装置。
6. 前記制御情報による制御対象画像データは、パノラマ画像データであり、前記制御情報は、画像データの表示画像領域指定情報として、少なくとも表示対象領域の水平方向の指定情報である水平角度情報を含み、
   前記制御部は、
   前記水平角度情報に基づいて表示領域設定処理を実行する構成であることを特徴とする請求項１に記載の表示画像制御処理装置。
7. 前記制御情報は、表示対象領域の水平方向の指定情報としての水平角度情報、表示対象領域の垂直方向の指定情報としての垂直角度情報、表示対象領域のズーム指定情報の少なくともいずれかの領域指定情報を含み、
   前記制御部は、
   前記領域指定情報に基づいて表示領域設定処理を実行する構成であることを特徴とする請求項１に記載の表示画像制御処理装置。
8. 前記制御情報は、制御対象の画像データを任意に設定可能な記述情報として有するとともに、表示画像領域情報を格納した操作情報と、操作情報の指定情報を任意に設定可能な記述情報として有するとともに、少なくとも表示対象とする操作情報中の画像指定情報を含むメタ情報とを含み、
   前記メタ情報は、画像表示における画像表示態様設定処理情報を含み、
   前記制御部は、前記画像表示態様設定処理情報に従った表示制御処理を実行する構成であることを特徴とする請求項１に記載の表示画像制御処理装置。
9. 前記画像表示態様設定処理情報は、
   複数の異なる画像の画像切り替え処理態様の指定情報、表示許容領域の設定情報、表示色変更情報の少なくともいずれかの画像処理指定情報を含み、
   前記制御部は、前記画像処理指定情報に従った表示制御処理を実行する構成であることを特徴とする請求項８に記載の表示画像制御処理装置。
10. 撮影画像の取得処理を実行する取得画像制御処理装置であり、
    取得画像データの取得画像領域指定情報を含む制御情報を格納した記憶部と、前記制御情報に従って決定される取得画像領域指定情報に従って取得画像領域を決定し、該決定情報に従って、画像取得処理を実行する撮像部の設定を制御する制御部と、
    前記制御部の制御に従った画像取得処理を実行する撮像部と、
    を有することを特徴とする取得画像制御処理装置。
11. 前記制御情報は、
    取得画像領域情報を格納した操作情報と、操作情報の指定情報を任意に設定可能な記述情報として有するとともに、少なくとも操作情報中の画像指定情報を含むメタ情報とを有し、
    前記制御部は、
    前記メタ情報および操作情報に基づいて、画像取得シーケンスおよび取得画像領域の決定処理を実行する構成であることを特徴とする請求項１０に記載の取得画像制御処理装置。
12. 前記制御情報は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）データによって記述されたデータであることを特徴とする請求項１０に記載の取得画像制御処理装置。
13. 画像制御情報通信システムであり、
    通信ネットワークを介した画像表示制御情報を送信するデータ送信手段と、
    前記送信手段からの制御情報を受信するデータ受信手段とを有し、
    前記データ受信手段は、
    前記制御情報に基づく制御対象データとして設定可能な画像データを格納した記憶部と、
    前記制御情報に従って決定される制御対象の画像データから、該制御情報に従って選択される表示画像ファイルを取得し、前記制御情報に記述された表示画像領域指定情報に従って表示画像領域を決定し、該決定表示画像領域を出力部に対する出力画像として設定する画像表示制御を実行する制御部と、
    前記制御部の制御に従った画像表示処理を実行する出力部と、
    を有する構成であることを特徴とする画像制御情報通信システム。
14. 前記制御情報は、
    制御対象の画像データを任意に設定可能な記述情報として有するとともに、表示画像領域情報を格納した操作情報と、
    操作情報の指定情報を任意に設定可能な記述情報として有するとともに、少なくとも表示対象とする操作情報中の画像指定情報を含むメタ情報とを有し、
    前記データ受信手段の制御部は、
    前記メタ情報および操作情報に基づいて、表示シーケンスおよび表示画像領域の決定処理を実行する構成であることを特徴とする請求項１３に記載の画像制御情報通信システム。
15. 前記制御情報は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）データによって記述されたデータであることを特徴とする請求項１３に記載の画像制御情報通信システム。
16. 前記制御情報は、制御対象の画像データを任意に設定可能な記述情報として有するとともに、表示画像領域情報を格納した操作情報を含み、
    前記操作情報は、表示対象領域の水平方向の指定情報としての水平角度情報、表示対象領域の垂直方向の指定情報としての垂直角度情報、表示対象領域のズーム指定情報の少なくともいずれかの情報を含む構成であることを特徴とする請求項１３に記載の画像制御情報通信システム。
17. 画像表示処理を実行する表示画像制御処理方法であり、
    画像データの表示画像領域指定情報を含み、制御対象の画像データを任意に設定可能な記述情報として有する制御情報を取得する制御情報取得ステップと、
    前記制御情報に従って決定される制御対象の画像データから、該制御情報に従って選択される表示画像ファイルを取得するステップと、
    前記制御情報に記述された表示画像領域指定情報に従って表示画像領域を決定し、該決定表示画像領域を出力部に対する出力画像として設定する制御ステップと、
    前記制御ステップの制御に従った画像表示処理を実行する出力ステップと、
    を有することを特徴とする表示画像制御処理方法。
18. 前記制御ステップは、
    前記制御情報に従って決定される制御対象の画像データから、該制御情報に従って選択される表示画像ファイルの識別情報を表示シーケンスに従って記録した再生情報テーブルの生成処理を実行し、前記制御情報および前記再生情報テーブルに従った画像表示制御を実行するステップを含むことを特徴とする請求項１７に記載の表示画像制御処理方法。
19. 前記制御情報は、
    制御対象の画像データを任意に設定可能な記述情報として有するとともに、表示画像領域情報を格納した操作情報と、
    操作情報の指定情報を任意に設定可能な記述情報として有するとともに、少なくとも表示対象とする操作情報中の画像指定情報を含むメタ情報とを有し、
    前記制御ステップは、
    前記メタ情報および操作情報に基づいて、表示シーケンスおよび表示画像領域の決定処理を実行することを特徴とする請求項１７に記載の表示画像制御処理方法。
20. 前記メタ情報は、
    複数の異なる操作情報の指定情報を有し、複数の操作情報に関連付けられた異なる画像データを順次表示する制御情報を記述した構成であり、
    前記制御ステップは、
    複数の操作情報に基づいて、異なる画像データについての表示シーケンスおよび表示画像領域の決定処理を実行することを特徴とする請求項１９に記載の表示画像制御処理方法。
21. 前記制御情報は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）データによって記述されたデータであることを特徴とする請求項１７に記載の表示画像制御処理方法。
22. 前記制御情報による制御対象画像データは、パノラマ画像データであり、前記制御情報は、画像データの表示画像領域指定情報として、少なくとも表示対象領域の水平方向の指定情報である水平角度情報を含み、
    前記制御ステップは、
    前記水平角度情報に基づいて表示領域設定処理を実行することを特徴とする請求項１７に記載の表示画像制御処理方法。
23. 前記制御情報は、表示対象領域の水平方向の指定情報としての水平角度情報、表示対象領域の垂直方向の指定情報としての垂直角度情報、表示対象領域のズーム指定情報の少なくともいずれかの情報を含み、
    前記制御ステップは、
    前記領域指定情報に基づいて表示領域設定処理を実行することを特徴とする請求項１７に記載の表示画像制御処理方法。
24. 前記制御情報は、制御対象の画像データを任意に設定可能な記述情報として有するとともに、表示画像領域情報を格納した操作情報と、操作情報の指定情報を任意に設定可能な記述情報として有するとともに、少なくとも表示対象とする操作情報中の画像指定情報を含むメタ情報とを含み、
    前記メタ情報は、画像表示における画像表示態様設定処理情報を含み、
    前記制御ステップは、前記画像表示態様設定処理情報に従った表示制御処理を実行することを特徴とする請求項１７に記載の表示画像制御処理方法。
25. 前記画像表示態様設定処理情報は、
    複数の異なる画像の画像切り替え処理態様の指定情報、表示許容領域の設定情報、表示色変更情報の少なくともいずれかの画像処理指定情報を含み、
    前記制御ステップは、前記画像処理指定情報に従った表示制御処理を実行することを特徴とする請求項２４に記載の表示画像制御処理方法。
26. 撮影画像の取得処理を実行する取得画像制御処理方法であり、
    取得画像データの取得画像領域指定情報を含む制御情報に従って決定される取得画像領域指定情報に従って取得画像領域を決定し、該決定情報に従って、画像取得処理を実行する撮像部の設定を制御する制御ステップと、
    前記制御制御に従った画像取得処理を実行する撮像ステップと、
    を有することを特徴とする取得画像制御処理方法。
27. 前記制御情報は、
    取得画像領域情報を格納した操作情報と、操作情報の指定情報を任意に設定可能な記述情報として有するとともに、少なくとも操作情報中の画像指定情報を含むメタ情報とを有し、
    前記制御ステップは、
    前記メタ情報および操作情報に基づいて、画像取得シーケンスおよび取得画像領域の決定処理を実行するステップを含むことを特徴とする請求項２６に記載の取得画像制御処理方法。
28. 前記制御情報は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）データによって記述されたデータであることを特徴とする請求項２６に記載の取得画像制御処理方法。
29. 画像表示処理を実行する表示画像制御処理を実行するコンピュータ・プログラムであって、
    画像データの表示画像領域指定情報を含み、制御対象の画像データを任意に設定可能な記述情報として有する制御情報を取得する制御情報取得ステップと、
    前記制御情報に従って決定される制御対象の画像データから、該制御情報に従って選択される表示画像ファイルを取得するステップと、
    前記制御情報に記述された表示画像領域指定情報に従って表示画像領域を決定し、該決定表示画像領域を出力部に対する出力画像として設定する制御ステップと、
    前記制御ステップの制御に従った画像表示処理を実行する出力ステップと、
    を具備することを特徴とするコンピュータ・プログラム。

Images