JP2004289333A

JP2004289333A - Data processing apparatus, data processing method, program, and recording medium

Info

Publication number: JP2004289333A
Application number: JP2003076835A
Authority: JP
Inventors: Akira Takahashi; 彰高橋; Takao Inoue; 隆夫井上; Takanori Yano; 隆則矢野; Hiroyuki Sakuyama; 宏幸作山; Taku Kodama; 卓児玉; Keiichi Ikebe; 慶一池辺; Takashi Maki; 隆史牧; Ikuko Kusatsu; 郁子草津; Shin Aoki; 伸青木; Takeshi Koyama; 毅小山
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2003-03-20
Filing date: 2003-03-20
Publication date: 2004-10-14
Anticipated expiration: 2023-03-20
Also published as: JP4208122B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a novel apparatus and method for realizing presentation by utilizing a still picture or a moving picture compressed by the JPEG 2000. <P>SOLUTION: A data acquisition section 101 captures e.g., image data compressed in compliance with the JPEG 2000 from a data source 120 according to an output procedure described in an output procedure file 122. An output data generating section 102 generates image data in compliance with conditions such as a resolution level, image quality, a size and colors defined in the output procedure from the compressed image data, and writes the image data to a video memory section 130 so that the image data are displayed on an image position defined in the output procedure. The image data are displayed on a screen of a display apparatus 131. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、プレゼンテーションなどのために、予め定めた手順に従って静止画や動画などのデータを表示又は配信するためのデータ処理装置及び方法に関する。
【０００２】
【従来の技術】
画像、グラフ、表、テキスト、音声などの素材を用いたプレゼンテーションには、Ｍｉｃｒｏｓｏｆｔ社のＰｏｗｅｒＰｏｉｎｔ（登録商標）やＡｐｐｌｅ社のＫｅｙｎｏｔｅ（登録商標）などに代表される、いわゆるプレゼンテーション・ソフトウェアが利用されることが多い。このようなプレゼンテーション・ソフトウェアは、基本的に、各種素材を表示したいサイズなどに加工し、それを表示したい順に順序付けするなど、プレゼンテーションのための資料を予め編集しておくものである。
【０００３】
画像は圧縮された状態で蓄積又は伝送されることが多い。静止画の圧縮にはＪＰＥＧが、動画の圧縮にはＭＰＥＧやＭｏｔｉｏｎ−ＪＰＥＧが広く利用されているが、新しい圧縮方式としてウェーブレット変換を利用するＪＰＥＧ２０００が注目されている（例えば非特許文献１参照）。
【０００４】
ＪＰＥＧ２０００の圧縮アルゴリズムは基本仕様（ＩＳＯ／ＩＥＣＦＣＤ１５４４４−１）に規定されている。ＪＰＥＧ２０００の動画のファィルフォーマットなどは、拡張仕様（ＩＳＯ／ＩＥＣＦＣＤ１５４４４−３）に規定されている。ＪＰＥＧ２０００の動画では、各フレームが、前後のフレームから独立した静止画として、ＪＰＥＧ２０００の基本仕様に規定されたアルゴリズムにより圧縮される。
【０００５】
【非特許文献１】
野水泰之著、「次世代画像符号化方式ＪＰＥＧ２０００」、
株式会社トリケップス、２００１年２月１３日
【０００６】
【発明が解決しようとする課題】
ＪＰＥＧ２０００の圧縮画像データは、圧縮前の画像と異なった解像度、サイズ、画質、色などで伸長することができ、また、符号状態のままで解像度、サイズ、画質、色などを変更した圧縮画像データに変換することができる。
【０００７】
本発明は、このようなＪＰＥＧ２０００の圧縮画像データの特性に着目し、ＪＰＥＧ２０００の圧縮画像データを含むデータ群を用いた多様なプレゼンテーションなどを、それらデータを予め編集することなく実行できるようにする新規なデータ処理装置及び方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明によるデータ処理装置は、請求項１に記載のように、時間軸に沿って出力すべきデータの指定及びその出力条件を定義した出力手順と、少なくともＪＰＥＧ２０００による圧縮画像データが含まれるデータ群より、前記出力手順に定義されたデータの指定に従ってデータを取得するデータ取得手段と、前記データ取得手段により取得されたデータから、当該データに関し前記出力手順に定義された出力条件に従った出力データを生成する出力データ生成手段とを有することを特徴とするものである。
【０００９】
本発明によるデータ処理装置のもう１つの発明は、請求項２に記載のように、請求項１に記載の構成において、前記出力データ生成手段は、ＪＰＥＧ２０００による圧縮画像データをイメージデータに伸長するための伸長手段を含み、ＪＰＥＧ２０００による圧縮画像データを、当該圧縮画像データに関し前記出力手順に定義された出力条件に従って前記伸長手段によりイメージデータに伸長させ、当該イメージデータを出力データとして出力することにある。
【００１０】
本発明によるデータ処理装置のもう１つの特徴は、請求項３に記載のように、請求項２に記載の構成において、前記出力データ生成手段は、ＪＰＥＧ２０００による圧縮画像データを前記伸長手段に伸長させる前に、当該圧縮画像データのヘッダ情報を、当該圧縮画像データに関し前記出力手順に定義された出力条件に従って書き換える手段を含むことにある。
【００１１】
本発明によるデータ処理装置のもう１つの特徴は、請求項４に記載のように、請求項１に記載の構成において、前記出力データ生成手段は、ＪＰＥＧ２０００による圧縮画像データを符号状態のままで他の圧縮画像データに変換するための変換手段を含み、ＪＰＥＧ２０００による圧縮画像データを、当該圧縮画像データに関し前記出力手順に定義された出力条件に従って前記変換手段により変換させ、当該変換後の圧縮画像データを出力データとして出力することにある。
【００１２】
本発明によりデータ処理装置のもう１つの特徴は、請求項５に記載のように、請求項４に記載の構成において、前記変換手段は、ＪＰＥＧ２０００による圧縮画像データのヘッダ情報の書き換えにより当該圧縮画像データの変換を行うことにある。
【００１３】
本発明によるデータ処理装置のもう１つの特徴は、請求項６に記載のように、請求項２乃至５のいずれか１項に記載の構成において、前記出力データ生成手段は、ＪＰＥＧ２０００による圧縮画像データに関し、画像の解像度を変更することにある。
【００１４】
本発明によるデータ処理装置のもう１つの特徴は、請求項７に記載のように、請求項２乃至５のいずれか１項に記載の構成において、前記出力データ生成手段は、ＪＰＥＧ２０００による圧縮画像データに関し、画像のサイズを変更することにある。
【００１５】
本発明によるデータ処理装置のもう１つの特徴は、請求項８に記載のように、請求項２乃至５のいずれか１項に記載の構成において、前記出力データ生成手段は、ＪＰＥＧ２０００による圧縮画像データに関し、画像の画質を変更することにある。
【００１６】
本発明によるデータ処理装置のもう１つの特徴は、請求項９に記載のように、請求項２乃至５のいずれか１項に記載の構成において、前記出力データ生成手段は、ＪＰＥＧ２０００による圧縮画像データに関し、画像のタイル位置を変更することにある。
【００１７】
本発明によるデータ処理装置のもう１つの特徴は、請求項１０に記載のように、請求項２乃至５のいずれか１項に記載の構成において、前記出力データ生成手段は、ＪＰＥＧ２０００による圧縮画像データに関し、画像の色を不正常にすることにある。
【００１８】
本発明によるデータ処理装置のもう１つの特徴は、請求項１１に記載のように、請求項２乃至５のいずれか１項に記載の構成において、前記出力データ生成手段は、ＪＰＥＧ２０００による圧縮画像データに関し、画像のＲＯＩ領域以外の領域を再生不可能にすることにある。
【００１９】
本発明によるデータ処理装置のもう１つの特徴は、請求項１２に記載のように、請求項２乃至５のいずれか１項に記載の構成において、前記出力データ生成手段は、ＪＰＥＧ２０００による圧縮画像データに関し、画像の色数を変更することにある。
【００２０】
本発明によるデータ処理装置のもう１つの特徴は、請求項１３に記載のように、請求項２乃至５のいずれか１項に記載の構成において、前記出力データ生成手段は、ＪＰＥＧ２０００による圧縮画像データに関し、画像を変形することにある。
【００２１】
本発明によるデータ処理方法は、請求項１４に記載のように、時間軸に沿って出力すべきデータの指定及びその出力条件を定義した出力手順を読み込む読み込みステップと、少なくともＪＰＥＧ２０００による圧縮画像データが含まれるデータ群より、前記読み込みステップで読み込まれた前記出力手順に定義されたデータの指定に従ってデータを取り込むデータ取得ステップと、前記データ取得ステップにより取り込まれたデータから、当該データに関し前記出力手順に定義された出力条件に従った出力データを生成する出力データ生成ステップとを有することを特徴とするものである。
【００２２】
本発明によるデータ処理方法のもう１つの特徴は、請求項１５に記載のように、請求項１４に記載の構成において、前記出力データ生成ステップは、ＪＰＥＧ２０００による圧縮画像データをイメージデータに伸長するための伸長ステップを含み、ＪＰＥＧ２０００による圧縮画像データを、当該圧縮画像データに関し前記出力手順に定義された出力条件に従って前記伸長ステップによりイメージデータに伸長させ、当該イメージデータを出力データとして出力することにある。
【００２３】
本発明によるデータ処理方法のもう１つの特徴は、請求項１６に記載のように、請求項１５に記載の構成において、前記出力データ生成ステップは、ＪＰＥＧ２０００による圧縮画像データを前記伸長ステップに伸長させる前に、当該圧縮画像データのヘッダ情報を、当該圧縮画像データに関し前記出力手順に定義された出力条件に従って書き換えるステップを含むことにある。
【００２４】
本発明によるデータ処理方法のもう１つの特徴は、請求項１７に記載のように、請求項１４に記載の構成において、前記出力データ生成ステップは、ＪＰＥＧ２０００による圧縮画像データを符号状態で他の圧縮画像データに変換するための変換ステップを含み、ＪＰＥＧ２０００による圧縮画像データを、当該圧縮画像データに関し前記出力手順に定義された出力条件に従って前記変換ステップにより変換させ、当該変換後の圧縮画像データを出力データとして出力することにある。
【００２５】
本発明によるデータ処理方法のもう１つの特徴は、請求項１８に記載のように、請求項１７に記載の構成において、前記変換ステップは、ＪＰＥＧ２０００による圧縮画像データのヘッダ情報の書き換えにより当該圧縮画像データの変換を行うことにある。
【００２６】
【発明の実施の形態】
以下の説明の理解を容易にするため、ＪＰＥＧ２０００について概説する。
【００２７】
図１６は、ＪＰＥＧ２０００の圧縮／伸長のアルゴリズムを説明するためのブロック図である。圧縮処理の対象となる画像データデータは、各コンポーネント毎に、重複しない矩形領域（タイル）に分割され、各コンポーネント毎にタイル単位で処理される。ただし、画像全体を１つのタイルとして処理することも可能である。
【００２８】
各コンポーネントの各タイル画像は、色空間変換／逆変換部１で、圧縮率の向上を目的として、ＲＧＢデータやＣＭＹデータからＹＣｒＣｂデータへの色空間変換を施される。この色空間変換が省かれる場合もある。
【００２９】
色空間変換後のタイル画像は、ウェーブレット変換／逆変換部２により、２次元のウェーブレット変換（離散ウェーブレット変換）を施され、複数のサブバンドに分解される。
【００３０】
図１７はデコンポジションレベル数が３の場合のウェーブレット変換の説明図である。図１７（ａ）に示すタイル画像（デコンポジションレベル０）に対する２次元ウェーブレット変換により、図１７（ｂ）に示すような１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分割される。１ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図１７（ｃ）に示すように２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨのサブバンドに分割される。２ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図１７（ｄ）に示すように３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨのサブバンドに分割される。デコンポジションレベルと解像度レベルとの関係であるが、図１７（ｄ）の各サブバンド内に括弧で囲んで示した数字が、そのサブバンドの解像度レベルである。
【００３１】
このような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られたウェーブレット係数は、量子化／逆量子化部３でサブバンド毎に量子化される。ＪＰＥＧ２０００ではロスレス（可逆）圧縮とロッシー（非可逆）圧縮のいずれも可能であり、ロスレス圧縮の場合には量子化ステップ幅は常に１であり、この段階では実質的に量子化されない。
【００３２】
量子化後の各サブバンド係数は、エントロピー符号化／復号化部４でエントロピー符号化される。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（ＥｍｂｅｄｄｅｄＢｌｏｃｋＣｏｄｉｎｇｗｉｔｈＯｐｔｉｍｉｚｅｄＴｒｕｎｃａｔｉｏｎ）と呼ばれるブロックベースのビットプレーン符号化方式が用いられる。量子化後の各サブバンド係数のビットプレーンが、上位ビットから下位ビットへ向かって、コードブロックと呼ばれるブロック毎に符号化される。
【００３３】
タグ処理部５において、エントロピー符号化／復号化部４で生成されたコードブロックの符号がまとめられてパケットが作成され、次に、パケットがプログレッション順序に従って並べられるとともに必要なタグ及びタグ情報が付加されることにより、所定フォーマットの符号化データ（圧縮画像データ）が作成される。ＪＰＥＧ２０００では、符号順序制御に関して、解像度レベル、位置（プレシンクト）、レイヤ、コンポーネント（色成分）の組み合わせによる５種類のプログレッション順序が定義されている。
【００３４】
このようにして生成されるＪＰＥＧ２０００の符号化データのフォーマットを図１８に示す。図１８に見られるように、符号化データはその始まりを示すＳＯＣマーカと呼ばれるタグで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ（ＭａｉｎＨｅａｄｅｒ）と呼ばれるタグ情報が続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカと呼ばれるタグで始まり、タイルヘッダ（ＴｉｌｅＨｅａｄｅｒ）と呼ばれるタグ情報、ＳＯＤマーカと呼ばれるタグ、各タイルの符号列を内容とするタイルデータ（ＴｉｌｅＤａｔａ）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカと呼ばれるタグが置かれる。
【００３５】
図１９にメインヘッダの構成を示す。ＳＩＺ，ＣＯＤ，ＱＣＤの各マーカセグメントは必須であるが、他のマーカセグメントはオプションである。図２０にタイルヘッダの構成を示す。図２０において、（ａ）はタイルデータの先頭に付加されるヘッダの構成を示し、（ｂ）はタイル内が複数に分割されている場合に分割されたタイル部分列の先頭に付加されるヘッダの構成を示す。タイルヘッダでは必須のマーカセグメントはなく、すべてオプションである。ＳＯＴマーカセグメントの構成を図２１に、ＳＩＺマーカセグメントの構成を図２２に、ＣＯＤマーカセグメントの構成を図２３に、ＣＲＧマーカセグメントの構成を図２４に、ＲＧＮマーカセグメントの構成を図２５にそれぞれ示す。
【００３６】
ＪＰＥＧ２０００の符号化データの伸長処理は圧縮処理と逆の処理となる。符号化データはタグ処理部５で各コンポーネントの各タイルの符号列に分解される。この符号列はエントロピー符号化／復号化部４によってエントロピー復号される。復号されたウェーブレット係数は量子化／逆量子化部３で逆量子化されたのち、ウェーブレット変換／逆変換部２で２次元の逆ウェーブレット変換を施されることにより、各コンポーネントの各タイルの画像が再生される。各コンポーネントの各タイル画像は色空間変換／逆変換部１で逆色変換処理を施されてＲＧＢなどのコンポーネントから構成されるタイル画像に戻される。
【００３７】
さて、ＪＰＥＧ２０００においては、画像は複数の領域に分割され、各分割領域は依存関係にない状態で圧縮されるが、分割領域として前記のタイルとコードブロックのほかにプレシンクトがあり、画像≧タイル≧サブバンド≧プレシンクト≧コードブロックの大きさ関係がある。プレシンクトに含まれる全てのコードブロックの符号の一部（例えば最上位から３ビット目までの３枚のビットプレーンの符号）を取り出して集めたものがパケットである。符号が空（から）のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション順序に従ってパケットを並べることにより符号化データを形成する。図１８中の各タイルに関するＳＯＤ以下の部分がパケットの集合である。
【００３８】
ＪＰＥＧ２０００の符号化データはレイヤ構造を持たせることができる。全てのプレシンクト（つまり、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の最上位のビットプレーンから３枚目までのビットプレーンの符号）ができるが、これがレイヤである。したがって、伸長時に復号されるレイヤの数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位と言える。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。
【００３９】
以上説明したＪＰＥＧ２０００の符号化データを構成するパケットは領域、画質、コンポーネント、解像度の各インデックスを持っているため、符号状態で領域、画質、コンポーネント、解像度の各パラメータで符号の取捨選択が可能である。すなわち、ある符号化データを、伸長することなく、つまり符号状態のままで、符号の選択的削除（及び必要なタグ情報の書き換え）により、再生時の領域、画質、コンポーネント、解像度を変更した符号化データに変換することができる。
【００４０】
また、後に具体的に述べるように、ＪＰＥＧ２０００符号化データは、符号そのものを変更することなく、タグ情報（ヘッダ情報）の書き換えのみによって、再生時の解像度、画質、コンポーネント、領域を変更した符号化データに変換することもできる。
【００４１】
また、ＪＰＥＧ２０００は、画像全体の圧縮率を下げることなく、特定の領域の圧縮率を下げる（高画質化する）選択的領域画質向上機能（ＲＯＩ）がある。ＪＰＥＧ２０００の基本仕様では、ＲＯＩ領域のウェーブレット係数をビットシフトするＭａｘＳｈｉｆｔ方式と呼ばれるＲＯＩ方式が規定されている。
【００４２】
図１は、本発明の第１の実施形態を説明するためのブロック図である。この実施形態に係るデータ処理装置は、表示装置１３１に表示されるイメージデータを生成する構成であり、データ取得部１０１、出力データ生成部１０２、システム制御部１０５、出力手順ファイル１２２を有する。１２１は出力手順ファイル１２２を保存するための記憶部である。
【００４３】
１３０は出力データ生成部１０２が生成したイメージデータ（出力データ）を書き込むビデオメモリ部であり、ここに書き込まれたイメージデータが表示装置１３１の画面に表示される。１２０はデータ・ソースであり、少なくともＪＰＥＧ２０００により圧縮された画像（静止画又は動画）データを含むデータ群をファイルとして蓄積している。なお、データ・ソース１２０は、ローカルな記憶装置であったり、ＬＡＮ、イントラネット、インターネットなどのネットワーク上のファイルサーバーなどである。
【００４４】
システム制御部１０５は、データ処理装置の全体的な動作を制御する手段である。また、システム制御部１０５は、出力手順ファイル１２２に記述された出力手順の内容を取り込んで解釈し、出力手順中に時間軸に沿って定義されたデータの指定及び出力条件を、時間経過に従ってデータ取得部１０１及び出力データ生成部１０２へそれぞれ通知する手段でもある。
【００４５】
データ取得部１０１は、システム制御部１０５より渡されたデータの指定に従って、１つ又は複数のデータソース１２０に蓄積されているデータ群より必要なデータを取り込み、それを出力データ生成部１０２に入力する手段である。
【００４６】
出力データ生成部１０３は、データ取得部１０１より入力されるデータから、システム制御部１０５より渡された出力条件に従ったイメージデータ（出力データ）を生成する手段であり、データ処理部１０３とＪＰＥＧ２０００デコーダ１０４とからなる。ＪＰＥＧ２０００デコーダ１０４は、ＪＰＥＧ２０００による圧縮画像データをイメージデータに伸長する手段である。データ処理部１０３は、圧縮画像データをＪＰＥＧ２０００デコーダ１０４へ渡してイメージデータに伸長させ、テキストデータをイメージデータへ展開し、得られたイメージデータをビデオメモリ部１３０に書き込む。データ処理部１０３は、出力条件に従って、ＪＰＥＧ２０００デコーダ１０４の伸長動作の制御、圧縮画像データのヘッダ情報の書き換え処理、伸長又は展開されたイメージデータの変倍（間引き／補間処理）、ビデオメモリ部１３０に対するイメージデータの書き込み位置の制御などを行う。
【００４７】
出力手順ファイル１２２に記述されている出力手順は、時間軸に沿って、出力（表示）するデータの指定と、そのデータの出力条件を定義したものである。データの指定とは、例えば当該データのファイル名やＵＲＬである。データの出力条件としては、例えば、当該データが圧縮画像データの場合ならば、画像の解像度、サイズ、画質、タイル位置、色、ＲＯＩ領域、変形など、再生画像の見え方に直接関係する条件のほか、データの出力（表示）時間、画像やテキストのイメージが表示される画面上の位置などが定義される。
【００４８】
図２は、このデータ処理装置の動作を説明するための簡略化されたフローチャートである。以下、このフローチャートに沿って動作を説明する。
【００４９】
最初に、システム制御部１０５は出力手順を読み込む（ステップＳ１００）。次に、システム制御部１０５は、その出力手順の内容を解析し、最初のデータの指定をデータ取得部１０１に通知し、かつ、当該データに関する出力条件を出力データ生成部１０２に通知する。また、当該データの種類が動画であるか否かによって当該データに関する制御手順を選択する（ステップＳ１０２）。なお、ここでは説明の煩雑化を避けるため、データの種類としてＪＰＥＧ２０００により圧縮された動画又は静止画のデータとテキストデータを想定して説明するが、表やグラフ、音声などのデータを除外するわけではない。
【００５０】
データが静止画又はテキストの場合には、そのデータがデータ取得部１０１によってデータソース１２０より取り込まれ、出力データ生成部１０２に入力する（ステップＳ１０４）。
【００５１】
そのデータがテキストデータの場合、データ処理部１０３はイメージデータに展開し、それをビデオメモリ部１３０に書き込むが、この際、出力条件に従ってイメージデータのサイズ及び書き込み位置（画面上での位置）を制御する（ステップＳ１０６）。そして、システム制御部１０５は、当該テキストの出力条件として指定された出力（表示）時間の経過を監視する（ステップＳ１０８）。
【００５２】
データが静止画の圧縮データの場合、そのデータがデータ取得部１０１によって取り込まれて出力データ生成部１０２に入力し（ステップＳ１０４）、出力データ生成部１０２のＪＰＥＧ２０００デコーダ１０４によりイメージデータに伸長され、それがデータ処理部１０３により出力条件として指定されたビデオメモリ部１３０の位置に書き込まれる（ステップＳ１０６）。この際、データ処理部１０３は、出力条件として指定された解像度、サイズ、画質、色数などに従ったイメージデータを生成するために、ＪＰＥＧ２０００デコーダ１０４の伸長動作の制御、各フレームの圧縮画像データのヘッダ情報の書き換え、伸長後のイメージデータの間引き／補間処理などを必要に応じて行うが（つまり、そのような制御又は処理のための手段をデータ処理部１０３が含んでいる）、これについては後述する。そして、システム制御部１０５は、当該静止画の出力条件として指定された出力（表示）時間の経過を監視する（ステップＳ１０８）。
【００５３】
データが動画の圧縮データの場合、各フレームのデータがデータ取得部１０１によって順に取り込まれて出力データ生成部１０２に入力し（ステップＳ１１０）、出力データ生成部１０２のＪＰＥＧ２０００デコーダ１０４によりイメージデータに伸長され、それがデータ処理部１０３により出力条件として指定されたビデオメモリ部１３０の位置に書き込まれる（ステップＳ１１２）。この際、データ処理部１０３は、出力条件として指定された解像度、サイズ、画質、色数などに従ったイメージデータを生成するために、ＪＰＥＧ２０００デコーダ１０４の伸長動作の制御、各フレームの圧縮画像データのヘッダ情報の書き換え、伸長後のイメージデータの間引き／補間処理などを必要に応じて行うが（つまり、そのような制御又は処理のための手段をデータ処理部１０３が含んでいる）、これについては後述する。システム制御部１０５は、当該動画の出力条件として指定された出力（表示）時間の経過を監視しており（ステップＳ１１４）、出力時間が経過するまではステップＳ１１０，Ｓ１１２を繰り返し実行させる。
【００５４】
出力条件として指定された出力時間を経過すると（ステップＳ１１４又はＳ１０８、ＹＥＳ）、システム制御部１０５は出力手順を参照し、次のデータの指定があるかチェックし（ステップＳ１１６）、次のデータの指定があるならば、そのデータに関し同様の動作を開始させる。最後のデータまで処理されると（ステップＳ１１６，ＮＯ）、一連の出力データ生成動作を終了する。
【００５５】
ここで、解像度、サイズ、画質、色などの出力条件に従ったイメージデータを生成するためのデータ処理部１０３による制御又は処理について、より具体的には説明する。
【００５６】
ＪＰＥＧ２０００においてはＬＲＣＰ、ＲＬＣＰ、ＲＰＣＬ、ＰＣＲＬ、ＣＰＲＬの５つのプログレッション順序が定義されている。ここで、Ｌはレイヤ、Ｒは解像度レベル、Ｃはコンポーネント、Ｐはプリシンクトである。
【００５７】
例えばＲＬＣＰプログレッションの場合には、パケットの配置（圧縮時）又はパケットの解釈（伸長時）の順序は、Ｒ，Ｌ，Ｃ，Ｐの順にネストされた次のようなｆｏｒループで表すことができる。

【００５８】
また、ＬＲＣＰプログレッションの場合、パケットの配置（圧縮時）又はパケットの解釈（伸長時）の順序は、Ｌ，Ｒ，Ｃ，Ｐの順にネストされた次のようなｆｏｒループで表すことができる。

【００５９】
他のプログレッション順序の場合も同様のネストされたｆｏｒループにより、パケットの配置順又は解釈順が決まる。
【００６０】
したがって、出力データ生成部１０２において、データ処理部１０３でＪＰＥＧ２０００デコーダ１０４の解像度レベルのｆｏｒループの回数を制御することにより、伸長されるイメージデータの解像度を調整することができる。つまり、例えば図１７（ｄ）に示すようなデコンポジションレベル数が３の圧縮画像データの場合、解像度レベル０が指定されたときには３ＬＬサブバンド係数の符号のみを復号してイメージデータを生成させ、解像度レベル１が指定されたときには３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨサブバンド係数の符号のみを復号してイメージデータを生成させ、同様に、解像度レベル３が指定されたときには３ＬＬ〜１ＨＨの全サブバンドの係数を復号してイメージデータを生成させる。同様に、レイヤのｆｏｒループの回数やコンポーネントのｆｏｒループの回数を制御することにより伸長されるイメージデータの画質や色数も調整することができる。
【００６１】
データ処理部１０３は、出力条件に従った解像度、画質、色数のイメージデータを生成させるために、上述のようなＪＰＥＧ２０００デコーダ１０４の伸長動作の制御を行う手段を含んでいる。
【００６２】
出力条件に従った画像サイズの調整は、いくつかの方法で可能である。例えば、ＪＰＥＧ２０００デコーダ１０４で伸長されたイメージデータに対し、間引き又は補間による変倍処理を行う方法が可能であり、そのための手段がデータ処理部１０３に含まれている。また、指定された解像度レベルの画像サイズより大きなサイズのイメージデータを生成したい場合に、ＪＰＥＧ２０００デコーダ１０４における伸長過程において、指定された解像度レベルより高いレベルのダミーのサブバンド係数（例えばオール”０”）を挿入して逆ウェーブレット変換を実行させることにより、指定解像度レベルよりサイズの大きいイメージデータを生成できる。このようなダミーのサブバンド係数の挿入を行うための手段もデータ処理部１０３に含まれる。この場合においても、最終的なサイズ調整に間引き／補間による変倍処理を利用可能であることは当然である。
【００６３】
また、ＪＰＥＧ２０００デコーダ１０４の内部動作を直接的に制御する代わりに、圧縮画像データのヘッダ情報を書き換えることにより、ＪＰＥＧ２０００デコーダ１０４の伸長動作を制御することも可能であり、このようなヘッダ情報の書き換えのための手段もデータ処理部１０３に含まれる。このヘッダ情報の書き換えの具体例を以下に説明する。
【００６４】
（Ａ）画像の解像度とサイズを変更する方法：ＣＯＤマーカセグメント（図２３）のＳＰｃｏｄにデコンポジションレベル数が記述されている。このデコンポジションレベル数を小さな値に書き換える。この書き換えにより、デコーダは書き換え後のデコンポジションレベル数までしか伸長を行わないため、再生される画像は元の画像よりサイズが小さな低解像度の画像になる。
【００６５】
（Ｂ）簡便な画像サイズの変更方法：ＪＰＥＧ２０００では、リファレンス・グリッド（ｒｅｆｅｒｅｎｃｅｇｒｉｄ）と呼ばれる座標軸を用いて画像の位置が表現される。メインヘッダ中のＳＩＺマーカセグメント（図２２）には、このリファレンス・グリッドの水平、垂直方向のサイズが記述されるＸｓｉｚ，Ｙｓｉｚというパラメータがある。このＸｓｉｚ，Ｙｓｉｚの値を書き換える。この書き換えにより、簡便な画像サイズ変更を行うことができる（画像の一部はカットされる）。図３は、その例を模式的に示している。元はＸｓｉｚ＝Ｙｓｉｚ＝５であったものを、Ｘｓｉｚ＝３、Ｙｓｉｚ＝３に書き換えると、図３の（ａ）のように再生されるべき画像が（ｂ）のように斜線の部分がカットされた小さな画像として再生される。
【００６６】
（Ｃ）タイルの再生位置を変更する方法：タイルヘッダ中のＳＯＴマーカセグメント（図２１）には、ラスター順にタイルに割り当てられたタイル番号（Ｉｓｏｔ）が記述されているが、その値を書き換える。すなわち、図４の（ａ）のようにタイル分割されて圧縮された画像の場合に、タイル番号を書き換えることにより、例えば同図（ｂ）のように再生画像上のタイルの並びを不整にすることができる。
【００６７】
（Ｄ）画像を変形する方法：ＳＩＺマーカセグメント（図２２）には、コンポーネント毎の水平、垂直方向のサンプル数が記述されるパラメータＸＲｓｉｚ（ｉ）、ＹＲｓｉｚ（ｉ）が含まれているが、これを書き換える。この書き換えによって画像を縦横に変形させて再生させることができる。図５は、その例を模式的に示している。ＸＲｓｉｚ（ｉ）＝ＹＲｓｉｚ（ｉ）＝２に設定されている場合に、ＸＲｓｉｚ（ｉ）＝１、ＹＲｓｉｚ（ｉ）＝２に書き換えると、図５（ａ）のように再生されるべき画像は、水平方向に膨張した（ｂ）のような画像として再生され、また、ＸＲｓｉｚ（ｉ）＝４、ＹＲｓｉｚ（ｉ）＝２に書き換えると水平方向に縮んだ（ｃ）のような画像として再生される。
【００６８】
（Ｅ）画像を変形させる別の方法：ＪＰＥＧ２０００では、リファレンス・グリッドの原点と画像の原点との位置ずれ（オフセット）を指定することができる。ＳＩＺマーカセグメントのＸＯｓｉｚ、ＹＯｓｉｚが、水平、垂直方向のオフセットが記述されるパラメータである。このＸＯｓｉｚ、ＹＯｓｉｚの値を書き換える。図６は、その例を模式的に示している。ＸＯｓｉｚ＝ＹＯｓｉｚ＝０であったものをＸＯｓｉｚ＝３、ＹＯｓｉｚ＝０に書き換えることにより、図６の（ａ）のように再生されるべき画像は、（ｂ）に示すように右にシフトされ右端側が欠落した形で再生される。なお、Ｘｓｉｚ、Ｙｓｉｚの書き換えと併用することも可能である。
【００６９】
（Ｆ）ＲＯＩ領域以外を再生させない方法：前述したように、ＪＰＥＧ２０００の基本仕様では、ＲＯＩ方式としてビットシフトによるＭａｘＳｈｉｆｔ方式が規定されている。ＲＧＮマーカセグメント（図２５）には、このビットシフト量が記述されるＳＰｒｇｎというパラメータがある。このＳＰｒｇｎを大きな値に書き換える。この書き換えにより、ＲＯＩ領域のみを再生させることができる。図７は、その例を模式的に示している。（ａ）のようにＲＯＩ領域が２ビットだけシフトされている画像（つまり、ＳＰｒｇｎ＝２）の場合に、ＳＰｒｇｎ＝１０（＝ＲＯＩシフト分の２ビット＋通常の表示分ビット０〜７までの８ビット）に書き換えると、ビット０〜７の８ビット分は再生されない。したがって、再生画像上では、例えば同図（ｂ）に示すように、ＲＯＩ領域は再生されるが、その他の領域は再生されない。なお、タイルヘッダにＲＧＮマーカセグメントが含まれている場合、その内容がメインヘッダ中のＲＧＮマーカセグメントの内容より優先される。したがって、タイルヘッダ中にＲＧＮマーカセグメントが含まれている符号化データでは、少なくとも、そのＲＧＮマーカセグメントのＳＰｒｇｎを書き換える必要がある。
【００７０】
（Ｇ）画像の色再生を不正常にする方法：ＣＯＤマーカセグメント（図２３）にはコンポーネントに関係する符号スタイルのパラメータＳＧｃｏｄがある。このＳＧｃｏｄにはコンポーネントの色変換の有無を表す値も記述されている。この値が０ならば色変換なし、１ならば色変換ありである。この値を書き換える。この書き換えにより、画像は不正常な色で再生される。例えば、ＲＧＢからＹＣｂＣｒへの色変換が行われた符号化データでは、その値は１に設定されているが、これを０に書き換えると、伸長の際にＹＣｂＣｒからＲＧＢへ戻す逆色変換が行われないため、再生される画像の色が不自然なものになる。同様に、０を１に書き換えた場合にも色再生が不自然になる。
【００７１】
（Ｈ）画像の色再生を不正常にする別の方法：ＳＩＺマーカセグメント（図２２）にはコンポーネント数を表すパラメータＣｓｉｚがある。ＲＧＢカラー画像などはＣｓｉｚ＝３に設定されているが、これを２に書き換える。この書き換えにより、不自然な色の画像として再生される。
【００７２】
（Ｉ）画像の色再生を不正常にする別の方法：ＣＲＧマーカセグメント（図２４）には、コンポーネント毎の水平、垂直方向のオフセット位置を表すパラメータＸｃｒｇ（ｉ）、Ｙｃｒｇ（ｉ）が含まれている。このＸｃｒｇ（ｉ）、Ｙｃｒｇ（ｉ）の値を書き換える。この書き換えにより、コンポーネント間の空間的位置関係が乱れ、いわゆる色ずれを生じた不自然な色の再生画像となる。
【００７３】
（Ｊ）画像の色数を変更する：ＳＩＺマーカセグメント（図２２）にはコンポーネント数を表すパラメータＣｓｉｚがある。ＲＧＢカラー画像などはＣｓｉｚ＝３に設定されているが、これを１に書き換える。これにより、カラー画像がモノクロ画像として再生される。
【００７４】
次に出力手順の具体例を説明する。出力手順はテーブル形式など任意の形式で記述し得るが、この実施の形態では、汎用性を考慮し、ＩＳＯ／ＩＥＣＪＴＣ１ＳＣ２９／ＷＧ１１において標準化作業が進行している、マルチメディア・コンテンツに対するメタデータの表記に関する国際標準規格ＭＰＥＧ−７（ＭｕｌｔｉｍｅｄｉａＣｏｎｔｅｎｔＤｅｓｃｒｉｐｔｉｏｎＩｎｔｅｒｆａｃｅ；ＩＳＯ／ＩＥＣ１５９３８−１〜８）により記述される。この出力手順はｘｍｌファイルとして保存される。
【００７５】
ＭＰＥＧ−７により記述された出力手順の一例を図８乃至１３に示す。ここに示す出力手順の内容は次の通りである。
【００７６】
（１）最初に出力されるデータとして、ｓａｍｐｌｅ１．ｊｐ２なるファイル名で保存されている圧縮画像データ（ＪＰＥＧ２０００で圧縮された静止画）が指定されている。出力条件として、サイズ＝２４０×３６０画素、解像度＝レベル１、表示位置（画面上におけるイメージの左上角の座標）＝（１００，２００）、表示時間＝１０秒が指定されている。
【００７７】
（２）２番目に出力されるデータとして、１番目と同じ圧縮画像データが指定されている。出力条件として、サイズ＝１２０×１８０画素、解像度＝レベル１、表示位置＝（１００，２００）、表示時間＝１０秒が指定されている。
【００７８】
（３）３番目に出力されるデータとして、ｓａｍｐｌｅ２．ｍｊ２なるファイル名で保存されている圧縮画像データ（ＪＰＥＧ２０００で圧縮された動画）が指定されている。出力条件として、サイズ＝２４０×３６０画素、解像度＝レベル１、表示位置＝（１００，２００）、表示時間＝１０秒が指定されている。
【００７９】
（４）最後に出力されるデータとして、ｓａｍｐｌｅ３．ｔｘｔなるファイル名で保存されているテキストデータが指定されている。出力条件として、サイズ＝２４０×３６０画素、表示位置＝（１００，２００）、表示時間＝１０秒が指定されている。
【００８０】
したがって、この出力手順の例では、最初に静止画（ｓａｍｐｌｅ１．ｊｐ２）を解像度レベル１で伸長した２４０×３６０画素サイズのイメージが表示装置１３１の画面に１０秒間表示され、次に同じ静止画を解像度レベル１で伸長した１２０×１８０画素サイズのイメージが画面に１０秒間表示され、次に動画（ｓａｍｐｌｅ２／ｍｊ２）を解像度レベル１で伸長した２４０×３６０画素サイズのイメージが１０秒間表示され、最後にテキスト（ｓａｍｐｌｅ３．ｔｘｔ）が２４０×３６０画素サイズのイメージとして画面に１０秒間表示される。各イメージの画面上の表示位置は同じである。
【００８１】
ここまでの説明から明らかなように、出力手順の内容によって、さらに多様な形態で静止画、動画、テキストを表示させることができる。例えば、前述のようなヘッダ情報の書き換えなどを利用することにより、静止画又は動画をタイル並びを不整にした状態で表示し、時間とともにタイル並びを正常な状態に近づけ、最終的に正常なタイル並びで表示させることにより、画像に注目させるような表示形態を実現することができる。また、静止画又は動画を初めは低画質、低解像度で表示させ、徐々に画質、解像度を上げて表示させたり、途中まではモノクロで表示させ、最後にカラーで表示させるような表示形態も実現できる。また、静止画又は動画を意図的に色ずれのある形で表示させたり、変形した形で表示させることができる。このように、このデータ処理装置によれば、極めて変化に富んだプレゼンテーションを行うことができる。
【００８２】
以上に述べたように、このデータ処理装置は、データソース１２０に蓄積されている静止画、動画、テキストなどを、それを予め編集することなく、出力手順に従って様々な順序、表示形態で表示させることができるため、プレゼンテーションなどの用途に効果的に利用できる。
【００８３】
なお、このデータ処理装置の機能、換言すれば図２に示したデータ処理手順（データ処理方法）は、パソコンなどのコンピュータのハードウェアを利用し、プログラムによって実現することも容易である。この場合にＪＰＥＧ２０００デコーダ１０４はハードウェアのデコーダを利用することも可能である。そのようなコンピュータ・プログラムと、それが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などコンピュータが読み取り可能な各種の記録（記憶）媒体も本発明に含まれる。
【００８４】
図１４は、本発明の第２の実施形態を説明するためのブロック図である。この実施形態に係るデータ処理装置は、プレゼンテーションなどのためのデータを生成し、それをパソコンなどの外部装置２４０へ配信する構成であり、データ取得部２０１、出力データ生成部２０２、システム制御部２０５、出力手順ファイル２２２、送信バッファメモリ部２３０、送信部２３１２を有する。２２１は出力手順ファイル２２２を保存するための記憶部である。出力手順ファイル１２２に記述されている出力手順の内容は第１の実施形態と同様である。
【００８５】
出力データ生成部１０２は生成した出力データ（送信データ）を送信バッファメモリ部２３０に書き込まれ、ここに書き込まれた送信データは送信部２３１によってインターフェース・ケーブルあるいはＬＡＮ、イントラネット、インターネットなどのネットワークを通じてパソコンなどの外部装置１３１へ送信される。２２０はデータ・ソースであり、少なくともＪＰＥＧ２０００により圧縮された画像（静止画又は動画）データを含むデータ群をファイルとして蓄積している。データ・ソース１２０は、ローカルな記憶装置、あるいは、ＬＡＮ、イントラネット、インターネットなどのネットワーク上に存在するファイルサーバーなどである。
【００８６】
システム制御部２０５は、データ処理装置の全体的な動作を制御する手段である。また、システム制御部２０５は、出力手順ファイル２２２に記述された出力手順の内容を取り込んで解析し、出力手順中に時間軸に沿って定義されたデータの指定及び出力条件を、時間経過に従ってデータ取得部２０１及び出力データ生成部２０２へそれぞれ通知する手段でもある。
【００８７】
データ取得部２０１は、システム制御部２０５より通知されたデータの指定に従って、１つ又は複数のデータソース２２０に蓄積されているデータ群より必要なデータを取り込み、それを出力データ生成部２０２に入力する手段である。
【００８８】
出力データ生成部２０３は、データ取得部２０１より入力されたデータから、システム制御部２０５より通知された出力条件に従った出力データ（送信データ）を生成する手段であり、データ処理部２０３と符号変換部２０４とからなる。符号変換部２０４は、ＪＰＥＧ２０００による圧縮画像データを、符号状態のまま、出力条件に従った別の圧縮画像データに変換する手段である。データ処理部２０３は、圧縮画像データを符号変換部２０４へ渡して変換させ、変換後の圧縮画像データやテキストデータから送信に適した所定フォーマットの送信データを作成し、それを送信バッファメモリ部２３０に書き込む手段である。
【００８９】
図１５は、このデータ処理装置の動作を説明するための簡略化したフローチャートである。以下、このフローチャートに沿って動作を説明する。
【００９０】
最初に、システム制御部２０５は出力手順を読み込む（ステップＳ２００）。次に、システム制御部２０５は、その出力手順を解析し、最初のデータの指定をデータ取得部２０１に通知し、かつ、当該データに関する出力条件を出力データ生成部２０２に通知する。また、当該データの種類が動画であるか否かによって当該データに関する制御手順を選択する（ステップＳ２０２）。ここでは、データの種類として、ＪＰＥＧ２０００により圧縮された動画又は静止画のデータと、テキストデータを想定して説明する。
【００９１】
データが動画以外、つまり静止画又はテキストの場合には、そのデータがデータ取得部２０１によってデータソース２２０より取り込まれ、出力データ生成部２０２に入力する（ステップＳ２０４）。
【００９２】
そのデータがテキストデータの場合、データ処理部２０３により、そのテキストデータを内容とする送信データが作成されて送信バッファメモリ部２３０に書き込まれる（ステップＳ２０６）。送信バッファメモリ部２３０に送信データが書き込まれる都度、その送信データは送信部２３１により外部装置２４０へ送信される。そして、システム制御部１０５は、当該テキストの出力条件として指定された出力時間の経過を監視する（ステップＳ２０８）。
【００９３】
データが静止画の圧縮データの場合、そのデータがデータ取得部２０１によって取り込まれて出力データ生成部１０２に入力し（ステップＳ２０４）、出力データ生成部２０２の符号変換部２０４により出力条件に従った別の圧縮画像データに変換され、データ処理部２０３により、その変換後の圧縮画像データを内容とする送信データが作成されて送信バッファメモリ部２３０に書き込まれ、これが送信部２３１により送信される（ステップＳ２０６）。そして、システム制御部１０５は、当該静止画の出力条件として指定された出力時間の経過を監視する（ステップＳ２０８）。
【００９４】
データが動画の圧縮データの場合、各フレームのデータがデータ取得部２０１によって順に取り込まれて出力データ生成部２０２に入力し（ステップＳ２１０）、出力データ生成部２０２の符号変換部２０４により出力条件に従った別の圧縮画像データに変換され、データ処理部２０３によりその送信データが作成されて送信バッファメモリ部２３０書き込まれ、送信部２３１により送信される（ステップＳ２１２）。システム制御部２０５は、当該動画の出力条件として指定された出力時間の経過を監視しており（ステップＳ２１４）、出力時間が経過するまではステップＳ２１０，Ｓ２１２を繰り返し実行させる。
【００９５】
出力条件として指定された出力時間を経過すると（ステップＳ２１４又はＳ２０８、ＹＥＳ）、システム制御部２０５は出力手順を参照し、次のデータの指定があるかチェックし（ステップＳ２１６）、次のデータの指定があるならば、そのデータに関し同様の動作を開始させる。最後のデータまで処理されると（ステップＳ２１６，ＮＯ）、一連の動作を終了する。
【００９６】
ここで、符号変換部２０４について説明する。符号変換部２０４は、２種類の変換手段を含む。第１の変換手段は、第１の実施の形態において述べたように、入力される圧縮画像データを、そのヘッダ情報の書き換えにより出力条件に従った圧縮画像データに変換する手段である。この変換は、符号そのものを扱わないため、次に述べる第２の変換手段による変換にくらべ処理が単純である。
【００９７】
第２の変換手段は、入力される圧縮画像データを、不要な符号の廃棄と必要なヘッダ情報の書き換えを行って、出力条件に従った圧縮画像データに変換する手段である。この第２の変換手段では、例えば、解像度レベルを下げる場合には、不要な解像度レベルのサブバンド係数に対応するパケットを実際に廃棄した圧縮画像データを生成する。画質を下げる場合には、マルチレイヤ構成ならば下位のレイヤのパケットを廃棄し、シングルレイヤ構成ならば下位ビットプレーンのパケットを廃棄する。カラーの圧縮画像データをモノクロ化したい場合には、輝度コンポーネントのパケットのみ残し、色差コンポーネントのパケットを廃棄する、等々である。変換後のデータには不要な符号が含まれないため、その送信データのデータ量と送信時間を削減できる利点がある。
【００９８】
第１の変換手段、第２の変換手段のいずれによる変換も、伸長して再圧縮することによるものではないため、再圧縮に伴う画質劣化を生じないことに注目すべきである。従来のＪＰＥＧの静止画データやＭｏｔｉｏｎ−ＪＰＥＧの動画データでは再圧縮によるジェネレーション的な画質劣化が避けられない。
【００９９】
なお、出力条件として画像やテキストの画面上での表示位置が指定され、これを外部装置２４０へ伝達する必要がある場合には、データ処理部２０３は、例えば、送信データのヘッダ部分に表示位置データを乗せる。圧縮画像データの場合には、メインヘッダのＣＯＭ（コメント）マーカセグメントに表示位置を記述することもできる。また、テキストデータの表示サイズの指定も伝達する必要がある場合には、その送信データのヘッダ部分に記述される。
【０１００】
以上の構成であるため、パソコンなどの外部装置２４０において、受信した圧縮画像データをイメージデータに伸長し、またテキストデータをイメージデータに展開し、そのイメージデータを表示装置へ出力することにより、第１の実施形態と同様に、出力手順に従った画像やテキストの変化に富んだ表示を行うことができる。したがって、このデータ処理装置は、プレゼンテーションなどのためのデータをパソコンなどに配信する用途に効果的に利用できる。
【０１０１】
なお、この実施形態によるデータ処理装置の機能、換言すれば図２に示したデータ処理手順（データ処理方法）も、パソコンなどのコンピュータのハードウェアを利用し、プログラムによって実現することは容易である。そのようなコンピュータ・プログラムと、それが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などコンピュータが読み取り可能な各種の記録（記憶）媒体も本発明に含まれる。
【０１０２】
【発明の効果】
以上に述べたように、本発明のデータ処理装置及び方法は、少なくともＪＰＥＧ２０００の圧縮画像データを含むデータ群を、予め編集することなく、出力手順に従って様々な順序、表示形態で表示させることができ、また、そのような表示のためのデータをパソコンなどに配信することができるため、プレゼンテーションなどの用途に効果的に利用可能である。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を説明するためのブロック図である。
【図２】第１の実施の形態を説明するためのフローチャートである。
【図３】ヘッダ情報の書き換えを説明するための図である。
【図４】ヘッダ情報の書き換えを説明するための図である。
【図５】ヘッダ情報の書き換えを説明するための図である。
【図６】ヘッダ情報の書き換えを説明するための図である。
【図７】ヘッダ情報の書き換えを説明するための図である。
【図８】ＭＰＥＧ−７により記述された出力手順の例を示す図である。
【図９】図８の続きを示す図である。
【図１０】図９の続きを示す図である。
【図１１】図１０の続きを示す図である。
【図１２】図１１の続きを示す図である。
【図１３】図１２の続きを示す図である。
【図１４】本発明の第２の実施の形態を説明するためのブロック図である。
【図１５】第２の実施の形態を説明するためのフローチャートである。
【図１６】ＪＰＥＧ２０００のアルゴリズムを説明するためのブロック図である。
【図１７】ウェーブレット変換を説明するための図である。
【図１８】ＪＰＥＧ２０００の符号フォーマットを示す図である。
【図１９】メインヘッダの構造を説明するための図である。
【図２０】タイルヘッダの構造を説明するための図である。
【図２１】ＳＯＴマーカセグメントの構造を示す図である。
【図２２】ＳＩＺマーカセグメントの構造を示す図である。
【図２３】ＣＯＤマーカセグメントの構造を示す図である。
【図２４】ＣＲＧマーカセグメントの構造を示す図である。
【図２５】ＲＧＮマーカセグメントの構造を示す図である。
【符号の説明】
１０１データ取得部
１０２出力データ生成部
１０３データ処理部
１０４ＪＰＥＧ２０００デコーダ
１０５システム制御部
１２０データ・ソース
１２２出力手順ファイル
１３０ビデオメモリ部
１３１表示装置
２０１データ取得部
２０２出力データ生成部
２０３データ処理部
２０４符号変換部
２０５システム制御部
２２０データ・ソース
２２２出力手順ファイル
２３０送信バッファメモリ部
２３１送信部
２４０外部装置[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a data processing apparatus and method for displaying or distributing data such as still images and moving images according to a predetermined procedure for a presentation or the like.
[0002]
[Prior art]
For presentations using materials such as images, graphs, tables, texts, and audio, so-called presentation software represented by PowerPoint (registered trademark) of Microsoft Corporation or Keynote (registered trademark) of Apple Corporation is used. Often. Such presentation software basically edits materials for presentation in advance, such as processing various materials to a size to be displayed and ordering the materials in the order of display.
[0003]
Images are often stored or transmitted in a compressed state. JPEG is widely used for compressing still images, and MPEG and Motion-JPEG are widely used for compressing moving images. JPEG2000 which uses wavelet transform has attracted attention as a new compression method (for example, see Non-Patent Document 1). .
[0004]
The compression algorithm of JPEG2000 is specified in the basic specification (ISO / IEC FCD 15444-1). The JPEG2000 moving image file format and the like are defined in the extended specification (ISO / IEC FCD15444-3). In a JPEG2000 moving image, each frame is compressed as a still image independent of the preceding and succeeding frames by an algorithm defined in the basic specifications of JPEG2000.
[0005]
[Non-patent document 1]
Yasuyuki Nomizu, "Next Generation Image Coding Method JPEG2000",
Trikeps, Inc., February 13, 2001
[0006]
[Problems to be solved by the invention]
JPEG2000 compressed image data can be decompressed with a different resolution, size, image quality, color, etc. from the image before compression, and compressed image data in which the resolution, size, image quality, color, etc. are changed in the code state Can be converted to
[0007]
The present invention focuses on such characteristics of JPEG2000 compressed image data, and enables a variety of presentations and the like using a data group including JPEG2000 compressed image data to be executed without editing the data in advance. It is an object of the present invention to provide a simple data processing device and method.
[0008]
[Means for Solving the Problems]
A data processing apparatus according to the present invention, as described in claim 1, specifies an output procedure along a time axis to specify data to be output and defines an output condition thereof, and a data group including at least JPEG2000 compressed image data. A data acquisition unit that acquires data in accordance with the specification of the data defined in the output procedure; and, based on the data acquired by the data acquisition unit, output data according to the output condition defined in the output procedure for the data. And output data generating means for generating the data.
[0009]
According to another aspect of the data processing apparatus according to the present invention, the output data generating means is configured to decompress the JPEG2000 compressed image data into image data. And decompressing JPEG2000 compressed image data into image data by the decompression means in accordance with the output conditions defined in the output procedure for the compressed image data, and outputting the image data as output data. .
[0010]
Another feature of the data processing apparatus according to the present invention is that, in the configuration according to claim 2, the output data generation unit causes the expansion unit to decompress JPEG2000 compressed image data. The present invention further includes means for rewriting header information of the compressed image data in accordance with an output condition defined in the output procedure for the compressed image data.
[0011]
Another feature of the data processing device according to the present invention is that, in the configuration according to claim 1, the output data generation unit outputs the compressed image data according to JPEG2000 in a code state. Conversion means for converting the compressed image data according to JPEG2000 into the compressed image data according to the output condition defined in the output procedure. Is output as output data.
[0012]
Another feature of the data processing apparatus according to the present invention is that, in the configuration according to claim 5, the conversion unit is configured to rewrite the compressed image data by rewriting header information of the compressed image data according to JPEG2000. To convert data.
[0013]
Another feature of the data processing device according to the present invention is that, in the configuration according to any one of claims 2 to 5, the output data generation unit is configured to output compressed image data based on JPEG2000. The present invention relates to changing the resolution of an image.
[0014]
Another feature of the data processing apparatus according to the present invention is that, in the configuration according to any one of claims 2 to 5, the output data generation unit is configured to output compressed image data based on JPEG2000. The present invention relates to changing the size of an image.
[0015]
Another feature of the data processing apparatus according to the present invention is that, in the configuration according to any one of claims 2 to 5, the output data generation unit is configured to output compressed image data based on JPEG2000. The present invention relates to changing the image quality of an image.
[0016]
Another feature of the data processing device according to the present invention is that, in the configuration according to any one of claims 2 to 5, the output data generating unit is configured to output compressed image data according to JPEG2000. , Is to change the tile position of the image.
[0017]
Another feature of the data processing apparatus according to the present invention is that, in the configuration according to any one of claims 2 to 5, the output data generation unit is configured to output compressed image data based on JPEG2000. The problem is that the color of the image is always incorrect.
[0018]
Another feature of the data processing apparatus according to the present invention is that, in the configuration according to any one of claims 2 to 5, the output data generation unit is configured to output compressed image data based on JPEG2000. Is to make the area other than the ROI area of the image unreproducible.
[0019]
Another feature of the data processing apparatus according to the present invention is that, in the configuration according to any one of claims 2 to 5, the output data generation unit is configured to output compressed image data based on JPEG2000. Is to change the number of colors of the image.
[0020]
Another feature of the data processing apparatus according to the present invention is that, in the configuration according to any one of claims 2 to 5, the output data generating unit is configured to execute compressed image data according to JPEG2000. The object of the present invention is to deform an image.
[0021]
According to the data processing method of the present invention, a reading step of reading out an output procedure which specifies data to be output along a time axis and defines an output condition thereof, and at least a compressed image data by JPEG2000 From the included data group, a data acquisition step of capturing data in accordance with the specification of the data defined in the output procedure read in the reading step, and from the data captured in the data acquisition step, the output procedure is performed on the data. And an output data generating step of generating output data in accordance with the defined output conditions.
[0022]
Another feature of the data processing method according to the present invention is that, in the configuration according to claim 14, the output data generating step is for decompressing JPEG2000 compressed image data into image data. Decompressing the JPEG2000 compressed image data into image data by the decompression step in accordance with the output condition defined in the output procedure for the compressed image data, and outputting the image data as output data. .
[0023]
Another feature of the data processing method according to the present invention is that, in the configuration according to claim 15, the output data generating step decompresses JPEG2000 compressed image data to the decompression step. The method may further include a step of rewriting header information of the compressed image data in accordance with an output condition defined in the output procedure for the compressed image data.
[0024]
According to another feature of the data processing method according to the present invention, as in claim 17, in the configuration according to claim 14, the output data generating step includes the step of compressing JPEG2000 compressed image data into another compressed state. A conversion step for converting the compressed image data according to the JPEG2000 in accordance with an output condition defined in the output procedure with respect to the compressed image data, and outputting the converted compressed image data. Output as data.
[0025]
Another feature of the data processing method according to the present invention is that, in the configuration according to claim 17, the conversion step is performed by rewriting the header information of the compressed image data according to JPEG2000. To convert data.
[0026]
BEST MODE FOR CARRYING OUT THE INVENTION
In order to facilitate understanding of the following description, JPEG2000 will be outlined.
[0027]
FIG. 16 is a block diagram for explaining the compression / decompression algorithm of JPEG2000. Image data to be subjected to compression processing is divided into non-overlapping rectangular areas (tiles) for each component, and is processed in tile units for each component. However, it is also possible to process the entire image as one tile.
[0028]
Each tile image of each component is subjected to color space conversion from RGB data or CMY data to YCrCb data by a color space conversion / inverse conversion unit 1 for the purpose of improving a compression ratio. In some cases, this color space conversion is omitted.
[0029]
The tile image after the color space conversion is subjected to a two-dimensional wavelet transform (discrete wavelet transform) by the wavelet transform / inverse transform unit 2 to be decomposed into a plurality of subbands.
[0030]
FIG. 17 is an explanatory diagram of the wavelet transform when the number of decomposition levels is three. The tile image (decomposition level 0) shown in FIG. 17A is divided into 1LL, 1HL, 1LH, and 1HH sub-bands as shown in FIG. 17B by two-dimensional wavelet transform. By applying the two-dimensional wavelet transform to the coefficients of the 1LL subband, the coefficients are divided into 2LL, 2HL, 2LH, and 2HH subbands as shown in FIG. By applying the two-dimensional wavelet transform to the coefficients of the 2LL subband, the coefficients are divided into 3LL, 3HL, 3LH, and 3HH subbands as shown in FIG. Regarding the relationship between the decomposition level and the resolution level, the number enclosed in parentheses in each subband in FIG. 17D is the resolution level of that subband.
[0031]
Wavelet coefficients obtained by such recursive division (octave division) of the low-frequency components (LL subband coefficients) are quantized by the quantization / dequantization unit 3 for each subband. In JPEG2000, both lossless (reversible) compression and lossy (irreversible) compression are possible. In the case of lossless compression, the quantization step width is always 1, and quantization is not substantially performed at this stage.
[0032]
Each of the quantized subband coefficients is entropy-encoded by an entropy encoding / decoding unit 4. For this entropy coding, a block-based bit plane coding method called EBCOT (Embedded Block Coding with Optimized Truncation) including block division, coefficient modeling, and binary arithmetic coding is used. The bit plane of each subband coefficient after quantization is encoded for each block called a code block from the upper bits to the lower bits.
[0033]
In the tag processing unit 5, packets of the code blocks generated by the entropy encoding / decoding unit 4 are put together to create a packet. Next, the packets are arranged in the progression order, and necessary tags and tag information are added. As a result, encoded data (compressed image data) in a predetermined format is created. In JPEG2000, five types of progression order based on a combination of a resolution level, a position (precinct), a layer, and a component (color component) are defined for code order control.
[0034]
FIG. 18 shows the format of the encoded data of JPEG2000 generated in this manner. As shown in FIG. 18, the encoded data starts with a tag called an SOC marker indicating the start of the encoded data, followed by tag information called a main header (Main Header) that describes an encoding parameter, a quantization parameter, and the like. After that, code data for each tile follows. Code data for each tile starts with a tag called an SOT marker, tag information called a tile header (Tile Header), a tag called an SOD marker, and tile data (Tile Data) containing a code string of each tile. Is done. After the last tile data, a tag called an EOC marker indicating the end is placed.
[0035]
FIG. 19 shows the configuration of the main header. Each marker segment of SIZ, COD and QCD is required, but other marker segments are optional. FIG. 20 shows the configuration of the tile header. In FIG. 20, (a) shows the configuration of a header added to the head of the tile data, and (b) shows the header added to the head of the divided tile partial sequence when the inside of the tile is divided into a plurality. Is shown. There is no mandatory marker segment in the tile header and all are optional. FIG. 21 shows the configuration of the SOT marker segment, FIG. 22 shows the configuration of the SIZ marker segment, FIG. 23 shows the configuration of the COD marker segment, FIG. 24 shows the configuration of the CRG marker segment, and FIG. 25 shows the configuration of the RGN marker segment. Show.
[0036]
Decompression processing of JPEG2000 encoded data is the reverse of compression processing. The encoded data is decomposed by the tag processing unit 5 into a code string of each tile of each component. This code sequence is entropy-decoded by the entropy coding / decoding unit 4. The decoded wavelet coefficients are inversely quantized by the quantization / dequantization unit 3 and then subjected to two-dimensional inverse wavelet transform by the wavelet transform / inverse transforming unit 2 to obtain an image of each tile of each component. Is played. Each tile image of each component is subjected to inverse color conversion processing by the color space conversion / inverse conversion unit 1 and returned to a tile image composed of components such as RGB.
[0037]
Now, in JPEG2000, an image is divided into a plurality of regions, and each divided region is compressed in a state where there is no dependency, but there is a precinct as a divided region in addition to the tile and the code block, and the image ≧ tile ≧ There is a relationship of subband ≧ precinct ≧ code block. A packet is obtained by extracting and collecting a part of the codes of all the code blocks included in the precinct (for example, the codes of three bit planes from the highest bit to the third bit). Packets with an empty code are also allowed. Packets are generated by grouping the codes of the code blocks, and the encoded data is formed by arranging the packets in a desired progression order. The portion below the SOD for each tile in FIG. 18 is a set of packets.
[0038]
JPEG2000 encoded data can have a layer structure. When packets of all precincts (that is, all code blocks and all subbands) are collected, a part of the code of the entire image (for example, the bits from the most significant bit plane to the third bit of the wavelet coefficient of the entire image) Plane sign), which is the layer. Therefore, as the number of layers decoded at the time of decompression increases, the image quality of the reproduced image improves. That is, a layer can be said to be a unit of image quality. When all the layers are collected, the codes of all the bit planes in the entire image are obtained.
[0039]
Since the packets constituting the JPEG2000 encoded data described above have respective indexes of area, image quality, component, and resolution, it is possible to select codes according to parameters of area, image quality, component, and resolution in the code state. is there. That is, a code in which the area, image quality, component, and resolution at the time of reproduction are changed by selectively deleting the code (and rewriting necessary tag information) without expanding the coded data, that is, in the code state. It can be converted to coded data.
[0040]
As will be specifically described later, JPEG2000 encoded data is obtained by changing the resolution, image quality, component, and area during reproduction only by rewriting the tag information (header information) without changing the code itself. It can also be converted to data.
[0041]
JPEG2000 also has a selective region image quality improvement function (ROI) that lowers the compression ratio of a specific region (increases image quality) without lowering the compression ratio of the entire image. The basic specification of JPEG2000 defines an ROI method called a Max Shift method for bit-shifting a wavelet coefficient in an ROI area.
[0042]
FIG. 1 is a block diagram for explaining a first embodiment of the present invention. The data processing apparatus according to this embodiment is configured to generate image data to be displayed on the display device 131, and includes a data acquisition unit 101, an output data generation unit 102, a system control unit 105, and an output procedure file 122. Reference numeral 121 denotes a storage unit for storing the output procedure file 122.
[0043]
A video memory unit 130 writes the image data (output data) generated by the output data generation unit 102, and the image data written here is displayed on the screen of the display device 131. A data source 120 stores a data group including at least image (still image or moving image) data compressed by JPEG2000 as a file. The data source 120 is a local storage device, a file server on a network such as a LAN, an intranet, and the Internet.
[0044]
The system control unit 105 is a unit that controls the overall operation of the data processing device. Further, the system control unit 105 fetches and interprets the contents of the output procedure described in the output procedure file 122, and designates data specification and output conditions defined along the time axis during the output procedure according to the passage of time. It is also a means for notifying the acquisition unit 101 and the output data generation unit 102, respectively.
[0045]
The data acquisition unit 101 captures necessary data from a data group stored in one or more data sources 120 according to the specification of the data passed from the system control unit 105, and inputs the data to the output data generation unit 102. It is a means to do.
[0046]
The output data generation unit 103 is a unit that generates image data (output data) in accordance with the output conditions passed from the system control unit 105 from the data input from the data acquisition unit 101. The data processing unit 103 and the JPEG2000 And a decoder 104. The JPEG2000 decoder 104 is means for expanding JPEG2000 compressed image data into image data. The data processing unit 103 passes the compressed image data to the JPEG2000 decoder 104 to decompress the image data into image data, expands the text data into image data, and writes the obtained image data to the video memory unit 130. The data processing unit 103 controls the decompression operation of the JPEG2000 decoder 104, rewrites the header information of the compressed image data, scales the decompressed or expanded image data (thinning / interpolation processing), and the video memory unit 130 according to the output conditions. Control of the writing position of the image data with respect to.
[0047]
The output procedure described in the output procedure file 122 defines the data to be output (displayed) and defines the output conditions of the data along the time axis. The designation of data is, for example, a file name or a URL of the data. Data output conditions include, for example, if the data is compressed image data, conditions directly related to the appearance of the reproduced image, such as image resolution, size, image quality, tile position, color, ROI area, and deformation. In addition, data output (display) time, a position on the screen where an image or text image is displayed, and the like are defined.
[0048]
FIG. 2 is a simplified flowchart for explaining the operation of the data processing device. Hereinafter, the operation will be described with reference to this flowchart.
[0049]
First, the system control unit 105 reads an output procedure (step S100). Next, the system control unit 105 analyzes the contents of the output procedure, notifies the data acquisition unit 101 of the designation of the first data, and notifies the output data generation unit 102 of the output condition regarding the data. Further, a control procedure for the data is selected depending on whether or not the type of the data is a moving image (step S102). Note that, here, for the sake of simplicity, the description will be made on the assumption that moving image or still image data compressed by JPEG2000 and text data are used as data types, but data such as tables, graphs, and audio are excluded. is not.
[0050]
If the data is a still image or text, the data is acquired from the data source 120 by the data acquisition unit 101 and is input to the output data generation unit 102 (step S104).
[0051]
If the data is text data, the data processing unit 103 develops the image data into image data and writes it to the video memory unit 130. At this time, the size and the writing position (position on the screen) of the image data are determined according to the output conditions. Control is performed (step S106). Then, the system control unit 105 monitors the elapse of the output (display) time designated as the output condition of the text (step S108).
[0052]
If the data is compressed data of a still image, the data is captured by the data acquisition unit 101 and input to the output data generation unit 102 (step S104), and is decompressed into image data by the JPEG2000 decoder 104 of the output data generation unit 102. It is written to the position of the video memory unit 130 specified as the output condition by the data processing unit 103 (step S106). At this time, the data processing unit 103 controls the decompression operation of the JPEG2000 decoder 104 and generates compressed image data of each frame in order to generate image data according to the resolution, size, image quality, number of colors, etc. specified as output conditions. Rewriting of the header information and thinning / interpolation processing of the decompressed image data are performed as necessary (that is, the data processing unit 103 includes such control or processing means). Will be described later. Then, the system control unit 105 monitors the elapse of the output (display) time designated as the output condition of the still image (step S108).
[0053]
If the data is compressed data of a moving image, the data of each frame is sequentially captured by the data acquisition unit 101 and input to the output data generation unit 102 (step S110), and decompressed into image data by the JPEG2000 decoder 104 of the output data generation unit 102. Then, it is written to the position of the video memory unit 130 specified as the output condition by the data processing unit 103 (step S112). At this time, the data processing unit 103 controls the decompression operation of the JPEG2000 decoder 104 and generates compressed image data of each frame in order to generate image data according to the resolution, size, image quality, number of colors, etc. specified as output conditions. Rewriting of the header information and thinning / interpolation processing of the decompressed image data are performed as necessary (that is, the data processing unit 103 includes such control or processing means). Will be described later. The system control unit 105 monitors the elapse of the output (display) time specified as the output condition of the moving image (step S114), and repeatedly executes steps S110 and S112 until the output time elapses.
[0054]
When the output time specified as the output condition has elapsed (step S114 or S108, YES), the system control unit 105 refers to the output procedure and checks whether the next data is specified (step S116). If so, a similar operation is started for the data. When the last data has been processed (step S116, NO), a series of output data generation operations ends.
[0055]
Here, control or processing by the data processing unit 103 for generating image data according to output conditions such as resolution, size, image quality, and color will be described more specifically.
[0056]
In JPEG2000, five progression orders of LRCP, RLCP, RPCL, PCRL, and CPRL are defined. Here, L is a layer, R is a resolution level, C is a component, and P is a precinct.
[0057]
For example, in the case of RLCP progression, the order of packet arrangement (at the time of compression) or packet interpretation (at the time of decompression) can be represented by the following for loop nested in the order of R, L, C, P. .

[0058]
In the case of LRCP progression, the order of packet arrangement (at the time of compression) or packet interpretation (at the time of decompression) can be represented by the following for loop nested in the order of L, R, C, and P.

[0059]
In the case of other progression orders, the arrangement order or interpretation order of the packets is determined by the same nested for loop.
[0060]
Therefore, in the output data generation unit 102, the resolution of the decompressed image data can be adjusted by controlling the number of times the for-loop of the resolution level of the JPEG2000 decoder 104 is controlled by the data processing unit 103. That is, for example, in the case of the compressed image data having the number of decomposition levels of 3 as shown in FIG. 17D, when the resolution level 0 is designated, only the code of the 3LL subband coefficient is decoded to generate the image data. When the resolution level 1 is specified, only the codes of the 3LL, 3HL, 3LH, and 3HH subband coefficients are decoded to generate image data. Similarly, when the resolution level 3 is specified, all the subbands of 3LL to 1HH are generated. The coefficients are decoded to generate image data. Similarly, by controlling the number of times of the layer for loop and the number of times of the component for loop, the image quality and the number of colors of the decompressed image data can be adjusted.
[0061]
The data processing unit 103 includes a unit that controls the decompression operation of the JPEG2000 decoder 104 as described above in order to generate image data of resolution, image quality, and number of colors according to the output conditions.
[0062]
Adjustment of the image size according to the output conditions is possible in several ways. For example, a method of performing scaling processing by thinning or interpolation on image data expanded by the JPEG2000 decoder 104 is possible, and a means for that is included in the data processing unit 103. Also, when it is desired to generate image data having a size larger than the image size of the designated resolution level, in the decompression process in the JPEG2000 decoder 104, dummy subband coefficients (for example, all “0”) of a level higher than the designated resolution level are used. ) Is inserted and the inverse wavelet transform is executed, whereby image data larger in size than the specified resolution level can be generated. A means for inserting such dummy subband coefficients is also included in the data processing unit 103. Also in this case, it is natural that the scaling process by thinning / interpolation can be used for the final size adjustment.
[0063]
Also, instead of directly controlling the internal operation of the JPEG2000 decoder 104, the decompression operation of the JPEG2000 decoder 104 can be controlled by rewriting the header information of the compressed image data. Is included in the data processing unit 103. A specific example of rewriting the header information will be described below.
[0064]
(A) Method of Changing Image Resolution and Size: The number of decomposition levels is described in SPcod of the COD marker segment (FIG. 23). This decomposition level number is rewritten to a small value. As a result of this rewriting, the decoder expands only up to the number of decomposition levels after the rewriting, so that the reproduced image is a low-resolution image smaller in size than the original image.
[0065]
(B) Simple method of changing image size: In JPEG2000, the position of an image is represented using a coordinate axis called a reference grid. The SIZ marker segment (FIG. 22) in the main header has parameters Xsiz and Ysiz that describe the horizontal and vertical sizes of this reference grid. The values of Xsiz and Ysiz are rewritten. By this rewriting, a simple image size change can be performed (a part of the image is cut). FIG. 3 schematically shows the example. When the original Xsiz = Ysiz = 5 is rewritten as Xsiz = 3 and Ysiz = 3, the image to be reproduced as shown in FIG. 3A is cut off as shown in FIG. Is reproduced as a small image.
[0066]
(C) Method of Changing the Playback Position of a Tile: The tile number (Isot) assigned to the tile in raster order is described in the SOT marker segment (FIG. 21) in the tile header, but the value is rewritten. That is, in the case of an image that has been tile-divided and compressed as shown in FIG. 4A, by rewriting the tile number, the arrangement of the tiles on the reproduced image is made irregular as shown in FIG. 4B, for example. be able to.
[0067]
(D) Method for Deforming Image: The SIZ marker segment (FIG. 22) includes parameters XRsiz (i) and YRsiz (i) describing the number of samples in the horizontal and vertical directions for each component. Rewrite this. By this rewriting, the image can be transformed vertically and horizontally and reproduced. FIG. 5 schematically shows the example. If XRsiz (i) = YRsiz (i) = 2 and XRsiz (i) = 1 and YRsiz (i) = 2, the image to be reproduced as shown in FIG. Is reproduced as an image like (b) expanded horizontally, and rewritten as XRsiz (i) = 4 and YRsiz (i) = 2, reproduced as an image like (c) contracted in the horizontal direction. You.
[0068]
(E) Another method of deforming an image: In JPEG2000, it is possible to specify a displacement between the origin of the reference grid and the origin of the image. XOsiz and YOsiz of the SIZ marker segment are parameters in which horizontal and vertical offsets are described. The values of XOsiz and YOsiz are rewritten. FIG. 6 schematically shows the example. By rewriting XOsiz = YOsiz = 0 to XOsiz = 3 and YOsiz = 0, the image to be reproduced as shown in FIG. 6A is shifted rightward as shown in FIG. Plays back with missing sides. In addition, it is also possible to use together with rewriting of Xsiz and Ysiz.
[0069]
(F) Method of not Reproducing Data Except for ROI Area: As described above, in the basic specification of JPEG2000, the Max Shift method by bit shift is specified as the ROI method. The RGN marker segment (FIG. 25) has a parameter called SPrgn in which the bit shift amount is described. This SPrgn is rewritten to a large value. By this rewriting, only the ROI area can be reproduced. FIG. 7 schematically shows the example. In the case of an image in which the ROI area is shifted by 2 bits as in (a) (that is, SPrgn = 2), SPrgn = 10 (= 2 bits for ROI shift + normal display bits 0 to 7). (8 bits), 8 bits of bits 0 to 7 are not reproduced. Therefore, on the reproduced image, for example, as shown in FIG. 3B, the ROI area is reproduced, but the other areas are not reproduced. When an RGN marker segment is included in the tile header, its content has priority over the content of the RGN marker segment in the main header. Therefore, in the encoded data in which the RGN marker segment is included in the tile header, it is necessary to rewrite at least SPrgn of the RGN marker segment.
[0070]
(G) Method of Improperly Reproducing Image Color: In the COD marker segment (FIG. 23), there is a code style parameter SGcod related to the component. The SGcod also describes a value indicating the presence or absence of color conversion of the component. If this value is 0, there is no color conversion, and if it is 1, there is color conversion. Rewrite this value. By this rewriting, the image is reproduced with an abnormal color. For example, in the encoded data in which the color conversion from RGB to YCbCr has been performed, the value is set to 1. However, if this value is rewritten to 0, the reverse color conversion from YCbCr to RGB at the time of decompression is performed. As a result, the color of the reproduced image becomes unnatural. Similarly, when 0 is rewritten to 1, color reproduction becomes unnatural.
[0071]
(H) Another method for improperly reproducing the color of an image: The SIZ marker segment (FIG. 22) has a parameter Csiz representing the number of components. Csiz = 3 is set for an RGB color image or the like, but this is rewritten to 2. By this rewriting, an image having an unnatural color is reproduced.
[0072]
(I) Another method for improperly reproducing the color of an image: The CRG marker segment (FIG. 24) includes parameters Xcrg (i) and Ycrg (i) representing the horizontal and vertical offset positions for each component. Have been. The values of Xcrg (i) and Ycrg (i) are rewritten. Due to this rewriting, the spatial positional relationship between the components is disturbed, resulting in a reproduced image of an unnatural color having a so-called color shift.
[0073]
(J) Change the number of colors in the image: The SIZ marker segment (FIG. 22) has a parameter Csiz representing the number of components. Although Csiz = 3 is set for an RGB color image or the like, this is rewritten to 1. Thus, the color image is reproduced as a monochrome image.
[0074]
Next, a specific example of the output procedure will be described. Although the output procedure can be described in any format such as a table format, in this embodiment, metadata for multimedia contents for which standardization work is underway in ISO / IEC JTC1 SC29 / WG11 in consideration of versatility. Is described by the international standard MPEG-7 (Multimedia Content Description Interface; ISO / IEC 15938-1 to 8). This output procedure is saved as an xml file.
[0075]
An example of an output procedure described by MPEG-7 is shown in FIGS. The contents of the output procedure shown here are as follows.
[0076]
(1) As data to be output first, sample1. Compressed image data (still image compressed by JPEG2000) stored under the file name jp2 is specified. As output conditions, size = 240 × 360 pixels, resolution = level 1, display position (the coordinates of the upper left corner of the image on the screen) = (100, 200), and display time = 10 seconds.
[0077]
(2) The same compressed image data as the first is specified as the data to be output second. As output conditions, size = 120 × 180 pixels, resolution = level 1, display position = (100, 200), and display time = 10 seconds.
[0078]
(3) As data to be output third, sample2. The compressed image data (moving image compressed by JPEG2000) stored under the file name mj2 is specified. As output conditions, size = 240 × 360 pixels, resolution = level 1, display position = (100, 200), and display time = 10 seconds.
[0079]
(4) Sample3. The text data stored under the file name txt is specified. As output conditions, size = 240 × 360 pixels, display position = (100, 200), and display time = 10 seconds are specified.
[0080]
Therefore, in the example of this output procedure, first, a 240 × 360 pixel size image obtained by expanding the still image (sample1.jp2) at the resolution level 1 is displayed on the screen of the display device 131 for 10 seconds, and then the same still image is displayed. A 120 × 180 pixel size image expanded at the resolution level 1 is displayed on the screen for 10 seconds, and a 240 × 360 pixel size image obtained by expanding the moving image (sample2 / mj2) at the resolution level 1 is displayed for 10 seconds. The text (sample3.txt) is displayed on the screen as a 240 × 360 pixel size image for 10 seconds. The display position of each image on the screen is the same.
[0081]
As is clear from the above description, still images, moving images, and texts can be displayed in various forms depending on the contents of the output procedure. For example, by using the above-described rewriting of header information, a still image or a moving image is displayed in an irregular tile arrangement, and the tile arrangement approaches a normal state with time, and finally a normal tile is displayed. By displaying the images side by side, it is possible to realize a display mode in which an image is noticed. In addition, a still image or video can be displayed with low image quality and low resolution at first, gradually increase the image quality and resolution, or display in monochrome in the middle, and finally display in color it can. In addition, a still image or a moving image can be intentionally displayed with a color shift or in a deformed form. As described above, according to this data processing device, a presentation that is extremely varied can be performed.
[0082]
As described above, this data processing device displays still images, moving images, texts, and the like stored in the data source 120 in various orders and display forms according to an output procedure without editing them in advance. Can be used effectively for applications such as presentations.
[0083]
The function of the data processing apparatus, in other words, the data processing procedure (data processing method) shown in FIG. 2 can be easily implemented by a program using hardware of a computer such as a personal computer. In this case, the JPEG2000 decoder 104 can use a hardware decoder. The present invention also includes such a computer program and various computer-readable recording (storage) media such as a magnetic disk, an optical disk, a magneto-optical disk, and a semiconductor storage element on which the computer program is recorded.
[0084]
FIG. 14 is a block diagram for explaining the second embodiment of the present invention. The data processing apparatus according to this embodiment generates data for a presentation or the like, and distributes the data to an external device 240 such as a personal computer. The data processing apparatus 201 includes a data acquisition unit 201, an output data generation unit 202, and a system control unit 205. , An output procedure file 222, a transmission buffer memory unit 230, and a transmission unit 2312. A storage unit 221 stores the output procedure file 222. The contents of the output procedure described in the output procedure file 122 are the same as in the first embodiment.
[0085]
The output data generation unit 102 writes the generated output data (transmission data) in the transmission buffer memory unit 230. Etc. to the external device 131. A data source 220 stores a data group including at least image (still image or moving image) data compressed by JPEG2000 as a file. The data source 120 is a local storage device or a file server existing on a network such as a LAN, an intranet, or the Internet.
[0086]
The system control unit 205 is a unit that controls the overall operation of the data processing device. The system control unit 205 also fetches and analyzes the contents of the output procedure described in the output procedure file 222, and designates data designation and output conditions defined along the time axis during the output procedure according to the passage of time. It is also a means for notifying the acquisition unit 201 and the output data generation unit 202, respectively.
[0087]
The data acquisition unit 201 fetches necessary data from a data group stored in one or more data sources 220 according to the specification of the data notified from the system control unit 205 and inputs the data to the output data generation unit 202. It is a means to do.
[0088]
The output data generation unit 203 is a unit that generates output data (transmission data) according to the output condition notified from the system control unit 205 from the data input from the data acquisition unit 201. And a conversion unit 204. The code conversion unit 204 is means for converting the compressed image data according to JPEG2000 into another compressed image data in accordance with the output condition while keeping the code state. The data processing unit 203 passes the compressed image data to the code conversion unit 204 for conversion, creates transmission data of a predetermined format suitable for transmission from the converted compressed image data and text data, and stores the transmission data in the transmission buffer memory unit 230. Means to write to.
[0089]
FIG. 15 is a simplified flowchart for explaining the operation of the data processing device. Hereinafter, the operation will be described with reference to this flowchart.
[0090]
First, the system control unit 205 reads an output procedure (step S200). Next, the system control unit 205 analyzes the output procedure, notifies the data acquisition unit 201 of the designation of the first data, and notifies the output data generation unit 202 of the output condition regarding the data. Further, a control procedure for the data is selected depending on whether the type of the data is a moving image (step S202). Here, the description will be made on the assumption that moving image or still image data compressed by JPEG2000 and text data are used as data types.
[0091]
If the data is other than a moving image, that is, a still image or text, the data is acquired from the data source 220 by the data acquisition unit 201 and input to the output data generation unit 202 (step S204).
[0092]
If the data is text data, the data processing unit 203 creates transmission data having the text data as the content and writes the transmission data into the transmission buffer memory unit 230 (step S206). Each time transmission data is written to the transmission buffer memory unit 230, the transmission data is transmitted to the external device 240 by the transmission unit 231. Then, the system control unit 105 monitors the elapse of the output time specified as the output condition of the text (step S208).
[0093]
When the data is compressed data of a still image, the data is captured by the data acquisition unit 201 and input to the output data generation unit 102 (step S204), and the code conversion unit 204 of the output data generation unit 202 complies with the output condition. The data is converted into another compressed image data, and the data processing unit 203 creates transmission data containing the converted compressed image data as a content, writes the transmission data in the transmission buffer memory unit 230, and transmits this to the transmission unit 231 ( Step S206). Then, the system control unit 105 monitors the elapse of the output time specified as the output condition of the still image (step S208).
[0094]
When the data is compressed data of a moving image, the data of each frame is sequentially taken in by the data acquisition unit 201 and input to the output data generation unit 202 (step S210). The data is converted into another compressed image data, the transmission data is created by the data processing unit 203, written into the transmission buffer memory unit 230, and transmitted by the transmission unit 231 (step S212). The system control unit 205 monitors the elapse of the output time specified as the output condition of the moving image (step S214), and repeatedly executes steps S210 and S212 until the output time elapses.
[0095]
When the output time specified as the output condition has elapsed (step S214 or S208, YES), the system control unit 205 refers to the output procedure and checks whether the next data is specified (step S216). If so, a similar operation is started for the data. When the processing is performed up to the last data (step S216, NO), a series of operations ends.
[0096]
Here, the code conversion unit 204 will be described. The code conversion unit 204 includes two types of conversion means. As described in the first embodiment, the first conversion means is means for converting input compressed image data into compressed image data according to output conditions by rewriting the header information. Since this conversion does not deal with the code itself, the processing is simpler than the conversion by the second conversion unit described below.
[0097]
The second conversion means is means for converting the input compressed image data into compressed image data according to output conditions by discarding unnecessary codes and rewriting necessary header information. In the second conversion means, for example, when lowering the resolution level, compressed image data is generated by actually discarding packets corresponding to subband coefficients of unnecessary resolution levels. To lower the image quality, the lower layer packet is discarded in a multi-layer configuration, and the lower bit plane packet is discarded in a single layer configuration. When it is desired to convert the color compressed image data to monochrome, only the packet of the luminance component is left, and the packet of the color difference component is discarded. Since the converted data does not include an unnecessary code, there is an advantage that the data amount and transmission time of the transmission data can be reduced.
[0098]
It should be noted that since the conversion by either the first conversion means or the second conversion means is not based on decompression and recompression, image quality does not deteriorate due to recompression. With conventional JPEG still image data and Motion-JPEG moving image data, generational image quality degradation due to recompression is inevitable.
[0099]
If the display position of the image or text on the screen is specified as the output condition, and it is necessary to transmit this to the external device 240, the data processing unit 203, for example, displays the display position in the header of the transmission data. Add data. In the case of compressed image data, the display position can be described in a COM (comment) marker segment of the main header. If it is necessary to transmit the designation of the display size of the text data, it is described in the header of the transmission data.
[0100]
With the above configuration, the external device 240 such as a personal computer decompresses the received compressed image data into image data, expands the text data into image data, and outputs the image data to the display device. As in the first embodiment, it is possible to display a variety of images and texts according to the output procedure. Therefore, the data processing device can be effectively used for the purpose of distributing data for a presentation or the like to a personal computer or the like.
[0101]
The functions of the data processing apparatus according to this embodiment, in other words, the data processing procedure (data processing method) shown in FIG. 2 can be easily realized by a program using hardware of a computer such as a personal computer. . The present invention also includes such a computer program and various computer-readable recording (storage) media such as a magnetic disk, an optical disk, a magneto-optical disk, and a semiconductor storage element on which the computer program is recorded.
[0102]
【The invention's effect】
As described above, the data processing apparatus and method of the present invention can display a data group including at least JPEG2000 compressed image data in various orders and display forms according to an output procedure without editing in advance. In addition, since such display data can be distributed to a personal computer or the like, it can be effectively used for applications such as presentations.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a first embodiment of the present invention.
FIG. 2 is a flowchart for explaining the first embodiment.
FIG. 3 is a diagram for explaining rewriting of header information.
FIG. 4 is a diagram for describing rewriting of header information.
FIG. 5 is a diagram for describing rewriting of header information.
FIG. 6 is a diagram for describing rewriting of header information.
FIG. 7 is a diagram for describing rewriting of header information.
FIG. 8 is a diagram showing an example of an output procedure described in MPEG-7.
FIG. 9 is a view showing a continuation of FIG. 8;
FIG. 10 is a view showing a continuation of FIG. 9;
FIG. 11 is a view showing a continuation of FIG. 10;
FIG. 12 is a view showing a continuation of FIG. 11;
FIG. 13 is a view showing a continuation of FIG. 12;
FIG. 14 is a block diagram for explaining a second embodiment of the present invention.
FIG. 15 is a flowchart illustrating a second embodiment.
FIG. 16 is a block diagram for explaining an algorithm of JPEG2000.
FIG. 17 is a diagram illustrating a wavelet transform.
FIG. 18 is a diagram illustrating a code format of JPEG2000.
FIG. 19 is a diagram for explaining a structure of a main header.
FIG. 20 is a diagram illustrating the structure of a tile header.
FIG. 21 is a diagram showing the structure of an SOT marker segment.
FIG. 22 is a diagram showing the structure of an SIZ marker segment.
FIG. 23 is a diagram showing the structure of a COD marker segment.
FIG. 24 is a diagram showing the structure of a CRG marker segment.
FIG. 25 is a diagram showing the structure of an RGN marker segment.
[Explanation of symbols]
101 Data acquisition unit
102 Output data generator
103 Data processing unit
104 JPEG2000 decoder
105 System control unit
120 data sources
122 Output procedure file
130 Video memory section
131 Display device
201 Data acquisition unit
202 Output data generator
203 Data processing unit
204 code converter
205 System control unit
220 data sources
222 Output procedure file
230 Transmission buffer memory
231 transmission unit
240 External device

Claims

An output procedure that specifies data to be output along the time axis and defines its output conditions;
Data acquisition means for acquiring data from a data group including at least JPEG2000 compressed image data in accordance with the specification of data defined in the output procedure;
An output data generation unit configured to generate, from the data acquired by the data acquisition unit, output data for the data in accordance with an output condition defined in the output procedure.

The data processing device according to claim 1,
The output data generation means includes decompression means for decompressing JPEG2000 compressed image data into image data,
The output data generating means decompresses JPEG2000 compressed image data into image data by the decompression means in accordance with output conditions defined in the output procedure for the compressed image data, and outputs the image data as output data. Characteristic data processing device.

The data processing device according to claim 2,
The output data generating means includes means for rewriting header information of the compressed image data according to an output condition defined in the output procedure for the compressed image data before decompressing the compressed image data by JPEG2000 by the decompression means. A data processing device characterized by the above-mentioned.

The data processing device according to claim 1,
The output data generation unit includes a conversion unit for converting the compressed image data according to JPEG2000 into another compressed image data in a code state,
The output data generating means converts the compressed image data according to JPEG2000 by the converting means in accordance with an output condition defined in the output procedure for the compressed image data, and outputs the converted compressed image data as output data. A data processing device characterized by the above-mentioned.

The data processing device according to claim 4,
The data processing apparatus according to claim 1, wherein said conversion means converts the compressed image data by rewriting header information of the compressed image data according to JPEG2000.

The data processing device according to any one of claims 2 to 5,
The data processing apparatus according to claim 1, wherein the output data generation unit changes the resolution of the image with respect to the compressed image data according to JPEG2000.

The data processing device according to any one of claims 2 to 5,
The data processing apparatus according to claim 1, wherein the output data generating means changes the size of the image with respect to JPEG2000 compressed image data.

The data processing device according to any one of claims 2 to 5,
A data processing apparatus according to claim 1, wherein said output data generation means changes the image quality of the compressed image data according to JPEG2000.

The data processing device according to any one of claims 2 to 5,
The data processing apparatus according to claim 1, wherein the output data generation means changes a tile position of the image with respect to JPEG2000 compressed image data.

The data processing device according to any one of claims 2 to 5,
A data processing apparatus according to claim 1, wherein said output data generating means irregularly changes the color of the image with respect to JPEG2000 compressed image data.

The data processing device according to any one of claims 2 to 5,
The data processing apparatus according to claim 1, wherein the output data generation unit disables reproduction of an area other than the ROI area of the image with respect to JPEG2000 compressed image data.

The data processing device according to any one of claims 2 to 5,
The data processing device according to claim 1, wherein the output data generation means changes the number of colors of the image with respect to JPEG2000 compressed image data.

The data processing device according to any one of claims 2 to 5,
A data processing apparatus according to claim 1, wherein said output data generating means deforms an image with respect to JPEG2000 compressed image data.

A reading step of reading an output procedure in which designation of data to be output along a time axis and its output conditions are defined,
A data acquisition step of taking in data from a data group including at least JPEG2000 compressed image data in accordance with designation of data defined in the output procedure read in the reading step;
An output data generating step of generating, from the data acquired in the data obtaining step, output data for the data in accordance with an output condition defined in the output procedure.

The data processing method according to claim 14,
The output data generating step includes a decompression step for decompressing JPEG2000 compressed image data into image data,
The output data generating step decompresses JPEG2000 compressed image data into image data by the decompression step according to output conditions defined in the output procedure for the compressed image data, and outputs the image data as output data. Characteristic data processing method.

The data processing method according to claim 15,
The output data generating step includes a step of rewriting header information of the compressed image data according to output conditions defined in the output procedure for the compressed image data before expanding the compressed image data by JPEG2000 to the expansion step. A data processing device characterized by the above-mentioned.

The data processing method according to claim 14,
The output data generating step includes a conversion step for converting the compressed image data according to JPEG2000 into another compressed image data in a code state,
In the output data generating step, the compressed image data according to JPEG2000 is converted by the conversion step in accordance with an output condition defined in the output procedure with respect to the compressed image data, and the converted compressed image data is output as output data. A data processing method characterized by the following.

The data processing method according to claim 17,
The data processing device according to claim 1, wherein the converting step converts the compressed image data by rewriting header information of the compressed image data according to JPEG2000.

A program for causing a computer to execute a processing procedure of the data processing method according to claim 14.

A computer-readable recording medium on which the program according to claim 19 is recorded.