JP2004254101A - 画像処理装置、画像処理方法、プログラム、及び記録媒体 - Google Patents

Abstract

【課題】静止画像を複数枚纏めて１つのファイルとして容易に管理することが可能な画像処理装置を提供する。
【解決手段】画像処理装置２０は、複数の静止画像データを画像読込部２１で読み込み、サムネイル設定部２２でサムネイル情報を設定する。続いて、画質圧縮部２３にて画像を圧縮する。次に、画像順序設定部２４にて複数の静止画像に対し出力順序を設定し、サムネイル情報付加部２５にて、サムネイル設定部２２での設定に応じたサムネイル情報に、ステップＳ１４で設定した出力順序の情報を付加する。次に、符号生成部２６にて符号データを生成する。
【選択図】 図１２

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、画像伸張装置、画像出力装置、画像変換装置、画像処理方法、画像伸張方法、画像出力方法、画像変換方法、プログラム、及び記録媒体に関する。
【０００２】
【従来の技術】
従来の銀塩カメラにおいては、撮影した生データは例えば「ネガ」という形で複数枚数ごとに纏まって管理することができた。ネガの場合には纏まりとなる枚数は、フィルムの製造段階で決定しているため、必ずしも被写体の内容によるグループ分けができていたとはいえないが、それでも撮影順に並んでいることで自動的にある程度内容を反映したグループ分けがなされていたといえる。
【０００３】
一方、デジタルカメラに関しては、ＪＰＥＧの次世代の画像符号化方式としてＪＰＥＧ２０００方式（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）が規格化された。ＪＰＥＧ２０００に関する従来技術としては、画像符号化装置及び方法、信号伝送方法、並びに画像復号装置及び方法として、画像内でのタイル分割に関するものが提案されている（例えば、特許文献１参照）。また、信号処理方法、画像符号化装置及び画像復号装置として、ＪＰＥＧ２０００の符号化規格で規定されたコード中の空きビットに各種情報を埋め込み、コード中の空きビットを利用するものも提案されている（例えば、特許文献２参照）。さらに、信号処理装置及び方法並びにファイル生成方法として、符号化ストリームファイルと別ファイルにてメタデータなどを記録するものも提案されている（例えば、特許文献３参照）。
【０００４】
ＪＰＥＧ２０００方式では、画像を高精細な状態で保存しておき、その画像符号データから特定の解像度の画像や特定の画質を持つ画像を取り出すことなどが可能であることを利用して、サムネイル画像の出力（表示，印刷，伝送）を高速にしている。従来から、画像表示装置においては、画像のサムネイルを表示することがよくあったが、ＪＰＥＧ２０００によりサムネイル画像の高速な出力が可能になったことを受けて、さらに、表示に限らず、印刷，伝送等、サムネイルの出力を行なう機会が増えてくる。
【０００５】
サムネイル出力に関しては、図１４（Ｂ）に従来の方法（Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）などで標準化されている方法）によるサムネイルの保存方法の一例を示しているが、圧縮符号データ３５に示すように、サムネイル用の小画像３７は主画像３８のデータとは別にヘッダ領域３６中に埋め込む必要があり、サムネイル出力は早くなるものの、データ容量が大きくなるためデータ取得に時間を要する。さらにＥｘｉｆにおいては複数の静止画像を含むための方法は用意されていない。
【０００６】
【特許文献１】
特開２００１−２５７９７９号公報
【特許文献２】
特開２００１−２５８０３１号公報
【特許文献３】
特開２００２−０５８０２５号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、何れの従来技術においても、例えば画像の検索を撮影日時や撮影地点などに基づいて効率的にグループ化したりすることは行なわれていない。従って、複数枚のセットとしての画像データの管理、さらには検索や取り扱いが容易に行えない。これはサムネイル出力に関しても、各静止画像のヘッダ部分にサムネイル画像を挿入する方法では、データ転送に時間がかかる上に、同じ種類の複数画像のセットを、サムネイル出力して確認などを行なうことが容易ではない。
【０００８】
本発明は、上述のごとき実情に鑑みてなされたものであり、静止画像を複数枚纏めて１つのファイルとして容易に管理することが可能な、画像処理装置、画像処理方法、コンピュータ読み取り可能なプログラム、並びに、そのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することをその目的とする。
【０００９】
また、本発明は、静止画像を複数枚纏めた１つのファイルを、設定した順序に従って出力することが可能な、画像出力装置、画像出力方法、コンピュータ読み取り可能なプログラム、並びに、そのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを他の目的とする。
【００１０】
また、本発明は、圧縮された画像データのデータ容量を大きくすることなく且つ画像データのサムネイルを高速に出力する可能な圧縮画像データを、複数纏めて１つのファイルを生成する、画像処理装置、画像処理方法、コンピュータ読み取り可能なプログラム、並びに、そのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを他の目的とする。
【００１１】
また、本発明は、複数の画像を１つに纏めたファイルに対し、圧縮された各画像データのデータ容量を大きくすることなく且つ各画像データのサムネイルを順序に従って高速に出力することが可能な、画像伸張装置、画像出力装置、画像伸張方法、画像出力装置、コンピュータ読み取り可能なプログラム、並びに、そのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを他の目的とする。
【００１２】
さらに、本発明は、静止画像を複数枚纏めた１つのファイルから、各静止画像を個々のファイルとして生成することが可能な、画像変換装置、画像変換方法、コンピュータ読み取り可能なプログラム、並びに、そのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを他の目的とする。
【００１３】
【課題を解決するための手段】
請求項１の発明は、複数の静止画像から１つの画像群ファイルを生成する画像処理装置であって、複数の静止画像の出力順序を設定する画像順序設定手段と、該設定された順序に従って個々の静止画像の格納位置などを示したデータを前記ファイルのヘッダ部分に付加するデータ付加手段と、を有することを特徴としたものである。
【００１４】
請求項２の発明は、請求項１の発明において、当該画像処理装置は、静止画像の圧縮符号データを生成する画像圧縮手段を有し、前記データ付加手段は、個々の静止画像のサムネイル情報を、１又は複数形態設定するサムネイル設定手段と、該設定された形態のサムネイル情報を、個々の静止画像の符号データ形成時にヘッダ部分に付加するサムネイル情報付加手段と、を有することを特徴としたものである。
【００１５】
請求項３の発明は、請求項１又は２の発明において、前記画像順序設定手段は、前記複数の静止画像の中から撮影条件が同じ静止画像に対して出力順序を設定することを特徴としたものである。
【００１６】
請求項４の発明は、請求項１乃至３のいずれか１の発明において、前記画像順序設定手段は、出力順序としての表示順序と共に、各静止画像の表示間隔を設定することを特徴としたものである。
【００１７】
請求項５の発明は、請求項２の発明において、前記サムネイル情報として、画像の解像度情報を用いることを特徴としたものである。
【００１８】
請求項６の発明は、請求項５の発明において、前記解像度情報として、画像のデコンポジションレベル情報を用いることを特徴としたものである。
【００１９】
請求項７の発明は、請求項５又は６の発明において、前記サムネイル情報として、画像の位置情報を用いることを特徴としたものである。
【００２０】
請求項８の発明は、請求項７の発明において、前記位置情報として、タイル情報，プレシンクト情報，コードブロック情報，画素位置情報のうち、いずれか１又は複数を用いることを特徴としたものである。
【００２１】
請求項９の発明は、請求項５乃至８のいずれか１の発明において、前記サムネイル情報として、画像のコンポーネント情報を用いることを特徴としたものである。
【００２２】
請求項１０の発明は、請求項５乃至９のいずれか１の発明において、前記サムネイル情報として、画像の画質情報を用いることを特徴としたものである。
【００２３】
請求項１１の発明は、請求項１０の発明において、前記画質情報として、レイヤ情報及び／又はビットプレーン情報を用いることを特徴としたものである。
【００２４】
請求項１２の発明は、請求項５乃至１１のいずれか１の発明において、前記サムネイル情報として、画像のサブバンド情報を用いることを特徴としたものである。
【００２５】
請求項１３の発明は、画像のサムネイルを出力する画像伸張装置であって、請求項５乃至１２のいずれか１記載の画像処理装置で生成した圧縮符号データから、該圧縮符号データのサムネイル情報を元に、符号データからサムネイル部分のみを伸張し出力する手段を有することを特徴としたものである。
【００２６】
請求項１４の発明は、画像のサムネイルを取り出す画像出力装置であって、請求項５乃至１２のいずれか１記載の画像処理装置で生成した圧縮符号データから、該圧縮符号データのサムネイル情報を元に、符号データの一部を切り出す手段を有することを特徴としたものである。
【００２７】
請求項１５の発明は、請求項１乃至１２のいずれか１記載の画像処理装置で生成されたファイルを、前記出力順序に従って出力する画像出力装置である。
【００２８】
請求項１６の発明は、請求項１乃至１２のいずれか１記載の画像処理装置で生成されたファイルを、前記複数の静止画像に逆変換し、静止画像１枚が１ファイルで構成される個別のファイルにする手段を有することを特徴とする画像変換装置である。
【００２９】
請求項１７の発明は、複数の静止画像から１つの画像群ファイルを生成する画像処理方法であって、複数の静止画像の出力順序を設定する画像順序設定ステップと、該設定された順序に従って個々の静止画像の格納位置などを示したデータを前記ファイルのヘッダ部分に付加するデータ付加ステップと、を有することを特徴としたものである。
【００３０】
請求項１８の発明は、請求項１７の発明において、当該画像処理方法は、静止画像の圧縮符号データを生成する画像圧縮ステップを有し、前記データ付加ステップは、個々の静止画像のサムネイル情報を、１又は複数形態設定するサムネイル設定ステップと、該設定された形態のサムネイル情報を、個々の静止画像の符号データ形成時にヘッダ部分に付加するサムネイル情報付加ステップと、を有することを特徴としたものである。
【００３１】
請求項１９の発明は、請求項１７又は１８の発明において、前記画像順序設定ステップは、前記複数の静止画像の中から撮影条件が同じ静止画像に対して出力順序を設定することを特徴としたものである。
【００３２】
請求項２０の発明は、請求項１７乃至１９のいずれか１の発明において、前記画像順序設定ステップは、出力順序としての表示順序と共に、各静止画像の表示間隔を設定することを特徴としたものである。
【００３３】
請求項２１の発明は、請求項１８の発明において、前記サムネイル情報として、画像の解像度情報を用いることを特徴としたものである。
【００３４】
請求項２２の発明は、請求項２１の発明において、前記解像度情報として、画像のデコンポジションレベル情報を用いることを特徴としたものである。
【００３５】
請求項２３の発明は、請求項２１又は２２の発明において、前記サムネイル情報として、画像の位置情報を用いることを特徴としたものである。
【００３６】
請求項２４の発明は、請求項２３の発明において、前記位置情報として、タイル情報，プレシンクト情報，コードブロック情報，画素位置情報のうち、いずれか１又は複数を用いることを特徴としたものである。
【００３７】
請求項２５の発明は、請求項２１乃至２４のいずれか１の発明において、前記サムネイル情報として、画像のコンポーネント情報を用いることを特徴としたものである。
【００３８】
請求項２６の発明は、請求項２１乃至２５のいずれか１の発明において、前記サムネイル情報として、画像の画質情報を用いることを特徴としたものである。
【００３９】
請求項２７の発明は、請求項２６の発明において、前記画質情報として、レイヤ情報及び／又はビットプレーン情報を用いることを特徴としたものである。
【００４０】
請求項２８の発明は、請求項２１乃至２７のいずれか１の発明において、前記サムネイル情報として、画像のサブバンド情報を用いることを特徴としたものである。
【００４１】
請求項２９の発明は、画像のサムネイルを出力する画像伸張方法であって、請求項２１乃至２８のいずれか１記載の画像処理方法で生成した圧縮符号データから、該圧縮符号データのサムネイル情報を元に、符号データからサムネイル部分のみを伸張し出力するステップを有することを特徴としたものである。
【００４２】
請求項３０の発明は、画像のサムネイルを取り出す画像出力方法であって、請求項２１乃至２８のいずれか１記載の画像処理方法で生成した圧縮符号データから、該圧縮符号データのサムネイル情報を元に、符号データの一部を切り出すステップを有することを特徴としたものである。
【００４３】
請求項３１の発明は、請求項１７乃至２８のいずれか１記載の画像処理方法で生成されたファイルを、前記出力順序に従って出力する画像出力方法である。
【００４４】
請求項３２の発明は、請求項１７乃至２８のいずれか１記載の画像処理方法で生成されたファイルを、前記複数の静止画像に逆変換し、静止画像１枚が１ファイルで構成される個別のファイルにするステップを有することを特徴とする画像変換方法である。
【００４５】
請求項３３の発明は、請求項１乃至１２のいずれか１記載の画像処理装置として、或いは請求項１３記載の画像伸張装置として、或いは請求項１４又は１５記載の画像出力装置として、或いは請求項１６記載の画像変換装置として、コンピュータを機能させるためのプログラムである。
【００４６】
請求項３４の発明は、請求項１７乃至２８のいずれか１記載の画像処理方法、或いは請求項２９記載の画像伸張方法、或いは請求項３０又は３１記載の画像出力方法、或いは請求項３２記載の画像変換方法、をコンピュータに実行させるためのプログラムである。
【００４７】
請求項３５の発明は、請求項３３又は３４記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００４８】
【発明の実施の形態】
以下、本発明の各実施形態において処理される符号化データ（以下、圧縮符号データとも呼ぶ）が、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）の静止画像の符号化データと、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−３）の動画像の符号化データであるとして説明を行う。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００は、連続した複数の静止画像のそれぞれをフレームとして動画像を扱い、各フレームの符号化データはＪＰＥＧ２０００に準拠しており、ファイルフォーマットがＪＰＥＧ２０００と一部異なるのみである。
【００４９】
ＪＰＥＧ２０００は、２００１年に国際標準になったＪＰＥＧ後継の画像圧縮伸張方式であり、そのアルゴリズムについては、例えば書籍「次世代画像符号化方式 ＪＰＥＧ２０００」（野水泰之著、株式会社トリケップス）などに詳しいが、以下の実施の形態の説明に必要な範囲でＪＰＥＧ２０００のアルゴリズムについて説明する。
【００５０】
図１は、ＪＰＥＧ２０００の基本となる階層符号化・復号化アルゴリズムを説明するためのブロック図で、本発明の一実施形態に係る画像処理装置を説明するためのブロック図でもある。
ＪＰＥＧ２０００の基本となる階層符号化・復号化アルゴリズムは、２次元ウェーブレット変換・逆変換部２、量子化・逆量子化部３、エントロピー符号化・復号化部４、タグ処理部５で構成されている。このうち本発明の特徴部分は、主としてタグ処理部５或いは生成されたＪＰＥＧ２０００符号に対する処理である。色空間変換・逆変換部（色変換・逆変換部）１からの入力又は色空間変換・逆変換部１への出力として、さらにはタグ処理部５からの入力又はタグ処理部５への出力として、２次元ウェーブレット変換・逆変換部２，量子化・逆量子化部３，エントロピー符号化・復号化部４のそれぞれが備えられている。各部は正逆方向で別構成としても良いことは言及するまでもないが、各部における処理はコンポーネント毎に実行するような構成としてもよい。
【００５１】
図２は、ＪＰＥＧ２０００のアルゴリズムを説明するための簡略化されたフロー図である。
図１に示すＪＰＥＧ２０００での圧縮・伸張の処理の概要としては、圧縮時には、ステップＳ１，Ｓ２において色空間変換がなされた各コンポーネントをウェーブレット変換してウェーブレット係数を求め（ステップＳ３）、プログレッシブサブビットプレーン符号化（ステップＳ４）、エントロピー符号化（ステップＳ５）が施される。一方、伸張時には、ステップＳ５，Ｓ４においてエントロピー復号、逆量子化を経て得られたコンポーネント毎のウェーブレット係数に対して、逆ウェーブレット変換が施され（ステップＳ３）、その後逆色変換がなされて（ステップＳ２）、原画像のＲＧＢ画素値に戻る（ステップＳ１）といった流れになる。
【００５２】
以下、ＪＰＥＧ２０００アルゴリズムの特徴について、詳細に説明する。
ＪＰＥＧ２０００アルゴリズムが、ＪＰＥＧアルゴリズムと比較して最も大きく異なる点の一つは、変換方法である。ＪＰＥＧでは離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を、ＪＰＥＧ２０００の階層符号化圧縮伸張アルゴリズムでは離散ウェーブレット変換（ＤＷＴ：Ｄｉｓｃｒｅｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ）を、各々用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所が、ＪＰＥＧの後継アルゴリズムであるＪＰＥＧ２０００で採用された大きな理由の一つとなっている。また、他の大きな相違点は、後者では、最終段に符号形成をおこなうために、タグ処理部５と呼ばれる機能ブロックが追加されていることである。この部分で、圧縮動作時には圧縮データがコードストリームとして生成され、伸張動作時には伸張に必要なコードストリームの解釈が行われる。そして、コードストリームによって、ＪＰＥＧ２０００は様々な便利な機能を実現できるようになった。ＪＰＥＧ２０００のアルゴリズムは高圧縮率（低ビットレート）での画質が良好であるほか、多くの特徴を有する。
【００５３】
その１つが、符号化データの符号の削除（トランケーション）によるポスト量子化によって、再圧縮を行うことなく全体の符号量を調整できることである。この符号削除は、タイルやプレシンクトなどの領域、コンポーネント、デコンポジションレベル（もしくは解像度レベル）、ビットプレーン、サブビットプレーン、パケット、マルチレイヤ構成の場合にはレイヤなど、多様な単位で行うことができる。
【００５４】
例えば、図３はデコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドを示す図であるが、図３に示したブロックベースでのＤＷＴにおけるオクターブ分割の階層に対応した任意の階層で、静止画像の圧縮伸張処理を停止させることができる。なお、デコンポジションレベルと解像度レベルとの関係であるが、各サブバンドに対し、３ＬＬの解像度レベルが０、３ＨＬ，３ＬＨ，３ＨＨの解像度レベルが１、２ＨＬ，２ＬＨ，２ＨＨの解像度レベルが２、１ＨＬ，１ＬＨ，１ＨＨの解像度レベルが３となっている。また、ここでの「デコンポジション」に関し、ＪＰＥＧ２０００ ＰａｒｔＩ ＦＤＩＳ（Ｆｉｎａｌ Ｄｒａｆｔ ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ）には、以下のように定義されている。
【００５５】
ｄｅｃｏｍｐｏｓｉｔｉｏｎ ｌｅｖｅｌ：
Ａ ｃｏｌｌｅｃｔｉｏｎ ｏｆ ｗａｖｅｌｅｔ ｓｕｂｂａｎｄｓ ｗｈｅｒｅ ｅａｃｈ ｃｏｅｆｆｉｃｉｅｎｔ ｈａｓ ｔｈｅ ｓａｍｅ ｓｐａｔｉａｌ ｉｍｐａｃｔ ｏｒ ｓｐａｎ ｗｉｔｈ ｒｅｓｐｅｃｔ ｔｏ ｔｈｅ ｓｏｕｒｃｅ ｃｏｍｐｏｎｅｎｔ ｓａｍｐｌｅｓ． Ｔｈｅｓｅ ｉｎｃｌｕｄｅ ｔｈｅ ＨＬ，ＬＨ，ａｎｄ ＨＨ ｓｕｂｂａｎｄｓ ｏｆ ｔｈｅ ｓａｍｅ ｔｗｏ ｄｉｍｅｎｓｉｏｎａｌ ｓｕｂｂａｎｄ ｄｅｃｏｍｐｏｓｉｔｉｏｎ． Ｆｏｒ ｔｈｅ ｌａｓｔ ｄｅｃｏｍｐｏｓｉｔｉｏｎ ｌｅｖｅｌ ｔｈｅ ＬＬ ｓｕｂｂａｎｄ ｉｓ ａｌｓｏ ｉｎｃｌｕｄｅｄ．
【００５６】
もう１つは、符号化データのレイヤの再構成を符号状態のままで行うことができることである。もう１つは、あるプログレッション順序の符号化コードを、符号状態のままで別のプログレッション順序の符号化データに再構成することが可能であることである。もう１つは、マルチレイヤの符号化データを、符号状態のまま、レイヤ単位で２以上の符号化コードに分割可能であることである。
【００５７】
以下、ＪＰＥＧ２０００アルゴリズムについて、順を追って詳細に説明する。
原画像の入出力部分には、図１のように色空間変換部１が接続されることが多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶ或いはＹＣｂＣｒ表色系への変換又は逆の変換を行う部分がこれに相当する。
【００５８】
図４は、タイル分割されたカラー画像の各コンポーネントの例を示す図である。
カラー画像は、一般に図４に示すように、原画像の各コンポーネント７_Ｒ，７_Ｇ，７_Ｂ（ここではＲＧＢ原色系）が、矩形をした領域（タイル）７_Ｒｔ，７_Ｇｔ，７_Ｂｔによって分割される。そして、個々のタイル、例えば、Ｒ００，Ｒ０１，．．．，Ｒ１５／Ｇ００，Ｇ０１，．．．，Ｇ１５／Ｂ００，Ｂ０１，．．．，Ｂ１５が、圧縮伸張プロセスを実行する際の基本単位となる。このように、圧縮処理の対象となる画像データ（動画を扱う場合には各フレームの画像データ）は、コンポーネント毎にタイルと呼ばれる重複しない矩形領域に分割され、コンポーネント毎にタイルを単位として処理される。すなわち、圧縮伸張動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。ただし、タイルサイズを画像サイズと同一にすること、つまりタイル分割を行わないことも可能である。
【００５９】
このように、符号化時には、各コンポーネントの各タイルのデータが、圧縮率の向上を目的として図１の色空間変換部１に入力され、ＲＧＢデータやＣＭＹデータからＹＣｒＣｂデータへの色空間変換を施されたのち、色空間変換後の各コンポーネントの各タイル画像に対し２次元ウェーブレット変換部２で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。なお、この色空間変換が省かれる場合もある。
【００６０】
図３を参照して、デコンポジションレベル数が３の場合の、２次元ウェーブレット変換部２での処理を説明する。２次元ウェーブレット変換部２では、まず、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジションレベル０（６_０））に対して２次元ウェーブレット変換を施し、デコンポジションレベル１（６_１）に示すサブバンド１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨを分離する。すなわち、タイル原画像（６_０）がデコンポジションレベル１（６_１）に示すサブバンドに分割される。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジションレベル２（６_２）に示すサブバンド２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨを分離する。順次同様に、低周波成分２ＬＬに対しても、２次元可逆ウェーブレット変換を施し、デコンポジションレベル３（６_３）に示すサブバンド３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨを分離する。ここで、各デコンポジションレベルにおいて符号化の対象となるサブバンドは、例えば、デコンポジションレベル数を３とした時、サブバンド３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨが符号化対象となり、３ＬＬサブバンドは符号化されない。
【００６１】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１の量子化部３で対象ビット周辺のビットからコンテキストが生成される。つまり、上述したような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られたウェーブレット係数は、サブバンド毎に量子化・逆量子化部３にて量子化されることとなる。ＪＰＥＧ２０００ではロスレス（可逆）圧縮とロッシー（非可逆）圧縮のいずれも可能であり、ロスレス圧縮の場合には量子化ステップ幅は常に１であり、この段階では量子化されない。量子化の処理が終わったウェーブレット係数は、例えば８ｂｉｔの原画像に対し１２ｂｉｔに増える。
【００６２】
続いて、エントロピー符号化部４では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。量子化後の各サブバンド係数に対するこのエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Ｅｍｂｅｄｄｅｄ Ｂｌｏｃｋ Ｃｏｄｉｎｇ ｗｉｔｈ Ｏｐｔｉｍｉｚｅｄ Ｔｒｕｎｃａｔｉｏｎ）と呼ばれる符号化方式が用いられ、量子化後の各サブバンド係数のビットプレーンが上位プレーンから下位プレーンへ向かって、コードブロックと呼ばれるブロック毎に符号化される。
【００６３】
最後にタグ処理部５は、符号形成プロセスを行う。タグ処理部５で行う符号形成プロセスにおいては、エントロピー符号化部４からの全符号化データを１本のコードストリームに結合するとともに、それにタグを付加する処理を行う。タブ処理部５では、まず、エントロピー符号化部４で生成されたコードブロックの符号をまとめてパケットが生成され、ここで生成されたパケットがプログレッション順序に従って並べられるとともに必要なタグ情報が付加されることにより、所定のフォーマットの符号化データが作成される。なお、ＪＰＥＧ２０００では、符号順序制御に関して、解像度レベル、プレシンクト（ｐｏｓｉｔｉｏｎ）、レイヤ、コンポーネント（色成分）の組み合わせによる５種類のプログレッション順序が定義されている。
【００６４】
ここで、エントロピー符号化部４におけるエントロピー符号化、及びタグ処理部５における符号形成プロセスの詳細を例を挙げて説明する。
量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。更に、個々のプレシンクトは、重複しない矩形の「コードブロック」に分けられる。
【００６５】
ここで、プレシンクト、コードブロック、パケット、レイヤについて簡単に説明する。画像≧タイル≧サブバンド≧プレシンクト≧コードブロックの大きさ関係がある。
プレシンクトとは、サブバンドの矩形領域で、同じデコンポジションレベルのＨＬ，ＬＨ，ＨＨサブバンドの空間的に同じ位置にある３つの領域の組が１つのプレシンクトとして扱われる。ただし、ＬＬサブバンドでは、１つの領域が１つのプレシンクトとして扱われる。プレシンクトのサイズをサブバンドと同じサイズにすることも可能である。また、プレシンクトを分割した矩形領域がコードブロックである。プレシンクトに含まれる全てのコードブロックの符号の一部（例えば最上位から３ビット目までの３枚のビットプレーンの符号）を取り出して集めたものがパケットである。符号が空（から）のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション順序に従ってパケットを並べることにより符号データを形成する。なお、後述するが、図９の各タイルに関するＳＯＤ以下の部分がパケットの集合である。全てのプレシンクト（つまり、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の最上位のビットプレーンから３枚目までのビットプレーンの符号）ができるが、これがレイヤである（ただし、次に示す例のように、必ずしも全てのプレシンクトのパケットをレイヤに含めなくともよい）。したがって、伸張時に復号されるレイヤ数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位とも言える。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。
【００６６】
図５は、プレシンクトとコードブロックの関係を説明するための図である。また、図６乃至図８は、デコンポジションレベル数が２（解像度レベル数＝３）の場合のパケットとレイヤの一例を示す図で、図６は一般的なレイヤ構成例を、図７は複数の機器のそれぞれに応じたサムネイル出力が可能なレイヤ構成例を、図８は伝送路容量に応じたサムネイル出力が可能なレイヤ構成例を、それぞれ示している。
【００６７】
量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎にプレシンクトに分割されるが、図５に示したように、一つのプレシンクト（例えばプレシンクト８_ｐ４）は、空間的に一致した３つの矩形領域からなっている。プレシンクト８_ｐ６も同様である。すなわち、図５中のプレシンクトと記された空間的に同じ位置にある３つの領域の組が１つのプレシンクトとして扱われる。なお、ここで原画像１４はデコンポジションレベル１でタイル８_ｔ０，８_ｔ１，８_ｔ２，８_ｔ３の４つのタイルに分割されている。更に、個々のプレシンクトは、重複しない矩形の「コードブロック」（プレシンクト８_ｐ４に対してはコードブロック８_４ｂ０，８_４ｂ１，．．．）に分けられる。これは、エントロピー符号化部４にてエントロピーコーディングを行う際の基本単位となる。
【００６８】
符号化効率を上げるために、図６乃至図８で後に例示するように、係数値をビットプレーン単位に分解し、画素或いはコードブロック毎にビットプレーンに順序付けを行い、１又は複数のビットプレーンからなる層（レイヤ）を構成することもある。すなわち係数値のビットプレーンから、その有意性に基づいた層（レイヤ）を構成し、そのレイヤごとに符号化を行う。最も有意なレイヤである最上位レイヤ（ＭＳＢ）とその下位レイヤを数レイヤだけ符号化し、最も有意でないレイヤ（ＭＬＢ）を含んだそれ以外のレイヤをトランケートすることもある。
【００６９】
図６を参照して、デコンポジションレベル数＝２（解像度レベル数＝３）の場合のパケットとレイヤの構成例（レイヤ数＝１０）を示す。図中の縦長の小さな矩形がパケットであり、その内部に示した数字はパケット番号である。レイヤを濃淡を付けた横長矩形領域として図示してある。すなわち、この例では、パケット番号０〜５１のパケットの符号からなるレイヤ０、パケット番号５２〜７２のパケットの符号からなるレイヤ１、パケット番号７３〜９３のパケットの符号からなるレイヤ２、パケット番号９４〜１１４のパケットの符号からなるレイヤ３、パケット番号１１５〜１３５のパケットの符号からなるレイヤ４、パケット番号１３６〜１５６のパケットの符号からなるレイヤ５、パケット番号１５７〜１７７のパケットの符号からなるレイヤ６、パケット番号１７８〜１９８のパケットの符号からなるレイヤ７、パケット番号１９９〜２１５のパケットの符号からなるレイヤ８、及び、残りのパケット番号２１６〜２２８のパケットの符号からなるレイヤ９の１０レイヤに分割されている。なお、パケットとプレシンクトとの対応関係などは、プログレッション順序の違いやレイヤ分割数等により様々に変化するものであり、上に示したレイヤ構成はあくまで一例である。
【００７０】
図７を参照して、複数の機器のそれぞれに応じたサムネイル出力が可能なレイヤ構成例を説明する。この例では、図６の構成例と同様のレイヤ構成をとるが、本発明の特徴部分であるヘッダ部分に、同一の濃淡で示したパケット番号２，１０，１８，２６，５４，７５のパケットの符号からなるサムネイル情報（パケット番号２，１０，１８，２６，５４，７５）を、例えばデジタルカメラのサムネイル出力用に記録しておく。同様に、画像ビューワソフトのサムネイル表示用のサムネイル情報として、情報「パケット番号９６，１１７」をヘッダ部分に記録しておく。また、同様に、携帯電話における表示用のサムネイル情報として、情報「２ＬＬ」をヘッダ部分に記録しておく。なお、本発明の一実施形態においては、後述するが、さらにこれらの情報は、撮影条件情報に基づいて各静止画像に記録されることとなる。
【００７１】
図８を参照して、デコンポジションレベル数＝２（解像度レベル数＝３）の場合のパケットとレイヤの構成例として、伝送路容量に応じたサムネイル出力が可能なレイヤ構成例（レイヤ数＝１３）を説明する。この例では、同一の濃淡で示したパケット番号０〜３のパケットの符号からなるレイヤ０、同一の濃淡で示したパケット番号４〜１１のパケットの符号からなるレイヤ１、同一の濃淡で示したパケット番号４〜７，１２〜１９のパケットの符号からなるレイヤ２、同一の濃淡で示したパケット番号１２〜１５，２０〜５１のパケットの符号からなるレイヤ３、同一の濃淡で示したパケット番号５２〜７２のパケットの符号からなるレイヤ４、同一の濃淡で示したパケット番号７３〜９３のパケットの符号からなるレイヤ５、同一の濃淡で示したパケット番号９４〜１１４のパケットの符号からなるレイヤ６、同一の濃淡で示したパケット番号１１５〜１３５のパケットの符号からなるレイヤ７、同一の濃淡で示したパケット番号１３６〜１５６のパケットの符号からなるレイヤ８、同一の濃淡で示したパケット番号１５７〜１７７のパケットの符号からなるレイヤ９、同一の濃淡で示したパケット番号１７８〜１９８のパケットの符号からなるレイヤ１０、同一の濃淡で示したパケット番号１９９〜２１５のパケットの符号からなるレイヤ１１、及び、同一の濃淡で示した残りのパケット番号２１６〜２２８のパケットの符号からなるレイヤ１２の１３レイヤに分割されている。なお、パケットとプレシンクトとの対応関係などは、プログレッション順序の違いやレイヤ分割数等により様々に変化するものであり、上に示したレイヤ構成はあくまで一例である。
【００７２】
図６乃至図８のいずれのレイヤ構成例も、パケットとして、符号データを分割しておき、パケット番号の小さいものから順番に所定サイズになるまでパケットを追加していき、所定サイズになったところまでを１レイヤとしている。また、ここで示したレイヤ構成例では、サブビットプレーンとして１ｂｉｔをＲｅｆｉｎｅｍｅｎｔ，Ｓｉｇｎｉｆｉｃａｎｔ，Ｃｌｅａｎｕｐの３つに分割した例を示しているが、サブビットプレーンでさらに細かく分割しておけば、より細かい制御が可能である。さらに、パケットの優先度の順番を入れ替えることにより、解像度を重視した順番、画質を重視した順番、位置を重視した順番などに変更可能となる。なお、図６乃至図８で示したレイヤ構成例は、図２のステップＳ５と共に図示したものに対応している。
【００７３】
図９には、符号形成プロセスにて生成されるＪＰＥＧ２０００の符号化データのフォーマット（コードストリームの構造）を簡単に示している。この符号化データは、各種のタグ情報が付加されている。すなわち、図９に見られるように、符号化データは、コードストリームの始まりを示すＳＯＣマーカ９_ｓで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ（Ｍａｉｎ Ｈｅａｄｅｒ）９_ｈが続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカ９_ｓｔで始まり、タイルヘッダ（Ｔｉｌｅ Ｈｅａｄｅｒ）９_ｔｈ、ＳＯＤマーカ９_ｓｄ、タイルデータ（Ｔｉｌｅ Ｄａｔａ；符号化データ（ビットストリーム９_ｂ））で構成される。そして、コードストリームの終端（最後のタイルデータの後）には、再び、終了を示すタグ（ＥＯＣタグ９_ｅ）が置かれる。
【００７４】
図１０は、図９のメインヘッダの構成を示す図である。
図１０に示すように、図９のメインヘッダ９_ｈは、画像とタイルのサイズ（ＳＩＺ）に続いて、デフォルト符号スタイル（ＣＯＤ；必須）、符号スタイル成分（ＣＯＣ）、デフォルト量子化（ＱＣＤ；必須）、量子化成分（ＱＣＣ）、ＲＯＩ（ＲＧＮ）、デフォルトプログレッシブ順序（ＰＯＣ）、集約パケット（ＰＰＭ）、タイル長（ＴＬＭ）、パケット長（ＰＬＭ）、色定義（ＣＲＧ）、コメント（ＣＯＭ）から構成される。ＳＩＺ及び必須と示したマーカセグメント（ＣＯＤ，ＱＣＤ）以外は、オプションとなる。
【００７５】
図１１は、ＪＰＥＧ２０００の基本方式のファイルフォーマットの構成を示す図である。
ＪＰＥＧ２０００の基本方式のファイルフォーマットはＪＰ２ファイルフォーマットと称し、図９で説明したＪＰＥＧ２０００符号フォーマットを包含するものであり、画像データやメタデータ、階調数や色空間等の画像の性質を表す情報、知的所有権情報等の情報を含むことを目的としたフォーマットである。ＪＰ２ファイルフォーマットで構成されたＪＰ２ファイルの情報構造は、ｂｏｘと称する情報の区切りから構成され、ｍｅｔａｄａｔａと称するアプリケーションに特化した情報を含む。ＪＰ２ファイルの情報構造は、図１１に実線（必須）と破線（オプション）で示すように、ＪＰＥＧ２０００ Ｓｉｇｎａｔｕｒｅ ｂｏｘ，Ｆｉｌｅ Ｔｙｐｅ ｂｏｘ，ＪＰ２ Ｈｅａｄｅｒ ｂｏｘ，Ｃｏｎｔｉｇｕｏｕｓ Ｃｏｄｅｓｔｒｅａｍ ｂｏｘからなる。詳細は図示の通りである。
【００７６】
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコードストリームから画像データを生成する。図１を用いて簡単に説明する。この場合、タグ処理部５は、外部より入力したコードストリームに付加されたタグ情報を解釈し、コードストリームを各コンポーネントの各タイルのコードストリームに分解し、その各コンポーネントの各タイルのコードストリーム毎に復号化処理が行われる。コードストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆量子化部３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー復号化部４で、このコンテキストとコードストリームから確率推定によって復号化を行い対象ビットを生成し、それを対象ビットの位置に書き込む。
【００７７】
このようにして復号化されたデータは各周波数帯域毎に空間分割されているため、これを２次元ウェーブレット逆変換部２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部１によって元の表色系のデータに変換される。
【００７８】
以下、本発明の実施の形態について詳細に説明する。
図１２は、本発明の一実施形態に係る画像処理装置の構成例を説明するための機能ブロック図で、図１３は、図１２における画像処理方法を説明するためのフロー図である。なお、図１３は、本発明の一実施形態に係る画像処理方法の手順例を説明するためのフロー図でもある。
【００７９】
本発明に係る画像処理装置は、複数の静止画像から１つの画像群ファイルを生成する画像処理装置であって、画像順序設定手段及びデータ付加手段を含むものとする。画像順序設定手段では、複数の静止画像の出力順序を設定する。データ付加手段では、設定された順序に従って個々の静止画像の格納位置などを示したデータを画像群ファイルのヘッダ部分に付加する。すなわち、本発明に係る画像処理装置は、独立に撮影された複数の画像データを１個のファイルに取り纏め、個々の画像の格納位置などを示したデータを当該ファイルのファイルヘッダに記載している。独立に生成された複数の画像ファイルを、この方法に従ったファイル形式に変換する機能、或いはこの方法に従ったファイルを作成する機能を有しているともいえる。
【００８０】
本発明の好適な実施形態として、この画像処理装置が画像圧縮手段を有するものを説明する。なお、画像圧縮手段を備えない形態では、複数の静止画像から画像群ファイルを生成し、そのヘッダ部分に静止画像の出力順序を記載し、結果としてスライドショー的な表示（所定の間隔で静止画像を順に表示）やスライド表示（順序が決まった静止画像をユーザの操作により表示していく）を行なうことを可能とする。すなわち、複数の静止画を動画と類似のフォーマットを用いて１個のファイルに纏め、サムネイル再生時或いは再生時に自動的にスライドショー的に再生を行えるようにする。このための情報をヘッダに記載し、通常の動画ファイルとは再生方法を区別可能とする。
【００８１】
ここで説明する実施形態に係る画像処理装置は、画像圧縮手段を有すると共に、データ付加手段が、個々の静止画像のサムネイル情報を、１又は複数形態設定するサムネイル設定手段と、設定された形態のサムネイル情報を、個々の静止画像の符号データ形成時にヘッダ部分に付加するサムネイル情報付加手段と、を有するようにしている。ここで付加するサムネイル情報は、例えば、図７で例示したような情報である。また、この画像処理装置は、デジタルカメラ（スチル／ビデオ）等の画像入力装置への適用も含む。本実施形態においては、ＪＰＥＧ２０００方式（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）が、画像を高精細な状態で保存しておき、その画像符号データから特定の解像度の画像や特定の画質を持つ画像を取り出すことなどが可能であることを利用して、１つのファイルに纏めた複数の画像に対しても、順番に従ってサムネイル画像の高速出力（表示，印刷，伝送）を可能としている。
【００８２】
図１２では、画像処理装置２０が、画像読込部２１、サムネイル設定手段をもつサムネイル設定部２２、画質圧縮部２３、画像順序設定手段をもつ画像順序設定部２４、サムネイル情報付加手段をもつサムネイル情報付加部２５、符号生成部２６より構成されているものとして説明する。
【００８３】
画像処理装置２０は、複数の静止画像データを画像読込部２１で読み込み（ステップＳ１１）、サムネイル設定部２２でサムネイル情報を設定する（ステップＳ１２）。勿論、サムネイル設定部２２にて予め設定するサムネイル情報を設定しておいてもよい。また、複数の画像データのヘッダ部分を読み込み、所定の撮影条件などに合致するものだけを選択しておいてもよい。すなわち、画像順序設定手段は、複数の静止画像の中から撮影条件が同じ静止画像に対して出力順序を設定するようにしてもよく、撮影条件に限らず、複数の静止画像が画像群から所定の条件に基づいて検索されたものであるようにしてもよい。続いて、画質圧縮部２３にて画像を圧縮する（ステップＳ１３）。次に、画像順序設定部２４にて複数の静止画像に対し出力順序を設定し（ステップＳ１４）、サムネイル情報付加部２５にて、サムネイル設定部２２での設定に応じたサムネイル情報に、ステップＳ１４で設定した出力順序の情報を付加する（ステップＳ１５）。なお、ステップＳ１４における画像の出力順序の設定は、複数の画像を読み込んだ際に行なってもよい。他の形態として、画像の出力順序の情報をそのままヘッダ部分に記録するようにしてもよい。次に、符号生成部２６にて符号データを生成する（ステップＳ１６）。なお、ここでは、サムネイル情報を付加した後に、符号生成部２６にて符号を生成するような構成例を説明しているが、符号生成中にサムネイル情報を付加してもよい。このように、各静止画像（主画像）をＪＰＥＧ２０００形式で保存する場合、サムネイルとして抽出すべき条件などのデータをファイルのヘッダ部分に記載することにより、効率よくサムネイル展開を行うことができる。すなわち、纏めたファイルのヘッダ部分に、サムネイル情報付加手段で付加されたサムネイル情報を出力するための情報を付加するようにすることで、出力順序に従ったサムネイル展開が可能となる。
【００８４】
また、画像順序設定手段が、出力順序としての表示順序と共に、各静止画像の表示間隔を設定するようにすることで、ファイル中に含まれる静止画像を一定時間毎に順番に切り替えながら表示する、いわゆるスライドショー的な表示（再生）方法が実現可能となる。さもなくば、表示する静止画像の切り替えを、ボタンなどを用いて使用者が操作することにより行う方法を利用するとよい。前者の方法と較べて、操作が増える点がデメリットとなるが、逆に確認する必要の低い画像については手動で高速にスキップできるなどの利点もある。また、これらの方法をユーザが適時選択できるように画像出力側を構成しておいてもよい。
【００８５】
また、サムネイル情報（や画像順序情報）の記録場所の候補例としては、図１０におけるＣＯＭマーカ、図１１におけるファイルフォーマットＸＭＬｂｏｘｅｓ、同じくファイルフォーマットＵＵＩＤｂｏｘｅｓなどが挙げられるが、他の記録場所を採用してもよい。ＸＭＬの記述例を以下に示す。
【００８６】

【００８７】
図１４は、本発明の一実施形態に係る画像処理装置において生成されたファイルのデータを、従来のＥｘｉｆなどで標準化されている方法と比較するための模式図で、図１４（Ａ）が本発明で生成された、複数の静止画像からなるファイルの一例を示し、図１４（Ｂ）が従来のサムネイル記載方法で生成された１つの画像の一例を示している。
【００８８】
図１４にデータの例を示す。画像データのヘッダ部に複数の静止画それぞれへのポインタとなるデータを記載し、これに従って複数の静止画の再生を行えるようにするものである。
【００８９】
まず、図１４（Ｂ）に従来の方法（Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）などで標準化されている方法）によるサムネイルの保存方法の一例を示しているが、圧縮符号データ３５に示すように、サムネイル用の小画像３７は主画像３８のデータとは別にヘッダ領域３６中に埋め込む必要があり、サムネイル出力は早くなるものの、データ容量が大きくなるためデータ取得に時間を要する。さらに、Ｅｘｉｆにおいては複数の静止画像を含むための方法は用意されていない。
【００９０】
一方、図１４（Ａ）で例示するように、本発明に係る画像処理装置にて生成されたファイル３０は、画像１枚目のデータ３２ａ，画像２枚目のデータ３２ｂ，画像３枚目のデータ３２ｃを纏め（データ３２）、そのヘッダ部分３１にそれらの順番を示す情報３１ａ，３１ｂ，３１ｃを記述しておく。なお、画像１枚目のデータ３２ａ，画像２枚目のデータ３２ｂ，画像３枚目のデータ３２ｃには、ぞれぞれの画像のヘッダ（各画像のサムネイル情報も含む）が先頭に付加されているものとする。すなわち、画像データのヘッダ部に複数の静止画それぞれへのポインタとなる情報３１ａ，３１ｂ，３１ｃを記載し、これに従って複数の静止画の再生を行えるようにするものである。まず、サムネイルを表示する場合は、まずヘッダを参照し、最初の画像の格納位置及びサムネイル表示に関する情報（例えばサムネイルに使うべきタイル数など）を得る。
【００９１】
このように１つのファイルを構成することで、撮影した画像を撮影日時や場所など共通する属性で纏めることもでき、複数枚の画像データの管理を容易に行うことができる。また、纏めた画像をサムネイル表示するとき、ファイルを選択するとスライドショー的にそのファイル内の静止画を順々に表示することにより、当該ファイルに含まれる複数画像の確認を容易に行うことができる。さらに、主画像ＪＰＥＧヘッダ部にサムネイル情報を記述するため、別途サムネイル画像を容易することなく、しかもファイル上の必要な部分のみをアクセスすることによりサムネイルの表示が可能となる。
【００９２】
本実施形態においては、主画像の圧縮方式としてＪＰＥＧ２０００の方法による手段を用いるため、主画像から直接サムネイルを必要に応じて作成することが可能であるため、従来のようにヘッダにサムネイルを埋め込む必要はない。このため、従来と較べてヘッダ部そのものの大きさを小さくすることができるため、複数画像に対するヘッダを配置してもその読み出しにかかる時間は相対的に少なくすることが可能となる。なお、上述の特許文献３に記載の発明は、符号化ストリームファイルと同一ファイル上のヘッダにフレーム情報を記述することを特徴とする本発明とは異なる。
【００９３】
本発明では、大量に撮影した画像を撮影日時や撮影地点などの共通する属性を用いてグループ化し、画像の検索や取り扱いをし易くするが、その属性の記述例を説明する。本実施形態に係る画像の圧縮符号データは（本発明において画像圧縮手段を備えない形態であっても入力する複数の画像データが）、ＪＰＥＧ２０００で規定された方式に基づいて生成され、ヘッダ部分に、Ｅｘｉｆ規格での標準化されている次の情報のうちのいずれか１又は複数を記述したようにしてもよい。すなわち、撮影時の露光時間、Ｆナンバ、露出プログラム、スペクトル感度、ＩＳＯスピードレート、光電変換関数、シャッタスピード、絞り値、輝度値、露光補正値、レンズ最小Ｆ値、被写体距離、測光方式、光源、フラッシュ、レンズ焦点距離、フラッシュ強度、空間周波数応答、焦点面の幅の解像度、焦点面の高さの解像度、焦点面解像度単位、被写体位置、露出インデックス、センサ方式、ＧＰＳによる撮影位置に関する情報すなわち緯度経度、高度、高度の単位、ＧＰＳ時間、測位に使った生成信号、ＧＰＳ受信機の状態、ＧＰＳの測位方法、測位の信頼性、速度の単位、速度、進行方向の単位、進行方向、撮影した画像の方向の単位、撮影した画像の方向、測位に用いた地図データ、目的地の緯度経度、目的地の方角の単位、目的地の方角、目的地までの距離の単位、目的地までの距離、の情報のうちのいずれか１又は複数をヘッダ部分に記述したようにしてもよい。
【００９４】
図１５は、図１２の画像処理装置において設定するサムネイル情報の一例を示す図である。
画像処理装置２０では、サムネイル情報として、画像の解像度情報、画像の位置情報、画像のコンポーネント情報、画像の画質情報、画像のサブバンド情報のうちいずれかを用いるようにするとよい。また、いずれか１ではなく、複数の情報を組み合わせて用いてもよい。
【００９５】
解像度情報としては、例えば、画像のデコンポジションレベル情報を用いればよい。また、位置情報としては、例えば、タイル情報，プレシンクト情報，コードブロック情報，画素位置情報のうち、いずれか１又は複数を用いるようにすればよい。さらに、画質情報としては、例えば、レイヤ情報及び／又はビットプレーン情報を用いるようにすればよい。
【００９６】
画像処理装置２０では対応関係を記憶することとなるが、サムネイルとして画質情報（画質レベル）を採用し、画質レベルがレイヤである場合の対応関係の例を、図１５の対応表４０で示す。図１５で示す対応表４０は、伝送路容量（ｂｐｓ）４１と画質レベル４２との対応表であり、伝送路容量（ｂｐｓ）が５．６Ｋの伝送路に対してはレイヤ１０（最重要レイヤ）、同様に、１Ｍに対してレイヤ７（例えばレイヤ７〜０をトランケートする；以下同様）、８Ｍに対してレイヤ５、１０Ｍに対してレイヤ４、１００Ｍに対してレイヤ２、１Ｇに対してレイヤ０、がそれぞれ対応している。ここでは、許容所要時間の目標値を設定しておき、各速度に対し、画質レベルを設定するとよい。なお、画質レベル４２として図１５に例示するレイヤとしては、例えば図６乃至図８のレイヤ構成例に基づくものとするが、レイヤの表記に関しては設定によるものとする。
【００９７】
図１６は原画像の一例を示す図で、図１７は図１６の原画像を本発明に係る画像処理装置で圧縮・作成し、画像出力装置又は画像伸張装置で出力した結果の画像を示す図である。
【００９８】
また、図１２で例示した画像処理装置２０において生成した圧縮符号データは、画像のサムネイルを取り出す画像出力装置でサムネイルを取り出すようにすればよい。この本発明の一実施形態に係る画像出力装置は、この圧縮符号データから、そのヘッダ部分に記録されたサムネイル情報を元に、符号データの一部を切り出す手段を有するようにしておくとよい。この手段は、サムネイル情報に基づいたサムネイルを伸張して出力するだけでなく、原画像又はサムネイル以外の縮小画像や拡大画像なども伸張して出力することを可能とした手段であり、上述のヘッダ部分を解釈可能なよう構成すればよい。なお、サムネイル情報が複数の形態で記録されている圧縮符号データを出力する際にはユーザ側で選択可能にしておけばよい。図１５の原画像５０に対し、サムネイルとして所定の色コンポーネントのみを指定（例えば色の判別が付かない人用などに指定）した場合、図１６（Ａ）の画像５１のように出力される。同様に、例えば、サムネイルとして１コンポーネントを指定した場合には図１６（Ｂ）の画像５２が出力され、サムネイルとしてレイヤ０のみを指定した場合には図１６（Ｃ）の画像５３が出力され、サムネイルとして中心部タイルを指定した場合には図１６（Ｄ）の画像５４が出力される。
【００９９】
さらに、図１２で例示した画像処理装置２０において生成した圧縮符号データは、画像のサムネイルを出力する画像伸張装置でサムネイルを出力するようにしてもよい。この本発明の一実施形態に係る画像伸張装置は、この圧縮符号データから、そのヘッダ部分に記録されたサムネイル情報を元に、符号データからサムネイル部分のみを伸張し出力する手段を有するようにしておくとよい。この手段は、上述のヘッダ部分を解釈可能なよう構成すればよい。なお、サムネイル情報が複数の形態で記録されている圧縮符号データを出力する際にはユーザ側で選択可能にしておけばよい。
【０１００】
また、図１２で示した実施形態ではない場合、すなわち本発明において画像圧縮手段を備えない形態の場合、入力する複数の画像データを纏めた１ファイルは、画像出力装置によりその出力順序に従って出力されるとよい。
【０１０１】
また、上述の各実施形態に係る画像処理装置で生成されたファイルを、複数の静止画像に逆変換し、静止画像１枚が１ファイルで構成される個別のファイルにする手段を有する画像変換装置も、本発明の一実施形態に該当する。変換手順は、逆変換であるので省略する。
【０１０２】
以上、本実施形態に係る画像処理装置によれば、静止画像を複数枚纏めて１つのファイルとして容易に管理することが可能となる。また、本発明によれば、圧縮された画像データのデータ容量を大きくすることなく且つ画像データのサムネイルを高速に出力する可能な圧縮画像データを、複数纏めて１つのファイルを生成することが可能となる。さらに、ヘッダ情報に複数の形態のサムネイル情報を記録しておくことで、複数の形態のサムネイルを出力可能な圧縮符号データを生成することが可能となり、静止画像を複数枚纏めた１つのファイルを、設定した順序に従って出力することが可能となる。また、複数の画像を１つに纏めたファイルに対し、圧縮された各画像データのデータ容量を大きくすることなく且つ各画像データのサムネイルを順序に従って高速に出力することが可能となる。さらに、本発明によれば、静止画像を複数枚纏めた１つのファイルから、各静止画像を個々のファイルとして生成（逆変換）することも可能となる。これらの装置はネットワークを介して画像を配信する画像配信システムなどに適用できる。
【０１０３】
複数の静止画像が格納された画像ファイルを表示する方法としては、まず、まずヘッダを参照し、最初の画像の格納位置及びサムネイル表示に関する情報（例えばサムネイルに使うべきタイル数など）を得るとよい。これは、画像圧縮手段を備えない画像処理装置により生成されたファイルであっても、元の静止画像にサムネイル情報が記録されていれば適用できる。
【０１０４】
グループ化されたファイル中の静止画サムネイルの表示方法は、表示する時の都合により主に二種類の方法を取りうる。第一の方法は、ファイル中に含まれる静止画像を一定時間毎に順番に切り替えながら表示する、いわゆるスライドショー的な表示方法である。この方法によれば複数画像の表示切り替えに特段の操作を必要としないため、操作性の面でメリットはあるが、或る画像の確認に時間をかけたいような場合には不都合である。第二の方法は、表示する静止画像の切り替えを、ボタンなどを用いて使用者が操作することにより行う方法である。第一の方法と較べて、操作が増える点がデメリットとなるが、逆に確認する必要の低い画像については手動で高速にスキップできるなどの利点もある。工夫により、これらの二種類の表示方法を取り入れることも可能である。例えばファイルの表示が指示されると最初は第一の方法による表示を行い、使用者が何らかの操作を行うと第二の表示方法に切り替え、さらに別の操作を行うことにより第一の表示方法に切り替えるなどである。
【０１０５】
以上、本発明の画像処理装置、画像出力装置（画像表示装置を含む）、及び画像伸張装置を中心に各実施形態を説明してきたが、本発明は、一部フロー図としても説明したように、それらの装置における処理手順を含んでなる画像処理方法、画像出力方法（画像表示方法を含む）、画像伸張方法としても、或いは、コンピュータをそれら装置として又はそれらの装置の各手段として機能させるための、又はコンピュータにそれら方法を実行させるためのプログラム（それらの処理内容が実装されているコンピュータプログラム）としても、或いは、そのプログラムを記録したコンピュータ読み取り可能な記録媒体（それらの処理内容が記録されているコンピュータ読み取り可能な情報記録媒体）としての形態も可能である。また、このプログラムや記録媒体により、上述の各実施形態に対応した処理によって、上述した装置と同様の効果を持ったシステムを提供することができる。これらのプログラムや記録媒体は、上述した実施形態に加え、後述する実施例を元に容易に実施できることは明らかである。
【０１０６】
本発明による画像処理又は画像出力又は画像伸張の機能を実現するためのプログラムやデータを記憶した記録媒体の実施形態を説明する。記録媒体としては、具体的には、ＣＤ−ＲＯＭ、光磁気ディスク、ＤＶＤ−ＲＯＭ、ＦＤ、フラッシュメモリ、及びその他各種ＲＯＭやＲＡＭ等が想定でき、これら記録媒体に上述した本発明の各実施形態に係る機能をコンピュータに実行させ、画像の処理，出力，伸張のいずれか１又は複数の機能を実現するためのプログラムを記録して流通させることにより、当該機能の実現を容易にする。そしてコンピュータ（汎用コンピュータやその他の機器）等の情報処理装置に上記のごとくの記録媒体を装着して情報処理装置によりプログラムを読み出し、そのまま起動させるか機器に伝送するか、若しくは情報処理装置が備えている記憶媒体に当該プログラムを記憶させておき、必要に応じて読み出すことにより、本発明に関わる機能を実行することができる。
【０１０７】
ここで上述した各実施形態に適用可能な装置の構成例を説明する。
図１７は、本発明に係る画像処理装置の一構成例を示す図である。
ここで例示する本発明に係る画像処理装置は、データバス６３を介して、ＲＡＭ６１，ＣＰＵ６２，ＨＤＤ６４が接続された構成となっており、以下の流れで、複数の原画像の画像データから、１ファイルとしての圧縮画像データが生成され、ＨＤＤ６４に保存されることとなる。
【０１０８】
ＨＤＤ６４上に記録された原画像の画像データ（又は圧縮された画像データ）が複数、ＣＰＵ６２からの命令によってＲＡＭ６１上に読み込まれる（ｉ）。次に、ＣＰＵ６２はＲＡＭ６１上の複数の画像データを読み込み、ウェーブレット係数を求め、本発明に係る画像順序付加処理やサムネイル情報付加処理を適用して１ファイルとしての圧縮画像データを生成する（ｉｉ）。ＣＰＵ６２は、生成された圧縮画像データをＲＡＭ６１上の別の領域に書き込む（ｉｉｉ）。ＣＰＵ６２からの命令によって、圧縮画像データがＨＤＤ６４上に記録される（ｉｖ）。画像処理装置又は画像伸張装置側では、この圧縮画像データ（ファイル）を表示，印刷，伝送など出力する際に、ファイルのヘッダ部分に記載された順序に従って、個々の画像を出力する。サムネイル出力する場合には、ファイルのヘッダ部分により画像の順序を得て、個々のサムネイル情報から順番にサムネイル出力が可能となる。図１７で例示した画像処理装置は、画像出力装置又は画像伸張装置を兼ねてもよいし、また、画像出力装置又は画像伸張装置は図１７で例示した画像処理装置と同様の構成を持つものでもよい。
【０１０９】
【発明の効果】
本発明によれば、静止画像を複数枚纏めて１つのファイルとして容易に管理することが可能となる。また、本発明によれば、圧縮された画像データのデータ容量を大きくすることなく且つ画像データのサムネイルを高速に出力する可能な圧縮画像データを、複数纏めて１つのファイルを生成することが可能となる。
【０１１０】
また、本発明によれば、静止画像を複数枚纏めた１つのファイルを、設定した順序に従って出力することが可能となる。また、本発明によれば、複数の画像を１つに纏めたファイルに対し、圧縮された各画像データのデータ容量を大きくすることなく且つ各画像データのサムネイルを順序に従って高速に出力することが可能となる。
【０１１１】
さらに、本発明によれば、静止画像を複数枚纏めた１つのファイルから、各静止画像を個々のファイルとして生成することが可能となる。
【図面の簡単な説明】
【図１】ＪＰＥＧ２０００の基本となる階層符号化・復号化アルゴリズムを説明するためのブロック図である。
【図２】ＪＰＥＧ２０００のアルゴリズムを説明するための簡略化されたフロー図である。
【図３】デコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドを示す図である。
【図４】タイル分割されたカラー画像の各コンポーネントの例を示す図である。
【図５】プレシンクトとコードブロックの関係を説明するための図である。
【図６】デコンポジションレベル数が２（解像度レベル数＝３）の場合のパケットとレイヤの一例を示す図で、一般的なレイヤ構成例を示す図である。
【図７】デコンポジションレベル数が２（解像度レベル数＝３）の場合のパケットとレイヤの一例を示す図で、複数の機器のそれぞれに応じたサムネイル出力が可能なレイヤ構成例を示す図である。
【図８】デコンポジションレベル数が２（解像度レベル数＝３）の場合のパケットとレイヤの一例を示す図で、伝送路容量に応じたサムネイル出力が可能なレイヤ構成例を示す図である。
【図９】符号形成プロセスにて生成されるＪＰＥＧ２０００の符号化データのフォーマット（コードストリームの構造）を簡単に示す図である。
【図１０】図９のメインヘッダの構成を示す図である。
【図１１】ＪＰＥＧ２０００の基本方式のファイルフォーマットの構成を示す図である。
【図１２】本発明の一実施形態に係る画像処理装置の構成例を説明するための機能ブロック図である。
【図１３】図１２における画像処理方法を説明するためのフロー図で、本発明の一実施形態に係る画像処理方法の手順例を説明するためのフロー図でもある。
【図１４】本発明の一実施形態に係る画像処理装置において生成されたファイルのデータを、従来のＥｘｉｆなどで標準化されている方法と比較するための模式図である。
【図１５】図１２の画像処理装置において設定するサムネイル情報の一例を示す図である。
【図１６】原画像の一例を示す図である。
【図１７】図１６の原画像を本発明に係る画像処理装置で圧縮・作成し、画像出力装置又は画像伸張装置で出力した結果の画像を示す図である。
【図１８】本発明に係る画像処理装置の一構成例を示す図である。
【符号の説明】
１…色空間変換・逆変換部（色変換・逆変換部）、２…２次元ウェーブレット変換・逆変換部、３…量子化・逆量子化部、４…エントロピー符号化・復号化部、５…タグ処理部、２０…画像処理装置、２１…画像読込部、２２…サムネイル設定部、２３…画質圧縮部、２４…画像順序設定部、２５…サムネイル情報付加部、２６…符号生成部、６１…ＲＡＭ、６２…ＣＰＵ、６３…データバス、６４…ＨＤＤ。

Claims (35)

1. 複数の静止画像から１つの画像群ファイルを生成する画像処理装置であって、複数の静止画像の出力順序を設定する画像順序設定手段と、該設定された順序に従って個々の静止画像の格納位置などを示したデータを前記ファイルのヘッダ部分に付加するデータ付加手段と、を有することを特徴とする画像処理装置。
2. 当該画像処理装置は、静止画像の圧縮符号データを生成する画像圧縮手段を有し、前記データ付加手段は、個々の静止画像のサムネイル情報を、１又は複数形態設定するサムネイル設定手段と、該設定された形態のサムネイル情報を、個々の静止画像の符号データ形成時にヘッダ部分に付加するサムネイル情報付加手段と、を有することを特徴とする請求項１記載の画像処理装置。
3. 前記画像順序設定手段は、前記複数の静止画像の中から撮影条件が同じ静止画像に対して出力順序を設定することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記画像順序設定手段は、出力順序としての表示順序と共に、各静止画像の表示間隔を設定することを特徴とする請求項１乃至３のいずれか１記載の画像処理装置。
5. 前記サムネイル情報として、画像の解像度情報を用いることを特徴とする請求項２記載の画像処理装置。
6. 前記解像度情報として、画像のデコンポジションレベル情報を用いることを特徴とする請求項５記載の画像処理装置。
7. 前記サムネイル情報として、画像の位置情報を用いることを特徴とする請求項５又は６記載の画像処理装置。
8. 前記位置情報として、タイル情報，プレシンクト情報，コードブロック情報，画素位置情報のうち、いずれか１又は複数を用いることを特徴とする請求項７記載の画像処理装置。
9. 前記サムネイル情報として、画像のコンポーネント情報を用いることを特徴とする請求項５乃至８のいずれか１記載の画像処理装置。
10. 前記サムネイル情報として、画像の画質情報を用いることを特徴とする請求項５乃至９のいずれか１記載の画像処理装置。
11. 前記画質情報として、レイヤ情報及び／又はビットプレーン情報を用いることを特徴とする請求項１０記載の画像処理装置。
12. 前記サムネイル情報として、画像のサブバンド情報を用いることを特徴とする請求項５乃至１１のいずれか１記載の画像処理装置。
13. 画像のサムネイルを出力する画像伸張装置であって、請求項５乃至１２のいずれか１記載の画像処理装置で生成した圧縮符号データから、該圧縮符号データのサムネイル情報を元に、符号データからサムネイル部分のみを伸張し出力する手段を有することを特徴とする画像伸張装置。
14. 画像のサムネイルを取り出す画像出力装置であって、請求項５乃至１２のいずれか１記載の画像処理装置で生成した圧縮符号データから、該圧縮符号データのサムネイル情報を元に、符号データの一部を切り出す手段を有することを特徴とする画像出力装置。
15. 請求項１乃至１２のいずれか１記載の画像処理装置で生成されたファイルを、前記出力順序に従って出力する画像出力装置。
16. 請求項１乃至１２のいずれか１記載の画像処理装置で生成されたファイルを、前記複数の静止画像に逆変換し、静止画像１枚が１ファイルで構成される個別のファイルにする手段を有することを特徴とする画像変換装置。
17. 複数の静止画像から１つの画像群ファイルを生成する画像処理方法であって、複数の静止画像の出力順序を設定する画像順序設定ステップと、該設定された順序に従って個々の静止画像の格納位置などを示したデータを前記ファイルのヘッダ部分に付加するデータ付加ステップと、を有することを特徴とする画像処理方法。
18. 当該画像処理方法は、静止画像の圧縮符号データを生成する画像圧縮ステップを有し、前記データ付加ステップは、個々の静止画像のサムネイル情報を、１又は複数形態設定するサムネイル設定ステップと、該設定された形態のサムネイル情報を、個々の静止画像の符号データ形成時にヘッダ部分に付加するサムネイル情報付加ステップと、を有することを特徴とする請求項１７記載の画像処理方法。
19. 前記画像順序設定ステップは、前記複数の静止画像の中から撮影条件が同じ静止画像に対して出力順序を設定することを特徴とする請求項１７又は１８記載の画像処理方法。
20. 前記画像順序設定ステップは、出力順序としての表示順序と共に、各静止画像の表示間隔を設定することを特徴とする請求項１７乃至１９のいずれか１記載の画像処理方法。
21. 前記サムネイル情報として、画像の解像度情報を用いることを特徴とする請求項１８記載の画像処理方法。
22. 前記解像度情報として、画像のデコンポジションレベル情報を用いることを特徴とする請求項２１記載の画像処理方法。
23. 前記サムネイル情報として、画像の位置情報を用いることを特徴とする請求項２１又は２２記載の画像処理方法。
24. 前記位置情報として、タイル情報，プレシンクト情報，コードブロック情報，画素位置情報のうち、いずれか１又は複数を用いることを特徴とする請求項２３記載の画像処理方法。
25. 前記サムネイル情報として、画像のコンポーネント情報を用いることを特徴とする請求項２１乃至２４のいずれか１記載の画像処理方法。
26. 前記サムネイル情報として、画像の画質情報を用いることを特徴とする請求項２１乃至２５のいずれか１記載の画像処理方法。
27. 前記画質情報として、レイヤ情報及び／又はビットプレーン情報を用いることを特徴とする請求項２６記載の画像処理方法。
28. 前記サムネイル情報として、画像のサブバンド情報を用いることを特徴とする請求項２１乃至２７のいずれか１記載の画像処理方法。
29. 画像のサムネイルを出力する画像伸張方法であって、請求項２１乃至２８のいずれか１記載の画像処理方法で生成した圧縮符号データから、該圧縮符号データのサムネイル情報を元に、符号データからサムネイル部分のみを伸張し出力するステップを有することを特徴とする画像伸張方法。
30. 画像のサムネイルを取り出す画像出力方法であって、請求項２１乃至２８のいずれか１記載の画像処理方法で生成した圧縮符号データから、該圧縮符号データのサムネイル情報を元に、符号データの一部を切り出すステップを有することを特徴とする画像出力方法。
31. 請求項１７乃至２８のいずれか１記載の画像処理方法で生成されたファイルを、前記出力順序に従って出力する画像出力方法。
32. 請求項１７乃至２８のいずれか１記載の画像処理方法で生成されたファイルを、前記複数の静止画像に逆変換し、静止画像１枚が１ファイルで構成される個別のファイルにするステップを有することを特徴とする画像変換方法。
33. 請求項１乃至１２のいずれか１記載の画像処理装置として、或いは請求項１３記載の画像伸張装置として、或いは請求項１４又は１５記載の画像出力装置として、或いは請求項１６記載の画像変換装置として、コンピュータを機能させるためのプログラム。
34. 請求項１７乃至２８のいずれか１記載の画像処理方法、或いは請求項２９記載の画像伸張方法、或いは請求項３０又は３１記載の画像出力方法、或いは請求項３２記載の画像変換方法、をコンピュータに実行させるためのプログラム。
35. 請求項３３又は３４記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images