JP2005151018A - 画像符号化装置及び画像復号化装置 - Google Patents

Abstract

【課題】 固定長化されたサムネイルを容易に抜き出せる画像符号化装置及び画像復号化装置を提供する。
【解決手段】 画像データを階層符号化方式により符号化する画像符号化手段と、符号化される画像データのうち、サムネイルの符号長が所定の長さ以下となるようにサムネイルのデータを選択する選択手段と、選択手段により選択されたサムネイルデータを、最上位階層に格納されるように符号列を生成する生成手段とを備える。
【選択図】 図１

Description

本発明は、画像を符号化、復号化可能であって、サムネイルの生成を可能とする画像符号化装置及び復号化装置に関するものである。

昨今、ディスクを記録媒体として利用するレコーダーやビデオカメラが開発、生産されているが、このような製品の一部は、記録情報の容易な確認を可能とするように、シーン中の特定フレームに対する縮小画像（サムネイル）を記録している。

このサムネイルの生成方法として、再生画像単位でサムネイルを作成する手法が知られている（例えば、特許文献１参照。）。また、特定フレームにサブサンプリング等の縮小処理を加えることで、サムネイルを作り出す方式も考えられる。
特開平１１−１７６１３７号公報

しかしながら、このようにして生成されるサムネイルのアクセス性を向上させるために、サムネイルを固定長化させ、複数のサムネイルを記録媒体上の所定領域にまとめて記録する方法を考えた場合、符号化された１枚のフレームから、固定長化されたサムネイルを抜き出す技術、及びそのための符号化、復号化処理は未だ実現されていないため、サムネイルを固定長化して記録することはできなった。

本発明はこのような従来技術の問題点に鑑みてなされたものであり、その主な目的は、容易に固定長化されたサムネイルを抜き出せる画像符号化装置及び画像復号化装置を提供することにある。

上記課題を解決するために本発明の画像符号化装置によれば、画像データを階層符号化方式により符号化する符号化手段と、前記符号化手段で符号化される画像データのうち、サムネイルの符号長が所定の長さ以下となるように、サムネイルデータを選択する選択手段と、前記選択手段により選択されたサムネイルデータを最上位階層に格納するように、前記符号化手段で符号化された符号化データの符号列を生成する生成手段とを備えたことを特徴とする。

本発明によれば、固定長化されたサムネイルを容易に記録再生できるので、サムネイルが扱いやすく、またサムネイルを用いた画像の検索といった処理が簡単に行えるようになる。

以下、図面を参照しながら本発明の好適な実施の形態を説明する。

本発明の画像符号化装置並びに画像復号化装置のシステム構成の一例は、図１３に示したデジタルカメラである。

＜画像符号化の概略＞
まず、画像符号化データを作成する過程となる、撮影記録時について説明する。

図１３は画像を撮影できるデジタルカメラの概念図である。図１３のデジタルカメラは図の撮影ボタン６０を押すことで、静止画撮影のほか３０フレーム（コマ）／秒の動画撮影ができる。

図１は上記デジタルカメラの構成ブロック図であり、符号化時の構成を表わしている。図１において、撮像処理部１０で撮影処理された画像データは、符号化部２０でＪＰＥＧ２０００方式（ＭｏｔｉｏｎＪＰＥＧ２０００方式も含む）で符号化処理された後、符号化データとして記録／再生部３０からディスク等の記録媒体４０へ記録可能であり、或いは出力部５０から外部装置へ出力可能である。操作部６０は前記した“撮影ボタン”を含む各種指示入力部であり、制御部７０は各部を制御するマイコン等のコントローラである。

なお、動画（シーン）を符号化する際は、シーンを構成する各フレーム単位で、符号化部２０においてＪＰＥＧ２０００方式で可変長符号化する。また、各シーンの代表となるフレーム（ポスターフレーム）と、その候補となるフレーム（仮ポスターフレーム）は、固定長のサムネイルを内在させる形で符号化する。なお、このＪＰＥＧ２０００符号化部の符号化方式やサムネイルを内在させる方法は、後程説明する。

また、記録／再生部３０は、符号化した各フレームのデータ（フレーム符号化データ）を、記録媒体４０の所定領域に書き込み、各シーンにおけるポスターフレーム、仮ポスターフレームに内在するサムネイルの符号化データ（サムネイル符号化データ）を固定長で、上記所定領域とは別の領域に書き込む。なお、本実施例においては、図１４に示したように、記録媒体４０はディスクであり、またフレーム符号化データはディスクの外周（外周側領域）に記録され、サムネイル符号化データはディスクの内周（内周側領域）に記録される。また、サムネイル符号化データは、対応するフレームにおける低周波画像の圧縮形式の一部データと、それを復号する上で必要となる符号化情報から構成され、ディスク上の２セクタに記録される。このサムネイル符号化データの生成方法は、ポスターフレームの符号化方法の説明で紹介する。また、本実施例においては、動画の各フレームの符号化処理において、５秒間隔で仮ポスターフレームとして符号化する構成となっている。

＜ＪＰＥＧ２０００符号化方法の概略＞
次に、図１における符号化部２０の詳細、並びに符号化処理のフローチャートを図２に示し、これらの図を用いて、通常のフレームデータの符号化の処理を説明する。なお、ヘッダの作成方法等、詳細についてはＩＳＯ／ＩＥＣ勧告書を参照されたい。

本実施例における符号化対象となるフレームデータは、ＲＧＢの各色について、８ビットが割り当てられているカラー画像とする。しかしながら、各画素４ビット、１０ビット、１２ビットといった具合に８ビット以外のビット数で表すカラー画像に適用することも可能である。

まず、フレームデータ入力部１０１へ、符号化対象となるフレームデータを構成する画素データがラスタースキャン順に入力され、色変換部１０２に出力される。

色変換部１０２は、入力された３色のフレームデータに対して色変換を行い、得られた色差成分を、縦横方向を１／２にサブサンプリングする（ステップＳ２０１）。なお、色変換式は以下の通りであり、Ｙ０が輝度成分，Ｙ１，Ｙ２が色差成分である。

Ｙ０＝０．２９９１＊Ｒ＋０．５８７１＊Ｇ＋０．１１４Ｂ
Ｙ１＝−０．１６８７５＊Ｒ−０．３３１２６＊Ｇ＋０．５＊Ｂ
Ｙ２＝０．５Ｒ−０．４１８６９＊Ｇ−０．０８１３１＊Ｂ ・・・（式１）
色変換部１０２からは、生成した輝度、色差のデータ（コンポーネントデータ）が、順に離散ウェーブレット変換部１０３に送られる。なお、離散ウェーブレット変換部１０３以降の処理において、コンポーネントデータは独立に符号化されるものとする。また、符号化部２０が処理しているコンポーネントデータを認識するための不図示のカウンタがｉ＝０に設定される（ステップＳ２０２）。

離散ウェーブレット変換部１０３は、色変換部１０２から入力される、１つの静止画像中の１つのタイルデータｘ（ｎ）における複数の画素（参照画素）のデータ（参照画素データ）を用いて離散ウェーブレット変換を行う（ステップＳ２０３）。

以下に、輝度成分に関する離散ウェーブレット変換後のデータ（離散ウェーブレット変換係数）を示す。

Ｙ（２ｎ）＝Ｘ（２ｎ）＋ｆｌｏｏｒ｛（Ｙ（２ｎ−１）＋Ｙ（２ｎ＋１）＋２）／４｝
Ｙ（２ｎ＋１）＝Ｘ（２ｎ＋１）−ｆｌｏｏｒ｛（Ｘ（２ｎ）＋Ｘ（２ｎ＋２））／２｝ ・・・（式２）
Ｙ（２ｎ），Ｙ（２ｎ＋１）は離散ウェーブレット変換係数列であり、Ｙ（２ｎ）は低周波サブバンド、Ｙ（２ｎ＋１）は高周波サブバンドである。また、上式においてｆｌｏｏｒ｛Ｘ｝はＸを超えない最大の整数値を表す。この離散ウェーブレット変換を模式的に表わしたのが図３である。

本変換式は一次元のデータに対するものであるが、この変換を水平方向、垂直方向の順に適用して二次元の変換を行うことにより、図３（ａ）の様なＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドに分割することができる。ここで、Ｌは低周波サブバンド、Ｈは高周波サブバンドを示している。次にＬＬサブバンドを、同じ様に４つのサブバンドに分け（図３（ｂ））、その中のＬＬサブバンドをまた４サブバンドに分けて（図３（ｃ））、合計１０サブバンドを作る。１０個のサブバンドそれぞれに対して、図３（ｃ）の様にＨＨ１，ＨＬ１，…と呼ぶことにする。ここで、各サブバンドの名称における数字を、それぞれのサブバンドのレベルとする。つまり、レベル１のサブバンドは、ＨＬ１，ＨＨ１，ＬＨ１、レベル２のサブバンドは、ＨＬ２，ＨＨ２，ＬＨ２である。また、復号することで得られる画像の解像度のレベルを以下の通り定義する。
０）ＬＬのみ復号することで得られる画像：レベル０の解像度の復号画像
１）ＬＬ，ＬＨ３，ＨＬ３，ＨＨ３を復号することで得られる画像：レベル１の解像度の復号画像
２）ＬＬ−ＨＨ２を復号することで得られる画像：レベル２の解像度の復号画像
３）ＬＬ−ＨＨ３を復号することで得られる画像：レベル３の解像度の復号画像
復号画像は、そのレベルが高い程解像度は高い。

１０個のサブバンドの変換係数は、いったんバッファ１０４に格納されＬＬ，ＨＬ３，ＬＨ３，ＨＨ３，ＨＬ２，ＬＨ２，ＨＨ２，ＨＬ１，ＬＨ１，ＨＨ１の順に、つまり、レベルが低いサブバンドからレベルが高いサブバンドの順に、係数量子化部１０５へ出力される。

なお、色差成分に対する離散ウェーブレット変換に関して、輝度成分に対する離散ウェーブレット変換と比較して、分割回数が１回少なくなる。

係数量子化部１０５では、バッファ１０４から出力される各サブバンドの変換係数を各周波数成分毎に定めた量子化ステップで量子化し、量子化後の値（係数量子化値）をエントロピー符号化部１０６へ出力する（ステップＳ２０４）。係数値をＸ、この係数の属する周波数成分に対する量子化ステップの値をｑとするとき、量子化後の係数値Ｑ（Ｘ）は次式によって求めるものとする。

Ｑ（Ｘ）＝ｆｌｏｏｒ｛（Ｘ／ｑ）＋０．５｝ ・・・（式３）
本実施の形態における各周波数成分と量子化ステップとの対応を図４に示す。同図に示す様に、よりレベルが高いサブバンドの方に、大きい量子化ステップを与えている。なお、各サブバンド毎の量子化ステップは予め不図示のＲＡＭやＲＯＭなどのメモリに格納されているものとする。そして、一つのサブバンドにおける全ての変換係数を量子化した後、それら係数量子化値をエントロピー符号化部１０６へ出力する。

エントロピー符号化部１０６では、入力された係数量子化値がエントロピー符号化される（ステップＳ２０５）。ここでは、まず、図５に示されているように、入力された係数量子化値の集まりである各サブバンドが矩形（コードブロックと呼ぶ）に分割される。なお、このコードブロックの大きさには、２ｍ×２ｎ（ｍ、ｎは２以上の整数）等が設定される。さらにこのコードブロックは、図６に示されているように、ビットプレーンに分割される。その上で、図７に示されているように、あるビットプレーンにおける各ビットは、ある分類規則に基づいて３種類に分けられて、同じ種類のビットを集めたコーディングパスが３種類生成される。入力された係数量子化値は、ここで得られたコーディングパスを単位として、エントロピー符号化である二値算術符号化が行われ、エントロピー符号化値が生成される。なお、ここでエントロピー符号化の具体的な処理順序は、１つのコードブロックに注目すると上位ビットプレーンから下位ビットプレーンの順に符号化され、その１コードブロックのあるビットプレーンに注目すると、図８にある３種類のパスを上から順に符号化する様になっている。

エントロピー符号化されたコーディングパスは、フレーム符号化データ生成部１０７に出力される。

ここで、符号化すべきコンポーネントデータが残っている場合は、処理をステップＳ２０３に戻し、符号化すべきコンポーネントデータが残っていない場合は、処理をステップＳ２０８に進める（ステップＳ２０６）。

フレーム符号化データ生成部１０７では、全てのコンポーネントデータからコーディングパスを集め、単一もしくは複数のレイヤーを構成し、それらレイヤーをデータの単位としてフレーム符号化データが生成される（ステップＳ２０７）。以下にレイヤーの構成に関する説明を行う。

当該処理部は、図９に示されているように、全てのコンポーネントデータの複数のサブバンドにおける複数のコードブロックから、エントロピー符号化されたコーディングパスを集めた上で、レイヤーを構成する。なお、図９に示されているように、あるコードブロックからコーディングパスを取得する際、常に該コードブロックにおいて最上位に存在するコーディングパスが選ばれる。このコーディングパスの選択基準は、復号画像の画質向上への寄与度（ＰＳＮＲ，ＭＳＥ）などである。

その後、フレーム符号化データ生成部１０７は、図１０に示されているように、生成したレイヤーを上位レイヤーから下位レイヤーに順に並べ、さらに各レイヤーにおいては、低周波レベルから高周波レベルまで順にならべ、また各周波数レベルにおいては、Ｙ０，Ｙ１，Ｙ２の順に、データを並べる。その上で、その先頭にヘッダを付加してフレーム符号化データを生成する。このヘッダには、入力画像やタイルの縦横のサイズ、圧縮に使用した様々なパラメータ，フレーム符号化データの符号長，レイヤーの符号長に関する情報、各フレームを識別するＩＤ（通し番号）等が格納される。また、符号化対象のフレームが動画像データの先頭である場合、これらのヘッダとは別に、動画像符号化データ全体に対するヘッダが生成される。このヘッダには、一枚あたりの平均符号長ａ、フレームレート，録画時間等が格納される。以上がＪＰＥＧ２０００による通常のフレーム（仮ポスターフレームとして処理されないフレーム）に対するデータの符号化方法の説明である。

＜仮ポスターフレームの符号化方法＞
本実施例におけるデジタルカメラは、符号化データにおける各コンポーネントの最低周波数サブバンドにおける一部のコーディングパスを最上位レイヤーに集約し、その最上位レイヤーをサムネイルデータに利用可能であり、その際は、サムネイルデータは固定長化させている。また、このようなサムネイル符号化データを内在させる形で、仮ポスターフレームの符号化を行っている。そのため、仮ポスターフレームの符号化においては、サムネイル用の最上位レイヤーを所定の長さに収めなければならない。そこで、以下にその方法を説明する。

図１において、符号化部２０は５秒間隔で仮ポスターフレームとしての符号化を行うが、フレーム符号化データ生成部１０７は、仮ポスターフレームのレイヤーを構成する際には、図１１に示されているように、各コンポーネントのＬＬサブバンドのコーディングパスを所定長になるまで集めるように、符号化処理を変更する。ここで、所定長とは、１サムネイルデータに割り当てられている固定長（２セクタ）から、復号に必要な情報を格納する領域の固定長を減じたものである。

＜サムネイルの作成方法＞
本発明のデジタルカメラにおいて、撮影者は撮影を停止したときや休止している間、仮ポスターフレームの中からポスターフレームを決定できる。以下に、図１２を利用して、その方法を説明する。

撮影を停止したときなどに、ユーザーがポスターフレームを決定する作業の開始をデジタルカメラに指示すると、デジタルカメラは、不図示のディスプレイに選択可能な仮ポスターフレームに対応する複数のサムネイルを表示し（ステップＳ１２０１）、ユーザーからサムネイルの選択結果を受け付ける（ステップＳ１２０２）。このときの仮ポスターフレームに対応するサムネイルは、記録媒体４０の外周側領域に記録された画像符号化データを復号、再生してサムネイル部のみを抽出しても良く、あるいは撮影と並行して不図示のメモリ等に一時保存しておいたサムネイルを再生して用いても良い。ユーザーがサムネイルを一つ選択、指定することで、そのシーンにおけるポスターフレームが決定され、選択されたサムネイルを別保存する体勢が整う。

続いて、デジタルカメラは選択、指定されたサムネイルを、ディスク上の所定領域（図１４におけるディスクの内周側）に書き込み（ステップＳ１２０３）、処理を終了させる。なお、サムネイルは、復号する際に必要となる情報と共に、ＪＰＥＧ２０００フォーマットによって格納された上で、記録される。また、このフォーマットにはＬＬサブバンドのみが格納されるので、ヘッダ内における離散ウェーブレット変換の分割回数の書き込み領域には０回が記される。さらに、デジタルカメラは、ディスク上の所定領域（管理情報の記録領域）に、サムネイルとそれに対応する動画像符号化データのアドレスの対応を対応表に記しておく。

＜画像復号化の概略＞
次に、上述の様にして記録された画像符号化データとサムネイルを、如何に復号化するかについて説明する。

図１５は、図１３に示したデジタルカメラの再生系のブロック図であり、これを用いて、再生された画像符号化データとサムネイルを復号化する動作について説明する。なお、図１５において、図１のブロック図と同符号を付したブロックについては、同一のものであって良い。

７０は、各部の動作を制御する制御部である。この制御部は後述する指示入力部６０等のユーザーインターフェイスからの指示（例えば、通常再生モードとスロー再生の切替、再生開始、再生停止の指示等）も受け取り、これに応じた動作制御を各部に行う。３０は記録／再生部であり、上述した図１４の如き記録媒体４０に記録された画像符号化データやサムネイルデータ等を読み出すものである。

８０は読み出された画像符号化データを一旦蓄積する役割を持つメモリである。また、この画像符号化データを復号化して得られる復号画像も一旦蓄積する。更に、サムネイルや装置内の各部が使用するプログラムデータ等も格納可能であり、各種ワークメモリ等に使用される。

９０は上述した符号化部２０の復号化側に相当するＪＰＥＧ２０００対応の復号化部である。ここでは、ＪＰＥＧ２０００で符号化され記録媒体４０に記録された符号化データや、サムネイル符号化データを復号することになる。

１１０は表示用メモリであり、次に表示したい画像を記憶させるものである。本実施例ではメモリ８０に一旦格納された復号画像を制御部のタイミング制御に基づいて順次（繰り返し同一コマを読み出す場合も有るが）読み出し、この表示用メモリ１１０に書き込むこととする。なお、そのメモリの容量は、書き込みと読み出しが重ならない様に、複数コマ分備えることとし、制御部７０がその書き込みと読み出しも管理する。

１２０は表示部であり、デジタルカメラに設けられた液晶ディスプレイ、あるいは外部のモニタ（パソコン等のディスプレイ等）である。この表示部１２０では、所定の表示用フレームレートで、表示用メモリ１１０に保持されたコマ（画像）を表示するものである。

６０は指示入力部であり、デジタルカメラに設けられた各種操作キーやメニューからの指示入力、並びにインタフェースを介して接続されるマウス、キーボード等からの指示信号を入力するものである。なお、指示入力部６０の構成は、表示部１２０と一体化したタッチパネルであるとしても良い。この場合、ユーザーは、表示部１２０に表示される操作画面を参照しつつ、この指示入力部６０を介して、再生等の各種動作に関するあらゆる指示を入力できる。

ここで、図１６に再生、復号動作の処理フローを示した図を表わす。図１６を用いて、図１５の動作を説明する。

まず、ユーザーがデジタルカメラに対して動画の再生モードを指示すると、デジタルカメラは再生候補となる各シーンのポスターフレーム（代表画像）を一覧表示するために、各シーンのポスターフレームに対応するサムネイル符号化データを図１４の如き記録媒体４０の所定領域（ディスクの内周側）から読み出して復号化し、表示部１２０を用いてインデックス表示する（ステップＳ１６０１）。このとき、各サムネイル符号化データが２セクタ単位で固定長化されているので、不図示のデータ読出し部は２セクタ単位でサムネイル符号化データにアクセスし、取得したサムネイル符号化データを次々とサムネイル復号化部（復号化部９０に含まれる）に送出する。なお、このサムネイルの復号方法については、後程説明する。

次に、ユーザーはインデックス表示されたサムネイル一覧を見て、再生したいシーンを選択し、その結果をデジタルカメラに伝達する（ステップＳ１６０２）。この伝達の方法として、表示されたサムネイルの一つまたは複数を選択して、クリックすることなどが考えられる。この決定の後、デジタルカメラは対応表から指定されたサムネイルに対応する画像符号化データの先頭アドレスを取得し（ステップＳ１６０３）、図１４の如き記録媒体４０の所定領域（ディスクの外周側）に記録された該画像符号化データの先頭にアクセスし、記録媒体４０から記録／再生部３０を用いて画像符号化データを順次読出し、当該データの復号化を復号化部９０で行い、表示部１２０を用いて再生表示を実行する（ステップＳ１６０４）。以上が図１６のフローの説明である。

ここで、復号化部９０について補足する。復号化部９０は、画像符号化データの復号化処理と、サムネイル符号化データの復号化処理が実行可能である。画像符号化データの復号化処理については、ＪＰＥＧ２０００の復号化処理であって、図１の符号化部２０で説明した処理を逆に処理することによって実現される。また、サムネイル符号化データの復号化処理については、図１４を用いて説明する。

記録媒体４０から記録／再生部３０によって再生されたサムネイル符号化データは復号化部９０へと入力され、復号化部９０内において、図１４におけるサムネイル符号化データ入力部１７０１へと至り、その後エントロピー復号部１７０２でエントロピー復号される。続いて、エントロピー復号された量子化値は、色毎にまとめられて、逆量子化部１７０３で逆量子化される。なお、逆量子化は以下の式に基づいて行われる。

Ｘｒ＝Ｑ×ｑ ・・・（式４）
式４において、Ｑは量子化値、ｑは量子化ステップ、Ｘｒは復元された離散ウェーブレット変換係数である。

さらに、そこで得られた離散ウェーブレット変換係数はピクセル毎にＲ，Ｇ，Ｂの順に並べられて、復号サムネイルデータ出力部１７０４から出力されることになり、ここで出力されたＬＬサブバンドからなるサムネイルデータを復元することによってサムネイルの再生が可能となる。

以上の通り、サムネイルを固定長化させて記録する方法を示した。また、そのように記録されたサムネイルを復号表示する方法を示した。このように、実施例１の構成によれば、固定長化されたサムネイルの記録再生が容易に可能となり、そのサムネイルを用いた画像の検索や再生動作が簡単に行えるようになる。

上述した実施例１では、ＬＬサブバンドのみをサムネイルとして用いた。しかし、表示デバイスがＬＬより大きければ、高周波数サブバンドも併用することが、サムネイルの高画質化の上では望ましい。そこで、実施例２においては、高周波サブバンドを利用してサムネイルを生成する方法を示す。なお、本実施例における処理は、実施例１と大きく変わらないので、以下の説明では変更点のみの説明に注力する。

図１８は、本発明におけるＪＰＥＧ２０００対応の符号化部２００のブロック図である。これは、実施例１における図１のブロック図に対して、フレーム符号化データ生成部２０１の構成のみが異なる。

図１８において、２０１のフレーム符号化データ生成部は、図１９に示すように、所定の符号量に収まるまで、ＬＬ，ＬＨ３，ＨＬ３，ＨＨ３のサブバンドからコーディングパスを集めてレイヤー０を構成する。その他の構成の説明は、図１と同じであるので省略する。

続いて、復号再生の説明に移る。図２０は、本実施例におけるサムネイル復号化部のブロック図である。サムネイル復号化部は、図１５の復号化部９０内に含まれる。なお、図２０の構成は、離散ウェーブレット変換部２２０１が付加されている点で、実施例１における図１７のサムネイル復号化部のブロック図と大きく異なる。

再生時、図１５の記録媒体４０から記録／再生部３０によって再生されたサムネイル符号化データは復号化部９０へと入力され、復号化部９０内において、図２０におけるサムネイル符号化データ入力部２００１へと至り、その後エントロピー復号部２００２でエントロピー復号される。続いて、エントロピー復号された量子化値は、色毎にまとめられて、逆量子化部２００３で逆量子化される。なお、逆量子化は以下の式に基づいて行われる。

Ｘｒ＝Ｑ×ｑ ・・・（式４）
式４において、Ｑは量子化値、ｑは量子化ステップ、Ｘｒは復元された離散ウェーブレット変換係数である。

その後、逆離散ウェーブレット変換部２００４において、上記離散ウェーブレット変換係数を、以下に記述されている式に基づいて逆離散ウェーブレット変換する。

Ｘ（２ｎ）＝Ｙ（２ｎ）−ｆｌｏｏｒ｛（Ｙ（２ｎ−１）＋Ｙ（２ｎ＋１）＋２）／４｝
Ｘ（２ｎ＋１）＝Ｙ（２ｎ＋１）＋ｆｌｏｏｒ｛（Ｘ（２ｎ）＋Ｘ（２ｎ＋２））／２｝ ・・・（式５）
式５において、低周波サブバンドの離散ウェーブレット変換係数をＹ（２ｎ）、高周波サブバンドの離散ウェーブレット変換係数をＹ（２ｎ＋１）とする。また、Ｘ（ｎ）は復号データである。

なお、式５の変換式は一次元のデ−タに対するものであるが、この変換を水平方向、垂直方向の順に適用することで二次元の変換を行う。そして復号タイルデータが生成され、復号サムネイルデータ出力部２００５から出力されることになり、ここで出力されたサムネイルデータを復元することによってサムネイルの再生が可能となる。

以上の通り、ＬＬより高い周波数のサブバンドを利用してサムネイルを生成する方法を示した。このように、実施例２の構成によれば、より高品位のサムネイルの記録再生が可能になる。

（その他の実施例）
第１の実施の形態において、ＬＬサブバンドはＪＰＥＧ２０００形式で格納されたが、本発明の範疇はこの方法に限定されるものではない。例えば、ＱｕｉｃｋＴｉｍｅなどのフォーマットで格納しても構わない。

サムネイルを所定の記録領域に書き込む際、併せて、対応する動画像符号化データの先頭アドレスを記録することも本発明の範疇である。

なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムの１部として適用しても、１つの機器（たとえば複写機、ファクシミリ装置）からなる装置の１部に適用してもよい。

また、本発明は上記実施の形態を実現するための装置及び方法のみに限定されるものではなく、上記システム又は装置内のコンピュータ（ＣＰＵ或いはＭＰＵ）に、上記実施の形態を実現するためのソフトウエアのプログラムコードを供給し、このプログラムコードに従って上記システム或いは装置のコンピュータが上記各種デバイスを動作させることにより上記実施の形態を実現する場合も本発明の範疇に含まれる。

またこの場合、前記ソフトウエアのプログラムコード自体が上記実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、具体的には上記プログラムコードを格納した記憶媒体は本発明の範疇に含まれる。

この様なプログラムコードを格納する記憶媒体としては、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、上記コンピュータが、供給されたプログラムコードのみに従って各種デバイスを制御することにより、上記実施の形態の機能が実現される場合だけではなく、上記プログラムコードがコンピュータ上で稼働しているＯＳ（オペレーティングシステム）、或いは他のアプリケーションソフト等と共同して上記実施の形態が実現される場合にもかかるプログラムコードは本発明の範疇に含まれる。

更に、この供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上記実施の形態が実現される場合も本発明の範疇に含まれる。

本発明の実施例１におけるデジタルカメラの撮影記録系の概略構成を示すブロック図である。 実施例１におけるフレームデータの符号化処理を説明するためのフローチャートである。 （ａ）は４つのサブバンドに分解する図、（ｂ）は（ａ）のＬＬサブバンドを更に４つのサブバンドに分解する図、（ｃ）は（ｂ）のＬＬサブバンドを更に４つのサブバンドに分解する図である。 量子化ステップの説明図である。 コードブロック分割の説明図である。 ビットプレーン分割の説明図である。 コーディングパスの説明図である。 ビットプレーンに関する説明図である。 レイヤー生成の説明図である。 フレーム符号化データの構成の説明図である。 ビットプレーンに関する説明図である。 サムネイルに対する記録処理を説明するためのフローチャートである。 本発明を適用したデジタルカメラの概略図である。 記録媒体であるディスクの図である。 本発明の実施例１におけるデジタルカメラの再生系の概略構成を示すブロック図である。 シーンの再生処理を説明するためのフローチャートである。 実施例１におけるサムネイル復号化部のブロック図である。 本発明の実施例２におけるデジタルカメラの撮影記録系の概略構成を示すブロック図である。 ビットプレーンに関する説明図である。 実施例２におけるサムネイル復号化部のブロック図である。

Claims (9)

1. 画像データを階層符号化方式により符号化する符号化手段と、
   前記符号化手段で符号化される画像データのうち、サムネイルの符号長が所定の長さ以下となるように、サムネイルデータを選択する選択手段と、
   前記選択手段により選択されたサムネイルデータを最上位階層に格納するように、前記符号化手段で符号化された符号化データの符号列を生成する生成手段とを備えたことを特徴とする画像符号化装置。
2. 前記所定の長さとは前記符号列を記録する為の記録媒体上の記録単位（セクター）の長さの整数倍であることを特徴とする請求項１に記載の画像符号化装置。
3. 前記サムネイルデータとは、前記符号化手段で符号化される画像データの低周波数成分のデータから形成されることを特徴とする請求項１に記載の画像符号化装置。
4. 前記低周波数成分のデータとは最低周波数のデータであることを特徴とする請求項３に記載の画像符号化装置。
5. 前記サムネイルデータとは、上位ビットプレーンであることを特徴とする請求項３または４に記載の画像符号化装置。
6. 前記画像データとは動画データであって、前記サムネイルは動画データを構成するフレームの中から任意に選択可能であることを特徴とする請求項１乃至５のいずれか一項に記載の画像符号化装置。
7. さらに前記生成手段で生成された符号列を記録媒体上の所定の領域に記録する記録手段を備えたことを特徴とする請求項１乃至６のいずれか一項に記載の画像符号化装置。
8. 前記記録手段は、前記所定の領域とは異なる前記記録媒体上の領域に前記サムネイルデータのみを集中して記録することを特徴とする請求項７に記載の画像符号化装置。
9. 請求項１乃至８のいずれか一項において、前記生成手段で生成された符号列を入力し、前記画像データと前記サムネイルデータとを復号可能な復号手段を備えたことを特徴とする画像復号化装置。
   

Images