JP2004032105A - 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム - Google Patents
画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム Download PDFInfo
- Publication number
- JP2004032105A JP2004032105A JP2002181975A JP2002181975A JP2004032105A JP 2004032105 A JP2004032105 A JP 2004032105A JP 2002181975 A JP2002181975 A JP 2002181975A JP 2002181975 A JP2002181975 A JP 2002181975A JP 2004032105 A JP2004032105 A JP 2004032105A
- Authority
- JP
- Japan
- Prior art keywords
- resolution
- unit
- area
- image data
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】高画素の撮像素子を採用した記録再生装置の解像度や、アスペクト比、画像の種類（動画、静止画）等の相違があっても、すべてに対応可能な画像データの符号化及び復号化処理を実現し、また、当該画像データを記録する記録容量の削減を行えるようにする。
【解決手段】被写体を撮像する撮像部１０２と、上記撮手段１０２で得られた撮像画像データを、複数のエリアに分割するエリア分割手段と、上記エリア分割手段で得られた分割エリアごとに、所定の条件に基づいた符号量で符号化する符号化手段と、上記符号化手段で符号化された撮像画像データを、所定の復号量で復号化する復号化手段とを有することを特徴とする。
【選択図】 図２
【解決手段】被写体を撮像する撮像部１０２と、上記撮手段１０２で得られた撮像画像データを、複数のエリアに分割するエリア分割手段と、上記エリア分割手段で得られた分割エリアごとに、所定の条件に基づいた符号量で符号化する符号化手段と、上記符号化手段で符号化された撮像画像データを、所定の復号量で復号化する復号化手段とを有することを特徴とする。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば、撮像素子により取得した撮像画像情報を処理して記録媒体に記録する装置或いはシステムに用いられる、画像処理装置、画像処理システム、画像処理方法、それを実施するためのプログラムを記憶したコンピュータ読取り可能な記憶媒体、及び当該プログラムに関するものである。
【０００２】
【従来の技術】
従来より例えば、撮像素子で被写体を撮像して得られた、当該被写体の撮像画像（動画像又は静止画像）情報を処理し、これを撮像画像データ（デジタル信号）として記録媒体に記録し、この記録された撮像画像データを再生する画像記録再生装置の代表的なものとしては、例えば、デジタル信号を磁気テープ等へシーケンシャルに記録するデジタルＶＴＲや、ビデオ、或いはテープレコーダ等が挙げられる。
【０００３】
また、近年では、パーソナルコンピュータ（ＰＣ）の普及やインターネット等を利用したデジタル画像情報に対する需要の高まりから、例えば、光ディスクやハードディスク等のランダムアクセスメディア等に、上記撮像画像（動画像又は静止画像）データを記録するデジタルカメラやデジタルビデオカメラも普及している。
【０００４】
そこで、例えば、デジタルカメラの中には、連写機能等により、一連の複数コマからなる動画像を記録できるものがあり、これは、例えばゴルフのスイング動作等というような撮影に用いられたりする。
【０００５】
また、デジタルビデオカメラの中には、動画と静止画の両方を撮影できるものが存在する。このようなデジタルビデオカメラで撮影し、これにより取得した撮影画像データ（動画及び静止画データ）を記録媒体へ記憶する方法としては、動画用のビデオテープに静止画を記録する方法や、動画とは別に半導体メモリ等の小型記録媒体を用いて、動画とは独立に静止画を記録する方法、或いは、光又は磁気ディスク等の大容量ランダムアクセスの記録媒体に、動画と静止画の両方を記録する方法が挙げられる。
【０００６】
ところで、デジタルＶＴＲやデジタルカメラ等は、撮影画像データを記録媒体に記録する際、その記録情報量を削減するために、撮影画像情報（画像信号）をデジタル信号に変換した後、当該デジタル信号を圧縮処理して、この圧縮したデジタル信号を記録媒体に記憶するように構成されている。
これにより、記憶容量の少ない記録媒体であっても、より多くの動画像又は静止画像情報を記録媒体に記録することが可能となる。
【０００７】
撮影画像データを記録媒体へ記録する際に用いる圧縮方式には、種々の方式がある。例えば、ディスクリートコサイン変換（以下、ＤＣＴという）方式は、画像データを、水平方向及び垂直方向がｎ画素の大きさ（ｎ×ｎ）のブロックに分割した上で、ブロックごとにＤＣＴ等の直交変換を施し、各ＤＣＴ係数を所定のビット数に丸めることで量子化する。
【０００８】
このとき、撮影画像データが低周波成分域に偏って存在することから、高周波成分のビット数を減らすことで記録媒体へ記録するデータ量（情報量）を削減することができる。
【０００９】
また、ハフマン符号化等の可変長符号化方式では、出現確率のより高いビットシーケンスに対して、より短い長さの符号を割り当てることにより、効率の良いデータ圧縮処理を行う。
【００１０】
また、動画像を圧縮して記録媒体に記録する場合、動画像がフレーム間で強い相関を有するという性質を利用し、例えば、当該フレーム間の差分を抽出して、当該差分情報を記録媒体に記録するように構成にすれば、大幅にデータ量を削減した圧縮を行うことが可能となる。
【００１１】
上述したような様々な圧縮技術を組み合わせて、動画像や静止画像に対して圧縮を施し、その画像データ量を削減した上で、シーケンシャルアクセスメディアであるテープや、ランダムアクセスメディアである固体磁気ディスクメモリ、光ディスクメモリ、或いは半導体メモリ等に記録するのが、一般的な画像記録システムである。
【００１２】
画像記録システムにおいて、動画再生を行う環境という観点からみると、まず、従来は標準ＴＶのアスペクト比（画面縦横比）が４：３に固定され、また標準ＴＶ方式がＮＴＳＣやＰＡＬ等の一種類であったのに対し、近年では、様々なＴＶ方式が提案され又は規格化されており、現に、新たな規格のＴＶもあらわれている。
【００１３】
例えば、新たな規格のＴＶとして、画面のアスペクト比（画面縦横比）が１６：９を有するＳＤＴＶやＨＤＴＶ等が挙げられる。また、デジタルＴＶの規格で、垂直解像度で分類した場合に、４８０インターレース（以下、「Ｉ」という）や、４８０プログレッシブ（以下、「Ｐ」という）、７２０Ｐ、或いは１０２４Ｉ等が存在するというように、標準ＴＶ信号も多様化してきている。
【００１４】
また、画像記録システムのユーザ側の使用方法の観点からみると、従来では、ユーザは、例えばビデオカメラレコーダを主に動画像データの再生を行うために使用していた。すなわち、ユーザは、画像記録システムにより、動画像データを記録媒体に記録し、当該記録媒体から動画像データを読み込んで、標準方式のＴＶに出力して再生することを目的としていた。
【００１５】
これに対して近年では、ユーザは、画像記録システムを用いて静止画像を記録した後、高解像度のパソコン（ＰＣ）用モニタＴＶによって、記録した静止画像を表示して鑑賞したり、或いはプリンタを用いて、当該静止画像を紙媒体等に印刷するために、画像記録装置を使用している場合もある。
【００１６】
上述のように、ユーザがプリンタを用いて静止画像を紙媒体に印刷するような場合、印刷時の静止画像は、当該静止画像をＴＶに表示する時の解像度よりもさらに高画質な画像データでなければ、印刷後の静止画像は、ユーザにとって満足のいく画質にならない。
【００１７】
また、ユーザは、例えば、高解像度のＰＣ用モニタＴＶ等を用いて、静止画像のみならず動画像を鑑賞する場合もある。この場合、静止画像又は動画像にかかわらず、デジタルビデオカメラ等の撮像素子の解像度が高解像度であり、モニタや紙媒体等に出力される画像が高画質であることが要求される。
【００１８】
そこで、従来のような、ユーザが、再生（出力）側であるＴＶの解像度に合わせた撮像素子を有するデジタルビデオカメラを用いて、被写体を撮影することに代わって、近年では、ユーザは、ＴＶの解像度を越えた高解像度の撮像素子を有するデジタルビデオカメラ等を用いて被写体を撮影し、これにより高解像度の撮影画像データを取得するようになっている。
【００１９】
上述のようにして、ユーザが高解像度（高画質）の撮影画像データ（動画像、静止画像）を取得するときの撮影目的は、デジタルビデオカメラ等に接続されたＴＶモニタに動画像データを再生することであり、また静止画像データをＰＣ用モニタ又はプリンタへ出力することである。
このため、デジタルビデオカメラには、取得した動画像データの解像度をＴＶモニタの解像度に対応させるためのデータ縮小や、動画像データの部分切出しを行って記録媒体に記録する機能や、撮像素子の解像度で構成された高画質の画像データをそのまま記録媒体へ記録する機能を具備して構成されたものも存在する。
【００２０】
【発明が解決しようとする課題】
しかしながら、上述したような動画・静止画の両方を記録できるように構成された従来の画像記録装置（ビデオカメラ等）は、動画像データと静止画像データの相違により、記録媒体への記録方法を変更する必要があった。このため、ユーザは、画像データを記録媒体へ記録する際に、ユーザは画像データの出力先（再生側）を予め想定し、その出力先（再生側）に対応する記録方法を選択しなければならなかった。
【００２１】
例えば、ユーザが撮像画像データをＳＤ−ＴＶに出力（再生）しようとする場合、ユーザがＳＤ−ＴＶに対応した記録フォーマット（例えば、ＤＶのＳＤフォーマット等）を選択することで、画像記録装置は、ＳＤ−ＴＶに対応した記録フォーマットに従った画像データを生成し、これを磁気テープ等に記録していた。また、ユーザが、静止画をプリンタ装置や高解像度用ＴＶモニタに出力しようとする場合、例えば、ユーザが解像度に依存せずに出力可能なＪＰＥＧフォーマットを選択することで、画像記録装置は、ＪＰＥＧフォーマットに従った画像データを生成し、これを不揮発メモリ等に記録していた。また、ユーザが撮像画像データをＨＤ−ＴＶに出力（再生）しようとする場合には、ユーザが、ＨＤ−ＴＶの記録フォーマット（例えば、ＤＶのＨＤフォーマット等）を選択することで、画像記録装置は、ＨＤ−ＴＶの記録フォーマットに従った画像データを生成して、これをテープ等に記録していた。
【００２２】
このように、ユーザは、画像データを記録媒体に記録する時点で、画像データの再生装置（以下、再生側又は出力先ともいう）を予め考慮して、その再生側で画像データが適切に再生されるような画像データの記録方式（記録フォーマット）を選択しなければならないという問題があった。
【００２３】
また、従来の画像記録装置における他の問題として、ユーザが、画像記録装置によって高解像度の撮像画像データを取得したものの、これが必要以上に高画質な画像データである場合には、当該画像データを記録媒体に保存するために要する記録容量が増加してしまうことや、記録媒体から当該画像データを読み込む等のデータ転送時において、過剰なデータ転送負荷が発生するという問題があった。
【００２４】
そこで、本発明は、上記の欠点を除去するために成されたもので、撮影画像データを効率よく記録媒体に記録し、また当該撮影画像データを適切に再生することができる、画像処理装置、画像処理システム、画像処理方法、それを実施するためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体、及び当該プログラムを提供することを目的とする。
【００２５】
具体的には例えば、ユーザによる被写体の撮影又は記録時では、複数の再生側（例えば、ＳＤ−ＴＶ、ＨＤ−ＴＶ等）に対応できる記録フォーマットに従った画像データを生成し、当該画像データを記録媒体に記録しておき、画像再生時には、記録媒体に記録してある当該画像データをもとにして、再生側に応じた画像データの復元を実行することにより、再生側に対応した適切な動画像又は静止画像を表示する。
【００２６】
また、ユーザが、被写体の撮影によって高解像度の撮影画像データを取得する場合、当該撮影画像データが、ユーザの所望する以上に高画質な画像データとならないように、ユーザから画像記録装置（デジタルビデオカメラ等）に対して、所定の操作を行えるようにする。
例えば、ワイド撮影（広角）やテレ撮影（望遠）等というような、画像記録装置への操作（ズーム操作）をユーザが実行した場合、当該ズーム操作に対応して画像データの解像度が変動し、少なくとも撮影対象である被写体に対する解像度を一定に維持する構成にすることで、記録媒体に保存するために要する記録容量が必要以上に増加することや、又は画像データの読み出し或いは転送時に、過剰な負荷が通信システムに及ぶことを防止する。
【００２７】
【課題を解決するための手段】
斯かる目的下において、本発明は、被写体を撮像する撮像手段と、上記撮像手段で得られた撮像画像データを、複数のエリアに分割するエリア分割手段と、上記エリア分割手段で得られた分割エリアごとに、所定の条件に基づいた符号量で符号化する符号化手段とを有することを特徴とする。
【００２８】
また、本発明は、被写体を撮像する撮像手段と、所定の条件に基づいた符号量で符号化する符号化手段とを有する画像処理装置であって、上記符号化手段で符号化された撮像画像データを、所定の復号量で復号化する復号化手段とを有することを特徴とする。
【００２９】
また、本発明は、被写体を撮像する撮像手段と、上記撮像手段で得られた撮像画像データを、複数のエリアに分割するエリア分割手段と、上記エリア分割手段で得られた分割エリアごとに、所定の条件に基づいた符号量で符号化する符号化手段と、上記符号化手段で符号化された撮像画像データを、所定の復号量で復号化する復号化手段とを有することを特徴とする。
【００３０】
また、本発明は、被写体を撮像する撮像手段と、上記撮像手段で得られる撮像画像の解像度を設定する解像度設定手段と、上記解像度設定手段で設定した上記解像度を変更する解像度変更手段と、上記解像度設定手段又は上記解像度変更手段で設定した上記解像度で、上記被写体の撮像画像データを生成する画像情報生成手段とを有することを特徴とする。
【００３１】
また、本発明は、被写体を撮像する撮像ステップと、上記撮像ステップで得られた撮像画像データを、複数のエリアに分割するエリア分割ステップと、上記エリア分割ステップで得られた分割エリアごとに、所定の条件に基づいた符号量で符号化する符号化ステップとを含むことを特徴とする。
【００３２】
また、本発明は、被写体を撮像する撮像ステップと、上記撮像ステップで得られた撮像画像データを、複数のエリアに分割するエリア分割ステップと、上記エリア分割ステップで得られた分割エリアごとに、所定の条件に基づいた符号量で符号化する符号化ステップと、上記符号化ステップで符号化された撮像画像データを、所定の復号量で復号化する復号化ステップとを含むことを特徴とする。
【００３３】
また、本発明は、被写体を撮像する撮像ステップと、上記撮像ステップで得られる撮像画像の解像度を設定する解像度設定ステップと、上記解像度設定ステップで設定した上記解像度を変更する解像度変更ステップと、上記解像度設定ステップ又は上記解像度変更ステップで設定した上記解像度で、上記被写体の撮像画像データを生成する画像情報生成ステップとを含むことを特徴とする。
【００３４】
また、本発明は、被写体を撮像する撮像ステップと、上記撮像ステップで得られた撮像画像データを、複数のエリアに分割するエリア分割ステップと、上記エリア分割ステップで得られた分割エリアごとに、所定の条件に基づいた符号量で符号化する符号化ステップとをコンピュータに実行させるためのプログラムをコンピュータ読み取り可能な記録媒体に記録したことを特徴とする。
【００３５】
また、本発明は、被写体を撮像する撮像ステップと、上記撮像ステップで得られた撮像画像データを、複数のエリアに分割するエリア分割ステップと、上記エリア分割ステップで得られた分割エリアごとに、所定の条件に基づいた符号量で符号化する符号化ステップと、上記符号化ステップで符号化された撮像画像データを、所定の復号量で復号化する復号化ステップとをコンピュータに実行させるためのプログラムをコンピュータ読み取り可能な記録媒体に記録したことを特徴とする。
【００３６】
また、本発明は、被写体を撮像する撮像ステップと、上記撮像ステップで得られる撮像画像の解像度を設定する解像度設定ステップと、上記解像度設定ステップで設定した上記解像度を変更する解像度変更ステップと、上記解像度設定ステップ又は上記解像度変更ステップで設定した上記解像度で、上記被写体の撮像画像データを生成する画像情報生成ステップとをコンピュータに実行させるためのプログラムをコンピュータ読み取り可能な記録媒体に記録したことを特徴とする。
【００３７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００３８】
［第１の実施の形態］
本発明は、例えば、図１に示すようなデジタルビデオカメラ１０に適用される。
本実施の形態のデジタルビデオカメラ１０は、被写体を撮影して取得した画像データを記録媒体に記録する場合、画像再生装置（モニタ、プリンタ等）が複数であると予定し、複数の画像再生装置の何れにも対応可能な記録フォーマットに従う画像データを生成して記録媒体に記録し、当該記録媒体に記録された画像データを任意の画像再生装置（出力先）で再生する場合、各出力先に対応したデータの復元処理を実行するように構成されている。
【００３９】
以下、本実施の形態のデジタルビデオカメラ１０の構成及び動作について具体的に説明する。
【００４０】
＜デジタルビデオカメラ１０の構成＞
デジタルビデオカメラ１０の外観図を図１に示す。
図１（ａ）は、デジタルビデオカメラ１０を保持するために必要となるグリップ側から見た斜視図である。また、図１（ｂ）は、デジタルビデオカメラ１０の側面に取り付けられたＬＣＤユニット２１側から見た斜視図である。
【００４１】
デジタルビデオカメラ１０は、カメラ本体１１、ズームスイッチ１２、カメラ部１３、リストストラップ１４、ビューファインダ１５、ポジションロックツマミ１６、モードダイアル１７、スタート／ストップボタン１８、アンロックツマミ１９、及びＬＣＤユニット２１等を含んだ構成としている。
【００４２】
カメラ本体１１は、デジタルビデオカメラ１０の実質的な構成部分であり、後述する図２に示す機能を有する構成を含んでいる。
ズームスイッチ１２は、ユーザの操作によって、ワイド撮影（Ｗ側）又はテレ撮影（Ｔ側）に切替えるためのスイッチである。
カメラ部１３は、被写体より可視光を収集するレンズを含む構成としている。リストストラップ１４は、デジタルビデオカメラ１０を保持するユーザの手の甲を押さえるためのベルトである。
ビューファインダ１５は、小型ＬＣＤ及び拡大用レンズを内蔵しており、ユーザがビューファインダ１５を介して、被写体を確認するためのものである。
【００４３】
モードダイアル１７は、撮影モードを切替えるための操作スイッチである。
ユーザがモードダイアル１７を回転させることにより、例えば、電源ＯＦＦ、ＶＴＲ、ＣＡＭＥＲＡ、ＰＨＯＴ０、及びＰＲＯＧＲＥＳＳＩＶ ＳＣＡＮ（プログレッシブスキャン）の何れかのモードヘ切替えることが可能となる。
【００４４】
ＰＨＯＴＯモードとは、撮影した静止画を記憶媒体へ記録するモードである。ＰＲＯＧＲＥＳＳＩＶ ＳＣＡＮモードとは、動画の各フレ一ムを高画質で録画するモードであり、当該モードでは、イメージセンサによって２ライン毎に読取る処理が１ライン毎に読取る処理に設定される。このため、ＰＲＯＧＲＥＳＳＩＶ ＳＣＡＮモードは、ユーザにより、主に１フレームの動画を、高画質の静止画として切り出すときに設定される。
【００４５】
ポジションロックツマミ１６は、モードダイアル１７のモード状態を固定するためのツマミである。
スタート／ストップボタン１８は、録画の開始又は停止を行うためのボタンである。
アンロックツマミ１９は、モードダイアル１７のロックを解除するツマミである。
ＬＣＤユニット２１は、ユーザが撮影画像を大きな画面で確認できるための大型ＬＣＤである。
【００４６】
尚、実際には、デジタルビデオカメラ１０は、上記図１に示した構成に加えて、例えば絞り、シャッタ、測距システム等を設けた構成としているが、この構成に関しては、本実施の形態に直接関係しないため、説明を省略する。
【００４７】
デジタルビデオカメラ１０の内部構成を図２に示す。
デジタルビデオカメラ１０は、レンズ部１０１、撮像部１０２、カメラ信号処理部１０３、画像記憶部１０４、スイッチ操作部１０５、ディスプレイ表示部１０６、画像処理部１０７、画像圧縮解凍部１０８、ＨＤ−Ｉ／Ｆ部１１０、ＣＰＵ部１１１、プログラム記憶部１１２、プログラムフラッシュメモリ部１１３、外部モニタＩ／Ｆ部１１４、及びプリンタＩ／Ｆ１１６を含む構成としている。
【００４８】
レンズ部１０１は、被写体光を撮像部１０２の撮像面に結像させる。
撮像部１０２は、レンズ部１０１からの被写体光に対して光電変換を行い、電気信号（ビデオ信号）を出力する。
カメラ信号処理部１０３は、撮像部１０２からの電気信号に対し、Ａ／Ｄ変換等を行う。
画像記憶部１０４は、カメラ信号処理部１０３によって生成されたデジタル画像データ（原動画像データ）を一時記憶する。
スイッチ操作部１０５は、デジタルビデオカメラ１０に対するユーザの操作（図１に示すズームスイッチ１２の切替えや、スタート／ストップボタン１８の押下等）に基づき、各機能部に対して制御信号を出力する。
【００４９】
ディスプレイ表示部１０６は、ビューファインダ１５やＬＣＤユニット２１に撮像画像や再生画像を表示する。
画像処理部１０７は、画像記憶部１０４に記憶された原動画像データに対し、所定の画像処理を行う。
画像圧縮解凍部１０８は、原動画像データに対して所定の条件に基づき、圧縮符号化処理を施す。
【００５０】
ＨＤ−Ｉ／Ｆ部１１０は、ハードディスク１０９内に、原動画像データ又は画像圧縮解凍部１０８による圧縮／解凍後の画像データを格納するためのインターフェースである。尚、ハードディスク１０９は、デジタルビデオカメラ１０の外部に存在するように構成されていても良い。
ＣＰＵ部１１１は、プログラム記憶部１１２内のプログラムを読み出して実行することで、デジタルビデオカメラ１０全体の動作制御を司る。
プログラムフラッシュメモリ部１１３は、デジタルビデオカメラ１０がＣＰＵ部１１１の指令によって動作するためのプログラムを、圧縮した形で記憶している。
プログラム記憶部１１２は、ＣＰＵ部１１１によって解凍又は展開されたプログラムを記憶する。
【００５１】
外部モニタＩ／Ｆ部１１４は、デジタルビデオカメラ１０内で得られた画像データを、モニタＴＶ１１５へ表示するためのインターフェースである。
尚、モニタＴＶ１１５としては、例えば、高解像度用ＴＶモニタや、ＳＤ−ＴＶ、或いはＨＤ−ＴＶ等が適用可能である。
【００５２】
＜デジタルビデオカメラ１０の記録動作＞
デジタルビデオカメラ１０において、被写体の撮影画像データを記録するときの動作について説明する。
【００５３】
先ず、ユーザが、デジタルビデオカメラ１０の電源（不図示）を投入すると、ＣＰＵ部１１１は、プログラムフラッシュメモリ部１１３内に圧縮格納してあるプログラムを読み込み、プログラム記憶部１１２で当該プログラムを解凍及び展開して実行することで、ユーザによる操作指令（例えば、撮影開始指令等）に応じた動作制御を行う。
【００５４】
次に、ユーザは、図１に示すモードダイアル１７を撮影モードに切替える。例えば、ユーザは、モードダイアル１７をＣＡＭＥＲＡモードに切替え、スイッチ操作部１０５に含まれる撮影ボタン（図１に示すスタート／ストップボタン１８）を押下する。
この場合、被写体からの光は、レンズ部１０１を通して撮像部１０２に含まれる撮像素子上に結像される。撮像部１０２は、当該被写体光を電気信号に変換して出力する。
【００５５】
カメラ信号処理部１０３は、撮像部１０２の出力信号を処理し、当該処理後の画像データを、所定の周期で画像処理部１０７に出力する。画像処理部１０７は、カメラ信号処理部１０３から出力された画像データに対し、所定の画像処理を施す。
【００５６】
画像記憶部１０４は、画像処理部１０７によって画像処理されたデジタル画像データ（原動画像データ）を、所定の周期で、一時的に蓄積する。また、ＣＰＵ部１１１は、原動画像データをディスプレイ表示部１０６へ送信し、ディスプレイ表示部１０６は、原動画像データを、現在撮影中の動画像として表示する。
【００５７】
画像圧縮解凍部１０８は、詳細は後述するが、画像記憶部１０４に一時的に蓄積された原動画像データに対して、所定の条件に基づき、圧縮符号化処理を施す。画像記憶部１０４は、上記圧縮符号化処理が施された動画像データ（圧縮本動画像データ）を、一時的に記憶しながら、一定時間ごとの最新の圧縮本動画像データを蓄積する。
【００５８】
画像記憶部１０４に蓄積された圧縮本動画像データは、所定の周期でＨＤ−Ｉ／Ｆ部１１０を介して、ハードディスク１０９に格納される。
【００５９】
次に、ユーザは、デジタルビデオカメラ１０のよる撮影終了操作を行う。例えば、ユーザは、図１に示すスタート／ストップボタン１８を再度押下すると、このユーザ操作を認識したＣＰＵ部１１１は、この時に画像記憶部１０４内に蓄積されている圧縮本動画像データを、ハードディスク１０９に格納する。
【００６０】
尚、上述の構成では、撮像した動画像データ（圧縮本動画像データ）を格納する記録媒体としてハードディスク１０９を用いるようにしたが、これに限られることはなく、例えば、光ディスクや、光磁気ディスク、半導体の不揮発メモリ、或いは磁気テープのようなシーケンシャルメディア等にも適用可能である。
【００６１】
＜デジタルビデオカメラ１０による再生動作＞
ここでは、ハードディスク１０９に格納された圧縮画像データをデジタルビデオカメラ１０によって再生するときの動作について説明する。
【００６２】
先ず、ユーザは、図１に示すモードダイアル１７を再生モードに切替える。例えば、ユーザは、モードダイアル１７をＶＴＲモードに切替えると、ＣＰＵ部１１１は、撮像した圧縮画像データをハードディスク１０９から読み込んで、再生処理を開始する。
【００６３】
具体的には、ＣＰＵ部１１１は、ハードディスク部１０９から圧縮本動画像データを読み出し、読み出された圧縮本動画像データは、ＨＤ−Ｉ／Ｆ部１１０を介して、画像記憶部１０４へ一時的に保存される。
画像圧縮解凍部１０８は、詳細は後述するが、画像記憶部１０４に一時保存された圧縮本動画像データに対して、画像出力先（使用目的）に対応した解凍復号化処理を施す。
この画像出力先は、モニタＴＶ１１５やプリンタ１１７に相当する。ここでは画像出力先がモニタＴＶ１１５の場合、画面サイズのアスペクト比（画面の縦横比）が標準の４：３であるＳＤ−ＴＶ、或いは１６：９である高画質なＨＤ−ＴＶ等で構成されているものとする。
【００６４】
ＣＰＵ部１１１は、モニタＩ／Ｆ部の接続端子からの出力信号を検出したり、或いは、ユーザが設定したスイッチ操作１０５の設定内容を検出することにより、画像出力先を判断する。画像圧縮解凍部１０８は、ＣＰＵ部１１１による判断結果を基にして、画像出力先に応じた適切な解凍復号化処理を実行する。
【００６５】
例えば、画像出力先が、モニタＴＶ（ＳＤ−ＴＶ又はＨＤ−ＴＶ）１１５の場合、画像圧縮解凍部１０８は、画像記憶部１０４に一時保存された圧縮本動画像データに対して、ＳＤ−ＴＶ（又はＨＤ−ＴＶ）への出力に対応した解像度や、画質、或いは画像アスペクトになるような解凍復号化処理を行う。
ＣＰＵ部１１１は、画像圧縮解凍部１０８により解凍復号化処理された動画像データを、モニタＴＶ１１５に出力するための指令を出す。
【００６６】
また、画像出力先が、プリンタ１１７の場合、画像圧縮解凍部１０８は、ハードディスク１０９に保存された圧縮本動画像データに対して、プリンタ１１７の出力に対応した解像度又は画質等になるような解凍復号化処理を行う。
ＣＰＵ部１１１は、画像圧縮解凍部１０８により解凍復号化処理された動画像データを、プリンタ１１７に出力するための指令を出す。
【００６７】
＜画像圧縮解凍部１０８による符号化処理＞
ここでは、図１に示す画像圧縮解凍部１０８が有する符号化機能について説明する。尚、当該符合化機能を画像圧縮解凍部１０８以外の他の構成部にもたせるようにしてもよい。
【００６８】
図３（ａ）に、画像圧縮解凍部１０８の機能ブロックを示す。図３（ａ）に示すように、画像圧縮解凍部１０８は、符合化機能１０８ａと復号化機能１０８ｂを含む構成としている。
【００６９】
図３（ｂ）は、符号化機能１０８ａの構成を示したものである。図３（ｂ）に示すように、符号化機能は、コンポーネント変換部２０１、タイル分割部２０２、離散ウェーブレット変換部２０３、量子化部２０４、エントロピ符号化部２０５、及び符号列形成部２０６を含んで構成している。
【００７０】
先ず、コンポーネント変換部２０１は、画像記憶部１０４から出力された原動画像データに対して、色空間変換処理を行う。コンポーネント変換部２０１は、当該色空間変換処理で得た撮像素子における各画素の色成分データを、必要に応じて間引いた後、タイル分割部２０２に出力する。
【００７１】
タイル分割部２０２は、コンポーネント変換部２０１が出力した画像データを、所定の大きさの複数の矩形タイルに分割する。尚、この矩形タイルの大きさは、最大で各色成分のデータ全体の大きさとすることができ、この場合、タイル分割部２０２は、画像データに対して実質的にタイル分割を行わないことになる。
【００７２】
離散ウェーブレット変換部２０３は、タイル分割部２０２が出力した画像データに対して、２次元の離散ウェーブレット変換を施すことによって、当該画像データを周波数成分ごとに分解し、各周波数の帯域に属する変換係数群（以下、サブバンドという。）を出力する。
【００７３】
離散ウェーブレット変換部２０３により出力されるサブバンド（所定の条件）の構成例を図４に示す。図４は、離散ウェーブレット変換部２０３によって、画像データの低周波帯域を、再帰的に２段階（レベル）まで２次元離散ウェーブレット変換したときのサブバンド構成図である。
尚、画像データに対して非可逆符号化処理を実行する場合、離散ウェーブレット変換部２０３は、ウェーブレット変換後の各周波数の変換係数が実数になる実数型のフィルタを用いる。一方、画像データに対して可逆符号化処理を実行する場合は、離散ウェーブレット変換部２０３は、ウェーブレット変換後の各周波数の変換係数が整数になる整数型のフィルタを用いる。
【００７４】
量子化部２０４は、離散ウェーブレット変換部２０３によってウェーブレット変換されたサブバンドに対し、所定の方法により量子化を行い、量子化インデックスを生成してエントロピ符号化部２０５に出力する。
尚、画像データを可逆符号化する場合、量子化部２０４は、離散ウェーブレット変換部２０３からのサブバンドに対して量子化を行わない。したがって、この場合、量子化部２０４に入力されたサブバンドの変換係数そのものが、エントロピ符号化部２０５に出力される。
【００７５】
エントロピ符号化部２０５は、図５に示すように、量子化部２０４から出力されたサブバンドを、さらに複数の矩形ブロック（以下、コードブロックと呼ぶ。）に分割する。尚、コードブロック（所定の条件）の矩形ブロックサイズが、サブバンドの矩形ブロックサイズと同一の場合、エントロピ符号化部２０５はサブバンドを分割しない。
【００７６】
また、エントロピ符号化部２０５は、画像データに対して、コードブロックごとに独立してエントロピ符号化処理を行い、符号化データを生成する。このとき、エントロピ符号化部２０５は、量子化インデックスを表すビットを、上位ビットプレーンから順に算術符号化する。
【００７７】
また、エントロピ符号化部２０５は、画像処理部１０７に含まれる領域設定部（不図示）により、画像データ内の特別な領域（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ：以下、略してＲＯＩと呼ぶ。）がユーザから設定された場合、このＲＯＩ（所定の条件）を対象に符号化する。
具体的には、エントロピ符号化部２０５は、ユーザから設定されたＲＯＩに対して、当該ＲＯＩに係る変換係数を特定するためのマスクを生成する。
【００７８】
図６は、上記図４に示す各サブバンド（ＨＬ１、ＬＨ１等）について、ＲＯＩに係るマスクの例を示したものである。図６に示す各サブバンドにおける白い部分がＲＯＩに相当し、このＲＯＩに含まれる変換係数は、エントロピ符号化部２０５によって、符号化処理が実行される前に、所定のビット数分だけ上位方向にシフトアップされる。
【００７９】
すなわち、ＲＯＩに含まれる変換係数は、所定のビット数分だけシフトされたことにより、ＲＯＩ以外の領域に係わる変換係数とビットプレーン上で完全に分離されることから、エントロピ符号化部２０５は、ビットプレーン内の全てのビットの１又は０の分布状態に基づき、ＲＯＩに係る変換係数を特定するためのマスクを生成することが可能となる。
【００８０】
尚、上記のＲＯＩに含まれる変換係数に対するビットのシフトアップ数は、後述する符号列形成部２０６が生成する符号列の所定のマーカにパラメータとして追加される。
【００８１】
上述したＲＯＩ領域に生成するマスクを、動画像のＴＶ画面に適用した具体例を以下に示す。図７〜図９は、撮像部１０２により取得される動画像が表示されるモニタＴＶ１１５の画面例を示したものである。図７〜図９に示すＡ１１２領域は、モニタＴＶ１１５が、画面アスペクト比１６：９のＴＶである場合、また４：３のＴＶである場合の何れの場合にも、画像データが映し出される部分であり、また、Ａ１１１領域及びＡ１１３領域は、モニタＴＶ１１５が、画面アスペクト比４：３のＴＶである場合のみ、画像データが映し出される部分である。
【００８２】
モニタＴＶ１１５が、画面アスペクト比１６：９であるような高画質なＨＤ−ＴＶである場合、画面表示される画像データが十分な画質になるような解像度を確保する必要がある。このため、エントロピ符号化部２０５は、ＨＤ−ＴＶという所定の条件に基づき、Ａ１１２領域に映し出される画像データに対して、高画質又は高解像度となるような符号化処理を行う。
【００８３】
また、タイル分割部２０２は、例えば、図７に示す画面全体を１つのタイルとして構成してＡ１１２領域に相当するマスクを生成する。或いは、図８に示すように、Ａ１１１、Ａ１１２、及びＡ１１３をそれぞれ、タイル１、タイル２、及びタイル３に分割し、Ａ１１２領域のみマスクを生成する。
【００８４】
また、タイル分割部２０２は、図９に示すように、Ａ１１１（タイル１）、Ａ１１２（タイル２）及びＡ１１３（タイル３）の各領域を、共通の大きさ（最大公約数サイズ）のタイル（Ａ１１５）で分割し、分割したタイル毎に対し適宜マスクを生成する。このとき、タイル分割部２０２は、Ａ１１２（タイル２）に含まれる複数のタイル（Ａ１１５）を対象としてマスクを生成する。
【００８５】
上述のようなタイル分割部２０２は、モニタＴＶ１１５の画面に表示する画像データに限らず、例えば、プリンタ１１７（所定の条件）に出力する画像データに対しても、タイル分割する。先ず、モニタＴＶ１１５に画像データを表示することで、出力画像の確認をしてから、プリンタ１１７へ実際に出力する場合、図１０に示すように、Ａ１２１領域がモニタＴＶ１１５の画面に映し出される領域であり、Ａ１２２領域が動画中の１コマとして印刷される領域であるとすると、通常、Ａ１２２領域はテレビジョンやＰＣ用のモニタで鑑賞するときより、高画質又は高解像度が要求される。このため、タイル分割部２０２は、Ａ１２１及びＡ１２２領域を、最大公約数サイズのタイル（Ａ１２５）で分割した後、Ａ１２２領域に含まれるタイルに対してマスクを生成する。
【００８６】
上述したように、タイル分割部２０２によって特定領域にマスクが生成されることで、エントロピ符号化部２０５は、当該マスクの生成された領域（例えば、Ａ１１２）をＲＯＩとして識別し、このＡ１１２領域に映し出される画像のみが高画質又は高解像度になるように、画像データに対して所定の符号化を行う。
【００８７】
尚、モニタＴＶ１１５が、アスペクト比４：３のＴＶである場合は、標準的なＳＤ−ＴＶであるため、例えば、タイル分割部２０２が、Ａ１１２領域にマスクを生成した場合、エントロピ符号化部２０５は、ＳＤ−ＴＶという所定の条件に基づき、Ａ１１１領域及びＡ１１３領域に映し出される画像データに対して、Ａ１１２領域に比べて低い画質又は低い解像度となる符号化処理を行えばよい。
【００８８】
符号列形成部２０６は、所定の方法で設定されたプログレッシブ形態に基づいて、エントロピ符号化部２０５からの画像データの符号列を形成する。このとき、符号列形成部２０６は、設定されたプログレッシブ形態に対応して、各コードブロックの符号化データの上位ビットプレーンから順に、適量の符号化データを選択して１つ以上のレイヤを構成する。
【００８９】
図１１及び図１２に、符号列形成部２０６による符号化データの選択例を示す。図１１に示すように、例えば、設定されたプログレッシブ形態がＳＮＲスケーラブルの場合、符号列形成部２０６は、レイヤを単位として、上位レイヤから順に下位レイヤに向かい符号化データを配置する。
【００９０】
この場合、符号列形成部２０６は、後半のレイヤを省略することで、下位ビットプレーンに係る符号化データがビットプレーンに含まれないようなレイヤ選択を行うことが可能である。このように、符号列形成部２０６が、ビットプレーンの中に特定のレイヤの符号化データを含まないような選択を行うことで、当該符号列のデータ量を最適化できる。したがって、画像圧縮解凍部１０８は、詳細は後述するが、符号列形成部２０６により最適化されたデータ量に応じて符号列を復号し、再生される画像の画質を画像出力先の必要解像度にあわせて変化させる。
【００９１】
一方、設定されたプログレッシブ形態が空間解像度スケーラブルである場合、図１２に示すように、符号列形成部２０６は、低周波サブバンドから高周波サブバンドに向けて符号化データを配置する。この場合、符号列形成部２０６は、後半のサブバンドの符号化データを、ビットプレーンの符号列に含めないように選択することもできる。このように、符号列形成部２０６が、ビットプレーンの中に特定のサブバンドの符号化データを含まない選択を行うことで、当該符号列のデータ量を最適化できる。
したがって、画像圧縮解凍部１０８は、詳細は後述するが、符号列形成部２０６により最適化されたデータ量に応じて符号列を復号し、再生される画像の画質を画像出力先の必要解像度にあわせて変化させる。
【００９２】
符号列形成部２０６は、設定された各プログレッシブ形態に応じて形成した符号列に対し、各種マーカから構成されるヘッダを追加して、最終的な符号列を生成し、これを画像記憶部１０４へ出力する。
【００９３】
符号列形成部２０６が生成する最終的な符号列の構成を図１３に示す。
図１３に示すように、メインヘッダＭＨ３６０は、圧縮符号化に関するパラメータ及びプログレッシブ形態等の符号列構成に関する情報を指定するマーカを含んでいる。この圧縮符号化に関するパラメータとは、具体的には例えば、画像の解像度、色成分数、各色成分のビット精度（各色成分を表現するビット数）、画像を構成するタイルのサイズ、離散ウェーブレット変換のフィルタのタイプ、及び量子化ステップ等の圧縮符号化に関するパラメータをいう。
【００９４】
タイルヘッダＴＨ＿Ｉ３６５は、ｉ番目のタイルの開始位置を表すマーカを含んでいる。また、符号列形成部２０６が、当該ｉ番目のタイルにおいて、符号化に関するパラメータを、以前に符号化したタイルに基づき変更した場合、タイルヘッダＴＨ＿Ｉ３６５は、当該変更前のタイルによるパラメータを指定するマーカも含んでいる。
尚、ＢＳ＿Ｉ３６６はｉ番目のタイルの符号化データであり、その配列はプログレッシブ形態に基づき、例えば図１１又は図１２のように構成されている。
【００９５】
＜画像圧縮解凍部１０８による復号化処理＞
ここでは、図３（ａ）に示す画像圧縮解凍部１０８の復号化機能１０８ｂについて説明する。尚、当該復号化機能１０８ｂを画像圧縮解凍部１０８外の他の構成部にもたせるようにしてもよい。
【００９６】
図１４は、上記復号化機能１０８ｂの構成を示したものである。図１４に示すように、復号化機能１０８ｂは、符号列入力部９０１、エントロピ復号部９０２、逆量子化部９０３、逆離散ウェーブレット変換部９０４、画像構成部９０５、及びコンポーネント逆変換部９０６を含む構成としている。
【００９７】
先ず、符号列入力部９０１は、画像記憶部１０４から出力された圧縮本動画像データの符号列を入力し、当該データから画像又はタイルのサイズや、プログレッシブ形態、或いは量子化ステップ等というような復号処理に必要なパラメータを抽出し、入力符号列をエントロピ符号化部９０２へ出力する。
【００９８】
尚、復号化機能１０８ｂが復号対象とする全体の符号列には、上記図１３の形態で構成された複数タイル分の符号列が、図３に示す符号化器に含まれるコンポーネント変換部２０１によって得た色成分の数分含まれている。本実施の形態では、復号化機能１０８ｂは、色成分ごとに独立して復号処理を行うこととし、復号対象となる色成分を構成する各タイルの符号列を、順次復号化する。
【００９９】
エントロピ復号部９０２は、符号列入力部９０１からの符号列に対して復号処理を施し、量子化インデックスを生成する。この復号処理により、コードブロック内の量子化インデックスが、上位ビットプレーンから順に復号され、量子化インデックスが復元される。
【０１００】
このとき、例えば、符号列のプログレッシブ形態がＳＮＲスケーラブルであり、符号列入力部９０１により入力された符号列には、所定数の上位レイヤのみが含まれている場合、エントロピ復号部９０２は、入力されているレイヤで復号処理を打ち切り、この時点での復元値を量子化インデックスとして出力する。
【０１０１】
また、レイヤ上にＲＯＩを指定したマーカが存在する場合、上記図３（ｂ）に示した構成を有する符号化機能１０８ａによって、当該マーカに係る上位ビットプレーンの量子化インデックス値が、マーカに付随したシフトアップ数分、上位方向にビット移動がされている。このため、エントロピ復号部９０２は、マーカに係る上位ビットプレーンの量子化インデックス値を、逆にシフトアップ数分、下位方向にビット移動（シフトダウン）してから、これを逆量子化部９０３へ出力する。
このエントロピ復号部９０２のシフトダウン処理により、ＲＯＩ部分の量子化インデックスは適切な値に復元される。
【０１０２】
ＲＯＩが設定されている場合の復号化の例を、以下に示す。
画像データの再生の際にモニタＴＶ１１５に高画質なＨＤ−ＴＶが接続されており、図３（ｂ）に示したエントロピ符号化部２０５によって、ユーザが設定したＲＯＩにマスクが生成されている場合、エントロピ復号部９０２は、例えば、図７〜図９に示す１１２領域の画像データのみを、高画質又は高解像度に復号化する。
【０１０３】
また、モニタＴＶ１１５が標準のＳＤ−ＴＶである場合、エントロピ復号部９０２は、例えばＡ１１１〜Ａ１１３の全領域の画像データをすべて標準的な画質や解像度で復号化する。また、モニタＴＶ１１５が、アスペクト比１６：９であるが標準画質のテレビジョンである場合、エントロピ復号部９０２は、例えばＡ１１２領域の画像データのみを標準的な画質や解像度で復号化する。
【０１０４】
また、モニタＴＶ１１５が、テレビジョン又はＰＣモニタであって、さらにプリンタ１１７が接続されたデジタルビデオカメラ１０の場合、エントロピ復号部９０２は、例えば図１０に示すＡ１２２領域に含まれるタイルの画像データのみを高画質または高解像度に復号化してプリンタ１１７によって印刷を行い、また、すべてのタイルを標準的な画質や解像度で復号化してモニタＴＶ１１５に表示する。
【０１０５】
このように、ＨＤ−ＴＶ等の高画質なモニタＴＶ１１５やプリンタ１１７で撮像画像データを出力するときは、共通エリアのみを高解像度で復号化し、ＳＤ−ＴＶ等の標準画質のモニタＴＶ１１５に撮像画像データを出力するときは、共通エリア及び非共通エリアの全領域を低解像度で復号化すればよいので、エントロピ復号部９０２は、１つの符号化データを出力先（再生側）に応じて柔軟に復号化する。
【０１０６】
逆量子化部９０３は、エントロピ復号部９０２が出力した量子化インデックスに対し、符号列入力部９０１により得られた量子化ステップを基に逆量子化を行い、変換係数を復元して逆離散ウェーブレット変換部９０４へ出力する。
【０１０７】
逆離散ウェーブレット変換部９０４は、逆量子化部９０３より入力した変換係数に対して、２次元の逆離散ウェーブレット変換を施し、これにより対応する色成分データ（符号化対象の画像がモノクロ画像の時は、画像濃度データ）を復元して、画像構成部９０５へ出力する。
【０１０８】
このとき、符号列のプログレッシブ形態が空間解像度スケーラブルであって、逆量子化部９０３が、上述した符号化器によって符号化されたサブバンドのうちの一部分のみを復元する場合、逆離散ウェーブレット変換部９０４は、当該復元されるデータの解像度を、その復元されたサブバンドのレベルに応じて変化させる。
【０１０９】
例えば、図１５は、復元されるデータの解像度の相違を示したものである。図１５に示すように、画像データについてのサブバンドの構成で、１／４相当の領域がＬＬ、ＨＬ２、ＬＨ２、及びＨＨ２から構成されているとする。このとき、例えば、逆量子化部９０３が、サブバンドＬＬの係数のみを復元した場合、逆離散ウェーブレット変換部９０４は、逆離散ウェーブレット変換を実質的に行わず、サブバンドＬＬの係数を元のデータレンジに収まるように調節した後、これを画像構成部９０５へ出力する。
【０１１０】
上記の場合、逆離散ウェーブレット変換部９０４によって復元された色成分データは、図１５でｒ＝０と示してあるように、元の解像度（圧縮本動画像データの解像度）に対して、水平および垂直方向に１／４の解像度を有する。
【０１１１】
また、逆離散ウェーブレット変換部９０４によって、ＬＬ、ＨＬ２、ＬＨ２、及びＨＨ２のサブバンドにまでひろげて復元した場合、逆離散ウェーブレット変換部９０４は、当該サブバンドに対して逆離散ウェーブレット変換を１レベル行う。これにより、図１５でｒ＝１と示してあるように、復元された色成分データは、元の解像度に対して水平及び垂直方向に１／２サイズの解像度を有する。
【０１１２】
上述した逆離散ウェーブレット変換処理は各タイル単位で行われるため、画像構成部９０５は、逆離散ウェーブレット変換部９０４からの各タイルの各色成分データを再度、元の１枚の符号化対象画像を構成する色成分データとして構成（結合）して、これをコンポーネント逆変換部９０６に出力する。
【０１１３】
コンポーネント逆変換部９０６は、画像構成部９０５からの各色成分データに対して、所定の逆変換処理を施すことにより、元の符号化対象画像の色空間を持つ画像データを復元し、画像記憶部１０４に出力する。
尚、図３に示す符号化器に含まれるコンポーネント変換部２０１が、元の色空間変換後の撮像素子の各画素の色成分データを、必要に応じて間引いて処理していた場合、コンポーネント逆変換部９０６は、逆変換を行う前に、色成分データのデータ補間を行う。
【０１１４】
上述したような本実施の形態によれば、例えば、プログレッシブ形態が空間解像度スケーラブルの場合には、復号化器が復号対象とするレイヤを制限することにより、復元される画像の解像度（画質）を、出力先（再生側）に応じて制御することが可能となる。
また、例えば、プログレッシブ形態がＳＮＲスケーラブルの場合には、復号化器が逆離散ウェーブレット変換する対象のサブバンドに関する変換レベル数を制限することにより、復元される画像の解像度（画質）を出力先に応じて制御することが可能となる。
【０１１５】
［第２の実施の形態］
本実施の形態では、デジタルビデオカメラ１０により、高解像度の撮影画像データを取得する場合、当該撮影画像データが、ユーザの所望する以上に高画質な画像データとならないように、ユーザからデジタルビデオカメラ１０に対して所定の操作（ワイド（広角）やテレ（望遠）等というようなズーム変更操作）を行えるように構成する。
【０１１６】
＜デジタルビデオカメラ１０の構成＞
本実施の形態のデジタルビデオカメラ１０の構成図を図１６に示す。
図１６に示すように、デジタルビデオカメラ１０は、レンズ部３０１、受光素子３０２、撮像部３０３、解像度変更部３０４、符号化部３０５、記録部３０６、記憶媒体３０７、解像度調査部３０８、画像加工部３０９、加工指定部３１０、ユーザ操作部３１１、表示データ制御部３１２、及び表示部３１３を含んで構成している。
【０１１７】
尚、本実施の形態のデジタルビデオカメラ１０は、図１６の破線で示した測距部３２０を含んでおらず、この測距部３２０については第３の実施の形態で説明する。また、実際には、デジタルビデオカメラ１０は、上記図１６に示した構成に加えて、例えば絞り、シャッタ、測距システム等を設けた構成としているが、この構成に関しては、本実施の形態に直接関係しないため、説明を省略する。
【０１１８】
レンズ部３０１は、フォーカスレンズ及びフォーカスレンズ駆動モータを一体化したものであり、被写体光を撮像素子３０２に結像させる。
撮像素子３０２は、レンズ部３０１からの被写光に対して光電変換を行い、電気信号を出力する。
【０１１９】
撮像部３０３は、撮像素子３０２が出力した電気信号を基に、撮影画像の画像データ、及び図１７及び図１８に示すような、画像ＩＤや水平／垂直方向サイズ等を含む画像情報を生成する。図１７はＤＶフォーマットに従う画像情報の領域構成、また図１８は、画像圧縮フォーマットに従う画像情報の領域構成を示したものである。
図１７及び図１８に示すように、それぞれの画像情報領域は、撮影画像の水平方向のサイズ９５１，９６１、撮影画像の垂直方向のサイズ９５２，９６２、及び撮影画像のＩＤ９５３，９６３を含んで構成している。
【０１２０】
解像度変更部３０４は、ユーザの操作（ズーム変更操作）によって、どの程度の解像度で被写体を撮影するかを設定又は変更するかを決定する。
符号化部３０５は、画像データに対し、解像度変更部３０４によって決定された解像度に対応する符号化データを生成する。
【０１２１】
記録部３０６は、撮像部３０３が生成した画像情報と、符号化部３０５が生成した符号化データを、記憶媒体３０７に記憶する。
解像度調査部３０８は、記憶媒体３０７に記憶された画像データ（符号化データ）の解像度を調査する。尚、解像度調査部３０８は、図１７又は図１８に示す撮影画像の水平方向のサイズ９５１，９６１と、垂直方向のサイズ９５２，９６２とから、解像度を算出する。
【０１２２】
画像加工部３０９は、ユーザからの画像加工指示に応じて、記憶媒体３０７から符号化データを読み出し、当該符号化データに対して画像加工処理を施す。
加工指定部３１０は、ユーザ操作部３１１から入力される画像加工処理のために指定された情報を画像加工部３０９に通知する。
【０１２３】
ユーザ操作部３１１は、画像データに対する画像加工処理をユーザが指定するためのインターフェースを備えている。
表示データ制御部３１２は、画像加工部３０９による加工結果や画像加工処理の際にユーザに伝達するメッセージ等を表示するための動作制御をする。
表示部３１３は、表示データ制御部３１２により動作制御されたデータ又はメッセージ等をモニタ等に表示する。
【０１２４】
＜デジタルビデオカメラ１０の記録動作＞
デジタルビデオカメラ１０において、撮像開始時に被写体の解像度を設定し、撮像中のユーザによるズーム操作にあわせて当該被写体の解像度を変更しながら、撮影画像データを記録するときの動作について説明する。
【０１２５】
図１９は、ユーザがデジタルビデオカメラ１０によって撮影する際の撮影対象を表し、図１９中に示す中央の木を被写体とする。また、この場合のデジタルビデオカメラ１０の記録動作のフローを図２０に示す。
【０１２６】
ステップＳ４０１：
ユーザは、デジタルビデオカメラ１０の電源を投入し、図１に示すモードダイアル１７を撮影モードに切替える。例えば、ユーザは、モードダイアル１７をＣＡＭＥＲＡモードに切替え、撮影ボタン（図１に示すスタート／ストップボタン１８）を押下する。この押下時点が以下のステップに示す撮像処理の開始点となる。
【０１２７】
ステップＳ４０２：
ユーザは、撮影開始時に被写体の解像度について、希望する解像度を解像度変更部３０４により設定する。解像度変更部３０４は、このユーザにより設定された解像度を検出する。
【０１２８】
ステップＳ４０３：
解像度変更部３０４は、ユーザが被写体撮影中に、図１に示すズームスイッチ１２を用いて、撮像画像のズーム変更操作を行っていることを検出した場合、このときのズーム値を検出する。
【０１２９】
ステップＳ４０４：
解像度変更部３０４は、解像度変更部３０４が検出するズーム値に応じて、撮像画像データの解像度を、リアルタイムにその時点でのズーム値に最適な解像度となるように変更する。
【０１３０】
ステップＳ４０５：
撮像部３０３は、解像度変更部３０４によって変更された解像度に対応する撮影画像の画像データ（デジタル画像データ）、及び図１７又は図１８で示した構成からなるような画像ＩＤや水平／垂直方向サイズ等を含む画像情報を生成する。また、符号化部３０５は、変更後の解像度を有する１フレーム分の撮影画像データ（符号化データ）を生成する。
【０１３１】
ステップＳ４０６：
記録部３０６は、撮像部３０３が生成した画像情報と、符号化部３０５が生成した撮影画像データ（符号化データ）を、記憶媒体３０７に記憶する。
【０１３２】
ステップＳ４０７：
撮像部３０３等は、ステップＳ４０３からステップＳ４０６までを１区切りとする１フレームの撮像動作を終了するか否かの判断を行う。例えば、ユーザが撮影ボタン（図１に示すスタート／ストップボタン１８）を再押下しない等の撮影終了操作を行っていない場合、デジタルビデオカメラ１０における当該記録動作は、ステップＳ４０３に示すズーム値検出へ遷移する。また、撮像部３０３等によって撮影動作が終了していると判断された場合、図２０に示す記録動作は、ステップＳ４０８に示す撮像処理の終了へ遷移する。
【０１３３】
＜ユーザのズーム操作に対する解像度の変更処理＞
ここでは、ユーザによる撮像中のズーム変更操作にあわせ、解像度変更部３０４が画像データの解像度を変化させる処理について説明する。
被写体の撮像時間に対する解像度の変化の例を図２１に示す。
【０１３４】
図２１に示すように、ユーザによる撮像時間の全体は６００秒であり、撮像開始時点０秒５００から１００秒後の５０１まで、ユーザによる撮影時のズーム変更操作は無い。
次に、ユーザは、５０１時点から約５０秒間かけて（５０１〜５０２の間）、ズームをワイド（Ｗ）側に操作し、５０３までの約１００秒間（５０２〜５０３の間）、このワイド撮影を維持している。
次に、ユーザは、約１００秒間かけて（５０３〜５０４の間）、ワイド側からテレ側ヘズームを操作し、１７０秒間（５０４〜５０５の間）テレ（Ｔ）撮影を行っている。
そして、ユーザは、約５０秒間かけて（５０５〜５０６の間）、ズームを標準位置に戻し、撮影終了までの３０秒間（５０６〜５０７の間）ズームの変更操作を行っていない。
【０１３５】
上記ズーム操作による解像度の時間推移を、図２０に示すデジタルビデオカメラ１０の記録動作と対応させながら、以下説明する。
図２１に示すように、撮像開始時のズームは、テレとワイドの中間点５１０に位置している。したがって、先ず、図２０に示すステップＳ４０２において、解像度変更部３０４は、撮影開始時の被写体の解像度を、指定できる解像度範囲の中間値５１１に設定する。
【０１３６】
ステップＳ４０３において解像度変更部３０４は、ズーム値が変更していないかを検出し、検出した場合はステップＳ４０４において、変更後のズーム値になるように、現在のズーム値及び解像度を変更するが、上述したように撮影開始後１００秒間（５００〜５０１の間）、ユーザはズーム操作を行っていない。このため、解像度変更部３０４は、ズーム値の変更を検出しないので、５０１時点までの間、被写体はユーザが設定した解像度５１１で撮影されることになる。
【０１３７】
次に、５０１〜５０２の間では、ユーザはズームスイッチ１２をワイド（Ｗ）側に操作しているので、解像度変更部３０４は、ズーム値の変化を検出し、当該ズーム値の変化に応じて解像度が高くなるように変更する。
具体的には例えば、撮像開始時に解像度を設定したときの撮影領域と、ワイド（Ｗ）操作後の撮影領域とを比較し、仮にワイド（Ｗ）操作によって撮影領域が２倍になった場合、解像度変更部３０４は、この時点の解像度を撮像開始時の解像度の２倍に設定する。
【０１３８】
これを、被写体と解像度の関係を示す図２２によって説明すると、例えば、撮影開始後から１００秒後である５０１時点までの撮影領域を図２２（ｂ）に示す領域とし、ユーザがズームスイッチ１２をワイド（Ｗ）側に操作することにより、５０２時点で図２２（ｃ）に示す撮影領域になった場合には、解像度変更部３０４は、図２２（ｃ）に示す点線矩形内部の解像度が、図２２（ｂ）に示す初期設定解像度と同程度になるように、５０２時点の解像度を高く設定する。
【０１３９】
また、ユーザがズームスイッチ１２をテレ（Ｔ）側に操作することにより、５０２時点で図２２（ａ）に示す撮影領域になった場合には、解像度変更部３０４は、図２２（ａ）に示す点線矩形内部の解像度が、図２２（ｂ）に示す初期設定解像度と同程度になるように、５０２時点の解像度を低く設定する。
【０１４０】
ステップＳ４０５において撮像部３０３は、解像度変更部３０４によって変更された解像度に対応する画像データ等の画像情報を生成し、ステップＳ４０６において記録部３０６は、記憶媒体３０７に画像データを記録する。
【０１４１】
次に、５０２〜５０３の間では、撮像部３０３は、上述した高解像度の設定で画像情報を生成し、記録部３０６によって画像データを記憶媒体３０７に記録する。
【０１４２】
次に、５０３時点〜５０４時点の間の約１００秒かけて、ユーザはズームスイッチ１２をテレ（Ｔ）側に操作しているが、これは図２２（ｃ）から図２２（ａ）への撮影領域の変更である。このときは、解像度変更部３０４は、所定の時間毎にズーム値を検出し、高解像度から低解像度に徐々に解像度の変更を行っており、図２０に示すステップＳ４０３〜ステップＳ４０６の記録動作が連続して実行されている。
【０１４３】
次に、５０５時点の間まで、解像度変更部３０４は解像度を変更せずに、これにより、解像度は低解像度のまま維持されながら、ステップＳ４０３〜ステップＳ４０６の記録動作が行われる。
次に、５０５時点〜５０６時点の間で、ユーザはズームスイッチ１２をズーム値がワイド（Ｗ）側へ操作して標準になるところまで戻しているが、上述した５０１時点〜５０２時点における標準→ワイド（Ｗ）側への操作変更の場合と同様に、ステップＳ４０３〜ステップＳ４０６において、解像度変更部３０４のズーム値の検出及び解像度の変更や、撮像部３０３の画像情報を生成等が行われながら、解像度が初期設定の解像度に戻る。
【０１４４】
上述のように、撮影当初に被写体に対する解像度を設定し、ユーザによる撮像中のズーム変更操作にあわせて、解像度変更部３０４が、リアルタイムに解像度を変更するように構成することで、被写体を含む撮像領域の解像度を一定に保つことができる。
これにより、例えば、ユーザが、被写体の撮影中、一時的に高解像度で撮影することを希望するため、撮影当初に高解像度で設定した後であっても、撮像終了まで常に高解像度の設定で撮影する必要はなく、任意の時点で、被写体の解像度を所望の解像度に変更することができる。したがって、デジタルビデオカメラ１０で被写体を撮像して得られる撮像画像データの肥大化を防止することが可能となる。
【０１４５】
＜画像加工部３０９による撮像画像データに対する加工処理＞
次に、上述したデジタルビデオカメラ１０の記録動作によって、記憶媒体３０７に記憶された画像データに対して、図１６に示す画像加工部３０９が行う加工処理について説明する。
【０１４６】
画像加工部３０９は、記憶媒体３０７に記憶された画像データを加工処理する場合、図１７又は図１８に示す画像ＩＤ９５３，９６３に対応する画像情報を、記憶媒体３０７から読み出す。解像度調査部３０８は、画像加工部３０９により読み出された画像情報から、撮影画像の解像度を算出し、これを画像加工部３０９に出力する。画像加工部３０９は、この解像度を基に、以下に示すような、画像加工処理を行う。
【０１４７】
（１）切り出し画像加工
図１６に示す加工指定部３１０が、ユーザによりユーザ操作部３１１を用いて指定された画像の一部領域（人物の顔部分）を画像加工部３０９に出力し、画像加工部３０９が、当該一部領域を切り出し加工した例を図２３に示す。
図２３は、ユーザが図２１で説明したズームスイッチ１２のズーム変更操作を伴いながら、被写体７０９（人物全体）を撮影したときの撮影画像のイメージ７１１及び、撮影画像中の被写体（人物全体）７０９の一部領域７１０（人物の顔部分）を切り出した場合の切り出し後の画像イメージ７１２を表示している。
【０１４８】
図２３に示すように、撮影画像のイメージ７１１に含まれる各画像（コマ）は、ズームスイッチ１２がテレ（Ｔ）側及びワイド（Ｗ）側とで、表示される被写体７０９（人物全体）の大きさが異なることから、各コマの画質が異なるのに対し、切り出し後の画像イメージ７１２に含まれる各画像（コマ）は、撮影部３０３が、図２０に示した記録動作ステップにより、全て同一の解像度で画像情報を生成しているため、被写体の画質は全撮影区間において同一となる。
【０１４９】
このため、切り出し後の画像イメージ７１２の各画像を連続させた場合に、例えば、ズームスイッチ１２がテレ（Ｔ）側時のコマで鮮明に表示される像（顔）が、ワイド（Ｗ）側時のコマになると不明瞭な像（顔）の画質になってしまうような不連続な解像度の画像イメージにはならない。このように、画像加工部３０９により、撮像画像の一部の領域を切り出す加工を施すことで、切り出し後の画像イメージ７１２に含まれる各画像の画質ムラを無くすことができる。
（２）重ね合わせ画像加工
画像加工部３０９が、上記（１）で説明した図２３に示す撮影画像イメージ７１１に対し、予め用意しておいた画像を一定区間重ね合わせる画像加工を施した例を図２４に示す。
【０１５０】
図２４は、ユーザが被写体８０３の撮影中に、上述した図２１に示すズーム変更操作をした場合に生成される撮影画像イメージ８２０、撮影画像イメージ８２０に対し所定の画像を重ね合わせた加工画像イメージ８３０、及び加工画像イメージ８３０の一部領域を切り出した画像イメージ８４０を示したものである。
【０１５１】
図２４に示すように、画像加工部３０９は、撮影画像イメージ８２０に含まれる各コマの被写体８０３の頭部付近に、星型の画像８０１を重ね合わせて、加工画像イメージ８３０を生成する。この場合、画像加工部３０９によって、撮影画像イメージ８２０の各画像（コマ）における１ピクセルに、星型の画像８０１の１ピクセルが対応するように重ね合わせ加工を施すと、被写体８０３に対して相対的な大きさを有する星型の画像８０１が付加された画像８０５〜８０９を容易に生成することが可能となる。
【０１５２】
この場合、画像加工部３０９によって撮影画像イメージ８２０の各画像（コマ）の被写体８０３の顔部付近を、矩形８０２に切り出した画像８１０〜８１４の画質は、ほぼ同程度である。このため、ユーザが撮影全区間において被写体に対して画質が平均されるような画像加工を行いたい場合は、ズームスイッチ１２をテレ（Ｔ）側、ワイド（Ｗ）側の何れに設定してあっても、ユーザは、画像データの解像度に依存しない画像加工処理を実行することができる。
【０１５３】
尚、本実施の形態において、記憶媒体３０７に画像データを記憶するまでの撮像／記憶手段と、記憶媒体３０７から撮像データを読み出して加工処理する加工手段とを、記憶媒体３０７を介してそれぞれ独立に実現する構成にすることに、何ら問題はないことは言うまでもない。
【０１５４】
［第３の実施の形態］
本実施の形態では、ユーザがデジタルビデオカメラ１０により被写体を撮影する際に得られる被写体までの距離情報を基に、被写体の解像度を変化させることができるように構成する。
＜デジタルビデオカメラ１０の構成＞
本実施の形態のデジタルビデオカメラ１０の機能構成図を図１１に示す。即ち、本実施の形態のデジタルビデオカメラ１０は、上記図１１の破線部分に示すように、第２の実施の形態における構成に対して、さらに測距部３２０を含んだ構成としている。
【０１５５】
測距部３２０は、デジタルビデオカメラ１０の位置から被写体までの距離を計測し、当該計測結果に応じてレンズ部３０１の焦点距離等を調節し、被写体に焦点を合わせる。
解像度変更部３０４は、測距部３２０が求めた被写体までの距離の計測結果に基づき、撮影画像の解像度を変更する。
【０１５６】
その他の構成部３０１〜３１３については、第２の実施の形態で上述した内容と同じ内容のため、説明を省略する。
【０１５７】
＜デジタルビデオカメラ１０の記録動作＞
デジタルビデオカメラ１０において、撮像開始時に被写体の解像度を設定し、その後の撮像中では、測距部３２０が算出した測距結果にあわせて解像度を変更しながら、撮影画像データを記録するときの動作について、図２５に示すフローチャートにより説明する。
【０１５８】
ステップＳ６０１：
ユーザは、デジタルビデオカメラ１０の電源（不図示）を投入し、図１に示すモードダイアル１７を撮影モードに切替える。例えば、ユーザは、モードダイアル１７をＣＡＭＥＲＡモードに切替え、撮影ボタン（図１に示すスタート／ストップボタン１８）を押下する。この押下時点が以下のステップに示す撮像処理の開始点となる。
【０１５９】
ステップＳ６０２：
ユーザは、撮影開始時に被写体の解像度について、希望する解像度を解像度変更部３０４により設定する。解像度変更部３０４は、このユーザにより設定された解像度を検出する。
【０１６０】
ステップＳ６０３：
測距部３２０は、所定の時間毎に、測距部３２９から被写体までの距離を測定し、当該測定値（距離）に変化が生じないかを監視する。
ステップＳ６０４：
解像度変更部３０４は、測距部３２０が測定する被写体までの距離に変化があった場合、検出した測定値に基づき、リアルタイムで被写体の解像度を最適な解像度となるように変更する。
【０１６１】
ステップＳ６０５：
撮像部３０３は、解像度変更部３０４によって変更された解像度に対応する撮影画像の画像データ（デジタル画像データ）、及び図１７又は図１８に示したように構成される画像ＩＤや水平／垂直方向サイズ等を含む画像情報を生成する。また、符号化部３０５は、変更後の解像度からなる１フレーム分の撮影画像データ（符号化データ）を生成する。
【０１６２】
ステップＳ６０６：
記録部３０６は、撮像部３０３が生成した画像情報と、符号化部３０５が生成した撮影画像データ（符号化データ）を、記憶媒体３０７に記憶する。
【０１６３】
ステップＳ６０７：
撮像部３０３等は、上述したステップＳ４０３からステップＳ４０６までを１区切りとする１フレームの撮像動作を終了するか否かの判断を行う。例えば、ユーザが撮影ボタン（図１に示すスタート／ストップボタン１８）を再押下等せず、撮影が終了していない場合、記録媒体３０７に対する記録動作は、ステップＳ６０３に示す測距値検出へ遷移する。また、撮像部３０３等によって撮影動作が終了していると判断された場合、図２５に示す記録動作は、ステップＳ６０８に示す撮影処理の終了へ遷移する。
【０１６４】
＜測距結果に基づく解像度の変更処理＞
ここでは、測距部３２０が検出する被写体までの距離に基づいて、解像度変更部３０４が画像データの解像度を変化させる処理について説明する。
撮影者であるユーザに向かって、被写体である人物が徐々に近づいてくる様子を、デジタルビデオカメラ１０によって撮影した場合の、測距の検出結果と解像度の変化の例を図２６に示す。
上記ズーム操作による解像度の時間推移を、図２５に示すデジタルビデオカメラ１０の記録動作と対応させながら、以下説明する。
【０１６５】
図２６に示すように、ユーザによる撮影時間の全体は１５秒であって、撮影開始直後から１５秒間、被写体が撮影者であるユーザに近づいてくるため、測距値は徐々に小さくなり、また、解像度は撮影開始から徐々に低く変化する。
【０１６６】
すなわち、図２５に示すステップＳ６０２で、解像度変更部３０４は、撮影当初の被写体の解像度を、図２６に示す７６１の値に設定する。また、ステップＳ６０３で測距部３２０は、被写体までの距離を７６０の値で検出する。その後、被写体がユーザに近づいてくるにしたがい、測距部３２０が検出する測距結果は小さくなるので、ステップＳ６０４で解像度変更部３０４は、この測距結果に基づき解像度を、リアルタイムで低くなるように変更する。
【０１６７】
具体的には、上述した図２２で説明した解像度の変更と同様の考え方で、例えば、撮影開始時に解像度を設定したときの測距値と測距後の測距値を比較し、仮に測距値が１／２になった場合、解像度変更部３０４は、この時点の解像度を撮影開始時の解像度の１／２倍に設定する。
【０１６８】
このときの撮影画像のイメージが７５１で、また、図２３と同様に、撮影画像イメージ中の被写体の一部領域（人物の顔部）を、画像加工部３０９によって切り出した場合の、切り出し後の画像イメージは７５２である。これらからわかるように、撮影画像イメージ７５１の各画像（コマ）は時間推移とともに、被写体の人物画像が徐々に拡大されているのに対し、切り出し後の画像イメージ７５２の各画像（コマ）は、全てほぼ同程度の画質で構成される。
【０１６９】
尚、本実施の形態で示した構成によるデジタルビデオカメラ１０で記録された画像を編集する場合、上述した第２の実施の形態と同様の編集作業が可能なことは言うまでもない。
【０１７０】
ステップＳ６０５において撮像部３０３は、解像度変更部３０４によって変更された解像度に対応する画像データ等の画像情報を生成し、ステップＳ６０６において記録部３０６は、記憶媒体３０７に画像データを記録する。上記ステップＳ６０３〜ステップＳ６０６を順次繰り返しながら、撮影データが記憶媒体３０７に記録される。
【０１７１】
また、本発明の目的は、第１〜第３の実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
【０１７２】
この場合、記憶媒体から読み出されたプログラムコード自体が第１〜第３の実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体及び当該プログラムコードは本発明を構成することとなる。
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【０１７３】
また、コンピュータが読みだしたプログラムコードを実行することにより、上記本実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって本実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１７４】
図２７は、上記コンピュータの機能６５０を示したものである。
上記コンピュータ機能６５０は、上記図２７に示すように、ＣＰＵ６５１と、ＲＯＭ６５２と、ＲＡＭ６５３と、キーボード（ＫＢ）６５９のキーボードコントローラ（ＫＢＣ）６５５と、表示部としてのＣＲＴディスプレイ（ＣＲＴ）６６０のＣＲＴコントローラ（ＣＲＴＣ）６５６と、ハードディスク（ＨＤ）６６１及びフレキシブルディスク（ＦＤ）６６２のディスクコントローラ（ＤＫＣ）６５７と、ネットワー６７０との接続のためのネットワークインターフェースコントローラ（ＮＩＣ）６５８とが、システムバス６５４を介して互いに通信可能に接続された構成としている。
【０１７５】
ＣＰＵ６５１は、ＲＯＭ６５２或いはＨＤ６６１に記憶されたソフトウェア、或いはＦＤ６６２より供給されるソフトウェアを実行することで、システムバス６５４に接続された各構成部を総括的に制御する。
すなわち、ＣＰＵ６５１は、所定の処理シーケンスに従った処理プログラムを、ＲＯＭ６５２、或いはＨＤ６６１、或いはＦＤ６６２から読み出して実行することで、上記本実施の形態での動作を実現するための制御を行う。
【０１７６】
ＲＡＭ６５３は、ＣＰＵ６５１の主メモリ或いはワークエリア等として機能する。
ＫＢＣ６５５は、ＫＢ６５９や図示していないポインティングデバイス等からの指示入力を制御する。
ＣＲＴＣ６５６は、ＣＲＴ６６０の表示を制御する。
ＤＫＣ６５７は、ブートプログラム、種々のアプリケーション、編集ファイル、ユーザファイル、ネットワーク管理プログラム、及び本実施の形態における所定の処理プログラム等を記憶するＨＤ６６１及びＦＤ６６２とのアクセスを制御する。
ＮＩＣ６５８は、ネットワーク６７０上の装置或いはシステムと双方向にデータをやりとりする。
【０１７７】
【発明の効果】
以上説明したように本発明によれば、撮像手段によって被写体を撮像し、これにより得られた撮像画像データを、エリア分割手段によって複数のエリアに分割した上で、所定の条件に基づいて、当該分割エリア毎に所望の解像度となるような符号化を施すような構成であるため、撮像画像データを効率よく記録媒体に記録し、また撮像画像データを表示する出力手段（例えば、ＴＶやプリンタ等）に適切に出力することができる。
【０１７８】
具体的には例えば、複数の出力手段（例えば、ＳＤ−ＴＶやＨＤ−ＴＶ等）に対応できる記録フォーマットに従った撮像画像の符号化を行うことにより、出力手段（出力先）に依存しない撮像画像データを生成して、記録媒体に記録する構成にすることにより、出力時には、記録媒体に記録された１つの当該撮像画像データをもとにして、複数の出力先に応じた撮像画像データの復元を実行できる。すなわち、出力先ごとの記録フォーマットに従った画像データを生成する必要がないため、撮像画像データを効率的に記録媒体へ記録することができることから、当該記録媒体の省資源を図ることが可能である。
【０１７９】
上記の場合、第１のアスペクト比（４：３）を有するＳＤ−ＴＶモニタ、及び第２のアスペクト比（１６：９）を有するＨＤ−ＴＶモニタの両方に出力される撮像画像データ、或いは、画像印刷手段（プリンタ等）とＴＶモニタの両方に表示される撮像画像データを、共通の出力エリア（第１のアスペクト比を有する第１のエリアと第２のアスペクト比を有する第２のエリアの共通領域）と非共通の出力エリア（第１のエリアと第２のエリアの非共通領域）に分割し、共通の出力エリアの撮像画像データを高解像度に符号化し、また非共通の出力エリアの撮像画像データを低解像度にするというような所定の条件に基づいて、符号化する構成にすれば、全撮像画像データを高解像度で符号化する必要がないため、撮像画像データを効率的に記録媒体へ記録することができる。
また、出力先の共通エリアが低解像度で表示されるように構成されている場合、高解像で符号化された撮像画像データを低解像度で復号化することにより、出力先の解像度に対応した画像表示を行うことができる。
【０１８０】
また、撮像画像データを複数の複数エリアに分割し、さらに当該各複数エリアの最大公約数の大きさの最小単位エリアで各複数エリアを分割するように構成すれば、撮像画像データを最小単位エリアごとに任意の解像度で設定することができ、１つの撮像画像データにおける解像度設定の自由度をフレキシブルに実現することが可能となる。
【０１８１】
また、本発明によれば、ユーザが被写体を画像記録装置で撮影している最中に、当該画像記録装置に対するユーザ操作によって、撮像画像データの解像度を任意に変更できる構成であるため、撮像画像データが、ユーザの所望する以上に高画質な画像データとならないようにすることが可能である。
【０１８２】
具体的には例えば、ユーザが、ワイド撮影（広角）やテレ撮影（望遠）等というような、画像記録装置への操作（ズーム操作）を実行した場合、当該ズーム操作に対応して撮像画像データの解像度が変動する構成にすれば、撮影当初、高解像度に設定しているために、被写体に対する高解像度の撮像画像データを取得できる場合であっても、例えば、ユーザのズーム操作をテレ撮影（望遠）側にすることで解像度は低くなり、記録媒体に保存するために要する記録容量が必要以上に増加することを防止することができる。
一方、撮影当初、低解像度に設定しているため、被写体の画質が悪くなると撮影中に判断すれば、撮影途中であっても解像度の変更を行うことができる。また、撮像画像データの記録媒体上の記録容量を減少させることで、撮像画像データの読み出し或いは転送時に、過剰な負荷が通信システムに及ぶことを防止することができる。
【０１８３】
また、上記ズーム操作に伴って撮像画像データ内の被写体の占める一定領域や被写体に対する焦点距離が変化するが、この領域や焦点距離の変化に応じて撮像画像データの解像度が変更するように構成すれば、少なくとも撮影対象である被写体に対する解像度を一定に維持することが可能となる。
【０１８４】
さらに、被写体までの測距距離に基づいて、撮像画像データの解像度が変更するように構成すれば、撮影対象である被写体に対する解像度を一定に維持することが可能となり、被写体領域を画像加工した撮像画像データの画質を、全体的に同程度に保つことができる。
【図面の簡単な説明】
【図１】本発明を適用したデジタルビデオカメラ１０の外観図である。
【図２】本発明を適用したデジタルビデオカメラ１０の内部構成図である。
【図３】デジタルビデオカメラ１０の機能である画像圧縮解凍部１０８の有する符号化機能１０８ａのブロック図である。
【図４】離散ウェーブレット変換部２０３により出力されるサブバンドの構成例を示した図である。
【図５】エントロピ符号化部２０５がサブバンドをさらに分割することにより生成されるコードブロックの例を示した図である。
【図６】図４に示すサブバンドにおいて、画像データ内の特別な領域（ＲＯＩ）に対してマスクを施した例を示した図である。
【図７】撮像素子により取得された動画像を表示したモニタＴＶ画面例を示した図である。
【図８】撮像素子により取得された動画像を表示したモニタＴＶ画面例、及びタイル分割例を示した図である。
【図９】撮像素子により取得された動画像を表示したモニタＴＶ画面例、及びタイル分割例を示した図である。
【図１０】撮像素子により取得された動画像をプリンタに出力する場合のタイル分割例を示した図である。
【図１１】符号列形成部２０６による符号化データの選択例を示した図である。
【図１２】符号列形成部２０６による符号化データの選択例を示した図である。
【図１３】符号列形成部２０６が生成する最終的な符号列の構成例を示した図である。
【図１４】デジタルビデオカメラ１０の機能である画像圧縮解凍部１０８の有する復号化機能１０８ｂのブロック図である。
【図１５】復号化機能１０８ｂによって復元されるデータの解像度の相違を示した図である。
【図１６】ユーザによるズーム変更操作によって、撮影画像データの解像度を変化する構成にした第２の実施の形態、及びデジタルビデオカメラと被写体間の距離に基づいて、画像データの解像度を変化する構成にした第３の実施の形態のデジタルビデオカメラ１０の機能ブロック図である。
【図１７】ＤＶフォーマットに従う画像情報の構成例を示した図である。
【図１８】画像圧縮フォーマットに従う画像情報の構成例を示した図である。
【図１９】ユーザが、デジタルビデオカメラ１０によって撮影する際の撮影対象及び被写体を示した図である。
【図２０】デジタルビデオカメラ１０による記録動作のフローチャートである。
【図２１】ユーザのズーム変更操作によって、被写体の解像度の変化の例を、撮像時間の経過とともに示した図である。
【図２２】被写体と解像度の関係を、図１９の撮影対象によって説明した図である。
【図２３】ユーザが被写体を撮影したときの撮影画像のイメージから、指定した一部領域画像を切り出した画像加工を示す図である。
【図２４】ユーザが被写体を撮影したときの撮影画像のイメージに、所定の画像を重ね合わせた加工を施し、当該加工画像から、ユーザが指定した一部領域画像を切り出した画像加工を示す図である。
【図２５】デジタルビデオカメラ１０が、撮影画像データを記録するときの記録動作を示すフローチャートである。
【図２６】被写体までの測距検出結果と解像度の変化の関係を示した図である。
【図２７】デジタルビデオカメラの機能をコンピュータに実現させるためのプログラムをコンピュータ読み取り可能な記憶媒体から読み出して実行する当該コンピュータの構成を示すブロック図である。
【符号の説明】
１０１ レンズ部
１０２ 撮像部
１０３ カメラ信号処理部
１０４ 画像記憶部
１０５ スイッチ操作部
１０６ ディスプレイ表示部
１０７ 画像処理部
１０８ 画像圧縮解凍部
１０９ ハードディスク
１１０ ＨＤ−Ｉ／Ｆ部
１１１ ＣＰＵ部
１１２ プログラム記憶部
１１３ プログラムフラッシュメモリ部
１１４ 外部モニタＩ／Ｆ部
１１５ モニタＴＶ
１１６ プリンタＩ／Ｆ
１１７ プリンタ
【発明の属する技術分野】
本発明は、例えば、撮像素子により取得した撮像画像情報を処理して記録媒体に記録する装置或いはシステムに用いられる、画像処理装置、画像処理システム、画像処理方法、それを実施するためのプログラムを記憶したコンピュータ読取り可能な記憶媒体、及び当該プログラムに関するものである。
【０００２】
【従来の技術】
従来より例えば、撮像素子で被写体を撮像して得られた、当該被写体の撮像画像（動画像又は静止画像）情報を処理し、これを撮像画像データ（デジタル信号）として記録媒体に記録し、この記録された撮像画像データを再生する画像記録再生装置の代表的なものとしては、例えば、デジタル信号を磁気テープ等へシーケンシャルに記録するデジタルＶＴＲや、ビデオ、或いはテープレコーダ等が挙げられる。
【０００３】
また、近年では、パーソナルコンピュータ（ＰＣ）の普及やインターネット等を利用したデジタル画像情報に対する需要の高まりから、例えば、光ディスクやハードディスク等のランダムアクセスメディア等に、上記撮像画像（動画像又は静止画像）データを記録するデジタルカメラやデジタルビデオカメラも普及している。
【０００４】
そこで、例えば、デジタルカメラの中には、連写機能等により、一連の複数コマからなる動画像を記録できるものがあり、これは、例えばゴルフのスイング動作等というような撮影に用いられたりする。
【０００５】
また、デジタルビデオカメラの中には、動画と静止画の両方を撮影できるものが存在する。このようなデジタルビデオカメラで撮影し、これにより取得した撮影画像データ（動画及び静止画データ）を記録媒体へ記憶する方法としては、動画用のビデオテープに静止画を記録する方法や、動画とは別に半導体メモリ等の小型記録媒体を用いて、動画とは独立に静止画を記録する方法、或いは、光又は磁気ディスク等の大容量ランダムアクセスの記録媒体に、動画と静止画の両方を記録する方法が挙げられる。
【０００６】
ところで、デジタルＶＴＲやデジタルカメラ等は、撮影画像データを記録媒体に記録する際、その記録情報量を削減するために、撮影画像情報（画像信号）をデジタル信号に変換した後、当該デジタル信号を圧縮処理して、この圧縮したデジタル信号を記録媒体に記憶するように構成されている。
これにより、記憶容量の少ない記録媒体であっても、より多くの動画像又は静止画像情報を記録媒体に記録することが可能となる。
【０００７】
撮影画像データを記録媒体へ記録する際に用いる圧縮方式には、種々の方式がある。例えば、ディスクリートコサイン変換（以下、ＤＣＴという）方式は、画像データを、水平方向及び垂直方向がｎ画素の大きさ（ｎ×ｎ）のブロックに分割した上で、ブロックごとにＤＣＴ等の直交変換を施し、各ＤＣＴ係数を所定のビット数に丸めることで量子化する。
【０００８】
このとき、撮影画像データが低周波成分域に偏って存在することから、高周波成分のビット数を減らすことで記録媒体へ記録するデータ量（情報量）を削減することができる。
【０００９】
また、ハフマン符号化等の可変長符号化方式では、出現確率のより高いビットシーケンスに対して、より短い長さの符号を割り当てることにより、効率の良いデータ圧縮処理を行う。
【００１０】
また、動画像を圧縮して記録媒体に記録する場合、動画像がフレーム間で強い相関を有するという性質を利用し、例えば、当該フレーム間の差分を抽出して、当該差分情報を記録媒体に記録するように構成にすれば、大幅にデータ量を削減した圧縮を行うことが可能となる。
【００１１】
上述したような様々な圧縮技術を組み合わせて、動画像や静止画像に対して圧縮を施し、その画像データ量を削減した上で、シーケンシャルアクセスメディアであるテープや、ランダムアクセスメディアである固体磁気ディスクメモリ、光ディスクメモリ、或いは半導体メモリ等に記録するのが、一般的な画像記録システムである。
【００１２】
画像記録システムにおいて、動画再生を行う環境という観点からみると、まず、従来は標準ＴＶのアスペクト比（画面縦横比）が４：３に固定され、また標準ＴＶ方式がＮＴＳＣやＰＡＬ等の一種類であったのに対し、近年では、様々なＴＶ方式が提案され又は規格化されており、現に、新たな規格のＴＶもあらわれている。
【００１３】
例えば、新たな規格のＴＶとして、画面のアスペクト比（画面縦横比）が１６：９を有するＳＤＴＶやＨＤＴＶ等が挙げられる。また、デジタルＴＶの規格で、垂直解像度で分類した場合に、４８０インターレース（以下、「Ｉ」という）や、４８０プログレッシブ（以下、「Ｐ」という）、７２０Ｐ、或いは１０２４Ｉ等が存在するというように、標準ＴＶ信号も多様化してきている。
【００１４】
また、画像記録システムのユーザ側の使用方法の観点からみると、従来では、ユーザは、例えばビデオカメラレコーダを主に動画像データの再生を行うために使用していた。すなわち、ユーザは、画像記録システムにより、動画像データを記録媒体に記録し、当該記録媒体から動画像データを読み込んで、標準方式のＴＶに出力して再生することを目的としていた。
【００１５】
これに対して近年では、ユーザは、画像記録システムを用いて静止画像を記録した後、高解像度のパソコン（ＰＣ）用モニタＴＶによって、記録した静止画像を表示して鑑賞したり、或いはプリンタを用いて、当該静止画像を紙媒体等に印刷するために、画像記録装置を使用している場合もある。
【００１６】
上述のように、ユーザがプリンタを用いて静止画像を紙媒体に印刷するような場合、印刷時の静止画像は、当該静止画像をＴＶに表示する時の解像度よりもさらに高画質な画像データでなければ、印刷後の静止画像は、ユーザにとって満足のいく画質にならない。
【００１７】
また、ユーザは、例えば、高解像度のＰＣ用モニタＴＶ等を用いて、静止画像のみならず動画像を鑑賞する場合もある。この場合、静止画像又は動画像にかかわらず、デジタルビデオカメラ等の撮像素子の解像度が高解像度であり、モニタや紙媒体等に出力される画像が高画質であることが要求される。
【００１８】
そこで、従来のような、ユーザが、再生（出力）側であるＴＶの解像度に合わせた撮像素子を有するデジタルビデオカメラを用いて、被写体を撮影することに代わって、近年では、ユーザは、ＴＶの解像度を越えた高解像度の撮像素子を有するデジタルビデオカメラ等を用いて被写体を撮影し、これにより高解像度の撮影画像データを取得するようになっている。
【００１９】
上述のようにして、ユーザが高解像度（高画質）の撮影画像データ（動画像、静止画像）を取得するときの撮影目的は、デジタルビデオカメラ等に接続されたＴＶモニタに動画像データを再生することであり、また静止画像データをＰＣ用モニタ又はプリンタへ出力することである。
このため、デジタルビデオカメラには、取得した動画像データの解像度をＴＶモニタの解像度に対応させるためのデータ縮小や、動画像データの部分切出しを行って記録媒体に記録する機能や、撮像素子の解像度で構成された高画質の画像データをそのまま記録媒体へ記録する機能を具備して構成されたものも存在する。
【００２０】
【発明が解決しようとする課題】
しかしながら、上述したような動画・静止画の両方を記録できるように構成された従来の画像記録装置（ビデオカメラ等）は、動画像データと静止画像データの相違により、記録媒体への記録方法を変更する必要があった。このため、ユーザは、画像データを記録媒体へ記録する際に、ユーザは画像データの出力先（再生側）を予め想定し、その出力先（再生側）に対応する記録方法を選択しなければならなかった。
【００２１】
例えば、ユーザが撮像画像データをＳＤ−ＴＶに出力（再生）しようとする場合、ユーザがＳＤ−ＴＶに対応した記録フォーマット（例えば、ＤＶのＳＤフォーマット等）を選択することで、画像記録装置は、ＳＤ−ＴＶに対応した記録フォーマットに従った画像データを生成し、これを磁気テープ等に記録していた。また、ユーザが、静止画をプリンタ装置や高解像度用ＴＶモニタに出力しようとする場合、例えば、ユーザが解像度に依存せずに出力可能なＪＰＥＧフォーマットを選択することで、画像記録装置は、ＪＰＥＧフォーマットに従った画像データを生成し、これを不揮発メモリ等に記録していた。また、ユーザが撮像画像データをＨＤ−ＴＶに出力（再生）しようとする場合には、ユーザが、ＨＤ−ＴＶの記録フォーマット（例えば、ＤＶのＨＤフォーマット等）を選択することで、画像記録装置は、ＨＤ−ＴＶの記録フォーマットに従った画像データを生成して、これをテープ等に記録していた。
【００２２】
このように、ユーザは、画像データを記録媒体に記録する時点で、画像データの再生装置（以下、再生側又は出力先ともいう）を予め考慮して、その再生側で画像データが適切に再生されるような画像データの記録方式（記録フォーマット）を選択しなければならないという問題があった。
【００２３】
また、従来の画像記録装置における他の問題として、ユーザが、画像記録装置によって高解像度の撮像画像データを取得したものの、これが必要以上に高画質な画像データである場合には、当該画像データを記録媒体に保存するために要する記録容量が増加してしまうことや、記録媒体から当該画像データを読み込む等のデータ転送時において、過剰なデータ転送負荷が発生するという問題があった。
【００２４】
そこで、本発明は、上記の欠点を除去するために成されたもので、撮影画像データを効率よく記録媒体に記録し、また当該撮影画像データを適切に再生することができる、画像処理装置、画像処理システム、画像処理方法、それを実施するためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体、及び当該プログラムを提供することを目的とする。
【００２５】
具体的には例えば、ユーザによる被写体の撮影又は記録時では、複数の再生側（例えば、ＳＤ−ＴＶ、ＨＤ−ＴＶ等）に対応できる記録フォーマットに従った画像データを生成し、当該画像データを記録媒体に記録しておき、画像再生時には、記録媒体に記録してある当該画像データをもとにして、再生側に応じた画像データの復元を実行することにより、再生側に対応した適切な動画像又は静止画像を表示する。
【００２６】
また、ユーザが、被写体の撮影によって高解像度の撮影画像データを取得する場合、当該撮影画像データが、ユーザの所望する以上に高画質な画像データとならないように、ユーザから画像記録装置（デジタルビデオカメラ等）に対して、所定の操作を行えるようにする。
例えば、ワイド撮影（広角）やテレ撮影（望遠）等というような、画像記録装置への操作（ズーム操作）をユーザが実行した場合、当該ズーム操作に対応して画像データの解像度が変動し、少なくとも撮影対象である被写体に対する解像度を一定に維持する構成にすることで、記録媒体に保存するために要する記録容量が必要以上に増加することや、又は画像データの読み出し或いは転送時に、過剰な負荷が通信システムに及ぶことを防止する。
【００２７】
【課題を解決するための手段】
斯かる目的下において、本発明は、被写体を撮像する撮像手段と、上記撮像手段で得られた撮像画像データを、複数のエリアに分割するエリア分割手段と、上記エリア分割手段で得られた分割エリアごとに、所定の条件に基づいた符号量で符号化する符号化手段とを有することを特徴とする。
【００２８】
また、本発明は、被写体を撮像する撮像手段と、所定の条件に基づいた符号量で符号化する符号化手段とを有する画像処理装置であって、上記符号化手段で符号化された撮像画像データを、所定の復号量で復号化する復号化手段とを有することを特徴とする。
【００２９】
また、本発明は、被写体を撮像する撮像手段と、上記撮像手段で得られた撮像画像データを、複数のエリアに分割するエリア分割手段と、上記エリア分割手段で得られた分割エリアごとに、所定の条件に基づいた符号量で符号化する符号化手段と、上記符号化手段で符号化された撮像画像データを、所定の復号量で復号化する復号化手段とを有することを特徴とする。
【００３０】
また、本発明は、被写体を撮像する撮像手段と、上記撮像手段で得られる撮像画像の解像度を設定する解像度設定手段と、上記解像度設定手段で設定した上記解像度を変更する解像度変更手段と、上記解像度設定手段又は上記解像度変更手段で設定した上記解像度で、上記被写体の撮像画像データを生成する画像情報生成手段とを有することを特徴とする。
【００３１】
また、本発明は、被写体を撮像する撮像ステップと、上記撮像ステップで得られた撮像画像データを、複数のエリアに分割するエリア分割ステップと、上記エリア分割ステップで得られた分割エリアごとに、所定の条件に基づいた符号量で符号化する符号化ステップとを含むことを特徴とする。
【００３２】
また、本発明は、被写体を撮像する撮像ステップと、上記撮像ステップで得られた撮像画像データを、複数のエリアに分割するエリア分割ステップと、上記エリア分割ステップで得られた分割エリアごとに、所定の条件に基づいた符号量で符号化する符号化ステップと、上記符号化ステップで符号化された撮像画像データを、所定の復号量で復号化する復号化ステップとを含むことを特徴とする。
【００３３】
また、本発明は、被写体を撮像する撮像ステップと、上記撮像ステップで得られる撮像画像の解像度を設定する解像度設定ステップと、上記解像度設定ステップで設定した上記解像度を変更する解像度変更ステップと、上記解像度設定ステップ又は上記解像度変更ステップで設定した上記解像度で、上記被写体の撮像画像データを生成する画像情報生成ステップとを含むことを特徴とする。
【００３４】
また、本発明は、被写体を撮像する撮像ステップと、上記撮像ステップで得られた撮像画像データを、複数のエリアに分割するエリア分割ステップと、上記エリア分割ステップで得られた分割エリアごとに、所定の条件に基づいた符号量で符号化する符号化ステップとをコンピュータに実行させるためのプログラムをコンピュータ読み取り可能な記録媒体に記録したことを特徴とする。
【００３５】
また、本発明は、被写体を撮像する撮像ステップと、上記撮像ステップで得られた撮像画像データを、複数のエリアに分割するエリア分割ステップと、上記エリア分割ステップで得られた分割エリアごとに、所定の条件に基づいた符号量で符号化する符号化ステップと、上記符号化ステップで符号化された撮像画像データを、所定の復号量で復号化する復号化ステップとをコンピュータに実行させるためのプログラムをコンピュータ読み取り可能な記録媒体に記録したことを特徴とする。
【００３６】
また、本発明は、被写体を撮像する撮像ステップと、上記撮像ステップで得られる撮像画像の解像度を設定する解像度設定ステップと、上記解像度設定ステップで設定した上記解像度を変更する解像度変更ステップと、上記解像度設定ステップ又は上記解像度変更ステップで設定した上記解像度で、上記被写体の撮像画像データを生成する画像情報生成ステップとをコンピュータに実行させるためのプログラムをコンピュータ読み取り可能な記録媒体に記録したことを特徴とする。
【００３７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００３８】
［第１の実施の形態］
本発明は、例えば、図１に示すようなデジタルビデオカメラ１０に適用される。
本実施の形態のデジタルビデオカメラ１０は、被写体を撮影して取得した画像データを記録媒体に記録する場合、画像再生装置（モニタ、プリンタ等）が複数であると予定し、複数の画像再生装置の何れにも対応可能な記録フォーマットに従う画像データを生成して記録媒体に記録し、当該記録媒体に記録された画像データを任意の画像再生装置（出力先）で再生する場合、各出力先に対応したデータの復元処理を実行するように構成されている。
【００３９】
以下、本実施の形態のデジタルビデオカメラ１０の構成及び動作について具体的に説明する。
【００４０】
＜デジタルビデオカメラ１０の構成＞
デジタルビデオカメラ１０の外観図を図１に示す。
図１（ａ）は、デジタルビデオカメラ１０を保持するために必要となるグリップ側から見た斜視図である。また、図１（ｂ）は、デジタルビデオカメラ１０の側面に取り付けられたＬＣＤユニット２１側から見た斜視図である。
【００４１】
デジタルビデオカメラ１０は、カメラ本体１１、ズームスイッチ１２、カメラ部１３、リストストラップ１４、ビューファインダ１５、ポジションロックツマミ１６、モードダイアル１７、スタート／ストップボタン１８、アンロックツマミ１９、及びＬＣＤユニット２１等を含んだ構成としている。
【００４２】
カメラ本体１１は、デジタルビデオカメラ１０の実質的な構成部分であり、後述する図２に示す機能を有する構成を含んでいる。
ズームスイッチ１２は、ユーザの操作によって、ワイド撮影（Ｗ側）又はテレ撮影（Ｔ側）に切替えるためのスイッチである。
カメラ部１３は、被写体より可視光を収集するレンズを含む構成としている。リストストラップ１４は、デジタルビデオカメラ１０を保持するユーザの手の甲を押さえるためのベルトである。
ビューファインダ１５は、小型ＬＣＤ及び拡大用レンズを内蔵しており、ユーザがビューファインダ１５を介して、被写体を確認するためのものである。
【００４３】
モードダイアル１７は、撮影モードを切替えるための操作スイッチである。
ユーザがモードダイアル１７を回転させることにより、例えば、電源ＯＦＦ、ＶＴＲ、ＣＡＭＥＲＡ、ＰＨＯＴ０、及びＰＲＯＧＲＥＳＳＩＶ ＳＣＡＮ（プログレッシブスキャン）の何れかのモードヘ切替えることが可能となる。
【００４４】
ＰＨＯＴＯモードとは、撮影した静止画を記憶媒体へ記録するモードである。ＰＲＯＧＲＥＳＳＩＶ ＳＣＡＮモードとは、動画の各フレ一ムを高画質で録画するモードであり、当該モードでは、イメージセンサによって２ライン毎に読取る処理が１ライン毎に読取る処理に設定される。このため、ＰＲＯＧＲＥＳＳＩＶ ＳＣＡＮモードは、ユーザにより、主に１フレームの動画を、高画質の静止画として切り出すときに設定される。
【００４５】
ポジションロックツマミ１６は、モードダイアル１７のモード状態を固定するためのツマミである。
スタート／ストップボタン１８は、録画の開始又は停止を行うためのボタンである。
アンロックツマミ１９は、モードダイアル１７のロックを解除するツマミである。
ＬＣＤユニット２１は、ユーザが撮影画像を大きな画面で確認できるための大型ＬＣＤである。
【００４６】
尚、実際には、デジタルビデオカメラ１０は、上記図１に示した構成に加えて、例えば絞り、シャッタ、測距システム等を設けた構成としているが、この構成に関しては、本実施の形態に直接関係しないため、説明を省略する。
【００４７】
デジタルビデオカメラ１０の内部構成を図２に示す。
デジタルビデオカメラ１０は、レンズ部１０１、撮像部１０２、カメラ信号処理部１０３、画像記憶部１０４、スイッチ操作部１０５、ディスプレイ表示部１０６、画像処理部１０７、画像圧縮解凍部１０８、ＨＤ−Ｉ／Ｆ部１１０、ＣＰＵ部１１１、プログラム記憶部１１２、プログラムフラッシュメモリ部１１３、外部モニタＩ／Ｆ部１１４、及びプリンタＩ／Ｆ１１６を含む構成としている。
【００４８】
レンズ部１０１は、被写体光を撮像部１０２の撮像面に結像させる。
撮像部１０２は、レンズ部１０１からの被写体光に対して光電変換を行い、電気信号（ビデオ信号）を出力する。
カメラ信号処理部１０３は、撮像部１０２からの電気信号に対し、Ａ／Ｄ変換等を行う。
画像記憶部１０４は、カメラ信号処理部１０３によって生成されたデジタル画像データ（原動画像データ）を一時記憶する。
スイッチ操作部１０５は、デジタルビデオカメラ１０に対するユーザの操作（図１に示すズームスイッチ１２の切替えや、スタート／ストップボタン１８の押下等）に基づき、各機能部に対して制御信号を出力する。
【００４９】
ディスプレイ表示部１０６は、ビューファインダ１５やＬＣＤユニット２１に撮像画像や再生画像を表示する。
画像処理部１０７は、画像記憶部１０４に記憶された原動画像データに対し、所定の画像処理を行う。
画像圧縮解凍部１０８は、原動画像データに対して所定の条件に基づき、圧縮符号化処理を施す。
【００５０】
ＨＤ−Ｉ／Ｆ部１１０は、ハードディスク１０９内に、原動画像データ又は画像圧縮解凍部１０８による圧縮／解凍後の画像データを格納するためのインターフェースである。尚、ハードディスク１０９は、デジタルビデオカメラ１０の外部に存在するように構成されていても良い。
ＣＰＵ部１１１は、プログラム記憶部１１２内のプログラムを読み出して実行することで、デジタルビデオカメラ１０全体の動作制御を司る。
プログラムフラッシュメモリ部１１３は、デジタルビデオカメラ１０がＣＰＵ部１１１の指令によって動作するためのプログラムを、圧縮した形で記憶している。
プログラム記憶部１１２は、ＣＰＵ部１１１によって解凍又は展開されたプログラムを記憶する。
【００５１】
外部モニタＩ／Ｆ部１１４は、デジタルビデオカメラ１０内で得られた画像データを、モニタＴＶ１１５へ表示するためのインターフェースである。
尚、モニタＴＶ１１５としては、例えば、高解像度用ＴＶモニタや、ＳＤ−ＴＶ、或いはＨＤ−ＴＶ等が適用可能である。
【００５２】
＜デジタルビデオカメラ１０の記録動作＞
デジタルビデオカメラ１０において、被写体の撮影画像データを記録するときの動作について説明する。
【００５３】
先ず、ユーザが、デジタルビデオカメラ１０の電源（不図示）を投入すると、ＣＰＵ部１１１は、プログラムフラッシュメモリ部１１３内に圧縮格納してあるプログラムを読み込み、プログラム記憶部１１２で当該プログラムを解凍及び展開して実行することで、ユーザによる操作指令（例えば、撮影開始指令等）に応じた動作制御を行う。
【００５４】
次に、ユーザは、図１に示すモードダイアル１７を撮影モードに切替える。例えば、ユーザは、モードダイアル１７をＣＡＭＥＲＡモードに切替え、スイッチ操作部１０５に含まれる撮影ボタン（図１に示すスタート／ストップボタン１８）を押下する。
この場合、被写体からの光は、レンズ部１０１を通して撮像部１０２に含まれる撮像素子上に結像される。撮像部１０２は、当該被写体光を電気信号に変換して出力する。
【００５５】
カメラ信号処理部１０３は、撮像部１０２の出力信号を処理し、当該処理後の画像データを、所定の周期で画像処理部１０７に出力する。画像処理部１０７は、カメラ信号処理部１０３から出力された画像データに対し、所定の画像処理を施す。
【００５６】
画像記憶部１０４は、画像処理部１０７によって画像処理されたデジタル画像データ（原動画像データ）を、所定の周期で、一時的に蓄積する。また、ＣＰＵ部１１１は、原動画像データをディスプレイ表示部１０６へ送信し、ディスプレイ表示部１０６は、原動画像データを、現在撮影中の動画像として表示する。
【００５７】
画像圧縮解凍部１０８は、詳細は後述するが、画像記憶部１０４に一時的に蓄積された原動画像データに対して、所定の条件に基づき、圧縮符号化処理を施す。画像記憶部１０４は、上記圧縮符号化処理が施された動画像データ（圧縮本動画像データ）を、一時的に記憶しながら、一定時間ごとの最新の圧縮本動画像データを蓄積する。
【００５８】
画像記憶部１０４に蓄積された圧縮本動画像データは、所定の周期でＨＤ−Ｉ／Ｆ部１１０を介して、ハードディスク１０９に格納される。
【００５９】
次に、ユーザは、デジタルビデオカメラ１０のよる撮影終了操作を行う。例えば、ユーザは、図１に示すスタート／ストップボタン１８を再度押下すると、このユーザ操作を認識したＣＰＵ部１１１は、この時に画像記憶部１０４内に蓄積されている圧縮本動画像データを、ハードディスク１０９に格納する。
【００６０】
尚、上述の構成では、撮像した動画像データ（圧縮本動画像データ）を格納する記録媒体としてハードディスク１０９を用いるようにしたが、これに限られることはなく、例えば、光ディスクや、光磁気ディスク、半導体の不揮発メモリ、或いは磁気テープのようなシーケンシャルメディア等にも適用可能である。
【００６１】
＜デジタルビデオカメラ１０による再生動作＞
ここでは、ハードディスク１０９に格納された圧縮画像データをデジタルビデオカメラ１０によって再生するときの動作について説明する。
【００６２】
先ず、ユーザは、図１に示すモードダイアル１７を再生モードに切替える。例えば、ユーザは、モードダイアル１７をＶＴＲモードに切替えると、ＣＰＵ部１１１は、撮像した圧縮画像データをハードディスク１０９から読み込んで、再生処理を開始する。
【００６３】
具体的には、ＣＰＵ部１１１は、ハードディスク部１０９から圧縮本動画像データを読み出し、読み出された圧縮本動画像データは、ＨＤ−Ｉ／Ｆ部１１０を介して、画像記憶部１０４へ一時的に保存される。
画像圧縮解凍部１０８は、詳細は後述するが、画像記憶部１０４に一時保存された圧縮本動画像データに対して、画像出力先（使用目的）に対応した解凍復号化処理を施す。
この画像出力先は、モニタＴＶ１１５やプリンタ１１７に相当する。ここでは画像出力先がモニタＴＶ１１５の場合、画面サイズのアスペクト比（画面の縦横比）が標準の４：３であるＳＤ−ＴＶ、或いは１６：９である高画質なＨＤ−ＴＶ等で構成されているものとする。
【００６４】
ＣＰＵ部１１１は、モニタＩ／Ｆ部の接続端子からの出力信号を検出したり、或いは、ユーザが設定したスイッチ操作１０５の設定内容を検出することにより、画像出力先を判断する。画像圧縮解凍部１０８は、ＣＰＵ部１１１による判断結果を基にして、画像出力先に応じた適切な解凍復号化処理を実行する。
【００６５】
例えば、画像出力先が、モニタＴＶ（ＳＤ−ＴＶ又はＨＤ−ＴＶ）１１５の場合、画像圧縮解凍部１０８は、画像記憶部１０４に一時保存された圧縮本動画像データに対して、ＳＤ−ＴＶ（又はＨＤ−ＴＶ）への出力に対応した解像度や、画質、或いは画像アスペクトになるような解凍復号化処理を行う。
ＣＰＵ部１１１は、画像圧縮解凍部１０８により解凍復号化処理された動画像データを、モニタＴＶ１１５に出力するための指令を出す。
【００６６】
また、画像出力先が、プリンタ１１７の場合、画像圧縮解凍部１０８は、ハードディスク１０９に保存された圧縮本動画像データに対して、プリンタ１１７の出力に対応した解像度又は画質等になるような解凍復号化処理を行う。
ＣＰＵ部１１１は、画像圧縮解凍部１０８により解凍復号化処理された動画像データを、プリンタ１１７に出力するための指令を出す。
【００６７】
＜画像圧縮解凍部１０８による符号化処理＞
ここでは、図１に示す画像圧縮解凍部１０８が有する符号化機能について説明する。尚、当該符合化機能を画像圧縮解凍部１０８以外の他の構成部にもたせるようにしてもよい。
【００６８】
図３（ａ）に、画像圧縮解凍部１０８の機能ブロックを示す。図３（ａ）に示すように、画像圧縮解凍部１０８は、符合化機能１０８ａと復号化機能１０８ｂを含む構成としている。
【００６９】
図３（ｂ）は、符号化機能１０８ａの構成を示したものである。図３（ｂ）に示すように、符号化機能は、コンポーネント変換部２０１、タイル分割部２０２、離散ウェーブレット変換部２０３、量子化部２０４、エントロピ符号化部２０５、及び符号列形成部２０６を含んで構成している。
【００７０】
先ず、コンポーネント変換部２０１は、画像記憶部１０４から出力された原動画像データに対して、色空間変換処理を行う。コンポーネント変換部２０１は、当該色空間変換処理で得た撮像素子における各画素の色成分データを、必要に応じて間引いた後、タイル分割部２０２に出力する。
【００７１】
タイル分割部２０２は、コンポーネント変換部２０１が出力した画像データを、所定の大きさの複数の矩形タイルに分割する。尚、この矩形タイルの大きさは、最大で各色成分のデータ全体の大きさとすることができ、この場合、タイル分割部２０２は、画像データに対して実質的にタイル分割を行わないことになる。
【００７２】
離散ウェーブレット変換部２０３は、タイル分割部２０２が出力した画像データに対して、２次元の離散ウェーブレット変換を施すことによって、当該画像データを周波数成分ごとに分解し、各周波数の帯域に属する変換係数群（以下、サブバンドという。）を出力する。
【００７３】
離散ウェーブレット変換部２０３により出力されるサブバンド（所定の条件）の構成例を図４に示す。図４は、離散ウェーブレット変換部２０３によって、画像データの低周波帯域を、再帰的に２段階（レベル）まで２次元離散ウェーブレット変換したときのサブバンド構成図である。
尚、画像データに対して非可逆符号化処理を実行する場合、離散ウェーブレット変換部２０３は、ウェーブレット変換後の各周波数の変換係数が実数になる実数型のフィルタを用いる。一方、画像データに対して可逆符号化処理を実行する場合は、離散ウェーブレット変換部２０３は、ウェーブレット変換後の各周波数の変換係数が整数になる整数型のフィルタを用いる。
【００７４】
量子化部２０４は、離散ウェーブレット変換部２０３によってウェーブレット変換されたサブバンドに対し、所定の方法により量子化を行い、量子化インデックスを生成してエントロピ符号化部２０５に出力する。
尚、画像データを可逆符号化する場合、量子化部２０４は、離散ウェーブレット変換部２０３からのサブバンドに対して量子化を行わない。したがって、この場合、量子化部２０４に入力されたサブバンドの変換係数そのものが、エントロピ符号化部２０５に出力される。
【００７５】
エントロピ符号化部２０５は、図５に示すように、量子化部２０４から出力されたサブバンドを、さらに複数の矩形ブロック（以下、コードブロックと呼ぶ。）に分割する。尚、コードブロック（所定の条件）の矩形ブロックサイズが、サブバンドの矩形ブロックサイズと同一の場合、エントロピ符号化部２０５はサブバンドを分割しない。
【００７６】
また、エントロピ符号化部２０５は、画像データに対して、コードブロックごとに独立してエントロピ符号化処理を行い、符号化データを生成する。このとき、エントロピ符号化部２０５は、量子化インデックスを表すビットを、上位ビットプレーンから順に算術符号化する。
【００７７】
また、エントロピ符号化部２０５は、画像処理部１０７に含まれる領域設定部（不図示）により、画像データ内の特別な領域（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ：以下、略してＲＯＩと呼ぶ。）がユーザから設定された場合、このＲＯＩ（所定の条件）を対象に符号化する。
具体的には、エントロピ符号化部２０５は、ユーザから設定されたＲＯＩに対して、当該ＲＯＩに係る変換係数を特定するためのマスクを生成する。
【００７８】
図６は、上記図４に示す各サブバンド（ＨＬ１、ＬＨ１等）について、ＲＯＩに係るマスクの例を示したものである。図６に示す各サブバンドにおける白い部分がＲＯＩに相当し、このＲＯＩに含まれる変換係数は、エントロピ符号化部２０５によって、符号化処理が実行される前に、所定のビット数分だけ上位方向にシフトアップされる。
【００７９】
すなわち、ＲＯＩに含まれる変換係数は、所定のビット数分だけシフトされたことにより、ＲＯＩ以外の領域に係わる変換係数とビットプレーン上で完全に分離されることから、エントロピ符号化部２０５は、ビットプレーン内の全てのビットの１又は０の分布状態に基づき、ＲＯＩに係る変換係数を特定するためのマスクを生成することが可能となる。
【００８０】
尚、上記のＲＯＩに含まれる変換係数に対するビットのシフトアップ数は、後述する符号列形成部２０６が生成する符号列の所定のマーカにパラメータとして追加される。
【００８１】
上述したＲＯＩ領域に生成するマスクを、動画像のＴＶ画面に適用した具体例を以下に示す。図７〜図９は、撮像部１０２により取得される動画像が表示されるモニタＴＶ１１５の画面例を示したものである。図７〜図９に示すＡ１１２領域は、モニタＴＶ１１５が、画面アスペクト比１６：９のＴＶである場合、また４：３のＴＶである場合の何れの場合にも、画像データが映し出される部分であり、また、Ａ１１１領域及びＡ１１３領域は、モニタＴＶ１１５が、画面アスペクト比４：３のＴＶである場合のみ、画像データが映し出される部分である。
【００８２】
モニタＴＶ１１５が、画面アスペクト比１６：９であるような高画質なＨＤ−ＴＶである場合、画面表示される画像データが十分な画質になるような解像度を確保する必要がある。このため、エントロピ符号化部２０５は、ＨＤ−ＴＶという所定の条件に基づき、Ａ１１２領域に映し出される画像データに対して、高画質又は高解像度となるような符号化処理を行う。
【００８３】
また、タイル分割部２０２は、例えば、図７に示す画面全体を１つのタイルとして構成してＡ１１２領域に相当するマスクを生成する。或いは、図８に示すように、Ａ１１１、Ａ１１２、及びＡ１１３をそれぞれ、タイル１、タイル２、及びタイル３に分割し、Ａ１１２領域のみマスクを生成する。
【００８４】
また、タイル分割部２０２は、図９に示すように、Ａ１１１（タイル１）、Ａ１１２（タイル２）及びＡ１１３（タイル３）の各領域を、共通の大きさ（最大公約数サイズ）のタイル（Ａ１１５）で分割し、分割したタイル毎に対し適宜マスクを生成する。このとき、タイル分割部２０２は、Ａ１１２（タイル２）に含まれる複数のタイル（Ａ１１５）を対象としてマスクを生成する。
【００８５】
上述のようなタイル分割部２０２は、モニタＴＶ１１５の画面に表示する画像データに限らず、例えば、プリンタ１１７（所定の条件）に出力する画像データに対しても、タイル分割する。先ず、モニタＴＶ１１５に画像データを表示することで、出力画像の確認をしてから、プリンタ１１７へ実際に出力する場合、図１０に示すように、Ａ１２１領域がモニタＴＶ１１５の画面に映し出される領域であり、Ａ１２２領域が動画中の１コマとして印刷される領域であるとすると、通常、Ａ１２２領域はテレビジョンやＰＣ用のモニタで鑑賞するときより、高画質又は高解像度が要求される。このため、タイル分割部２０２は、Ａ１２１及びＡ１２２領域を、最大公約数サイズのタイル（Ａ１２５）で分割した後、Ａ１２２領域に含まれるタイルに対してマスクを生成する。
【００８６】
上述したように、タイル分割部２０２によって特定領域にマスクが生成されることで、エントロピ符号化部２０５は、当該マスクの生成された領域（例えば、Ａ１１２）をＲＯＩとして識別し、このＡ１１２領域に映し出される画像のみが高画質又は高解像度になるように、画像データに対して所定の符号化を行う。
【００８７】
尚、モニタＴＶ１１５が、アスペクト比４：３のＴＶである場合は、標準的なＳＤ−ＴＶであるため、例えば、タイル分割部２０２が、Ａ１１２領域にマスクを生成した場合、エントロピ符号化部２０５は、ＳＤ−ＴＶという所定の条件に基づき、Ａ１１１領域及びＡ１１３領域に映し出される画像データに対して、Ａ１１２領域に比べて低い画質又は低い解像度となる符号化処理を行えばよい。
【００８８】
符号列形成部２０６は、所定の方法で設定されたプログレッシブ形態に基づいて、エントロピ符号化部２０５からの画像データの符号列を形成する。このとき、符号列形成部２０６は、設定されたプログレッシブ形態に対応して、各コードブロックの符号化データの上位ビットプレーンから順に、適量の符号化データを選択して１つ以上のレイヤを構成する。
【００８９】
図１１及び図１２に、符号列形成部２０６による符号化データの選択例を示す。図１１に示すように、例えば、設定されたプログレッシブ形態がＳＮＲスケーラブルの場合、符号列形成部２０６は、レイヤを単位として、上位レイヤから順に下位レイヤに向かい符号化データを配置する。
【００９０】
この場合、符号列形成部２０６は、後半のレイヤを省略することで、下位ビットプレーンに係る符号化データがビットプレーンに含まれないようなレイヤ選択を行うことが可能である。このように、符号列形成部２０６が、ビットプレーンの中に特定のレイヤの符号化データを含まないような選択を行うことで、当該符号列のデータ量を最適化できる。したがって、画像圧縮解凍部１０８は、詳細は後述するが、符号列形成部２０６により最適化されたデータ量に応じて符号列を復号し、再生される画像の画質を画像出力先の必要解像度にあわせて変化させる。
【００９１】
一方、設定されたプログレッシブ形態が空間解像度スケーラブルである場合、図１２に示すように、符号列形成部２０６は、低周波サブバンドから高周波サブバンドに向けて符号化データを配置する。この場合、符号列形成部２０６は、後半のサブバンドの符号化データを、ビットプレーンの符号列に含めないように選択することもできる。このように、符号列形成部２０６が、ビットプレーンの中に特定のサブバンドの符号化データを含まない選択を行うことで、当該符号列のデータ量を最適化できる。
したがって、画像圧縮解凍部１０８は、詳細は後述するが、符号列形成部２０６により最適化されたデータ量に応じて符号列を復号し、再生される画像の画質を画像出力先の必要解像度にあわせて変化させる。
【００９２】
符号列形成部２０６は、設定された各プログレッシブ形態に応じて形成した符号列に対し、各種マーカから構成されるヘッダを追加して、最終的な符号列を生成し、これを画像記憶部１０４へ出力する。
【００９３】
符号列形成部２０６が生成する最終的な符号列の構成を図１３に示す。
図１３に示すように、メインヘッダＭＨ３６０は、圧縮符号化に関するパラメータ及びプログレッシブ形態等の符号列構成に関する情報を指定するマーカを含んでいる。この圧縮符号化に関するパラメータとは、具体的には例えば、画像の解像度、色成分数、各色成分のビット精度（各色成分を表現するビット数）、画像を構成するタイルのサイズ、離散ウェーブレット変換のフィルタのタイプ、及び量子化ステップ等の圧縮符号化に関するパラメータをいう。
【００９４】
タイルヘッダＴＨ＿Ｉ３６５は、ｉ番目のタイルの開始位置を表すマーカを含んでいる。また、符号列形成部２０６が、当該ｉ番目のタイルにおいて、符号化に関するパラメータを、以前に符号化したタイルに基づき変更した場合、タイルヘッダＴＨ＿Ｉ３６５は、当該変更前のタイルによるパラメータを指定するマーカも含んでいる。
尚、ＢＳ＿Ｉ３６６はｉ番目のタイルの符号化データであり、その配列はプログレッシブ形態に基づき、例えば図１１又は図１２のように構成されている。
【００９５】
＜画像圧縮解凍部１０８による復号化処理＞
ここでは、図３（ａ）に示す画像圧縮解凍部１０８の復号化機能１０８ｂについて説明する。尚、当該復号化機能１０８ｂを画像圧縮解凍部１０８外の他の構成部にもたせるようにしてもよい。
【００９６】
図１４は、上記復号化機能１０８ｂの構成を示したものである。図１４に示すように、復号化機能１０８ｂは、符号列入力部９０１、エントロピ復号部９０２、逆量子化部９０３、逆離散ウェーブレット変換部９０４、画像構成部９０５、及びコンポーネント逆変換部９０６を含む構成としている。
【００９７】
先ず、符号列入力部９０１は、画像記憶部１０４から出力された圧縮本動画像データの符号列を入力し、当該データから画像又はタイルのサイズや、プログレッシブ形態、或いは量子化ステップ等というような復号処理に必要なパラメータを抽出し、入力符号列をエントロピ符号化部９０２へ出力する。
【００９８】
尚、復号化機能１０８ｂが復号対象とする全体の符号列には、上記図１３の形態で構成された複数タイル分の符号列が、図３に示す符号化器に含まれるコンポーネント変換部２０１によって得た色成分の数分含まれている。本実施の形態では、復号化機能１０８ｂは、色成分ごとに独立して復号処理を行うこととし、復号対象となる色成分を構成する各タイルの符号列を、順次復号化する。
【００９９】
エントロピ復号部９０２は、符号列入力部９０１からの符号列に対して復号処理を施し、量子化インデックスを生成する。この復号処理により、コードブロック内の量子化インデックスが、上位ビットプレーンから順に復号され、量子化インデックスが復元される。
【０１００】
このとき、例えば、符号列のプログレッシブ形態がＳＮＲスケーラブルであり、符号列入力部９０１により入力された符号列には、所定数の上位レイヤのみが含まれている場合、エントロピ復号部９０２は、入力されているレイヤで復号処理を打ち切り、この時点での復元値を量子化インデックスとして出力する。
【０１０１】
また、レイヤ上にＲＯＩを指定したマーカが存在する場合、上記図３（ｂ）に示した構成を有する符号化機能１０８ａによって、当該マーカに係る上位ビットプレーンの量子化インデックス値が、マーカに付随したシフトアップ数分、上位方向にビット移動がされている。このため、エントロピ復号部９０２は、マーカに係る上位ビットプレーンの量子化インデックス値を、逆にシフトアップ数分、下位方向にビット移動（シフトダウン）してから、これを逆量子化部９０３へ出力する。
このエントロピ復号部９０２のシフトダウン処理により、ＲＯＩ部分の量子化インデックスは適切な値に復元される。
【０１０２】
ＲＯＩが設定されている場合の復号化の例を、以下に示す。
画像データの再生の際にモニタＴＶ１１５に高画質なＨＤ−ＴＶが接続されており、図３（ｂ）に示したエントロピ符号化部２０５によって、ユーザが設定したＲＯＩにマスクが生成されている場合、エントロピ復号部９０２は、例えば、図７〜図９に示す１１２領域の画像データのみを、高画質又は高解像度に復号化する。
【０１０３】
また、モニタＴＶ１１５が標準のＳＤ−ＴＶである場合、エントロピ復号部９０２は、例えばＡ１１１〜Ａ１１３の全領域の画像データをすべて標準的な画質や解像度で復号化する。また、モニタＴＶ１１５が、アスペクト比１６：９であるが標準画質のテレビジョンである場合、エントロピ復号部９０２は、例えばＡ１１２領域の画像データのみを標準的な画質や解像度で復号化する。
【０１０４】
また、モニタＴＶ１１５が、テレビジョン又はＰＣモニタであって、さらにプリンタ１１７が接続されたデジタルビデオカメラ１０の場合、エントロピ復号部９０２は、例えば図１０に示すＡ１２２領域に含まれるタイルの画像データのみを高画質または高解像度に復号化してプリンタ１１７によって印刷を行い、また、すべてのタイルを標準的な画質や解像度で復号化してモニタＴＶ１１５に表示する。
【０１０５】
このように、ＨＤ−ＴＶ等の高画質なモニタＴＶ１１５やプリンタ１１７で撮像画像データを出力するときは、共通エリアのみを高解像度で復号化し、ＳＤ−ＴＶ等の標準画質のモニタＴＶ１１５に撮像画像データを出力するときは、共通エリア及び非共通エリアの全領域を低解像度で復号化すればよいので、エントロピ復号部９０２は、１つの符号化データを出力先（再生側）に応じて柔軟に復号化する。
【０１０６】
逆量子化部９０３は、エントロピ復号部９０２が出力した量子化インデックスに対し、符号列入力部９０１により得られた量子化ステップを基に逆量子化を行い、変換係数を復元して逆離散ウェーブレット変換部９０４へ出力する。
【０１０７】
逆離散ウェーブレット変換部９０４は、逆量子化部９０３より入力した変換係数に対して、２次元の逆離散ウェーブレット変換を施し、これにより対応する色成分データ（符号化対象の画像がモノクロ画像の時は、画像濃度データ）を復元して、画像構成部９０５へ出力する。
【０１０８】
このとき、符号列のプログレッシブ形態が空間解像度スケーラブルであって、逆量子化部９０３が、上述した符号化器によって符号化されたサブバンドのうちの一部分のみを復元する場合、逆離散ウェーブレット変換部９０４は、当該復元されるデータの解像度を、その復元されたサブバンドのレベルに応じて変化させる。
【０１０９】
例えば、図１５は、復元されるデータの解像度の相違を示したものである。図１５に示すように、画像データについてのサブバンドの構成で、１／４相当の領域がＬＬ、ＨＬ２、ＬＨ２、及びＨＨ２から構成されているとする。このとき、例えば、逆量子化部９０３が、サブバンドＬＬの係数のみを復元した場合、逆離散ウェーブレット変換部９０４は、逆離散ウェーブレット変換を実質的に行わず、サブバンドＬＬの係数を元のデータレンジに収まるように調節した後、これを画像構成部９０５へ出力する。
【０１１０】
上記の場合、逆離散ウェーブレット変換部９０４によって復元された色成分データは、図１５でｒ＝０と示してあるように、元の解像度（圧縮本動画像データの解像度）に対して、水平および垂直方向に１／４の解像度を有する。
【０１１１】
また、逆離散ウェーブレット変換部９０４によって、ＬＬ、ＨＬ２、ＬＨ２、及びＨＨ２のサブバンドにまでひろげて復元した場合、逆離散ウェーブレット変換部９０４は、当該サブバンドに対して逆離散ウェーブレット変換を１レベル行う。これにより、図１５でｒ＝１と示してあるように、復元された色成分データは、元の解像度に対して水平及び垂直方向に１／２サイズの解像度を有する。
【０１１２】
上述した逆離散ウェーブレット変換処理は各タイル単位で行われるため、画像構成部９０５は、逆離散ウェーブレット変換部９０４からの各タイルの各色成分データを再度、元の１枚の符号化対象画像を構成する色成分データとして構成（結合）して、これをコンポーネント逆変換部９０６に出力する。
【０１１３】
コンポーネント逆変換部９０６は、画像構成部９０５からの各色成分データに対して、所定の逆変換処理を施すことにより、元の符号化対象画像の色空間を持つ画像データを復元し、画像記憶部１０４に出力する。
尚、図３に示す符号化器に含まれるコンポーネント変換部２０１が、元の色空間変換後の撮像素子の各画素の色成分データを、必要に応じて間引いて処理していた場合、コンポーネント逆変換部９０６は、逆変換を行う前に、色成分データのデータ補間を行う。
【０１１４】
上述したような本実施の形態によれば、例えば、プログレッシブ形態が空間解像度スケーラブルの場合には、復号化器が復号対象とするレイヤを制限することにより、復元される画像の解像度（画質）を、出力先（再生側）に応じて制御することが可能となる。
また、例えば、プログレッシブ形態がＳＮＲスケーラブルの場合には、復号化器が逆離散ウェーブレット変換する対象のサブバンドに関する変換レベル数を制限することにより、復元される画像の解像度（画質）を出力先に応じて制御することが可能となる。
【０１１５】
［第２の実施の形態］
本実施の形態では、デジタルビデオカメラ１０により、高解像度の撮影画像データを取得する場合、当該撮影画像データが、ユーザの所望する以上に高画質な画像データとならないように、ユーザからデジタルビデオカメラ１０に対して所定の操作（ワイド（広角）やテレ（望遠）等というようなズーム変更操作）を行えるように構成する。
【０１１６】
＜デジタルビデオカメラ１０の構成＞
本実施の形態のデジタルビデオカメラ１０の構成図を図１６に示す。
図１６に示すように、デジタルビデオカメラ１０は、レンズ部３０１、受光素子３０２、撮像部３０３、解像度変更部３０４、符号化部３０５、記録部３０６、記憶媒体３０７、解像度調査部３０８、画像加工部３０９、加工指定部３１０、ユーザ操作部３１１、表示データ制御部３１２、及び表示部３１３を含んで構成している。
【０１１７】
尚、本実施の形態のデジタルビデオカメラ１０は、図１６の破線で示した測距部３２０を含んでおらず、この測距部３２０については第３の実施の形態で説明する。また、実際には、デジタルビデオカメラ１０は、上記図１６に示した構成に加えて、例えば絞り、シャッタ、測距システム等を設けた構成としているが、この構成に関しては、本実施の形態に直接関係しないため、説明を省略する。
【０１１８】
レンズ部３０１は、フォーカスレンズ及びフォーカスレンズ駆動モータを一体化したものであり、被写体光を撮像素子３０２に結像させる。
撮像素子３０２は、レンズ部３０１からの被写光に対して光電変換を行い、電気信号を出力する。
【０１１９】
撮像部３０３は、撮像素子３０２が出力した電気信号を基に、撮影画像の画像データ、及び図１７及び図１８に示すような、画像ＩＤや水平／垂直方向サイズ等を含む画像情報を生成する。図１７はＤＶフォーマットに従う画像情報の領域構成、また図１８は、画像圧縮フォーマットに従う画像情報の領域構成を示したものである。
図１７及び図１８に示すように、それぞれの画像情報領域は、撮影画像の水平方向のサイズ９５１，９６１、撮影画像の垂直方向のサイズ９５２，９６２、及び撮影画像のＩＤ９５３，９６３を含んで構成している。
【０１２０】
解像度変更部３０４は、ユーザの操作（ズーム変更操作）によって、どの程度の解像度で被写体を撮影するかを設定又は変更するかを決定する。
符号化部３０５は、画像データに対し、解像度変更部３０４によって決定された解像度に対応する符号化データを生成する。
【０１２１】
記録部３０６は、撮像部３０３が生成した画像情報と、符号化部３０５が生成した符号化データを、記憶媒体３０７に記憶する。
解像度調査部３０８は、記憶媒体３０７に記憶された画像データ（符号化データ）の解像度を調査する。尚、解像度調査部３０８は、図１７又は図１８に示す撮影画像の水平方向のサイズ９５１，９６１と、垂直方向のサイズ９５２，９６２とから、解像度を算出する。
【０１２２】
画像加工部３０９は、ユーザからの画像加工指示に応じて、記憶媒体３０７から符号化データを読み出し、当該符号化データに対して画像加工処理を施す。
加工指定部３１０は、ユーザ操作部３１１から入力される画像加工処理のために指定された情報を画像加工部３０９に通知する。
【０１２３】
ユーザ操作部３１１は、画像データに対する画像加工処理をユーザが指定するためのインターフェースを備えている。
表示データ制御部３１２は、画像加工部３０９による加工結果や画像加工処理の際にユーザに伝達するメッセージ等を表示するための動作制御をする。
表示部３１３は、表示データ制御部３１２により動作制御されたデータ又はメッセージ等をモニタ等に表示する。
【０１２４】
＜デジタルビデオカメラ１０の記録動作＞
デジタルビデオカメラ１０において、撮像開始時に被写体の解像度を設定し、撮像中のユーザによるズーム操作にあわせて当該被写体の解像度を変更しながら、撮影画像データを記録するときの動作について説明する。
【０１２５】
図１９は、ユーザがデジタルビデオカメラ１０によって撮影する際の撮影対象を表し、図１９中に示す中央の木を被写体とする。また、この場合のデジタルビデオカメラ１０の記録動作のフローを図２０に示す。
【０１２６】
ステップＳ４０１：
ユーザは、デジタルビデオカメラ１０の電源を投入し、図１に示すモードダイアル１７を撮影モードに切替える。例えば、ユーザは、モードダイアル１７をＣＡＭＥＲＡモードに切替え、撮影ボタン（図１に示すスタート／ストップボタン１８）を押下する。この押下時点が以下のステップに示す撮像処理の開始点となる。
【０１２７】
ステップＳ４０２：
ユーザは、撮影開始時に被写体の解像度について、希望する解像度を解像度変更部３０４により設定する。解像度変更部３０４は、このユーザにより設定された解像度を検出する。
【０１２８】
ステップＳ４０３：
解像度変更部３０４は、ユーザが被写体撮影中に、図１に示すズームスイッチ１２を用いて、撮像画像のズーム変更操作を行っていることを検出した場合、このときのズーム値を検出する。
【０１２９】
ステップＳ４０４：
解像度変更部３０４は、解像度変更部３０４が検出するズーム値に応じて、撮像画像データの解像度を、リアルタイムにその時点でのズーム値に最適な解像度となるように変更する。
【０１３０】
ステップＳ４０５：
撮像部３０３は、解像度変更部３０４によって変更された解像度に対応する撮影画像の画像データ（デジタル画像データ）、及び図１７又は図１８で示した構成からなるような画像ＩＤや水平／垂直方向サイズ等を含む画像情報を生成する。また、符号化部３０５は、変更後の解像度を有する１フレーム分の撮影画像データ（符号化データ）を生成する。
【０１３１】
ステップＳ４０６：
記録部３０６は、撮像部３０３が生成した画像情報と、符号化部３０５が生成した撮影画像データ（符号化データ）を、記憶媒体３０７に記憶する。
【０１３２】
ステップＳ４０７：
撮像部３０３等は、ステップＳ４０３からステップＳ４０６までを１区切りとする１フレームの撮像動作を終了するか否かの判断を行う。例えば、ユーザが撮影ボタン（図１に示すスタート／ストップボタン１８）を再押下しない等の撮影終了操作を行っていない場合、デジタルビデオカメラ１０における当該記録動作は、ステップＳ４０３に示すズーム値検出へ遷移する。また、撮像部３０３等によって撮影動作が終了していると判断された場合、図２０に示す記録動作は、ステップＳ４０８に示す撮像処理の終了へ遷移する。
【０１３３】
＜ユーザのズーム操作に対する解像度の変更処理＞
ここでは、ユーザによる撮像中のズーム変更操作にあわせ、解像度変更部３０４が画像データの解像度を変化させる処理について説明する。
被写体の撮像時間に対する解像度の変化の例を図２１に示す。
【０１３４】
図２１に示すように、ユーザによる撮像時間の全体は６００秒であり、撮像開始時点０秒５００から１００秒後の５０１まで、ユーザによる撮影時のズーム変更操作は無い。
次に、ユーザは、５０１時点から約５０秒間かけて（５０１〜５０２の間）、ズームをワイド（Ｗ）側に操作し、５０３までの約１００秒間（５０２〜５０３の間）、このワイド撮影を維持している。
次に、ユーザは、約１００秒間かけて（５０３〜５０４の間）、ワイド側からテレ側ヘズームを操作し、１７０秒間（５０４〜５０５の間）テレ（Ｔ）撮影を行っている。
そして、ユーザは、約５０秒間かけて（５０５〜５０６の間）、ズームを標準位置に戻し、撮影終了までの３０秒間（５０６〜５０７の間）ズームの変更操作を行っていない。
【０１３５】
上記ズーム操作による解像度の時間推移を、図２０に示すデジタルビデオカメラ１０の記録動作と対応させながら、以下説明する。
図２１に示すように、撮像開始時のズームは、テレとワイドの中間点５１０に位置している。したがって、先ず、図２０に示すステップＳ４０２において、解像度変更部３０４は、撮影開始時の被写体の解像度を、指定できる解像度範囲の中間値５１１に設定する。
【０１３６】
ステップＳ４０３において解像度変更部３０４は、ズーム値が変更していないかを検出し、検出した場合はステップＳ４０４において、変更後のズーム値になるように、現在のズーム値及び解像度を変更するが、上述したように撮影開始後１００秒間（５００〜５０１の間）、ユーザはズーム操作を行っていない。このため、解像度変更部３０４は、ズーム値の変更を検出しないので、５０１時点までの間、被写体はユーザが設定した解像度５１１で撮影されることになる。
【０１３７】
次に、５０１〜５０２の間では、ユーザはズームスイッチ１２をワイド（Ｗ）側に操作しているので、解像度変更部３０４は、ズーム値の変化を検出し、当該ズーム値の変化に応じて解像度が高くなるように変更する。
具体的には例えば、撮像開始時に解像度を設定したときの撮影領域と、ワイド（Ｗ）操作後の撮影領域とを比較し、仮にワイド（Ｗ）操作によって撮影領域が２倍になった場合、解像度変更部３０４は、この時点の解像度を撮像開始時の解像度の２倍に設定する。
【０１３８】
これを、被写体と解像度の関係を示す図２２によって説明すると、例えば、撮影開始後から１００秒後である５０１時点までの撮影領域を図２２（ｂ）に示す領域とし、ユーザがズームスイッチ１２をワイド（Ｗ）側に操作することにより、５０２時点で図２２（ｃ）に示す撮影領域になった場合には、解像度変更部３０４は、図２２（ｃ）に示す点線矩形内部の解像度が、図２２（ｂ）に示す初期設定解像度と同程度になるように、５０２時点の解像度を高く設定する。
【０１３９】
また、ユーザがズームスイッチ１２をテレ（Ｔ）側に操作することにより、５０２時点で図２２（ａ）に示す撮影領域になった場合には、解像度変更部３０４は、図２２（ａ）に示す点線矩形内部の解像度が、図２２（ｂ）に示す初期設定解像度と同程度になるように、５０２時点の解像度を低く設定する。
【０１４０】
ステップＳ４０５において撮像部３０３は、解像度変更部３０４によって変更された解像度に対応する画像データ等の画像情報を生成し、ステップＳ４０６において記録部３０６は、記憶媒体３０７に画像データを記録する。
【０１４１】
次に、５０２〜５０３の間では、撮像部３０３は、上述した高解像度の設定で画像情報を生成し、記録部３０６によって画像データを記憶媒体３０７に記録する。
【０１４２】
次に、５０３時点〜５０４時点の間の約１００秒かけて、ユーザはズームスイッチ１２をテレ（Ｔ）側に操作しているが、これは図２２（ｃ）から図２２（ａ）への撮影領域の変更である。このときは、解像度変更部３０４は、所定の時間毎にズーム値を検出し、高解像度から低解像度に徐々に解像度の変更を行っており、図２０に示すステップＳ４０３〜ステップＳ４０６の記録動作が連続して実行されている。
【０１４３】
次に、５０５時点の間まで、解像度変更部３０４は解像度を変更せずに、これにより、解像度は低解像度のまま維持されながら、ステップＳ４０３〜ステップＳ４０６の記録動作が行われる。
次に、５０５時点〜５０６時点の間で、ユーザはズームスイッチ１２をズーム値がワイド（Ｗ）側へ操作して標準になるところまで戻しているが、上述した５０１時点〜５０２時点における標準→ワイド（Ｗ）側への操作変更の場合と同様に、ステップＳ４０３〜ステップＳ４０６において、解像度変更部３０４のズーム値の検出及び解像度の変更や、撮像部３０３の画像情報を生成等が行われながら、解像度が初期設定の解像度に戻る。
【０１４４】
上述のように、撮影当初に被写体に対する解像度を設定し、ユーザによる撮像中のズーム変更操作にあわせて、解像度変更部３０４が、リアルタイムに解像度を変更するように構成することで、被写体を含む撮像領域の解像度を一定に保つことができる。
これにより、例えば、ユーザが、被写体の撮影中、一時的に高解像度で撮影することを希望するため、撮影当初に高解像度で設定した後であっても、撮像終了まで常に高解像度の設定で撮影する必要はなく、任意の時点で、被写体の解像度を所望の解像度に変更することができる。したがって、デジタルビデオカメラ１０で被写体を撮像して得られる撮像画像データの肥大化を防止することが可能となる。
【０１４５】
＜画像加工部３０９による撮像画像データに対する加工処理＞
次に、上述したデジタルビデオカメラ１０の記録動作によって、記憶媒体３０７に記憶された画像データに対して、図１６に示す画像加工部３０９が行う加工処理について説明する。
【０１４６】
画像加工部３０９は、記憶媒体３０７に記憶された画像データを加工処理する場合、図１７又は図１８に示す画像ＩＤ９５３，９６３に対応する画像情報を、記憶媒体３０７から読み出す。解像度調査部３０８は、画像加工部３０９により読み出された画像情報から、撮影画像の解像度を算出し、これを画像加工部３０９に出力する。画像加工部３０９は、この解像度を基に、以下に示すような、画像加工処理を行う。
【０１４７】
（１）切り出し画像加工
図１６に示す加工指定部３１０が、ユーザによりユーザ操作部３１１を用いて指定された画像の一部領域（人物の顔部分）を画像加工部３０９に出力し、画像加工部３０９が、当該一部領域を切り出し加工した例を図２３に示す。
図２３は、ユーザが図２１で説明したズームスイッチ１２のズーム変更操作を伴いながら、被写体７０９（人物全体）を撮影したときの撮影画像のイメージ７１１及び、撮影画像中の被写体（人物全体）７０９の一部領域７１０（人物の顔部分）を切り出した場合の切り出し後の画像イメージ７１２を表示している。
【０１４８】
図２３に示すように、撮影画像のイメージ７１１に含まれる各画像（コマ）は、ズームスイッチ１２がテレ（Ｔ）側及びワイド（Ｗ）側とで、表示される被写体７０９（人物全体）の大きさが異なることから、各コマの画質が異なるのに対し、切り出し後の画像イメージ７１２に含まれる各画像（コマ）は、撮影部３０３が、図２０に示した記録動作ステップにより、全て同一の解像度で画像情報を生成しているため、被写体の画質は全撮影区間において同一となる。
【０１４９】
このため、切り出し後の画像イメージ７１２の各画像を連続させた場合に、例えば、ズームスイッチ１２がテレ（Ｔ）側時のコマで鮮明に表示される像（顔）が、ワイド（Ｗ）側時のコマになると不明瞭な像（顔）の画質になってしまうような不連続な解像度の画像イメージにはならない。このように、画像加工部３０９により、撮像画像の一部の領域を切り出す加工を施すことで、切り出し後の画像イメージ７１２に含まれる各画像の画質ムラを無くすことができる。
（２）重ね合わせ画像加工
画像加工部３０９が、上記（１）で説明した図２３に示す撮影画像イメージ７１１に対し、予め用意しておいた画像を一定区間重ね合わせる画像加工を施した例を図２４に示す。
【０１５０】
図２４は、ユーザが被写体８０３の撮影中に、上述した図２１に示すズーム変更操作をした場合に生成される撮影画像イメージ８２０、撮影画像イメージ８２０に対し所定の画像を重ね合わせた加工画像イメージ８３０、及び加工画像イメージ８３０の一部領域を切り出した画像イメージ８４０を示したものである。
【０１５１】
図２４に示すように、画像加工部３０９は、撮影画像イメージ８２０に含まれる各コマの被写体８０３の頭部付近に、星型の画像８０１を重ね合わせて、加工画像イメージ８３０を生成する。この場合、画像加工部３０９によって、撮影画像イメージ８２０の各画像（コマ）における１ピクセルに、星型の画像８０１の１ピクセルが対応するように重ね合わせ加工を施すと、被写体８０３に対して相対的な大きさを有する星型の画像８０１が付加された画像８０５〜８０９を容易に生成することが可能となる。
【０１５２】
この場合、画像加工部３０９によって撮影画像イメージ８２０の各画像（コマ）の被写体８０３の顔部付近を、矩形８０２に切り出した画像８１０〜８１４の画質は、ほぼ同程度である。このため、ユーザが撮影全区間において被写体に対して画質が平均されるような画像加工を行いたい場合は、ズームスイッチ１２をテレ（Ｔ）側、ワイド（Ｗ）側の何れに設定してあっても、ユーザは、画像データの解像度に依存しない画像加工処理を実行することができる。
【０１５３】
尚、本実施の形態において、記憶媒体３０７に画像データを記憶するまでの撮像／記憶手段と、記憶媒体３０７から撮像データを読み出して加工処理する加工手段とを、記憶媒体３０７を介してそれぞれ独立に実現する構成にすることに、何ら問題はないことは言うまでもない。
【０１５４】
［第３の実施の形態］
本実施の形態では、ユーザがデジタルビデオカメラ１０により被写体を撮影する際に得られる被写体までの距離情報を基に、被写体の解像度を変化させることができるように構成する。
＜デジタルビデオカメラ１０の構成＞
本実施の形態のデジタルビデオカメラ１０の機能構成図を図１１に示す。即ち、本実施の形態のデジタルビデオカメラ１０は、上記図１１の破線部分に示すように、第２の実施の形態における構成に対して、さらに測距部３２０を含んだ構成としている。
【０１５５】
測距部３２０は、デジタルビデオカメラ１０の位置から被写体までの距離を計測し、当該計測結果に応じてレンズ部３０１の焦点距離等を調節し、被写体に焦点を合わせる。
解像度変更部３０４は、測距部３２０が求めた被写体までの距離の計測結果に基づき、撮影画像の解像度を変更する。
【０１５６】
その他の構成部３０１〜３１３については、第２の実施の形態で上述した内容と同じ内容のため、説明を省略する。
【０１５７】
＜デジタルビデオカメラ１０の記録動作＞
デジタルビデオカメラ１０において、撮像開始時に被写体の解像度を設定し、その後の撮像中では、測距部３２０が算出した測距結果にあわせて解像度を変更しながら、撮影画像データを記録するときの動作について、図２５に示すフローチャートにより説明する。
【０１５８】
ステップＳ６０１：
ユーザは、デジタルビデオカメラ１０の電源（不図示）を投入し、図１に示すモードダイアル１７を撮影モードに切替える。例えば、ユーザは、モードダイアル１７をＣＡＭＥＲＡモードに切替え、撮影ボタン（図１に示すスタート／ストップボタン１８）を押下する。この押下時点が以下のステップに示す撮像処理の開始点となる。
【０１５９】
ステップＳ６０２：
ユーザは、撮影開始時に被写体の解像度について、希望する解像度を解像度変更部３０４により設定する。解像度変更部３０４は、このユーザにより設定された解像度を検出する。
【０１６０】
ステップＳ６０３：
測距部３２０は、所定の時間毎に、測距部３２９から被写体までの距離を測定し、当該測定値（距離）に変化が生じないかを監視する。
ステップＳ６０４：
解像度変更部３０４は、測距部３２０が測定する被写体までの距離に変化があった場合、検出した測定値に基づき、リアルタイムで被写体の解像度を最適な解像度となるように変更する。
【０１６１】
ステップＳ６０５：
撮像部３０３は、解像度変更部３０４によって変更された解像度に対応する撮影画像の画像データ（デジタル画像データ）、及び図１７又は図１８に示したように構成される画像ＩＤや水平／垂直方向サイズ等を含む画像情報を生成する。また、符号化部３０５は、変更後の解像度からなる１フレーム分の撮影画像データ（符号化データ）を生成する。
【０１６２】
ステップＳ６０６：
記録部３０６は、撮像部３０３が生成した画像情報と、符号化部３０５が生成した撮影画像データ（符号化データ）を、記憶媒体３０７に記憶する。
【０１６３】
ステップＳ６０７：
撮像部３０３等は、上述したステップＳ４０３からステップＳ４０６までを１区切りとする１フレームの撮像動作を終了するか否かの判断を行う。例えば、ユーザが撮影ボタン（図１に示すスタート／ストップボタン１８）を再押下等せず、撮影が終了していない場合、記録媒体３０７に対する記録動作は、ステップＳ６０３に示す測距値検出へ遷移する。また、撮像部３０３等によって撮影動作が終了していると判断された場合、図２５に示す記録動作は、ステップＳ６０８に示す撮影処理の終了へ遷移する。
【０１６４】
＜測距結果に基づく解像度の変更処理＞
ここでは、測距部３２０が検出する被写体までの距離に基づいて、解像度変更部３０４が画像データの解像度を変化させる処理について説明する。
撮影者であるユーザに向かって、被写体である人物が徐々に近づいてくる様子を、デジタルビデオカメラ１０によって撮影した場合の、測距の検出結果と解像度の変化の例を図２６に示す。
上記ズーム操作による解像度の時間推移を、図２５に示すデジタルビデオカメラ１０の記録動作と対応させながら、以下説明する。
【０１６５】
図２６に示すように、ユーザによる撮影時間の全体は１５秒であって、撮影開始直後から１５秒間、被写体が撮影者であるユーザに近づいてくるため、測距値は徐々に小さくなり、また、解像度は撮影開始から徐々に低く変化する。
【０１６６】
すなわち、図２５に示すステップＳ６０２で、解像度変更部３０４は、撮影当初の被写体の解像度を、図２６に示す７６１の値に設定する。また、ステップＳ６０３で測距部３２０は、被写体までの距離を７６０の値で検出する。その後、被写体がユーザに近づいてくるにしたがい、測距部３２０が検出する測距結果は小さくなるので、ステップＳ６０４で解像度変更部３０４は、この測距結果に基づき解像度を、リアルタイムで低くなるように変更する。
【０１６７】
具体的には、上述した図２２で説明した解像度の変更と同様の考え方で、例えば、撮影開始時に解像度を設定したときの測距値と測距後の測距値を比較し、仮に測距値が１／２になった場合、解像度変更部３０４は、この時点の解像度を撮影開始時の解像度の１／２倍に設定する。
【０１６８】
このときの撮影画像のイメージが７５１で、また、図２３と同様に、撮影画像イメージ中の被写体の一部領域（人物の顔部）を、画像加工部３０９によって切り出した場合の、切り出し後の画像イメージは７５２である。これらからわかるように、撮影画像イメージ７５１の各画像（コマ）は時間推移とともに、被写体の人物画像が徐々に拡大されているのに対し、切り出し後の画像イメージ７５２の各画像（コマ）は、全てほぼ同程度の画質で構成される。
【０１６９】
尚、本実施の形態で示した構成によるデジタルビデオカメラ１０で記録された画像を編集する場合、上述した第２の実施の形態と同様の編集作業が可能なことは言うまでもない。
【０１７０】
ステップＳ６０５において撮像部３０３は、解像度変更部３０４によって変更された解像度に対応する画像データ等の画像情報を生成し、ステップＳ６０６において記録部３０６は、記憶媒体３０７に画像データを記録する。上記ステップＳ６０３〜ステップＳ６０６を順次繰り返しながら、撮影データが記憶媒体３０７に記録される。
【０１７１】
また、本発明の目的は、第１〜第３の実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
【０１７２】
この場合、記憶媒体から読み出されたプログラムコード自体が第１〜第３の実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体及び当該プログラムコードは本発明を構成することとなる。
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【０１７３】
また、コンピュータが読みだしたプログラムコードを実行することにより、上記本実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって本実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１７４】
図２７は、上記コンピュータの機能６５０を示したものである。
上記コンピュータ機能６５０は、上記図２７に示すように、ＣＰＵ６５１と、ＲＯＭ６５２と、ＲＡＭ６５３と、キーボード（ＫＢ）６５９のキーボードコントローラ（ＫＢＣ）６５５と、表示部としてのＣＲＴディスプレイ（ＣＲＴ）６６０のＣＲＴコントローラ（ＣＲＴＣ）６５６と、ハードディスク（ＨＤ）６６１及びフレキシブルディスク（ＦＤ）６６２のディスクコントローラ（ＤＫＣ）６５７と、ネットワー６７０との接続のためのネットワークインターフェースコントローラ（ＮＩＣ）６５８とが、システムバス６５４を介して互いに通信可能に接続された構成としている。
【０１７５】
ＣＰＵ６５１は、ＲＯＭ６５２或いはＨＤ６６１に記憶されたソフトウェア、或いはＦＤ６６２より供給されるソフトウェアを実行することで、システムバス６５４に接続された各構成部を総括的に制御する。
すなわち、ＣＰＵ６５１は、所定の処理シーケンスに従った処理プログラムを、ＲＯＭ６５２、或いはＨＤ６６１、或いはＦＤ６６２から読み出して実行することで、上記本実施の形態での動作を実現するための制御を行う。
【０１７６】
ＲＡＭ６５３は、ＣＰＵ６５１の主メモリ或いはワークエリア等として機能する。
ＫＢＣ６５５は、ＫＢ６５９や図示していないポインティングデバイス等からの指示入力を制御する。
ＣＲＴＣ６５６は、ＣＲＴ６６０の表示を制御する。
ＤＫＣ６５７は、ブートプログラム、種々のアプリケーション、編集ファイル、ユーザファイル、ネットワーク管理プログラム、及び本実施の形態における所定の処理プログラム等を記憶するＨＤ６６１及びＦＤ６６２とのアクセスを制御する。
ＮＩＣ６５８は、ネットワーク６７０上の装置或いはシステムと双方向にデータをやりとりする。
【０１７７】
【発明の効果】
以上説明したように本発明によれば、撮像手段によって被写体を撮像し、これにより得られた撮像画像データを、エリア分割手段によって複数のエリアに分割した上で、所定の条件に基づいて、当該分割エリア毎に所望の解像度となるような符号化を施すような構成であるため、撮像画像データを効率よく記録媒体に記録し、また撮像画像データを表示する出力手段（例えば、ＴＶやプリンタ等）に適切に出力することができる。
【０１７８】
具体的には例えば、複数の出力手段（例えば、ＳＤ−ＴＶやＨＤ−ＴＶ等）に対応できる記録フォーマットに従った撮像画像の符号化を行うことにより、出力手段（出力先）に依存しない撮像画像データを生成して、記録媒体に記録する構成にすることにより、出力時には、記録媒体に記録された１つの当該撮像画像データをもとにして、複数の出力先に応じた撮像画像データの復元を実行できる。すなわち、出力先ごとの記録フォーマットに従った画像データを生成する必要がないため、撮像画像データを効率的に記録媒体へ記録することができることから、当該記録媒体の省資源を図ることが可能である。
【０１７９】
上記の場合、第１のアスペクト比（４：３）を有するＳＤ−ＴＶモニタ、及び第２のアスペクト比（１６：９）を有するＨＤ−ＴＶモニタの両方に出力される撮像画像データ、或いは、画像印刷手段（プリンタ等）とＴＶモニタの両方に表示される撮像画像データを、共通の出力エリア（第１のアスペクト比を有する第１のエリアと第２のアスペクト比を有する第２のエリアの共通領域）と非共通の出力エリア（第１のエリアと第２のエリアの非共通領域）に分割し、共通の出力エリアの撮像画像データを高解像度に符号化し、また非共通の出力エリアの撮像画像データを低解像度にするというような所定の条件に基づいて、符号化する構成にすれば、全撮像画像データを高解像度で符号化する必要がないため、撮像画像データを効率的に記録媒体へ記録することができる。
また、出力先の共通エリアが低解像度で表示されるように構成されている場合、高解像で符号化された撮像画像データを低解像度で復号化することにより、出力先の解像度に対応した画像表示を行うことができる。
【０１８０】
また、撮像画像データを複数の複数エリアに分割し、さらに当該各複数エリアの最大公約数の大きさの最小単位エリアで各複数エリアを分割するように構成すれば、撮像画像データを最小単位エリアごとに任意の解像度で設定することができ、１つの撮像画像データにおける解像度設定の自由度をフレキシブルに実現することが可能となる。
【０１８１】
また、本発明によれば、ユーザが被写体を画像記録装置で撮影している最中に、当該画像記録装置に対するユーザ操作によって、撮像画像データの解像度を任意に変更できる構成であるため、撮像画像データが、ユーザの所望する以上に高画質な画像データとならないようにすることが可能である。
【０１８２】
具体的には例えば、ユーザが、ワイド撮影（広角）やテレ撮影（望遠）等というような、画像記録装置への操作（ズーム操作）を実行した場合、当該ズーム操作に対応して撮像画像データの解像度が変動する構成にすれば、撮影当初、高解像度に設定しているために、被写体に対する高解像度の撮像画像データを取得できる場合であっても、例えば、ユーザのズーム操作をテレ撮影（望遠）側にすることで解像度は低くなり、記録媒体に保存するために要する記録容量が必要以上に増加することを防止することができる。
一方、撮影当初、低解像度に設定しているため、被写体の画質が悪くなると撮影中に判断すれば、撮影途中であっても解像度の変更を行うことができる。また、撮像画像データの記録媒体上の記録容量を減少させることで、撮像画像データの読み出し或いは転送時に、過剰な負荷が通信システムに及ぶことを防止することができる。
【０１８３】
また、上記ズーム操作に伴って撮像画像データ内の被写体の占める一定領域や被写体に対する焦点距離が変化するが、この領域や焦点距離の変化に応じて撮像画像データの解像度が変更するように構成すれば、少なくとも撮影対象である被写体に対する解像度を一定に維持することが可能となる。
【０１８４】
さらに、被写体までの測距距離に基づいて、撮像画像データの解像度が変更するように構成すれば、撮影対象である被写体に対する解像度を一定に維持することが可能となり、被写体領域を画像加工した撮像画像データの画質を、全体的に同程度に保つことができる。
【図面の簡単な説明】
【図１】本発明を適用したデジタルビデオカメラ１０の外観図である。
【図２】本発明を適用したデジタルビデオカメラ１０の内部構成図である。
【図３】デジタルビデオカメラ１０の機能である画像圧縮解凍部１０８の有する符号化機能１０８ａのブロック図である。
【図４】離散ウェーブレット変換部２０３により出力されるサブバンドの構成例を示した図である。
【図５】エントロピ符号化部２０５がサブバンドをさらに分割することにより生成されるコードブロックの例を示した図である。
【図６】図４に示すサブバンドにおいて、画像データ内の特別な領域（ＲＯＩ）に対してマスクを施した例を示した図である。
【図７】撮像素子により取得された動画像を表示したモニタＴＶ画面例を示した図である。
【図８】撮像素子により取得された動画像を表示したモニタＴＶ画面例、及びタイル分割例を示した図である。
【図９】撮像素子により取得された動画像を表示したモニタＴＶ画面例、及びタイル分割例を示した図である。
【図１０】撮像素子により取得された動画像をプリンタに出力する場合のタイル分割例を示した図である。
【図１１】符号列形成部２０６による符号化データの選択例を示した図である。
【図１２】符号列形成部２０６による符号化データの選択例を示した図である。
【図１３】符号列形成部２０６が生成する最終的な符号列の構成例を示した図である。
【図１４】デジタルビデオカメラ１０の機能である画像圧縮解凍部１０８の有する復号化機能１０８ｂのブロック図である。
【図１５】復号化機能１０８ｂによって復元されるデータの解像度の相違を示した図である。
【図１６】ユーザによるズーム変更操作によって、撮影画像データの解像度を変化する構成にした第２の実施の形態、及びデジタルビデオカメラと被写体間の距離に基づいて、画像データの解像度を変化する構成にした第３の実施の形態のデジタルビデオカメラ１０の機能ブロック図である。
【図１７】ＤＶフォーマットに従う画像情報の構成例を示した図である。
【図１８】画像圧縮フォーマットに従う画像情報の構成例を示した図である。
【図１９】ユーザが、デジタルビデオカメラ１０によって撮影する際の撮影対象及び被写体を示した図である。
【図２０】デジタルビデオカメラ１０による記録動作のフローチャートである。
【図２１】ユーザのズーム変更操作によって、被写体の解像度の変化の例を、撮像時間の経過とともに示した図である。
【図２２】被写体と解像度の関係を、図１９の撮影対象によって説明した図である。
【図２３】ユーザが被写体を撮影したときの撮影画像のイメージから、指定した一部領域画像を切り出した画像加工を示す図である。
【図２４】ユーザが被写体を撮影したときの撮影画像のイメージに、所定の画像を重ね合わせた加工を施し、当該加工画像から、ユーザが指定した一部領域画像を切り出した画像加工を示す図である。
【図２５】デジタルビデオカメラ１０が、撮影画像データを記録するときの記録動作を示すフローチャートである。
【図２６】被写体までの測距検出結果と解像度の変化の関係を示した図である。
【図２７】デジタルビデオカメラの機能をコンピュータに実現させるためのプログラムをコンピュータ読み取り可能な記憶媒体から読み出して実行する当該コンピュータの構成を示すブロック図である。
【符号の説明】
１０１ レンズ部
１０２ 撮像部
１０３ カメラ信号処理部
１０４ 画像記憶部
１０５ スイッチ操作部
１０６ ディスプレイ表示部
１０７ 画像処理部
１０８ 画像圧縮解凍部
１０９ ハードディスク
１１０ ＨＤ−Ｉ／Ｆ部
１１１ ＣＰＵ部
１１２ プログラム記憶部
１１３ プログラムフラッシュメモリ部
１１４ 外部モニタＩ／Ｆ部
１１５ モニタＴＶ
１１６ プリンタＩ／Ｆ
１１７ プリンタ
Claims (32)
- 被写体を撮像する撮像手段と、
上記撮像手段で得られた撮像画像データを、複数のエリアに分割するエリア分割手段と、
上記エリア分割手段で得られた分割エリアごとに、所定の条件に基づいた符号量で符号化する符号化手段とを有することを特徴とする画像処理装置。 - 被写体を撮像する撮像手段と、所定の条件に基づいた符号量で符号化する符号化手段とを有する画像処理装置であって、
上記符号化手段で符号化された撮像画像データを、所定の復号量で復号化する復号化手段とを有することを特徴とする画像処理装置。 - 被写体を撮像する撮像手段と、
上記撮像手段で得られた撮像画像データを、複数のエリアに分割するエリア分割手段と、
上記エリア分割手段で得られた分割エリアごとに、所定の条件に基づいた符号量で符号化する符号化手段と、
上記符号化手段で符号化された撮像画像データを、所定の復号量で復号化する復号化手段とを有することを特徴とする画像処理装置。 - 上記エリア分割手段は、上記撮像画像データを、高解像度で記録及び／又は再生するための高解像度エリアと低解像度で記録及び／又は再生するための低解像度エリアに分割し、
上記符号化手段は、上記高解像度エリア又は上記低解像度エリアごとに設定された所定の符号量で符号化することを特徴とする請求項１又は３記載の画像処理装置。 - 上記高解像度エリアは、第１のアスペクト比を有する第１のエリアと、第２のアスペクト比を有する第２のエリアとの共通エリアであり、上記低解像度エリアは、上記共通エリアに対する非共通エリアであることを特徴とする請求項４記載の画像処理装置。
- 上記エリア分割手段は、上記撮像画像データを画像印刷手段で印刷するための印刷エリアと、上記撮像画像データを出力手段に表示するための出力表示エリアに分割し、
上記符号化手段は、上記印刷エリア又は上記出力表示エリアごとに設定された所定の符号量で符号化することを特徴とする請求項１又は３記載の画像処理装置。 - 上記符号化手段は、上記印刷エリアを、上記出力表示エリアよりも高解像度に符号化することを特徴とする請求項６記載の画像処理装置。
- 上記エリア分割手段は、上記撮像画像データを、複数のエリアに分割する第１の分割手段と、上記第１の分割手段で得られた各分割エリアの最大公約数の大きさの最小単位エリアに分割する第２の分割手段とを有し、
上記符号化手段は、上記第２の分割手段で得られた最小単位エリアを、所定の条件に基づいた符号量で符号化することを特徴とする請求項７記載の画像処理装置。 - 上記第１の分割手段は、第１のアスペクト比を有する第１のエリアと、第２のアスペクト比を有する第２のエリアに分割し、
上記符号化手段は、上記第１のエリアと上記第２のエリアの共通エリアに含まれる上記最小単位エリアを、非共通エリアに含まれる上記最小単位エリアよりも高解像度に符号化することを特徴とする請求項８記載の画像処理装置。 - 上記第１の分割手段は、上記撮像画像データを画像印刷手段で印刷するための印刷エリアと、上記撮像画像データを出力手段に表示するための出力表示エリアに分割し、
上記符号化手段は、上記印刷エリアに含まれる上記最小単位エリアを、上記出力表示エリアに含まれる上記最小単位エリアよりも高解像度に符号化することを特徴とする請求項８記載の画像処理装置。 - 上記符号化手段は、離散ウエーブレット変換係数を符号列化する係数符号化手段を含み、
上記係数符号化手段は、符号列の一部を所定ビット量シフトすることにより、上記符号量に差を有する符号列を生成することを特徴とする請求項１又は３記載の画像処理装置。 - 上記符号化手段は、離散ウエーブレット変換の係数を符号化する係数符号化手段を含み、
上記係数符号化手段は、上記エリア分割手段で得られた分割エリアごとに、複数の離散ウエーブレット変換係数群を生成し、当該変換係数群ごとに所定の符号量で符号化することを特徴とする請求項１又は３記載の画像処理装置。 - 上記復号化手段は、上記エリア分割手段で得られた高解像度エリア及び低解像度エリアに対し、上記高解像エリアを上記低解像度エリアよりも高解像度の復号量で復号化することを特徴とする請求項４記載の画像処理装置。
- 上記復号化手段は、上記エリア分割手段で得られた印刷エリア及び出力表示エリアに対し、上記印刷エリアを上記出力表示エリアよりも高解像度の復号量で復号化することを特徴とする請求項６記載の画像処理装置。
- 上記復号化手段は、離散ウエーブレット変換の係数を復号列化する係数復号化手段を含み、
上記係数復号化手段は、上記符号化手段で得られた符号列の一部を所定ビット量シフトダウンすることにより、上記復号量に差を有する復号列を生成することを特徴とする請求項３記載の画像処理装置。 - 上記復号化手段は、離散ウエーブレット変換の係数を復号化する係数復号化手段を含み、
上記係数復号化手段は、上記符号化手段で得られた離散ウエーブレット変換係数群に応じた復号量で復号化することを特徴とする請求項３記載の画像処理装置。 - 上記復号化手段は、接続される上記撮像画像データ出力手段又は画像印刷手段に対して適切な符号量を自動的に設定し復号化することを特徴とする請求項３記載の画像処理装置。
- 被写体を撮像する撮像手段と、
上記撮像手段で得られる撮像画像の解像度を設定する解像度設定手段と、
上記解像度設定手段で設定した上記解像度を変更する解像度変更手段と、
上記解像度設定手段又は上記解像度変更手段で設定した上記解像度で、上記被写体の撮像画像データを生成する画像情報生成手段とを有することを特徴とする画像処理装置。 - 上記解像度変更手段は、ズーム変更操作による上記被写体領域の変化に基づき、上記解像度を変更することを特徴とする請求項１８記載の画像処理装置。
- 上記被写体までの距離を計測する測距手段を有し、
上記解像度変更手段は、上記測距手段で得られた測距結果に基づき、上記解像度を変更することを特徴とする請求項１８記載の画像処理装置。 - 上記画像情報生成手段で得られた上記撮像画像データを画像加工する画像加工手段を有し、
上記画像加工手段は、上記撮像画像データの解像度に応じた画像加工を行うことを特徴とする請求項１８記載の画像処理装置。 - 上記画像加工手段は、上記撮像画像データの一部を抽出する第１の画像加工手段、又は上記第１の画像加工手段で得られた加工画像データの一部を抽出する第２の画像加工手段の少なくとも何れかを含むことを特徴とする請求項２１記載の画像処理装置。
- 上記撮像手段は、光学系を介した被写体光を撮像することを特徴とする請求項１８記載の画像処理装置。
- 上記画像情報生成手段は、上記解像度設定手段又は上記解像度変更手段で設定した上記解像度により、上記撮像画像データを符号化及び復号化の少なくとも何れかをする手段を含むことを特徴とする請求項１８記載の画像処理装置。
- 複数の機器が互いに通信可能に接続されてなる画像処理システムであって、
上記複数の機器のうち少なくとも１つの機器は、請求項１〜２４の何れかに記載の画像処理装置の機能を有することを特徴とする画像処理システム。 - 被写体を撮像する撮像ステップと、
上記撮像ステップで得られた撮像画像データを、複数のエリアに分割するエリア分割ステップと、
上記エリア分割ステップで得られた分割エリアごとに、所定の条件に基づいた符号量で符号化する符号化ステップとを含むことを特徴とする画像処理方法。 - 被写体を撮像する撮像ステップと、
上記撮像ステップで得られた撮像画像データを、複数のエリアに分割するエリア分割ステップと、
上記エリア分割ステップで得られた分割エリアごとに、所定の条件に基づいた符号量で符号化する符号化ステップと、
上記符号化ステップで符号化された撮像画像データを、所定の復号量で復号化する復号化ステップとを含むことを特徴とする画像処理方法。 - 被写体を撮像する撮像ステップと、
上記撮像ステップで得られる撮像画像の解像度を設定する解像度設定ステップと、
上記解像度設定ステップで設定した上記解像度を変更する解像度変更ステップと、
上記解像度設定ステップ又は上記解像度変更ステップで設定した上記解像度で、上記被写体の撮像画像データを生成する画像情報生成ステップとを含むことを特徴とする画像処理方法。 - 被写体を撮像する撮像ステップと、
上記撮像ステップで得られた撮像画像データを、複数のエリアに分割するエリア分割ステップと、
上記エリア分割ステップで得られた分割エリアごとに、所定の条件に基づいた符号量で符号化する符号化ステップとをコンピュータに実行させるためのプログラム。 - 被写体を撮像する撮像ステップと、
上記撮像ステップで得られた撮像画像データを、複数のエリアに分割するエリア分割ステップと、
上記エリア分割ステップで得られた分割エリアごとに、所定の条件に基づいた符号量で符号化する符号化ステップと、
上記符号化ステップで符号化された撮像画像データを、所定の復号量で復号化する復号化ステップとをコンピュータに実行させるためのプログラム。 - 被写体を撮像する撮像ステップと、
上記撮像ステップで得られる撮像画像の解像度を設定する解像度設定ステップと、
上記解像度設定ステップで設定した上記解像度を変更する解像度変更ステップと、
上記解像度設定ステップ又は上記解像度変更ステップで設定した上記解像度で、上記被写体の撮像画像データを生成する画像情報生成ステップとをコンピュータに実行させるためのプログラム。 - 請求項２６〜２８の何れかに記載の画像処理方法の処理ステップをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002181975A JP4154178B2 (ja) | 2002-06-21 | 2002-06-21 | ビデオカメラ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002181975A JP4154178B2 (ja) | 2002-06-21 | 2002-06-21 | ビデオカメラ |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004032105A true JP2004032105A (ja) | 2004-01-29 |
| JP2004032105A5 JP2004032105A5 (ja) | 2007-08-02 |
| JP4154178B2 JP4154178B2 (ja) | 2008-09-24 |
Family
ID=31178669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002181975A Expired - Fee Related JP4154178B2 (ja) | 2002-06-21 | 2002-06-21 | ビデオカメラ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4154178B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016509683A (ja) * | 2012-12-18 | 2016-03-31 | ヴィルコフスキー，ニッシ | 外観を撮像及び表示する装置、システム及び方法 |
| WO2018003502A1 (ja) * | 2016-06-28 | 2018-01-04 | ソニー株式会社 | 撮像装置、撮像方法、プログラム |
| JP2019519022A (ja) * | 2016-04-18 | 2019-07-04 | シンボル テクノロジーズ リミテッド ライアビリティ カンパニー | バーコードを走査し寸法決定する方法及び装置 |
| US11232768B2 (en) | 2005-04-12 | 2022-01-25 | Douglas G. Richardson | Embedding animation in electronic mail, text messages and websites |
| US20220385921A1 (en) * | 2021-06-01 | 2022-12-01 | Canon Kabushiki Kaisha | Information processing apparatus, control method, storage medium, and information processing system |
| US12051391B2 (en) | 2005-04-12 | 2024-07-30 | Douglas G. Richardson | Embedding animation in electronic mail, text messages and websites |
-
2002
- 2002-06-21 JP JP2002181975A patent/JP4154178B2/ja not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11232768B2 (en) | 2005-04-12 | 2022-01-25 | Douglas G. Richardson | Embedding animation in electronic mail, text messages and websites |
| US11263998B2 (en) | 2005-04-12 | 2022-03-01 | Douglas G. Richardson | Embedding animation in electronic mail, text messages and websites |
| US11893965B2 (en) | 2005-04-12 | 2024-02-06 | Douglas G. Richardson | Embedding animation in electronic mail, text messages and websites |
| US12051391B2 (en) | 2005-04-12 | 2024-07-30 | Douglas G. Richardson | Embedding animation in electronic mail, text messages and websites |
| JP2016509683A (ja) * | 2012-12-18 | 2016-03-31 | ヴィルコフスキー，ニッシ | 外観を撮像及び表示する装置、システム及び方法 |
| JP2019519022A (ja) * | 2016-04-18 | 2019-07-04 | シンボル テクノロジーズ リミテッド ライアビリティ カンパニー | バーコードを走査し寸法決定する方法及び装置 |
| WO2018003502A1 (ja) * | 2016-06-28 | 2018-01-04 | ソニー株式会社 | 撮像装置、撮像方法、プログラム |
| JPWO2018003502A1 (ja) * | 2016-06-28 | 2019-04-18 | ソニー株式会社 | 撮像装置、撮像方法、プログラム |
| US10742872B2 (en) | 2016-06-28 | 2020-08-11 | Sony Corporation | Imaging device, imaging method, and program |
| US11425298B2 (en) | 2016-06-28 | 2022-08-23 | Sony Corporation | Imaging device, imaging method, and program |
| US20220385921A1 (en) * | 2021-06-01 | 2022-12-01 | Canon Kabushiki Kaisha | Information processing apparatus, control method, storage medium, and information processing system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4154178B2 (ja) | 2008-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3093233B2 (ja) | 画像符号化装置及びその方法 | |
| US7359549B2 (en) | Imaging device, image processing method, and recording medium | |
| US20060045381A1 (en) | Image processing apparatus, shooting apparatus and image display apparatus | |
| US20090290645A1 (en) | System and Method for Using Coded Data From a Video Source to Compress a Media Signal | |
| KR100630983B1 (ko) | 화상 처리 방법과, 이 방법을 이용가능한 화상 부호화장치 및 화상 복호 장치 | |
| JP2006014121A (ja) | 画像符号化方法、画像符号化装置および撮像装置 | |
| JP5265910B2 (ja) | 高速高画質連写機能を有する映像入力装置及びこれを用いた連写方法 | |
| JP2006129249A (ja) | 画像符号化方法および装置、ならびに画像復号方法および装置 | |
| US7432960B2 (en) | Image generating apparatus and image generating method | |
| JP3789836B2 (ja) | 画像符号化装置および方法 | |
| US7012641B2 (en) | Image sensing apparatus, method, memory involving differential compression of display region based on zoom operation or speed | |
| JP4154178B2 (ja) | ビデオカメラ | |
| JP2006074114A (ja) | 画像処理装置及び撮像装置 | |
| TWI390959B (zh) | 視頻訊號處理裝置，視頻訊號處理方法及視頻訊號處理程式 | |
| JP2001333430A (ja) | 画像処理装置、方法、及びコンピュータ読み取り可能な記憶媒体 | |
| JP2001359117A (ja) | 画像処理装置及び該装置における画像処理方法 | |
| JP2004214985A (ja) | 画像処理装置及び画像再生装置 | |
| JP2006129248A (ja) | 画像符号化方法および装置、ならびに画像復号方法および装置 | |
| KR100792247B1 (ko) | 이미지 데이터 처리 시스템 및 그 방법 | |
| JP4164268B2 (ja) | 符号化装置、符号化方法、プログラム、記憶媒体 | |
| JP2004194030A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| JP2011045138A (ja) | 画像復号方法 | |
| JP4667424B2 (ja) | 画像復号装置 | |
| JP3038022B2 (ja) | 電子カメラ装置 | |
| JP2004235990A (ja) | 画像選択装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050614 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050614 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070619 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080318 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080516 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080624 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080707 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |