JP2004282345A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2004282345A JP2004282345A JP2003070035A JP2003070035A JP2004282345A JP 2004282345 A JP2004282345 A JP 2004282345A JP 2003070035 A JP2003070035 A JP 2003070035A JP 2003070035 A JP2003070035 A JP 2003070035A JP 2004282345 A JP2004282345 A JP 2004282345A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image data
- data
- image processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】ＪＰＥＧ２０００方式を採用した携帯型記録装置等に好適な、消費電力を低減させて処理時間の延長を可能にした画像処理装置を提供することを目的とする。
【解決手段】入力画像データを所定単位に分割して、分割された画像データ単位で符号化処理する圧縮手段と、圧縮手段における符号化処理を処理工程単位で制御する制御手段と、各手段に電力供給するバッテリとその電力検出手段とを備え、制御手段はバッテリの電力状態に応じて圧縮手段における符号化処理を制御する。
【選択図】 図１
【解決手段】入力画像データを所定単位に分割して、分割された画像データ単位で符号化処理する圧縮手段と、圧縮手段における符号化処理を処理工程単位で制御する制御手段と、各手段に電力供給するバッテリとその電力検出手段とを備え、制御手段はバッテリの電力状態に応じて圧縮手段における符号化処理を制御する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理装置に関するもので、特に携帯型の機器に適用されるものである。
【０００２】
【従来の技術】
従来、画像を撮影して記録再生できる装置として、デジタルスチルカメラやデジタルビデオカメラがある。これらは外出先に携帯して撮影できるように、バッテリで駆動するものが望ましい。
【０００３】
また、上記のデジタルスチルカメラやデジタルビデオカメラにおいては、撮影したデジタル画像データを圧縮して記録することが広く行われている。
【０００４】
画像を圧縮するフォーマットとしては、デジタルスチルカメラでは静止画を圧縮する為のＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ＥｘｐｅｒｔｓＧｒｏｕｐ）方式、デジタルビデオカメラでは動画を圧縮する為のＤＶ方式やＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式が一般的に用いられているが、近年新たな画像フォーマットとして、ＪＰＥＧ２０００（静止画）方式や、ＭｏｔｉｏｎＪＰＥＧ２０００（動画）方式が規格化され、注目されている。
【０００５】
特にＭｏｔｉｏｎＪＰＥＧ２０００方式は、動画像をフレーム単位で、かつスケーラブルに扱えたり、或いはフレームレートが変更できたりするといった特徴を備えており、その柔軟性の高さからも製品への応用が検討されている。例えば、Ｍｏｔｉｏｎ ＪＰＥＧ２０００方式をデジタルビデオカメラに適用した先行技術として、特開２００１−３５９１１７号（特許文献１）が既に知られている。
【０００６】
【特許文献１】
特開２００１−３５９１１７号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、ＪＰＥＧ２０００方式は、上記の如き特徴やその効果を有している一方、圧縮効率を上げるために、符号化方式として高能率圧縮である算術符号化を用いている為、他の処理ブロックに対して処理負荷が大きいという問題点がある。これは消費電力の増加を招き、特にデジタルビデオカメラやデジタルスチルカメラのような携帯システムにおいては、その駆動源となるバッテリが有限な資源であるので、撮影時間の短縮や撮影中断といったミスに繋がりかねない。
【０００８】
本発明は上記の如き問題点を解決して、ＪＰＥＧ２０００方式を採用した携帯型記録装置等に好適な、消費電力を低減させて処理時間の延長を可能にした画像処理装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
斯かる目的を達成する為の手段として、本発明は以下の構成からなる手段を有する。
【００１０】
本発明の画像処理装置は、入力画像データを圧縮符号化して出力する画像処理装置において、前記入力画像データを所定単位に分割して、分割後の画像データ単位で符号化処理する圧縮手段と、前記圧縮手段における符号化処理を制御する制御手段と、各手段に供給される電力の検出手段とを備え、前記制御手段は前記検出手段の検出結果に従って、前記圧縮手段の制御を変更することを特徴とする。
【００１１】
【発明の実施の形態】
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
【００１２】
図１は、ＭｏｔｉｏｎＪＰＥＧ２０００方式の圧縮回路１００を備えた記録装置の全体システムのブロック図である。図１の記録装置とはデジタルビデオカメラ、或いはデジタルスチルカメラ等である。
【００１３】
図１において、記録装置は、カメラ処理ブロック１０としてカメラ処理回路１１、圧縮プリ処理ブロック２０として領域分割回路２１と成分分割回路２２、サブバンド量子化ブロック３０としてサブバンド分割回路３１と量子化回路３２、エントロピ符号化ブロック４０として係数モデル化回路４１と算術符号化回路４２、符号形成ブロック５０としてレイヤパケット分割回路５１とヘッダ処理回路５２、圧縮ポスト処理ブロック６０としてファイル生成回路６１を夫々備え、２０、３０、４０、５０、６０を総じて圧縮回路１００である。
【００１４】
さらに、ＭｏｔｉｏｎＪＰＥＧ２０００圧縮回路１００における各処理を制御するデータプロセス制御回路７０、圧縮回路１００で生成した画像ファイルを記録処理する記録回路８０、画像ファイルを記録する為の光ディスク、固体メモリ或いは磁気テープ等から成る記録媒体８１、システム全体のエネルギーを供給するバッテリ９０、バッテリ９０が供給可能な電力量を検出する残量検出回路９１、記録媒体８１が記録可能な容量を検出する記録残量検出回路９２、システム全体の消費電力を推定演算する消費電力演算回路９３、システム全体を制御するマイコン制御部９４、操作指示入力を行うユーザ指定部９５、動作状況などを表示する表示装置９６を具備した構成である。
【００１５】
次に、図１の記録装置について信号の流れに沿って説明する。
【００１６】
被写体を撮像して得た画像信号はカメラ処理回路１１に入力され、カメラ処理回路１１が連続するフレーム画像として、デジタル画像データに変換し映像処理する（この様子を図２（ａ）で表す。フレーム間隔はΔＴｆｒｍである。）。
【００１７】
このときの、データプロセス制御回路７０による動作を図３に詳細に示す。図３において、データユニット（画像フレーム）を制御するデータユニット制御部７２の指令を受けて、前記フレームの取込間隔（ΔＴｆｒｍ）の基準信号を発生部７１で発生して、前記基準信号にもとづいてカメラ処理回路１１が駆動される。ΔＴｆｒｍは、通常動作の場合、動画データがＮＴＳＣ相当のＶＧＡならば、１／３０秒ということになる。
【００１８】
次に、領域分割回路２１でフレーム画像のデータを複数の小領域（タイル）に分割する（図２（ｂ）で表す。）。
次に、成分分割回路２２で各タイルにおける画像データをＹＣｂＣｒのコンポーネント成分に分解する（図２（ｃ）で表す。）。
【００１９】
次に、各成分に分割された画像データを、サブバンド分割回路３１が周波数帯域に分割する（図２（ｄ）で表す。）。ＪＰＥＧ２０００方式（ＭｏｔｉｏｎＪＰＥＧ２０００方式含む）では、高域と低域にダウンサンプルして分割する離散ウェブレット変換を利用しているので、サブバンド分割回路３１においては図２（ｄ）のように、低い周波数帯域のデータ（３ＬＬ）がそれに応じた画素数（１／６４）のデータに変換される。フィルター処理は、空間フィルターなので、１次元の離散ウェブレット変換を水平方向と垂直方向に施す２次元処理を行い、それを１回として離散ウェブレット変換として処理する。
【００２０】
このとき生成するデータは、『１ＬＬ／１ＬＨ／１ＨＬ／１ＨＨ』（アルファベットのＨは高域成分、Ｌは低域成分を表現し、最初のアルファベットが水平方向、後半のアルファベットが垂直方向を表現している。つまり、『ＬＨ』は、水平方向に低域、垂直方向に高域の帯域を含む画像データの成分（サブバンド係数）を示している。）で、タイル画像データが４つのサブバンド帯域のデータに分割されたことになる。
【００２１】
つまり、『１ＬＬ』は、元のタイル画像データに対して１／４の画素数のデータになっている。さらに、前記サブバンド帯域の中で、『１ＬＬ』データに対して、再度離散ウェブレット変換処理をしていくと『２ＬＬ／２ＬＨ／２ＨＬ／２ＨＨ』の階層的なサブバンド分割が実現せきる。ここで、『２ＬＬ』は、初めのタイル画像データ対して、１／１６の画素数のデータとなっている。さらに、『２ＬＬ』に対して、再度、離散ウェブレット変換処理を行うと、図２（ｄ）のように、『３ＬＬ／３ＬＨ／３ＨＬ／３ＨＨ』のサブバンド帯域に分割され、元のタイル画像データに対して１／６４の画素数のデータ『３ＬＬ』が生成される。
【００２２】
このように、離散ウェブレット変換を繰り返すことにより、画像データは低域から高域までの複数のサブバンド帯域（３ＬＬ〜１ＨＨ）に分割され、かつ画素数に対して階層的な構造をもつデータ形式を構成することになる。このように、通常処理においては、再帰的な離散ウェブレット変換によるサブバンド分割が画素数の階層構造（周波数帯域階層構造）を実現している。
【００２３】
次に、サブバンド分割回路３１で変換された画像データ（ウェブレット係数）は量子化回路３２に入力される。量子化回路３２は画像データをデッドゾーン量子化し、所定ビット長のデジタルデータに変換する。前記所定ビット長の画像データは、高能率符号の単位となるコードブロックの単位にまとめられて、係数モデル化回路４１で処理される。
【００２４】
コードブロックの様子を図４に示す。サブバンド分割された画像データ（図４（ａ））をコードブロック単位に分類したとき（図４（ｂ））、各コードブロックは図４（ｃ）のような構成となっている。コードブロックは、６４×６４あるいは、１２８×１２８等の画素をまとめた単位で、図４（ｃ）のようにビット深さ方向に情報をもつ構造となっている。
【００２５】
係数モデル化回路４１では、上記したコードブロックの画像データを同一ビット深さ平面単位で、上位ビットから下位ビットへ処理していく。
【００２６】
この様子を図５（ａ）で表す。係数モデル化回路４１では、コードブロックに対して、上位ビット平面から下位ビット平面へ、各平面単位の処理で、ニ値化モデルを構築していく。具体的には、図５（ａ）に示すように、同一深さのビット平面に対して、縦４個の画素を垂直にスキャンした後、水平方向に１画素ずらし、再度縦４個の画素のスキャンを繰り返す。このスキャン工程がコードブロックの水平端画素まで達したら、逆の水平端の画素に戻り、今度は垂直方向に４画素ずらした位置から、先の４画素単位のスキャンを繰り返す。この独特なスキャン方法を１画素について３回（パス）繰り返すことで、各平面におけるビットの有意／非有意を判断して、１９のモデル（コンテキストモデル）に当てはめる。このように、１ビット当たり３回のスキャンを繰り返すので、処理負荷としては、かなり重いものとなる。
【００２７】
各ビット平面では、それぞれのビットを１９のモデルに分類して二値化データに変換し、前記二値化データを算術符号化回路４２で前述の１９のモデルに当てはめられた係数モデルを元に、各ビットについての１あるいは０の出現率で符号化する算術符号化の処理を行う。算術符号化処理もまた、負荷としては重く、前段の係数モデル化処理とあわせると、全体のシステム処理の６割を占めることにも成りうる。
【００２８】
ところで、エントロピ符号化は前述したように、上位ビットから下位ビットに符号化している。つまり、画質に影響度の大きいデータ（上位ビット）順に符号化処理をしているので、算術符号化回路４２から出力されるデータは、出力の順に画質への影響度が小さくなっている。この性質を利用して、画質の寄与率で符号化データをまとめる作業を行うことができる。
【００２９】
レイヤパケット分割回路５１では、この画質寄与率に応じたグループ分けを行う。そして、同じサブバンドの同じレイヤのデータをまとめて、パケットデータを生成する（この様子を図５（ｂ）で表す。）。
【００３０】
この詳細を図６を用いて説明する。図６はレイヤパケット分割回路５１の構成である。前記算術符号化回路４２から順次出力される上位ビットから下位ビットの符号化されたコード量の変化（ΔＲ）と、符号化されたデータを復号して得られる画質の変化量（ΔＤ）を監視し、その比（ΔＲ／ΔＤ）の値を算出部５３で算出する。この処理は、一度符号化したデータを復号する（２パス）ので、処理的な負担が発生する。
【００３１】
そして、レイヤ判定部５４で、前記の算出値が所定値より大きいか否かを判定し、前記出力されるコードデータのグループ分けを行う（レイヤ分割）。前記レイヤ判定された値に基づいて、前記符号化データは、メモリ５５の同一のレイヤエリアに一旦蓄積される。そして、前記メモリ５５から、サブバンド単位で同一のレイヤの符号化データを読み出して、パケット生成部５６でパケットといわれるデータ処理単位にまとめる。
【００３２】
ところで、領域分割については、前記説明ではタイル分割により実現してきたが、タイル分割をすると、ウェブレット変換の境界領域で歪が発生する。そこで、タイル分割しないで（１タイル）、離散ウェブレット変換を行うこともある。そのような場合における任意位置の画像データの取り出し方法について、図７、図８を用いて説明する。
【００３３】
まず、図８において、カメラ処理された画像データを、圧縮プリ処理ブロック２０で領域分割せずに、成分分割回路２２でＹＣｂＣｒの成分分割する。そして、前記フレーム全体の成分データに対して、サブバンド分割回路３１で、前述した離散ウェブレット変換を行う。図７（ａ）の画像データを３回の離散ウェブレット変換によってサブバンド帯域分割した様子を図７（ｂ）に示す。
【００３４】
次に、プリシンクト処理部３３で、各サブバンド帯域において、水平垂直に１／４に分割したプリシンクトを定義して、量子化回路３２で量子化する。
【００３５】
ダウンサンプリングフィルターによるウェブレット変換係数の空間的配置は、各サブバンド内では維持されているので、図７（ｂ）、（ｃ）に示すように、『３ＬＨ』の所定のプリシンクト（斜線部）と『１ＨＨ』の所定のプリシンクト（斜線部）は同一の空間のサブバンド係数に対応している。従って、所定位置のプリシンクト領域データを集めて、逆離散ウェブレット変換すれば、所望の位置の画像データを復元することができる。
【００３６】
このように、離散ウェブレット変換したあとのプリシンクト分割は、離散ウェブレット変換する前のタイル分割と同等の機能を実現することが出来る。
【００３７】
このように、パケットデータは、同一の画質（レイヤ）と画素数（サブバンド）をまとめているので、パケットデータの抽出方法によって、所定の画質で所定の画素数となる画像データを復号することが可能となる機能を提供している。
【００３８】
また、これらの処理は前記タイル単位で行っているので、所定のタイルのパケットデータを抽出すれば、所定の位置の画像データのみを復号することが可能となる機能も提供している。
【００３９】
さらに、画像データの成分についても、独立に処理しているので、所定の成分のパケットデータを抽出すれば、所定の成分のみを復号することが可能となる機能も提供している。
【００４０】
つまり、ＭｏｔｉｏｎＪＰＥＧ２０００方式の圧縮回路１００によれば、パケットデータの抽出の仕方さえ制御できれば、ユーザは所定の位置・成分・画素数・画質のデータを階層的に取り出すことが可能なシステムとなっている。これを、データのランダムアクセスが可能なシステムと表現することもある。
【００４１】
引き続き図１に戻り、上述した過程で生成された画像のパケットデータに、ヘッダ処理回路５２で、パケットデータの抽出方法の制御を実現するための付加（ヘッダ）データを加える。さらに、動画データは、前記ヘッダ処理が行われたフレーム画像データをつなげた形で構成される。
【００４２】
具体的には、図９（ａ）に示すように、タイル毎にまとめられたパケットデータの前には、パケットデータの開始を示す『Ｓｔａｒｔ ｏｆ Ｄａｔａ（ＳＯＤ）』ヘッダと、そのパケットデータの並び方に関するヘッダ情報が『ＴｉｌｅＨｅａｄｅｒ』情報と、タイルに関する情報の開始を示す『Ｓｔａｒｔ ｏｆＴｉｌｅ−ｐａｒｔ（ＳＯＴ）』ヘッダが付加される。また、前記タイル情報を複数まとめたフレーム画像全体の情報に対しては、『Ｍａｉｎ Ｈｅａｄｅｒ』情報と、フレーム画像の開始を示す『Ｓｔａｒｔ ｏｆ Ｃｏｄｅｓｔｒｅａｍ（ＳＯＣ）』ヘッダと、フレーム画像の終了を示す『Ｅｎｄ ｏｆ Ｃｏｄｅｓｔｒｅａｍ（ＥＯＣ）』ヘッダが付加される。
【００４３】
さらに、動画データは、『Ｓｔａｒｔ ｏｆ Ｃｏｄｅｓｔｒｅａｍ（ＳＯＣ）』から『Ｅｎｄ ｏｆ Ｃｏｄｅｓｔｒｅａｍ（ＥＯＣ）』で終わるフレーム画像を連続してつなげたデータストリームとして、図９（ｂ）のような構成で生成される。
【００４４】
このように、生成された画像データストリームは、ファイル生成回路６１でファイルフォーマットの処理が行われる。主にこのファイルフォーマットは、前記画像データストリームを参照するメタデータで構成されており、主に同期制御の機能を実現している。
【００４５】
具体的なファイルフォーマットは、図９（ｃ）に示す。基本的な構成として、ファイルフォーマットはメタデータで構成され、前記画像データストリーム（『Ｍｅｄｉａ Ｄａｔａ ｂｏｘ（ｍｄａｔ）』）をファイルフォーマットに含むことを制約していない。つまり、実データとなる前期画像データストリームを、ファイルフォーマットのメタデータで参照する形をとっている。従って、動画のファイルシステム（ＭｏｔｉｏｎＪＰＥＧ２０００）から、別のファイルシステムの実データ（『Ｍｅｄｉａ Ｄａｔａ ｂｏｘ（ｍｄａｔ））を参照することも可能であるし、静止画のファイルシステム（ＪＰＥＧ２０００）の実データ（Ｃｏｎｔｉｇｕｏｕｓ Ｃｏｄｅｓｔｒｅａｍ ｂｏｘ）を参照することも可能な構造になっている。
【００４６】
ＭｏｔｉｏｎＪＰＥＧ２０００のファイルフォーマットについてのみ、さらに詳細に述べると、まず初めに、ＭｏｔｉｏｎＪＰＥＧ２０００のファイルフォーマットであることを示す『Ｓｉｇｎａｔｕｒｅ ｂｏｘ（ｊｐ）』があり、ついでファイルの形式を示す『Ｆｉｌｅ Ｔｙｐｅ ｂｏｘ（ｆｔｙｐ）』がある。その後に、動画・音声データを制御するための『Ｍｏｖｉｅ ｂｏｘ（ｍｏｏｖ）』と、断片的に記録されている動画・音声データ（『Ｍｅｄｉａ Ｄａｔａ ｂｏｘ（ｍｄａｔ）』）を制御するための『Ｍｏｖｉｅ Ｆｒａｇｍｅｎｔ ｂｏｘ（ｍｏｏｆ）』（必須ではない）と、前記画像データストリームで構成される実データが含まれる『Ｍｅｄｉａ Ｄａｔａ ｂｏｘ（ｍｄａｔ）』がある。前記『Ｍｏｖｉｅ ｂｏｘ（ｍｏｏｖ）』と『Ｍｅｄｉａ Ｄａｔａ ｂｏｘ（ｍｄａｔ）』の前後関係の規定は特にされていない。
【００４７】
前記『Ｍｏｖｉｅ ｂｏｘ（ｍｏｏｖ）』について、さらに詳細を述べる。前記『Ｍｏｖｉｅ ｂｏｘ（ｍｏｏｖ）』には、動画データストリームを含めた全体の同期をとるための時間軸を設定する『Ｍｏｖｉｅ Ｈｅａｄｅｒ ｂｏｘ（ｍｖｈｄ）』と、前記時間軸に対して動画・音声等データの割り振りを設定する『Ｔｒａｃｋ ｂｏｘ（ｔｒａｋ）』と、前記断片的な記録されている動画・音声データが存在することを予告する『Ｍｏｖｉｅ Ｅｘｔｅｎｄｓ ｂｏｘ（ｍｖｅｘ）』（『Ｍｏｖｉｅ Ｆｒａｇｍｅｎｔ ｂｏｘ（ｍｏｏｆ）』があるときは必須）がある。
【００４８】
さらに、前記『Ｔｒａｃｋ ｂｏｘ（ｔｒａｋ）』には、個々の実データの再生開始時刻等を設定する『Ｔｒａｃｋ Ｈｅａｄｅｒ ｂｏｘ（ｔｋｈｄ）』と、個々の実データの同期制御や参照を設定する下位ｂｏｘを含む『Ｍｅｄｉａ ｂｏｘ（ｍｄｉａ）』がある。
【００４９】
上記のように構成されたメタデータファイルの設定により、前記画像データストリーム（『Ｍｅｄｉａ Ｄａｔａ ｂｏｘ（ｍｄａｔ）』）の同期制御が実現される。
【００５０】
従って、フレームレートの制御もまた、このメタデータの設定により実現されており、フレームレートを変更することに対しても柔軟なシステムとなっている。さらに、このメタデータは、通常の動画ストリームだけでなく、静止画ファイル（ＪＰＥＧ２０００）も参照する機能があり、かなり柔軟な表示や編集機能を実現している。
【００５１】
ここまでが、圧縮回路１００の処理の説明である。ファイル生成回路６１から出力された画像データストリームは、記録回路８０によって記録媒体８１に記録される。
【００５２】
このように、ＭｏｔｉｏｎＪＰＥＧ２０００方式の圧縮回路を用いることによって、フレームレート・画像位置・画像成分・画素数・画質の画像パラメータを比較的少ないオーバーヘッドで柔軟に変更できる機能を搭載することが可能になっている。
【００５３】
続いて、本発明の特徴的な動作であるバッテリ残量が少なくなった場合の撮影延長モードの動作について図１、図１０及び図１１を用いて説明する。
【００５４】
まず、データ処理の変更動作についてブロック図１とフローチャート図１０に従って説明する。
【００５５】
ユーザが指定部９５を介して、システムを制御するマイコン制御部９４に対して撮影延長モードの設定を行う（図１０のステップ１００）。
【００５６】
撮影延長モード時の場合は、バッテリ９０の使用許容残量を、バッテリ残量検出回路９１によって所定間隔で検出する。マイコン制御部９４では、バッテリ残量検出回路９１の出力値と所定値（Ｖ０）を比較する（ステップ１１０）。
【００５７】
ここで、検出値がＶ０を下回ったら、バッテリ残量検出回路９１の監視間隔を狭め、さらに、データプロセス制御回路７０に対して、レイヤ分割制御の停止を指示する（ステップ１２０）。
【００５８】
データプロセス制御回路７０は、前記指示をうけたら、レイヤパケット分割部５１に対して、レイヤ分割制御を停止するように指令する。レイヤパケット分割部５１では、レイヤ分割制御を停止することにより、図６の算出部５３とレイヤ判定部５４の動作を停止させることができるので、消費電力を省くことができる。
【００５９】
また、このようなレイヤ分割制御を停止は、所定画質で画像データを取り出す機能は削減されるものの、全体の画質を下げることなくバッテリの延命措置ができるところに特徴がある。
【００６０】
上記動作モードにおいても、マイコン制御部９４は、バッテリ残量検出回路９１の出力値と所定値（Ｖ１）を比較している（ステップ１３０）。
【００６１】
ここで、検出値がＶ１を下回った場合、マイコン制御部９４は、データプロセス制御回路７０に対して、算術符号化のバイパスモードの指定を指示する（ステップ１４０）。
【００６２】
これを受けたデータプロセス制御回路７０は、係数モデル化回路４１に対して、バイパスモードを指令する。通常の係数モデル化では、コードブロックの画像データを、図５の（ａ）に示すように、上位ビットから下位ビットに処理していく。前記バイパスモードでは、５ビット以上の深さの画像データについては、係数モデル化回路４１や算術符号化回路４２の処理を省略し、ウェブレット係数のままパケットデータにまとめてしまう処理を行う。５ビット以下のデータのエントロピ符号化処理を省略することができるので、全信号処理の６割を占めるといわれる処理負荷の軽減を実現でき、結果として、消費電力を抑えることができるので、バッテリ寿命を延ばすことになる。
【００６３】
この場合、算術符号化処理を行わないので、圧縮効率は下がるが、画質としては劣化しないという特徴がある。
【００６４】
さらに、上記動作モードにおいても、マイコン制御部９４は、バッテリ残量検出回路９１の出力値と所定値（Ｖ２）を比較している（ステップ１５０）。
【００６５】
ここで、検出値がＶ２を下回った場合、マイコン制御部９４は、データプロセス制御回路７０に対して、ウェブレット階層の高い算術符号化のバイパスモードの指定を指示する（ステップ１６０）。
【００６６】
これを受けたデータプロセス制御部７０は、係数モデル化回路４１に対して、バイパスモードを指令する。この場合のバイパスモードは、ビット深さにより指定するのではなく、ウェブレット階層のレベルによって指定する。ＪＰＥＧ２０００の離散ウェブレット変換においては、再起的に処理を行うが、再起的な回数（レベル）が増えていくと、画像データのエネルギーが低域成分に集中する。このため、このような画像データに対する算術符号化の符号化効率はあまり大きくない割には、処理負荷が高いので、このようなデータに対する算術符号化処理を省略するのである。例えば、所定レベルを３とするならば、『３ＬＬ／３ＬＨ／３ＨＬ／３ＨＨ、４ＬＬ／４ＬＨ／４ＨＬ／４ＨＨ、．．』のサブバンド係数については、エントロピ符号化を省略し、消費電力を抑えることになる。
【００６７】
この場合、算術符号化処理を行わないので、圧縮効率は多少下がるが、画質としては劣化しないという特徴がある。
【００６８】
さらに、上記動作モードにおいても、マイコン制御部９４は、バッテリ残量検出回路９１の出力値と所定値（Ｖ３）を比較している（ステップ１７０）。
【００６９】
ここで、検出値がＶ３を下回った場合、マイコン制御部９４は、データプロセス制御回路７０に対して、画像フレームの周辺タイルかつ高い周波数帯域のサブバンド係数を一律零にする指示をする（ステップ１８０）。
【００７０】
これを受けたデータプロセス制御回路７０は、量子化回路３２に対して、所定のタイルにおける所定のサブバンド帯域単位で係数の零化を指令する。例えば、所定レベルを３とするならば、『３ＨＨ、２ＨＨ、１ＨＨ』の周辺タイルのサブバンド係数については、値を零化する。エントロピ符号化では、コードブロック単位でのビット平面処理において、初めから値が零であることがわかっていれば、係数モデル化回路４１や算術符号化回路４２の処理を省略することが可能であり、ヘッダ処理回路５２で零であることを示すフラグを立てればよいのである。したがって、消費電力を抑えることになる。
【００７１】
この場合、周辺タイルの高域サブバンド係数を省略してしまうので、周辺画像の画質は多少下がるが、コード量としては小さくなるという特徴がある。なお、周辺の画像データを特定する方法として、タイルを使わずに、図８のプリシンクトで指定しても同様の効果は得られる。
【００７２】
さらに、上記動作モードにおいても、マイコン制御部９４は、バッテリ残量検出回路９１の出力値と所定値（Ｖ４）を比較している（ステップ１９０）。
【００７３】
ここで、検出値がＶ４を下回った場合、マイコン制御部９４は、データプロセス制御回路７０に対して、画像フレームの全体での高い周波数帯域のサブバンド係数を一律零にする指示をする（ステップ２００）。
【００７４】
これを受けたデータプロセス制御回路７０は、量子化回路３２に対して、所定のサブバンド帯域単位で係数の零化を指令する。例えば、所定レベルを２とするならば、『２ＨＨ、１ＨＨ』の周辺タイルのサブバンド係数については、値を零化する。エントロピ符号化では、先と同様に、コードブロック単位でのビット平面処理において、初めから値が零であることがわかっていれば、係数モデル化回路４１や算術符号化回路４２の処理を省略することが可能であり、ヘッダ処理回路５２で零であることを示すフラグを立てればよいのである。したがって、消費電力を抑えることになる。
【００７５】
この場合、高域サブバンド係数を省略してしまうので、全体の画質は多少下がるが、コード量としては小さくなるという特徴がある。
【００７６】
さらに、上記動作モードにおいても、マイコン制御部９４は、バッテリ残量検出回路９１の出力値と所定値（Ｖ５）を比較している（ステップ２１０）。
【００７７】
ここで、検出値がＶ５を下回った場合、マイコン制御部９４は、データプロセス制御部回路に対して、画像フレームの取り込み周期を長くする指示をする（ステップ２２０）。
【００７８】
これを受けたデータプロセス制御回路７０は、カメラ処理回路１１に対して、画像取り込み更新時間を長くするように指令する。例えば、通常３０フレーム毎秒のフレームレートならば、２５フレーム毎秒に画像取り込み更新時間を変更する。結果的には、エントロピ符号化での単位時間あたりの処理量が減るので、消費電力を抑えることになる。
【００７９】
この場合、時間方向のフレーム数を減らしてしまうので動き成分の分解能は多少下がるが、コード量としては小さくなるという特徴がある。
【００８０】
さらに、上記動作モードにおいても、マイコン制御部９４は、バッテリ残量検出回路９１の出力値と所定値（Ｖ６）を比較している（ステップ２３０）。
【００８１】
ここで、検出値がＶ６を下回った場合、マイコン制御部９４は、データプロセス制御回路７０に対して、全てのデータ処理を中止し、ファイル生成を完了する指示をする（ステップ２４０）。
【００８２】
これを受けたデータプロセス制御回路７０は、所定の画像フレームまでの符号化を完了したら全てのデータ処理を停止し、ファイル生成回路６１に対してファイルを閉じる処理を指令する。前記ファイルの終端処理が完了し、同データが記録媒体８１に書き込まれたのを確認したら、マイコン制御部９４は、全システムの電源を停止し、撮影終了モードを終了する（ステップ２５０）。
【００８３】
以上、バッテリ残量の変化量に応じて、データプロセスの制御方法を変更していくことで、画像処理に要する消費電力の節約を実現し、バッテリ時間を延長させることが可能となる。
【００８４】
続いて、図１１においては、上述した撮影延長モードの処理変更が発生した状態における表示方法についてのフローチャートを示している。図１と図１１を元に、動作の流れを説明する。
【００８５】
まず、先に説明したようにユーザ指定部９５を介して、システムを制御するマイコン制御部９４に対して撮影延長モードの設定を行っているので、撮影延長モードが開始される（図１１のステップ３００）。
【００８６】
撮影延長モード時の場合は、バッテリ９０の使用許容残量を、バッテリ残量検出回路９１により所定間隔で検出する。マイコン制御部９４では、前記バッテリ残量検出回路９１の出力値と所定値（Ｖ０）を比較する（ステップ３１０）。
【００８７】
ここで、検出値がＶ０を下回ったら、マイコン制御部９４は、表示装置９６に対して延長実行モードに入ったことを表示する（ステップ３２０）。ユーザはこれに見て、通常記録モードではなくなったことが認識できる。
【００８８】
次にマイコン制御部９４は、データプロセス制御回路７０より、現在どのような設定でデータ処理が行われているかの情報を取得する（ステップ３３０）。例えば、レイヤ制御を停止しているとか、算術バイパス制御をしているとか等の情報である。上記情報を取得したら、マイコン制御部９４は再び表示装置９６に対して、前記所得した情報を表示するよう制御する（ステップ３４０）。ユーザはこれを見て、レイヤ分割機能を省略したとか、画質が少し悪くなっている等を認識できる。
【００８９】
次にマイコン制御部９４は、データプロセス制御から取得した前記情報から、今後記録されるであろう符号化データのコード量（Ｌ）と今後消費されるであろう消費電力（Ｗ）を消費電力演算回路９３の演算等によって予測する（ステップ３５０）。
【００９０】
さらに、マイコン制御部９４は、バッテリ９０の残り電源容量を検出するバッテリ残量検出回路９１から、許容使用電力（Ｗｒ）の情報を取得する（ステップ３０６）。
【００９１】
さらに、マイコン制御部９４は、記録媒体８１の記録残量を検出する記録残量検出回路９２から、記録許容容量（Ｄｒ）の情報を取得する（ステップ３７０）。
【００９２】
マイコン制御部９４では、前記予測コード量（Ｌ）と前記許容容量（Ｄｒ）から、記録媒体の残りで記録可能な予測時間（Ｔｍ）を算出する。また、別に、前記予測消費電力（Ｗ）と前記許容使用電力（Ｗｒ）から、バッテリの残り電力で記録可能な予測時間（Ｔｂ）も算出する。前者二つの予測時間（Ｔｍ，Ｔｂ）のうち、小さいデータを記録可能時間（Ｔｒ）として算出する（ステップ３８０）。
最後に、マイコン制御部４７は、上記算出された予測時間（Ｔｒ）を表示装置９６に表示する。ユーザはこれをみて、残りの記録推定記録時間を認識し、撮影方法を工夫することができるようになる。
【００９３】
これらの処理は、前記バッテリ検出回路９１の出力値が所定値（Ｖ６）を比較して（ステップ４００）、検出値がＶ６以上である限り、所定時間間隔で繰り返される（ステップ３３０に戻る）。
【００９４】
ここで、検出値がＶ６を下回ったら、マイコン制御部９４は、表示装置９６に対し撮影終了の表示をして、撮影延長モードの終了となる（ステップ４１０）。
【００９５】
以上が、本発明の記録装置における実施形態の説明である。なお、本実施の形態では、撮影延長モードにおけるデータプロセス制御として、複数の手段を挙げたが、本発明は、これらの一部だけで、算出符号化等の負荷を低減させることも、本発明の他の実施例である。
【００９６】
また、複数上げた処理変更方法の組み合わせた処理方法についても、本発明の他の実施例である。
【００９７】
さらに、本実施の形態においては述べてないが、成分分割したデータのうちの一部だけを符号化することで、算術符号化等の負荷を低減させることも、本発明の他の実施例である。具体的には、所定電圧以下になったら、輝度信号だけを符号化して処理負荷を低減することとか、色信号の５ビット以下の算術符号をバイパスする等のような実施例があげられる。
【００９８】
以上のように、本実施の形態によれば使用中の電源の残量に応じて、圧縮回路を制御することによって記録時間を延長させることができる。
【００９９】
【発明の効果】
以上説明のように、本発明によれば、電源の残量に応じて、圧縮回路を制御することによって記録時間を延長させることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態で説明する記録装置のブロック図
【図２】ＭｏｔｉｏｎＪＰＥＧ２０００方式における画像データの分割方法の概念図
【図３】本発明を実施した画像データの分割処理の詳細ブロック図
【図４】ＭｏｔｉｏｎＪＰＥＧ２０００におけるエントロピ符号化単位の概念図
【図５】ＭｏｔｉｏｎＪＰＥＧ２０００におけるエントロピ符号化処理の概念図
【図６】本発明を実施したエントロピ符号化処理の詳細ブロック図
【図７】ＭｏｔｉｏｎＪＰＥＧ２０００のプリシンクトを利用した画像データの分割方法の概念図
【図８】本発明を実施したプリシンクトを利用した分割処理の詳細ブロック図
【図９】ＭｏｔｉｏｎＪＰＥＧ２０００のコードストリームとファイル構成図
【図１０】本発明を実施したデータ制御の変更動作のフローチャート
【図１１】本発明を実施したデータ制御変更時の表示動作のフローチャート
【符号の説明】
１１ カメラ処理回路
２１ 領域分割回路
２２ 成分分割回路
３１ サブバンド分割回路
３２ 量子化回路
４１ 係数モデル化回路
４２ 算術符号化回路
５１ レイヤパケット分割回路
５２ ヘッダ処理回路
６１ ファイル生成回路
７０ データプロセス制御回路
８０ 記録回路
８１ 記録媒体
９０ バッテリ
９１ バッテリ残量検出回路
９２ 記録残量検出回路
９３ 消費電力演算回路
９４ マイコン制御部
９５ ユーザ指定部
９６ 表示装置
１００ 圧縮回路
【発明の属する技術分野】
本発明は画像処理装置に関するもので、特に携帯型の機器に適用されるものである。
【０００２】
【従来の技術】
従来、画像を撮影して記録再生できる装置として、デジタルスチルカメラやデジタルビデオカメラがある。これらは外出先に携帯して撮影できるように、バッテリで駆動するものが望ましい。
【０００３】
また、上記のデジタルスチルカメラやデジタルビデオカメラにおいては、撮影したデジタル画像データを圧縮して記録することが広く行われている。
【０００４】
画像を圧縮するフォーマットとしては、デジタルスチルカメラでは静止画を圧縮する為のＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ＥｘｐｅｒｔｓＧｒｏｕｐ）方式、デジタルビデオカメラでは動画を圧縮する為のＤＶ方式やＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式が一般的に用いられているが、近年新たな画像フォーマットとして、ＪＰＥＧ２０００（静止画）方式や、ＭｏｔｉｏｎＪＰＥＧ２０００（動画）方式が規格化され、注目されている。
【０００５】
特にＭｏｔｉｏｎＪＰＥＧ２０００方式は、動画像をフレーム単位で、かつスケーラブルに扱えたり、或いはフレームレートが変更できたりするといった特徴を備えており、その柔軟性の高さからも製品への応用が検討されている。例えば、Ｍｏｔｉｏｎ ＪＰＥＧ２０００方式をデジタルビデオカメラに適用した先行技術として、特開２００１−３５９１１７号（特許文献１）が既に知られている。
【０００６】
【特許文献１】
特開２００１−３５９１１７号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、ＪＰＥＧ２０００方式は、上記の如き特徴やその効果を有している一方、圧縮効率を上げるために、符号化方式として高能率圧縮である算術符号化を用いている為、他の処理ブロックに対して処理負荷が大きいという問題点がある。これは消費電力の増加を招き、特にデジタルビデオカメラやデジタルスチルカメラのような携帯システムにおいては、その駆動源となるバッテリが有限な資源であるので、撮影時間の短縮や撮影中断といったミスに繋がりかねない。
【０００８】
本発明は上記の如き問題点を解決して、ＪＰＥＧ２０００方式を採用した携帯型記録装置等に好適な、消費電力を低減させて処理時間の延長を可能にした画像処理装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
斯かる目的を達成する為の手段として、本発明は以下の構成からなる手段を有する。
【００１０】
本発明の画像処理装置は、入力画像データを圧縮符号化して出力する画像処理装置において、前記入力画像データを所定単位に分割して、分割後の画像データ単位で符号化処理する圧縮手段と、前記圧縮手段における符号化処理を制御する制御手段と、各手段に供給される電力の検出手段とを備え、前記制御手段は前記検出手段の検出結果に従って、前記圧縮手段の制御を変更することを特徴とする。
【００１１】
【発明の実施の形態】
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
【００１２】
図１は、ＭｏｔｉｏｎＪＰＥＧ２０００方式の圧縮回路１００を備えた記録装置の全体システムのブロック図である。図１の記録装置とはデジタルビデオカメラ、或いはデジタルスチルカメラ等である。
【００１３】
図１において、記録装置は、カメラ処理ブロック１０としてカメラ処理回路１１、圧縮プリ処理ブロック２０として領域分割回路２１と成分分割回路２２、サブバンド量子化ブロック３０としてサブバンド分割回路３１と量子化回路３２、エントロピ符号化ブロック４０として係数モデル化回路４１と算術符号化回路４２、符号形成ブロック５０としてレイヤパケット分割回路５１とヘッダ処理回路５２、圧縮ポスト処理ブロック６０としてファイル生成回路６１を夫々備え、２０、３０、４０、５０、６０を総じて圧縮回路１００である。
【００１４】
さらに、ＭｏｔｉｏｎＪＰＥＧ２０００圧縮回路１００における各処理を制御するデータプロセス制御回路７０、圧縮回路１００で生成した画像ファイルを記録処理する記録回路８０、画像ファイルを記録する為の光ディスク、固体メモリ或いは磁気テープ等から成る記録媒体８１、システム全体のエネルギーを供給するバッテリ９０、バッテリ９０が供給可能な電力量を検出する残量検出回路９１、記録媒体８１が記録可能な容量を検出する記録残量検出回路９２、システム全体の消費電力を推定演算する消費電力演算回路９３、システム全体を制御するマイコン制御部９４、操作指示入力を行うユーザ指定部９５、動作状況などを表示する表示装置９６を具備した構成である。
【００１５】
次に、図１の記録装置について信号の流れに沿って説明する。
【００１６】
被写体を撮像して得た画像信号はカメラ処理回路１１に入力され、カメラ処理回路１１が連続するフレーム画像として、デジタル画像データに変換し映像処理する（この様子を図２（ａ）で表す。フレーム間隔はΔＴｆｒｍである。）。
【００１７】
このときの、データプロセス制御回路７０による動作を図３に詳細に示す。図３において、データユニット（画像フレーム）を制御するデータユニット制御部７２の指令を受けて、前記フレームの取込間隔（ΔＴｆｒｍ）の基準信号を発生部７１で発生して、前記基準信号にもとづいてカメラ処理回路１１が駆動される。ΔＴｆｒｍは、通常動作の場合、動画データがＮＴＳＣ相当のＶＧＡならば、１／３０秒ということになる。
【００１８】
次に、領域分割回路２１でフレーム画像のデータを複数の小領域（タイル）に分割する（図２（ｂ）で表す。）。
次に、成分分割回路２２で各タイルにおける画像データをＹＣｂＣｒのコンポーネント成分に分解する（図２（ｃ）で表す。）。
【００１９】
次に、各成分に分割された画像データを、サブバンド分割回路３１が周波数帯域に分割する（図２（ｄ）で表す。）。ＪＰＥＧ２０００方式（ＭｏｔｉｏｎＪＰＥＧ２０００方式含む）では、高域と低域にダウンサンプルして分割する離散ウェブレット変換を利用しているので、サブバンド分割回路３１においては図２（ｄ）のように、低い周波数帯域のデータ（３ＬＬ）がそれに応じた画素数（１／６４）のデータに変換される。フィルター処理は、空間フィルターなので、１次元の離散ウェブレット変換を水平方向と垂直方向に施す２次元処理を行い、それを１回として離散ウェブレット変換として処理する。
【００２０】
このとき生成するデータは、『１ＬＬ／１ＬＨ／１ＨＬ／１ＨＨ』（アルファベットのＨは高域成分、Ｌは低域成分を表現し、最初のアルファベットが水平方向、後半のアルファベットが垂直方向を表現している。つまり、『ＬＨ』は、水平方向に低域、垂直方向に高域の帯域を含む画像データの成分（サブバンド係数）を示している。）で、タイル画像データが４つのサブバンド帯域のデータに分割されたことになる。
【００２１】
つまり、『１ＬＬ』は、元のタイル画像データに対して１／４の画素数のデータになっている。さらに、前記サブバンド帯域の中で、『１ＬＬ』データに対して、再度離散ウェブレット変換処理をしていくと『２ＬＬ／２ＬＨ／２ＨＬ／２ＨＨ』の階層的なサブバンド分割が実現せきる。ここで、『２ＬＬ』は、初めのタイル画像データ対して、１／１６の画素数のデータとなっている。さらに、『２ＬＬ』に対して、再度、離散ウェブレット変換処理を行うと、図２（ｄ）のように、『３ＬＬ／３ＬＨ／３ＨＬ／３ＨＨ』のサブバンド帯域に分割され、元のタイル画像データに対して１／６４の画素数のデータ『３ＬＬ』が生成される。
【００２２】
このように、離散ウェブレット変換を繰り返すことにより、画像データは低域から高域までの複数のサブバンド帯域（３ＬＬ〜１ＨＨ）に分割され、かつ画素数に対して階層的な構造をもつデータ形式を構成することになる。このように、通常処理においては、再帰的な離散ウェブレット変換によるサブバンド分割が画素数の階層構造（周波数帯域階層構造）を実現している。
【００２３】
次に、サブバンド分割回路３１で変換された画像データ（ウェブレット係数）は量子化回路３２に入力される。量子化回路３２は画像データをデッドゾーン量子化し、所定ビット長のデジタルデータに変換する。前記所定ビット長の画像データは、高能率符号の単位となるコードブロックの単位にまとめられて、係数モデル化回路４１で処理される。
【００２４】
コードブロックの様子を図４に示す。サブバンド分割された画像データ（図４（ａ））をコードブロック単位に分類したとき（図４（ｂ））、各コードブロックは図４（ｃ）のような構成となっている。コードブロックは、６４×６４あるいは、１２８×１２８等の画素をまとめた単位で、図４（ｃ）のようにビット深さ方向に情報をもつ構造となっている。
【００２５】
係数モデル化回路４１では、上記したコードブロックの画像データを同一ビット深さ平面単位で、上位ビットから下位ビットへ処理していく。
【００２６】
この様子を図５（ａ）で表す。係数モデル化回路４１では、コードブロックに対して、上位ビット平面から下位ビット平面へ、各平面単位の処理で、ニ値化モデルを構築していく。具体的には、図５（ａ）に示すように、同一深さのビット平面に対して、縦４個の画素を垂直にスキャンした後、水平方向に１画素ずらし、再度縦４個の画素のスキャンを繰り返す。このスキャン工程がコードブロックの水平端画素まで達したら、逆の水平端の画素に戻り、今度は垂直方向に４画素ずらした位置から、先の４画素単位のスキャンを繰り返す。この独特なスキャン方法を１画素について３回（パス）繰り返すことで、各平面におけるビットの有意／非有意を判断して、１９のモデル（コンテキストモデル）に当てはめる。このように、１ビット当たり３回のスキャンを繰り返すので、処理負荷としては、かなり重いものとなる。
【００２７】
各ビット平面では、それぞれのビットを１９のモデルに分類して二値化データに変換し、前記二値化データを算術符号化回路４２で前述の１９のモデルに当てはめられた係数モデルを元に、各ビットについての１あるいは０の出現率で符号化する算術符号化の処理を行う。算術符号化処理もまた、負荷としては重く、前段の係数モデル化処理とあわせると、全体のシステム処理の６割を占めることにも成りうる。
【００２８】
ところで、エントロピ符号化は前述したように、上位ビットから下位ビットに符号化している。つまり、画質に影響度の大きいデータ（上位ビット）順に符号化処理をしているので、算術符号化回路４２から出力されるデータは、出力の順に画質への影響度が小さくなっている。この性質を利用して、画質の寄与率で符号化データをまとめる作業を行うことができる。
【００２９】
レイヤパケット分割回路５１では、この画質寄与率に応じたグループ分けを行う。そして、同じサブバンドの同じレイヤのデータをまとめて、パケットデータを生成する（この様子を図５（ｂ）で表す。）。
【００３０】
この詳細を図６を用いて説明する。図６はレイヤパケット分割回路５１の構成である。前記算術符号化回路４２から順次出力される上位ビットから下位ビットの符号化されたコード量の変化（ΔＲ）と、符号化されたデータを復号して得られる画質の変化量（ΔＤ）を監視し、その比（ΔＲ／ΔＤ）の値を算出部５３で算出する。この処理は、一度符号化したデータを復号する（２パス）ので、処理的な負担が発生する。
【００３１】
そして、レイヤ判定部５４で、前記の算出値が所定値より大きいか否かを判定し、前記出力されるコードデータのグループ分けを行う（レイヤ分割）。前記レイヤ判定された値に基づいて、前記符号化データは、メモリ５５の同一のレイヤエリアに一旦蓄積される。そして、前記メモリ５５から、サブバンド単位で同一のレイヤの符号化データを読み出して、パケット生成部５６でパケットといわれるデータ処理単位にまとめる。
【００３２】
ところで、領域分割については、前記説明ではタイル分割により実現してきたが、タイル分割をすると、ウェブレット変換の境界領域で歪が発生する。そこで、タイル分割しないで（１タイル）、離散ウェブレット変換を行うこともある。そのような場合における任意位置の画像データの取り出し方法について、図７、図８を用いて説明する。
【００３３】
まず、図８において、カメラ処理された画像データを、圧縮プリ処理ブロック２０で領域分割せずに、成分分割回路２２でＹＣｂＣｒの成分分割する。そして、前記フレーム全体の成分データに対して、サブバンド分割回路３１で、前述した離散ウェブレット変換を行う。図７（ａ）の画像データを３回の離散ウェブレット変換によってサブバンド帯域分割した様子を図７（ｂ）に示す。
【００３４】
次に、プリシンクト処理部３３で、各サブバンド帯域において、水平垂直に１／４に分割したプリシンクトを定義して、量子化回路３２で量子化する。
【００３５】
ダウンサンプリングフィルターによるウェブレット変換係数の空間的配置は、各サブバンド内では維持されているので、図７（ｂ）、（ｃ）に示すように、『３ＬＨ』の所定のプリシンクト（斜線部）と『１ＨＨ』の所定のプリシンクト（斜線部）は同一の空間のサブバンド係数に対応している。従って、所定位置のプリシンクト領域データを集めて、逆離散ウェブレット変換すれば、所望の位置の画像データを復元することができる。
【００３６】
このように、離散ウェブレット変換したあとのプリシンクト分割は、離散ウェブレット変換する前のタイル分割と同等の機能を実現することが出来る。
【００３７】
このように、パケットデータは、同一の画質（レイヤ）と画素数（サブバンド）をまとめているので、パケットデータの抽出方法によって、所定の画質で所定の画素数となる画像データを復号することが可能となる機能を提供している。
【００３８】
また、これらの処理は前記タイル単位で行っているので、所定のタイルのパケットデータを抽出すれば、所定の位置の画像データのみを復号することが可能となる機能も提供している。
【００３９】
さらに、画像データの成分についても、独立に処理しているので、所定の成分のパケットデータを抽出すれば、所定の成分のみを復号することが可能となる機能も提供している。
【００４０】
つまり、ＭｏｔｉｏｎＪＰＥＧ２０００方式の圧縮回路１００によれば、パケットデータの抽出の仕方さえ制御できれば、ユーザは所定の位置・成分・画素数・画質のデータを階層的に取り出すことが可能なシステムとなっている。これを、データのランダムアクセスが可能なシステムと表現することもある。
【００４１】
引き続き図１に戻り、上述した過程で生成された画像のパケットデータに、ヘッダ処理回路５２で、パケットデータの抽出方法の制御を実現するための付加（ヘッダ）データを加える。さらに、動画データは、前記ヘッダ処理が行われたフレーム画像データをつなげた形で構成される。
【００４２】
具体的には、図９（ａ）に示すように、タイル毎にまとめられたパケットデータの前には、パケットデータの開始を示す『Ｓｔａｒｔ ｏｆ Ｄａｔａ（ＳＯＤ）』ヘッダと、そのパケットデータの並び方に関するヘッダ情報が『ＴｉｌｅＨｅａｄｅｒ』情報と、タイルに関する情報の開始を示す『Ｓｔａｒｔ ｏｆＴｉｌｅ−ｐａｒｔ（ＳＯＴ）』ヘッダが付加される。また、前記タイル情報を複数まとめたフレーム画像全体の情報に対しては、『Ｍａｉｎ Ｈｅａｄｅｒ』情報と、フレーム画像の開始を示す『Ｓｔａｒｔ ｏｆ Ｃｏｄｅｓｔｒｅａｍ（ＳＯＣ）』ヘッダと、フレーム画像の終了を示す『Ｅｎｄ ｏｆ Ｃｏｄｅｓｔｒｅａｍ（ＥＯＣ）』ヘッダが付加される。
【００４３】
さらに、動画データは、『Ｓｔａｒｔ ｏｆ Ｃｏｄｅｓｔｒｅａｍ（ＳＯＣ）』から『Ｅｎｄ ｏｆ Ｃｏｄｅｓｔｒｅａｍ（ＥＯＣ）』で終わるフレーム画像を連続してつなげたデータストリームとして、図９（ｂ）のような構成で生成される。
【００４４】
このように、生成された画像データストリームは、ファイル生成回路６１でファイルフォーマットの処理が行われる。主にこのファイルフォーマットは、前記画像データストリームを参照するメタデータで構成されており、主に同期制御の機能を実現している。
【００４５】
具体的なファイルフォーマットは、図９（ｃ）に示す。基本的な構成として、ファイルフォーマットはメタデータで構成され、前記画像データストリーム（『Ｍｅｄｉａ Ｄａｔａ ｂｏｘ（ｍｄａｔ）』）をファイルフォーマットに含むことを制約していない。つまり、実データとなる前期画像データストリームを、ファイルフォーマットのメタデータで参照する形をとっている。従って、動画のファイルシステム（ＭｏｔｉｏｎＪＰＥＧ２０００）から、別のファイルシステムの実データ（『Ｍｅｄｉａ Ｄａｔａ ｂｏｘ（ｍｄａｔ））を参照することも可能であるし、静止画のファイルシステム（ＪＰＥＧ２０００）の実データ（Ｃｏｎｔｉｇｕｏｕｓ Ｃｏｄｅｓｔｒｅａｍ ｂｏｘ）を参照することも可能な構造になっている。
【００４６】
ＭｏｔｉｏｎＪＰＥＧ２０００のファイルフォーマットについてのみ、さらに詳細に述べると、まず初めに、ＭｏｔｉｏｎＪＰＥＧ２０００のファイルフォーマットであることを示す『Ｓｉｇｎａｔｕｒｅ ｂｏｘ（ｊｐ）』があり、ついでファイルの形式を示す『Ｆｉｌｅ Ｔｙｐｅ ｂｏｘ（ｆｔｙｐ）』がある。その後に、動画・音声データを制御するための『Ｍｏｖｉｅ ｂｏｘ（ｍｏｏｖ）』と、断片的に記録されている動画・音声データ（『Ｍｅｄｉａ Ｄａｔａ ｂｏｘ（ｍｄａｔ）』）を制御するための『Ｍｏｖｉｅ Ｆｒａｇｍｅｎｔ ｂｏｘ（ｍｏｏｆ）』（必須ではない）と、前記画像データストリームで構成される実データが含まれる『Ｍｅｄｉａ Ｄａｔａ ｂｏｘ（ｍｄａｔ）』がある。前記『Ｍｏｖｉｅ ｂｏｘ（ｍｏｏｖ）』と『Ｍｅｄｉａ Ｄａｔａ ｂｏｘ（ｍｄａｔ）』の前後関係の規定は特にされていない。
【００４７】
前記『Ｍｏｖｉｅ ｂｏｘ（ｍｏｏｖ）』について、さらに詳細を述べる。前記『Ｍｏｖｉｅ ｂｏｘ（ｍｏｏｖ）』には、動画データストリームを含めた全体の同期をとるための時間軸を設定する『Ｍｏｖｉｅ Ｈｅａｄｅｒ ｂｏｘ（ｍｖｈｄ）』と、前記時間軸に対して動画・音声等データの割り振りを設定する『Ｔｒａｃｋ ｂｏｘ（ｔｒａｋ）』と、前記断片的な記録されている動画・音声データが存在することを予告する『Ｍｏｖｉｅ Ｅｘｔｅｎｄｓ ｂｏｘ（ｍｖｅｘ）』（『Ｍｏｖｉｅ Ｆｒａｇｍｅｎｔ ｂｏｘ（ｍｏｏｆ）』があるときは必須）がある。
【００４８】
さらに、前記『Ｔｒａｃｋ ｂｏｘ（ｔｒａｋ）』には、個々の実データの再生開始時刻等を設定する『Ｔｒａｃｋ Ｈｅａｄｅｒ ｂｏｘ（ｔｋｈｄ）』と、個々の実データの同期制御や参照を設定する下位ｂｏｘを含む『Ｍｅｄｉａ ｂｏｘ（ｍｄｉａ）』がある。
【００４９】
上記のように構成されたメタデータファイルの設定により、前記画像データストリーム（『Ｍｅｄｉａ Ｄａｔａ ｂｏｘ（ｍｄａｔ）』）の同期制御が実現される。
【００５０】
従って、フレームレートの制御もまた、このメタデータの設定により実現されており、フレームレートを変更することに対しても柔軟なシステムとなっている。さらに、このメタデータは、通常の動画ストリームだけでなく、静止画ファイル（ＪＰＥＧ２０００）も参照する機能があり、かなり柔軟な表示や編集機能を実現している。
【００５１】
ここまでが、圧縮回路１００の処理の説明である。ファイル生成回路６１から出力された画像データストリームは、記録回路８０によって記録媒体８１に記録される。
【００５２】
このように、ＭｏｔｉｏｎＪＰＥＧ２０００方式の圧縮回路を用いることによって、フレームレート・画像位置・画像成分・画素数・画質の画像パラメータを比較的少ないオーバーヘッドで柔軟に変更できる機能を搭載することが可能になっている。
【００５３】
続いて、本発明の特徴的な動作であるバッテリ残量が少なくなった場合の撮影延長モードの動作について図１、図１０及び図１１を用いて説明する。
【００５４】
まず、データ処理の変更動作についてブロック図１とフローチャート図１０に従って説明する。
【００５５】
ユーザが指定部９５を介して、システムを制御するマイコン制御部９４に対して撮影延長モードの設定を行う（図１０のステップ１００）。
【００５６】
撮影延長モード時の場合は、バッテリ９０の使用許容残量を、バッテリ残量検出回路９１によって所定間隔で検出する。マイコン制御部９４では、バッテリ残量検出回路９１の出力値と所定値（Ｖ０）を比較する（ステップ１１０）。
【００５７】
ここで、検出値がＶ０を下回ったら、バッテリ残量検出回路９１の監視間隔を狭め、さらに、データプロセス制御回路７０に対して、レイヤ分割制御の停止を指示する（ステップ１２０）。
【００５８】
データプロセス制御回路７０は、前記指示をうけたら、レイヤパケット分割部５１に対して、レイヤ分割制御を停止するように指令する。レイヤパケット分割部５１では、レイヤ分割制御を停止することにより、図６の算出部５３とレイヤ判定部５４の動作を停止させることができるので、消費電力を省くことができる。
【００５９】
また、このようなレイヤ分割制御を停止は、所定画質で画像データを取り出す機能は削減されるものの、全体の画質を下げることなくバッテリの延命措置ができるところに特徴がある。
【００６０】
上記動作モードにおいても、マイコン制御部９４は、バッテリ残量検出回路９１の出力値と所定値（Ｖ１）を比較している（ステップ１３０）。
【００６１】
ここで、検出値がＶ１を下回った場合、マイコン制御部９４は、データプロセス制御回路７０に対して、算術符号化のバイパスモードの指定を指示する（ステップ１４０）。
【００６２】
これを受けたデータプロセス制御回路７０は、係数モデル化回路４１に対して、バイパスモードを指令する。通常の係数モデル化では、コードブロックの画像データを、図５の（ａ）に示すように、上位ビットから下位ビットに処理していく。前記バイパスモードでは、５ビット以上の深さの画像データについては、係数モデル化回路４１や算術符号化回路４２の処理を省略し、ウェブレット係数のままパケットデータにまとめてしまう処理を行う。５ビット以下のデータのエントロピ符号化処理を省略することができるので、全信号処理の６割を占めるといわれる処理負荷の軽減を実現でき、結果として、消費電力を抑えることができるので、バッテリ寿命を延ばすことになる。
【００６３】
この場合、算術符号化処理を行わないので、圧縮効率は下がるが、画質としては劣化しないという特徴がある。
【００６４】
さらに、上記動作モードにおいても、マイコン制御部９４は、バッテリ残量検出回路９１の出力値と所定値（Ｖ２）を比較している（ステップ１５０）。
【００６５】
ここで、検出値がＶ２を下回った場合、マイコン制御部９４は、データプロセス制御回路７０に対して、ウェブレット階層の高い算術符号化のバイパスモードの指定を指示する（ステップ１６０）。
【００６６】
これを受けたデータプロセス制御部７０は、係数モデル化回路４１に対して、バイパスモードを指令する。この場合のバイパスモードは、ビット深さにより指定するのではなく、ウェブレット階層のレベルによって指定する。ＪＰＥＧ２０００の離散ウェブレット変換においては、再起的に処理を行うが、再起的な回数（レベル）が増えていくと、画像データのエネルギーが低域成分に集中する。このため、このような画像データに対する算術符号化の符号化効率はあまり大きくない割には、処理負荷が高いので、このようなデータに対する算術符号化処理を省略するのである。例えば、所定レベルを３とするならば、『３ＬＬ／３ＬＨ／３ＨＬ／３ＨＨ、４ＬＬ／４ＬＨ／４ＨＬ／４ＨＨ、．．』のサブバンド係数については、エントロピ符号化を省略し、消費電力を抑えることになる。
【００６７】
この場合、算術符号化処理を行わないので、圧縮効率は多少下がるが、画質としては劣化しないという特徴がある。
【００６８】
さらに、上記動作モードにおいても、マイコン制御部９４は、バッテリ残量検出回路９１の出力値と所定値（Ｖ３）を比較している（ステップ１７０）。
【００６９】
ここで、検出値がＶ３を下回った場合、マイコン制御部９４は、データプロセス制御回路７０に対して、画像フレームの周辺タイルかつ高い周波数帯域のサブバンド係数を一律零にする指示をする（ステップ１８０）。
【００７０】
これを受けたデータプロセス制御回路７０は、量子化回路３２に対して、所定のタイルにおける所定のサブバンド帯域単位で係数の零化を指令する。例えば、所定レベルを３とするならば、『３ＨＨ、２ＨＨ、１ＨＨ』の周辺タイルのサブバンド係数については、値を零化する。エントロピ符号化では、コードブロック単位でのビット平面処理において、初めから値が零であることがわかっていれば、係数モデル化回路４１や算術符号化回路４２の処理を省略することが可能であり、ヘッダ処理回路５２で零であることを示すフラグを立てればよいのである。したがって、消費電力を抑えることになる。
【００７１】
この場合、周辺タイルの高域サブバンド係数を省略してしまうので、周辺画像の画質は多少下がるが、コード量としては小さくなるという特徴がある。なお、周辺の画像データを特定する方法として、タイルを使わずに、図８のプリシンクトで指定しても同様の効果は得られる。
【００７２】
さらに、上記動作モードにおいても、マイコン制御部９４は、バッテリ残量検出回路９１の出力値と所定値（Ｖ４）を比較している（ステップ１９０）。
【００７３】
ここで、検出値がＶ４を下回った場合、マイコン制御部９４は、データプロセス制御回路７０に対して、画像フレームの全体での高い周波数帯域のサブバンド係数を一律零にする指示をする（ステップ２００）。
【００７４】
これを受けたデータプロセス制御回路７０は、量子化回路３２に対して、所定のサブバンド帯域単位で係数の零化を指令する。例えば、所定レベルを２とするならば、『２ＨＨ、１ＨＨ』の周辺タイルのサブバンド係数については、値を零化する。エントロピ符号化では、先と同様に、コードブロック単位でのビット平面処理において、初めから値が零であることがわかっていれば、係数モデル化回路４１や算術符号化回路４２の処理を省略することが可能であり、ヘッダ処理回路５２で零であることを示すフラグを立てればよいのである。したがって、消費電力を抑えることになる。
【００７５】
この場合、高域サブバンド係数を省略してしまうので、全体の画質は多少下がるが、コード量としては小さくなるという特徴がある。
【００７６】
さらに、上記動作モードにおいても、マイコン制御部９４は、バッテリ残量検出回路９１の出力値と所定値（Ｖ５）を比較している（ステップ２１０）。
【００７７】
ここで、検出値がＶ５を下回った場合、マイコン制御部９４は、データプロセス制御部回路に対して、画像フレームの取り込み周期を長くする指示をする（ステップ２２０）。
【００７８】
これを受けたデータプロセス制御回路７０は、カメラ処理回路１１に対して、画像取り込み更新時間を長くするように指令する。例えば、通常３０フレーム毎秒のフレームレートならば、２５フレーム毎秒に画像取り込み更新時間を変更する。結果的には、エントロピ符号化での単位時間あたりの処理量が減るので、消費電力を抑えることになる。
【００７９】
この場合、時間方向のフレーム数を減らしてしまうので動き成分の分解能は多少下がるが、コード量としては小さくなるという特徴がある。
【００８０】
さらに、上記動作モードにおいても、マイコン制御部９４は、バッテリ残量検出回路９１の出力値と所定値（Ｖ６）を比較している（ステップ２３０）。
【００８１】
ここで、検出値がＶ６を下回った場合、マイコン制御部９４は、データプロセス制御回路７０に対して、全てのデータ処理を中止し、ファイル生成を完了する指示をする（ステップ２４０）。
【００８２】
これを受けたデータプロセス制御回路７０は、所定の画像フレームまでの符号化を完了したら全てのデータ処理を停止し、ファイル生成回路６１に対してファイルを閉じる処理を指令する。前記ファイルの終端処理が完了し、同データが記録媒体８１に書き込まれたのを確認したら、マイコン制御部９４は、全システムの電源を停止し、撮影終了モードを終了する（ステップ２５０）。
【００８３】
以上、バッテリ残量の変化量に応じて、データプロセスの制御方法を変更していくことで、画像処理に要する消費電力の節約を実現し、バッテリ時間を延長させることが可能となる。
【００８４】
続いて、図１１においては、上述した撮影延長モードの処理変更が発生した状態における表示方法についてのフローチャートを示している。図１と図１１を元に、動作の流れを説明する。
【００８５】
まず、先に説明したようにユーザ指定部９５を介して、システムを制御するマイコン制御部９４に対して撮影延長モードの設定を行っているので、撮影延長モードが開始される（図１１のステップ３００）。
【００８６】
撮影延長モード時の場合は、バッテリ９０の使用許容残量を、バッテリ残量検出回路９１により所定間隔で検出する。マイコン制御部９４では、前記バッテリ残量検出回路９１の出力値と所定値（Ｖ０）を比較する（ステップ３１０）。
【００８７】
ここで、検出値がＶ０を下回ったら、マイコン制御部９４は、表示装置９６に対して延長実行モードに入ったことを表示する（ステップ３２０）。ユーザはこれに見て、通常記録モードではなくなったことが認識できる。
【００８８】
次にマイコン制御部９４は、データプロセス制御回路７０より、現在どのような設定でデータ処理が行われているかの情報を取得する（ステップ３３０）。例えば、レイヤ制御を停止しているとか、算術バイパス制御をしているとか等の情報である。上記情報を取得したら、マイコン制御部９４は再び表示装置９６に対して、前記所得した情報を表示するよう制御する（ステップ３４０）。ユーザはこれを見て、レイヤ分割機能を省略したとか、画質が少し悪くなっている等を認識できる。
【００８９】
次にマイコン制御部９４は、データプロセス制御から取得した前記情報から、今後記録されるであろう符号化データのコード量（Ｌ）と今後消費されるであろう消費電力（Ｗ）を消費電力演算回路９３の演算等によって予測する（ステップ３５０）。
【００９０】
さらに、マイコン制御部９４は、バッテリ９０の残り電源容量を検出するバッテリ残量検出回路９１から、許容使用電力（Ｗｒ）の情報を取得する（ステップ３０６）。
【００９１】
さらに、マイコン制御部９４は、記録媒体８１の記録残量を検出する記録残量検出回路９２から、記録許容容量（Ｄｒ）の情報を取得する（ステップ３７０）。
【００９２】
マイコン制御部９４では、前記予測コード量（Ｌ）と前記許容容量（Ｄｒ）から、記録媒体の残りで記録可能な予測時間（Ｔｍ）を算出する。また、別に、前記予測消費電力（Ｗ）と前記許容使用電力（Ｗｒ）から、バッテリの残り電力で記録可能な予測時間（Ｔｂ）も算出する。前者二つの予測時間（Ｔｍ，Ｔｂ）のうち、小さいデータを記録可能時間（Ｔｒ）として算出する（ステップ３８０）。
最後に、マイコン制御部４７は、上記算出された予測時間（Ｔｒ）を表示装置９６に表示する。ユーザはこれをみて、残りの記録推定記録時間を認識し、撮影方法を工夫することができるようになる。
【００９３】
これらの処理は、前記バッテリ検出回路９１の出力値が所定値（Ｖ６）を比較して（ステップ４００）、検出値がＶ６以上である限り、所定時間間隔で繰り返される（ステップ３３０に戻る）。
【００９４】
ここで、検出値がＶ６を下回ったら、マイコン制御部９４は、表示装置９６に対し撮影終了の表示をして、撮影延長モードの終了となる（ステップ４１０）。
【００９５】
以上が、本発明の記録装置における実施形態の説明である。なお、本実施の形態では、撮影延長モードにおけるデータプロセス制御として、複数の手段を挙げたが、本発明は、これらの一部だけで、算出符号化等の負荷を低減させることも、本発明の他の実施例である。
【００９６】
また、複数上げた処理変更方法の組み合わせた処理方法についても、本発明の他の実施例である。
【００９７】
さらに、本実施の形態においては述べてないが、成分分割したデータのうちの一部だけを符号化することで、算術符号化等の負荷を低減させることも、本発明の他の実施例である。具体的には、所定電圧以下になったら、輝度信号だけを符号化して処理負荷を低減することとか、色信号の５ビット以下の算術符号をバイパスする等のような実施例があげられる。
【００９８】
以上のように、本実施の形態によれば使用中の電源の残量に応じて、圧縮回路を制御することによって記録時間を延長させることができる。
【００９９】
【発明の効果】
以上説明のように、本発明によれば、電源の残量に応じて、圧縮回路を制御することによって記録時間を延長させることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態で説明する記録装置のブロック図
【図２】ＭｏｔｉｏｎＪＰＥＧ２０００方式における画像データの分割方法の概念図
【図３】本発明を実施した画像データの分割処理の詳細ブロック図
【図４】ＭｏｔｉｏｎＪＰＥＧ２０００におけるエントロピ符号化単位の概念図
【図５】ＭｏｔｉｏｎＪＰＥＧ２０００におけるエントロピ符号化処理の概念図
【図６】本発明を実施したエントロピ符号化処理の詳細ブロック図
【図７】ＭｏｔｉｏｎＪＰＥＧ２０００のプリシンクトを利用した画像データの分割方法の概念図
【図８】本発明を実施したプリシンクトを利用した分割処理の詳細ブロック図
【図９】ＭｏｔｉｏｎＪＰＥＧ２０００のコードストリームとファイル構成図
【図１０】本発明を実施したデータ制御の変更動作のフローチャート
【図１１】本発明を実施したデータ制御変更時の表示動作のフローチャート
【符号の説明】
１１ カメラ処理回路
２１ 領域分割回路
２２ 成分分割回路
３１ サブバンド分割回路
３２ 量子化回路
４１ 係数モデル化回路
４２ 算術符号化回路
５１ レイヤパケット分割回路
５２ ヘッダ処理回路
６１ ファイル生成回路
７０ データプロセス制御回路
８０ 記録回路
８１ 記録媒体
９０ バッテリ
９１ バッテリ残量検出回路
９２ 記録残量検出回路
９３ 消費電力演算回路
９４ マイコン制御部
９５ ユーザ指定部
９６ 表示装置
１００ 圧縮回路
Claims (10)
- 入力画像データを圧縮符号化して出力する画像処理装置において、前記入力画像データを所定単位に分割して、分割後の画像データ単位で符号化処理する圧縮手段と、前記圧縮手段における符号化処理を制御する制御手段と、各手段に供給される電力の検出手段とを備え、前記制御手段は前記検出手段の検出結果に従って、前記圧縮手段の制御を変更することを特徴とする画像処理装置。
- 請求項１において、前記圧縮手段は、その処理にエントロピ符号化を含む符号化処理を行うことを特徴とする画像処理装置。
- 請求項２において、前記制御手段は、前記検出手段の検出結果に従って、前記圧縮手段におけるエントロピ符号化処理のすべて或いは一部を省略するよう制御することを特徴とする画像処理装置。
- 請求項１において、前記圧縮手段は、前記入力画像データを画面単位に分割する手段と、空間方向に分割する手段と、略独立因子のデータ成分に分割する手段と、周波数方向に分割する手段と、データの優位性によって分割する手段のうち、一つ或いは二つ以上の組み合わせから成る分割手段を備えたことを特徴とする画像処理装置。
- 請求項４において、前記制御手段は、前記分割手段で分割された画像データについて、その分割された値と所定値とを比較した結果に従って、前記分割された画像データの符号化処理を省略するよう制御することを特徴とする画像処理装置。
- 請求項４において、前記制御手段は、前記周波数方向に分割する手段で分割された画像データについて、その分割回数が所定の値より小さい画像データの値を零に丸めて、符号化処理を簡略化するよう制御することを特徴とする画像処理装置。
- 請求項１乃至６において、前記検出手段はバッテリの残量を検出することを特徴とする画像処理装置。
- 請求項７において、さらに表示手段を有し、該表示手段は前記制御手段によって制御される前記圧縮手段の動作状態を表示することを特徴とする画像処理装置。
- 請求項８において、さらに記録手段を有し、該記録手段は前記圧縮手段で圧縮された画像データを記録媒体に記録することを特徴とする画像処理装置。
- 請求項９において、前記表示手段は前記制御手段によって制御される前記圧縮手段の動作状態に応じて変化する前記記録媒体の記録可能時間を表示することを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003070035A JP2004282345A (ja) | 2003-03-14 | 2003-03-14 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003070035A JP2004282345A (ja) | 2003-03-14 | 2003-03-14 | 画像処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004282345A true JP2004282345A (ja) | 2004-10-07 |
Family
ID=33286889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003070035A Withdrawn JP2004282345A (ja) | 2003-03-14 | 2003-03-14 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004282345A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006166413A (ja) * | 2004-12-02 | 2006-06-22 | Mitsubishi Electric Research Laboratories Inc | スケーラブルな画像トランスコーディング方法 |
| KR101457397B1 (ko) * | 2011-01-06 | 2014-11-04 | 삼성전자주식회사 | 계층적 구조의 데이터 단위를 이용한 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
| WO2019039003A1 (ja) * | 2017-08-21 | 2019-02-28 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、および、撮像装置の制御方法 |
-
2003
- 2003-03-14 JP JP2003070035A patent/JP2004282345A/ja not_active Withdrawn
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006166413A (ja) * | 2004-12-02 | 2006-06-22 | Mitsubishi Electric Research Laboratories Inc | スケーラブルな画像トランスコーディング方法 |
| JP4606987B2 (ja) * | 2004-12-02 | 2011-01-05 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | スケーラブルな画像トランスコーディング方法 |
| US9407916B2 (en) | 2011-01-06 | 2016-08-02 | Samsung Electronics Co., Ltd. | Encoding method and device of video using data unit of hierarchical structure, and decoding method and device thereof |
| US9479784B2 (en) | 2011-01-06 | 2016-10-25 | Samsung Electronics Co., Ltd. | Encoding method and device of video using data unit of hierarchical structure, and decoding method and device thereof |
| KR101552908B1 (ko) | 2011-01-06 | 2015-09-15 | 삼성전자주식회사 | 계층적 구조의 데이터 단위를 이용한 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
| KR101573339B1 (ko) | 2011-01-06 | 2015-12-01 | 삼성전자주식회사 | 계층적 구조의 데이터 단위를 이용한 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
| KR101578049B1 (ko) | 2011-01-06 | 2015-12-16 | 삼성전자주식회사 | 계층적 구조의 데이터 단위를 이용한 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
| US9313506B2 (en) | 2011-01-06 | 2016-04-12 | Samsung Electronics Co., Ltd. | Encoding method and device of video using data unit of hierarchical structure, and decoding method and device thereof |
| US9313507B2 (en) | 2011-01-06 | 2016-04-12 | Samsung Electronics Co., Ltd. | Encoding method and device of video using data unit of hierarchical structure, and decoding method and device thereof |
| US9319689B2 (en) | 2011-01-06 | 2016-04-19 | Samsung Electronics Co., Ltd. | Encoding method and device of video using data unit of hierarchical structure, and decoding method and device thereof |
| KR101457397B1 (ko) * | 2011-01-06 | 2014-11-04 | 삼성전자주식회사 | 계층적 구조의 데이터 단위를 이용한 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
| KR20150040820A (ko) * | 2011-01-06 | 2015-04-15 | 삼성전자주식회사 | 계층적 구조의 데이터 단위를 이용한 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
| KR101842571B1 (ko) | 2011-01-06 | 2018-03-27 | 삼성전자주식회사 | 계층적 구조의 데이터 단위를 이용한 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
| KR20180137472A (ko) * | 2011-01-06 | 2018-12-27 | 삼성전자주식회사 | 계층적 구조의 데이터 단위를 이용한 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
| KR101932726B1 (ko) | 2011-01-06 | 2018-12-27 | 삼성전자주식회사 | 계층적 구조의 데이터 단위를 이용한 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
| KR102013243B1 (ko) | 2011-01-06 | 2019-08-22 | 삼성전자주식회사 | 계층적 구조의 데이터 단위를 이용한 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
| WO2019039003A1 (ja) * | 2017-08-21 | 2019-02-28 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、および、撮像装置の制御方法 |
| CN110999277A (zh) * | 2017-08-21 | 2020-04-10 | 索尼半导体解决方案公司 | 摄像装置和摄像装置的控制方法 |
| CN110999277B (zh) * | 2017-08-21 | 2022-07-15 | 索尼半导体解决方案公司 | 摄像装置和摄像装置的控制方法 |
| US11399147B2 (en) | 2017-08-21 | 2022-07-26 | Sony Semiconductor Solutions Corporation | Imaging apparatus, and imaging apparatus control method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI436286B (zh) | 畫像解碼方法及裝置 | |
| JP6722995B2 (ja) | 符号化方法及び符号化装置、撮像装置及びプログラム | |
| CN101516031B (zh) | 图像处理装置和图像处理方法 | |
| JP3789836B2 (ja) | 画像符号化装置および方法 | |
| JP4190157B2 (ja) | 画像データ送信装置および画像データ受信装置 | |
| JP2004104347A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| JP5950157B2 (ja) | 画像処理装置および方法、並びに、プログラム | |
| WO2006046550A1 (ja) | 画像符号化方法および装置、ならびに画像復号方法および装置 | |
| JP2004186871A (ja) | 画像処理装置、撮像装置、プログラム及び記憶媒体 | |
| Perra | Re-encoding JPEG images for smart phone applications | |
| US9064294B2 (en) | Image processing apparatus and method | |
| JP2004282345A (ja) | 画像処理装置 | |
| JP2011147050A (ja) | 画像処理装置および方法 | |
| JP4749508B2 (ja) | 画像復号方法 | |
| JP3888622B2 (ja) | 画像記録装置、画像記録方法、プログラム及び情報記録媒体 | |
| JP2003115765A (ja) | 符号化装置及び符号化方法、復号装置及び復号方法、並びに編集装置及び編集方法 | |
| JP4667423B2 (ja) | 画像復号装置 | |
| JP4667424B2 (ja) | 画像復号装置 | |
| JP2004221781A (ja) | 画像処理装置 | |
| JP2004215155A (ja) | 動き量検出装置、符号列変換装置、画像圧縮装置、撮像装置、撮像システム、画像編集装置及びプログラム | |
| JP3897253B2 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム及び記録媒体 | |
| JP2004032105A (ja) | 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム | |
| JP2004349939A (ja) | 画像符号化方法、画像符号化装置及び記録装置 | |
| JP4471310B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2005151018A (ja) | 画像符号化装置及び画像復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060606 |