JP2004096354A

JP2004096354A - 画像処理装置、画像処理方法及び撮像装置

Info

Publication number: JP2004096354A
Application number: JP2002253898A
Authority: JP
Inventors: Masahiro Kawarada; 瓦田　昌大
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-08-30
Filing date: 2002-08-30
Publication date: 2004-03-25

Abstract

【課題】動画及び静止画が記録可能な撮像装置などにおいて、動画と静止画の画像圧縮処理を同時に、かつ円滑に行なうことを目的とする。
【解決手段】カメラ部から入力された動画像データと静止画像データとを一時記憶するメモリと、該メモリから読み出した動画像データの圧縮処理を所定の周期で実行しつつ、該メモリから読み出した静止画像データの圧縮処理を、動画像データの圧縮処理の合間に実行するよう構成された、動画と静止画に共通の画像圧縮手段を設ける。
【選択図】　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、動画と静止画とを画像処理する画像処理装置及び方法と撮像装置に関する。
【０００２】
【従来の技術】
従来、動画及び静止画が記録できる撮像記録装置として、民生用のデジタルビデオカメラやデジタルスチルカメラがある。
【０００３】
民生用のデジタルビデオカメラでは、記録媒体として磁気テープを用いて、動画の記録と時分割で静止画の記録が行なえる構成となっている。また、デジタルスチルカメラでは、動画を撮影するモードと静止画を撮影するモードとを有し、それぞれのモードを切り替えて撮影可能な構成となっている。
【０００４】
また、最近は静止画をより高画質に記録するニーズが高まっており、また撮像素子（ＣＣＤ）の高画素化も相成って、上記のようなデジタルビデオカメラにおいてもデジタルスチルカメラ同様にメモリカードに高画質静止画を記録する装置も存在する。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記したデジタルビデオカメラやデジタルスチルカメラのように、撮像した画像を動画及び静止画で記録可能な従来の撮像記録装置においては、動画撮影と静止画撮影をメニューで切り替えたり、個別の操作トリガに連動させたりして、異なる処理回路を用いて記録処理している為、動画と静止画を同時に記録処理することは出来ないか、または出来たとしても相当な負荷を生じる行為であった。
【０００６】
また、一般的に動画はＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）、静止画はＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）と言われるように、通常異なる画像圧縮フォーマットで処理されている。従って、従来の動画及び静止画が記録再生可能な汎用的な装置においては、動画用、静止画用に夫々異なる符号化／復号化器を備えねばならず、装置のハード構成を増大させ、部品コストの増加を招く要因ともなっていた。
【０００７】
本発明は上記の如き問題点を解決するため、動画及び静止画が記録可能な撮像装置などに用いて好適な、動画と静止画の画像処理を同時に、かつ円滑に行なう為の画像処理装置を提供することを第１の目的とする。
【０００８】
また、本発明は動画記録を行ないながら静止画記録を行なう際、動画記録を中断することなく静止画記録を行なえる撮像装置を提供することを第２の目的とする。
【０００９】
さらに、本発明は動画及び静止画が記録可能な撮像装置において、動画の画像処理と静止画の画像処理に対して、両者に同一の圧縮回路を用いて処理を実行することで、処理の簡略化やハード構成の削減を達成することをその他の目的とする。
【００１０】
【課題を解決するための手段】
斯かる目的を達成する為の手段として、本発明は以下の構成からなる手段を有する。
【００１１】
本発明の画像処理装置は、画像の入力手段と、前記入力手段によって入力された動画像データと静止画像データとを記憶可能なメモリ手段と、前記メモリ手段から読み出された前記動画像データの画像処理を所定の周期で実行しつつ、前記メモリ手段から読み出した前記静止画像データの画像処理を、前記動画像データの画像処理が行われていない前記所定周期より短い期間で実行する画像処理手段とを備えたことを特徴とする。
【００１２】
また、本発明の撮像装置は、画像の撮像手段と、前記撮像手段に対して静止画の撮影を指示する指示手段と、前記撮像手段によって撮像された動画像データの画像処理を所定の周期で実行しつつ、前記指示手段の指示入力に対応して静止画データの画像処理を、前記動画像データの画像処理が行われていない前記所定周期より短い期間で実行する画像処理手段とを備えたことを特徴とする。
【００１３】
さらに、本発明の画像処理方法は、画像を入力するステップと、入力された動画像データと静止画像データとを記憶するステップと、前記記憶ステップで記憶された前記動画像データを読み出して、画像処理を所定の周期で実行しつつ、前記静止画像データを読み出して、前記動画像データの画像処理が行われていない前記所定周期より短い期間で前記静止画像データの画像処理を実行する画像処理ステップとを有することを特徴とする。
【００１４】
【発明の実施の形態】
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
【００１５】
（第１の実施の形態）
図１は本発明の第１の実施形態に係る撮像装置１００の概略構成図である。
【００１６】
図１において、１０１は撮像装置１００の動作制御を行なうためのＣＰＵであり、ＣＰＵ１０２と各ブロックはＨｏｓｔ　ＢＵＳ１０２または画像データＢＵＳ１０３で接続されている。
【００１７】
撮像装置１００の基本的な撮影動作について説明する。
【００１８】
撮影時、レンズ１０４と絞り１０５を通過した光は、撮像素子１０６へ集光する。撮像素子１０６では入射された光をアナログ画像信号に変換して、このアナログ画像信号を出力する。出力されたアナログ画像信号はアナログ処理回路１０７で電圧のゲインとオフセットの調節や、信号のガンマ補正が行なわれる。
【００１９】
ここで、アナログ処理回路１０７で処理された画像を液晶ディスプレイ（ＬＣＤ）１１９で撮影中の映像として表示することが出来る。
【００２０】
続いて、アナログ処理回路１０７で処理されたアナログ画像信号は、アナログ−デジタル変換回路（Ａ／Ｄ）１０８にてデジタル画像信号に変換されて、画像データＢＵＳ１０３を通じて、フレームメモリコントローラ１０９による書き込み／読み出し制御のもと、フレームメモリ１１０へ一時記憶される。
【００２１】
フレームメモリ１１０に一時記憶されたデジタル画像信号に対して、信号処理回路１１１で所定の色空間に変換する。
【００２２】
さらに、信号処理回路１１１で処理されたデジタル画像信号に対して、ＪＰＥＧ２０００圧縮／伸張器１１２で圧縮処理を施す。ここでの動作の詳細は後述する。
【００２３】
ＪＰＥＧ２０００圧縮／伸張器１１２で圧縮処理されたデジタル画像信号は、外部と電気的に接続されたインタフェース（Ｉ／Ｆ）１１３へ送られて、他の機器へ伝送することが出来る。
【００２４】
また、ＪＰＥＧ２０００圧縮／伸張器１１２で圧縮処理されたデジタル画像信号は、光磁気ディスクや固体メモリからなる記憶媒体１１８へ送られ、記録される。
【００２５】
続いて、撮像装置１００の基本的な再生動作について説明する。
【００２６】
再生時、記憶媒体１１８から再生されるデジタル画像信号は、ＪＰＥＧ２０００圧縮／伸張器１１２で伸張処理が施され、ビデオメモリ（ＶＲＡＭ）１１４にてＬＣＤ１１９や外部のテレビジョン（ＴＶ）１１７で表示するための信号調整を行ない、デジタル−アナログ変換回路（Ｄ／Ａ）１１６でアナログ画像信号に変換された後、ＬＣＤ１１９や外部のＴＶ１１７にて画像を表示する。
【００２７】
また、撮影時或いは再生時において、ＣＰＵ１０１はＨｏｓｔＢＵＳ１０２を通じてアナログ処理回路１０７と、フレームメモリコントローラ１０９、フレームメモリ１１０、信号処理回路１１１、ＪＰＥＧ２０００圧縮／伸張器１１２、Ｉ／Ｆ１１３、ＶＲＡＭ１１４とに処理タイミングを提供するクロックを送信する。また、ＣＰＵ１０１は操作部１１５からユーザによる指示入力コマンドを受け付け、指示に応じた動作を実行するよう各部に対して制御を行なう。
【００２８】
以上が、図１の説明である。なお、図１の撮像装置１００が撮影或いは再生可能な画像は、動画または静止画である。
【００２９】
図２は本発明の第１の実施形態に係る撮像装置１００の外観図であり、図２（ａ）は正面斜視図、図２（ｂ）は背面斜視図、図２（ｃ）は後述の接続端子部２１０の部分拡大図である。
【００３０】
図２（ａ）、（ｂ）、（ｃ）において、撮像装置１００の構成は、本体部２０１にＬＣＤパネル２０４がヒンジ部２０３によって回転可能に支持されている。
【００３１】
また、本体部２０１は撮影用のレンズ１０４、装置を操作する操作部１１５、外部の機器と接続する為の接続端子部２１０とその接続端子部蓋体２０６を有する。接続端子部蓋体２０６は接続部２１１にて接続されており、接続端子部蓋体２０６が開閉可能な構造になっている。
【００３２】
図２（ｃ）のように、接続端子部２１０の構成としてＳ端子２１２やＲＣＡピンプラグ２１３を備えており、これを通じて例えばＴＶ１１７に画像信号を出力することができる。
【００３３】
上記構成を有する撮像装置１００の動作について、図３のフローチャートを参照しながら説明する。
【００３４】
操作部１１５より動画の撮影命令が入力されると、ＣＰＵ１０１はＨｏｓｔＢＵＳを通じてアナログ処理回路１０７と、フレームメモリコントローラ１０９、フレームメモリ１１０へ処理を開始するタイミングを測るためのクロックを伝送する。（ステップＳ３０１）
次に、フレームメモリコントローラ１０９はＨｏｓｔＢＵＳを通じてアナログ処理回路１０７と、フレームメモリコントローラ１０９、フレームメモリ１１０、信号処理回路１１１へ動画の各フレームのタイミングに合わせた画像の読み取りタイミング信号を伝送する。（ステップＳ３０２）
次に、撮像素子１０６はフレームメモリコントローラ１０９からの画像読み取りタイミング信号に基づいたタイミングで、蓄積した電荷をアナログ信号としてアナログ処理回路１０７へ伝送して、アナログ処理回路１０７はこのアナログ信号に所定のゲインやオフセット、ガンマ補正の処理を行なう。（ステップＳ３０３）
次に、アナログ処理回路１０７で処理されて得られたアナログ画像信号はＡ／Ｄ１０８にてデジタル信号に変換される。（ステップＳ３０４）
次に、デジタル信号に変換された画像信号は、フレームメモリコントローラ１０９からの画像読み取りタイミング信号に基づいたタイミングでフレームメモリ１１０へ一時記憶される。（ステップＳ３０５）
次に、ＣＰＵ１０１はフレームメモリ１１０に一時記憶されているデジタル画像信号を信号処理回路１１１へ伝送して、信号処理回路１１１でデジタル画像信号中の撮像素子による色空間を所定の色空間へ変換する。（ステップＳ３０６）次に、色空間変換を施されたデジタル画像信号をＪＰＥＧ２０００圧縮／伸張器１１２へ伝送してＪＰＥＧ２０００方式による画像圧縮を施す。（ステップＳ３０７）
次に、ＪＰＥＧ２０００圧縮／伸張器１１２から出力された圧縮デジタル画像信号は記憶媒体１１８で記録される。（ステップＳ３０８）
以上、図３を用いて操作部１１５より動画の撮影命令が入力されたときの撮像装置１００の動作について説明してきたが、操作部１１５より静止画の撮影命令が入力されたときの撮像装置１００の動作も同様である。
【００３５】
ここで、ステップＳ３０７で処理するＪＰＥＧ２０００圧縮に関して、ＪＰＥＧ２０００圧縮／伸張器１１２の詳細な構成を図７に示し、これを参照しながら詳細に説明する。
【００３６】
図７はＪＰＥＧ２０００圧縮／伸張器１１２のブロック図であり圧縮の為のブロックが７０１から７０６で構成され、伸張の為のブロックが７０７から７１２で構成される。
【００３７】
撮影時など、ＪＰＥＧ２０００圧縮／伸張器１１２に非圧縮画像データが入力されると、コンポーネント変換部７０１で色空間変換を施す。変換された各色成分のデータは、必要に応じて所定の間引き処理が行われて出力される。なお、入力画像データがモノクログレースケールの画像である場合は、コンポーネント変換を行なう必要は無い。後述の説明は、上記のように色空間変換が行われた画像データの、各色成分毎に行われる処理について説明するものである。
【００３８】
次いで、タイル分割部７０２では、入力した画像データを所定の大きさからなる複数個の矩形タイルに分割して出力する。このタイルの大きさは、最大で各色成分のデータ全体の大きさとすることができ、この場合は実質的にタイル分割は行われないことと同一である。
【００３９】
離散ウェーブレット変換部７０３は、入力した各色成分のタイル毎の画像データに対して、２次元の離散ウェーブレット変換を施して周波数成分に分解し、複数の周波数帯域のそれぞれに属する変換係数群（以降、サブバンドと称する）を出力する。
【００４０】
図８は離散ウェーブレット変換部７０３により出力されるサブバンドの構成を示した図であり、２次元のウェーブレット変換を低周波帯域に対して再帰的に２レベル行ったものである。
【００４１】
なお、離散ウェーブレット変換部７０３では可逆符号化と非可逆符号化が選択可能であって、非可逆符号化を行ないたい場合にはウェーブレット変換後の係数が実数になる実数型のフィルタを、可逆符号化を行ないたい場合にはウェーブレット変換後の係数が整数になる整数型のフィルタが用いられる。
【００４２】
次いで、量子化部７０４は入力したサブバンド毎に、所定の方法により設定された量子化ステップを用いて量子化を行ない、量子化インデックスを生成して出力する。なお、上述した可逆符号化を行ないたい場合には、量子化部７０４では量子化を行なわず、入力した変換係数そのものを出力する。
【００４３】
次いで、算術符号部７０５は、入力したサブバンドをさらに複数の矩形ブロック（以降、コードブロックと称す）に分割（サブバンドと矩形ブロックが同サイズの時は分割しない）し、このコードブロックを単位として独立に算術符号化を行ない、符号化データを生成する。この時、量子化インデックスを表すビットは、上位ビットプレーンから順に、算術符号化され符号化データが生成される。
【００４４】
符号列形成部７０６は、所定の方法により設定されたプログレッシブ形態に基づいて符号列を形成し、出力する。以上のようにして、ＪＰＥＧ２０００方式で圧縮された画像データが生成される。
【００４５】
次に再生時など、ＪＰＥＧ２０００圧縮／伸張器１１２に圧縮画像データが入力されると、符号列入力部７０７は入力された画像データの符号列から、タイルのサイズ、プログレッシブ形態や量子化ステップ等の復号処理に必要な各種パラメータを抽出する。抽出された各種パラメータは後段の復号処理において適宜用いられる。また、実際の符号列（データ部）は続いて算術復号部７０８に出力される。
【００４６】
なお、復号対象となる全体の符号列には、分割されている複数タイル分の符号列が、上述したコンポーネント変換部７０１にて得られた色成分の数だけ含まれる。本実施の形態では復号処理は各色成分毎に独立して行なうこととし、復号対象となる色成分を構成する各タイルの符号列を順に復号してゆく。
【００４７】
算術復号部７０８では入力した符号列に対して復号処理を行ない、量子化インデックスを出力する。この復号処理ではコードブロック内の量子化インデックスを上位ビットプレーンから順に復号され、量子化インデックスが復元される。
【００４８】
次いで、逆量子化部７０９は入力した量子化インデックスを、先に符号列から読み込まれた量子化ステップを元に逆量子化を行ない、変換係数を復元して出力する。
【００４９】
次いで、逆離散ウェーブレット変換部７１０は、入力した変換係数から２次元の逆離散ウェーブレット変換を施すことにより、これに対応する色成分データ（符号化対象画像がモノクロ画像の時は画像濃度データ）を復元して出力する。
【００５０】
以上の処理は各タイル単位で行われ、画像構成部７１１は復元された各タイルの各色成分データを元の１枚の符号化対象画像を構成する色成分データになるよう構成して、コンポーネント逆変換部７１２に出力する。
【００５１】
コンポーネント逆変換部７１２は、入力した各色成分データに所定の変換を施すことにより、元の符号化対象画像の色空間を持つ画像データを復元して出力する。この時、元の色成分データがコンポーネント変換部７０１にて間引き処理されている場合は、逆変換を行なう前に必要な解像度に変換（データ補間）される。以上のようにして、コンポーネント逆変換部７１２から出力されて、伸張された非圧縮の画像データが生成される。
【００５２】
次に、撮像装置１００に搭載したＪＰＥＧ２０００圧縮／伸張器１１２の圧縮動作について、図４に示すフローチャートに従って説明する。
【００５３】
撮像装置１００が撮影可能な状態にあるとき、撮影動作に伴ってＪＰＥＧ２０００圧縮／伸張器１１２に非圧縮画像データが入力されると、まず画像データのビット情報におけるＤＣレベルを量子化に適するようにシフトさせ、色空間がＹＣｂＣｒとなるように色変換を行なう。（ステップＳ４０１）
【００５４】
次に、画像データを複数個のタイルに分割して、分割されたタイル毎に離散ウェーブレット変換を行なう。（ステップＳ４０２）
離散ウェーブレット変換を行ったタイルは低解像度成分と垂直高解像度成分、水平高解像度成分、ななめ方向の高解像度成分とに情報が分離されている。
【００５５】
次に、離散ウェーブレット変換されたタイルを所定の量子化ステップにて量子化する。（ステップＳ４０３）
次に、量子化されたタイルは多値のウェーブレット係数を含んでいるので、ＪＰＥＧ２０００の規格に従って２値算術符号化するための２値のビットモデルを作成する。（ステップＳ４０４）
次に、係数ビットモデル化されたタイルを算術符号化し（ステップＳ４０５）、全てのタイルが算術符号化されるのを待って、ＪＰＥＧ２０００の規格に従ったコードストリームに変換する。（ステップＳ４０６）
ＪＰＥＧ２０００のコードストリームは画像の解像度と、Ｓ／Ｎの高さ（ＪＰＥＧ２０００規格におけるＬａｙｅｒ）、色情報（ＪＰＥＧ２０００規格におけるＣｏｍｐｏｎｅｎｔ）、画像の任意の大きさに分割した小領域（ＪＰＥＧ２０００規格におけるのＰｏｓｉｔｉｏｎ）との復号優先順に基づいて整列されて出力される。
【００５６】
以上が、ＪＰＥＧ２０００圧縮／伸張器１１２の説明である。ＪＰＥＧ２０００圧縮／伸張器１１２は既に説明したように、動画の圧縮／伸張処理（いわゆるＭｏｔｉｏｎ−ＪＰＥＧ２０００規格に基づく処理）が可能であり、もちろんＪＰＥＧ２０００規格に基づく静止画の圧縮／伸張処理が可能である。
【００５７】
動画または静止画の撮影、圧縮、記録等に関する処理については前述したとおりである。続いて、撮像装置１００においてＪＰＥＧ２０００圧縮／伸張器１１２を用いて、動画と静止画とを同時に撮影処理する構成について、以下に説明する。
【００５８】
動画の撮影中に操作部１１５から静止画の撮影命令が入力されたときの動作について、図５のフローチャートを参照しながら説明する。
【００５９】
動画の撮影動作を行なっているときに、静止画の撮影命令がユーザによって入力されると、ＣＰＵ１０１は撮影中の動画のフレームレートを検出して、静止画撮影処理が行なえるほど、時間的なゆとりがある動画フレームレートかどうかを判断する。（ステップＳ５０１）
ステップＳ５０１において、もし動画処理と同時に静止画処理が行なえるほど、時間的ゆとりのある動画フレームレートであると判断した場合は、動画フレームの処理の空き時間を利用して後述の処理方法にて静止画の処理を行ない（ステップＳ５０３）、終了となる。
【００６０】
ステップＳ５０１において、もし動画処理と同時に静止画処理が行なえるほど、時間的ゆとりのない動画フレームレートであると判断した場合は、ＣＰＵ１０１の制御に基づき撮影中の動画のフレームレートを現状の設定値より所定値だけ下げて（ステップＳ５０２）、ステップＳ５０１へ戻る。
【００６１】
次に、動画の撮影中に操作部１１５から静止画の撮影命令が入力されたときの撮像装置１００の動作について、図６に示す時系列処理表を参照して説明する。
【００６２】
図６は、ＪＰＥＧ２０００圧縮／伸張器１１２において、フレームメモリコントロール１０９より通知されるフレームの切り替えを知らせるタイミングを基準に、連続した動画処理と３つの静止画処理を実行した際の、時間経過に沿った時系列処理表であり、ＪＰＥＧ２０００圧縮／伸張器１１２の圧縮演算処理の推移を示している。
【００６３】
処理切替タイミングの目盛は、６目盛で通常の動画１フレームに相当する時間間隔を表している。また、図６のＷＴは離散ウェーブレット変換処理、Ｑは量子化処理、ＡＣは算術符号化処理の夫々の実行期間を表している。
【００６４】
はじめに、動画を撮影中において、ＪＰＥＧ２０００圧縮／伸張器１１２は入力された任意の動画フレームａの画像データに対してＷＴ、Ｑ、ＡＣの各処理（圧縮処理）を施して出力する。前記ＪＰＥＧ２０００圧縮／伸張器１１２がフレームａの圧縮処理を終えたとき、直前に撮影された静止画データがフレームメモリ１１０内にあるときは、次の動画フレームｂの処理が開始されるまでの期間で、静止画データの圧縮処理を実行する（静止画▲１▼処理）。もし、静止画撮影が実行されておらず、動画処理のみのときは、この静止画処理に充てている期間はブランク期間である。
【００６５】
ただし、動画の各フレームを遅延なく処理するために、静止画▲１▼処理のうち動画のフレームａ処理とフレームｂ処理の隙間で静止画処理する内容は、ＷＴとＱのみとする。
【００６６】
静止画▲１▼のＱ処理を終えた静止画データは再びフレームメモリ１１０へ一時記憶（退避）される。
【００６７】
静止画▲１▼のＱ処理を終えると、前記ＪＰＥＧ２０００圧縮／伸張器１１２は、次の動画フレームｂの画像データに対してＷＴ、Ｑ、ＡＣの各処理を施して出力する。動画フレームｂの圧縮処理を終えると、次の動画フレームｃの処理が開始されるまでの期間で、前記ＪＰＥＧ２０００圧縮／伸張器１１２は静止画▲１▼の演算途中の静止画データをフレームメモリ１１０より読み出して、続きのＡＣ処理を行ない出力する。さらに、これまでに２度目の静止画撮影によって静止画▲２▼の静止画データがフレームメモリ１１０に記憶されていたならば、静止画▲１▼のＡＣ処理と同時に静止画▲２▼のＷＴとＱの処理を行なう。
【００６８】
静止画▲２▼のＱ処理を終えた静止画データは再びフレームメモリ１１０へ一時記憶（退避）される。
【００６９】
以下、動画撮影中に静止画撮影が実行された場合のＪＰＥＧ２０００圧縮／伸張器１１２の処理として、動画の各フレームの圧縮処理と静止画▲１▼、静止画▲２▼、静止画▲３▼に示すように（ＷＴ，Ｑ）処理と（ＡＣ）処理とのパイプライン処理を行ない、繰り返す。
【００７０】
そして、圧縮処理が完了した動画の各フレームや、ＡＣ処理までが完了した静止画データについては、処理完了のタイミングで記録媒体１１８に記録される。
【００７１】
以上の動作を行なうことで、動画の圧縮処理と任意のタイミングで撮影された静止画の圧縮処理が平行して行なえる。動画の撮影中に静止画の撮影命令が入力された場合に、動画のフレームレートを可変することで、静止画圧縮処理用の隙間を意図的に作り、動画とは異なる画像サイズや演算係数にて静止画圧縮処理を行なうことができる。
【００７２】
なお、上記の実施形態では静止画の離散ウエーブレット処理（ＷＴ）と量子化処理（Ｑ）算術符号化処理（ＡＣ）においてパイプライン処理を行ったが、これに限らず、ＪＰＥＧ２０００のＰａｃｋｅｔあるいはＬａｙｅｒ、Ｒｅｓｏｌｕｔｉｏｎ、ｓｕｂ−ｂａｎｄ、ｃｏｄｅ−ｂｌｏｃｋ、ｐｒｅｃｉｎｃｔの所定レベルごとにパイプライン処理を施しても同様の効果が得られる。
【００７３】
また、上記の実施形態に限らず、動画撮影中に静止画撮影が実行された場合は、静止画の処理を行なうための所定の処理時間を設けるために動画の撮影のフレームレートを変更して、撮像素子による撮像処理、アナログ処理、Ａ／Ｄ、フレームメモリへの一時記憶、信号処理をパイプライン処理しても、次上記の実施形態と同様の効果が得られる。
【００７４】
【発明の効果】
以上説明したように本発明によれば、動画の撮影処理中に静止画の撮影処理が生じた場合でも、動画及び静止画の圧縮、記録処理が同時かつ円滑に行える。
【図面の簡単な説明】
【図１】本発明の撮像装置のブロック図である。
【図２】（ａ）、（ｂ）、（ｃ）は本発明の撮像装置の外観図である。
【図３】本発明の撮像装置の動作を示すフローチャートである。
【図４】本発明のＪＰＥＧ２０００圧縮／伸張器の動作を示すフローチャートである。
【図５】本発明の撮像装置における、撮影時の画像処理の動作を示したフローチャートである。
【図６】本発明のＪＰＥＧ２０００圧縮／伸張器の動作の流れを示す時系列処理表である。
【図７】ＪＰＥＧ２０００圧縮／伸張器のブロック図である。
【図８】画像のサブバンド構成図である。
【符号の説明】
１０４　レンズ
１０５　絞り
１０９　フレームメモリコントローラ
１１０　フレームメモリ
１１２　ＪＰＥＧ２０００圧縮／伸張器
１１５　操作部
１１８　記録媒体
２０１　撮像装置本体

Claims

画像の入力手段と、
前記入力手段によって入力された動画像データと静止画像データとを記憶可能なメモリ手段と、
前記メモリ手段から読み出された前記動画像データの画像処理を所定の周期で実行しつつ、前記メモリ手段から読み出された前記静止画像データの画像処理を、前記動画像データの画像処理が行われていない前記所定周期より短い期間で実行する画像処理手段とを備えたことを特徴とする画像処理装置。
請求項１において、前記画像処理手段は前記静止画像データの画像処理を複数の前記期間に分けて実行することを特徴とする画像処理装置。
請求項２において、前記画像処理手段は前記静止画像データに対する複数からなる画像処理回路を備え、前記画像処理回路を複数の前記期間に分散させて画像処理を実行することを特徴とする画像処理装置。
請求項１において、前記画像処理手段は前記静止画像データを、画像を構成する小ブロック単位に分割して、前記小ブロック毎に前記静止画像データの画像処理を実行することを特徴とする画像処理装置。
請求項１において、前記画像処理手段は前記所定の周期を変更可能であることを特徴とする画像処理装置。
請求項１において、前記画像処理手段は前記所定の周期を前記動画像データのフレーム周期に対応して設定することを特徴とする画像処理装置。
請求項１において、前記画像処理手段は前記動画像データと前記静止画像データに対して、処理の一部又は全部に対して共通の画像圧縮方式を用いて画像圧縮を行なうことを特徴とする画像処理装置。
請求項７において、前記画像処理手段は前記静止画像データについてはＪＰＥＧ２０００方式を用いて、前記動画像データについてはＭｏｔｉｏｎＪＰＥＧ２０００方式を用いて画像圧縮を行なうことを特徴とする画像処理装置。
画像の撮像手段と、
前記撮像手段に対して静止画の撮影を指示する指示手段と、
前記撮像手段によって撮像された動画像データの画像処理を所定の周期で実行しつつ、前記指示手段の指示入力に対応して静止画データの画像処理を、前記動画像データの画像処理が行われていない前記所定周期より短い期間で実行する画像処理手段とを備えたことを特徴とする撮像装置。
請求項９において、前記画像処理手段は前記静止画像データの画像処理を複数の前記期間に分けて実行することを特徴とする撮像装置。
請求項１０において、前記画像処理手段は前記静止画像データに対する複数からなる画像処理回路を備え、前記画像処理回路を複数の前記期間に分散させて画像処理を実行することを特徴とする撮像装置。
請求項９において、前記画像処理手段は前記静止画像データを、画像を構成する小ブロック単位に分割して、前記小ブロック毎に前記静止画像データの画像処理を実行することを特徴とする撮像装置。
請求項９において、前記画像処理手段は前記所定の周期を変更可能であることを特徴とする撮像装置。
請求項９において、前記画像処理手段は前記所定の周期を前記撮像手段が前記動画像データを撮像するときのフレーム周期に対応して設定することを特徴とする撮像装置。
請求項９において、前記画像処理手段は前記動画像データと前記静止画像データに対して、処理の一部又は全部に対して共通の画像圧縮方式を用いて画像圧縮を行なうことを特徴とする撮像装置。
請求項１５において、前記画像処理手段は前記静止画像データについてはＪＰＥＧ２０００方式を用いて、前記動画像データについてはＭｏｔｉｏｎＪＰＥＧ２０００方式を用いて画像圧縮を行なうことを特徴とする撮像装置。
画像を入力するステップと、
入力された動画像データと静止画像データとを記憶するステップと、
前記記憶ステップで記憶された前記動画像データを読み出して、画像処理を所定の周期で実行しつつ、前記静止画像データを読み出して、前記動画像データの画像処理が行われていない前記所定周期より短い期間で前記静止画像データの画像処理を実行する画像処理ステップとを有することを特徴とする画像処理方法。