JP2005348428A - 画像処理装置 - Google Patents

Abstract

【課題】 撮影ミスが発生しにくいスナップショット撮影機能を付加することで、デジタルカメラとしての商品的価値を高めること。
【解決手段】 動画像の記録期間中に、静止画記録ボタン１５ａからＯＮ信号が送出されると、制御コア回路１４は、スナップショットのためのスチル撮影が外部から指示されたと判断し、ディスプレイ９上に現在撮影中の動画像とスナップショットとして記録したい静止画像とを並行表示させる。使用者は、静止画像が並行表されている５秒の間に、所望のスナップショットを撮影することができたか否かをディスプレイ９上で確認することができる。また、撮影した動画像データ及び静止画像データは、共通の画像データ補正回路４でフィルタリング処理される。
【選択図】 図８

Description

本発明は、画像処理装置に係り、例えば、画像データをＭＰＥＧ（Moving Picture Expert Group）およびＪＰＥＧ（Joint Photographic Coding Expert Group）規格に従って符号化・復号する機能を備えたものに関する。

近年、１９世紀以来の銀塩写真技術を使用したカメラに代わって、電子スチルカメラの需要がますます拡大している。電子スチルカメラにおいては、画像データを伝送および蓄積する際に、画像データを圧縮してデータ量を減らすことにより効率的に処理するために、データの圧縮・伸張技術として「ＪＰＥＧ」方式が用いられている。このＪＰＥＧ方式は、ＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electro-technical Commission）傘下のＪＰＥＧ委員会（ISO/IEC 10918-1）によって標準化されている。

ＪＰＥＧ方式はＪＰＥＧアルゴリズムとも呼ばれ、その技術の核となるのが離散コサイン変換（ＤＣＴ；Discrete Cosine Transform）である。そして、ＪＰＥＧ方式は、電子スチルカメラだけでなく、ＣＤ−ＲＯＭ（CD-Read Only Memory）システム等の画像データの処理にも広く利用されている。また、ＪＰＥＧ方式によれば動画像データの圧縮・伸張を行うことも可能であるため、ＪＰＥＧ方式を用いた電子スチルカメラには動画像の撮影機能を備えたものもある。このようにＪＰＥＧ方式を用いて動画像データの圧縮・伸張を行う技術は、Ｍ−ＪＰＥＧ（Motion-JPEG）と呼ばれる。

ところで、マルチメディアで扱われる情報は、膨大な量で且つ多種多様であり、これらの情報を高速に処理することがマルチメディアの実用化を図る上で必要となってくる。情報を高速に処理するためには、データの圧縮・伸長技術が不可欠となる。そのようなデータの圧縮・伸長技術としては「ＭＰＥＧ」方式があげられる。このＭＰＥＧ方式は、ＩＳＯ／ＩＥＣ傘下のＭＰＥＧ委員会（ISO/IECJTC1/SC29/WG11）によって標準化されている。

ＭＰＥＧビデオパートで用いられる技術の核となるのが、動き補償付予測（ＭＣ；Motion Compensated prediction）とＤＣＴである。ＭＣとＤＣＴを併用した符号化技術は、ハイブリッド符号化技術と呼ばれる。つまり、ＭＰＥＧ方式は、ＪＰＥＧ方式にＭＣを組み合わせた技術であるといえる。ＭＰＥＧ方式は、各種蓄積メディア（ビデオＣＤ（Compact Disc）、ＣＤ−ＲＯＭ、ＤＶＤ、ビデオテープ、不揮発性半導体メモリを用いたメモリカード、等）、ＬＡＮ（Local Area Network）等の各種通信メディア、各種放送メディア（地上波放送、衛星放送、ＣＡＴＶ（Community Antenna Television））を含む伝達メディア全般に対応している。

このようなＭＰＥＧ方式を利用した電子スチルカメラ等のデジタルカメラにあっては、動画像の撮影中に動画像の１フレーム分に相当する静止画像をスナップショットとして記録できるようにすることが要望されており、例えば、特許文献１に同様の技術が開示されている。
特開平１１−７５１４８号公報

従来例にあっては、スナップショットの出来を動画像の撮影終了後に確認することになり、スナップショットの撮影ミスがあった場合、時間的に取り直しがきかない場合が多かった。動画像とスナップショットの二つの撮影モードを設けても、これではユーザフレンドリーな設計とはいいにくい。

本発明は上記問題点を解決するためになされたものであって、動画像記録を中断することなくスナップショットのためのスチル撮影を可能とするとともに、スチル撮影が指示された場合、補正処理が終了した後のスチル撮影の画像を退避・記憶させ、後に圧縮処理を行う際にデータの取り出し処理をすることが容易な画像処理装置を提供することをその目的とする。

本発明の画像処理装置は、画像データを静止画像として符号化する静止画像符号化手段と、前記画像データを一連の動画像として符号化する動画像符号化手段と、前記静止画像符号化手段および動画像符号化手段に至る前記画像データの入力経路中に設けられ、前記画像データをフィルタリング処理する画像補正手段と、撮影した画像データをディスプレイ上に表示するための画像信号を生成する表示手段と、前記各手段の動作を制御する制御手段と、動画像を前記ディスプレイ上に表示している間における静止画像の撮影指示信号に応じて、１フレーム分の画像データを一時的に記憶する記憶手段とを備える。前記記憶手段はフレームバッファ内の記憶領域であり、前記記憶手段に記憶された１フレーム分の画像データは、前記画像補正手段による処理後であって前記静止画像符号化手段による符号化前の画像データである。

本発明の別の画像処理装置は、画像データを静止画像として符号化する静止画像符号化手段と、前記画像データを一連の動画像として符号化する動画像符号化手段と、前記静止画像符号化手段および動画像符号化手段に至る前記画像データの入力経路中に設けられ、前記画像データをフィルタリング処理する画像補正手段と、前記各手段の動作を制御する制御手段とを具備し、前記動画像符号化手段による符号化処理中における静止画像の記録指示信号に応じて、１フレーム分の画像データを一時的に記憶する記憶手段を備える。前記記憶手段に記憶された１フレーム分の画像データは、前記画像補正手段による補正後であって前記静止画像符号化手段による符号化前の画像データである。

前記画像補正手段において、前記静止画像符号化手段に対する前記画像データのフィルタリング処理と、前記動画像符号化手段に対する前記画像データのフィルタリング処理とを異ならせてもよい。

前記画像補正手段において、前記静止画像符号化手段に対する前記画像データのフィルタリング処理を複数種類選択可能に構成し、この複数種のフィルタリング機能を選択するための選択手段を設けてもよい。

前記画像補正手段は、フィルタ部とこのフィルタ部のフィルタ機能を決定する係数を記憶する記憶部とを含んでもよい。

前記制御手段は、前記動画像符号化手段による符号化処理の終了後に、前記記憶手段に記憶されている画像データを静止画像として生成すべく前記画像補正手段に送出してもよい。

前記制御手段は、前記動画像符号化手段による符号化処理の終了後に、前記記憶手段に記憶されている画像データを記録手段に記録すべく前記静止画像符号化手段に送出してもよい。

前記静止画像符号化手段および動画像符号化手段の符号化部を共有化してもよい。

前記制御手段は、撮影した画像データを動画像として前記ディスプレイ上に表示している間、前記動画像の一部に相当する静止画像を、前記ディスプレイ上に表示させるよう前記表示手段に指示してもよい。

前記制御手段は、動画像の表示中に表示される静止画像を、前記動画像に代えて前記ディスプレイ上に表示させるよう前記表示手段を制御してもよい。

前記制御手段は、並行表示される静止画像と動画像とにおいて、前記静止画像を前記ディスプレイ上の主画面に設定して表示させるよう前記表示手段を制御してもよい。

前記制御手段は、並行表示される静止画像と動画像とにおいて、前記動画像を前記ディスプレイ上の主画面に設定して表示させるよう前記表示手段を制御してもよい。

前記制御手段は、並行表示される静止画像と動画像とにおいて、前記静止画像と前記動画像の一方を切替可能に選択して前記ディスプレイ上の主画面に設定して表示させるよう前記表示手段を制御してもよい。

前記制御手段は、前記静止画像を、所定時間だけ表示させるよう前記表示手段を制御してもよい。

前記制御手段は、前記表示手段に対して、前記静止画像の表示の許否を切替可能に設定してもよい。

前記制御手段は、前記静止画像を使用者の指示にしたがう時間だけ表示させるよう前記表示手段を制御してもよい。

本発明は、動画像記録を中断することなくスナップショットのためのスチル撮影を可能とするとともに、スチル撮影が指示された場合、補正処理が終了した後のスチル撮影の画像を退避・記憶させ、後に圧縮処理を行う際にデータの取り出し処理をすることが容易な画像処理装置を提供することができる。

本発明を具体化した一実施形態を図面に基づいて説明する。図１は、ＪＰＥＧおよびＭＰＥＧ方式を用いた電子スチルカメラ１のブロック回路図である。電子スチルカメラ１は、撮像デバイス２、信号処理回路３、画像データ補正回路４、ＪＰＥＧコア回路５、ＭＰＥＧコア回路６、フレームバッファ７、表示回路８、ディスプレイ９、メモリカード１０、入出力回路１１、データバス１２，１３、制御コア回路１４、操作ボタン群１５から構成されている。

制御コア回路１４は、操作ボタン群１５のＯＮ／ＯＦＦ信号に応じて、電子スチルカメラ１の各構成要素２〜１３を制御する。操作ボタン群１５は、静止画記録ボタン１５ａ、動画記録ボタン１５ｂおよびその他の操作ボタン１５ｃを有している。

撮像デバイス２はＣＣＤ（Charge Coupled Device）等から構成され、被写体画像を撮
影して出力信号を生成する。信号処理回路３は、Ａ／Ｄ変換回路を含み、撮像デバイス２の出力信号をＡ／Ｄ変換した後、ホワイトバランス調整やガンマ補正等を行って、画面単位で、例えば画素数が縦１２００×横１６００の原画像データを生成する。信号処理回路３の生成したデジタルの原画像データは、データバス１２を介して、フレームバッファ７または表示回路８の少なくともいずれかへ転送される。

表示回路８は、データバス１２を介して転送されてきた１画面ずつの画像データから画像信号を生成する。ディスプレイ９は、表示回路８の生成した画像信号を被写体画像として表示する。フレームバッファ７は書き換え可能な半導体メモリ（例えば、ＳＤＲＡＭ（Synchronous Dynamic RAM）、ＤＲＡＭ、ラムバスＤＲＡＭ、等）から構成され、データバス１２を介して転送されてきた画面、すなわちフレーム単位で画像データを記憶すると共に、記憶した画像データを１画面ずつ読み出す。また、このフレームバッファ７には、動画像記録中、静止画記録ボタン１５ａのＯＮ信号に応じて、該当する１フレーム分の静止画像データを一時的に退避して記憶する記憶領域７ａ（以下、退避用記憶領域７ａともいう）を備えている。尚、記憶領域７ａが本発明における「記憶手段」の一例である。

フレームバッファ７から読み出された１画面ずつの画像データは、データバス１２を介して画像データ補正回路４へ転送される。画像データ補正回路４は、信号処理回路３から入力された画像データに対し、後述する補正処理を行う。画像データ補正回路４の生成した補正処理後の１画面ずつの画像データは、データバス１２を介して、ＪＰＥＧコア回路
５又はＭＰＥＧコア回路６へ転送される。

メモリカード１０は電子スチルカメラ１に対して着脱可能に装着されており、メモリカード１０内にはフラッシュメモリ１０ａが設けられている。フラッシュメモリ１０ａは、データバス１３を介して転送されてきた１画面ずつの圧縮画像データを書き込んで記憶すると共に、記憶した圧縮画像データを１画面ずつ読み出してデータバス１３へ転送する。尚、フラッシュメモリ１０ａが本発明における「記録手段」の一例である。

入出力回路１１は、データバス１３を介して転送されてきた１画面ずつの画像データを、電子スチルカメラ１に接続された外部機器（例えば、外部ディスプレイ、パーソナルコンピュータ、プリンタ、等）へ出力すると共に、当該外部機器から入力された画像データをデータバス１３へ転送する。メモリカード１０から読み出された画像データまたは入出力回路１１を介して入力された画像データは、データバス１３を介してＪＰＥＧコア回路５又はＭＰＥＧコア回路６へ転送される。

ＪＰＥＧコア回路５は、図２に示すとおり、ＤＣＴ回路１６、量子化回路１７、ハフマン符号化回路１８、ハフマン復号回路１９、逆量子化回路２０、逆ＤＣＴ（ＩＤＣＴ；Inverse DCT）回路２１から構成されている。ＪＰＥＧコア回路５においては、１画面の画像データがＪＰＥＧ方式の規格によって定められた複数のマクロブロックに分割され、その各ブロック毎に圧縮・伸張処理が行われる。ここで、ＤＣＴ回路１６，量子化回路１７，ハフマン符号化回路１８はＪＰＥＧエンコーダを構成し、静止画像データの圧縮・符号化処理を行い、ハフマン復号回路１９，逆量子化回路２０，逆ＤＣＴ回路２１はＪＰＥＧデコーダを構成する。尚、ＪＰＥＧコア回路５（ＪＰＥＧエンコーダ）が本発明における「静止画像符号化手段」の一例である。

ＤＣＴ回路１６は、フレームバッファ７から読み出された１画面ずつの画像データに対して、１画面の画像データを１ブロック単位で取り込み、その画像データに対して２次元の離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を行ってＤＣＴ係数を生成する。量子化回路１７は、ＤＣＴ回路１６から供給されたＤＣＴ係数を、図示しないＲＡＭに記憶された量子化テーブルに格納されている量子化しきい値を参照して量子化する。

ハフマン符号化回路１８は、量子化回路１７にて量子化されたＤＣＴ係数を、図示しないＲＡＭに記憶されたハフマンテーブルに格納されているハフマン符号を参照して可変長符号化することにより、圧縮された画像データを１画面ずつ生成する。ハフマン符号化回路１８の生成した圧縮画像データは、データバス１３を介して、メモリカード１０または入出力回路１１の少なくともいずれかへ転送される。

ＭＰＥＧコア回路６は、ＪＰＥＧコア回路５に第１および第２ＭＣ（動き補償付予測）回路２２ａ，２２ｂを付加して構成される。したがって、ＤＣＴ回路１６、量子化回路１７、ハフマン符号化回路１８、ハフマン復号回路１９、逆量子化回路２０、逆ＤＣＴ回路２１は、ＪＰＥＧコア回路５とＭＰＥＧコア回路６とで共有化され、制御コア回路１４からの切替信号により、ＪＰＥＧコア回路５を使用するのか、また、これに第１および第２ＭＣ回路２２ａ，２２ｂを付加したＭＰＥＧコア回路６を使用するのかが選択される。但し、ＪＰＥＧとＭＰＥＧとでは、上記した量子化テーブルおよびハフマンテーブルを別々に備えるものとする。

ＭＰＥＧコア回路６においては、１画面の画像データがＭＰＥＧ方式の規格によって定められた複数のマクロブロックに分割され、その各ブロック毎に圧縮・伸張処理が行われる。ここで、ＤＣＴ回路１６，量子化回路１７，ハフマン符号化回路１８、ＭＣ回路２２ａはＭＰＥＧエンコーダを構成し、動画像データの圧縮符号化処理を行い、ハフマン復号
回路１９，逆量子化回路２０，逆ＤＣＴ回路２１、ＭＣ回路２２ｂはＭＰＥＧデコーダを構成する。尚、ＭＰＥＧコア回路６（ＭＰＥＧエンコーダ）が本発明における「動画像符号化手段」の一例である。

そして、ＭＰＥＧエンコーダの生成した圧縮画像データも、データバス１３を介して、メモリカード１０または入出力回路１１の少なくともいずれかへ転送される。ＪＰＥＧコア回路５又はＭＰＥＧコア回路６において、ハフマン復号回路１９は、データバス１３を介して転送されてきた１画面ずつの圧縮画像データを、ハフマン符号を参照して可変長復号することにより、伸張された画像データを１画面ずつ生成する。

逆量子化回路２０は、ハフマン復号回路１９の生成した１画面ずつの伸張画像データを、量子化しきい値を参照して逆量子化することにより、ＤＣＴ係数を生成する。逆ＤＣＴ回路２１は、逆量子化回路２０の生成したＤＣＴ係数に対して２次元の離散コサイン逆変換（ＩＤＣＴ：Inverse DCT）を行う。ここで、ＭＰＥＧコア回路６においては、逆ＤＣＴ回路２１にて離散コサイン逆変換が行われた１画面ずつの伸張画像データに対し第２ＭＣ回路２２ｂによりＭＣ処理を施す。

ＪＰＥＧコア回路５又はＭＰＥＧコア回路６からの伸張画像データは、データバス１２を介してフレームバッファ７へ転送される。そして、フレームバッファ７は、ＪＰＥＧコア回路５又はＭＰＥＧコア回路６からデータバス１２を介して転送されてきた１画面ずつの画像データを書き込んで記憶する。また、表示回路８は、フレームバッファ７からデータバス１２を介して転送されてきた１画面ずつの画像データから画像信号を生成し、その画像信号はディスプレイ９上で被写体画像として表示される。

画像データ補正回路４は、図３に示すとおり、デジタルフィルタ部２３、ＲＯＭ２４およびタイミング制御部２５から構成されている。デジタルフィルタ部２３は、非循環型デジタルフィルタである空間フィルタ、例えばＦＩＲ（Finite Impulse Response）フィルタを含み、図４に示すとおり、信号処理回路３から入力されたｎビットの入力信号をサンプリング周期毎に遅延させるためのｎ個の遅延器２６…と、ｎ＋１個の乗算器２７…と、この乗算器２７…からの信号を畳み込むための加算器２８とから構成される。乗算器２７…の各係数ａn，ａn-1……ａ2，ａ1は、フィルタの特性を決定する係数であり、動画像データをフィタリング処理する場合の係数と静止画像データをフィルタリング処理する場合の係数とが予めＲＯＭ２４内に書き込まれてある。ＲＯＭ２４に記憶させている係数は、予め製造段階においてシミュレーションにより適切な値に設定される。

例えば、動画像データをフィルタリング処理する場合には、線形補間等の考え方を用い、サンプリング周期毎に各係数の値を変化させることで、良好な低画素密度画像を得る。一例として、横方向の画素数を２／３にする場合を考える。いま、仮に原画像において３個の画素ｐ1〜ｐ3が横向きに配列されており、動画像データに対するフィルタリング処理により、これらの画素を２個の画素ｑ1，ｑ2に変換する。このために、ｑ1とｑ2をそれぞれｐ1，ｐ2，ｐ3の一次線形和で表現する。すなわち、画素数をどの程度減らすか、その
比率を定めた上で、線形和の各係数を実験等で定めればデータ量低減のためのフィルタリング処理が実現する。一例として、画素数を例えば縦４８０×横７２０に低減しても良い。一方、静止画像データをフィルタリング処理する場合には、高周波領域を強調するように各係数の値を設定し、ハイパスフィルターを形成しても良い。こうすることで、画素数を一定に維持したまま、エッジ部の劣化のない鮮明化された画像を得ることができる。

尚、本実施形態にあっては、ｎ＝８に設定しているが、これには当然設計の自由度がある。タイミング制御部２５は、制御コア回路１４の制御に従って、ＲＯＭ２４からの係数の読み出しのタイミング、入出力データのラッチのタイミング、フィルタ演算のタイミン
グ等を制御する。斯かる構成に基づいて、画像データの記録動作を図５〜図８に示すフローチャートに従って説明する。

図５において、静止画記録ボタン１５ａがＯＮされると、図６に示す静止画像処理が行われ、動画記録ボタン１５ｂがＯＮされると、図７に示す動画像処理が行われる。

（静止画像記録）
図６において、撮像デバイス２から取り込まれた原画像信号は、静止画記録ボタン１５ａのＯＮ信号に対応するタイミングで信号処理回路３に入力され、ここで１画面のデジタルの原画像データに変換されて、フレームバッファ７に取り込まれる（Ｓ１）。そして、フレームバッファ７から１画面の原画像データが、画像データ補正回路４に送出されると共に表示回路８に送出されてディスプレイ９上に静止画像が表示される（Ｓ２）。

画像データ補正回路４に取り込まれたデータは、画像データ補正回路４において、上述した静止画像対応の補正処理が行われ（Ｓ３）、補正後のデータがＪＰＥＧコア回路５に入力され、所定の圧縮・符号化処理が行われた後（Ｓ４）、フラッシュメモリ１０ａに記録される（Ｓ５）。

（動画像記録）
図７において、撮像デバイス２から取り込まれた原画像信号は、動画記録ボタン１５ｂのＯＮ信号に対応するタイミングで信号処理回路３に入力され、ここで１画面ずつのデジタルの原画像データに変換されて、フレームバッファ７に順次取り込まれる（Ｓ１１）。そして、フレームバッファ７から１画面ずつの原画像データが、画像データ補正回路４に送出されると共に表示回路８に送出されてディスプレイ９上に動画像が表示される（Ｓ１２）。

画像データ補正回路４に順次取り込まれたデータは、画像データ補正回路４において、上述した動画像対応の補正処理が行われ（Ｓ１３）、補正後のデータがＭＰＥＧコア回路６に入力され、所定の圧縮・符号化処理が行われた後（Ｓ１４）、フラッシュメモリ１０ａに記録される（Ｓ１５）。この動作は、動画記録ボタン１５ｂから再びＯＮ信号が送出されるまで続行される（Ｓ１６）。

（スナップショット記録）
図７において、動画像の記録期間中に、静止画記録ボタン１５ａからＯＮ信号が送出されると、制御コア回路１４は、スナップショットのためのスチル撮影が外部から指示されたと判断し、図８に示すスナップショット処理を実行する（Ｓ１７）。

図８において、動画像の記録期間中に、静止画記録ボタン１５ａからＯＮ信号が送出されると、１フレーム分の画像データをフレームバッファ７の退避用記憶領域７ａに一時的に退避・記憶させる（Ｓ２１）。この退避動作のあいだ、動画像の記録動作はそのまま継続される。すなわち、撮像デバイス２から取り込まれた原画像信号が信号処理回路３に入力され、ここで１画面ずつのデジタルの原画像データに変換されて、フレームバッファ７に順次取り込まれる（Ｓ２２）。そして、フレームバッファ７から１画面ずつの原画像データが、画像データ補正回路４に送出されると共に表示回路８に送出される。

画像データ補正回路４に順次取り込まれたデータは、画像データ補正回路４において、上述した動画像対応の補正処理が行われ（Ｓ２３）、補正後のデータがＭＰＥＧコア回路６に入力され、所定の圧縮・符号化処理が行われた後（Ｓ２４）、フラッシュメモリ１０ａに記録される（Ｓ２５）。ここで、本実施形態では、フレームバッファ７から表示回路に対し、１画面ずつの原画像データを送出すると共に退避用記憶領域７ａに退避させた１
フレーム分の画像データをも送出する。こうすることで、ディスプレイ９上には現在撮影中の動画像とスナップショットとして記録したい静止画像とが並行表示される（Ｓ２６）。

図９はディスプレイ９上での動画像と静止画像とを並行表示させる一例を示しており、静止画像１００を主画面とし、画面右上に、画面の１／１６の大きさで動画像２００を表示させる。

静止画像の表示は所定時間（例えば５秒間）行われ、５秒経過すると動画像のみの表示に切り替わり（Ｓ２７）、図７に示す通常の動画像処理に戻る（Ｓ２８）。使用者は、静止画像が並行表されている５秒の間に、所望のスナップショットを撮影することができたか否かをディスプレイ９上で確認することができる。

また、５秒経過する前に、再び静止画記録ボタン１５ａからＯＮ信号が送出されると、そのＯＮ信号に対応するタイミングで取り込まれたデータに基づいてＳ２１〜Ｓ２７の処理を行う（Ｓ２９）。この場合、退避用記憶領域７ａの内容は新しいデータに置き換わる。図１０は動画像処理およびスナップショット処理におけるフレームバッファ７の使用状況を説明するための図である。同図において、フレームバッファ７は、４個の通常の記憶領域Ａ〜Ｄを備え、各記憶領域Ａ〜Ｄには、それぞれ１画面（１フレーム）分のデータが格納される。もちろん、記憶領域の数は、カメラ１の仕様に応じて適宜変更される。

図１０において、図７に示す通常の動画像処理では、図１０（ａ）のとおり、信号処理回路３からの１画面ずつのデジタルの原画像データは、Ａ→Ｂ→Ｃ→Ｄの順に順次格納され、先に入ったものから順にデータバス１２に出力される（First-In First-Out）。そして、最後の記憶領域Ｄにデータが格納されると、再び記憶領域Ａが使用される。すなわち、記憶領域Ａ〜Ｄがサイクリックに使用される。フレームバッファ７のサイクリックな利用には、ＬＲＵ（Least Recently Used）アルゴリズム、その他ページメモリ制御方法が採用されてもよい。

動画像の処理中、スナップショットのために静止画記録ボタン１５ａからＯＮ信号が送出されると、そのＯＮ信号に対応するタイミングで取り込まれたデータが、ある記憶領域に格納され、その領域がそのまま静止画像データの退避用記憶領域７ａとして使用される。例えば、スナップショット記録のタイミングで取り込まれたデータが、３番目の記憶領域Ｃに格納された場合は、図１０（ｂ）のとおり、その記憶領域Ｃが退避用記憶領域７ａとして使用され、それ以降の動画像処理においては、記憶領域Ａ，Ｂ，Ｄがサイクリックに使用される。その後、再びスナップショット記録のタイミングで取り込まれたデータが、今度は２番目の記憶領域Ｂに格納された場合、図１０（ｃ）のとおり、３番目の記憶領域Ｃのデータがキャンセル、すなわち保護の対象から外されて、２番目の記憶領域Ｂが退避用記憶領域７ａとして使用され、それ以降の動画像処理においては、それ以外の記憶領域Ａ，Ｃ，Ｄがサイクリックに使用される。

動画像記録が終了すると、図７において、制御コア回路１４は、動画像の記録動作中に、上記した静止画像の退避動作が行われたか否かを判定し（Ｓ１８）、退避動作が行われている場合、退避用記憶領域７ａに記憶されている１フレーム分のデータをデータバス１２を介して画像データ補正回路４に転送し、上述した静止画像記録と同様の処理を行う（Ｓ１９）。

以上に説明した本実施形態の電子スチルカメラ１にあっては、以下のとおりの作用効果を奏する。

（１）動画像の撮影中に、スナップショットとして静止画像を抽出することができるので、電子スチルカメラとしての機能が向上する。

（２）スナップショットとして撮影した静止画像をディスプレイ９上に表示させるので、使用者は、スナップショットの撮影具合を容易に確認することができ、気に入らなければ直ちに撮り直せば良く、スナップショットの撮影ミスの発生度合いを軽減することができる。したがって、電子スチルカメラとしての商品的価値を高めることができる。

（３）上記（２）に加え、現在撮影中の動画像を並行表示させるので、動画像の撮影状態もリアルタイムに確認することができる。

（４）上記（２）（３）に加え、ディスプレイ９上では、スナップショットとして記録すべき静止画像を主画面とし、動画像は画面のたとえば１／１６のサイズで小さく表示させるので、スナップショットの撮影具合をきわめて容易に確認することができる。

（５）上記（２）に加え、スナップショットとして記録すべき静止画像は、一時的にディスプレイ９上に表示されるだけなので、動画像記録のディスプレイ９上での確認作業を長時間阻害することがない。

（６）図１０に示すとおり、スナップショットのためのスチル撮影が指示されるまでは退避用記憶領域７ａを設けず、すべて通常の記憶領域として利用するため、フレームバッファ７の利用効率が高まる。

（７）静止画像データをデータ補正回路４を用いて、より最適な画像に補正することができる。

（８）動画像データはもとより、静止画像データもデータ補正回路４を通過するよう構成したので、静止画像に別途補正処理したい場合であっても、ＲＯＭ２４内に係数を記憶させるだけでよく、低コストで機能を向上させることができる。

しかも、別途、静止画像専用の補正回路を設ける必要がないので、機器の大型化および消費電力の増大を防止することができる。

（９）ＪＰＥＧコア回路５およびＭＰＥＧコア回路６において、ＤＣＴ回路１６、量子化回路１７、ハフマン符号化回路１８、ハフマン復号回路１９、逆量子化回路２０、逆ＤＣＴ（ＩＤＣＴ；Inverse DCT）回路２１を共用しているので、電子スチルカメラ１の構成や演算処理アルゴリズムなどを簡略化することができる。

（１０）スナップショットのために退避用記憶領域７ａを設けたので、静止画像と動画像の区分および検索が容易になり、より迅速な再生が可能になる。

（１１）スナップショットのためのスチル撮影が指示された場合に、画像データ補正回路４に入力する前の１フレーム分の画像データを記憶領域７ａに一時的に退避・記憶させるので、その後に画像データ補正回路４においてフィルタリング処理する際、垂直方向にフィルタリング処理したりズーム処理したりすることが容易になるとともに動画像記録を中断することなく行うことができる。

本発明は上記実施形態に限定されるものではなく、以下のように変更してもよく、その場合でも同等もしくはそれ以上の作用・効果を得ることができる。

（イ）図８のＳ２６において、ディスプレイ９上に、静止画像のみを表示させる。

（ロ）図８のＳ２６において、ディスプレイ９上に並行表示させる静止画像と動画像のサイズを逆転させる（動画像を主画面とする）。また、静止画像の表示の許否を使用者がボタン等により指定できる構成とする。

（ハ）図８のＳ２９において、新たに撮影されたスナップショットのための画像データを古いデータを置き換えずに、並列的に記憶させる。すなわち、図１１に示すとおり、通常の動画像処理ではフレームバッファ７の記憶領域Ａ〜Ｄをサイクリックに使用する（図１１（ａ））。

次に、１枚目のスナップショット記録のタイミングで取り込まれたデータが、３番目の記憶領域Ｃに格納された場合は、その記憶領域Ｃを退避用記憶領域７ａとして使用し（図１１（ｂ））、それ以降の動画像処理においては、それ以外の３個の記憶領域Ａ，Ｂ，Ｄをサイクリックに使用する。

そして、２枚目のスナップショット記録のタイミングで取り込まれたデータが、２番目の記憶領域Ｂに格納された場合は、２番目と３番目の記憶領域Ｂ，Ｃを退避用記憶領域７ａとして使用し（図１１（ｃ））、それ以降の動画像処理においては、２個の記憶領域Ａ，Ｄをサイクリックに（交互に）使用する。

こうすることで、複数枚のスナップショットを記録することができる。尚、スナップショットを記録することができる枚数は、増やせば増やすほど、動画像処理においてフレームバッファ７を使用することができる領域が減るので、動画像処理時にフレームバッファ７のオーバーフローが発生しない程度に設定する必要がある。また、この場合、制御コア回路１４は、使用者による選択ボタン１５ｃなどの操作に伴い、記録した複数枚のスナップショットのうち、いずれか１枚を選択して最終的に保存するようにしてもよい。

（ニ）図８のＳ２９において、新たに撮影されたスナップショットのための画像データを格納するための領域を、古いデータが格納されている領域を上書きして利用する。

（ホ）メモリカード１０に代えて、光磁気ディスク、光ディスク、磁気ディスクなどを用いる。

（ヘ）スナップショットのためのスチル撮影が指示された場合、画像データ補正回路４にて処理が終了した後の画像データを退避用記憶領域７ａに一時的に退避・記憶させる。こうすることにより、その後にＪＰＥＧコア回路５で所定の圧縮処理を行う際にデータの取り出し処理を容易に行うことができる。

（ト）動画像データの圧縮・伸長にＭ−ＪＰＥＧ技術を用いる。

（チ）静止画像データの圧縮・伸長にＪＰＥＧ以外にも、差分処理をベースとする差分ＹＵＶやブロックベースのアダマール（Hadamard）変換、スラント（Slant）変換、ハール（Haar）変換方式を利用した圧縮・伸長技術を用いる。

（リ）スナップショットと動画像の一方を主画面に表示することを述べたが、いずれを主画面に設定するかを使用者から選択可能としてもよい。制御コア回路１４は、使用者による選択ボタン１５ｃなどの操作に伴い、いずれを主画面に表示するか切り替えてもよい。さらに、使用者の指示にしたがい、制御コア回路１４は、スナップショットの表示を禁止するモードを有してもよいし、使用者が表示を指示する時間だけ表示してもよい。

本発明を具体化した実施形態における電子スチルカメラのブロック回路図である。 本実施形態におけるＪＰＥＧコア回路およびＭＰＥＧコア回路の概略を示すブロック図である。 本実施形態における画像データ補正回路の概略を示すブロック図である。 本実施形態における画像データ補正回路のフィルタ部を示す回路図である。 本実施形態における電子スチルカメラの動作を示すフローチャートである。 本実施形態における電子スチルカメラの動作を示すフローチャートである。 本実施形態における電子スチルカメラの動作を示すフローチャートである。 本実施形態における電子スチルカメラの動作を示すフローチャートである。 本実施形態における電子スチルカメラのスナップショット記録時のディスプレイ画面を示す図である。 本実施形態におけるフレームバッファの使用形態を説明するための図である。 本実施形態におけるフレームバッファの使用形態の別例を説明するための図である。

符号の説明

１ 電子スチルカメラ
２ 撮像デバイス
３ 信号処理回路
４ 画像データ補正回路
５ ＪＰＥＧコア回路
６ ＭＰＥＧコア回路
７ フレームバッファ
８ 表示回路
９ ディスプレイ
１０ メモリカード
１０ａ フラッシュメモリ
１１ 入出力回路
１２，１３ データバス
１４ 制御コア回路
１５ａ 静止画記録ボタン
１５ｂ 動画記録ボタン
１５ｃ 選択ボタン
１６ ＤＣＴ回路
１７ 量子化回路
１８ ハフマン符号化回路
１９ ハフマン復号回路
２０ 逆量子化回路
２１ 逆ＤＣＴ回路
２２ａ，２２ｂ ＭＣ回路
２３ デジタルフィルタ部
２４ ＲＯＭ
２５ タイミング制御部
２６ 遅延器
２７ 乗算器
２８ 加算器

Claims (16)

1. 画像データを静止画像として符号化する静止画像符号化手段と、前記画像データを一連の動画像として符号化する動画像符号化手段と、前記静止画像符号化手段および動画像符号化手段に至る前記画像データの入力経路中に設けられ、前記画像データをフィルタリング処理する画像補正手段と、撮影した画像データをディスプレイ上に表示するための画像信号を生成する表示手段と、前記各手段の動作を制御する制御手段と、
   動画像を前記ディスプレイ上に表示している間における静止画像の撮影指示信号に応じて、１フレーム分の画像データを一時的に記憶する記憶手段と、
   を備え、前記記憶手段はフレームバッファ内の記憶領域であり、前記記憶手段に記憶された１フレーム分の画像データは、前記画像補正手段による処理後であって前記静止画像符号化手段による符号化前の画像データであることを特徴とする画像処理装置。
2. 画像データを静止画像として符号化する静止画像符号化手段と、前記画像データを一連の動画像として符号化する動画像符号化手段と、前記静止画像符号化手段および動画像符号化手段に至る前記画像データの入力経路中に設けられ、前記画像データをフィルタリング処理する画像補正手段と、前記各手段の動作を制御する制御手段とを具備し、前記動画像符号化手段による符号化処理中における静止画像の記録指示信号に応じて、１フレーム分の画像データを一時的に記憶する記憶手段を備え、前記記憶手段に記憶された１フレーム分の画像データは、前記画像補正手段による補正後であって前記静止画像符号化手段による符号化前の画像データであることを特徴とする画像処理装置。
3. 前記画像補正手段において、前記静止画像符号化手段に対する前記画像データのフィルタリング処理と、前記動画像符号化手段に対する前記画像データのフィルタリング処理とを異ならせたことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像補正手段において、前記静止画像符号化手段に対する前記画像データのフィルタリング処理を複数種類選択可能に構成し、この複数種のフィルタリング機能を選択するための選択手段を設けたことを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 前記画像補正手段は、フィルタ部とこのフィルタ部のフィルタ機能を決定する係数を記憶する記憶部とを含むことを特徴とした請求項１から４のいずれかに記載の画像処理装置。
6. 前記制御手段は、前記動画像符号化手段による符号化処理の終了後に、前記記憶手段に記憶されている画像データを静止画像として生成すべく前記画像補正手段に送出することを特徴とした請求項１から５のいずれかに記載の画像処理装置。
7. 前記制御手段は、前記動画像符号化手段による符号化処理の終了後に、前記記憶手段に記憶されている画像データを記録手段に記録すべく前記静止画像符号化手段に送出することを特徴とした請求項１から６のいずれかに記載の画像処理装置。
8. 前記静止画像符号化手段および動画像符号化手段の符号化部を共有化したことを特徴とした請求項１から７のいずれかに記載の画像処理装置。
9. 前記制御手段は、撮影した画像データを動画像として前記ディスプレイ上に表示している間、前記動画像の一部に相当する静止画像を、前記ディスプレイ上に表示させるよう前記表示手段に指示することを特徴とする請求項１に記載の画像処理装置。
10. 前記制御手段は、動画像の表示中に表示される静止画像を、前記動画像に代えて前記ディスプレイ上に表示させるよう前記表示手段を制御することを特徴とした請求項１または９に記載の画像処理装置。
11. 前記制御手段は、並行表示される静止画像と動画像とにおいて、前記静止画像を前記ディスプレイ上の主画面に設定して表示させるよう前記表示手段を制御することを特徴とした請求項９に記載の画像処理装置。
12. 前記制御手段は、並行表示される静止画像と動画像とにおいて、前記動画像を前記ディスプレイ上の主画面に設定して表示させるよう前記表示手段を制御することを特徴とした請求項９に記載の画像処理装置。
13. 前記制御手段は、並行表示される静止画像と動画像とにおいて、前記静止画像と前記動画像の一方を切替可能に選択して前記ディスプレイ上の主画面に設定して表示させるよう前記表示手段を制御することを特徴とした請求項９に記載の画像処理装置。
14. 前記制御手段は、前記静止画像を、所定時間だけ表示させるよう前記表示手段を制御することを特徴とした請求項９に記載の画像処理装置。
15. 前記制御手段は、前記表示手段に対して、前記静止画像の表示の許否を切替可能に設定することを特徴とした請求項９に記載の画像処理装置。
16. 前記制御手段は、前記静止画像を使用者の指示にしたがう時間だけ表示させるよう前記表示手段を制御することを特徴とした請求項９に記載の画像処理装置。
    

Images