JP2002112086A - カメラシステム、画像符号化装置および画像復号化装置 - Google Patents

カメラシステム、画像符号化装置および画像復号化装置

Info

Publication number
JP2002112086A
JP2002112086A JP2000296467A JP2000296467A JP2002112086A JP 2002112086 A JP2002112086 A JP 2002112086A JP 2000296467 A JP2000296467 A JP 2000296467A JP 2000296467 A JP2000296467 A JP 2000296467A JP 2002112086 A JP2002112086 A JP 2002112086A
Authority
JP
Japan
Prior art keywords
image data
pixels
image
data
writing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000296467A
Other languages
English (en)
Inventor
Katsuji Shimura
勝治 志村
Shinya Yamamoto
真也 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2000296467A priority Critical patent/JP2002112086A/ja
Publication of JP2002112086A publication Critical patent/JP2002112086A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】回路規模を小さくし、高速に適切に圧縮符号化
した静止画像データを取り込むことのできるカメラシス
テムを提供する。 【解決手段】モニタ撮影時には、撮影部11は間引きデ
ータを生成する。この間引きデータは、信号処理回路1
3でデジタル信号に変換され、信号処理回路14でコン
ポーネント信号に変換され、バッファRAM15に一旦
記憶された後、画像サイズ変換器19、ビデオエンコー
ダ20およびA/D変換器21を介してモニタ34に表
示される。この表示用間引き画像データに対してJPE
G圧縮伸長処理回路16は符号化を行い、符号量を算出
し、フル画像の符号化データ量を予測し、量子化テーブ
ルを決定する。シャッターが押された時には、撮影部1
1はフル画素の画像データを生成し、JPEG圧縮伸長
処理回路16は直接既に決定されている量子化テーブル
で符号化する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、小さい回路規模で
高速に所望の画像データを圧縮符号化して取り込むこと
のできるカメラシステムと、小さい回路規模で所望の画
像データを圧縮符号化あるいは復号化することのできる
画像符号化装置および画像復号化装置に関する。
【0002】
【従来の技術】従来よりデジタルスチルカメラにおいて
は、撮像した静止画データを他の機器へ転送する機能を
有している。撮像した画像を、パーソナルコンピュータ
などの他の機器で表示したり、プリントシステムを使っ
て印刷するためである。この静止画データの転送方法と
しては、不揮発性メモリや磁気記憶媒体などのメディア
インターフェイス機器を接続し、これを圧縮データの一
時記憶手段としてデータの受け渡しを行う方法や、US
BあるいはIEEE1394などの通信インターフェイ
スを用いて、デジタルスチルカメラと他の機器とを直接
接続してデータ転送を行う方法などが用いられる。ま
た、転送先の機器においては、転送された静止画データ
は、半導体メモリや磁気ディスクなどの媒体に蓄積され
る。
【0003】デジタルスチルカメラで静止画撮影を行っ
た場合、撮影された静止画は所定の圧縮処理、たとえば
JPEG方式(Joint Photographic Experts Groupによ
るカラー静止画像符号化方式)の圧縮処理が行われ、圧
縮されたデータが前述したような方法により記録または
転送される。この時、圧縮データを蓄積する記録媒体の
容量には限界があるため、画質および圧縮率を設定でき
るようにし、ユーザが状況や目的に応じて使い分けを行
えるようになっているデジタルスチルカメラが多い。す
なわち、高画質モードが設定されると、圧縮率が悪く圧
縮データのサイズが大きくなり蓄積できる静止画の枚数
は少なくなるが劣化の少ない画像を得ることができ、低
画質モードが設定されると、画質の劣化が生じることが
あるが圧縮率は高く圧縮データのサイズは小さくなり蓄
積できる静止画の枚数は多くなるようになっているもの
が多い。
【0004】このようなモードの設定を行うことは、デ
ジタルスチルカメラ内においては、撮像した静止画を圧
縮処理する過程で、撮影時のモード設定に応じて圧縮率
を制御し、画質と生成される圧縮静止画データのデータ
量の調整を行わなければならないことを意味する。そし
て、圧縮データのサイズを、設定に応じてある程度の範
囲に収まるように制御できれば、圧縮データ書き込み先
の空き容量に基づいて撮影可能枚数を予測するなどの機
能を実現することができる。なお、JPEG方式におけ
る圧縮率と画質の制御手段としては、圧縮処理過程で用
いられる量子化テーブルの制御により達成される。
【0005】
【発明が解決しようとする課題】ところで、圧縮率およ
び画質を制御する従来の方式としては、特開平10−3
36647号公報、特開平11−205793号公報、
特開平11−136677号公報、特開平10−150
633号公報および特開平7−212757号公報に記
載されているような各方法があるが、これらの方法では
いずれの場合も、処理過程のいずれかで1画面分のデー
タを蓄積しておき、圧縮静止画データを生成するまでの
処理過程で繰り返し処理を行い最終的な量子化テーブル
を決定している。
【0006】しかしながら、そのような方法では、1画
面分の非圧縮データを蓄積するための大容量のメモリが
必要になり、回路規模が大きくなる上にコストが高くな
るという不利益がある。また、繰り返し処理が行われる
ため処理時間が増加し、撮影間隔に制限を生じてしま
い、連写能力の低下や、シャッターチャンスを逃す可能
性が高くなるなどという機能的な不利益もある。特に、
撮像素子の画素サイズが大きくなってきた場合には、1
画面分のデータを蓄積するための記憶媒体の容量もそれ
に応じて増大し、また処理時間も一層長くなり、回路規
模、コスト、処理時間のあらゆる面で大きな不利益とな
る。
【0007】撮影した、あるいは他の機器より転送され
た圧縮静止画データを伸長し、表示させる機能を搭載し
たデジタルスチルカメラにおいては、前述したうような
従来の方式の場合、伸長処理した非圧縮データ1画面分
を一旦記憶媒体に保持し、その後表示系処理回路へ出力
という方式がとられるため、この場合も、画像の表示要
求があってから実際に表示を行うまでの経過時間が長い
という不利益が生じていた。
【0008】したがって本発明の目的は、所望の画像を
撮影し、大容量のメモリを用いることなく、また繰り返
し処理を行うことなく、圧縮率と画質を制御しながら高
速に圧縮符号化を行い、所望のデータを取り込むことの
できるカメラシステムを提供することにある。また本発
明の他の目的は、大容量のメモリを用いることなく、所
望の静止画データを圧縮率と画質を制御しながら高速に
圧縮符号化する画像符号化装置を提供することにある。
また本発明の他の目的は、大容量のメモリを用いること
なく、所望の静止画データを圧縮率と画質を制御しなが
ら高速に復号化を行うことのできる画像復号化装置を提
供することにある。
【0009】
【課題を解決するための手段】前記課題を解決するため
に、本発明に係わるカメラシステムは、所望の撮影対象
を撮影し画像データを生成する撮影手段と、前記生成さ
れた画像データの取り込みを指示する取り込み指示手段
と、 前記取り込みの指示のない場合に、符号化を行う
画像データを前記生成された画像データより選択する符
号化画像選択手段と、前記生成された画像データを所定
の方式により符号化する符号化手段であって、前記取り
込みの指示がない場合には、前記選択された画像データ
を符号化し、前記取り込みの指示があった場合には、直
前の前記選択された画像データの符号化により得られた
符号化データの特性に基づいて符号化条件を決定し、当
該符号化条件に基づいて前記指示された画像データを符
号化する符号化手段と、前記符号化された前記取り込み
の指示があった画像データを取り込む画像取り込み手段
とを有する。
【0010】好適には、前記符号化手段は、前記取り込
みの指示がない場合には、前記選択された画像データを
符号化し当該符号化画像データのデータ量を検出し、前
記取り込みの指示があった場合には、直前の前記検出さ
れたデータ量に基づいて、前記指示された画像データの
符号化データ量が所望の範囲内になるように符号化条件
を決定し、前記符号化を行う。また好適には、前記符号
化手段は、前記取り込みの指示がない場合には、前記選
択された画像データの間引いた画像に対して前記符号化
を行い、前記取り込みの指示があった場合には、直前の
前記検出された前記選択された画像データの間引いた画
像のデータ量に基づいて、前記指示された画像データの
符号化データ量を推測し、当該推測したデータ量に基づ
いて前記符号化条件を決定し、前記符号化を行う。
【0011】特定的には、前記撮影手段は、順次前記撮
影を行い画像データを生成し、前記符号化画像選択手段
は、前記順次生成される画像データより、所定の間隔で
前記符号化する画像データを選択する。また特定的に
は、前記生成された画像データの特性を検出する特性検
出手段をさらに有し、前記符号化画像選択手段は、前記
検出された特性に基づいて前記符号化する画像データを
選択する。
【0012】好適には、前記撮影手段は、ラインスキャ
ン形式の画像データを生成し、前記生成された画像デー
タを一時的に記憶する手段であって、列方向n画素ライ
ン方向m画素(n×m画素)の所定のブロックごとのラ
イン方向の一連のブロックの画像データを少なくとも記
憶可能な記憶手段を複数有するバッファメモリと、前記
生成されるラインスキャン形式の画像データを、前記複
数の記憶手段に順に、nラインずつ書き込む書き込み手
段と、 前記nライン分の画像データが書き込まれた前
記複数の記憶手段のいずかの記憶手段であって、読み出
し時に前記書き込み手段により画像データの書き込みが
行われていない前記記憶手段より、ライン方向の一連の
前記n×m画素の所定のブロックを順に読み出す読み出
し手段とをさらに有し、前記符号化手段は、前記順に読
み出したn×mの画素の所定のブロックに対して、順に
所望の符号化処理を行う。
【0013】また好適には、符号化画像データに対して
復号化処理を行い、n×m画素の所定のブロックごとの
画像データを出力する復号化手段と、前記復号化された
ライン方向の一連の前記n×m画素の所定のブロックの
画像データを、前記複数の記憶手段に順に書き込む第2
の書き込み手段と、前記書き込み手段によりライン方向
の一連の前記n×m画素の所定のブロックの画像データ
が書き込まれた前記複数の記憶手段のいずかの記憶手段
であって、読み出し時に前記書き込み手段により画像デ
ータの書き込みが行われていない前記記憶手段より、ラ
インごとの画像データをnラインずつ順に読み出す第2
の読み出し手段とをさらに有する。
【0014】また、本発明に係る他のカメラシステム
は、所望の撮影対象を撮影しラインスキャン形式の画像
データを生成する撮影手段と、前記生成された画像デー
タを一時的に記憶する手段であって、列方向n画素ライ
ン方向m画素(n×m画素)の所定のブロックごとのラ
イン方向の一連のブロックの画像データを少なくとも記
憶可能な記憶手段を複数有するバッファメモリと、前記
生成されるラインスキャン形式の画像データを、前記複
数の記憶手段に順に、nラインずつ書き込む書き込み手
段と、前記nライン分の画像データが書き込まれた前記
複数の記憶手段のいずかの記憶手段であって、読み出し
時に前記書き込み手段により画像データの書き込みが行
われていない前記記憶手段より、ライン方向の一連の前
記n×m画素の所定のブロックを順に読み出す読み出し
手段と、前記順に読み出したn×mの画素の所定のブロ
ックに対して、順に所望の符号化処理を行う符号化手段
とを有する。
【0015】また、本発明に係る画像符号化装置は、列
方向n画素ライン方向m画素(n×m画素)の所定のブ
ロックのライン方向の一連のブロックのデータを少なく
とも記憶可能な記憶手段を複数有するバッファメモリ
と、入力されるラインごとの画像データを、前記複数の
記憶手段に順に、nラインずつ書き込む書き込み手段
と、前記書き込み手段によりnライン分の画像データが
書き込まれた前記複数の記憶手段のいずかの記憶手段で
あって、読み出し時に前記書き込み手段により画像デー
タの書き込みが行われていない前記記憶手段より、ライ
ン方向の一連の前記n×m画素の所定のブロックを順に
読み出す読み出し手段と、前記順に読み出したn×mの
画素の所定のブロックに対して、順に所望の符号化処理
を行う符号化手段とを有する。
【0016】また、本発明に係る画像復号化装置は、列
方向n画素ライン方向m画素(n×m画素)の所定のブ
ロックごとの画像デのライン方向の一連のブロックのデ
ータを少なくとも記憶可能な記憶手段を複数有するバッ
ファメモリと、圧縮画像データに対して復号化処理を行
い、n×m画素の所定のブロックごとの画像データを出
力する復号化手段と、前記復号化されたライン方向の一
連の前記n×m画素の所定のブロックの画像データを、
前記複数の記憶手段に順に書き込む書き込み手段と、前
記書き込み手段によりライン方向の一連の前記n×m画
素の所定のブロックの画像データが書き込まれた前記複
数の記憶手段のいずかの記憶手段であって、読み出し時
に前記書き込み手段により画像データの書き込みが行わ
れていない前記記憶手段より、ラインごとの画像データ
をnラインずつ順に読み出す読み出し手段とを有する。
【0017】
【発明の実施の形態】本発明の一実施の形態を図1〜図
5を参照して説明する。本実施の形態においては、静止
画像をJPEG(Joint Photographic ExpertsGroupに
よるカラー静止画像符号化方式)により圧縮符号化して
記録するデジタルスチルカメラシステムを例示して本発
明を説明する。
【0018】まず、そのデジタルスチルカメラシステム
の構成について説明する。図1は、本実施の形態のデジ
タルスチルカメラシステム10の構成を示すブロック図
である。デジタルスチルカメラシステム10は、撮影部
11、タイミングジェネレータ/ドライバ(TG/DR
V)12、アナログ/デジタル変換器(A/D)13、
信号処理回路14、バッファRAM15、JPEG圧縮
伸長処理回路16、JPEGバスコントローラ17、デ
ータ蓄積用メモリ18、画像サイズ変換器19、ビデオ
エンコーダ20、デジタル/アナログ変換器(D/A)
21、LCDドライバ22、デジタル/アナログ変換器
(D/A)23、制御系バス24、JPEGバス25、
バスブリッジ回路26、MPU27、DMAコントロー
ラ28、プログラムROM29、RAM30、メディア
I/F31、通信I/F32、外部I/F33、モニタ
34、LCD35および記録メディア36を有する。な
お、これらの構成部のうち、タイミングジェネレータ/
ドライバ12〜外部I/F33の各構成部は、1つの集
積回路40内に構成されている。
【0019】撮影部11は、タイミングジェネレータ/
ドライバ12より入力される制御信号に基づいて所望の
画像を撮影し、その画像を示す電気信号を集積回路40
のA/D変換器13に出力する。具体的には、撮影部1
1においては、レンズなどの光学系により所望の被写体
の像が撮像素子上に結像されることにより、その被写体
の画像を示す電気信号が生成されており、撮影部11
は、タイミングジェネレータ/ドライバ12より入力さ
れる信号により指定される所定の周期で、生成した電気
信号を、撮影した画像の信号としてA/D変換器13に
出力する。その際、撮影部11は、TG/DRV12よ
り、画像データの記録を行わず単にモニタ34に表示す
るだけのモードであるモニタ撮影である旨の信号が入力
されている場合には、生成した画像データを垂直方向に
1ラインずつ間引いてA/D変換器13に出力する。ま
た、TG/DRV12より実際画像データの記録を行う
実撮影である旨の信号が入力されている場合には、生成
した画像データの全て、すなわち、間引きをせずに全て
の信号をA/D変換器13に出力する。なお、撮像素子
は145万画素相当のCCD(Charge Coupled Device)
である。
【0020】タイミングジェネレータ/ドライバ12
は、制御系バス24を介したMPU27からの指示およ
び信号処理回路14からの画像データの特性の変化を示
す信号に基づいて、撮影部11に対して撮影モードの指
定および画像データの生成タイミングの指定を行う。デ
ジタルスチルカメラシステム10が駆動された後の基本
的な動作としてTG/DRV12は、MPU27より指
定された所定の周期で、撮影部11に対してモニタ撮影
モードでデータを生成するように指示する。その状態の
時に、信号処理回路14より、撮影画像の特性が大きく
変化した旨の信号が入力された場合には、そのモニタ撮
影モードでのデータ生成周期を短くする。そして、その
後特性の変化が起きなければ、再びデータ生成周期を長
くする。そしてそのような状態の時に、MPU27より
使用者が記録ボタンを操作した旨の信号が入力された場
合には、TG/DRV12は、撮影部11に実撮影モー
ドで直ちに画像データを生成するように指示する。
【0021】A/D変換器13は、撮影部11より入力
される撮影した画像の電気信号をアナログ/デジタル変
換し、デジタル画像信号を生成して、信号処理回路14
に出力する。
【0022】信号処理回路14は、A/D変換器13よ
り入力された撮影画像のデジタル信号を、輝度信号およ
び色差信号を有するコンポーネントビデオ信号に変換
し、さらに、ガンマ補正、ホワイトバランス調整、ゲイ
ン調整などの処理を行って順次バッファRAM15に出
力する。また、そのような処理を行う際に、入力された
画像の特性を示すデータを検出し、これが直前の画像デ
ータと所定の閾値以上に大きく変化しているか否かをチ
ェックする。そして、大きく変化していた場合には、そ
の旨の信号をTG/DRV12に出力する。なお、本実
施の形態において画像の特性を示すデータは、輝度信
号、色成分、黒レベルの各値および積分値、画像のエッ
ジ位置、画像の周波数成分などの各特性に基づいて検出
されるデータである。なお、145万画素相当のCCD
で撮影されたデジタル信号に対する信号処理回路14に
おける処理は、120〜130msecとなる。
【0023】バッファRAM15は、信号処理回路14
より入力されJPEG圧縮伸長処理回路16で圧縮符号
化されるデジタル画像データ、あるいは、JPEG圧縮
伸長処理回路16で伸長され画像サイズ変換器19に出
力されるデジタル画像データを、各々一時的に記録する
バッファメモリであり、コンポーネント信号16ライン
分を記憶する容量を有する。これらのデータは、バッフ
ァRAM15に一時的に記憶されて読み出されることに
より、DCTブロック単位あるいはラインスキャンした
ライン単位など、後段の処理に適した形態の信号に変換
される。
【0024】バッファRAM15の構成について、図2
を参照して詳細に説明する。図2は、バッファRAM1
5の構成を示すブロック図であり、バッファRAM15
は、第1のバンク151(バンクA)、第2のバンク1
52(バンクB)、RAMコントローラ153およびス
イッチ群154を有する。
【0025】第1のバンク151(バンクA)および第
2のバンク152(バンクB)は、各々8ライン分の輝
度信号および色差信号を記憶可能な容量を持つバッファ
RAMである。RAMコントローラ153は、MPU2
7の制御に基づいて、第1のバンク151(バンクA)
および第2のバンク152(バンクB)におけるデータ
の書き込みおよび読み出しの制御を行うとともに、スイ
ッチ群154を切り換えて、第1のバンク151(バン
クA)および第2のバンク152(バンクB)に書き込
むデータおよび読み出したデータの出力先を選択する。
スイッチ群154は、RAMコントローラ153の制御
に基づいて、実際に第1のバンク151(バンクA)お
よび第2のバンク152(バンクB)に入力するデータ
および出力先を切り換えるスイッチである。
【0026】このような構成のバッファRAM15にお
いては、RAMコントローラ153により、入力される
データの書き込み先と、出力データの読み出し先が必ず
異なるバンクに対して同時に行われるように制御され
る。すなわち、信号処理回路14より入力される撮影画
像データが第1のバンク151(バンクA)に書き込ま
れている時には、第2のバンク152(バンクB)より
既に書き込まれたデータが読み出されて、JPEG圧縮
伸長処理回路16あるいは画像サイズ変換器19に出力
される。また、第1のバンク151(バンクA)に8ラ
イン分のデータが書き込まれたら、データの書き込みは
第2のバンク152(バンクB)に移る。そして、それ
に同期して、データの読み出しは第1のバンク151
(バンクA)から行われるようになる。
【0027】また、この時の書き込みおよび読み出し
は、信号処理回路14から入力されるデータおよび画像
サイズ変換器19に出力されるデータは、いずれもライ
ンスキャン形式のデータであるので、第1のバンク15
1(バンクA)および第2のバンク152(バンクB)
に対してはラインごとのデータが順次書き込まれ、また
読み出される。一方、JPEG圧縮伸長処理回路16
は、8×8画素のDCTブロックを単位としたデータの
転送を要求するので、第1のバンク151(バンクA)
および第2のバンク152(バンクB)に対しても、そ
のような8×8画素のDCTブロックごとにデータが順
次書き込まれ、また読み出される。
【0028】JPEG圧縮伸長処理回路16は、バッフ
ァRAM15に記憶される圧縮符号化対象の画像データ
にJPEG符号化処理を行い、生成したJPEG圧縮画
像データをJPEGバスコントローラ17に出力する。
また、JPEG圧縮伸長処理回路16は、JPEGバス
コントローラ17より入力されるJPEG圧縮画像デー
タをJPEG復号化し、バッファRAM15に出力す
る。
【0029】JPEG圧縮伸長処理回路16は、撮影さ
れた画像データに対してDCTを行うDCT演算回路、
DCTされた結果のDCT係数を量子化する量子化回
路、量子化された画像データをハフマン符号化するハフ
マン符号化回路、ハフマン符号化されたデータに基づい
てビットストリームを生成するビットストリーム展開回
路および所定のタイミングでマーカーを付与しJPEG
ビットストリームを生成するマーカー付与回路を有す
る。また、入力されるJPEGビットストリームよりマ
ーカーを除去するマーカー処理回路、マーカーの除去さ
れたビットストリームを個々の可変長符号化データに分
解するビットストリーム分解回路、分解された個々のハ
フマン可変長符号を復号化するハフマン復号化回路、復
号化された量子化データを逆量子化する逆量子化回路お
よび逆量子化されたDCT係数を元の画素値データに戻
す逆DCT演算回路を有する。
【0030】JPEGバスコントローラ17は、後述す
るようにJPEGバス25が制御系バス24と分離状態
の時に、JPEGバス25のバスマスターとなり、JP
EGバス25を介してデータ蓄積用メモリ18に入出力
されるデータを制御する。具体的には、JPEG圧縮伸
長処理回路16より入力される撮影した画像データの圧
縮データを、JPEGバス25を介してデータ蓄積用メ
モリ18に記憶する。また、データ蓄積用メモリ18よ
り表示用の圧縮画像データをJPEGバス25を介して
読み出し、JPEG圧縮伸長処理回路16に出力する。
【0031】データ蓄積用メモリ18は、たとえば撮影
した圧縮画像データや外部より転送された画像データな
どの、所望の画像データを記憶するメモリである。デー
タ蓄積用メモリ18には、撮影部11で撮影されJPE
G圧縮伸長処理回路16でJPEG符号化された結果の
圧縮画像データが、JPEGバスコントローラ17の制
御によりJPEGバス25を介して記憶される。また、
記録メディア36に記憶されている所望の画像データ、
あるい通信I/F32に外部より送信される所望の画像
データが、MPU27の制御により制御系バス24およ
び制御系バス24の延長部分としてのJPEGバス25
を介して記憶される。
【0032】これら記憶されたデータは、たとえば、J
PEGバス25を介して読み出され、必要に応じてJP
EG圧縮伸長処理回路16で伸長処理された後、画像サ
イズ変換器19、ビデオエンコーダ20およびD/A変
換器21を介してモニタ34に表示される。また、MP
U27の制御により、JPEGバス25および制御系バ
ス24を介してメディアI/F31あるいは通信I/F
32に転送され、記録メディア36に記録されたり、通
信路に送出されたりする。
【0033】画像サイズ変換器19は、バッファRAM
15あるいは制御系バス24を介して入力される表示対
象の画像データのサイズを、モニタ34あるいはLCD
35に表示可能なサイズに変換し、ビデオエンコーダ2
0あるいはLCDドライバ22に出力する。
【0034】ビデオエンコーダ20は、画像サイズ変換
器19より入力される、あるいは、制御系バス24を介
して直接的に入力される表示用のサイズに適合した画像
データに対して、レベル変換、タイミング信号の付加、
変調などの信号処理を行い、モニタ34に表示可能な信
号を生成してD/A変換器21に出力する。
【0035】D/A変換器21は、ビデオエンコーダ2
0より入力されるモニタ34表示用のデジタル信号をア
ナログ信号に変換し、モニタ34に印加する。
【0036】LCDドライバ22は、画像サイズ変換器
19より入力される、あるいは、制御系バス24を介し
て直接的に入力される表示用のサイズに適合した画像デ
ータに対して、R(レッド),G(グリーン),B(ブ
ルー)の各成分に分解する色成分分解などの処理を行
い、さらにタイミング信号を付加し、LCD35に表示
可能な信号を生成してA/D変換器23に出力する。
【0037】A/D変換器23は、LCDドライバ22
より入力されるLCD35表示用のデジタル信号をアナ
ログ信号に変換し、必要に応じて接続あれるLCDに出
力する。なお、デジタルスチルカメラシステム10にお
いてはLCDはオプション品であって、通常は装備され
ていないものとする。
【0038】制御系バス24は、MPU27、および、
プログラムROM29、RAM30、JPEG圧縮伸長
処理回路16、JPEGバスコントローラ17、画像サ
イズ変換器19、ビデオエンコーダ20、LCDドライ
バ22、メディアI/F31、通信I/F32および外
部I/F33などの周辺回路が接続されたバスである。
本実施の形態においては、制御系バス24は、アドレス
32ビット、R/W制御信号32ビット、データ32ビ
ットおよびスレーブ応答信号からなるバスである。この
制御系バス24を介して、主にMPU27が各構成部に
制御信号および制御パラメータなどを送信し、各構成部
の動作を制御する。また、画像サイズ変換器19、ビデ
オエンコーダ20およびA/D変換器21への表示デー
タの転送、メディアI/F31との記録/再生データの
転送など、各構成部間のデータの転送を行う。
【0039】この制御系バス24に対しては、MPU2
7またはDMAコントローラ28がバスマスターとして
機能する。通常の制御信号やデータの通常の転送時に
は、MPU27がバスマスターとして制御系バス24の
動作を制御する。また、表示データや記録データなどの
大量のデータを転送する場合には、MPU27からの指
示に基づいてDMAコントローラ28がバスマスターと
なり、所望の周辺回路間でデータをDMA(Direct Mem
ory Access)転送する。なお、制御系バス24は、バス
ブリッジ回路26を介してJPEGバス25と接続され
ており、バスブリッジ回路26の動作により、JPEG
バス25と一体的なバスとしてあるいはJPEGバス2
5とは別個のバスとして機能する。
【0040】JPEGバス25は、JPEGバスコント
ローラ17およびデータ蓄積用メモリ18が接続された
バスである。このJPEGバス25は、制御系バス24
と同一の仕様のバスであり、バスブリッジ回路26を介
して制御系バス24と接続されている。そして、バスブ
リッジ回路26の動作により、制御系バス24と一体的
な1つのバスとして、すなわち制御系バス24を延長し
たバスとして、あるいは、制御系バス24とは別個のJ
PEGデータ転送用のバスとして動作する。
【0041】JPEGバス25が制御系バス24を延長
したバスとして動作する場合、JPEGバス25は、制
御系バス24を制御するMPU27あるいはDMAコン
トローラ28により制御系バス24と一体的に制御され
る。一方、JPEGバス25が制御系バス24とは独立
なバスとして動作する場合には、JPEGバスコントロ
ーラ17がバスマスターとなってJPEGバス25を制
御する。
【0042】バスブリッジ回路26は、MPU27から
の指示に基づいて、制御系バス24とJPEGバス25
の接続状態を制御する。バスブリッジ回路26は、制御
系バス24およびJPEGバス25の対応する各信号線
の接続部分に設けられる、ハイインピーダンス状態にな
り得る複数の双方向バッファと、その各双方向トライス
テ−トバッファに対して印加される、そのバッファをハ
イインピーダンス状態にするか否かを制御する信号およ
びその信号の方向を指定する信号を記憶するレジスタと
を有する。
【0043】MPU27は、デジタルスチルカメラシス
テム10が所望の動作を行うように、撮影部11〜外部
I/F33の集積回路40の各構成部を制御する。MP
U27は、プログラムROM29に記憶されているプロ
グラムに基づいて動作し、撮影部11〜外部I/F33
の集積回路40の各構成部とデータおよび制御信号の送
受信を行うことにより、撮影部11〜外部I/F33の
各構成部の状態を検出し、これに基づいてそれら各構成
部を制御し、デジタルスチルカメラシステム10が全体
として所望の動作を行うようにする。
【0044】DMAコントローラ28は、MPU27の
制御に基づいて、制御系バス24に接続されている各構
成部間における所望のデータのDMA転送を行う。具体
的には、記録メディア36とRAM30、JPEG圧縮
伸長処理回路16間の転送、通信I/F32とRAM3
0、JPEG圧縮伸長処理回路16間のデータの転送な
どを行う。また特に、JPEGバス25が制御系バス2
4と接続され制御系バス24の延長部分とされている時
には、データ蓄積用メモリ18へのデータの転送および
データ蓄積用メモリ18からのデータの転送も行う。
【0045】プログラムROM29は、MPU27で行
う種々の処理プログラムが記録されたメモリである。
【0046】RAM30は、MPU27で種々の処理を
行う際の、結果あるいは途中経過のデータを記憶するた
めのワーク用メモリである。
【0047】メディアI/F31は、装着された記録メ
ディア36に対するデータの記憶および再生を制御する
インターフェイスである。本実施の形態のデジタルスチ
ルカメラシステム10においては、メモリスティックが
着脱式の記録メディア36として使用可能であるとす
る。したがって、メディアI/F31は、装着されたメ
モリスティックとのインターフェイスである。
【0048】通信I/F32は、接続された外部通信線
に対するデータの送信および外部通信線からのデータの
受信を制御するインターフェイスである。本実施の形態
のデジタルスチルカメラシステム10においては、通信
I/FとしてUSBが使用可能なものとする。したがっ
て、通信I/F32は、USBインターフェイスであ
る。
【0049】外部I/F33は、スイッチなどの操作部
や、操作用の表示部などとデータの送受信を行うための
インターフェイスである。
【0050】モニタ34は、バッファRAM15より印
加される画像データを、使用者が視覚的に認識可能な状
態で表示する。
【0051】記録メディア36は、デジタルスチルカメ
ラシステム10に装着される着脱可能な記録媒体であ
り、本実施の形態ではメモリスティックである。
【0052】次に、デジタルスチルカメラシステム10
の動作について説明する。まず、デジタルスチルカメラ
システム10における一連の撮影の動作について説明す
る。まず、画像を撮影する際には、MPU27はバスブ
リッジ回路26に対して制御系バス24とJPEGバス
25とを分離するように指示する制御信号を出力する。
これにより、制御系バス24とJPEGバス25は別個
のバスとして使用される。そして、使用者が所定の手順
で撮影可能な状態にデジタルスチルカメラシステム10
を操作することにより、デジタルスチルカメラシステム
10は撮影可能な状態となる。すなわち、TG/DRV
12は撮影部11に対して所定の周期でモニタ撮影モー
ドで画像データを生成するように指示し、撮影部11は
これに基づいて、垂直方向を1/2に間引いた画像デー
タを生成しA/D変換器13に出力する。
【0053】A/D変換器13に取り込まれた画像デー
タは、デジタル信号に変換された後、信号処理回路14
でコンポーネント信号の生成、ガンマ補正、ホワイトバ
ランスの調整、ゲイン調整などの画像信号処理が行わ
れ、インターレースラインスキャン形式のデジタル画像
データとして、ライン順に順次バッファRAM15に記
憶される。バッファRAM15は、前述したように、各
々8ライン分のコンポーネント信号を記憶可能な2つの
バンク第1のバンク151(バンクA)および第2のバ
ンク152(バンクB)を有している。そして、信号処
理回路14より入力されたデータは、RAMコントロー
ラ153の制御により、この2つのバンクに8ラインず
つ交互に書き込まれる。
【0054】バッファRAM15に書き込まれたデータ
は、また直ちに読み出されて画像サイズ変換器19に入
力され、モニタ34に表示可能なサイズに調整され、ビ
デオエンコーダ20でタイミング信号の付加、変調など
が行われ、A/D変換器21でアナログ信号に変換され
たモニタ34に出力される。これにより、モニタ34に
はモニタ撮影された画像データが表示される。
【0055】また、バッファRAM15に書き込まれた
データは、JPEG圧縮伸長処理回路16により、DC
T処理の単位となる8×8画素ずつのDCTブロック単
位で順に読み出され、DCTを初めとするJPEG符号
化処理に供される。この信号処理回路14によるバッフ
ァRAM15へのデータの書き込み、および、バッファ
RAM15からのJPEG圧縮伸長処理回路16のデー
タの読み出しの処理は、同時並列的に行われる。すなわ
ち、信号処理回路14からの画像データの書き込みがバ
ッファRAM15のバンクAに対して行われている時に
は、同時に、バッファRAM15のバンクBに記憶され
ているデータがJPEG圧縮伸長処理回路16により読
み出され、JPEG符号化処理に用いられる。そしてこ
のような処理を順に行うことにより、1枚の画像データ
が順に圧縮符号化される。なお、このような処理を行う
ために、JPEG圧縮伸長処理回路16におけるデータ
の圧縮符号化処理の速度は、信号処理回路14からバッ
ファRAM15へのデータ記録速度と同等であることが
要求される。
【0056】JPEG圧縮伸長処理回路16において
は、モニタ撮影された画像については単に符号化処理お
よび符号化データのデータ量の算出が行われ、JPEG
バスコントローラ17への出力は行われない。そして、
モニタ撮影した1枚の画像について符号化が行われデー
タ量が算出されたら、そのデータ量の情報は制御系バス
24を介してMPU27に出力される。MPU27にお
いては、最新のモニタ撮影画像のデータ量の情報をRA
M30に記憶しておく。
【0057】このようなモニタ撮影を行っている状態、
すなわち、使用者がシャッターを押さずに、単にカメラ
を向けた先の被写体がモニタ34に表示されている状態
において、たとえば使用者が撮影対象を変更すると、信
号処理回路14において画像の特性が大きく変更したこ
とが検出され、その旨の信号がTG/DRV12に出力
される。TG/DRV12は、これに基づいて、撮影部
11におけるモニタ撮影の周期を短くし、その変更した
撮影対象の画像データを早急に獲得するようにする。そ
の結果、直ちにその新しい撮影対象、撮影環境の画像デ
ータが撮影部11において生成され、A/D変換器1
3、信号処理回路14を介してバッファRAM15に記
憶され、モニタ34に表示されるとともに、その画像に
対する符号化データ量がJPEG圧縮伸長処理回路16
で検出される。
【0058】そして、所望の被写体に対して使用者がシ
ャッターを押下した瞬間、すなわち、画像データの記録
を要求した時には、TG/DRV12は撮影部11に対
して実撮影モードで直ちに画像データを生成するように
指示する。撮影部11はこれに基づいて、撮像素子から
の画像データの読み出しを全画素のプログレッシブ形式
で行い、読み出した画像データをA/D変換器13に出
力される。
【0059】A/D変換器13に取り込まれた画像デー
タは、モニタ撮影と同様に、デジタル信号に変換された
後、信号処理回路14でコンポーネント信号の生成、ガ
ンマ補正、ホワイトバランスの調整、ゲイン調整などの
画像信号処理が行われ、インターレースまたはプログレ
ッシブスキャン形式の、ライン順にスキャンした形式で
デジタル画像データとして、ライン順に順次バッファR
AM15に記憶される。この場合のバッファRAM15
への書き込みも、モニタ撮影の場合と同様に、2つのバ
ンクに8ラインずつ交互に行われる。また、バッファR
AM15に書き込まれた画像データは、画像サイズ変換
器19、ビデオエンコーダ20、A/D変換器212を
介して、モニタ34に表示される。
【0060】そして、バッファRAM15に書き込まれ
た画像データは、JPEG圧縮伸長処理回路16により
DCTブロック単位に順に読み出され、JPEG圧縮符
号化される。実撮影された画像データに対してJPEG
符号化を行う時には、まずMPU27において、RAM
30に記憶されている直前のモニタ撮影モードの時の取
り込み画像に対する圧縮データ量が読み出され、そのデ
ータ量に基づいてフル画像の符号化データ量が推測され
る。そして、これに基づいて符号化データ量を所望の範
囲に収めるための符号化パラメータ、すなわち量子化テ
ーブルが決定され、これがJPEG圧縮伸長処理回路1
6に通知される。
【0061】JPEG圧縮伸長処理回路16において
は、この符号化パラメータに基づいて、バッファRAM
15より読み出す画像データを順にJPEG符号化す
る。そして、実撮影モードの時には、JPEG圧縮伸長
処理回路16において圧縮符号化されたデータは、JP
EGバスコントローラ17に順に出力され、JPEGバ
ス25を介してデータ蓄積用メモリ18に順に記憶され
る。なお、この時JPEGバス25は前述したように制
御系バス24と分離されているので、このJPEGバス
コントローラ17からデータ蓄積用メモリ18へのJP
EG圧縮データの転送は、MPU27による制御系バス
24のトラフィック状況、使用状況の影響を何ら受けず
に、独立して行うことができる。
【0062】実撮影モードの時に撮影部11で生成され
た1枚の静止画の画像データは、順次このような処理を
経てJPEG圧縮され、その圧縮データがデータ蓄積用
メモリ18に記憶される。なお、145万画素相当のC
CDで撮影さた静止画像のJPEG圧縮された画像デー
タの大きさは、約500Kバイト程度となる。なおこの
ような画像取り込みおよび圧縮処理を行っている時、J
PEGバス25は全く影響を受けていないので、MPU
27による所望の処理を制御系バス24を介して、MP
U27およびその周辺回路で行うことができる。
【0063】次に、圧縮画像データの表示を行う場合の
動作について説明する。たとえば前述したような撮影動
作によりデータ蓄積用メモリ18に記憶されている画像
データ、あるいは、メディアI/F31または通信I/
F32を介して外部より読み込まれデータ蓄積用メモリ
18に記憶されている画像データの表示(再生)の要求
がなされた場合、まず、MPU27はバスブリッジ回路
26に対して制御系バス24とJPEGバス25とを分
離するように指示する。その状態で、JPEGバスコン
トローラ17がデータ蓄積用メモリ18より圧縮画像デ
ータを順次読み出し、JPEG圧縮伸長処理回路16に
転送する。
【0064】JPEG圧縮伸長処理回路16は、順次入
力される圧縮画像データの伸長処理を行い、コンポーネ
ント信号のブロック単位の非圧縮画像データとして順次
復元する。復元されたブロック単位のデータは、8ライ
ン分のまとまったデータとなるように、バッファRAM
15のいずれかのバンクに書き込まれる。すなわち、8
ライン分のデータを区切りとして、各バンクに交互に書
き込まれる。このような処理が行われている時に、バッ
ファRAM15のJPEG圧縮伸長処理回路16からの
復元したデータの書き込みが行われていない方のバンク
に書き込まれた画像データは、ライン順にスキャンして
いくような形態で順次読み出され、画像サイズ変換器1
9に出力される。以後、前述したモニタ撮影した画像を
表示する際と同様の処理が行われ、モニタ34に画像が
表示される。
【0065】次に、外部と画像データの転送を行う場合
の動作について説明する。メディアI/F31に装着さ
れたメモリスティック30との間で画像データの転送を
行う場合、あるいは、通信I/F32によりUSBを介
して外部と画像データの転送行う場合、まず、MPU2
7は制御系バス24に対して、制御系バス24とJPE
Gバス25とを接続するように指示する。その結果、J
PEGバス25は制御系バス24の延長部分として動作
するようになり、データ蓄積用メモリ18はMPU27
により管理されるメモリ領域中に存在することになる。
【0066】そして、そのような状態とした後に、MP
U27はDMAコントローラ28に対して、制御系バス
24を介したデータの転送を指示する。その結果、DM
Aコントローラ28の制御により、記録メディア36と
データ蓄積用メモリ18、あるいは、通信I/F32と
データ蓄積用メモリ18との間で、所望の画像データの
DMA転送が行われるようになる。
【0067】最後に、このような方法、すなわち、モニ
タ撮影時の画像データを用いて適切に圧縮処理時の圧縮
率が制御できることについて説明する。まず、記録動作
が要求される直前のモニタ画像と、実際に記録しようと
している静止画との相関について考慮してみる。まず、
静止画撮影動作がなされた瞬間の画像とその直前の画像
とは、時間的に異なる画像であるが、連続的にモニタ撮
影動作がなされている中での連続した画像なので、撮像
画像の特性に極端な変化はないと考えられる。また、モ
ニタ画像は垂直方向に間引いた画像であり、欠落したデ
ータ部分によう差異は見込まれるものの、画像の画素間
の相関性の高さ、および、水平方向の画素は全画素読み
出されていることから、ここで特性に大きく差が生じる
ことはないと考えられる。つまり、圧縮時に用いる量子
化テーブルや可変長符号化用のテーブルが等しい条件に
あれば、間引きデータにより圧縮符号化処理を施した場
合と、全画素データにより圧縮処理を施した場合の両者
で生成される圧縮データ量を比べた場合、この比はある
範囲内に収束すると考えられる。
【0068】実例を図3〜図5を参照して説明する。図
3〜図5は、VGA(640×480)サイズの静止画
データにおいて、全画素圧縮した場合と、間引きデータ
にて圧縮した場合の両者の圧縮後のデータ量および画質
の相関を説明するための図である。図3(A)は、実撮
影時の全画素備わる画像データ(原画像)を示す図であ
り、図3(B)はモニタ撮影時の間引きデータ(間引き
画像)を示す図である。なお、実際の画像データは中間
調を有する写真データであるが、ここでは図柄を模式的
に示す線画で示す。そして、これら各画像データを、所
定の画質レヘルとなるように圧縮符号化した時の画像デ
ータ量および圧縮率を図4に示す。また、図4に示すデ
ータより画質と圧縮率の関係および画質とデータ量の関
係をグラフにしたものを図5(A)および図5(B)に
示す。
【0069】これらの図、特に図5(A)に示されるよ
うに、間引きの行われていない画像データと間引きの行
われている画像データとでは、ともに同様の圧縮率で圧
縮符号化を行えば、同様の画質の画像となる。そして、
その際のデータ量は、図5(B)に示されるように、い
ずれの画質においても、間引きの行われていない画像デ
ータのデータ量が、間引きの行われている画像データの
データ量の約1.8程度となっている。
【0070】このように、間引きの行われていない画像
データと間引きの行われている画像データとのデータ量
については、同じパラメータで符号化を行う限り相関性
が高い。したがって、モニタ撮影時の間引き画像データ
に対して圧縮符号化処理を行い、この時の圧縮処理後の
データ量を計測し、そのデータ量と圧縮処理時に用いた
量子化テーブルの値により全画素撮影により圧縮データ
を生成した場合のデータ量を予測することは、妥当であ
り有効である。また、この時点から時間的に短い間隔で
実際に静止画全画素撮影がなされた場合には、撮像画像
はさきほどと大きく変わることはないということより、
この予測を実撮影時の全画素圧縮時の圧縮データ量予測
値として適用できる。このように、モニタ撮影時におい
て間引き画像による圧縮データ量を目標とする範囲内に
収束させるような量子化制御を行うことにより、静止画
撮影時の全画素画像によりう圧縮データ量も目標範囲に
収束させることができる。
【0071】このように、本実施の形態のデジタルスチ
ルカメラシステム10においては、非圧縮画像を一時的
に蓄積するためのバッファRAM15は16ライン分程
度の少容量のメモリでよく、1枚の画像データを記憶す
る程の大容量のメモリを必要としない。そのため、回路
規模が大幅に削減できる。特に、集積回路化時には、回
路リソースを節約することができ、チップコストを低く
することができる。
【0072】また、そのバッファRAM15において
は、記憶領域を2つのバンクに分けて、バッファRAM
15に対する記録処理および再生処理を、各バンクごと
にわけて同時並列的に行えるようにしており、処理を高
速に行える。具体的には、信号処理回路14からの撮影
した画像データのバッファRAM15への書き込みと、
バッファRAM15からJPEG圧縮伸長処理回路16
あるいは画像サイズ変換器19への読み出しを同時並列
的に行うことができ、撮影画像の記録あるいは表示まで
の処理時間を短縮することができる。また、JPEG圧
縮伸長処理回路16からの伸長した画像データのバッフ
ァRAM15への書き込みと、バッファRAM15から
画像サイズ変換器19への読み出しを同時並列的に行う
ことができ、記録画像の再生表示までの処理時間を短縮
することができる。
【0073】また、デジタルスチルカメラシステム10
においては、モニタ撮影動作時に、実際にJPEG圧縮
伸長処理回路16において圧縮処理を行いデータ量の推
測を行っておき、実際の撮影時にはその推測時に基づい
て、撮影した画像データに対して直接的に1度で圧縮符
号化処理を行っている。したがって、データ量制御のた
めの繰り返し処理が無いため、処理速度を向上すること
ができる。また撮影の即時性を高めることができる。
【0074】さらに、そのモニタ撮影動作時の圧縮符号
化処理は、間引き画像に対して行っているため、電力消
費などを低く抑えることができる。また、必要に応じ
て、モニタ撮影している画像の特性の変化を検出し、こ
れに応じてモニタ撮影時の圧縮符号化頻度、回数などを
制御しているため、少ない圧縮符号化処理で、適切なデ
ータ量の推測を行うことができる。
【0075】また、デジタルスチルカメラシステム10
においては、画像データの圧縮処理とその圧縮した画像
データの記録を同時並列的に行っているので、画像デー
タの圧縮および記録を高速に行うことができる。同様
に、伸長処理における、データ蓄積用メモリ18、記録
メディア36あるいは通信路からの圧縮画像データのJ
PEG圧縮伸長処理回路16への転送と、JPEG圧縮
伸長処理回路16における伸長処理とを同時並列的に行
っているので、圧縮データの伸長処理を高速に行うこと
ができる。
【0076】なお、本発明は本実施の形態に限られるも
のではなく、任意好適な種々の改変が可能である。たと
えば、デジタルスチルカメラシステム10の構成は、図
1に示した構成に限られるものではなく、任意の構成と
してよい。また特に次のような観点で変形を行えば、よ
り回路構成を簡単にすることができる。まず、メディア
I/F31と記録メディア36とのリード/ライト動作
および制御系バス24とのデータ転送速度が十分高速な
場合、あるいは通信I/F32における送信および受信
が高速で、即時応答可能に制御系バス24との間のデー
タ転送も行えるようになっている場合には、図6に示す
ようにデータ蓄積用メモリ18を保持しないデジタルス
チルカメラシステム10bのような構成でもよい。
【0077】この場合、静止画圧縮データ生成時におい
ては、圧縮伸長回路で生成されJPEGバスコントロー
ラ17より出力される圧縮データは、直接メディアI/
F31を介して記録メディア36に書き込まれるか、あ
るいは、通信I/F32を介して伝送路に送出される。
また、静止画圧縮データを読み込み、画像表示を行う場
合には、メディアI/F31を介して記録メディア36
から読み込むか、あるいは、通信I/F32を介して伝
送路から受信した圧縮データは、JPEGバスコントロ
ーラ17を介してJPEG圧縮伸長処理回路16に直接
取り込まれ、伸長処理が行われる。そしてこのような構
成のデジタルスチルカメラシステム10bであれば、デ
ータ蓄積用メモリ18分、よりの回路削減およびコスト
低下が行える。
【0078】また、画像サイズ変換器19を簡素化して
もよい。たとえば、外部より読み込んだ圧縮データを伸
長して画像表示を行うケースを考えた場合、外部から読
み込んだデータの原画像サイズは滝に渡る可能性も考え
られ、その全てに対して画像サイズ変換が行えるように
画像サイズ変換器19を構成すると、回路規模が増大し
てしまう。これを避けるため、画像サイズ変換器19に
いおいては、あらかじめサイズ辺難可能な画像サイズを
規定しておき、この規定に合致しない圧縮データの復元
においては、サムネイル画像を伸長し、その画像を画像
サイズ変換器19において拡大し表示可能なサイズに変
換するようにすればよい。Exifの規定によるサムネ
イル画像が含まれたJPEG圧縮データであれば、この
方法により原画像のサイズに関係なく圧縮データを復元
し、その画像表示が可能となる。
【0079】また、図2に示したバッファRAM15の
構成は、バッファRAMの制御方式を工夫することで、
たとえば図7に示すように、8ライン分の信号を記憶可
能な容量の1バンク構成にすることも可能である。ま
た、図8あるいは図9に示すように、各バンクを輝度信
号16ライン分、色差信号8ライン分のデータを記憶可
能な構成としてもよい。このような構成とすることによ
り、4:2:0相当の画像フォーマットへの対応も可能
となる。
【0080】
【発明の効果】このように、本発明によれば、所望の画
像を撮影し、大容量のメモリを用いることなく、また繰
り返し処理を行うことなく、圧縮率と画質を制御しなが
ら高速に圧縮符号化を行い、所望のデータを取り込むこ
とのできるカメラシステムを提供することができる。ま
た、大容量のメモリを用いることなく、所望の静止画デ
ータを圧縮率と画質を制御しながら高速に圧縮符号化を
行うことのできる画像符号化装置を提供することができ
る。また、大容量のメモリを用いることなく、所望の静
止画データを圧縮率と画質を制御しながら高速に復号化
を行うことのできる画像復号化装置を提供することがで
きる。
【図面の簡単な説明】
【図1】図1は、本発明の一実施の形態のデジタルスチ
ルカメラシステムの構成を示すブロック図である。
【図2】図2は、図1に示したデジタルスチルカメラシ
ステムのバッファRAMの構成を示すブロック図であ
る。
【図3】図3は、図1に示したデジタルスチルカメラシ
ステムの撮影部より入力される実撮影時の画像データお
よびモニタ撮影時の画像データを示す図である。
【図4】図4は、図3に示した各画像データに対する圧
縮結果の画像データ量および圧縮率を示す図である。
【図5】図5は、図3に示した各画像データに対する圧
縮率と画質の関係および圧縮画像データ量と画質の関係
を示す図である。
【図6】図6は、図1に示したデジタルスチルカメラシ
ステムの変形構成例を示す図である。
【図7】図7は、図2に示したバッファRAMの第1の
変形構成例を示す図である。
【図8】図8は、図2に示したバッファRAMの第2の
変形構成例を示す図である。
【図9】図9は、図2に示したバッファRAMの第3の
変形構成例を示す図である。
【符号の説明】
10…デジタルスチルカメラシステム、11…撮影部、
12…TG/DRV、13…A/D変換器、14…信号
処理回路、15…バッファRAM、16…JPEG圧縮
伸長処理回路、17…JPEGバスコントローラ、18
…データ蓄積用メモリ、19…画像サイズ変換器、20
…ビデオエンコーダ、21…A/D変換器、22…LC
Dドライバ、23…A/D変換器、24…制御系バス、
25…JPEGバス、26…バスブリッジ回路、27…
MPU、28…DMAコントローラ、29…プログラム
ROM、30…RAM、31…メディアI/F、32…
通信I/F、33…外部I/F、34…モニタ、36…
記録メディア、151…第1のバンク(バンクA)、1
52…第2のバンク(バンクB)、153…RAMコン
トローラ、154…スイッチ群
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B047 AA30 BA03 EA02 EA05 EB06 EB17 5C022 AA13 AC03 AC42 AC69 5C053 FA08 GB26 GB34 GB36 KA03 LA02 5C059 KK08 KK15 MA00 MA23 ME02 SS15 TA47 TA52 TB07 TC06 TC38 TC43 TD14 TD15 UA02 UA34 5J064 AA03 AA04 BA13 BA15 BA16 BB03 BC01 BC02 BC06 BC07 BC25 BD03

Claims (24)

    【特許請求の範囲】
  1. 【請求項1】所望の撮影対象を撮影し画像データを生成
    する撮影手段と、 前記生成された画像データの取り込みを指示する取り込
    み指示手段と、 前記取り込みの指示のない場合に、符号化を行う画像デ
    ータを前記生成された画像データより選択する符号化画
    像選択手段と、 前記生成された画像データを所定の方式により符号化す
    る符号化手段であって、前記取り込みの指示がない場合
    には、前記選択された画像データを符号化し、前記取り
    込みの指示があった場合には、直前の前記選択された画
    像データの符号化により得られた符号化データの特性に
    基づいて符号化条件を決定し、当該符号化条件に基づい
    て前記指示された画像データを符号化する符号化手段
    と、 前記符号化された前記取り込みの指示があった画像デー
    タを取り込む画像取り込み手段と、 を有するカメラシステム。
  2. 【請求項2】前記符号化手段は、 前記取り込みの指示がない場合には、前記選択された画
    像データを符号化し当該符号化画像データのデータ量を
    検出し、 前記取り込みの指示があった場合には、直前の前記検出
    されたデータ量に基づいて、前記指示された画像データ
    の符号化データ量が所望の範囲内になるように符号化条
    件を決定し、前記符号化を行う請求項1に記載のカメラ
    システム。
  3. 【請求項3】前記符号化手段は、 前記取り込みの指示がない場合には、前記選択された画
    像データの間引いた画像に対して前記符号化を行い、 前記取り込みの指示があった場合には、直前の前記検出
    された前記選択された画像データの間引いた画像のデー
    タ量に基づいて、前記指示された画像データの符号化デ
    ータ量を推測し、当該推測したデータ量に基づいて前記
    符号化条件を決定し、前記符号化を行う請求項2に記載
    のカメラシステム。
  4. 【請求項4】前記撮影手段は、前記取り込みの指示がな
    い場合には、前記撮影した画像に対して画素を間引いた
    画像データを生成する請求項3に記載のカメラシステ
    ム。
  5. 【請求項5】前記撮影手段は、順次前記撮影を行い画像
    データを生成し、 前記符号化画像選択手段は、前記順次生成される画像デ
    ータより、所定の間隔で前記符号化する画像データを選
    択する請求項3に記載のカメラシステム。
  6. 【請求項6】前記生成された画像データの特性を検出す
    る特性検出手段をさらに有し、 前記符号化画像選択手段は、前記検出された特性に基づ
    いて前記符号化する画像データを選択する請求項3に記
    載のカメラシステム。
  7. 【請求項7】前記特性は、画像データの輝度成分、色成
    分、黒レベルの各値および積分値、画像のエッジ位置、
    画像の周波数成分のいずれか1つまたは複数を含み、 前記符号化画像選択手段は、前記特性が所定の基準以上
    に変動した場合に、当該画像データを選択する請求項6
    に記載のカメラシステム。
  8. 【請求項8】前記生成された画像データを表示する表示
    手段をさらに有し、 前記取り込み指示手段は、外部より所定の操作が行われ
    た時に前記画像の取り込みの指示を行う請求項3に記載
    のカメラシステム。
  9. 【請求項9】前記撮影手段は、ラインスキャン形式の画
    像データを生成し、 前記生成された画像データを一時的に記憶する手段であ
    って、列方向n画素ライン方向m画素(n×m画素)の
    所定のブロックごとのライン方向の一連のブロックの画
    像データを少なくとも記憶可能な記憶手段を複数有する
    バッファメモリと、 前記生成されるラインスキャン形式の画像データを、前
    記複数の記憶手段に順に、nラインずつ書き込む書き込
    み手段と、 前記nライン分の画像データが書き込まれた前記複数の
    記憶手段のいずかの記憶手段であって、読み出し時に前
    記書き込み手段により画像データの書き込みが行われて
    いない前記記憶手段より、ライン方向の一連の前記n×
    m画素の所定のブロックを順に読み出す読み出し手段と
    をさらに有し、 前記符号化手段は、前記順に読み出したn×mの画素の
    所定のブロックに対して、順に所望の符号化処理を行う
    請求項8に記載のカメラシステム。
  10. 【請求項10】前記バッファメモリは2つの前記記憶手
    段を有し、 前記書き込み手段は、入力されるラインごとの画像デー
    タを、前記2つの記憶手段に交互に、nラインずつ順に
    書き込み、 前記読み出し手段は、前記書き込み手段によりnライン
    分の画像データが書き込まれた前記2つの記憶手段の一
    方の記憶手段であって、読み出し時に前記書き込み手段
    により画像データの書き込みが行われていない方の前記
    記憶手段より、ライン方向の一連の前記n×m画素の所
    定のブロックを順に読み出す請求項9に記載のカメラシ
    ステム。
  11. 【請求項11】符号化画像データに対して復号化処理を
    行い、n×m画素の所定のブロックごとの画像データを
    出力する復号化手段と、 前記復号化されたライン方向の一連の前記n×m画素の
    所定のブロックの画像データを、前記複数の記憶手段に
    順に書き込む第2の書き込み手段と、 前記書き込み手段によりライン方向の一連の前記n×m
    画素の所定のブロックの画像データが書き込まれた前記
    複数の記憶手段のいずかの記憶手段であって、読み出し
    時に前記書き込み手段により画像データの書き込みが行
    われていない前記記憶手段より、ラインごとの画像デー
    タをnラインずつ順に読み出す第2の読み出し手段とを
    さらに有する請求項9に記載のカメラシステム。
  12. 【請求項12】前記バッファメモリは2つの前記記憶手
    段を有し、 前記第2の書き込み手段は、前記復号化されたライン方
    向の一連の前記n×m画素の所定のブロックの画像デー
    タを、前記2つの記憶手段に交互に順に書き込み、 前記第2の読み出し手段は、前記書き込み手段によりラ
    イン方向の一連の前記n×m画素の所定のブロックの画
    像データが書き込まれた前記2つの記憶手段の一方の記
    憶手段であって、読み出し時に前記書き込み手段により
    画像データの書き込みが行われていない方の前記記憶手
    段より、ラインごとの画像データをnラインずつ順に読
    み出す請求項11に記載のカメラシステム。
  13. 【請求項13】前記取り込み手段は、前記符号化された
    前記取り込みの指示があった画像データを所定の記録媒
    体に記録する請求項8に記載のカメラシステム。
  14. 【請求項14】前記取り込み手段は、前記符号化された
    前記取り込みの指示があった画像データを所定の通信路
    より送信する請求項8に記載のカメラシステム。
  15. 【請求項15】所望の撮影対象を撮影しラインスキャン
    形式の画像データを生成する撮影手段と、 前記生成された画像データを一時的に記憶する手段であ
    って、列方向n画素ライン方向m画素(n×m画素)の
    所定のブロックごとのライン方向の一連のブロックの画
    像データを少なくとも記憶可能な記憶手段を複数有する
    バッファメモリと、 前記生成されるラインスキャン形式の画像データを、前
    記複数の記憶手段に順に、nラインずつ書き込む書き込
    み手段と、 前記nライン分の画像データが書き込まれた前記複数の
    記憶手段のいずかの記憶手段であって、読み出し時に前
    記書き込み手段により画像データの書き込みが行われて
    いない前記記憶手段より、ライン方向の一連の前記n×
    m画素の所定のブロックを順に読み出す読み出し手段
    と、 前記順に読み出したn×mの画素の所定のブロックに対
    して、順に所望の符号化処理を行う符号化手段とを有す
    るカメラシステム。
  16. 【請求項16】符号化画像データに対して復号化処理を
    行い、n×m画素の所定のブロックごとの画像データを
    出力する復号化手段と、 前記復号化されたライン方向の一連の前記n×m画素の
    所定のブロックの画像データを、前記複数の記憶手段に
    順に書き込む第2の書き込み手段と、 前記書き込み手段によりライン方向の一連の前記n×m
    画素の所定のブロックの画像データが書き込まれた前記
    複数の記憶手段のいずかの記憶手段であって、読み出し
    時に前記書き込み手段により画像データの書き込みが行
    われていない前記記憶手段より、ラインごとの画像デー
    タをnラインずつ順に読み出す第2の読み出し手段とを
    さらに有する請求項15に記載のカメラシステム。
  17. 【請求項17】列方向n画素ライン方向m画素(n×m
    画素)の所定のブロックのライン方向の一連のブロック
    のデータを少なくとも記憶可能な記憶手段を複数有する
    バッファメモリと、 入力されるラインごとの画像データを、前記複数の記憶
    手段に順に、nラインずつ書き込む書き込み手段と、 前記書き込み手段によりnライン分の画像データが書き
    込まれた前記複数の記憶手段のいずかの記憶手段であっ
    て、読み出し時に前記書き込み手段により画像データの
    書き込みが行われていない前記記憶手段より、ライン方
    向の一連の前記n×m画素の所定のブロックを順に読み
    出す読み出し手段と、 前記順に読み出したn×mの画素の所定のブロックに対
    して、順に所望の符号化処理を行う符号化手段とを有す
    る画像符号化装置。
  18. 【請求項18】前記バッファメモリは2つの前記記憶手
    段を有し、 前記書き込み手段は、入力されるラインごとの画像デー
    タを、前記2つの記憶手段に交互に、nラインずつ順に
    書き込み、 前記読み出し手段は、前記書き込み手段によりnライン
    分の画像データが書き込まれた前記2つの記憶手段の一
    方の記憶手段であって、読み出し時に前記書き込み手段
    により画像データの書き込みが行われていない方の前記
    記憶手段より、ライン方向の一連の前記n×m画素の所
    定のブロックを順に読み出す請求項17に記載の画像符
    号化装置。
  19. 【請求項19】前記符号化手段は、離散コサイン変換
    (DCT)を持ちいた所定の方式により符号化を行い、 前記所定のブロックは8画素×8画素のDCTブロック
    である請求項18に記載の画像符号化装置。
  20. 【請求項20】符号化画像データに対して復号化処理を
    行い、n×m画素の所定のブロックごとの画像データを
    出力する復号化手段と、 前記復号化されたライン方向の一連の前記n×m画素の
    所定のブロックの画像データを、前記複数の記憶手段に
    順に書き込む第2の書き込み手段と、 前記書き込み手段によりライン方向の一連の前記n×m
    画素の所定のブロックの画像データが書き込まれた前記
    複数の記憶手段のいずかの記憶手段であって、読み出し
    時に前記書き込み手段により画像データの書き込みが行
    われていない前記記憶手段より、ラインごとの画像デー
    タをnラインずつ順に読み出す第2の読み出し手段とを
    さらに有する請求項17に記載の画像符号化装置。
  21. 【請求項21】前記バッファメモリは2つの前記記憶手
    段を有し、 前記第2の書き込み手段は、前記復号化されたライン方
    向の一連の前記n×m画素の所定のブロックの画像デー
    タを、前記2つの記憶手段に交互に順に書き込み、 前記第2の読み出し手段は、前記書き込み手段によりラ
    イン方向の一連の前記n×m画素の所定のブロックの画
    像データが書き込まれた前記2つの記憶手段の一方の記
    憶手段であって、読み出し時に前記書き込み手段により
    画像データの書き込みが行われていない方の前記記憶手
    段より、ラインごとの画像データをnラインずつ順に読
    み出す請求項20に記載の画像符号化装置。
  22. 【請求項22】列方向n画素ライン方向m画素(n×m
    画素)の所定のブロックごとの画像デのライン方向の一
    連のブロックのデータを少なくとも記憶可能な記憶手段
    を複数有するバッファメモリと、 圧縮画像データに対して復号化処理を行い、n×m画素
    の所定のブロックごとの画像データを出力する復号化手
    段と、 前記復号化されたライン方向の一連の前記n×m画素の
    所定のブロックの画像データを、前記複数の記憶手段に
    順に書き込む書き込み手段と、 前記書き込み手段によりライン方向の一連の前記n×m
    画素の所定のブロックの画像データが書き込まれた前記
    複数の記憶手段のいずかの記憶手段であって、読み出し
    時に前記書き込み手段により画像データの書き込みが行
    われていない前記記憶手段より、ラインごとの画像デー
    タをnラインずつ順に読み出す読み出し手段とを有する
    画像復号化装置。
  23. 【請求項23】前記バッファメモリは2つの前記記憶手
    段を有し、 前記第2の書き込み手段は、前記復号化されたライン方
    向の一連の前記n×m画素の所定のブロックの画像デー
    タを、前記2つの記憶手段に交互に順に書き込み、 前記第2の読み出し手段は、前記書き込み手段によりラ
    イン方向の一連の前記n×m画素の所定のブロックの画
    像データが書き込まれた前記2つの記憶手段の一方の記
    憶手段であって、読み出し時に前記書き込み手段により
    画像データの書き込みが行われていない方の前記記憶手
    段より、ラインごとの画像データをnラインずつ順に読
    み出す請求項22に記載の画像復号化装置。
  24. 【請求項24】前記符号化画像データは、離散コサイン
    変換(DCT)を持ちいた所定の方式により符号化され
    たデータであり、 前記所定のブロックは8画素×8画素のDCTブロック
    である請求項23に記載の画像復号化装置。
JP2000296467A 2000-09-28 2000-09-28 カメラシステム、画像符号化装置および画像復号化装置 Pending JP2002112086A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000296467A JP2002112086A (ja) 2000-09-28 2000-09-28 カメラシステム、画像符号化装置および画像復号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000296467A JP2002112086A (ja) 2000-09-28 2000-09-28 カメラシステム、画像符号化装置および画像復号化装置

Publications (1)

Publication Number Publication Date
JP2002112086A true JP2002112086A (ja) 2002-04-12

Family

ID=18778743

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000296467A Pending JP2002112086A (ja) 2000-09-28 2000-09-28 カメラシステム、画像符号化装置および画像復号化装置

Country Status (1)

Country Link
JP (1) JP2002112086A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005006061A (ja) * 2003-06-12 2005-01-06 Matsushita Electric Ind Co Ltd 画像処理装置
WO2006048695A1 (en) * 2004-11-01 2006-05-11 Ati Technologies, Inc. Adaptive image compression method and device
US7440010B2 (en) 2003-09-30 2008-10-21 Mitsubishi Denki Kabushiki Kaisha Image pickup device and image pickup method
JP2010088052A (ja) * 2008-10-02 2010-04-15 Kyocera Mita Corp データ圧縮装置、画像読取装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005006061A (ja) * 2003-06-12 2005-01-06 Matsushita Electric Ind Co Ltd 画像処理装置
US7688361B2 (en) 2003-06-12 2010-03-30 Panasonic Corporation Image processor including memory controller which starts reading image data before writing screenful of image data is completed
JP4598374B2 (ja) * 2003-06-12 2010-12-15 パナソニック株式会社 画像処理装置
US7440010B2 (en) 2003-09-30 2008-10-21 Mitsubishi Denki Kabushiki Kaisha Image pickup device and image pickup method
WO2006048695A1 (en) * 2004-11-01 2006-05-11 Ati Technologies, Inc. Adaptive image compression method and device
JP2010088052A (ja) * 2008-10-02 2010-04-15 Kyocera Mita Corp データ圧縮装置、画像読取装置

Similar Documents

Publication Publication Date Title
US6690881B1 (en) Digital camera apparatus and recording method thereof
JP3839526B2 (ja) ディジタルカメラ
JP3096618B2 (ja) 撮像装置
US7092023B2 (en) Moving image reproducing device equipped with multi-image playback function
US20040105585A1 (en) Image compression apparatus, method and recording medium storing an image compression program
JPH10164492A (ja) 撮像装置
US6697106B1 (en) Apparatus for processing image signals representative of a still picture and moving pictures picked up
JP3348917B2 (ja) 画像信号処理装置
US6661452B1 (en) Digital camera capable of decreasing a required memory capacity
JP3230291B2 (ja) 画像再生装置及びその方法
JP2002112086A (ja) カメラシステム、画像符号化装置および画像復号化装置
US6774940B1 (en) Electronic camera apparatus having image reproducing function and method for controlling reproduction thereof
JP3858447B2 (ja) 電子カメラ装置
JP4630618B2 (ja) 画像生成装置およびその方法
JP4429148B2 (ja) 画像撮影記録装置及び方法
JPH11187307A (ja) 撮像装置及び撮像方法
JP3902824B2 (ja) 画像処理装置及び方法
JPH10276402A (ja) 画像記録装置
JPH07131721A (ja) ディジタルスチルカメラ
JPH10108133A (ja) 撮像装置及びその制御方法
JP2006024993A (ja) 撮像信号処理装置
JP2000333130A (ja) 動画データの記録方法及び装置
JP4281500B2 (ja) 電子カメラ装置及び映像出力方法
JP3169397B2 (ja) ディジタル電子スチル・カメラおよびその動作方法
JPH08251536A (ja) 画像処理システム