JP2003304403A

JP2003304403A - 画像処理装置

Info

Publication number: JP2003304403A
Application number: JP2002110171A
Authority: JP
Inventors: Yoshimasa Okabe; 吉正岡部
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-04-12
Filing date: 2002-04-12
Publication date: 2003-10-24

Abstract

(57)【要約】【課題】圧縮変換を伴う画像処理において、外付け画
像メモリのアクセスを減らす。【解決手段】入力画像を小画像に分割してＹＣ処理
し、ＹＣデータを小容量のＲＡＭを介して圧縮変換回路
に直接渡す。圧縮変換の実行順はＪＰＥＧ規格と異なる
が、符号をメモリに置いて、ＪＰＥＧ準拠の順で読み出
す。小容量のＲＡＭは小さいのでコストアップにならな
い。ＹＣデータを外付け画像メモリに置かないので、メ
モリバンド幅の余裕度が大きくなる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理に関するも
のであり、特にデジタルスチルカメラやデジタルビデオ
カメラなどの画像圧縮を行なう携帯型デジタル画像入力
装置への応用に適するものである。

【０００２】

【従来の技術】画像処理を行なう機器の一例としてデジ
タルスチルカメラを取り上げ、画像処理の流れを説明す
る。

【０００３】図８は従来のデジタルスチルカメラの構成
を示すブロック図である。図８において、１１は撮像回
路であり、入力映像を対応するＲＧＢ三原色のデータに
変換する。１３はＹＣ処理回路であり、ＲＧＢデータを
ＹＣデータに変換する。１４は圧縮変換回路であり、Ｙ
Ｃデータを圧縮してＪＰＥＧ符号に変換する。１５は記
録回路であり、ＪＰＥＧ符号を記憶する。

【０００４】撮像回路１１はＲＧＢデータをＡフイール
ドとＢフイールドの２回に分けて出力する一般的なイン
ターレース方式のものであり、メモリ１２に２フイール
ドの出力を並べた時点で初めてＲＧＢ三原色が揃うもの
である。

【０００５】ＹＣ処理回路１３はメモリ１２からＲＧＢ
データを１ラインずつ読み出して処理し、その結果とし
てＹＣデータを１ラインずつ出力するが、ＪＰＥＧ処理
の為にはＹＣデータをマクロブロック単位で読み出す必
要があるので、ＹＣデータも一旦、メモリ１２において
読み替えを行なう。

【０００６】圧縮変換回路１４が出力するＪＰＥＧ符号
についても、圧縮変換回路１４が出力する速度と記録回
路１５が受け取れる速度が合わないので、やはりメモリ
１２において速度変換を行なう。

【０００７】このように信号処理の各段階においてメモ
リを必要とするが、コストを抑えるためには、個々に独
立したメモリを設ける替わりに一つのメモリ１２で兼用
させる構成を採るのが賢明である。

【０００８】

【発明が解決しようとする課題】このような構成ではメ
モリ１２には高い入出力性能、いわゆるメモリバンド幅
が要求される。特に連写の際には、撮像回路１１とＹＣ
処理回路１３と圧縮変換回路１４と記録回路１５を並列
に動作させれば処理時間を短縮できるが、その為にはメ
モリ１２はＲＧＢデータの書込みと読み出しとＹＣデー
タの書込みと読み出しとＪＰＥＧ符号の書込みと読み出
しを並列に処理しなければならない。メモリ１２が全て
のアクセス要求に遅滞無く応じることが出来なければ処
理速度が低下したりシステムが破綻したりするので、連
写間隔を縮める為にはメモリバンド幅を広げる必要があ
る。メモリバンド幅を広げる為にはメモリＩＣの個数を
増やしたりビット幅を広げたり動作周波数を引き上げた
りする必要があり、その代償としてコストアップや消費
電力増や不要輻射の増加を招くことになる。メモリを複
数に分ければ個々のメモリに要求されるメモリバンド幅
は狭くなるが、コストアップや消費電力増や不要輻射の
増加といった代償の大きさが減るわけではない。

【０００９】このように従来の方式ではメモリバンド幅
が連写性能向上のボトルネックとなっており、メモリバ
ンド幅を広げようとするとコストや消費電力にはねかえ
る、というジレンマが存在する。

【００１０】本発明は、上記問題点に鑑み、コストアッ
プなどのデメリットを招くこと無く外付け大容量メモリ
に対するアクセスを減らし、メモリバンド幅のボトルネ
ックを解消することが可能であり、外付けメモリを含む
システム全体のコストを削減することも可能である画像
処理装置を提供することを目的とする。

【００１１】

【課題を解決するための手段】本発明は上記課題を解決
するために、第１の記憶手段と画像処理手段と第２の記
憶手段と画像圧縮手段と第３の記憶手段と第４の記憶手
段と転送手段とを備え、前記第１の記憶手段は第１の形
式の画像データを記憶し、前記画像処理手段は前記第１
の形式の画像データを画像圧縮に適した第２の形式の画
像データに変換し、前記第２の記憶手段は前記第２の形
式の画像データを記憶し、前記圧縮手段は前記第２の形
式の画像データに圧縮変換を施して容量が圧縮された符
号を出力するとともに前記第４の記憶手段に前記符号の
符号長を記録し、前記第３の記憶手段は前記符号を記憶
し、前記転送手段は前記第４の記憶手段にが記憶する符
号長を参照しつつ前記第３の記憶手段から符号を読み出
して出力するものであり、前記画像処理手段は前記第１
の記憶手段から第１の形式の画像データを水平Ｍ画素、
垂直Ｎ画素の小画像を単位として読み出して水平Ｐ画
素、垂直Ｑ画素の第２の形式の画像データを出力するも
のであり、前記圧縮手段は前記第２の記憶手段から第２
の形式の画像データを小画像を単位として読み出して符
号に変換するものであって、前記変換の最少単位は水平
Ｒ画素、垂直Ｓ画素の小画像であり、前記Ｍ、Ｎ、Ｐ、
Ｑ、Ｒ、Ｓは２以上の整数であって、ＭがＰより大、Ｎ
がＱより大であって、ＰがＲの整数倍、ＱがＳの整数倍
であり、前記画像処理手段は出力した第２の形式の画像
データの量の情報を前記圧縮手段に通知する機能を有
し、前記圧縮手段は前記情報に従って前記第２の形式の
画像データの読み出しを制御するものであり、前記第２
の記憶手段の記憶容量は前記第２の形式の画像データか
らなる水平Ｐ画素、垂直Ｑ画素の小画像の容量よりも大
きくなく、前記第１の記憶手段は前記第３の記憶手段を
兼ねるものであって、前記第２の記憶手段は前記第１の
記憶手段または前記第３の記憶手段とは独立しており、
第１の形式の画像データからなる前記水平Ｍ画素、垂直
Ｎ画素の小画像を処理して得られた符号については、前
記第１の記憶手段における前記水平Ｍ画素、垂直Ｎ画素
の領域のうち、水平方向に先頭からＰ画素、垂直方向に
先頭からＱ画素の領域内に上書きして記憶するものであ
り、前記水平Ｍ画素、垂直Ｎ画素の小画像より得られる
符号が複数あるときには、前記複数の符号の書込み開始
位置が符号長に依存することなく一定の位置関係を持つ
よう配置するものであり、前記転送手段は前記圧縮手段
が出力した順とは異なる順で符号列を連結するものであ
り、前記の圧縮変換において符号列の素となった第１の
形式の小画像の位置を基準として、先ず前記小画像が水
平方向に隣接する順に符号列を連結し、水平方向に連結
した符号列を小画像の列が垂直方向に隣接する順に連結
することにより、入力画像全体から生成された符号を得
るものであることを特徴とする。

【００１２】

【発明の実施の形態】本発明の請求項１に記載の発明
は、第１の記憶手段と画像処理手段と第２の記憶手段と
画像圧縮手段と第３の記憶手段と転送手段とを備え、前
記第１の記憶手段は第１の形式の画像データを記憶し、
前記画像処理手段は前記第１の形式の画像データを画像
圧縮に適した第２の形式の画像データに変換し、前記第
２の記憶手段は前記第２の形式の画像データを記憶し、
前記圧縮手段は前記第２の形式の画像データに圧縮変換
を施して容量が圧縮された符号を出力し、前記第３の記
憶手段は前記符号を記憶し、前記転送手段は前記符号を
読み出して出力するものであり、前記画像処理手段は前
記第１の記憶手段から第１の形式の画像データを水平Ｍ
画素、垂直Ｎ画素の小画像を単位として読み出して水平
Ｐ画素、垂直Ｑ画素の第２の形式の画像データを出力す
るものであり、前記圧縮手段は前記第２の記憶手段から
第２の形式の画像データを小画像を単位として読み出し
て符号に変換するものであって、前記変換の最少単位は
水平Ｒ画素、垂直Ｓ画素の小画像であり、前記のＭ、
Ｎ、Ｐ、Ｑ、Ｒ、Ｓは２以上の整数であって、ＭがＰよ
り大、ＰがＲより大、ＮがＱより大、ＱがＳより大であ
ることを特徴とする画像処理装置であり、画像処理にお
いては小画像に分割して処理する事によるラインメモリ
の容量削減の効果と、入力の小画像が重複部分を持つ事
によるメモリアクセス量の増加を勘案して小画像の大き
さを最適化し、画像圧縮においては小さな小画像単位で
変換することにより圧縮変換回路の回路規模を縮小する
とともにブロック歪みが目立たないようにし、異なる大
きさの小画像を単位として処理する画像処理と圧縮変換
を、前記第２の記憶手段を介してパイプライン的に動作
させることにより効率的に画像を処理できる、という作
用を有する。

【００１３】本発明の請求項２に記載の発明は、請求項
１記載の画像処理装置であって、前記画像処理手段は出
力した第２の形式の画像データの量の情報を前記圧縮手
段に通知する機能を有し、前記圧縮手段は前記情報に従
って前記第２の形式の画像データの読み出しを制御する
ものであり、前記第２の記憶手段の記憶容量は前記第２
の形式の画像データからなる水平Ｐ画素、垂直Ｑ画素の
小画像の容量よりも大きくないことを特徴とする画像処
理装置であり、前記圧縮手段が処理の単位とする小画像
は信号処理手段が処理の単位とする水平Ｐ画素、垂直Ｑ
画素の小画像よりも小さいので、前記第２の記憶手段は
多くとも前記水平Ｐ画素、垂直Ｑ画素の小画像を収容す
る容量を持てば画像処理と圧縮変換をパイプライン的に
動作させることが可能であり、画像を分割せずに画像処
理と圧縮変換をパイプライン的に動作させる場合と比較
すると、前記第２の記憶手段を著しく小さくすることが
出来る、という作用を有する。

【００１４】本発明の請求項３に記載の発明は、請求項
１および２記載の画像処理装置であって、前記Ｐが前記
Ｒの整数倍であり、かつ前記Ｑが前記Ｓの整数倍である
ことを特徴とする画像処理装置であり、画像処理の単位
である小画像を等分すると圧縮変換の単位である小画像
が得られるように小画像の大きさを調整することによ
り、前記第２の記憶手段の容量を効率よく利用すること
が可能になり、画像処理と圧縮変換の処理速度の調整も
容易になる、という作用を有する。

【００１５】本発明の請求項４に記載の発明は、請求項
１および２および３に記載の画像処理装置であって、前
記第２の形式の画像データは輝度と色差の情報を持つＹ
Ｃデータであり、前記圧縮手段は離散コサイン変換と可
変長符号化を用いるものであることを特徴とする画像処
理装置であり、前記特徴を備えるデジタルスチルカメラ
およびデジタルビデオカメラの信号処理回路においても
本発明の小画像を単位として分割処理する方式を適用
し、それによって処理の効率化を実現できる、という作
用を有する。

【００１６】本発明の請求項５に記載の発明は、請求項
１および２および３および４記載の画像処理装置であっ
て、第４の記憶手段を有し、前記圧縮手段は前記第２の
記憶手段が記憶する前記第２の形式の画像データを一定
の大きさを持つ小画像を単位として読み出して圧縮変換
を行ない、前記小画像の処理で得られた符号列を前記第
３の記憶に記憶するとともに、前記符号列の符号長を前
記第４の記憶手段に記憶し、前記転送手段は前記第３の
記憶手段が記憶する前記符号列を読み出し、前記第４の
記憶手段が記憶する符号長を参照して前後の符号を連結
する操作を行ない、前記の読み出しと連結の操作を全て
の符号列に対して行なうことにより、入力画像全体から
生成された符号を出力することを特徴とする画像処理装
置であり、信号処理を小画像単位で行なう方式であって
も、符号を第３の記憶手段に記憶し、符号長を第４の記
憶手段に記憶し、符号長を参照しつつ符号を読み出して
符号を連結することにより、画像全体を圧縮変換して得
た符号を任意の順序で出力することができる、という作
用を有する。

【００１７】本発明の請求項６に記載の発明は、請求項
５記載の画像処理装置であって、前記小画像は水平Ｐ画
素、垂直Ｓ画素であり、前記圧縮手段は水平Ｒ画素、垂
直Ｓ画素を単位とする圧縮変換を繰り返すことにより前
記水平Ｐ画素、垂直Ｓ画素の小画像を複数の符号に変換
し、前記複数の符号を連結することによって前記水平Ｐ
画素、垂直Ｓ画素の小画像を変換した符号列を生成し、
前記複数の符号の符号長を合計することにより前記水平
Ｐ画素、垂直Ｓ画素の小画像を変換した符号列の符号長
を得ることを特徴とする画像処理装置であり、信号処理
の出力の小画像の横幅である水平Ｐ画素の範囲で符号を
連結し、水平Ｐ画素、垂直Ｓ画素の小画像を圧縮変換し
た符号として扱うことにより、符号長を記憶する第４の
記憶手段の容量をＰ分のＲに削減することが可能であ
り、第３の記憶手段へのアクセスも１バイト以下の端数
を含む部分の割合が減少するので効率が良くなる、とい
う作用を有する。

【００１８】本発明の請求項７に記載の発明は、請求項
５および６記載の画像処理装置であって、前記転送手段
は前記圧縮手段が出力した順とは異なる順で符号列を連
結するものであり、前記の圧縮変換において符号列の素
となった第１の形式の小画像の位置を基準として、先ず
前記小画像が水平方向に隣接する順に符号列を連結し、
水平方向に連結した符号列を小画像の列が垂直方向に隣
接する順に連結することにより、入力画像全体から生成
された符号を得ることを特徴とする画像処理装置であ
り、先ず水平方向に隣接する小画像から生成した符号を
順次連結し、１水平区間分連結した符号を垂直方向に隣
接する順に連結することにより、ＪＰＥＧ準拠の伸長回
路で復元可能な画像ファイルを得ることができる、とい
う作用を有する。

【００１９】本発明の請求項８に記載の発明は、請求項
５および６および７記載の画像処理装置であって、前記
画像圧縮手段は圧縮変換した小画像の数を前記転送手段
に通知する手段を有し、前記転送手段は前記通知された
小画像の数に従って符号の読み出しを制御するものであ
ることを特徴とする画像処理装置であり、圧縮変換した
小画像の量の情報によって符号の読み出しの動作を調整
することにより、圧縮変換による符号の生成と転送手段
による符号の読み出しを並列に実行することができる、
という作用を有する。

【００２０】本発明の請求項９に記載の発明は、請求項
５および６および７および８記載の画像処理装置であっ
て、前記圧縮手段は圧縮変換に必要な変換を行なうもの
であり、変換の最少単位である水平Ｒ画素、垂直Ｓ画素
の小画像は圧縮変換におけるマクロブロックであり、前
記転送手段は前記入力画像全体から生成した符号列を本
体としてＪＰＥＧファイルを生成する機能を有すること
を特徴とする画像処理装置であり、圧縮変換の単位とす
る小画像をＪＰＥＧで規定しているマクロブロックの単
位に合わせ、転送手段は生成された符号をＪＰＥＧの規
定に合わせた順で読み出し、規定に沿ったヘッダを付加
することにより互換性のあるＪＰＥＧファイルを生成で
きる、という作用を有する。

【００２１】本発明の請求項１０に記載の発明は、請求
項５および６および７および８および９記載の画像処理
装置であって、前記第１の記憶手段は前記第３の記憶手
段を兼ねるものであり、前記第２の記憶手段は前記第１
の記憶手段または前記第３の記憶手段とは独立している
ことを特徴とする画像処理装置であり、前記第１の記憶
手段と前記第３の記憶手段は大きな記憶容量を必要とす
るので外付けメモリとして統合し、前記第２の記憶手段
は小容量で良いので信号処理回路の中に内蔵し、ＹＣデ
ータに対するアクセスを外付けメモリに対して行なわな
い構成にすることによって、外付けメモリのメモリバン
ド幅に対する余裕度を増すことができる、という作用を
有する。

【００２２】本発明の請求項１１に記載の発明は、請求
項１０記載の画像処理装置であって、第１の形式の画像
データからなる前記水平Ｍ画素、垂直Ｎ画素の小画像を
処理して得られた符号については、前記第１の記憶手段
における前記水平Ｍ画素、垂直Ｎ画素の領域のうち、水
平方向に先頭からＰ画素、垂直方向に先頭からＱ画素の
領域内に上書きして記憶することを特徴とする画像処理
装置であり、ＲＧＢデータを記憶する領域の上に、未処
理のＲＧＢデータを上書きしないよう工夫しながら符号
を記憶することにより、符号を記憶する領域を別に設け
るよりもメモリ容量を少なく出来る、という作用を有す
る。

【００２３】本発明の請求項１２に記載の発明は、請求
項１１記載の画像処理装置であって、前記水平Ｍ画素、
垂直Ｎ画素の小画像より得られる符号が複数あるときに
は、前記複数の符号の書込み開始位置が符号長に依存す
ることなく一定の位置関係を持つよう配置することを特
徴とする画像処理装置であり、符号長に依存して書き込
み開始位置を変える場合には、符号を連結する際に符号
長の情報の他に符号の先頭位置の情報が必要になるの
で、符号の書込み開始位置を固定することにより前記第
４の記憶手段が必要とする容量を少なくし、符号を連結
する操作を簡素化できる、という作用を有する。

【００２４】本発明の請求項１３に記載の発明は、請求
項１０または１１または１２記載の画像処理装置であっ
て、前記圧縮手段は二つのモードを有するものであり、
第１のモードでは符号の第１の記憶手段への書込みと符
号の符号長の第４の記憶手段への書込みを行ない、第２
のモードでは符号の第１の記憶手段への書込みを行なわ
ず、符号の符号長を第４の記憶手段への書込むものであ
り、同一の画像に対して圧縮変換を繰り返し行なって最
終的に生成する符号量を最適化する場合には、最後回の
圧縮変換の際にのみ前記第１のモードを用い、それ以前
の回には前記第２のモードを用いることにより、最後回
の圧縮変換までは前記第１の形式の画像データを上書き
しないことを特徴とする画像処理装置であり、圧縮変換
を複数回行なって圧縮ファイルの容量を最適化するデジ
タルスチルカメラのようなシステムにおいても、最終的
に圧縮ファイルを生成する最終回の圧縮変換を除いて、
ＲＧＢデータを破壊しないようにすることにより、本発
明の小画像を単位とする分割処理の方式を用いて処理を
効率化し、システムのコストを削減できる、という作用
を有する。

【００２５】（実施の形態１）以下、図１および図２お
よび図３および図５および図６および図７を参照して本
発明の実施の形態を詳細に説明する。

【００２６】図１は本発明の画像処理装置を用いたデジ
タルスチルカメラの構成を説明するブロック図である。
図１において、１１は撮像手段である撮像回路である。
１２は大容量メモリであり、撮像回路１１からの第１の
形式である画像データを記憶可能な第１の記録手段と、
圧縮変換回路１５で圧縮された符号を記憶可能な第３の
記憶手段と、符号列の符号長を記憶可能な第４の記憶手
段と、第３の記憶手段に記憶された符号を読み出して転
送出力する転送手段とから構成されたものである。１３
は画像処理手段であるＹＣ処理回路であり、１４は第２
の形式の画像データを記憶可能な第２の記憶手段である
小容量メモリであり、１５は圧縮手段である圧縮変換回
路であり、１６は記録媒体であり、１７は制御回路であ
り、１８はシャッターボタンである。

【００２７】図２はＹＣ処理と圧縮変換の単位となる小
画像の大きさと位置関係を表した図であり、図２におい
て２１はＲＧＢデータからなる入力画像全体を表す矩形
領域であり、２２はＹＣ処理における入力の小画像を表
す矩形領域であり、２３はＹＣ処理における出力の小画
像を表す矩形領域である。

【００２８】以下、図１と図２を用いてＹＣ処理までの
動作を説明する。

【００２９】図１において、ユーザーがシャッターボタ
ン１６を押下して撮影を指示すると、制御回路１７は押
下を検知して撮影動作を開始する。先ず撮像回路１１は
制御回路１７の指示を受けてＲＧＢデータを偶数ライン
から先に出力し、メモリ１２はこれを記憶する。偶数ラ
インの転送が終わると続いて奇数ラインの転送が始ま
る。制御回路１７はメモリ１２が奇数ラインの３４本目
を記憶した時点でＹＣ処理を開始する。この時、メモリ
１２には偶数ラインと合わせて６８ライン目までのＲＧ
Ｂの画素データが揃っている。

【００３０】本実施の形態では、ＹＣ処理は水平９画
素、垂直５画素の矩形領域のＲＧＢデータから１画素の
ＹＣデータを合成する処理を行なっているので、図２に
示すように、水平７２画素、垂直６８画素の小画像をＹ
Ｃ処理回路に入力すると、出力の小画像は水平に８画
素、垂直に４画素少ない６４画素×６４画素の正方形に
なる。出力の小画像が隙間を作らないように入力の小画
像の大きさを逆算すると、図２に示すように、ＹＣ処理
における入力の小画像は上下に４画素ずつ、左右に８画
素ずつ、それぞれ隣接する入力の小画像と重複する部分
を持たなければならない。

【００３１】図３は出力の小画像をＰ＝３２、Ｑ＝３２
と小さくした場合の二度読み、四度読みの頻度を説明す
る図である。本実施の形態ではＭ＝７２、Ｎ＝６８、Ｐ
＝６４、Ｑ＝６４であるが、出力の小画像を水平・垂直
とも半分にすると、図３に示すように、二度読み、四度
読みする部分の割合が大きくなる。これは小画像を小さ
くするとメモリ１２に対するアクセスが増えることを示
している。小画像を小さくするとＹＣ処理回路１３が持
つラインメモリの容量を削減できる、などのメリットが
あるが、ＲＧＢデータのアクセス量が２倍以上になるの
は好ましくない。二度読みする部分の幅はＹＣ処理の内
容に依存するので、回路のコストメリットとＲＧＢデー
タのアクセス量を勘案して最適な小画像サイズを決める
必要がある。

【００３２】次にＹＣ処理の出力に圧縮変換を施す過程
について説明する。ＪＰＥＧ圧縮におけるマクロブロッ
クサイズは１６画素×８ラインの場合と１６画素×１６
ラインの場合とがあるが、本実施の形態では後者に合わ
せて説明する。

【００３３】図４はＹＣデータを圧縮変換する際の実行
順を示すものである。図４において２４の桝目は圧縮変
換の最少単位である小画像であり、本実施の形態では、
１６画素×１６ラインの大きさのマクロブロックを表
す。図４の２３の水平６４画素、垂直６４ラインの正方
形はＹＣ処理の出力の小画像であり、本実施の形態では
これを１６個のマクロブロックに分割して処理する。図
４の矢印と点線は圧縮変換の実行順を表しており、ＹＣ
処理の出力の小画像の中では左上のマクロブロックから
順次処理し、大局的にはＹＣ処理の出力の小画像が生成
される順に従って処理する。

【００３４】図１において、ＹＣデータは小容量メモリ
１４が記憶するが、本実施の形態では小容量メモリ１４
の容量はマクロブロック８個分である。ＹＣ処理回路１
３がＹＣデータをライン順次で１６ライン出力する間に
圧縮変換回路１５がマクロブロックを４個処理すればよ
いので、小容量メモリ１４は３２ライン分＝８マクロブ
ロック分の容量があればよい。ここで、ＹＣ処理を小画
像に分割せずに実行した場合を考えると、ＹＣデータは
画像全体の左端から右端までを１ラインとする幅で出力
されるので、１６ライン分のＹＣデータを保持する為に
１２マクロブロック分の容量を要し、圧縮変換とＹＣ処
理を並列実行する為には３２ライン分＝２４マクロブロ
ック分の容量を必要とする。この例では画像を水平に３
分割しているので必要なメモリ容量が３分の１になった
訳だが、水平画素数が２５６０画素の画像を分割せずに
処理する場合と、一辺６４画素の小画像に分割して処理
する場合とを比較すると、分割せずに処理する場合は、
３２ライン×２５６０画素×２（バイト／画素）＝１６
４キロバイトを要するのに対し、分割する場合は、３２
ライン×６４画素×２（バイト／画素）＝４キロバイト
の容量があればよいので、その容量比は４０倍になる。
入力画像の大きさが変化してもメモリ容量を変えなくて
よい事も本方式の利点であり、入力画像が何画素であっ
ても同じ画素数の小画像に分割して処理するので、処理
回路が備えるメモリ容量は常に同じでよい。

【００３５】このように、入力画像を小画像に分割して
処理することにより、ＹＣ処理回路１３から圧縮変換回
路１５へＹＣデータを渡す為のＹＣデータバッファを大
幅に縮少することが出来る。

【００３６】本実施の形態のように４キロバイト程度の
メモリであれば信号処理ＬＳＩ全体のチップ面積に大き
な影響を与えることなく内蔵することが可能であり、消
費電力への影響も小さい。ＹＣデータバッファを内蔵に
すると、外付けの大容量メモリに対するアクセスが大幅
に減少することになる。前述のように、小画像に分割し
て処理することによりＲＧＢデータを二度読みする部分
が生じるが、小画像のサイズを大きくすることによりア
クセス増加の割合を抑えることが可能であり、それより
もＹＣデータをアクセスしなくなる事による減少分の方
が圧倒的に大きい。

【００３７】次に、図５および図６および図７を用いて
圧縮変換回路が出力した符号をＪＰＥＧの規定に沿った
順序で出力する過程を示す。図５はマクロブロック単位
で生成された符号を４マクロブロック毎に連結する過程
を示す図である。図５（Ａ）の桝目２４はマクロブロッ
クを表し、図５（Ｂ）の線は各マクロブロックの画像デ
ータを圧縮変換した符号を表す。圧縮変換は可変長符号
化を含んでいるので、生成される符号の長さはまちまち
になり、１バイト以下の端数ビットも生じる。図５
（Ｂ）から図５（Ｃ）の変換は、四つの符号を連結して
一つの符号にする過程を示す。ここで言う４つの符号と
は、図３の小画像内において水平方向に隣接している４
個のマクロブロックから順次生成された符号であり、先
に生成された符号の最後尾に次の符号の先頭を詰めて並
べることによって符号の連結を行なう。連結された符号
も符号長が一定でないので、四つの符号の符号長を合計
した上で、大容量メモリ１２内に設けた符号長リスト領
域に記憶しておく。

【００３８】連結した符号は図６において実線で描かれ
た横長の桝目に順次収めて行く。図６は符号を図１の大
容量メモリ１２に収める順を説明する図である。図６に
おいて２１はＲＧＢデータの入力画像全体を示す領域で
あり、符号を収める領域は水平・垂直とも先頭方向に寄
せて確保する。符号の生成と連結は図６の矢印と点線が
示すように、６４画素×６４ラインの小画像内において
は、６４画素×１６ラインの領域を単位として上から順
に実行し、大局的には小画像の処理の実行順に実行す
る。この時、符号をＲＧＢデータの上に上書きするが、
図６に示すように、左上隅から１６ライン×６４画素の
領域を単位として上書きすることにより、未処理の隣接
するＲＧＢデータの小画像を壊さずに符号を並べること
が可能である。

【００３９】図７は符号の読み出し順を説明する図であ
り、矢印と点線が示すように小画像の境界を無視して水
平方向に隣接する升の符号を連結しつつ読み出してい
く。図７に示す符号の出力順はＪＰＥＧファイルの規定
に準拠するものであり、通常の圧縮変換を行なう時の符
号出力順と同じである。符号を連結する際には、各符号
が固定長でないので符号を格納する際に、図１の大容量
メモリ１２に記録した符号長リストを参照する。この実
施の形態では４個のマクロブロック毎に符号を予め連結
して、連結した符号の符号長を記憶することにより、符
号長リストの記憶容量を節約している。

【００４０】水平２５６０画素×垂直１９２０画素の画
像を圧縮する場合の符号長リストの容量は、符号長を２
バイトで記録すると仮定すると、２５６０÷６４×１９２０÷１６×２＝９．６キロバイ
トになる。４ブロック毎の連結を事前に行なわない場合に
は４倍の数の符号長情報を記憶する必要があるので、都
合、３×９．６＝２８．８キロバイトの節約になっている。符号長リストに対するアクセスの
頻度は１６ライン×６４画素のＹＣデータに対して２バ
イトだけになるので、計算上無視できるレベルに収ま
る。

【００４１】以上のように、本実施の形態で示された効
果を整理すると次のようになる。入力画像を分割し、小
画像にして処理することにより、ＹＣ処理回路１３から
圧縮変換回路１５にＹＣデータを受け渡す為のＹＣデー
タバッファを著しく縮小することができるので、信号処
理ＬＳＩのチップ面積を大きく変えずにＹＣデータバッ
ファを内蔵することが可能になる。すると外付けの大容
量メモリに対するアクセスは、ほとんどＲＧＢデータに
対するアクセスと、ＪＰＥＧ符号に対するアクセスだけ
になり、ＹＣデータに対するアクセスが無くなるので、
外付け大容量メモリ１２のメモリバンド幅が同じであっ
ても、より高速に処理を行なう余地ができる。

【００４２】小画像単位で処理すると、マクロブロック
の処理順がＪＰＥＧで規定されている順序と異なってし
まうが、符号をメモリに置いて読み出し順を変えること
により、ＪＰＥＧファイルの規定に沿った順で符号列を
読み出すことができる。符号をメモリに置く領域は未処
理のＲＧＢデータを破壊せずにＲＧＢデータの記憶領域
内に置くことが可能であり、ＹＣデータを外付けメモリ
に置かないので、外付けメモリの容量を削減することも
可能である。

【００４３】このように本実施の形態によれば、コスト
アップなどのデメリットを招くこと無く外付け大容量メ
モリに対するアクセスを減らし、メモリバンド幅のボト
ルネックを解消することが可能であり、外付けメモリを
含むシステム全体のコストを削減することも可能であ
る。

【００４４】

【発明の効果】以上のように本発明によれば、コストア
ップなどのデメリットを招くこと無く外付け大容量メモ
リに対するアクセスを減らし、メモリバンド幅のボトル
ネックを解消することが可能であり、外付けメモリを含
むシステム全体のコストを削減することも可能であると
いう優れた効果が得られるものである。

【図面の簡単な説明】

【図１】本発明の実施の形態の画像処理装置の構成を示
すブロック図

【図２】ＹＣ処理と圧縮変換の単位となる小画像の説明
のための模式図

【図３】小画像の大きさと重複読み出しの頻度を示す説
明のための模式図

【図４】圧縮変換の実行順を示す説明のための模式図

【図５】符号の連結操作を示す説明のための模式図

【図６】符号の格納位置と格納順を示す説明のための模
式図

【図７】符号の読み出し順を示す説明のための模式図

【図８】従来のデジタルスチルカメラの構成を示すブロ
ック図

【符号の説明】

１１撮像回路１２メモリ１３ＹＣ処理回路１４小容量メモリ１５圧縮変換回路１６記録媒体１７制御回路１８シャッターボタン２１ＲＧＢデータの記憶領域２２ＲＧＢデータの小画像２３ＹＣデータの小画像２４圧縮変換の小画像

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C059 KK08 MA00 MA23 MC11 MC38 ME01 PP01 PP04 SS14 SS15 UA02 UA32 UA35 UA36 UA37 UA38 5C078 AA09 BA57 CA01 CA27 DA01 5J064 AA04 BA09 BA16 BB13 BC01 BC08 BC14 BC16 BD03

Claims

【特許請求の範囲】

【請求項１】第１の記憶手段と画像処理手段と第２の
記憶手段と画像圧縮手段と第３の記憶手段と転送手段と
を備え、前記第１の記憶手段は第１の形式の画像データ
を記憶し、前記画像処理手段は前記第１の形式の画像デ
ータを画像圧縮に適した第２の形式の画像データに変換
し、前記第２の記憶手段は前記第２の形式の画像データ
を記憶し、前記圧縮手段は前記第２の形式の画像データ
に圧縮変換を施して容量が圧縮された符号を出力し、前
記第３の記憶手段は前記符号を記憶し、前記転送手段は
前記符号を読み出して出力するものであり、前記画像処
理手段は前記第１の記憶手段から第１の形式の画像デー
タを水平Ｍ画素、垂直Ｎ画素の小画像を単位として読み
出して水平Ｐ画素、垂直Ｑ画素の第２の形式の画像デー
タを出力するものであり、前記圧縮手段は前記第２の記
憶手段から第２の形式の画像データを小画像を単位とし
て読み出して符号に変換するものであって、前記変換の
最少単位は水平Ｒ画素、垂直Ｓ画素の小画像であり、前
記のＭ、Ｎ、Ｐ、Ｑ、Ｒ、Ｓは２以上の整数であって、
ＭがＰより大、ＰがＲより大、ＮがＱより大、ＱがＳよ
り大であることを特徴とする画像処理装置。
【請求項２】請求項１記載の画像処理装置であって、
前記画像処理手段は出力した第２の形式の画像データの
量の情報を前記圧縮手段に通知する機能を有し、前記圧
縮手段は前記情報に従って前記第２の形式の画像データ
の読み出しを制御するものであり、前記第２の記憶手段
の記憶容量は前記第２の形式の画像データからなる水平
Ｐ画素、垂直Ｑ画素の小画像の容量よりも大きくないこ
とを特徴とする画像処理装置。
【請求項３】請求項１および２記載の画像処理装置で
あって、前記Ｐが前記Ｒの整数倍であり、かつ前記Ｑが
前記Ｓの整数倍であることを特徴とする画像処理装置。
【請求項４】請求項１および２および３に記載の画像
処理装置であって、前記第２の形式の画像データは輝度
と色差の情報を持つＹＣデータであり、前記圧縮手段は
離散コサイン変換と可変長符号化を用いるものであるこ
とを特徴とする画像処理装置。
【請求項５】請求項１および２および３および４記載
の画像処理装置であって、第４の記憶手段を有し、前記
圧縮手段は前記第２の記憶手段が記憶する前記第２の形
式の画像データを一定の大きさを持つ小画像を単位とし
て読み出して圧縮変換を行ない、前記小画像の処理で得
られた符号列を前記第３の記憶手段に記憶するととも
に、前記符号列の符号長を前記第４の記憶手段に記憶
し、前記転送手段は前記第３の記憶手段が記憶する前記
符号列を読み出し、前記第４の記憶手段が記憶する符号
長を参照して前後の符号を連結する操作を行ない、前記
の読み出しと連結の操作を全ての符号列に対して行なう
ことにより、入力画像全体から生成された符号を出力す
ることを特徴とする画像処理装置。
【請求項６】請求項５記載の画像処理装置であって、
前記小画像は水平Ｐ画素、垂直Ｓ画素であり、前記圧縮
手段は水平Ｒ画素、垂直Ｓ画素を単位とする圧縮変換を
繰り返すことにより前記水平Ｐ画素、垂直Ｓ画素の小画
像を複数の符号に変換し、前記複数の符号を連結するこ
とによって前記水平Ｐ画素、垂直Ｓ画素の小画像を変換
した符号列を生成し、前記複数の符号の符号長を合計す
ることにより前記水平Ｐ画素、垂直Ｓ画素の小画像を変
換した符号列の符号長を得ることを特徴とする画像処理
装置。
【請求項７】請求項５および６記載の画像処理装置で
あって、前記転送手段は前記圧縮手段が出力した順とは
異なる順で符号列を連結するものであり、前記の圧縮変
換において符号列の素となった第１の形式の小画像の位
置を基準として、先ず前記小画像が水平方向に隣接する
順に符号列を連結し、水平方向に連結した符号列を小画
像の列が垂直方向に隣接する順に連結することにより、
入力画像全体から生成された符号を得ることを特徴とす
る画像処理装置。
【請求項８】請求項５および６および７記載の画像処
理装置であって、前記画像圧縮手段は圧縮変換した小画
像の数を前記転送手段に通知する手段を有し、前記転送
手段は前記通知された小画像の数に従って符号の読み出
しを制御するものであることを特徴とする画像処理装
置。
【請求項９】請求項５および６および７および８記載
の画像処理装置であって、前記圧縮手段は圧縮変換に必
要な変換を行なうものであり、変換の最少単位である水
平Ｒ画素、垂直Ｓ画素の小画像は圧縮変換におけるマク
ロブロックであり、前記転送手段は前記入力画像全体か
ら生成した符号列を本体としてＪＰＥＧファイルを生成
する機能を有することを特徴とする画像処理装置。
【請求項１０】請求項５および６および７および８お
よび９記載の画像処理装置であって、前記第１の記憶手
段は前記第３の記憶手段を兼ねるものであり、前記第２
の記憶手段は前記第１の記憶手段または前記第３の記憶
手段とは独立していることを特徴とする画像処理装置。
【請求項１１】請求項１０記載の画像処理装置であっ
て、第１の形式の画像データからなる前記水平Ｍ画素、
垂直Ｎ画素の小画像を処理して得られた符号について
は、前記第１の記憶手段における前記水平Ｍ画素、垂直
Ｎ画素の領域のうち、水平方向に先頭からＰ画素、垂直
方向に先頭からＱ画素の領域内に上書きして記憶するこ
とを特徴とする画像処理装置。
【請求項１２】請求項１１記載の画像処理装置であっ
て、前記水平Ｍ画素、垂直Ｎ画素の小画像より得られる
符号が複数あるときには、前記複数の符号の書込み開始
位置が符号長に依存することなく一定の位置関係を持つ
よう配置することを特徴とする画像処理装置。
【請求項１３】請求項１０または１１または１２記載
の画像処理装置であって、前記圧縮手段は二つのモード
を有するものであり、第１のモードでは符号の第１の記
憶手段への書込みと符号の符号長の第４の記憶手段への
書込みを行ない、第２のモードでは符号の第１の記憶手
段への書込みを行なわず、符号の符号長を第４の記憶手
段への書込むものであり、同一の画像に対して圧縮変換
を繰り返し行なって最終的に生成する符号量を最適化す
る場合には、最後回の圧縮変換の際にのみ前記第１のモ
ードを用い、それ以前の回には前記第２のモードを用い
ることにより、最後回の圧縮変換までは前記第１の形式
の画像データを上書きしないことを特徴とする画像処理
装置。