JP2002111989A

JP2002111989A - 画像処理回路

Info

Publication number: JP2002111989A
Application number: JP2000302355A
Authority: JP
Inventors: Hajime Sasaki; 元佐々木
Original assignee: MegaChips Corp
Current assignee: MegaChips Corp
Priority date: 2000-10-02
Filing date: 2000-10-02
Publication date: 2002-04-12
Also published as: US20020039143A1; US6961085B2

Abstract

(57)【要約】【課題】メモリに設けるバッファ領域を削減し得て、
メモリのコストと消費電力を大幅に削減し得る画像処理
回路を提供する点にある。【解決手段】ＣＣＤデータは圧縮手段３１Ａで圧縮さ
れ、原画像データバッファ２６ａに格納される（ステッ
プ１０）。次にその圧縮データは伸長手段３１Ｂで伸長
され、その画素データが上記ＲＰＵ１４に順次出力され
る（ステップ１１）。またＲＰＵ１４は前記画素データ
に対して実時間画像処理を実行し、その処理データはフ
レーム単位で処理データバッファ２６ｂに格納される。
次にＣＰＵ１７は適当なタイミングで画像を処理データ
バッファ２６ｂから読出し、一時記憶データバッファ２
６ｃを利用して高能率符号化処理などのソフトウェア処
理を施し、その処理データを記憶媒体３０に格納し保存
する（ステップ１２）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタルスチル
カメラなどの撮影装置で撮像した画像データを画像処理
する画像処理回路に関するものである。

【０００２】

【従来の技術】図１３は、一般的なディジタルスチルカ
メラ１００の構成を示す概略図である。図示するよう
に、搭載されたＣＣＤセンサやＣＭＯＳセンサなどの撮
像素子１０５で撮像した原画像信号はデジタル画像信号
にＡ／Ｄ変換された後に画像処理部１０６に取り込ま
れ、画素補間処理、色空間変換処理、輪郭補正処理など
の種々の画像処理を施される。画像処理を施された画像
データは液晶モニタ１０９などのファインダーで表示さ
れると共に、必要に応じてその画像データをメモリカー
ド１１０に格納されたり、インターフェース１１１を介
してパーソナル・コンピュータなどの外部機器に出力さ
れる。尚、図１３において、符号１０１は光学レンズ、
１０２は色補正フィルタ、１０３は光学ＬＰＦ（ローパ
スフィルタ）、１０４は色フィルタアレイ、１０７は撮
像素子１０５などを駆動制御する駆動部を示している。

【０００３】前記画像処理部１０６では、図１４に示す
ように撮像素子１０５で撮像した原画像データはデジタ
ル画像信号に変換された後に、一旦、内蔵メモリ１０８
の原画像データバッファ１０８ａに蓄積される（ステッ
プ１００）。次にハードウェアで構成されるリアルタイ
ム・プロセッシング・ユニット（以下、ＲＰＵと呼
ぶ。）１２０は、原画像データバッファ１０８ａに格納
した原画像データを読み出して、上記画素補間処理、色
変換処理および輪郭強調処理などの画像処理を実時間処
理にて実行し、その処理データを処理データバッファ１
０８ｂに出力し蓄積する（ステップ１０１）。次に、Ｃ
ＰＵ（中央制御部）１２１は、指示されたタイミングで
処理データバッファ１０８ｂから処理データを読出し、
ソフトウェア処理により一時記憶バッファ１０８ｃを用
いてＪＰＥＧ（Joint Photographic Experts Group）方
式などで圧縮し、上記メモリカードなどの記憶媒体１２
２に格納する（ステップ１０２）。

【０００４】

【発明が解決しようとする課題】近年のデジタルスチル
カメラでは小型軽量化が進んでおり、上記内蔵メモリ１
０８は、ＤＲＡＭ（Dynamic Random Access Memory）や
ＳＤＲＡＭ（Synchronous DRAM）などで構成されるが、
内蔵メモリ１０８で使用するバッファ領域１０８ａ〜１
０８ｃは大規模になり、チップのコストや消費電力が大
きいという問題がある。

【０００５】また上記撮像素子１０５には、１画面を構
成する偶数ラインと奇数ラインの２つのフィールドを時
間的に全く異なるタイミングで読出すインターレース
（飛び越し走査）方式のものと、各ラインを順次読出す
プログレッシブ（順次走査）方式のものとの何れかが採
用される。インターレース方式を採用した場合は、例え
ばＲＰＵ１２０で画素補間処理を実行する際、当該ライ
ンと前後の複数ラインとを合わせた３〜５ライン程度を
同時に処理する必要があるため、原画像データバッファ
１０８ａに奇数ラインのフィールドを蓄積した後に偶数
ラインのフィールドを取り込み、プログレッシブ方式の
データに変換し、その後ＲＰＵ１２０に出力する必要が
ある。このため内蔵メモリ１０８のバッファ領域を削減
するにも限界があった。

【０００６】このような問題に鑑みて本発明が解決しよ
うとするところは、メモリに設けるバッファ領域を削減
し得て、メモリのコストと消費電力を大幅に削減し得る
画像処理回路を提供する点にある。

【０００７】

【課題を解決するための手段】上記課題を解決するた
め、請求項１に係る発明は、撮像素子で撮像した原画像
データを画像処理する画像処理回路であって、前記原画
像データをＡ／Ｄ変換したデジタル画像データを圧縮す
る圧縮手段と、前記圧縮手段から転送された圧縮データ
を一時的に記憶するバッファ部と、前記バッファ部から
圧縮データを読出して伸長する伸長手段と、前記伸長手
段から転送された伸長データに対して画像処理を実行す
る画像処理部と、を備えることを特徴とするものであ
る。

【０００８】また請求項２に係る発明は、請求項１記載
の画像処理回路であって、前記撮像素子は、１画面を構
成する奇数ラインのみからなる奇数フィールドと偶数ラ
インのみからなる偶数フィールドとを時間的に異なるタ
イミングで読出すインターレース方式で駆動されてお
り、前記バッファ部は前記奇数フィールドと前記偶数フ
ィールドのうち最初に出力される第１フィールドの圧縮
データを前記圧縮手段から転送されて格納しておき、前
記画像処理部は、他方の第２フィールドの入力と同期さ
せて前記バッファ部に格納した前記第１フィールドを読
出し、前記第１および第２フィールドに対して実時間の
画像処理を実行するものである。

【０００９】また請求項３に係る発明は、請求項１また
は２記載の画像処理回路であって、前記圧縮手段および
前記伸長手段と前記バッファ部との間のデータ転送がダ
イレクトメモリアクセス方式で制御されるものである。

【００１０】また請求項４に係る発明は、請求項１〜３
の何れか１項に記載の画像処理回路であって、前記デジ
タル画像データをブロックに分割して前記圧縮手段に出
力する分割手段をさらに備え、前記圧縮手段および前記
伸長手段は前記ブロック単位で圧縮および伸長処理を実
行するものである。

【００１１】また請求項５に係る発明は、請求項４記載
の画像処理回路であって、前記伸長手段で伸長した伸長
データのうち予め特定された欠陥画素データを含むブロ
ックを検出し、当該欠陥画素データを補正したブロック
を前記圧縮手段に出力する手段をさらに備える。

【００１２】また請求項６に係る発明は、請求項４記載
の画像処理回路であって、前記伸長手段で伸長した伸長
データを前記画像処理部に出力する前に欠陥検査し、検
出された欠陥画素データをもつブロックを正常なブロッ
クに置き換えて前記圧縮手段に出力する欠陥検査補正手
段をさらに備える。

【００１３】また請求項７に係る発明は、請求項４〜６
の何れか１項に記載の画像処理回路であって、前記分割
手段は前記デジタル画像をライン単位でブロックに分割
するものである。

【００１４】また請求項８に係る発明は、請求項１〜７
の何れか１項に記載の画像処理回路であって、前記圧縮
手段で前記デジタル画像データを圧縮する前に、当該デ
ジタル画像データの画素値の差分値を算出し、その差分
データを前記圧縮手段に出力する差分値算出手段をさら
に備える。

【００１５】また請求項９に係る発明は、請求項８記載
の画像処理回路であって、前記差分値算出手段は時間軸
に沿って隣接する画素の画素値の差分値を算出するもの
である。

【００１６】また請求項１０に係る発明は、請求項８記
載の画像処理回路であって、前記差分値算出手段は時間
軸に沿った１画素おきの２画素の画素値の差分値を算出
するものである。

【００１７】また請求項１１に係る発明は、請求項８記
載の画像処理回路であって、前記差分値算出手段は前記
デジタル画像データの２ラインの垂直方向に隣接する２
画素の画素値の差分値を算出するものである。

【００１８】また請求項１２に係る発明は、請求項８記
載の画像処理回路であって、前記差分値算出手段は前記
デジタル画像データの１ラインおきの２ラインの垂直方
向に隣接する２画素の画素値の差分値を算出するもので
ある。

【００１９】そして請求項１３に係る発明は、請求項８
記載の画像処理回路であって、前記撮像素子の駆動方式
に合わせて、請求項１１記載の差分値算出手段と請求項
１２記載の差分値算出手段との何れか一方が選択される
ものである。

【００２０】

【発明の実施の形態】図１は、本発明の実施の形態に係
るディジタルスチルカメラ（撮影装置）１の全体構成を
示す概略ブロック図である。このディジタルスチルカメ
ラ１においては、ＡＦ（オートフォーカス）機能を備え
た光学系や絞り機構などからなる光学機構１１を通し
て、被写体の画像がＣＣＤ（電荷結合素子）１２で撮像
される。このとき必要に応じてストロボ２０を用いて被
写体に光を照射すればよい。撮像した被写体の原画像デ
ータはアナログ信号処理回路１３に取り込まれデジタル
画像信号にＡ／Ｄ変換される。

【００２１】このデジタル画像信号は、後に詳述するよ
うに画像圧縮伸長回路９で圧縮され、主メモリ２６に転
送されてそのバッファ領域に格納される。また、その圧
縮データは画像圧縮伸長回路９で伸長され、リアルタイ
ム・プロセッシング・ユニット（以下、ＲＰＵと略
す。）１４において後に詳述するように伸長された画像
信号に対して画素補間処理、色空間変換処理、輪郭補正
処理、フィルタリングおよび間引き処理などの所定の画
像処理を実時間処理にて実行する。

【００２２】このように実時間処理を施された画像信号
をファインダーとして機能するＬＣＤ２３で表示し、ま
たＣＰＵ１７にてＪＰＥＧ圧縮処理などの画像処理をし
た後に、メモリカード２７に格納したり、外部インター
フェース（Ｉ／Ｆ）２８を通じてパーソナルコンピュー
タなどの外部機器に出力したりすることができる。尚、
ＤＲＡＭやＳＤＲＡＭ、ＲＤＲＡＭ（Rambus DRAM）な
どからなる主メモリ２６には、ＲＰＵ１４で処理したデ
ータを一時的に格納するバッファ領域や、ＣＰＵ１７で
ソフトウェア処理を実行する際に一時的に利用されるバ
ッファ領域などが設けられている。

【００２３】尚、図１において、符号１５はＣＣＤ１２
を駆動するＣＣＤ駆動回路、１６はＲＰＵ１４およびＣ
ＣＤ駆動回路１５などの動作タイミングを規律するタイ
ミングジェネレータ、１８はＰＬＬ発信回路、１９はＣ
ＰＵ１７の補助演算装置であるコプロセッサを示してお
り、また符号２０はディスプレイモジュール、２１はデ
ジタルエンコーダ２１、２２はＬＣＤ２３を駆動するＬ
ＣＤ駆動回路を示している。

【００２４】また、画像圧縮伸長回路９、主メモリ２
６、外部インターフェース２８およびメモリカード２７
は、ＤＭＡ（ダイレクトメモリアクセス）コントローラ
２４やＪＰＥＧ処理部２５と共にメインバス１０を介し
て相互にバス接続されており、これら各要素間のデータ
転送は、ＤＭＡコントローラ２４の制御によりＣＰＵ１
７を介さずにメインバス１０を通じて直接実行すること
が可能である。これによりＣＰＵ１７の負荷が低減する
と共に、主メモリ２６を効率的に利用することが可能と
なる。

【００２５】また被写体画像をＬＣＤ（ファインダー）
２３で表示する場合、ＣＣＤ１２から連続的に出力され
る被写体画像（フレーム）は、ＲＰＵ１４にて解像度を
若干落とす処理などの実時間画像処理をなされた後に、
ＬＣＤ２３に動画像として順次表示される。操作者はＬ
ＣＤ２３に表示される被写体画像を取り込む（撮影す
る）ときには、ディジタルスチルカメラ１に搭載される
撮影ボタン（図示せず）を押せばよい。ディジタルスチ
ルカメラ１のＣＰＵ１７は撮影ボタンを押した時点の被
写体画像データに対して前述のＪＰＥＧ圧縮処理を行
い、その圧縮データをメモリカード２７などの記憶媒体
に格納したり、外部インターフェース２８を介して外部
機器に出力したりする。

【００２６】またアナログ信号処理回路１３から出力さ
れたデジタル画像データはＲＰＵ１４に直接出力され上
記した実時間画像処理を施されてもよいし、画像圧縮伸
長回路９を介して主メモリ２６に一時的に格納した後に
ＲＰＵ１４に読み込ませ、上記した実時間画像処理を施
されてもよい。例えば、ハードウェアで構成されるＲＰ
Ｕ１４では実行できない一部処理をＣＰＵ１７において
ソフトウェア上で実行することにより、全ての画像処理
をソフトウェア上で実行する場合と比較して数倍乃至数
十倍の処理速度の向上が可能となり、またＣＰＵ１７に
おける処理が減るため消費電力を削減することが可能と
なる。

【００２７】前記ＣＣＤ１２は、一般的に電荷蓄積部お
よび電荷転送部を内部に備えており、１画面を構成する
奇数ラインのみからなる奇数フィールドと偶数ラインの
みからなる偶数フィールドとをそれぞれ時間的に異なる
タイミングで読出し駆動されるインターレース（飛び越
し走査）方式のものと、各ラインを順次読出し駆動され
るプログレッシブ（順次走査）方式のものとの何れかが
選択的に使用される。本実施の形態では撮像素子として
ＣＣＤを使用するが、これに限らず、電荷転送部をもた
ないＣＭＯＳセンサでもよい。

【００２８】前記ＲＰＵ１４は、図２のブロック図に示
すように、デジタル画像信号を画素単位で処理する単一
画素処理部（Single Pixel Processing Block）１４ａ
と、後に詳述する画素補間を実行し且つガンマ特性を補
正（ガンマ補正）する画素補間・ガンマ処理部（Interp
olation & Gamma Processing Block）１４ｂと、色空間
変換・色抑圧処理部（Color Space Conversion & False
Color Suppression Block）１４ｃと、空間フィルタ・
コアリング処理部（Spatial Filter & CoringBlock）１
４ｄと、これら各部１４ａ〜１４ｄで処理した画像デー
タをメインバス１０に出力する出力部（Resizing Bloc
k）１４ｅとを備えている。

【００２９】実施の形態１．図３は、以上の構成を有す
るディジタルスチルカメラ（撮影装置）１において、実
施の形態１に係る画像処理回路による画像信号処理の流
れを示す概略ブロック図である。

【００３０】図示するように、ＣＣＤ１２で撮像したＣ
ＣＤデータ（原画像データ）は、上記アナログ信号処理
回路１３でデジタル画像信号にＡ／Ｄ変換された後に、
上記画像圧縮伸長回路９の圧縮手段３１Ａで２値算術符
号化やハフマン符号化などのエントロピー符号化処理な
どにより圧縮され、上記メインバス１０を介して主メモ
リ２６に設けた原画像データバッファ２６ａに転送され
一時的に格納される（ステップ１０）。ここで、前記Ｃ
ＣＤデータはインターレース方式、プログレッシブ方式
の何れで出力されたものでも構わない。

【００３１】次に、原画像データバッファ２６ａに格納
した圧縮データは、上記画像圧縮伸長回路９の伸長手段
３１Ｂでエントロピー逆符号化処理などにより伸長さ
れ、その画素データが上記ＲＰＵ１４に順次出力される
（ステップ１１）。また前記圧縮データの伸長処理と並
行して、ＲＰＵ１４は入力する画素データに対して上記
単一画素処理部１４ａ、画素補間・ガンマ処理部１４
ｂ、色空間変換・色抑圧処理部１４ｃおよび空間フィル
タ・コアリング処理部１４ｄの各部で実時間（リアルタ
イム）で画像処理を実行し、上記出力部１４ｅから出力
されたその処理データはフレーム単位で、主メモリ２６
に設けた処理データバッファ２６ｂに転送されて格納さ
れる。尚、本実施の形態では、圧縮伸長処理速度を高め
るべく圧縮手段３１Ａおよび伸長手段３１Ｂにてハード
ウェア処理を実行したが、この代わりに同種のソフトウ
ェア処理をＣＰＵ１７で実行してもよい。

【００３２】前記単一画素処理部１４ａは、デジタル画
像信号の画素毎に乗算および加算の一方または双方の演
算を行うことで、複数フレーム間での経時的平均化処
理、および単一フレーム内でのシェーディング補正処理
の何れかを選択的に行うものである。一般に上記ＣＣＤ
１２で対象物や風景などを撮影する場合にレンズの光学
的作用などに起因して中心位置と較べて周辺の輝度値が
低下する現象はシェーディングと呼ばれている。前記シ
ェーディング補正処理では、そのシェーディングを緩和
するために各画素における輝度値などのゲイン調整が実
行される。

【００３３】前記画素補間・ガンマ処理部１４ｂは、一
旦主メモリ２６に格納した画像データをＤＭＡコントロ
ーラ２４の制御によりメインバス１０を介して取り込む
ことができる。尚、ＲＰＵ１４の初段の単一画素処理部
１４ａだけでなく、次段の画素補間・ガンマ処理部１４
ｂにもメインバス１０を介して画像データを直接入力で
きるから、ＣＰＵ１７で画像処理を施した画像データを
単一画素処理部１４ａを経由させずに、直接、画素補間
・ガンマ処理部１４ｂで処理することが可能である。

【００３４】前記色空間変換・色抑圧処理部１４ｃは、
原信号がカラー画像信号の場合にＲＧＢの３色系や４色
系（ＹＭＣＧ系など）などで表現される画像データを他
の色空間座標系に変換する色空間変換機能と、画像中の
明部と暗部の色抑圧（クロマサプレス；偽色防止）を行
う色抑圧機能とを有している。色空間変換機能で使用さ
れる変換先の座標系には、ＮＴＳＣ（National Televis
ion System Commitee）方式などで採用されているＹＵ
Ｖ座標系、ＹＩＱ座標系、ＹＣ_bＣ_r座標系などを使用す
ればよい。例えば、色成分変換にＹＣ_bＣ_r座標系を使用
した場合、そのＲＧＢ成分は輝度信号Ｙと２つの色差信
号Ｃ_b，Ｃ_rとからなるＹＣ_bＣ_r成分の座標系へと変換さ
れる。ＹＣ_bＣ_r成分はＲＧＢ成分よりも各成分間の相関
が小さいため、画像サイズを圧縮することが可能とな
る。

【００３５】また、一般に画像中の暗部は、様々なノイ
ズの影響を受けやすい性質をもつため、暗部ではできる
だけ発色を抑制することが自然な画質を出力することに
つながる。一方、画像中の明部は、当該暗部を撮像した
ＣＣＤやその他の種々のハードウェア部品の特性に応じ
て変調がかかりやすい部分であり、ホワイトバランスが
狂いやすい部分であるため、できるだけ発色を抑制する
ことが自然な画質を出力することにつながる。これらの
事柄を考慮して、前記色抑制機能では画像中の明部と暗
部における発色が抑制される。

【００３６】以上の画像処理を実行した後にＣＰＵ１７
は、ディジタルスチルカメラ１の操作者が撮影ボタンを
押した時点、もしくは外部インターフェース２８に接続
された外部機器から制御された時点などにおける画像
（フレーム）を処理データバッファ２６ｂから読出し、
一時記憶データバッファ２６ｃを利用して、例えばＤＣ
Ｔ（離散コサイン変換）やウェーブレット変換などを用
いたＪＰＥＧ圧縮の高能率符号化処理などのソフトウェ
ア処理を施し、そしてその処理データを上記メモリカー
ド２７や外部インターフェース２８に接続した外部機器
などの記憶媒体３０に格納し保存する（ステップ１
２）。

【００３７】このように本実施の形態１によれば、原画
像データを一旦圧縮して主メモリ２６に格納し、その圧
縮データを伸長しながら読み出してＲＰＵ１４で実時間
画像処理を実行しているから、主メモリ２６のバッファ
領域を減らすことが可能となる。このためＣＣＤ１２の
画素数に合わせて主メモリ２６のサイズなどを最小化
し、バッファ領域を最適化することが可能となる。

【００３８】また、図４に示すように本実施の形態では
さらに、圧縮手段３１Ａおよび伸長手段３１Ｂを備えた
画像圧縮伸長回路９と主メモリ２６との間、およびＲＰ
Ｕ１４と主メモリ２６との間のデータ転送は、ＣＰＵ１
７を介さずにＤＭＡコントローラ２４で制御されるＤＭ
Ａ方式で実行されるのが望ましい。

【００３９】実施の形態２．上記実施の形態１に係る画
像処理回路は特にインターレース方式で駆動される撮像
素子に対して有効である。図５は、上記実施の形態１に
係る画像処理回路をインターレース方式のＣＣＤ１２に
適用した、実施の形態２に係る画像処理回路による画像
信号処理の流れを示すブロック図である。

【００４０】図示するように、先ず、ＣＣＤデータとし
て１画面を構成する奇数ラインのみからなる奇数フィー
ルドと偶数ラインのみからなる偶数フィールドとの一方
のフィールド（以下、第１フィールドと呼ぶ。）が上記
アナログ信号処理回路１３でＡ／Ｄ変換された後に上記
画像圧縮伸長回路９の圧縮手段３１Ａで圧縮され、この
圧縮データはＤＭＡコントローラ２４の制御により画像
圧縮伸長回路９から主メモリ２６に設けた原画像データ
バッファ２６ａに向けてＤＭＡ方式で直接転送され格納
される（ステップ２０）。

【００４１】次に、前記第１フィールドを原画像データ
バッファ２６ａに格納した後に、他方のフィールド（以
下、第２フィールドと呼ぶ。）の画素データが上記アナ
ログ信号処理回路１３でＡ／Ｄ変換された後にＲＰＵ１
４に順次入力すると共に、前記第１フィールドの圧縮デ
ータが原画像データバッファ２６ａから画像圧縮伸長回
路９の伸長手段３１Ｂに向けてＤＭＡ方式で転送されて
読み出される。ＲＰＵ１４は、伸長手段３１Ｂで伸長さ
れた第１フィールドを前記第２フィールドと同期させて
読出し、上記した実時間画像処理を実行して、その処理
データをＤＭＡ方式で主メモリ２６の処理データバッフ
ァ２６ｂに直接転送し格納させる（ステップ２１）。

【００４２】以上のようにＲＰＵ１４で実時間画像処理
を受け処理データバッファ２６ｂに格納された画像デー
タは、指令を受けた時点でＣＰＵ１７に読み出される。
ＣＰＵ１７は一時記憶データバッファ２６ｃを利用して
ＪＰＥＧ圧縮処理などのソフトウェア処理を施し、そし
てその処理データを上記メモリカード２７や外部インタ
ーフェース２８に接続した外部機器などの記憶媒体３０
に格納し保存する（ステップ２２）。

【００４３】このように、第１フィールドのデータ（１
／２フレーム分）は圧縮された状態で主メモリ２６に格
納されるから、主メモリ２６のバッファ領域を節減でき
ると共に、圧縮伸長手段３１Ａ，３１Ｂと主メモリ２６
との間のデータ転送はＤＭＡ方式でなされ、第２フィー
ルドの読出し期間中に、ＲＰＵ１４で第１フィールドと
第２フィールドに対して画素補間処理、色変換処理およ
び輪郭強調処理などの実時間画像処理を実行できるた
め、第２フィールドの読出しが終了した瞬間にその実時
間画像処理を効率良く終了させることが可能となる。こ
のため撮像した画像を時間の遅延を殆ど感じさせること
無くＬＣＤ２３でファインダー表示させることが可能と
なる。

【００４４】尚、ＣＣＤ１２などの撮像素子で撮像した
画像信号に対して上記実時間画像処理を行う場合、例え
ば画素補間処理において偶数ラインと偶数ラインとを含
む３〜５ラインの画素データを参照し一括処理する必要
がある。このため、インターレース方式のＣＣＤに対し
て上記実時間処理を行う場合には、従来はＲＰＵ１４に
１フィールド分のラインメモリを用意していたが、この
ラインメモリの回路全体に占める割合は非常に大きく、
装置の小型軽量化に合致しないものであり、またライン
メモリを制限すれば処理可能な画素数が小さく制限され
てしまう。本実施の形態では、主メモリ２６に格納した
データをＲＰＵ１４にＤＭＡ方式で直接転送して実時間
画像処理するから、ＲＰＵ１４に１フィールド分のライ
ンメモリを用意する必要が無く、また主メモリ２６の容
量のため処理可能な水平画素数の制限を受け難いという
利点がある。

【００４５】実施の形態３．次に、図６は、本発明の実
施の形態３に係る画像処理回路による画像信号処理の流
れを示すブロック図である。

【００４６】図示するように、ＣＣＤデータは上記アナ
ログ信号処理回路１３でＡ／Ｄ変換された後に画像圧縮
伸長回路９の分割手段３２に入力し、リアルタイムで複
数のブロックに分割される（ステップ３０）。このと
き、入力画像信号の１フレームは、ＲＰＵ１４で処理可
能な複数ラインを一単位としてもしくは１ラインを一単
位として分割されてもよいし、また１フレームを垂直お
よび水平方向の升目で複数に分割した分割画像（タイ
ル）を一単位としてもよい。

【００４７】このような画像データは上記圧縮手段３１
Ａにおいてエントロピー符号化処理などでブロック単位
で圧縮されて主メモリ２６の原画像データバッファ２６
ａに転送されて格納される（ステップ３１）。この圧縮
データの転送は上述のＤＭＡ方式で画像圧縮伸長回路９
から主メモリ２６に直接なされてもよい。次に、原画像
データバッファ２６ａに格納した圧縮データは上記伸長
手段３１Ｂに転送されてブロック単位で伸長され、その
伸長データの画素データがＲＰＵ１４に順次出力され、
上記した実時間画像処理が実行される。そのＲＰＵ１４
での処理したデータは、主メモリ２６の処理データバッ
ファ２６ｂに出力転送されてフレーム単位で格納される
（ステップ３２）。

【００４８】そして、ＣＰＵ１７は、指令を受けた時点
における画像（フレーム）を処理データバッファ２６ｂ
から読出し、一時記憶データバッファ２６ｃを利用して
ＪＰＥＧ圧縮処理などのソフトウェア処理を実行し、そ
の処理データを上記メモリカード２７や外部インターフ
ェース２８に接続した外部機器などの記憶媒体３０に格
納し保存する（ステップ３３）。

【００４９】このように本実施の形態３では、ブロック
単位で圧縮伸長処理を行うから、或るブロックで欠陥が
発見されても当該ブロックのみに当該欠陥の影響を抑え
ることが可能となる。

【００５０】実施の形態４．図７は、上記実施の形態３
を改良した実施の形態４に係る画像処理回路による画像
信号処理の流れを示す概略ブロック図である。本実施の
形態は、圧縮手段３１Ａの接続先を分割手段３２および
ＣＰＵ１７の何れか一方に切り換えるセレクタ３３と、
伸長手段３１Ｂで伸長されたブロックの欠陥検査とその
欠陥補正をソフトウェア処理で実行するＣＰＵ１７とを
備えていることが特徴である。

【００５１】図示するようにＡ／Ｄ変換されたＣＣＤデ
ータは画像圧縮伸長回路９の分割手段３２に入力し、前
述の通りリアルタイムで所定のビット長の複数のブロッ
クに分割される（ステップ４０）。分割された画像信号
はセレクタ３３を介して上記圧縮手段３１Ａに入力し、
エントロピー符号化処理などによりブロック単位で圧縮
され、主メモリ２６の原画像データバッファ２６ａに転
送されて一時的に格納される（ステップ４１）。

【００５２】次に、原画像データバッファ２６ａに格納
された圧縮データは伸長手段３１Ｂに転送されて伸長さ
れる。ここでＣＣＤなどの撮像素子の欠陥画素は、製造
工程またはその後工程におけるテストで事前に判明して
おり、その欠陥画素アドレスはディジタルスチルカメラ
１の中の不揮発性メモリや主メモリ２６などに書き込ま
れている。ＣＰＵ１７は、所要のソフトウェアプログラ
ムを用いて前記不揮発性メモリなどを参照し、伸長され
たブロックを読み出し欠陥画素データを含むブロックを
検出すると当該ブロックの欠陥画素データを補正する。
次いでＣＰＵ１７はセレクタ３３を制御して圧縮手段３
１ＡとＣＰＵ１７とを接続させ、補正後のブロックを圧
縮手段３１Ａに出力して主メモリ２６の原画像データバ
ッファ２６ａに転送させて格納させる。

【００５３】ＣＣＤ１２の欠陥画素補正では、画像中に
欠陥画素が含まれていた場合は、例えばこの欠陥画素と
同じ色成分として１段階前に入力された正常な画素デー
タで欠陥画素データを置き換えて補充する手法がある。
通常のＣＣＤ１２は１フレーム中に数百万画素を有する
ので、稀に欠陥画素が発生してもこのような比較的簡単
な方法で欠陥画素を置き換えて補充することで十分に肉
視に耐え得る画像を得ることができる。

【００５４】その後、欠陥が補正された正常なブロック
が伸長手段３１Ｂで伸長されると、その伸長された画素
データが順次ＲＰＵ１４に出力され上記した実時間画像
処理を施された後に、処理データバッファ２６ｂに転送
されフレーム単位で格納される（ステップ４２）。続く
処理は上記実施の形態２で説明した上記ステップ３３の
処理内容と同様である。

【００５５】本実施の形態では、ブロック単位で欠陥画
素データを補正することが可能であり、高品位の画像を
ファインダーなどに高速に表示し且つ記憶媒体に保存す
ることが可能となる。

【００５６】実施の形態５．次に、図８は、上記実施の
形態３を改良した実施の形態５に係る画像処理回路によ
る画像信号処理の流れを示す概略ブロック図である。本
実施の形態では、Ａ／Ｄ変換されたＣＣＤデータは画像
圧縮伸長回路９の分割手段３２Ａに入力し、リアルタイ
ムでライン毎に分割される（ステップ５０）。次に、分
割された画像信号は圧縮手段３１Ａでライン毎に圧縮さ
れた後に、ＣＰＵ１７またはＤＭＡコントローラ２４の
制御により主メモリ２６の原画像データバッファ２６ａ
に転送されて格納される（ステップ５１）。

【００５７】次に、原画像データバッファ２６ａに格納
した圧縮データは伸長手段３１Ｂに転送されてライン毎
に伸長され、この伸長データは画像圧縮伸長回路９の欠
陥検出手段３４でライン毎に欠陥検出処理を施される。
欠陥検出手段３４がラインに圧縮伸長時に生じた欠陥を
検出しない場合は、セレクタ３５はＲＰＵ１４と伸長手
段３１Ｂとを接続しているから伸長データは伸長手段３
１ＢからＲＰＵ１４に転送されるが、欠陥検出手段３４
がラインに欠陥を検出した場合は、セレクタ３５を制御
してＲＰＵ１４と当該ラインの前のラインのデータを格
納したラインメモリなどとの間に接続を切り換えさせ、
当該ラインに替えて前のラインのデータをＲＰＵ１４に
出力させる（ステップ５２）。これによりライン単位で
欠陥画素データを検出して補正し、高品位の画像をファ
インダーなどに高速に表示し且つ記憶媒体に保存するこ
とが可能となる。

【００５８】尚、本実施の形態５は上記ＣＣＤデータを
ライン単位で分割しライン単位で欠陥検出処理を行うも
のであったが、この代わりにＣＣＤデータをブロック単
位に分割しブロック単位で欠陥検出を行うものでも構わ
ない。

【００５９】実施の形態６．上記実施の形態１〜５にお
いてＡ／Ｄ変換されたＣＣＤデータを上記圧縮手段３１
Ａで圧縮する前に、画素データの画素値の差分値を算出
してデータを圧縮させることが望ましい。図９（ａ）
は、本発明の実施の形態６に係る差分圧縮方法を説明す
るための概略図、同図（ｂ）はその差分圧縮を実現する
構成例を示す概略ブロック図である。図９（ｂ）に示す
通り、上記アナログ信号処理回路１３でＡ／Ｄ変換され
たＣＣＤデータは差分値算出手段４１に入力し、フレー
ムを構成する各ラインにおいて時間軸に沿って隣接する
画素の画素値の差分値を算出することで差分データに変
換される。すなわち、図９（ａ）に示す通り、差分値算
出手段４１は、１ラインのＣＣＤデータ４０を構成する
画素４０₁，４０₂，４０₃，…の隣接する２画素４０₁と
４０₂、２画素４０₂と４０₃、２画素４０₃と４０₄、…
間でそれぞれ同一色成分の画素値の差分値を算出し差分
データを生成する。次に、圧縮手段３１Ａでこのような
差分データに対してエントロピー符号化処理などの可逆
符号化処理を実行し、その圧縮データが上記主メモリ２
６の原画像データバッファ２６ａに転送されて格納され
る。

【００６０】実施の形態７．また差分圧縮処理の他の例
を本発明の実施の形態７として図１０に示す。図１０
（ａ）は、実施の形態７に係る差分圧縮方法を説明する
ための概略図、同図（ｂ）は、その差分圧縮を実現する
構成例を示す概略ブロック図である。同図に示すよう
に、Ａ／Ｄ変換されたＣＣＤデータは差分値算出手段４
４に入力し、フレームを構成する各ラインにおいて時間
軸に沿った一画素おきの画素の画素値の差分値を算出す
ることで差分データに変換される。すなわち、図１０
（ａ）に示す通り、差分値算出手段４４は、１ラインの
ＣＣＤデータを構成する画素４０₁，４０₂，４０₃，…
の１画素おきの２画素４０₁，４０₃、２画素４０₂，４
０₄、２画素４０₃，４０₅，…間でそれぞれ同一色成分
の画素値の差分値を算出し差分データを生成する。次
に、圧縮手段３１Ａでこのような差分データに対してエ
ントロピー符号化処理などの可逆符号化処理を実行し、
その圧縮データが上記主メモリ２６の原画像データバッ
ファ２６ａに転送されて格納される。

【００６１】実施の形態８．差分圧縮処理のさらに他の
例を本発明の実施の形態８として図１１に示す。図１１
（ａ）は、実施の形態８に係る差分圧縮方法を説明する
ための概略図、同図（ｂ）はその差分圧縮を実現する構
成例を示す概略ブロック図である。図１１（ａ）に示す
通り、ＣＣＤデータ４０は、隣接する２ラインＬ１，Ｌ
２間の点線で対応付けた垂直方向に隣接する２画素につ
いて同一色成分の画素値の差分値Δを算出し、２ライン
Ｌ２，Ｌ３間、Ｌ３，Ｌ４間、…についても同様に差分
値を算出することで差分データに変換される。図１１
（ｂ）に示すように差分値算出手段４６は前記差分デー
タを生成し圧縮手段３１Ａで圧縮した後に主メモリ２６
に転送して原画像データバッファ２６ａに格納させる。

【００６２】実施の形態９．差分圧縮処理の他の例を本
発明の実施の形態９として図１２に示す。図１２（ａ）
は、実施の形態９に係る差分圧縮方法を説明するための
概略図、同図（ｂ）はその差分圧縮を実現する構成例を
示す概略ブロック図である。図１２（ａ）に示す通り、
ＣＣＤデータ４０は、１ラインおきの２ラインＬ１，Ｌ
３間、Ｌ２，Ｌ４間、Ｌ３，Ｌ５間、…について、点線
で示すように垂直方向に隣接する２画素の同一色成分の
画素値の差分値を算出することで、差分データに変換さ
れる。図１２（ｂ）に示すように差分値算出手段４７は
前記差分データを生成し圧縮手段３１Ａで圧縮した後に
主メモリ２６に転送して原画像データバッファ２６ａに
格納させる。

【００６３】またＣＣＤ画素上の色フィルタアレイの配
列と駆動方式に従って、上記実施の形態８に係る差分値
算出手段４６と、上記実施の形態９に係る差分値算出手
段４７との何れか一方を選択するのが望ましい。色フィ
ルタアレイの配列には各種あるが、例えばベイヤー方式
の色フィルタアレイの基本形は、色フィルタをＲ
（赤），Ｇ（緑），Ｒ，Ｇ，…の順序で配列した水平ラ
イン（奇数ライン）と、Ｇ（緑），Ｂ（青），Ｇ，Ｂ，
…の順序で配列した水平ライン（偶数ライン）とが垂直
方向に交互に並んだものである。このような場合、同一
色成分の画素は１ラインおきに現れるため、ＣＣＤが上
記プログレッシブ方式で駆動されるとき、上記実施の形
態９に係る差分値算出手段４６を選択すれば同一色成分
の画素値の差分圧縮が可能となる。またそのような色フ
ィルタアレイをもつＣＣＤが上記インターレース方式で
駆動されるとき、ＣＣＤデータとして最初に読み出され
る奇数フィールドと次に読み出される偶数フィールドと
に対してそれぞれ上記実施の形態８に係る差分値算出手
段４６を選択すれば同一色成分の画素値の差分圧縮が可
能となる。

【００６４】また、以上の実施の形態６〜９において、
原画像データバッファ２６ａに格納した圧縮データは伸
長手段３１Ｂで伸長された後にＲＰＵ１４に出力される
が、ＲＰＵ１４で上記実時間画像処理を実行する前に、
伸長手段３１Ｂで伸長した伸長データ（差分圧縮信号）
を差分圧縮前の元のデータに逆符号化する処理が実行さ
れる。

【００６５】

【発明の効果】以上の如く、本発明の請求項１に係る画
像処理回路によれば、原画像データを一旦圧縮してバッ
ファ部に格納し、その圧縮データを伸長しながら読出し
て画像処理するから、メモリのバッファ領域を減らすこ
とができる。このためＣＣＤなどの撮像素子の画素数な
どに合わせてメモリを最小化し、そのバッファ領域を最
適化することが可能となる。

【００６６】また請求項２によれば、前記第２フィール
ドの読出し期間中に、画像処理部で前記第１フィールド
および第２フィールドの実時間画像処理を実行できるか
ら、第２フィールドの読出しが終了した瞬間にその実時
間画像処理を効率良く終了させることが可能となる。こ
のため、例えば撮像した画像を時間の遅延を殆ど感じさ
せること無くファインダー表示することができる。

【００６７】また請求項３によれば、ＣＰＵを介さずに
前記圧縮手段および前記伸長手段と前記バッファ部との
間でデータを直接転送できるから、データを高速で処理
することが可能となる。特に、請求項２に係る画像処理
回路を採用し、撮像素子をインターレース方式で駆動す
る場合、前記バッファ部に格納した第１フィールドを伸
長手段にＤＭＡ方式で高速転送して伸長しつつ、第２フ
ィールドの読み出し期間中に前記画像処理部で画像処理
を効率良く実時間処理できると共に、前記バッファ部に
第２フィールドを一時格納する必要が無いためメモリ上
のバッファ領域を削減することが可能となる。

【００６８】また請求項４によれば、欠陥画素などを検
出しても当該欠陥画素を含むブロックのみを補正したり
他の正常ブロックに代替したりできるため、その影響を
最小限且つ効率的に抑えることが可能となる。

【００６９】また請求項５によれば、ブロック単位で予
め特定された欠陥画素データを検出し補正するため、欠
陥のあるブロックを効率良く補正し、高品位の画像を高
速に表示し且つ保存することが可能となる。

【００７０】また請求項６によれば、ブロック単位で欠
陥画素データを検出し欠陥のあるブロックを正常なブロ
ックに置き換えるため、欠陥のあるブロックを効率良く
補正し、高品位の画像を高速に表示し且つ保存すること
が可能となる。

【００７１】また請求項７によれば、ライン単位で欠陥
を検出し当該欠陥を効率良く補正して、高品位の被写体
画像を提供することが可能となる。

【００７２】また請求項８によれば、画像データを高能
率に符号化してバッファ領域に格納できるから、さらに
ＣＣＤなどの撮像素子の画素数などに合わせてメモリを
最小化し、そのバッファ領域を最適化することが可能と
なる。

【００７３】また請求項９〜１２によれば、画像データ
を高能率に圧縮符号化することが可能となる。

【００７４】そして請求項１３によれば、撮像素子の色
フィルタアレイの配列に合致するように、同一色成分の
画素の画素値の差分圧縮を実行することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係るデジタルスチルカメ
ラの全体構成を示す概略ブロック図である。

【図２】本発明の実施の形態に係るリアルタイム・プロ
セッシング・ユニット（ＲＰＵ）の構成例を示すブロッ
ク図である。

【図３】本発明の実施の形態１に係る画像処理回路によ
る画像信号処理の流れを示す概略ブロック図である。

【図４】実施の形態１の変形例に係る画像処理回路によ
る画像信号処理の処理の流れを示す概略ブロック図であ
る。

【図５】本発明の実施の形態２に係る画像処理回路によ
る画像信号処理の流れを示す概略ブロック図である。

【図６】本発明の実施の形態３に係る画像処理回路によ
る画像信号処理の流れを示す概略ブロック図である。

【図７】本発明の実施の形態４に係る画像処理回路によ
る画像信号処理の流れを示す概略ブロック図である。

【図８】本発明の実施の形態５に係る画像処理回路によ
る画像信号処理の流れを示す概略ブロック図である。

【図９】（ａ）は、本発明の実施の形態６に係る差分圧
縮方法を示す説明図、（ｂ）はその差分圧縮を実現する
構成例を示す概略ブロック図である。

【図１０】（ａ）は、本発明の実施の形態７に係る差分
圧縮方法を示す説明図、（ｂ）はその差分圧縮を実現す
る構成例を示す概略ブロック図である。

【図１１】（ａ）は、本発明の実施の形態８に係る差分
圧縮方法を示す説明図、（ｂ）はその差分圧縮を実現す
る構成例を示す概略ブロック図である。

【図１２】（ａ）は、本発明の実施の形態９に係る差分
圧縮方法を示す説明図、（ｂ）はその差分圧縮を実現す
る構成例を示す概略ブロック図である。

【図１３】一般的なディジタルスチルカメラの構成例を
示す概略図である。

【図１４】従来の画像信号処理の流れの例を示すブロッ
ク図である。

【符号の説明】

１ディジタルスチルカメラ９画像圧縮伸長回路１０メインバス１１光学機構

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 7/24 Ｈ０４Ｎ 9/64 Ｒ５Ｃ０７３ 9/64 101:00 ５Ｃ０７８ // Ｈ０４Ｎ 101:00 7/13 ＺＦターム(参考） 5C021 PA12 PA38 PA72 PA79 PA85 XA03 XA34 XA67 XB03 YA06 5C022 AA13 AC31 AC69 5C024 BX01 CX22 CX35 DX04 DX07 HX23 HX58 5C059 KK08 MA00 SS15 UA02 UA05 UA37 UA38 5C066 AA01 BA20 CA01 DC06 DD01 DD07 EC02 EC03 EC05 EC12 HA02 KC07 KD04 KE09 KE17 KF05 KM02 5C073 AA03 BB02 BD02 CE01 5C078 BA42 CA01 DB13

Claims

【特許請求の範囲】

【請求項１】撮像素子で撮像した原画像データを画像
処理する画像処理回路であって、前記原画像データをＡ／Ｄ変換したデジタル画像データ
を圧縮する圧縮手段と、前記圧縮手段から転送された圧縮データを一時的に記憶
するバッファ部と、前記バッファ部から圧縮データを読出して伸長する伸長
手段と、前記伸長手段から転送された伸長データに対して画像処
理を実行する画像処理部と、を備えることを特徴とする
画像処理回路。
【請求項２】請求項１記載の画像処理回路であって、前記撮像素子は、１画面を構成する奇数ラインのみから
なる奇数フィールドと偶数ラインのみからなる偶数フィ
ールドとを時間的に異なるタイミングで読出すインター
レース方式で駆動されており、前記バッファ部は前記奇数フィールドと前記偶数フィー
ルドのうち最初に出力される第１フィールドの圧縮デー
タを前記圧縮手段から転送されて格納しておき、前記画像処理部は、他方の第２フィールドの入力と同期
させて前記バッファ部に格納した前記第１フィールドを
読出し、前記第１および第２フィールドに対して実時間
の画像処理を実行する、画像処理回路。
【請求項３】請求項１または２記載の画像処理回路で
あって、前記圧縮手段および前記伸長手段と前記バッファ部との
間のデータ転送がダイレクトメモリアクセス方式で制御
される、画像処理回路。
【請求項４】請求項１〜３の何れか１項に記載の画像
処理回路であって、前記デジタル画像データをブロック
に分割して前記圧縮手段に出力する分割手段をさらに備
え、前記圧縮手段および前記伸長手段は前記ブロック単位で
圧縮および伸長処理を実行する、画像処理回路。
【請求項５】請求項４記載の画像処理回路であって、
前記伸長手段で伸長した伸長データのうち予め特定され
た欠陥画素データを含むブロックを検出し、当該欠陥画
素データを補正したブロックを前記圧縮手段に出力する
手段をさらに備える画像処理回路。
【請求項６】請求項４記載の画像処理回路であって、
前記伸長手段で伸長した伸長データを前記画像処理部に
出力する前に欠陥検査し、検出された欠陥画素データを
もつブロックを正常なブロックに置き換えて前記圧縮手
段に出力する欠陥検査補正手段をさらに備える画像処理
回路。
【請求項７】請求項４〜６の何れか１項に記載の画像
処理回路であって、前記分割手段は前記デジタル画像を
ライン単位でブロックに分割する、画像処理回路。
【請求項８】請求項１〜７の何れか１項に記載の画像
処理回路であって、前記圧縮手段で前記デジタル画像デ
ータを圧縮する前に、当該デジタル画像データの画素値
の差分値を算出し、その差分データを前記圧縮手段に出
力する差分値算出手段をさらに備える画像処理回路。
【請求項９】請求項８記載の画像処理回路であって、
前記差分値算出手段は時間軸に沿って隣接する画素の画
素値の差分値を算出する、画像処理回路。
【請求項１０】請求項８記載の画像処理回路であっ
て、前記差分値算出手段は時間軸に沿った１画素おきの
２画素の画素値の差分値を算出する、画像処理回路。
【請求項１１】請求項８記載の画像処理回路であっ
て、前記差分値算出手段は前記デジタル画像データの２
ラインの垂直方向に隣接する２画素の画素値の差分値を
算出する、画像処理回路。
【請求項１２】請求項８記載の画像処理回路であっ
て、前記差分値算出手段は前記デジタル画像データの１
ラインおきの２ラインの垂直方向に隣接する２画素の画
素値の差分値を算出する、画像処理回路。
【請求項１３】請求項８記載の画像処理回路であっ
て、前記撮像素子の駆動方式に合わせて、請求項１１記
載の差分値算出手段と請求項１２記載の差分値算出手段
との何れか一方が選択される、画像処理回路。