JP2001186455A - デジタル画像処理装置及びデジタル画像処理方法。 - Google Patents

Abstract

(57)【要約】 【課題】 従来の画像処理装置を有するデジタルスチル
カメラでは、連写を行う際には、撮影した複数の画面の
データを画面数分の複数のバッファメモリに格納し、す
べてのバッファメモリに画像データが格納されたら連写
を中断して１画面ずつ順次信号処理を行なってメモリカ
ードに記録するため、一連の連写を行なった後、次に連
写が可能になるまでに時間がかかるという問題があっ
た。 【解決手段】 入出力の転送レートが同じ信号処理手段
で見かけ上連続的に信号処理を行ない、信号処理の完了
したデータをバッファメモリに蓄積する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明はデジタルスチルカ
メラにおける画像処理装置および画像処理方法に関する
ものであり、特に連写機能を有し、一連の連写を行なっ
た後、次の一連の連写が可能になるまでの時間が短いデ
ジタルスチルカメラにおける画像処理装置および画像処
理方法に関するものである。

【０００２】

【従来の技術】図１６は特開平２−２４８１８６に記載
されたデジタルスチルカメラにおける画像処理装置の図
であり、図において、１００１は撮像素子、１００２は
この撮像素子の出力に対して増幅、ホワイトバランス調
整、γ補正等の処理を行なう前処理回路、１００３はア
ナログ信号であるこの前処理回路１００２の出力をデジ
タル信号に変換するＡ／Ｄ変換器、１００４はデジタル
スイッチＡであり、上記Ａ／Ｄ変換器の出力を複数のバ
ッファメモリ１００５のいずれかに選択的に転送する。
このバッファメモリ１００５はそれぞれが１画面分のデ
ータ容量を有するフレームメモリである。１００６はデ
ジタルスイッチＢでありいずれかの上記バッファメモリ
１００５の出力を選択的に信号処理ブロック１００７に
転送する。この信号処理ブロック１００７はバッファメ
モリ１００５から受け取った信号を輝度信号と色差信号
に変換し、メモリカード１００８に記録する。

【０００３】以上の構成を有するデジタルスチルカメラ
において、連写時には撮像素子１００１から連続的に取
り込まれた画像データが前処理回路１００２、Ａ／Ｄ変
換器１００３により連続的に処理され、デジタルデータ
化される。そしてデジタルスイッチＡ１００４が次々と
切り換わり、図１７に示したように、１画面分ずつの画
像データをバッファメモリ１００５に格納していき、す
べてのバッファメモリ１００５に画像データが格納され
た時点で連写は一旦中断される。次いで、デジタルスイ
ッチＢ１００６が最初のバッファメモリ１００５を信号
処理ブロック１００７に接続し、最初のバッファメモリ
１００５内の画像データが読み出され、信号処理ブロッ
ク１００７で処理されてメモリカード１００８に記録さ
れる。以後、デジタルスイッチＢ１００６が次々と切り
換わりそれぞれのバッファメモリ１００５内の画像デー
タの信号処理ブロック１００７での処理とメモリカード
１００８への記録が行われ、すべてのバッファメモリ１
００５内の画像データの処理と記録が完了した段階で、
連写が再開される。図１７では連写、バッファメモリ書
込みおよび読み出し、信号処理、メモリカード書込みの
各動作の間の時間遅れは省略して示してある。

【０００４】

【発明が解決しようとする課題】上記のように、従来の
画像処理装置を有するデジタルスチルカメラでは、連写
を行う際には、撮影した複数の画面のデータを画面数分
の複数のバッファメモリに格納し、すべてのバッファメ
モリに画像データが格納されたら連写を中断して１画面
ずつ順次信号処理を行なってメモリカードに記録するた
め、一連の連写を行なった後、次に連写が可能になるま
でに時間がかかるという問題があった。

【０００５】また連写可能な枚数がバッファメモリの数
で制限されてしまうので、連写可能枚数を増やすために
はバッファメモリの数を増やさなければならないという
問題があった。

【０００６】この発明は上記のような問題を解決するた
めになされたものであり、１回の一連の連写を行なった
後、次の一連の連写が可能になるまでの時間を短縮でき
るデジタルスチルカメラにおける画像処理装置を得るこ
とを目的とする。

【０００７】

【課題を解決するための手段】この発明に係るデジタル
画像処理装置は、

【０００８】またこの発明に係るデジタル画像処理装置
は、上記撮像素子は、それぞれがいずれか１つの原色情
報をアナログ画像データとして出力するＸ個の画素から
なるラインが複数集合してなり、上記アナログ画像デー
タを１クロック動作で１画素分ずつ各ラインの一端から
出力する動作を各ラインに関して順次繰り返し、上記Ａ
／Ｄ変換器は上記アナログ画像データを順次デジタル化
して各画素毎に１つの原色のＮビットのデジタル画像デ
ータに変換し、１クロック動作で１画素分ずつ該Ａ／Ｄ
変換器の出力端に接続されたＮビット幅の外部バスに出
力し、上記所定の転送レートは１クロック動作でＮビッ
トを転送する速度であり、上記信号処理手段は、上記外
部バスからＭクロック動作で転送されるＮ×Ｍビットの
デジタル画像データを蓄積し、該Ｎ×Ｍビットのデジタ
ル画像データをＮ×Ｍビット幅の内部バスに１クロック
動作で出力するするバス幅変換手段と、上記内部バスに
接続されたＸ×Ｎビットの容量を有するラインメモリで
あって、上記ラインの端部からＭ個毎の画素に対応し、
ライン端部からの番号を付された容量Ｎ×Ｍビットの複
数のブロックに分割されたＰ個（Ｐ＝Ｍ−６）のライン
メモリと、上記ラインメモリとＮ×Ｍビット幅のバスで
接続され、それぞれＮ×Ｍビットの容量を有して上記ブ
ロックから上記Ｍ個の画素のデジタル画像データを１ク
ロック動作で順次転送され格納する（Ｐ＋１）個のレジ
スタと、１個のレジスタ内の各画素が有しない原色情報
を他のレジスタに格納された画素のデジタル画像データ
から１クロック動作で補間生成し、該補間処理されたレ
ジスタ内の各画素の原色情報を各色毎に１クロック動作
で出力する補間生成手段を有するものである。

【０００９】またこの発明にかかるデジタル画像処理装
置は、上記撮像素子のフィルタ構成はＲＧＢモザイクカ
ラーフィルタであり、上記信号処理手段は上記撮像素子
の偶数行目のラインのデジタル画像データを上記Ａ／Ｄ
変換器から転送される際は、ラインの最初の画素のデジ
タル画像データを破棄し、上記信号処理手段はさらに上
記（Ｐ＋１）個のレジスタの右端部の画素データを保持
する（Ｐ＋１）個の画素データ保持手段を有し、上記補
間生成手段は、上記補間処理において各レジスタの左端
部の画素データに対しての補間処理は上記画素データ保
持手段に保持されたデジタル画像データを使用するよう
にしたものである。

【００１０】またこの発明にかかるデジタル画像処理方
法は、上記信号処理手段の動作は下記の（１）から
（７）のステップを有するようにしたものである。 （１）撮像素子の端部からＰ行めまでのラインのデジタ
ル画像データを上記Ｐ個のラインメモリに転送するとと
もに、上記ブロックの番号を指定するブロック指定番号
を１に設定する初期設定ステップ； （２）各ラインメモリの上記ブロック指定番号により指
定されるＰ個のブロック内のデジタル画像データを、上
記レジスタの内のＰ個に１クロック動作当たり１ブロッ
ク計Ｐクロック動作でコピーする転送ステップ； （３）上記内部バスから１クロック動作でＮ×Ｍビット
のデジタル画像データを取り込み、上記ブロック指定番
号により指定されるブロックの内で書き込み後最も経過
時間が長いブロックに上書きする書込みステップ； （４）上記書込みステップでブロックに上書きされたＮ
×Ｍビットのデジタル画像データを上記転送ステップで
画素群データの転送を受けなかったレジスタに１クロッ
ク動作でコピーするコピーステップ； （５）上記（Ｐ＋１）個のレジスタの内の１個のレジス
タ内の画素に対して、各画素が有しない原色情報を他の
レジスタ内のデジタル画素データにより１クロック動作
で補間生成し、各画素毎に３原色の情報を有する補間処
理済みデータを生成する補間処理ステップ； （６）上記補間処理ステップにおいて生成された補間処
理済みデータの３原色を各色毎に１クロック動作計3ク
ロック動作で出力する出力ステップ； （７）上記ブロック指定番号をインクリメントし、該イ
ンクリメントしたブロック指定番号が１ラインのブロッ
ク数を超えない場合はそのまま上記転送ステップに戻
り、インクリメントしたブロック指定番号が１ラインの
ブロック数を超える場合はブロック指定番号を１に設定
して上記転送ステップに戻る判定ステップ。

【００１１】

【発明の実施の形態】実施の形態１．実施の形態１を図
１から図１５を用いて説明する。図について説明する
と、図１はこの実施の形態によるデジタルスチルカメラ
の画像処理装置の構成図、図２はこの画像処理装置にお
ける信号処理手段の詳細構成図、図３はデジタルスチル
カメラの画素の１単位を示す図、図４はＲＧＢモザイク
カラーフィルタを示す図、図５はこの実施の形態におけ
る画素群の分割の仕方を示す図、図６はこの実施の形態
における画素群毎の補間手順を示す図、図７および図８
はこの実施の形態における各ブロックの左右端部の画素
の補間を説明する図、図９から図１１はこの実施の形態
における画素群毎の補間手順を示す図、図１２はこの実
施の形態における信号処理手段の動作を示すタイミング
チャート、図１３はこの実施の形態において奇数行の補
間を行なう場合の説明図、図１４はこの実施の形態にお
いて偶数行の補間を行なう場合の説明図、図１５はこの
実施の形態におけるデジタルスチルカメラにおける画像
処理のタイミングチャートである。

【００１２】構成を説明する。図１において、１は撮像
素子、２はこの撮像素子１の出力であるアナログ画像デ
ータに対してホワイトバランス調整、欠陥画素補正等の
周知の処理を行なう前処理回路、３はアナログ画像デー
タであるこの前処理回路２の出力を撮像素子１の各画素
に対応したデジタル画像データに変換するＡ／Ｄ変換
器、４はこのＡ／Ｄ変換器３の出力に対して補間処理等
の信号処理を行い輝度信号および色差信号に変換する信
号処理手段、５は撮影時にユーザが押下するシャッタボ
タン、６はこのシャッタボタン５による画像記録を制御
するシャッタ制御ブロック、７はこのシャッタ制御ブロ
ックにより制御され画像記録時に導通するバススイッ
チ、８は上記信号処理ブロック４の出力データである信
号処理済みデータを圧縮しＪＰＥＧフォーマットに変換
する圧縮ブロック、９はデジタルスイッチＡであり、上
記圧縮ブロック８の出力を複数のバッファメモリ１０の
いずれかに選択的に転送する。このバッファメモリ１０
はそれぞれが１画面分のデータ容量を有するフレームメ
モリである。１１はデジタルスイッチＢであり、いずれ
かの上記バッファメモリ１０の出力を選択的にフラッシ
ュメモリ１２に書き込む。

【００１３】上記デジタルスイッチＡ９、デジタルスイ
ッチＢ１１、フラッシュメモリ１２がそれぞれこの発明
における第１のデータ書込み手段、第２のデータ書込み
手段、画像データ記憶手段である。

【００１４】上記撮像素子１はこの実施の形態において
は横１６００×縦１２００画素を有するものとする。ま
たＡ／Ｄ変換器３からフラッシュメモリ１２に至るデジ
タル信号伝送用のバスは、図１に明示されている部分は
すべて１０ビット幅であり、以下に説明するように信号
処理ブロック４の内部においてのみ８０ビット幅のバス
が使用されている。さらに図１の画像処理装置は図示し
ていない水晶発振子から生成されるクロックに同期し
て、図示していない制御手段の制御により動作する。

【００１５】図２の信号処理手段４の内部構成図におい
て、１０１はＡ／Ｄ変換器３とこの信号処理手段４を接
続する入力側バスであり、前述の通りこのバス幅は１０
ビットである。１０２はこの信号処理手段４全体を制御
する制御手段、１０３はバス幅変換手段Ａ、１０４は幅
８０ビットの内部バスであり、このバス幅変換手段Ａ１
０３は上記入力側バス１０１から１クロック毎に１０ビ
ットずつ転送されて来るデータを８クロック分蓄積し、
蓄積した８０ビットを１クロックで上記内部バス１０４
に送り出す。１０５は画面の１ライン分のデータを蓄積
するラインメモリを複数有するラインメモリユニットで
あり、ここでは２本のラインメモリからなるものとす
る。１０６は上記内部バス１０４と上記ラインメモリユ
ニット１０５を接続する８０ビット幅のデータバスａ、
１０７は画像データ蓄積用のレジスタを有し、上記ライ
ンメモリユニット１０５から転送される部分画像データ
により各画素に対してデータの補間処理を行なう補間処
理手段、１０８は上記内部バス１０４と上記補間処理手
段１０７を接続する８０ビット幅のデータバスｂ、１０
９、１１０、１１１はそれぞれ上記補間処理手段１０７
から転送される８０ビット幅の３原色信号であるＲ信
号、Ｇ信号、Ｂ信号を一旦蓄積し、１０ビット幅のバス
を通して１０ビットずつＲ信号バッファ１１２、Ｇ信号
バッファ１１３、Ｂ信号バッファ１１４に転送するバス
幅変換手段Ｒ、バス幅変換手段Ｇ、バス幅変換手段Ｂで
ある。１１５は上記Ｒ信号バッファ１１２、Ｇ信号バッ
ファ１１３、Ｂ信号バッファ１１４から１０ビット幅の
バスを通して１０ビットずつ転送されるＲ信号、Ｇ信
号、Ｂ信号から周知のγ補正、階調補正、色変換等の周
知の画像処理を行ない、輝度信号と色差信号を生成する
後処理手段であり、この後処理手段１１５の出力は１ク
ロックで１画素分１０ビットずつ１０ビット幅のバスに
よりバススイッチ７に転送される。

【００１６】次に動作を説明する。まずユーザがシャッ
タボタン５を押下すると撮影が開始され、撮像素子１が
画像情報を取り込む。撮像素子１は各画素が３原色のＲ
（赤）、Ｇ（緑）、Ｂ（青）のいずれかに対応してお
り、その配列は図３のように２行２列計４個の画素の
内、Ｇが２個、Ｒ、Ｂが各１個であるものを１単位と
し、この単位の行方向および列方向への繰り返しによっ
て図４のように構成されているものが「ＲＧＢモザイク
カラーフィルタ」として周知である。ただし上記の
「行」は画素の横方向の並び、「列」は画素の縦方向の
並びを表すものであり、今後ｉ行ｊ列の画素を「画素
（ｉ，ｊ）」と表示する。また１つの行を「ライン」と
も呼ぶ。撮像素子１の出力であるアナログ画像信号に対
して前処理回路２がホワイトバランス調整、欠陥画素補
正等の前処理を行ない、前処理済みのアナログ画像信号
をＡ／Ｄ変換器３に転送する。Ａ／Ｄ変換器３では受け
取った信号をデジタル画像データに変換して信号処理手
段４に転送するが、Ａ／Ｄ変換後の信号は図４の各画素
に対応した色の強度をそれぞれ１０ビットで表したもの
とする。そしてＡ／Ｄ変換器３と信号処理手段４の間の
バス幅が１０ビットであるため、１クロックで１画素の
データが転送されることになる。その転送の順序は画素
（１，１）からスタートし、１行目の転送を完了したら
画素（２，１）から２行目を転送するというように、１
行ずつ順に図４の左上側から右下の順に転送する。

【００１７】次いで信号処理手段４における処理につい
て説明するが、この信号処理手段４での処理は大別して
下記２つに分類できる。 （１）各画素が３原色すべての情報を有するように行な
う補間処理 （２）上記補間処理で獲得した各画素の３原色に関する
情報から輝度信号と色差信号を得る後処理。そして上記
（２）の後処理は、この実施の形態においては後処理手
段１１５が行なうが、周知の技術であるため詳細な説明
は省略し、（１）の補間処理についてのみ説明する。

【００１８】図４に示したように、Ａ／Ｄ変換器３の出
力であるデジタル画像データは各画素が１つの原色に関
する情報しか有していないが、各画素が３原色すべての
情報を有するように不足している他の２つの原色のデー
タを周囲の画素データから補間することにより生成する
のが補間処理であり、図示しない補間生成手段により実
行されるが、まずその基本的な手法について説明する。
図４において、例えば画素（２，３）はＲの情報しか有
していないので、ＧとＢに関する情報が不足している。
この内Ｇに関しては上下の画素（１，３）と（３，３）
のＧの算術平均から決定し、Ｂに関しては、画素（１，
４）と（３，２）のＢの算術平均から決定する。この場
合Ｇに関しては左右の画素（２，２）と（２，４）から
決定し、またＢに関しては逆の斜めの（１，２）と
（３，４）から決定することも可能であるが、この実施
の形態においては上記の決定法とする。また画素（２，
６）はＧに関する情報しか有していないので、ＲとＢに
関する情報が不足している。このＲに関しては左右の画
素（２，５）と（２，７）のＲの算術平均により決定
し、Ｂに関しては上下の画素（１，６）と（３，６）の
Ｂの算術平均により決定する。画素（３，５）も同じく
Ｇに関する情報しか有していないが、この場合は左右の
画素の算術平均からＢを上下の画素の算術平均からＲを
決定する。このようにＧに対しては、上下／左右２対の
画素対の一方からＲを他方からＢを補間する。次に、画
素（３，４）のＢについて、Ｇはその上下の画素（４，
２）と（６，２）の算術平均により決定し、Ｒは画素
（２、５）と（４、３）の算術平均により決定する。こ
れもＧに関しては左右の画素（３，１）と（３，３）か
ら決定し、またＲに関しては逆の斜めの画素（２，１）
と（４，３）から決定することも可能であるが、この実
施の形態においては上記の決定法とする。他の位置にあ
る各画素に関しても上記と同様に周囲の画素データを使
用して補間動作を行う。上記のように補間のためには上
下の行のデータを使用するので３行のデータが必要であ
る。この場合１行目や１列目等画像素子１の４辺の画素
は周囲の画素から補間をすることが不可能なので補間処
理を行なわないが、画面端部であるため実用上は問題が
ない。

【００１９】そしてこの実施の形態においては、図５に
示すように、補間処理手段１０７がラインメモリユニッ
ト１０５を利用しながら、１行を８画素ずつの画素群に
分割し、図６のように８画素×３行の画素を１ブロック
として中央の行の画素群を上下の行の画素群から補間す
る。ｐ行の第ｑ画素群を画素群（ｐ，ｑ）と表現する
と、画素群（ｐ，ｑ）中の各画素を画素群（ｐ−１，
ｑ）と画素群（ｐ＋１，ｑ）の画素から補間し、１つの
画素群に関して補間が完了したらｑをインクリメントし
て図６中の右側の画素群に移動し、ｑ＝２００での補間
動作が終了したらｐをインクリメントするとともにｑ＝
１にリセットして１つ下の行の第１画素群からの補間を
開始するという動作を繰り返す。

【００２０】ただし、補間処理手段１０７は各ブロック
の左右端部の画素に関して補間を行うために、以下のよ
うな操作を行なう。図７において、例えば画素（２，
８）のＧに対して、Ｒを補間するために画素（２，７）
と（２，９）のＲを使用する。また画素（３，８）のＢ
に対してＲを補間するために画素（２，９）と（４，
７）のＲを使用する。これは各ブロックの右端部におい
て共通であり、各ブロックの右端部を８Ｘ列（Ｘは自然
数）の画素で統一すると補間できない画素が生じる。そ
こで、偶数行目は１列目のＲを使用せずに、第１画素群
は２列目から９列目の画素から生成するというように画
素群を決定し、図８のように奇数行目の第Ｙ画素群（Ｙ
は２００以下の自然数）は８Ｙ−７列目から８Ｙ列目の
画素により構成し、偶数行目の第Ｙ画素群は８Ｙ−６列
目から８Ｙ＋１列目の画素により構成する。ただし偶数
行目の第２００画素群は７画素より構成される。この時
各行の２列目の画素に対する補間が不可能になるが、画
面端部であるため実用上問題はない。

【００２１】さらに、この様に生成した各ブロックの左
端の画素の補間について説明すると、例えば図７におい
て、第２画素群の画素（３，９）のＧに対するＲの補間
には画素（２，９）と画素（４，９）のＲを使用し、ま
たこの画素（３，９）のＧに対するＢの補間には画素
（３，８）と画素（３，１０）のＢを使用するので、左
側の画素群の画素に関するデータを３個保持しておくデ
ータ保持機構が必要になり、このため補間処理手段１０
７が図示しない画像データ保持用レジスタ（画素データ
保持手段）を３個保有する。図７において、第２画素群
の画素（２，１０）のＧに対する補間において使用する
第１画素群のデータは（２，９）のＲのみであるので、
上記画像データ保持用レジスタは上記の通り３個でよ
い。以上のようにブロック左端の偶数行の画素に関して
は左隣のブロックの画素情報を１個用い、ブロック左端
の奇数行の画素に関しては左隣のブロックの画素情報を
３個用いて補間する。以上のような手順により、２行か
ら１１９９行までの各行の３列から１５９９列までの画
素に対して補間を行う。

【００２２】以下補間の動作を順を追って説明する。図
２のバス幅変換手段Ａ１０３は前述のように１クロック
毎に転送されてくる１画素１０ビットのデータを８画素
分８０ビット蓄積し、この８画素分のデータを１クロッ
クで８０ビット幅の内部バス１０４に転送する。そして
まず、図９に示したラインメモリユニット１０５内の第
１ラインメモリ１０５ａ、第２ラインメモリ１０５ｂに
それぞれ画素群（１，１）〜画素群（１，２００）と画
素群（２，１）〜画素群（２，２００）のデータを蓄積
する（初期設定ステップ）。１クロックで１画素群のデ
ータが転送されるので、計４００クロックを要する。ま
た、第１ラインメモリ１０５ａと第２ラインメモリ１０
５ｂはそれぞれ１０ビットの画素を１ライン１６００画
素分蓄積する容量を有する。

【００２３】第１ラインメモリ１０５ａと第２ラインメ
モリ１０５ｂにそれぞれ１ライン分のデータが蓄積され
た後の動作を、図９と図１０および図１２のタイミング
チャートを参照しながら説明する。図１２において「Ｃ
ＬＫ」はクロックを示し、「Ｅｎａｂｌｅ１」から「Ｅ
ｎａｂｌｅ５」までは制御手段１０２がクロックに同期
して生成する信号であり、内部バス１０４に流れる信号
を制御する。第１ラインメモリ１０５ａと第２ラインメ
モリ１０５ｂにそれぞれ１ライン分のデータが蓄積され
ると、その後の６クロック目にＥｎａｂｌｅ１がＨｉｇ
ｈになり画素群（１，１）のデータが補間処理手段１０
７の第１レジスタ１０７ａに転送される。図１２におい
てこの６クロック目をで示し、以後順に，・・・
と示す。また図９、図１０中の，，・・・の数字は
図９の同じ数字のクロックのタイミングに行われる動作
であることを示している。以下各クロックにおける動作
を順に説明する。

【００２４】クロック：Ｅｎａｂｌｅ１がＨｉｇｈに
なり画素群（２，１）のデータが補間処理手段１０７の
第２レジスタ１０７ｂに転送される。この時ラインメモ
リユニット１０５は１列目の画素を転送しないで、２列
目の画素から８画素を画素群（２，１）のデータとして
転送する。以後同様にラインメモリユニット１０５は偶
数行に関しては１列目の画素を転送しないで、２列目の
画素から８画素ずつを画素群として転送する。 クロック：前回バス幅変換手段Ａ１０３からラインメ
モリユニット１０５に対して画素群（２，２００）を転
送してから８クロック目であり、バス幅変換手段Ａ１０
３にはＡ／Ｄ変換器３より画素群（３，１）の８画素分
のデータが蓄積されているので、Ｅｎａｂｌｅ２がＨｉ
ｇｈとなり、バス幅変換手段Ａ１０３から第１ラインメ
モリ１０５ａのすでに補間処理手段１０７へ転送画素さ
れている画素群（１，１）のデータにこの画素群（３，
１）のデータを上書きする。 クロック：Ｅｎａｂｌｅ１がＨｉｇｈになりこの画素
群（３，１）のデータを第１ラインメモリ１０５ａから
読み出して、補間処理手段１０７の第３レジスタ１０７
ｃに転送する。 クロック：クロックにおいて補間処理手段１０７の
３個のレジスタに画素群（１，１）、（２，１）、
（３，１）のデータが格納されたので、画素群（２，
１）の補間処理を行なう。この補間処理はこのクロック
の１クロックの間に完了し、補間処理が完了した各画
素はＲ、Ｇ、Ｂについてそれぞれ１０ビットずつ、計３
０ビットのデータ量となる。 クロック：Ｅｎａｂｌｅ３がＨｉｇｈになりクロック
の補間処理において生成された画素群（２，１）の８
画素分のＲ成分８０ビットをバス幅変換手段Ｒ１０９に
転送する。内部バス１０４の幅は８０ビットであるので
１クロックで転送が完了する。 クロック：同様に：Ｅｎａｂｌｅ４、５がＨｉｇｈ
になりクロックの補間処理において生成された８画素
分８０ビットのＧ成分およびＢ成分をバス幅変換手段Ｇ
１１０、バス幅変換手段Ｂ１１１に転送する。クロック
と同様にそれぞれ１クロックで転送が完了する。この
時点で、図７により説明したように、補間処理手段１０
７は画素群（２，２）の補間時に使用するため画素群
（２，１）の中の画素（２，９）のデータを図示してい
ない画像データ保持用レジスタ（画像データ保持手段）
に保持している。

【００２５】上記クロックまでで画素群（２，１）の
補間処理が完了したので、次に画素群（２，２）の補間
処理を行なう。この時点がこの発明における判定ステッ
プに相当し、次に処理する画素群の列数が２００を超え
ていないので、次の列の画素群の処理を行なう。この
後、図１０に示したように上記画素群の位置が１つ右に
シフトしたのみでクロック〜(16)は上記クロック〜
と同様の動作を繰り返す。この内、クロック(13)で生
成された８画素分のＲ成分をバス幅転送手段Ｒ１０９に
転送するクロック(14)は前回８０ビットのＲ成分をバス
幅変換手段Ｒ１０９に転送したクロックから８クロッ
ク経過している。バス幅変換手段Ｒ１０９からは１クロ
ック１０ビットずつ１０ビット幅のバスを経由してＲ信
号バッファ１１２に転送されるので、この８クロック間
でバス幅変更手段Ｒ１０９からのデータの転送は完了
し、クロック(14)でバス幅変更手段Ｒ１０９からの転送
が完了すると同時に補間処理手段１０７からバス変換手
段Ｒ１０９への転送が行なわれる。これはクロック(15)
(16)でのＧ信号転送、Ｂ信号転送に関しても同様であ
り、バス幅変換手段Ｇ１１０、バス幅変換手段Ｂ１１１
からのデータ転送が完了すると同時に補間処理手段から
Ｇ信号、Ｂ信号の転送が行なわれる。

【００２６】上記クロックがこの発明における転送
ステップ、クロックが書込みステップ、クロックが
コピーステップ、クロックが補間処理ステップ、クロ
ックが出力ステップである。クロックから(16)
についても各クロックより８クロック前の上記クロック
からと同様である。

【００２７】Ｒ信号バッファ１１２、Ｇ信号バッファ１
１３、Ｂ信号バッファ１１４にそれぞれ８０ビットで転
送されたデータはさらにそれぞれ１０ビット幅のバスを
経由して８クロックで後処理手段１１５に転送され、後
処理手段１１５によって上記のように周知のγ補正、階
調補正、色変換等の周知の画像処理を行ない、１画素あ
たり１０ビットのデータを生成する。そして、この後処
理手段１１５の出力は１クロックで１画素分１０ビット
ずつ１０ビット幅のバスによりバススイッチ７に転送さ
れる。

【００２８】上記の手順を繰り返して画素群（２，１）
から画素群（２，２００）までの補間が終了するが、画
素群（２，１）のラインメモリユニット１０５からの転
送時、１列目の画素を転送せずに２列目から８画素ずつ
転送したため、画素群（２，２００）は７画素分のデー
タしかない。そこで画素群（２，２００）の末尾にはダ
ミーデータとして１画素分１０ビットのデータを付加す
る。このダミーデータの形式は任意である。以後同様に
偶数行の２００番目の画素群には末尾に１画素分１０ビ
ットのデータを付加するものとする。

【００２９】以下画素群（３，１）の補間が開始される
ので、これを図１１を用いて説明する。この説明におい
てもクロックの番号を付しているが、はＥｎａｂｌｅ
１がＨｉｇｈになるクロックであり、図１２と同様のタ
イミングチャートである。図１１の動作において上記２
行目の画素群（２，Ｎ）の補間と異なる点は、２行目の
補間においては図９、図１０に示したようにクロック
で第１ラインメモリ１０５ａから第１レジスタ１０７ａ
に転送しクロックで第２ラインメモリ１０５ｂから第
2レジスタ１０７ｂに転送し、さらにクロックでバス
幅変換手段Ａ１０３から第１ラインメモリ１０５ａに転
送したデータをクロックで第３レジスタ１０７ｃに転
送していたが、この３行目の補間においてはクロック
において第２ラインメモリ１０５ｂから第１レジスタ１
０７ａに転送し、クロックにおいて第１ラインメモリ
１０５ａから第２レジスタ１０７ｂに転送し、さらにク
ロックで第２ラインメモリ１０５ｂに転送したデータ
をクロックで第３レジスタに転送する点である。以後
のクロックからクロックの動作は共通である。

【００３０】一般に奇数行の補間を行う場合には、補間
を行うブロックのラインメモリユニット１０５でのデー
タは第１ラインメモリ１０５ａのデータの方が第２ライ
ンメモリ１０５ｂより行数が小さくクロックで第１ラ
インメモリ１０５ａから先に読み出す図９のような動作
となる。これを一般的な形で示したのが図１３であり、
ｘは奇数（１〜１１９９）、ｚは１から２００の整数、
〜は図１２のクロックと同じタイミングを示すもの
である。さらに偶数行の補間を行う場合には補間を行う
ブロックのラインメモリユニット１０５でのデータは第
１ラインメモリ１０５ａのデータの方が第２ラインメモ
リ１０５ｂより行数が大きくクロックで第２ラインメ
モリ１０５ｂから先に読み出す図１１のような動作とな
り、これを一般的な形で示すと図１４のようになる。

【００３１】以上のように、信号処理手段４には１クロ
ックで１画素分１０ビットずつのデジタルデータが入力
され、この信号処理手段４では各画素について補間処理
および後処理を行ない、信号処理手段４からは信号処理
済みデータが１クロック毎に１画素分１０ビットずつ送
り出され、バススイッチ７を経由して圧縮ブロック８に
転送され、例えばＪＰＥＧ形式に圧縮される。圧縮ブロ
ック８からも１０ビット幅のバスを使用して、１クロッ
ク毎に１０ビットずつ出力される。この出力周波数は例
えば５０ＭＨｚである。

【００３２】このデジタルスチルカメラにおいて連写が
行われた場合について、図１５を参照しながら説明する
と、撮像素子１から連続的に取り込まれたデータが信号
処理手段４による信号処理、および圧縮ブロック８によ
る圧縮が行なわれ、最終的にフラッシュメモリ１２に書
き込まれるが、１クロック毎に１０ビットずつ書き込む
とすると、フラッシュメモリ１２への書き込み周波数は
例えば２５ＭＨｚ程度であり、圧縮ブロック８の出力周
波数より低いので、バッファメモリ１０にデータが蓄積
される。バッファメモリ１０にはＲＡＭが用いられる
が、バッファメモリ１０への書き込み周波数は圧縮ブロ
ック８からの出力周波数と同一とすることが可能である
が、上記フラッシュメモリ１２への書き込みはＲＡＭへ
の書き込みより低速である。従って連写を行なった場合
は、バッファメモリ１０に圧縮データが蓄積され、連写
枚数が多くなるに従って多くのバッファメモリが使用さ
れ、すべてのバッファメモリ１０にデータが蓄積される
と連写は停止する構成となっている。

【００３３】デジタルスイッチＡ９は、圧縮ブロック８
の出力を複数あるバッファメモリ１０のいずれかに選択
的に書き込むが、１つのバッファメモリ１０には１フレ
ーム分のデータを書き込む。そしてデジタルスイッチＢ
１１は１フレーム分のデータが書き込まれたバッファメ
モリ１０から順にデータを読み出し、フラッシュメモリ
１２に書き込む。デジタルスイッチＡ９が選択している
バッファメモリ１０とデジタルスイッチＢ１１が選択し
ているバッファメモリ１０は異なっていてもよい。この
デジタルスイッチＡ９がバッファメモリ１０を選択して
書込み、デジタルスイッチＢ１１がバッファメモリ１０
からデータを読み出してフラッシュメモリ１２に書き込
む動作は信号処理手段４で画像処理を行なう動作と同時
に行なうことが可能である。そしてすべてのバッファメ
モリ１０のデータがフラッシュメモリ１２に書き込まれ
ると、再度連写が可能になる。なお図１５においては、
連写、信号処理、バッファメモリ書込み動作間の時間遅
れは省略した。また、フラッシュメモリへの書込みはバ
ッファメモリに１フレーム分のデータが蓄積された後開
始されるとした。

【００３４】以上のようにこの実施の形態においては、
信号処理手段４への入力であるＡ／Ｄ変換器３の出力と
信号処理手段４の出力の転送レートが同一であるため、
信号処理手段４の前にバッファメモリを置く必要がな
く、信号処理後にバッファメモリ１０からフラッシュメ
モリ１２に書き込むので、信号処理手段４における信号
処理と、バッファメモリ１０からデータを読み出してフ
ラッシュメモリ１２へ書き込む動作を同時に行なうこと
が可能であり、一度連写を行なってから次に連写を開始
するまでの連写待ち時間を短縮できるという効果があ
る。

【００３５】またこの実施の形態においては、信号処理
手段４はＡ／Ｄ変換器３からの出力をそのままの転送レ
ートをで受信し、同じ転送レートで出力するので信号処
理手段の前にバッファメモリを置く必要がなく、メモリ
の量を削減することが可能であるという効果がある。

【００３６】またこの実施の形態においては、信号処理
手段は１０ビット幅のバスから１クロック１０ビットず
つ入力される計８０ビットのデータを８クロック毎に１
度ずつ８０ビット幅のバスに出力するバス幅変換手段を
有し、この８０ビット幅のバスと接続され８クロックで
処理を完了するラインメモリユニット１０５と補間処理
手段１０７とからなる演算処理手段を有するので、入力
と同じく１クロック１０ビットずつ出力することが可能
であり、信号処理手段４の前にバッファメモリを置く必
要がなく、信号処理後にバッファメモリ１０からフラッ
シュメモリ１２に書き込むので、信号処理手段４におけ
る信号処理と、バッファメモリ１０からデータを読み出
してフラッシュメモリ１２へ書き込む動作を同時に行な
うことが可能であり、一度連写を行なってから次に連写
を開始するまでの連写待ち時間を短縮できるという効果
がある。

【００３７】また上記の実施の形態においては、ライン
メモリユニットは２本のラインメモリの内、片方ずつ交
互に新たに転送されてくるラインのデータを上書きする
ので、ラインメモリは２本でも３本のラインのデータを
使用して補間を行なえるという効果がある。

【００３８】なお上記実施の形態においては、信号処理
手段４の入力側バスの幅は１０ビットで内部バスは８０
ビット幅とし、演算処理は８クロックで終了する例を示
したが、入力側バスの幅、内部バスの幅、演算処理に要
するクロック数は他の値であってもよく、一般的に、入
力側バス幅をＮビット、内部バスの幅をＮ×Ｍビットと
して、演算処理に要するクロック数をＭクロックとすれ
ば、１クロックで信号処理手段に入力されるビット数と
信号処理手段から出力されるビット数を同一とすること
が可能となり、信号処理手段の前にバッファメモリを置
く必要がなくなり、信号処理後にバッファメモリ１０か
らフラッシュメモリ１２に書き込むので、信号処理手段
４における信号処理と、バッファメモリ１０からデータ
を読み出してフラッシュメモリ１２へ書き込む動作を同
時に行なうことが可能であり、一度連写を行なってから
次に連写を開始するまでの連写待ち時間を短縮できると
いう効果がある。

【００３９】また上記の実施の形態においては、１つの
画素群を８画素とし、各画素のピット数を１０ビットと
したが、１つの画素群は他の画素数からなってもよく、
また各画素のビット数は他のビット数でもよく、１つの
画素群の画素数と１画素のデータのビット数の積が信号
処理手段の内部バスの幅であればよい。

【００４０】また上記の実施の形態においては、演算処
理手段はＲ、Ｇ、Ｂいずれかの単一の原色情報各画素し
か持たない各画素に対して、その画素を含むラインと、
その上下１ラインずつ計３ラインの画素を利用して他の
原色情報を補間生成して付加する例を示したが、上下２
ラインずつ計５ラインの画素を利用して他の原色情報を
補間生成してもよく、一般に画素情報を補間される画素
を中心とした計奇数ライン数（Ｑとする）の画素を利用
して他の原色情報を補間生成すればよく、この場合、ラ
インメモリユニット１０５はラインメモリをＱ−１個備
えればよい。また補間処理手段１０７はレジスタをＱ個
備えればよい。

【００４１】

【発明の効果】以上のようにこの発明によるデジタル画
像処理装置によれば、画像データ記憶手段への書込み速
度は信号処理手段の出力の転送レートより小さくても、
信号処理手段と画像データ記憶手段の間に複数のバッフ
ァメモリを置いたので、信号処理手段における信号処理
と画像データ記憶手段への書込み動作を同時に行なうこ
とが可能であり、一度連写を行なってから次の連写を開
始するまでの連写待ち時間を短縮できるという効果があ
る。

【００４２】またこの発明によるデジタル画像処理装置
によれば、信号処理手段にＭクロックで入力された入力
がＭクロックで処理され、入力と出力の転送レートが同
じなので信号処理を見かけ上連続的に行なうことが可能
であり、データの滞留はバッファメモリのみになり、次
の連写開始までの待ち時間を短縮することが可能である
という効果がある。また、信号処理手段の前にバッフメ
モリァを置く必要がなく、メモリを削減することができ
るという効果がある。

【００４３】またこの発明によるデジタル画像処理装置
によれば、上記撮像素子の配列はＲＧＢモザイクカラー
フィルタであり、上記Ａ／Ｄ変換器は上記撮像素子の偶
数行目のラインのデジタル画像データを転送する際は、
ラインの最初の画素のデジタル画像データを転送せず、
上記信号処理手段は上記（Ｐ＋１）個のレジスタの右端
部の画素データを保持する（Ｐ＋１）個の画素データ保
持手段を有し、上記補間生成手段は、上記補間処理にお
いて各レジスタの左端部の画素データに対しての補間処
理は上記画素データ保持手段に保持されたデジタル画像
データを使用するので、ブロック端部の画素に対しても
補間処理が可能であるという効果がある。

【図面の簡単な説明】

【図１】 この発明の実施の形態１におけるデジタルス
チルカメラの画像処理装置の構成図。

【図２】 この発明の実施の形態１におけるデジタルス
チルカメラの画像処理装置における信号処理手段の詳細
構成図。

【図３】 この発明の実施の形態１におけるデジタルス
チルカメラの画素の１単位を示す図。

【図４】 ＲＧＢモザイクカラーフィルタを示す図。

【図５】 この発明の実施の形態１における画素群の分
割の仕方を示す図。

【図６】 この発明の実施の形態１における画素群毎の
補間手順を示す図。

【図７】 この発明の実施の形態１における各ブロック
の左右端部の画素の補間を説明する図。

【図８】 この発明の実施の形態１における各ブロック
の左右端部の画素の補間を説明する図。

【図９】 この発明の実施の形態１における画素群毎の
補間手順を示す図。

【図１０】 この発明の実施の形態１における画素群毎
の補間手順を示す図。

【図１１】 この発明の実施の形態１における画素群毎
の補間手順を示す図。

【図１２】 この発明の実施の形態１における信号処理
手段の動作を示すタイミングチャート。

【図１３】 この発明において奇数行の補間を行なう場
合の一般的な説明図。

【図１４】 この発明において偶数行の補間を行なう場
合の一般的な説明図。

【図１５】 この発明の実施の形態１におけるデジタル
スチルカメラにおける画像処理のタイミングチャート。

【図１６】 従来のデジタルスチルカメラにおける画像
処理装置の図。

【図１７】 従来のデジタルスチルカメラにおける画像
処理のタイミングチャート。

【符号の説明】

１ 撮像素子、 ２前処理回路、 ３ Ａ／Ｄ変換器、
４ 信号処理手、５ シャッタボタン、 ６ シャッ
タ制御ブロック、 ７ バススイッチ、 ８圧縮ブロッ
ク、 ９ デジタルスイッチＡ、 １０ バッファメモ
リ、 １１デジタルスイッチＢ、 １２ フラッシュメ
モリ、 ２１ フラッシュ制御ブロック、 １０１ 入
力側バス、 １０２ 制御手段、 １０３ バス幅変換
手段Ａ、 １０４ 内部バス、 １０５ ラインメモリ
ユニット、 １０６ データバスａ、 １０７ 補間処
理手段、 １０８ データバスｂ、 １０９ バス幅変
換手段Ｒ、 １１０ バス幅変換手段Ｇ、 １１１ バ
ス幅変換手段Ｂ、１１２ Ｒ信号バッファ、 １１３
Ｇ信号バッファ、 １１４ Ｂ信号バッファ、 １１５
後処理手段、 １００１ 撮像素子、 １００２ 前
処理回路、１００３ Ａ／Ｄ変換器、 １００４ デジ
タルスイッチＡ、 １００５ バッファメモリ、 １０
０６ デジタルスイッチＢ、 １００７ 信号処理ブロ
ック、 １００８ メモリカード。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 撮像素子と、Ａ／Ｄ変換器と、信号処理
   手段と、第１のデータ書込み手段と、複数のバッファメ
   モリと、第２のデータ書込み手段と、画像データ記憶手
   段とを有するデジタル画像処理装置であり、 上記撮像素子は、アナログ画像データを出力し、 上記Ａ／Ｄ変換器は上記アナログ画像データをデジタル
   化してデジタル画像データとして所定の転送レートで出
   力し、 上記信号処理手段は上記デジタル画像データに対して信
   号処理を行ない、上記所定の転送レートで信号処理済み
   画像データとして出力し、 上記第１のデータ書込み手段は上記信号処理済みデータ
   を受信し、上記複数のバッファメモリのいずれかを選択
   して該選択されたバッファメモリに上記信号処理済みデ
   ータを上記転送レートで所定量ずつ書き込み、 上記複数のバッファメモリは上記信号処理済みデータを
   それぞれ所定量ずつ記憶し、 上記第２のデータ書込み手段は、上記複数のバッファメ
   モリのなかから上記所定量の信号処理済みデータを格納
   されたバッファメモリを選択し、該選択したバッファメ
   モリから信号処理済みデータを読み出して、上記転送レ
   ートより遅い速度で上記画像データ記憶手段に書き込
   み、 上記画像データ記憶手段は上記転送レートより遅い速度
   での書き込みのみが可能であり、上記第２のデータ書込
   み手段により書き込まれた信号処理済みデータを記憶
   し、 上記第１のデータ書込み手段による上記選択したバッフ
   ァメモリへの信号処理済みデータの書込みと、上記第２
   のデータ書込み手段による上記選択したバッファメモリ
   からの信号処理済みデータの読み出しと画像データ記憶
   手段への書込みは同時に行なうことが可能であることを
   特徴とするデジタル画像処理装置。
2. 【請求項２】 上記撮像素子は、それぞれがいずれか１
   つの原色情報をアナログ画像データとして出力するＸ個
   の画素からなるラインが複数集合してなり、上記アナロ
   グ画像データを１クロック動作で１画素分ずつ各ライン
   の一端から出力する動作を各ラインに関して順次繰り返
   し、 上記Ａ／Ｄ変換器は上記アナログ画像データを順次デジ
   タル化して各画素毎に１つの原色のＮビットのデジタル
   画像データに変換し、１クロック動作で１画素分ずつ該
   Ａ／Ｄ変換器の出力端に接続されたＮビット幅の外部バ
   スに出力し、 上記所定の転送レートは１クロック動作でＮビットを転
   送する速度であり、 上記信号処理手段は、 上記外部バスからＭクロック動作で転送されるＮ×Ｍビ
   ットのデジタル画像データを蓄積し、該Ｎ×Ｍビットの
   デジタル画像データをＮ×Ｍビット幅の内部バスに１ク
   ロック動作で出力するするバス幅変換手段と、 上記内部バスに接続されたＸ×Ｎビットの容量を有する
   ラインメモリであって、上記ラインの端部からＭ個毎の
   画素に対応し、ライン端部からの番号を付された容量Ｎ
   ×Ｍビットの複数のブロックに分割されたＰ個（Ｐ＝Ｍ
   −６）のラインメモリと、 上記ラインメモリとＮ×Ｍビット幅のバスで接続され、
   それぞれＮ×Ｍビットの容量を有して上記ブロックから
   上記Ｍ個の画素のデジタル画像データを１クロック動作
   で順次転送され格納する（Ｐ＋１）個のレジスタと、 １個のレジスタ内の各画素が有しない原色情報を他のレ
   ジスタに格納された画素のデジタル画像データから１ク
   ロック動作で補間生成し、該補間処理されたレジスタ内
   の各画素の原色情報を各色毎に１クロック動作で出力す
   る補間生成手段を有することを特徴とする請求項１に記
   載のデジタル画像処理装置。
3. 【請求項３】 上記撮像素子のフィルタ構成はＲＧＢモ
   ザイクカラーフィルタであり、 上記信号処理手段は上記撮像素子の偶数行目のラインの
   デジタル画像データを上記Ａ／Ｄ変換器から転送される
   際は、ラインの最初の画素のデジタル画像データを破棄
   し、 上記信号処理手段はさらに上記（Ｐ＋１）個のレジスタ
   の右端部の画素データを保持する（Ｐ＋１）個の画素デ
   ータ保持手段を有し、 上記信号処理手段の補間生成手段は、上記補間処理にお
   いて各レジスタの左端部の画素データに対しての補間処
   理は上記画素データ保持手段に保持されたデジタル画像
   データを使用することを特徴とする請求項２に記載のデ
   ジタル画像処理装置。
4. 【請求項４】 請求項２に記載のデジタル画像処理装置
   におけるデジタル画像処理方法であり、上記信号処理手
   段の動作は下記の（１）から（７）のステップを有する
   ことを特徴とするデジタル画像処理方法。 （１）撮像素子の端部からＰ行めまでのラインのデジタ
   ル画像データを上記Ｐ個のラインメモリに転送するとと
   もに、上記ブロックの番号を指定するブロック指定番号
   を１に設定する初期設定ステップ； （２）各ラインメモリの上記ブロック指定番号により指
   定されるＰ個のブロック内のデジタル画像データを、上
   記レジスタの内のＰ個に１クロック動作当たり１ブロッ
   ク計Ｐクロック動作でコピーする転送ステップ； （３）上記内部バスから１クロック動作でＮ×Ｍビット
   のデジタル画像データを取り込み、上記ブロック指定番
   号により指定されるブロックの内で書き込み後最も経過
   時間が長いブロックに上書きする書込みステップ； （４）上記書込みステップでブロックに上書きされたＮ
   ×Ｍビットのデジタル画像データを上記転送ステップで
   画素群データの転送を受けなかったレジスタに１クロッ
   ク動作でコピーするコピーステップ； （５）上記（Ｐ＋１）個のレジスタの内の１個のレジス
   タ内の画素に対して、各画素が有しない原色情報を他の
   レジスタ内のデジタル画素データにより１クロック動作
   で補間生成し、各画素毎に３原色の情報を有する補間処
   理済みデータを生成する補間処理ステップ； （６）上記補間処理ステップにおいて生成された補間処
   理済みデータの３原色を各色毎に１クロック動作計3ク
   ロック動作で出力する出力ステップ； （７）上記ブロック指定番号をインクリメントし、該イ
   ンクリメントしたブロック指定番号が１ラインのブロッ
   ク数を超えない場合はそのまま上記転送ステップに戻
   り、インクリメントしたブロック指定番号が１ラインの
   ブロック数を超える場合はブロック指定番号を１に設定
   して上記転送ステップに戻る判定ステップ。