JP2005078608A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 ＣＰＵの処理時間を大幅に削減し、ＣＰＵの負荷を大幅に軽減できるようにした画像処理装置及び画像処理方法を提供する。
【解決手段】 撮像された画像データに対して各種画像処理を施す画像処理装置を、画像処理の手順を示す全てのシーケンスコードを画像処理の開始に先立ってＣＰＵＩ／Ｆ１から一括して格納するＳＤＲＡＭ９と、ＳＤＲＡＭに格納された画像データを読み出して画像処理を行う画像処理部と、画像処理を行うに際して、ＳＤＲＡＭから読み出されたシーケンスコードに基づいて画像処理部を制御するシーケンサ２とで構成する。
【選択図】 図１

Description

この発明は、ディジタルカメラ等の電子的撮像装置に用いられる画像処理装置及び画像処理方法に関する。

一般に、ＣＣＤなどの固体撮像素子を用いたディジタルカメラ等の電子的撮像装置における画像処理の手順としては、図６に示すように、まずＣＣＤ撮像素子101 から出力された撮像信号は、プリプロセス部103 でプリプロセス処理がなされたのち、ＳＤＲＡＭ104 に一旦記憶される。次いで、ＳＤＲＡＭ104 から画像データを読み出し、画像処理部105 で複数のイメージプロセス処理を順次行い、再びＳＤＲＡＭ104 に記憶させる。そして最後に表示部106 に表示させたり、ＪＰＥＧ処理などを行って、メモリカード107 等の記録媒体に記録するという処理がなされている。なお、図６において、102 は各部を制御するＣＰＵである。

このような画像信号の処理手順を実現するに当たって、従来は、１画面の画像処理を行う際は、１フレームの画像データを短冊状に幾つかの小さなブロック画像データ（ブロックラインと称する）に分割し、各ブロックライン毎に順次処理を行って、転送データ量を低減し小容量のメモリを介して複数の画像処理が行えるようにした方式が、例えば特開２０００−３１２３２７号公報などに提案されている。

次に、このような短冊状の小さなブロック画像に分割して順次画像処理を実行して行く場合の各部の動作を、図７のタイミング図に基づいて説明する。まず、ＣＰＵ102 は、画像処理部105 における画像処理に必要とするパラメータを画像処理部のレジスタに設定する初期設定動作を行い、次いで画像処理部105 のリセットを解除し、画像処理部105 の入力ＤＭＡ及び出力ＤＭＡに対して、ＤＭＡ開始の指示を行う。これにより、ＳＤＲＡＭ104 より入力ＤＭＡを介して１ブロックラインが画像処理部105 へ読み出されて、該画像処理部105 で１ブロックラインの画像処理が行われ、出力ＤＭＡを介して再びＳＤＲＡＭ104 へ格納される。

この処理が終了すると、ＣＰＵ102 に対してＤＭＡ完了割り込みが通知される。ＣＰＵ102 に、この割り込みが通知されると、最初のブロックラインの処理の終了を確認して画像処理部105 に対してリセットをかけて、次のブロックライン処理用のパラメータをレジスタに再設定する。次いで、リセットを解除してＤＭＡ開始の指示を行う。これにより、同様にして、次のブロックラインの画像処理を行うという手順を順次行い、一画面の処理が行われる。
特開２０００−３１２３２７号公報

ところで、上記のような手順で画像処理を行うと、ＣＰＵは１ブロックラインの処理毎に割り込みを受け、その都度新たな１ブロックラインの画像処理用のレジスタ設定を行わなければならず、１フレームの処理に対してＣＰＵは何十回となく割り込みを受けて、処理を行わなければならず、ＣＰＵの処理時間が多く負荷が非常に高くなってしまうという問題点がある。

本発明は、従来の画像処理装置における上記問題点を解消するためになされたもので、ＣＰＵの処理時間が大幅に削減され、ＣＰＵの負荷が大幅に軽減されるようにした画像処理装置及び画像処理方法を提供することを目的とする。

上記問題点を解決するため、請求項１に係る発明は、撮像された画像データをメモリに格納し、該格納された画像データに対して画像処理を施す画像処理装置であって、画像処理の処理手順を示すシーケンスコードを格納する記憶手段と、前記メモリに格納された画像データを読み出して画像処理を行う画像処理部と、該画像処理部で画像処理を行うに際して、前記記憶手段から読み出されたシーケンスコードに基づいて前記画像処理部を制御するシーケンサとを有することを特徴とするものである。

請求項２に係る発明は、撮像された画像データをメモリに格納し、該格納された画像データに対して画像処理を施す画像処理装置であって、前記画像データと画像処理の処理手順を示すシーケンスコードとを格納する記憶手段と、該記憶手段に格納された画像データを読み出して画像処理を行う画像処理部と、該画像処理部で画像処理を行うに際して、前記記憶手段から読み出されたシーケンスコードに基づいて前記画像処理部を制御するシーケンサとを有することを特徴とするものである。

請求項３に係る発明は、請求項１に係る画像処理装置において、前記記憶手段は、内蔵メモリであることを特徴とするものである。

請求項４に係る発明は、請求項１に係る画像処理装置において、前記記憶手段は、外部メモリであることを特徴とするものである。

請求項５に係る発明は、請求項１又は３に係る画像処理装置において、前記記憶手段、画像処理部及びシーケンサは、同一半導体基板上にあることを特徴とするものである。

請求項６に係る発明は、請求項１又は４に係る画像処理装置において、前記画像処理部及びシーケンサは、同一半導体基板上にあることを特徴とするものである。

請求項７に係る発明は、請求項２に係る画像処理装置において、前記記憶手段は、内蔵メモリであることを特徴とするものである。

請求項８に係る発明は、請求項２に係る画像処理装置において、前記記憶手段は、外部メモリであることを特徴とするものである。

請求項９に係る発明は、請求項２又は７に係る画像処理装置において、前記記憶手段、画像処理部及びシーケンサは、同一半導体基板上にあることを特徴とするものである。

請求項10に係る発明は、請求項２又は８に係る画像処理装置において、前記画像処理部及びシーケンサは、同一半導体基板上にあることを特徴とするものである。

請求項11に係る発明は、請求項１〜10のいずれか１項に係る画像処理装置において、前記画像処理部は、前記シーケンサからのモード切り換え信号により、前記メモリ又は記憶手段から画像データを読み込む画像データ読み込みモードと前記記憶手段からシーケンスコードを読み込むシーケンスコード読み込みモードのいずれか一方に切り換わるデータ入力部を有することを特徴とするものである。

請求項12に係る発明は、請求項11に係る画像処理装置において、前記シーケンサは、前記データ入力部をシーケンスコード読み込みモードにして読み込んだシーケンスコードを入力してコード解析し、該解析結果に基づいて前記画像処理部のシーケンスを制御する制御信号を出力する制御部を有することを特徴とするものである。

請求項13に係る発明は、請求項12に係る画像処理装置において、前記制御部から出力される記制御信号は、前記データ入力部を含む画像処理部をリセットするためのリセット信号と、前記データ入力部を含む画像処理部のレジスタを設定するためのレジスタ設定信号と、前記データ入力部に対するデータ入力開始を指示するデータ入力スタート信号とからなることを特徴とするものである。

請求項14に係る発明は、請求項12又は13に係る画像処理装置において、前記画像処理部は、各画像処理の終了時において、画像処理完了を示すＤＭＡ完了割り込み信号をＣＰＵ又は前記制御部に出力することを特徴とするものである。

請求項15に係る発明は、請求項12〜14のいずれか１項に係る画像処理装置において、前記シーケンサは、該シーケンサからの制御信号とＣＰＵからの制御信号とを選択可能としたセレクタを更に有し、該セレクタはＣＰＵからのセレクト信号により選択制御されることを特徴とするものである。

請求項16に係る発明は、請求項１〜15のいずれか１項に係る画像処理装置において、前記シーケンスコードは、画像処理の開始に先立って、ＣＰＵから前記記憶手段に対して、各画像処理に対応した全ての順序命令をコード化して一括して転送記憶されるものであることを特徴とするものである。

請求項17に係る発明は、請求項12〜16のいずれか１項に係る画像処理装置において、前記シーケンサの制御部は、各画像処理の直前に、前記データ入力部を含む画像処理部に対してリセット信号によりリセットを掛けた状態で、前記記憶手段から前記データ入力部に対して各画像処理に対応したシーケンスコードを転送することを特徴とするものである。

請求項18に係る発明は、請求項１〜17のいずれか１項に係る画像処理装置において、前記シーケンスコードは、各画像処理の開始を指示すると共に各画像処理の終了割り込みを受け付け可能とする割り込み待ち命令、前記画像処理部のレジスタを設定させるレジスタ設定命令及び全画像処理の終了を示すフレーム完了命令の少なくとも３つの命令から構成されていることを特徴とするものである。

請求項19に係る発明は、画像データを複数のブロックラインに分割し、各ブロックラインを順次画像処理する画像処理方法であって、シーケンサが画像処理開始に先立って、ＣＰＵから記憶手段に各ブロックラインを順次処理するためのシーケンスコードを一括して転送し記憶するステップ（１）と、画像処理の開始時には、シーケンサが画像処理部にリセットを掛けた状態で、前記記憶手段から各ブロックライン処理のためのシーケンスコードを読み出して前記画像処理部のレジスタを設定し、リセットを解除して当該ブロックラインの処理を開始するステップ（２）と、該ステップ（２）を全てのブロックラインに対して繰り返し行うステップ（３）と、読み出したシーケンスコードがフレーム完了命令である場合には、シーケンサがＣＰＵに対してフレーム完了割り込み信号を出力するステップ（４）と、ＣＰＵにフレーム完了割り込み信号が入力されると、ＣＰＵによるフレーム終了処理が行われるステップ（５）とからなることを特徴とするものである。

上記のように構成した本発明によれば、シーケンサが記憶手段から読み込んだシーケンスコードに従って画像処理部を制御するので、ＣＰＵの処理時間が大幅に削減され、ＣＰＵの負荷を大幅に軽減させることができる。またＣＰＵから記憶手段に格納するシーケンスコードを変更するだけで、画像処理部の制御シーケンスを自由に変更することが可能となる。

次に、発明を実施するための最良の形態について説明する。

図１は、本発明に係る画像処理装置の実施例を示すブロック構成図である。図１においては、１は図示しないＣＰＵに接続されたＣＰＵＩ／Ｆ、２はシーケンサで、制御部３と、３つのセクレタ、すなわちリセット信号セレクタ４−１，レジスタ設定信号セレクタ４−２，ＤＭＡスタート信号セレクタ４−３からなるセレクト部４とで構成されている。５は画像処理部で、入力ＤＭＡ６と、画像処理ブロック７−１，７−２，・・・７−ｎと、出力ＤＭＡ８とで構成されており、９はＳＤＲＡＭで、データ格納領域ａとシーケンスコード格納領域ｂ等を備えている。

次に、このように構成されている画像処理装置の動作を、図２に示したＣＰＵの処理を示すフローチャート、図３に示したシーケンサの処理を示すフローチャート、並びに図４に示したタイミングチャートを参照しながら説明する。まず、ＣＰＵがＣＰＵＩ／Ｆ１を介して、シーケンサ２が解析できる全ての処理手順を示すシーケンスコードを１フレーム分、予めＳＤＲＡＭ９上に一括して転送して書き込む（ステップＳ１）。次いで、ＣＰＵはＣＰＵ側に切り換えられている各セクレタ４−１，４−２，４−３を介して画像処理部５の初期設定を行い、画像データの最初のブロックラインの処理に必要なパラメータのレジスタ設定を行う。次に、ＣＰＵからのセレクト信号により、リセット信号セレクタ４−１，レジスタ設定信号セレクタ４−２，ＤＭＡスタート信号セレクタ４−３を、それぞれシーケンサ側へ切り換える（ステップＳ２）。次にリセットを解除して、ＣＰＵからのトリガによりシーケンサ２を起動する（ステップＳ３）。シーケンサ２が起動し、シーケンサ２に動作が切り換わると、制御部３からの制御信号により各画像処理ブロック７−１，７−２，・・・７−ｎをリセットし（ステップＳ11）、また制御部３からのモード切り換え信号により、入力ＤＭＡ６をシーケンスコード読み取りモードに設定する（ステップＳ12）。そして、入力ＤＭＡ６を介してＳＤＲＡＭ９からシーケンスコードをフェッチする（ステップＳ13）。

シーケンスコードは、図５に示すように、主な命令コードとしては、割り込み待ち命令、レジスタ設定命令、フレーム完了命令の３種類がある。割り込み待ち命令がシーケンサ２の制御部３に取り込まれると、制御部３から制御信号がＤＭＡスタート信号セレクタ４−３を介して入力ＤＭＡ６及び出力ＤＭＡ８に入力され、それらの動作のスタートがかけられることになる。しかし、最初のブロックラインに対するレジスタ設定は、シーケンサ２の起動前にＣＰＵにより直接設定されているので、最初のブロックラインの処理時においては、ステップＳ12の動作に代えて、入力ＤＭＡ６が画像データ取り込みモードに設定され（ステップＳ17）、各画像処理ブロックをリセットした後、入力ＤＭＡ６及び出力ＤＭＡ８がスタートし（ステップＳ18）、ＳＤＲＡＭ９からブロックラインの画像データが読み出されて、各画像処理ブロック７−１，７−２，・・・７−ｎで各種画像処理が行われる。画像処理後の画像データは、出力ＤＭＡ８を介して再びＳＤＲＡＭ９に格納される。

この状態では、シーケンサ２はＤＭＡ完了割り込み信号を待機している（ステップＳ19）。入力及び出力ＤＭＡ６，８の動作が完了し、シーケンサ２がその完了割り込み信号を受けると、シーケンサ２は再び最初からの動作を繰り返し、制御部３からの制御信号により、各画像処理ブロック７−１，７−２，・・・７−ｎを再びリセットする（ステップＳ11）。次いで、入力ＤＭＡ６をシーケンスコード読み込みモードに設定し（ステップＳ12）、制御部３は入力ＤＭＡ６を介してＳＤＲＡＭ９から次のシーケンスコードをフェッチし（ステップＳ13）、解析を行って、割り込み命令かフレーム完了命令であるか否かの判定を行い（ステップＳ14）、そのいずれでもないレジスタ設定命令の場合には、レジスタ設定セレクタ４−２を介して、各画像処理ブロック７−１，７−２，・・・７−ｎへのレジスタ設定を繰り返して行う（ステップＳ15）。各画像処理ブロックのレジスタ設定が完了すると、次のシーケンスコードの割り込み命令により入力ＤＭＡ６を画像データ読み込みモードに設定し（ステップＳ16，Ｓ17）、各画像処理ブロックのリセットを解除した後、入力及び出力ＤＭＡ６，８の動作をスタートさせ（ステップＳ18）、入力ＤＭＡ６を介してＳＤＲＡＭ９から次のブロックラインの画像データが画像処理ブロックへ読み出され、所定の画像処理が行われた後、出力ＤＭＡ８を介して再びＳＤＲＡＭ９に格納される。そして、シーケンサ２がＤＭＡ完了割り込み信号を受けると（ステップＳ19）、再び次のブロックラインの処理に移る。

以下、シーケンサ２の制御による同様な処理を続行して、１フレーム分の画像データの画像処理が終了し、シーケンサ２がフレーム完了命令コードを取り込むと（ステップＳ16）、制御部３よりフレーム完了割り込み信号をＣＰＵに対して出力し（ステップＳ４，Ｓ20）、ＣＰＵ並びにシーケンサ２の動作が終了する。

このように、本実施例によれば、予めシーケンサ２が解析できる１フレーム分の画像処理の全ての処理手順を示すシーケンスコードをＣＰＵからＳＤＲＡＭ９へ転送しておいて、シーケンサ２がＳＤＲＡＭ９からシーケンスコードを取り込み、そのシーケンスコードに従って画像処理部５を制御して、１ブロックラインの画像処理を順次繰り返し実行させるようにしているので、ＣＰＵの処理時間を大幅に削減し、ＣＰＵの負荷の大幅に軽減することができる。

また、ＣＰＵからＳＤＲＡＭ９に格納するシーケンスコードを変更するだけで、画像処理部５の動作シーケンスを自由に変更することができる。

なお、上記実施例では、最初のブロックラインの画像データの処理時には、ＣＰＵから直接レジスタ設定を行うようにしたものを示したが、最初のブロックラインの画像データの処理時においても、２番目以降のブロックラインの画像データの処理時と同様に、シーケンサが取り込んだシーケンスコードに従って各画像処理ブロックのレジスタ設定を行うようにしてもよい。

また、上記実施例では、シーケンスコードを画像データと共に外部メモリであるＳＤＲＡＭに格納するようにしたものを示したが、シーケンスコードはＳＲＡＭなどの内部メモリに、画像データとは別個に格納するようにしてもよい。更には、画像データとシーケンスコードのいずれも内部メモリに格納するように構成してもよい。

また、本実施例に係る画像処理装置において、シーケンスコードを画像データと共に外部メモリであるＳＤＲＡＭに格納するように構成している場合は、画像処理部及びシーケンサは同一半導体基板上に構成することができる。また、シーケンスコードを内部メモリに格納するように構成する場合は、その内部メモリを含めて画像処理部及びシーケンサを同一半導体基板上に構成することができ、更に画像データ及びシーケンスコードを内部メモリに格納するように構成する場合も、その内部メモリを含めて画像処理部及びシーケンサを同一半導体基板上に構成することができる。

本発明に係る画像処理装置の実施例を示すブロック構成図である。 図１に示した実施例におけるＣＰＵの処理動作を説明するためのフローチャートである。 図１に示した実施例におけるシーケンサの処理動作を説明するためのフローチャートである。 図１に示した実施例における各部の動作を説明するためのタイミングチャートである。 図１に示した実施例におけるＳＤＲＡＭに格納されているシーケンスコードの内容の一例を示す図である。 従来の画像処理装置の構成例を示すブロック構成図である。 図６に示した従来例の各部の動作を説明するためのタイミングチャートである。

符号の説明

１ ＣＰＵＩ／Ｆ
２ シーケンサ
３ 制御部
４−１ リセット信号セレクタ
４−２ レジスタ設定セレクタ４−２
４−３ ＤＭＡスタート信号セレクタ
５ 画像処理部
６ 入力ＤＭＡ
７−１，７−２，・・・７−ｎ 画像処理ブロック
８ 出力ＤＭＡ
９ ＳＤＲＡＭ

Claims (19)

1. 撮像された画像データをメモリに格納し、該格納された画像データに対して画像処理を施す画像処理装置であって、画像処理の処理手順を示すシーケンスコードを格納する記憶手段と、前記メモリに格納された画像データを読み出して画像処理を行う画像処理部と、該画像処理部で画像処理を行うに際して、前記記憶手段から読み出されたシーケンスコードに基づいて前記画像処理部を制御するシーケンサとを有することを特徴とする画像処理装置。
2. 撮像された画像データをメモリに格納し、該格納された画像データに対して画像処理を施す画像処理装置であって、前記画像データと画像処理の処理手順を示すシーケンスコードとを格納する記憶手段と、該記憶手段に格納された画像データを読み出して画像処理を行う画像処理部と、該画像処理部で画像処理を行うに際して、前記記憶手段から読み出されたシーケンスコードに基づいて前記画像処理部を制御するシーケンサとを有することを特徴とする画像処理装置。
3. 前記記憶手段は、内蔵メモリであることを特徴とする請求項１に係る画像処理装置。
4. 前記記憶手段は、外部メモリであることを特徴とする請求項１に係る画像処理装置。
5. 前記記憶手段、画像処理部及びシーケンサは、同一半導体基板上にあることを特徴とする請求項１又は３に係る画像処理装置。
6. 前記画像処理部及びシーケンサは、同一半導体基板上にあることを特徴とする請求項１又は４に係る画像処理装置。
7. 前記記憶手段は、内蔵メモリであることを特徴とする請求項２に係る画像処理装置。
8. 前記記憶手段は、外部メモリであることを特徴とする請求項２に係る画像処理装置。
9. 前記記憶手段、画像処理部及びシーケンサは、同一半導体基板上にあることを特徴とする請求項２又は７に係る画像処理装置。
10. 前記画像処理部及びシーケンサは、同一半導体基板上にあることを特徴とする請求項２又は８に係る画像処理装置。
11. 前記画像処理部は、前記シーケンサからのモード切り換え信号により、前記メモリ又は記憶手段から画像データを読み込む画像データ読み込みモードと前記記憶手段からシーケンスコードを読み込むシーケンスコード読み込みモードのいずれか一方に切り換わるデータ入力部を有することを特徴とする請求項１〜10のいずれか１項に係る画像処理装置。
12. 前記シーケンサは、前記データ入力部をシーケンスコード読み込みモードにして読み込んだシーケンスコードを入力してコード解析し、該解析結果に基づいて前記画像処理部のシーケンスを制御する制御信号を出力する制御部を有することを特徴とする請求項11に係る画像処理装置。
13. 前記制御部から出力される制御信号は、前記データ入力部を含む画像処理部をリセットするためのリセット信号と、前記データ入力部を含む画像処理部のレジスタを設定するためのレジスタ設定信号と、前記データ入力部に対するデータ入力開始を指示するデータ入力スタート信号とからなることを特徴とする請求項12に係る画像処理装置。
14. 前記画像処理部は、各画像処理の終了時において、画像処理完了を示すＤＭＡ完了割り込み信号をＣＰＵ又は前記制御部に出力することを特徴とする請求項12又は13に係る画像処理装置。
15. 前記シーケンサは、該シーケンサからの制御信号とＣＰＵからの制御信号とを選択可能としたセレクタを更に有し、該セレクタはＣＰＵからのセレクト信号により選択制御されることを特徴とする請求項12〜14のいずれか１項に係る画像処理装置。
16. 前記シーケンスコードは、画像処理の開始に先立って、ＣＰＵから前記記憶手段に対して、各画像処理に対応した全ての順序命令をコード化して一括して転送記憶されるものであることを特徴とする請求項１〜15のいずれか１項に係る画像処理装置。
17. 前記シーケンサの制御部は、各画像処理の直前に、前記データ入力部を含む画像処理部に対してリセット信号によりリセットを掛けた状態で、前記記憶手段から前記データ入力部に対して各画像処理に対応したシーケンスコードを転送することを特徴とする請求項12〜16のいずれか１項に係る画像処理装置。
18. 前記シーケンスコードは、各画像処理の開始を指示すると共に各画像処理の終了割り込みを受け付け可能とする割り込み待ち命令、前記画像処理部のレジスタを設定させるレジスタ設定命令及び全画像処理の終了を示すフレーム完了命令の少なくとも３つの命令から構成されていることを特徴とする請求項１〜17のいずれか１項に係る画像処理装置。
19. 画像データを複数のブロックラインに分割し、各ブロックラインを順次画像処理する画像処理方法であって、画像処理開始に先立って、ＣＰＵから記憶手段に各ブロックラインを順次処理するためのシーケンスコードを一括して転送し記憶するステップ（１）と、画像処理の開始時には、シーケンサが画像処理部にリセットを掛けた状態で、前記記憶手段から各ブロックライン処理のためのシーケンスコードを読み出して前記画像処理部のレジスタを設定し、リセットを解除して当該ブロックラインの処理を開始するステップ（２）と、該ステップ（２）を全てのブロックラインに対して繰り返し行うステップ（３）と、読み出したシーケンスコードがフレーム完了命令である場合には、シーケンサがＣＰＵに対してフレーム完了割り込み信号を出力するステップ（４）と、ＣＰＵにフレーム完了割り込み信号が入力されると、ＣＰＵによるフレーム終了処理が行われるステップ（５）とからなる画像処理方法。

Images