JP2014036361A - 画像処理装置、その制御方法、および制御プログラム - Google Patents

Abstract

【課題】画像処理装置において、処理効率が低下することなく、しかも回路規模の増大を抑止する。
【解決手段】第１のクロックで動作する固体撮像部１０２の出力をＡ／Ｄ変換して得られた画像データを、ＲＡＭ制御部１０８は第１のクロックよりも速い第２のクロックに切り換えてメモリ１０９に書き込む。第２のクロックに切り換えられて前記メモリに対する書き込みが行われた後、コピー制御部１１２およびコピー回路６０４は画像データの入力を禁止してメモリに書き込まれた画像データを読み出して画像データの開始端および終了端において画素データを画像データにコピーする。
【選択図】図３

Description

本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、画像フィルタ処理の際の処理速度の低下を防止するとともに回路規模を削減する技術に関する。

近年、固体撮像素子ではその画素数が大幅に増加しており、このような固体撮像素子を用いれば高精細な静止画像を撮影することが可能である。さらに、静止画像ばかりでなく、高精細な動画像の表示および記録が可能な電子カメラもある。

動画像の表示および記録を行う場合には、高精細に時間軸方向の解像力を得るため、最低でも２４コマ〜３０コマ／秒程度のフレームレートを確保する必要がある。また、静止画像と同様に動画像においても高画質が求められている。

例えば、動画像の高画質化に当たって、デモザイキング（補間）における偽色発生の処理を行うようにしたものがある（特許文献１参照）。さらに、倍率色収差補正処理を行って高画質化を図るようにしたものがある（特許文献２参照）。

加えて、感度撮影の際に生じるノイズ除去の処理、特に、広ダイナミックレンジ画像に対するノイズ除去を行うようにしたものがある（特許文献３参照）。そして、特許文献１〜３の各々においては、いずれもバンドパスフィルタ処理又はローパスフィルタ処理を初めとする各種のフィルタ処理回路を用いている。

また、画像を縮小処理する際で用いるフィルタ処理の際に画像メモリ容量の低減および低コスト化を行うようにしたものがある（特許文献４参照）。そして、特許文献４においては、フィルタ処理の際、処理対象となる画素に対してフィルタタップを含む参照画素が画像外に存在する場合に、画像端における画素位置の画素レベルと同一レベルのダミー画素を設けることが記載されている（以下、ダミー画素設けることを画素コピーと呼ぶ）。これによって、特許文献４では簡単に周辺域を外方に拡張して、画像端における画質の劣化を低減してフィルタ処理を行うようにしている。

そして、ＣＣＤ−ＲＡＷ形式の画像データを、記録モードスイッチの設定に応じて、画像処理回路によってＲＧＢ画像データに変換し、ＪＰＥＧ回路によってＪＰＥＧ圧縮するか又はデータ変換回路およびハフマン符号・復号回路によって可逆圧縮するようにしたものがある（特許文献５参照）。ここでは、ＶＡＬＩＤ信号およびＳＴＯＰ信号を定義して、画像データ系列に一対のＶＡＬＩＤ信号およびＳＴＯＰ信号が付加され、ＶＡＬＩＤ信号が”１”である場合に当該データが有効であるとされる。ＳＴＯＰ信号が”１”の場合にはデータの入力が阻止される。つまり、ＶＡＬＩＤ信号が”１”でかつＳＴＯＰ信号が”０”の場合に、有効にデータの入力処理を行うようにしている。

特開２００２−３００５９０号公報 特開２００８−１５９４６号公報 特開２００８−１５７４１号公報 特開２００２−１５０２８１号公報 特開２００１−６１０６７号公報

ところで、画像処理の際に画素の転送として所謂ラスタースキャン方式を用いたとする。この場合、ｎ次のフィルタ処理を画面の水平方向および垂直方向で行う際、水平画素数と「垂直ライン数−１」との積に相当する画素分の情報をメモリなどに一時的に保持する必要がある。このため、不可避的にメモリ容量が増大してしまう。

メモリ容量の増大を防止するため、特許文献４においてはブロック単位でデータの転送を行って、フィルタ処理の際の画素コピー量を少なくしているものの、ＤＲＡＭなどの一時メモリに用いることなく、センサ（つまり、固体撮像素子）から直接データを受けてフィルタ処理を行う場合には、ブロック単位ではデータの転送が行われないので、ｎ次のフィルタ処理データを行うためにはメモリが必要となって、しかもメモリ容量が増大してしまう。

一方、特許文献５に記載のＶＡＬＩＤ信号およびＳＴＯＰ信号の関係を用いて画素コピーを行うとすると、後述するように、ＳＴＯＰ信号に起因して処理効率は低下するもののメモリが不要となって回路規模を削減することができる。

ところが、動画像を高フレームレート化すると、ＳＴＯＰ信号に起因してフレームレートが低下してしまうことになる。

従って、本発明の目的は、処理効率が低下することなく、しかも回路規模の増大を抑止することのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、第１のクロックで動作し被写体を撮像する撮像センサの出力をアナログーデジタル変換して得られた画像データが前記第１のクロックで入力されて、前記画像データを画像処理する画像処理装置であって、前記第１のクロックよりも速い第２のクロックに切り換えて前記第２のクロックに応じて前記画像データをメモリに書き込むメモリ制御手段と、前記第２のクロックに切り換えられて前記メモリに対する書き込みが行われた後、前記画像データの入力を禁止して前記メモリに書き込まれた画像データを読み出し前記画像データの開始端および終了端において画素データを前記画像データにコピーする画素データコピー手段と、前記画素データコピー手段から出力された画像データを画像処理する画像処理手段とを有することを特徴とする。

本発明による制御方法は、第１のクロックで動作し被写体を撮像する撮像センサの出力をアナログーデジタル変換して得られた画像データが前記第１のクロックで入力されて、前記画像データを画像処理する画像処理装置の制御方法であって、前記第１のクロックよりも速い第２のクロックに切り換えて前記第２のクロックに応じて前記画像データをメモリに書き込むメモリ制御ステップと、前記第２のクロックに切り換えられて前記メモリに対する書き込みが行われた後、前記画像データの入力を禁止して前記メモリに書き込まれた画像データを読み出し前記画像データの開始端および終了端において画素データを前記画像データにコピーする画素データコピーステップと、前記画素データコピーステップで得られた画像データを画像処理する画像処理ステップとを有することを特徴とする。

本発明による制御プログラムは、第１のクロックで動作し被写体を撮像する撮像センサの出力をアナログーデジタル変換して得られた画像データが前記第１のクロックで入力されて、前記画像データを画像処理する画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記第１のクロックよりも速い第２のクロックに切り換えて前記第２のクロックに応じて前記画像データをメモリに書き込むメモリ制御ステップと、前記第２のクロックに切り換えられて前記メモリに対する書き込みが行われた後、前記画像データの入力を禁止して前記メモリに書き込まれた画像データを読み出し前記画像データの開始端および終了端において画素データを前記画像データにコピーする画素データコピーステップと、前記画素データコピーステップで得られた画像データを画像処理する画像処理ステップとを実行させることを特徴とする。

本発明によれば、処理効率が低下することなく、しかも回路規模の増大を抑止することができる。

本発明の第１の実施形態による画像処理装置の一例についてその画像処理パスの構成を示す図である。 図１に示すコピー回路部の入力画像データおよび出力画像データの一例を示す図である。 図１に示す画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。 図３に示す撮像装置における画像処理のタイミングを説明するためのタイミングチャートである。 図３に示す撮像装置においてセンサクロックから処理クロックに乗り換えた後に画素コピーを行った際のタイミングチャートである。 本発明の第２の実施形態による画像処理装置の一例についてその画像処理パスの構成を示す図である。 図６に示すメモリから読み込まれる画像データの一例を示す図である。 従来の画像処理装置の一例についてその画像処理パスの構成を示す図である。 図８に示す現像処理回路で行われるフィルタ処理の一例を説明するための図である。 図９に示すフィルタ処理における画素コピーの概念を示す図である。 図８に示す現像処理回路で行われるフィルタ処理の他の例を説明するための図である。

以下、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

［第１の実施形態］
まず、本発明の第１の実施形態による画像処理装置について説明する前に、本発明の第１の実施形態による画像処理装置の理解を容易にするため、従来の画像処理装置について図面を参照して説明する。

いま、画像処理を行う際、画素信号の転送手法としてラスタースキャン方式を用いたとする。ここで、ラスタースキャン方式とは、画面最上ラインの左端画素から右端画素に向かって１画素ずつ走査を行って、１ラインの走査が終了すると当該ラインの下のラインについてその左端から右端に向かって１画素ずつ走査するスキャン方式をいう。そして、画面の最下ラインに到達するまでスキャンを行って、画素信号（画素データともいう）を順次に後段の処理部に出力する。例えば、ラスタースキャン方式はＣＣＤイメージセンサーなどの固体撮像素子における画素信号の出力で用いられる。

ここで、後段の処理部において画面（つまり、画像）の水平方向および垂直方向についてｎ次のフィルタ処理を行うとする（ｎは２以上の整数）。この場合、水平方向の画素数と「垂直ライン数−１」との積に相当する画素分のデータを、メモリに一時的に保持する。そして、メモリに保持されたデータに対してフィルタ処理を行っている。

このため、フィルタ処理を行う際には、メモリの容量を大きくしなければならない。

図８は、従来の画像処理装置の一例についてその画像処理パスの構成を示す図である。なお、図示の画像処理装置は、例えば、デジタルカメラなどの撮像装置で用いられる。

画像処理装置はセンサＩ／Ｆ回路２０１を有しており、センサＩ／Ｆ回路２０１は、ＣＣＤなどのイメージセンサ（以下単にセンサと呼ぶ）から画素データをセンサデータとして取り込み、センサデータの替え処理などを行う。センサＩ／Ｆ回路２０１の出力はセンサ補正回路２０２に入力データとして与えられ、センサ補正回路２０２はセンサによって発生する画素傷の補正およびスミアの補正などを入力データに対して行う。

センサ補正回路２０２の出力は入力データとして現像処理回路２０３に与えられる。現像処理回路２０３にはフィルタ処理回路（図示せず）およびＦＩＦＯ２０４などのメモリが備えられている。図示の画像処理装置では、ライブビューなどの際、入力データをＤＲＡＭなどの一時メモリには保存することなく高速に現像処理を行う。

図９は、図８に示す現像処理回路で行われるフィルタ処理の一例を説明するための図である。なお、ここでは、画素コピーのためメモリを備えず、前述のＶＡＬＩＤ信号およびＳＴＯＰ信号の関係に応じてＳＴＯＰ信号を発生して画素コピーを行うものとする。また、図示の例では、所謂水平５ＴＡＰ（１、２、２、２、１）のフィルタ処理において画像サイズが１９２０×１０８０（ｐｉｘｅｌ）であるものとする。

図１０は、図９に示すフィルタ処理における画素コピーの概念を示す図である。

水平５ＴＡＰのフィルタ処理において、処理対象となる画素データに対して参照画素データが画像１００１の外に存在する場合、画像端における画素レベル（ここでは”０”とする）と同一レベルのダミー画素データ１００２を付加する（画素コピーする）。

図９に示す例では、Ｎ個（Ｎ＝５）のフリップフロップ４０１が備えられている。そして、これらフリップフロップ４０１はその入力データ（画像データ）を一時的に保持する。さらに、図示の例では、（Ｎ−２）個のビットシフト演算器４０４および（Ｎ−１）個の加算器、そして、１つのビットシフト演算器４０６が備えられている。

ここでは、第（ｎ−２）番目のビットシフト演算器４０４にはそれぞれ第（ｎ−１）番目のフリップフロップ４０１の出力が与えられる（ｎは３〜５までのいずれかの整数）。また、第１番目の加算器４０５には第１番目のフリップフロップ４０１の出力と第１番目のビットシフト演算器４０４の出力が与えられる。

また、第２番目の加算器４０５には第１番目の加算器４０５の出力と第２番目のビットシフト演算器４０４の出力が与えられ、第３番目の加算器４０５には第２番目の加算器４０５の出力と第３番目のビットシフト演算器４０４の出力が与えられる。そして、第４番目の加算器４０５には第５番目のフリップフロップ４０１の出力と第３番目の加算器４０５の出力が与えられる。

ここでは、時間軸４０２で示すように、時間が上側から下側に向かって経過ものとする。ＳＴＯＰ信号４０３は前段からの入力を停止するための信号である。ビットシフト演算器４０４はその入力を左１ビットシフトする。ビットシフト演算器４０６は第４番目の加算器４０５の出力を右３ビットする。

なお、フリップフロップ４０１の各々の出力は参照番号４０７で示されており、画像データはラスタースキャン方式で順次入力され、”０”から順に”１”，”２”，”３”，・・・・とインクリメントする画素値が入力されるものとする。そして、１ラインの終わりの画素値を”１９１９”とする。また、”ｘ”は不定の値を示す。

ここで、第１番目のフリップフロップ４０１に画素値”０”が入力されると、図示しない制御部からその前段にＳＴＯＰ信号＝”１”が与えられる。これによって、前段から画素値”１”が入力されないようにする。そして、”０”を保持した第１番目のフリップフロップ４０１が次のサイクルで第２番目のフリップフロップ４０１に画素値”０”を出力する。

さらに、次のサイクルで後段のフリップフロップ４０１に画素値”０”が保持される。そして、ＳＴＯＰ信号＝’０’にすると、前段で入力が停止された画素値”１”が次のサイクルから入力されて、以下、全てのフリップフロップ４０１に不定ではない画素値が保持された時点で５ＴＡＰのフィルタ処理が順次行われる。

また上記説明は、画像の左端について画素コピーを行う場合について説明したが、画像の右端についても同様の処理が行われる。右端の画素値は”１９１９”であり、画素値”１９１９”が第１番目のフリップフロップ４０１に入力されるとＳＴＯＰ信号＝１が発生する。そして、２サイクル分の後、ＳＴＯＰ信号＝０としてＳＴＯＰ信号を解除する。

上述のような処理を行うと、ＳＴＯＰ信号によって処理効率は低下するが、メモリが不要となって回路規模を削減することができる。

ところが、前述のように、動画像が高フレームレート化すると、図９で説明した処理ではフレームレートが低下してしまうことになる。

図１１は、図８に示す現像処理回路で行われるフィルタ処理の他の例を説明するための図である。ここでは、ＳＴＯＰ信号の代わりに、ＦＩＦＯなどのメモリが用いられる。また、図１１において、図９に示す例と同一の構成要素について同一の参照番号を付して説明を省略する。なお、図１１に示すＦＩＦＯは図８に示すＦＩＦＯ２０４に対応するものである。

図示の例では、４つのＦＩＦＯ５０３ａ〜５０３ｄが備えられており、ＦＩＦＯ５０３ａおよび５０３ｂは画像の右端画素コピー用として用いられる。また、ＦＩＦＯ５０３ｃおよび５０３ｄは画像の左端画素コピー用として用いられる。

図示の例では、２画素分のミラー画素（画像周辺の境界部に鏡を置いたと仮想した場合に鏡に映った原画像の画素を画像周囲の画素として配置させた画素）を保持するためにＦＩＦＯが用いられる。なお、垂直５ＴＡＰのフィルタ処理においては水平５ＴＡＰと同様２ライン分のラインメモリを要する。

つまり、水平ｍＴＡＰ（ｍは２以上の整数）のフィルタ処理を行う際には、左右合わせて（ｍ−１）個のＦＩＦＯが必要となり、垂直ｍＴＡＰのフィルタ処理を行う際は、上下合わせて（ｍ−１）のラインメモリを必要とする。

このように、水平および垂直ともにＴＡＰ数が増加するにつれてＦＩＦＯの数が増加する。つまり、現像処理回路が増加するほど回路規模が大きくなってしまう。

図１は、本発明の第１の実施形態による画像処理装置の一例についてその画像処理パスの構成を示す図である。

画像処理装置はセンサＩ／Ｆ回路６０１を有しており、センサＩ／Ｆ回路６０１は、センサから画素データをセンサデータとして取り込み、センサデータの替え処理などを行う。センサＩ／Ｆ回路２０１の出力はコピー回路部６０２に入力データとして与えられる。

コピー回路部６０２にメモリであるＦＩＦＯ６０３およびコピー画素付加回路６０４を有している。コピー画素付加回路６０４は後述の現像処理回路６０６および現像処理回路６０７で用いられるコピー画素データを入力画像データに付加するための回路である。また、ＦＩＦＯ６０３はコピー画素付加回路６０４によって入力画像データが書き込まれるメモリである。

センサ補正回路６０５はコピー回路部６０２の出力を入力データとして受けて、センサによって発生する画素傷の補正およびスミアの補正などを入力データに対して行う。現像処理回路６０６および６０７はそれぞれ水平ＴＡＰフィルタ処理を行う。図示の例では、現像処理回路６０６および６０７はそれぞれ水平１９ＴＡＰフィルタ処理および水平１１ＴＡＰフィルタ処理を行うものとする。

図２は、図１に示すコピー回路部６０２の入力画像データおよび出力画像データの一例を示す図である。なお、ここでは、センサＩ／Ｆ回路６０１からコピー回路部６０２に入力される画像データにおいて、そのサイズは１９２０×１０８０（ｐｉｘｅｌ）であるものとする。

コピー回路部６０２の入力画像データのサイズに対して、コピー回路部６０２は水平１９ＴＡＰフィルタ処理で用いるコピー画素を左右９画素ずつ付加する。さらに、コピー回路部６０２は水平１１ＴＡＰのフィルタ処理で用いるコピー画素を左右５画素ずつ付加する。その結果、コピー回路部６０２は出力データとして１９４８×１０８０のサイズの画像データを出力する。

再び、図１を参照して、現像処理回路６０６は、コピー回路部６０２の出力を受けて、左右９画素ずつのコピー画素を消費する。この結果、現像処理回路６０６は出力データとして１９３０×１０８０のサイズの画像データを出力する。

現像処理回路６０７には入力データとして１９３０×１０８０のサイズの画像データが与えられる。現像処理回路６０７は左右５画素のコピー画素を消費する。この結果、現像処理回路６０７は出力データとして１９２０×１０８０のサイズの画像データを出力し、全てのフィルタ処理が完了すると、センサＩ／Ｆ回路６０１の出力と同等の画像サイズとなる。

なお、ここでは、センサクロック（第１のクロック）の周波数を６０ＭＨｚ、処理クロックの周波数（第２のクロック）を１８０ＭＨｚとする。また、センサデータとして、前述のように、画素値”０”から順に”１”，”２”，”３”，”４”，・・・・の順にインクリメントされた画素値が入力されるものとする。

この際、図９で説明したように、ＳＴＯＰ信号に応じて入力を制御する場合には、画像の左端におけるフィルタ処理のみを考慮すると、最初に画素値”０”を取り込んでから現像処理回路６０６では９サイクル分のＳＴＯＰ信号＝１を出力して画素コピーを行う。同様に、現像処理回路６０７では５サイクル分のＳＴＯＰ信号＝１を出力して画素コピーを行う。

一方、図１１で説明したように、メモリとしてＦＩＦＯを備える場合には、画像の左端におけるフィルタ処理のみを考慮すると、現像処理回路６０６では（１９−１）／２＝９個のＦＩＦＯが必要となる。同様に、現像処理回路６０７においては（１１−１）／２＝５個のＦＩＦＯが必要となる。よって、現像処理回路６０６および６０７では合計１４個のメモリ（ＦＩＦＯ）が必要となる。

図３は、図１に示す画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。なお、図３において、図１に示す構成要素と同一の構成要素について同一の参照番号を付す。また、図３においては、図１に示すコピー回路部６０２で省略されていた要素が示されている。

図示の撮像装置は、複数のレンズを有する撮像レンズユニット（以下光学系と呼ぶ）１０１を備えており、光学系１０１を介して光学像（つまり、被写体像）がＣＣＤ固体撮像部（撮像センサ）１０２に結像する。なお、固体撮像素子としてＣＣＤセンサを用いる代わりに、ＣＭＯＳセンサを用いるようにしてもよい。

ＣＣＤ固体撮像部１０２では、光学系１０１からの出射光に対して直角な平面内に多数のセンサ（つまり、画素）がＭ行×Ｎ列のマトリックス状に配列されている（ここでは、ＭおよびＮは２以上の整数である）。そして、センサマトリックスは撮影画面に相当する。これらセンサは入射光の光量に応じたレベルを有する電気信号を並列に出力する。

ＣＣＤ固体撮像部１０２において、センサマトリックスの第１行から第Ｍ行までの各行は走査回路（図示せず）によって順次水平方向に走査される。その結果、各センサの出力信号は所定の周期Ｔで直列にＡＧＣ回路１０３に出力される。

ＣＣＤ固体撮像部１０２の出力であるアナログ画像信号はＡＧＣ回路１０３で利得調整された後、Ａ／Ｄ変換部１０４に与えられる。Ａ／Ｄ変換部１０４はアナログ画像信号をＡ／Ｄ変換（アナログーデジタル変換）して、デジタル画像信号（画像データ）をセンサＩ／Ｆ回路６０１に出力する。

コピー回路部６０２は、コピー画素付加回路（以下単にコピー回路と呼ぶ）６０４の他に、ＲＡＭＩ／Ｆ部１０７、セレクタ１１０、およびコピー制御部１１２を有している。そして、ＲＡＭＩ／Ｆ部１０７には、ＲＡＭ１０９およびＲＡＭ制御部１０８を有している。なお、ＲＡＭ１０９は、図１に示すＦＩＦＯ６０３の代わりに用いられるメモリである。

図示の例では、センサＩ／Ｆ回路６０１はセンサクロック６０ＭＨｚで動作する。ＲＡＭ制御部１０８はセンサクロックと処理クロックとのクロック乗り換え処理を行って、ＲＡＭ１０９において空きのあるアドレスに画像データを書き込む。そして、ＲＡＭ１０９に空きアドレスが無くなると、ＲＡＭ制御部１０８は前段のセンサＩ／Ｆ回路１０５にＳＴＯＰ信号＝１を送って、画像データの入力を禁止する。

センサＩ／Ｆ回路１０５から入力されるセンサデータは、ＲＡＭ１０９に順次書き込まれる。ＲＡＭ１０９に入力されたセンサデータは、コピー制御部１１２の制御下でセレクタ部１１０によってセレクトされて、コピー回路６０４に選択センサデータとして出力される。コピー回路１１１はＶＡＬＩＤ信号（有効信号）１１５および選択センサデータ１１４をセンサ補正回路６０５に出力する。

センサ補正回路６０５はセンサで生じる画素傷（画素欠陥）の補正およびスミアの補正などを行って、補正後の画像データ１１８とともに出力ＶＡＬＩＤ１１７を後段の現像処理回路６０６に出力する。

現像処理回路６０６は所定の画素コピー分を消費した後、当該消費分を削ってＶＡＬＩＤ１２０および画像データ１２１を後段の現像処理回路６０７に出力する。現像処理回路６０７は同様にして画素コピー分を消費して、センサＩ／Ｆ回路６０１から入力された画像データと同一の１９２０×１０８０のサイズのデータを出力する。

図４は、図３に示す撮像装置における画像処理のタイミングの一例を説明するためのタイミングチャートである。

図４において、センサクロックは６０ＭＨｚであり、処理クロックは１８０ＭＨｚである。センサ補正回路６０５に対する入力データ（コピー回路６０４の出力）はコピー分の１４画素データをその先頭に付加してＶＡＬＩＤ信号とともに出力される。そして、コピー制御部１１２から１４画素分の間ＳＴＯＰ信号＝１がコピー回路６０４に対して出力される。

ところが、センサクロック６０ＭＨｚに同期して入力されるセンサデータに対して、ＳＴＯＰ信号は処理クロック１８０ＭＨｚに同期して出力されるので、センサデータに対して１４×（６０／１８０）＝４．６６６６…となる。よって、実際に影響を受けるのは約５画素分のＳＴＯＰ信号となる。つまり、必要最小限のメモリ量は５画素となり、ＲＡＭにおけるＩ／Ｆ分の遅延を考慮しても５画素＋１又は２画素分のメモリ量となる。

図５は、図３に示す撮像装置においてセンサクロックから処理クロックに乗り換えた後に画素コピーを行った際のタイミングチャートである。

前述したように、コピー回路６０４は１９２０×１０８０のサイズの画像データに対して、水平１９ＴＡＰフィルタ処理で用いるコピー画素データを画像の左右（つまり、開始端および終了端）に９画素ずつ付加する。さらに、コピー回路６０４は水平１１ＴＡＰフィルタ処理で用いるコピー画素データを画像の左右に５画素ずつ付加して、その出力を１９４８×１０８０のサイズの画像データとする。

図４と同様に、左側のコピーを行うため、コピー制御部１１２は１４画素分のＳＴＯＰ信号＝１を出力する。この際、入力データはクロック乗り換えをした後であるので処理クロックに同期して入力される。

ここで、最初の画素値を”０”として、次に”１”，”２”，”３”，”４”，・・・・の順にインクリメントする画素値が入力されるものとすると、図５においては、１４画素分の間のＳＴＯＰ信号に対して、１４画素分の入力データが入力される。つまり、ＳＴＯＰ信号＝１を出力しない必要最小限のメモリ量は１４画素分となって、ＲＡＭ１０９のＩ／Ｆ分の遅延を考慮しても１４画素＋１又は２画素分の／メモリ量となる。

つまり、最速のセンサクロックの周波数と最遅の処理クロックとの差分とから最適なメモリ量が求められることになる。

このように、本発明の第１の実施形態によれば、クロック周波数に着目して、クロック周波数が遅いセンサクロックとクロック周波数が速いフィルタ処理クロックとのクロック乗り換えを行って、画素コピーを行う。これによって、画素コピーの際に必要とされるメモリ量を低減する。この結果、処理速度を下げることなく、回路規模の削減することができる。

［第２の実施形態］
続いて、本発明の第２の実施形態による画像処理装置について説明する。

図６は、本発明の第２の実施形態による画像処理装置の一例についてその画像処理パスの構成を示す図である。なお、図６において、図１に示す構成要素と同一の構成要素について同一の参照番号を付す。

図６にはおいて、画像処理装置はＤＲＡＭなどの一時的なメモリ１００１を有している。このメモリ１００１にはメモリＩ／Ｆ１００２が接続されている。そして、メモリＩ／Ｆ１００２は現像処理回路６０６に接続されている。

メモリ１／Ｆ１００２は第１および第２のコピーカウンタ１００５および１００６を有している。第１のコピーカウンタ１００５はメモリＩ／Ｆ１００２に存在する画像の左端のコピー画素を生成するためのものである。第２のコピーカウンタ１００６はメモリＩ／Ｆ１００２に存在する画像の右端のコピー画素を生成するためのものである。

メモリ１００１はメモリＩ／Ｆ１００２によって指定されたアドレスに対して画像データの書き込み又は読み出しを行う。現像処理回路６０６はフィルタ処理において左右９画素のコピー画素を必要とし、現像処理回路６０７はフィルタ処理において左右５画素のコピー画素を必要とする。この結果、合計１４画素のコピー画素が必要となる。

ここで、メモリＩ／Ｆ１００２はスタートアドレスおよび画像サイズが設定されると、当該サイズ分の画像データをメモリ１００１から読み込む。ここでは、メモリＩ／Ｆ１００２には１９２０×１０８０（ｐｉｘｅｌ）のサイズの画像データを読み込んだものとする。

前述のように、現像処理回路６０６で用いる画像データの水平サイズは１９４８画素であるので、メモリＩ／Ｆ１００２には水平画像サイズ値（１９４８−１）＝１９４７が設定され、第１のコピーカウンタ１００５に（１４−１）＝１３、第２のコピーカウンタ１００６に（１４−１）＝１３が設定される。

図示はしないが、メモリＩ／Ｆ１００２には水平カウンタおよび垂直カウンタが備えられており、メモリＩ／Ｆ１００２は設定されたスタートアドレスからアドレスをインクリメントすると、水平カウンタがインクリメントされる。

図７は、図６に示すメモリ１００１から読み込まれる画像データの一例を示す図である。

メモリ１００１には、サイズが１９２０×１０８０の画像データ１１０が格納されている。画像データ１１０１において左端にはコピー対象画素データ１１０２が存在し、右端にはコピー対象画素データ１１０３が存在する。さらに、その左側にはコピー領域１１０４が規定され、右側にはコピー領域１１０５が規定されている。

参照番号１１０６は水平カウンタを示しており、水平方向の１９４８画素データを読み込む際には、メモリＩ／Ｆ１００２は０から１９４７までアドレスをインクリメントして画素データを読み込む。

ここで、水平カウンタ１１０６のカウント値と第１のコピーカウンタ１１０５の設定値（つまり、”１３”）とが等しくなるまで、メモリＩ／Ｆ１００２はアドレスをインクリメントすることなく、同一のアドレスについて読み込みを実行する。そして、水平カウンタ１１０６のカウント値と第１のコピーカウンタ１１０５の設定値とが等しくなると、メモリＩ／Ｆ１００２はアドレスをインクリメントする。

さらに、水平カウンタ１１０６のカウント値が（水平画像サイズ値−第１のコピーカウンタ１１０５の設定値）と等しくなった際、つまり、１９４７−１３＝１９３４になった場合に、メモリＩ／Ｆ１１０２は第２のコピーカウンタ１１０６をインクリメントする。そして、第２のコピーカウンタ１１０６が設定値（つまり、”１３”）になるまで、メモリＩ／Ｆ１１０２はインクリメントを続行する。第２のコピーカウンタ１１０６が設定値となるまでの間においては、メモリＩ／Ｆ１１０２はアドレスをインクリメントすることなく、同一のアドレスについて複数回読み込みを行う。

このようにして、メモリＩ／Ｆ１１０２はコピー領域１１０４および１１０５について読み込みを行って、その出力を１９４８画素の画像データとする。

これによって、第１の実施形態と同様に、コピー画素に係る処理と等価の処理を行うことができ、処理速度が低下することがない。そして、現像処理回路６０６および６０７にはメモリが必要とないので、回路規模を削減することができる。

上述の説明から明らかなように、図３に示す例においては、コピー回路部６０４、センサ補正回路６０５、および現像処理回路６０６および６０７が画像処理装置を構成する。

さらに、ＲＡＭ制御部１０８がメモリ制御手段として機能し、セレクタ１１０、コピー回路６０４、およびコピー制御部１１２が画素データコピー手段として機能する。また、現像処理回路６０６および６０７の各々は画像処理手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくともメモリ制御ステップ、画素データコピーステップ、および画像処理ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１０２ ＣＣＤ固体撮像部
１０３ ＡＧＣ回路
１０４ Ａ／Ｄ変換部
１０５ センサＩ／Ｆ回路
１０８ ＲＡＭ制御部
１０９ ＲＡＭ
１１０ セレクタ
１１２ コピー制御部
６０２ コピー回路部
６０４ コピー回路

Claims (6)

1. 第１のクロックで動作し被写体を撮像する撮像センサの出力をアナログーデジタル変換して得られた画像データが前記第１のクロックで入力されて、前記画像データを画像処理する画像処理装置であって、
   前記第１のクロックよりも速い第２のクロックに切り換えて前記第２のクロックに応じて前記画像データをメモリに書き込むメモリ制御手段と、
   前記第２のクロックに切り換えられて前記メモリに対する書き込みが行われた後、前記画像データの入力を禁止して前記メモリに書き込まれた画像データを読み出し前記画像データの開始端および終了端において画素データを前記画像データにコピーする画素データコピー手段と、
   前記画素データコピー手段から出力された画像データを画像処理する画像処理手段とを有することを特徴とする画像処理装置。
2. 前記画像処理手段は前記画像処理としてフィルタ処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記第２のクロックは、前記画像処理手段が前記画像処理を行う際に用いられる処理クロックであることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画素データコピー手段は、同一のアドレスについて前記メモリから複数回読み出し処理を行って、前記画像データの開始端および終了端において画素データを前記画像データにコピーすることを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 第１のクロックで動作し被写体を撮像する撮像センサの出力をアナログーデジタル変換して得られた画像データが前記第１のクロックで入力されて、前記画像データを画像処理する画像処理装置の制御方法であって、
   前記第１のクロックよりも速い第２のクロックに切り換えて前記第２のクロックに応じて前記画像データをメモリに書き込むメモリ制御ステップと、
   前記第２のクロックに切り換えられて前記メモリに対する書き込みが行われた後、前記画像データの入力を禁止して前記メモリに書き込まれた画像データを読み出し前記画像データの開始端および終了端において画素データを前記画像データにコピーする画素データコピーステップと、
   前記画素データコピーステップで得られた画像データを画像処理する画像処理ステップとを有することを特徴とする制御方法。
6. 第１のクロックで動作し被写体を撮像する撮像センサの出力をアナログーデジタル変換して得られた画像データが前記第１のクロックで入力されて、前記画像データを画像処理する画像処理装置で用いられる制御プログラムであって、
   前記画像処理装置が備えるコンピュータに、
   前記第１のクロックよりも速い第２のクロックに切り換えて前記第２のクロックに応じて前記画像データをメモリに書き込むメモリ制御ステップと、
   前記第２のクロックに切り換えられて前記メモリに対する書き込みが行われた後、前記画像データの入力を禁止して前記メモリに書き込まれた画像データを読み出し前記画像データの開始端および終了端において画素データを前記画像データにコピーする画素データコピーステップと、
   前記画素データコピーステップで得られた画像データを画像処理する画像処理ステップとを実行させることを特徴とする制御プログラム。

Images