JP2011234383A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】画像データを複数の処理単位に分けて画像処理を行う場合における処理速度の高速化が可能となる画像処理装置及び画像処理方法を提供する。
【解決手段】複数ライン分のデータであるベルトを処理単位として、ＤＭＡＲ４によるメモリ３からのベイヤーデータの読み出し、ベイヤ補間ブロック５によるＹＵＶデータの生成、変倍ブロック６による画素数の増減、ＤＭＡＷ７によるメモリ３への書き込み（展開）の複数段のデータ処理を繰り返す。その間、制御部２が、各ブロック４〜７が次のベルトの処理に使用する次ベルト情報ａをＤＭＡＷ７の起動タイミングで生成し各ブロック４〜７へ出力し、各ブロック４〜７が起動する毎に出力中の次ベルト情報ａが各ブロック４〜７のレジスタ８に書き込まれ、各ブロック４〜７が起動する毎に更新された次ベルト情報ａに従ってデータ処理を行う。ベルトを処理単位とする複数段階のデータ処理を間断なく繰り返して行い得る。
【選択図】 図１

Description

本発明は、デジタルカメラに用いて好適な画像処理装置及び画像処理方法に関するものである。

従来、例えば撮影により取得したデジタルの画像データを記録媒体に記録するデジタルカメラにおいては、最終的に記録する画像データを得る過程で複数段の画像処理が行われている。例えば撮影に際してメモリに一時記憶されたベイヤーデータ、すなわち原色ベイヤー配列の色フィルタに応じた色情報の画素からなる画像データを、画素毎のＲＧＢデータからなるＹＵＶデータに変換するベイヤ補間処理、変換後のＹＵＶデータの画素数を増大させたり、減少させたりする変倍処理といった画像処理が行われている。また、そうした画像処理では、画像全体のデータ（ベイヤーデータやＹＵＶデータ）を処理単位とするのではなく、図５（ａ）のように、画面全体Ａを垂直方向に分割した帯状のベルトと呼ばれる複数ライン分のデータを処理単位とし、作業用のメモリからベルト毎にデータを順に読み出して処理することが行われていた。なお、このベルトは、図５（ｂ）のように、処理内容に応じて前のベルトと重複する場合もある。

また、上記ベルトを処理単位とする場合には、各処理において処理対象のベルトのサイズ（ライン数）や位置などのベルト情報が必要である。そのため、例えば前述したベイヤ補間処理、変倍処理といった画像処理に際しては、図６に示したように、ベルト毎にメモリからのベルトのデータ読み出し（ＤＭＡＲ）、ベイヤ補間処理（補間出力）、変倍処理（変倍出力）、メモリへのデータ書き込み（ＤＭＡＷ）といった複数段階のデータ処理に先立って前述したベルト情報の生成作業が行われていた。

特開２００３−１８６１０号公報

しかしながら、上述したようにベルトを処理単位とした画像処理においては、一つのベルト処理が終了してから次のベルト情報を生成し、次のベルト処理を開始していた。そのため、データ読み出し（ＤＭＡＲ）、補間出力、変倍出力、データ書き込み（ＤＭＡＷ）といった個々のベルト処理を個別のハードウェア資源によって行って画像処理速度の高速化を図ったとしても、ハードウェア資源に無駄な処理待ちが生じていた。例えばデータ読み出し用の資源は、データ読み出し終了後から、データ書き込み終了後までの間は処理待ちとなる。そのためハードウェア資源の有効活用ができず、画像処理速度の高速化には限界があるという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、画像データを複数の処理単位に分けて画像処理を行う場合における処理速度の高速化が可能となる画像処理装置及び画像処理方法を提供することを目的とする。

前記課題を解決するため請求項１の発明にあっては、全画像データにおける処理対象とする所定の処理単位の画像データを順に切り替えながら、処理対象毎に複数段階のデータ処理を繰り返して実行することにより目的とする画像処理を行う画像処理装置であって、決められた順に動作を開始し前記複数段階のデータ処理を連続して行う複数段のデータ処理手段と、この複数段のデータ処理手段による各段階のデータ処理に共通して必要とされる前記処理単位毎に異なる特定情報を生成する生成手段と、この生成手段により生成された特定情報を保持するため前記複数段のデータ処理手段の各々に設けられた保持手段とを備え、前記複数段のデータ処理手段は、前記保持手段に保持されている特定情報に基づきデータ処理を行うものとした。

かかる構成においては、複数段のデータ処理手段によって複数段階のデータ処理が繰り返して行われる間に、その繰り返し動作に同期して処理単位毎に異なる特定情報を生成され、それが複数段のデータ処理手段の各々に個別に保持され、それに基づき複数段のデータ処理手段がデータ処理を行うため、複数段階のデータ処理を繰り返して実行する間における複数段のデータ処理手段の動作待ちの時間を無くすことができる。

また、請求項２の発明にあっては、前記複数段のデータ処理手段の各々は、各々の動作開始時に前記保持手段に保持されている特定情報を、前記生成手段により生成された次の処理対象となる処理単位の特定情報に更新するものとした。

かかる構成においても、複数段階のデータ処理を繰り返して実行する間における複数段のデータ処理手段の動作待ちの時間を無くすことができる。

また、請求項３の発明にあっては、前記生成手段は、前記複数段のデータ処理手段における最終段のデータ処理手段の動作開始に応答して、次の処理対象となる処理単位の特定情報を生成するものとした。

かかる構成においては、複数段階のデータ処理を繰り返して実行する間に、それと並行して次のデータ処理に必要な特定情報が生成されるため、複数段階のデータ処理を繰り返して実行する間における複数段のデータ処理手段の動作待ちの時間のみならず、特定情報の生成待ちの時間を無くすことができるため、画像処理中には各段階のデータ処理を間断なく繰り返すことができる。

また、請求項４の発明にあっては、前記複数段のデータ処理手段における最前段のデータ処理手段の動作終了に応答して、最前段のデータ処理手段に対して次の処理対象となる処理単位のデータ処理を開始させる制御手段を備えたものとした。

また、請求項５の発明にあっては、前記複数段のデータ処理手段が処理対象とする画像データには、撮像素子により取得されたベイヤデータ、又は当該ベイヤデータから生成されたＹＵＶデータのうちの少なくともいずれか１つが含まれるものとした。

また、請求項６の発明にあっては、前記複数段のデータ処理手段によるデータ処理には、撮像素子により取得されたベイヤデータに対する画素補間処理、ＹＵＶデータの変倍処理、画像データの転送処理とのうちの少なくともいずれか１つが含まれるものとした。

また、請求項７の発明にあっては、前記全画像データにおける所定の処理単位は複数ライン分の画像データであり、前記生成手段は、前記複数ライン分の画像データのライン数を含む情報を前記特定情報として生成するものとした。

また、請求項８の発明にあっては、前記全画像データを記憶する記憶手段を備え、複数段のデータ処理手段により繰り返して実行される複数段階のデータ処理には、前記所定の処理単位の画像データの前記記憶手段からの読み出し処理、又は前記記憶手段への書き込み処理のうちの少なくともいずれか１つが含まれるものとした。

また、請求項９の発明にあっては、全画像データにおける処理対象とする所定の処理単位の画像データを順に切り替えながら、処理対象毎に複数段階のデータ処理を繰り返して実行することにより目的とする画像処理を行う画像処理装置であって、決められた順に動作を開始し前記複数段階のデータ処理を連続して行う複数段のデータ処理手段と、この複数段のデータ処理手段による各段階のデータ処理に共通して必要とされる前記処理単位毎に異なる特定情報を生成する生成手段とを備え、前記複数段のデータ処理手段は、前記生成手段により生成された特定情報に基づきデータ処理を行い、前記生成手段は、前記複数段のデータ処理手段における最終段のデータ処理手段の動作開始に応答して、次の処理対象となる処理単位の特定情報を生成するものとした。

かかる構成においては、複数段階のデータ処理を繰り返して実行する間に、それと並行して次のデータ処理に必要な特定情報が生成され、その特定情報に基づき次の複数段階のデータ処理が行われるため、画像処理中には各段階のデータ処理を間断なく繰り返すことができる。

また、請求項１０の発明にあっては、全画像データにおける処理対象とする所定の処理単位の画像データを順に切り替えながら、処理対象毎に複数段階のデータ処理を繰り返して実行することにより目的とする画像処理を行う画像処理方法であって、複数段階のデータ処理を順に連続して行う工程と、この工程と並行して、各段階のデータ処理に共通して必要とされる前記処理単位毎に異なる、次回の複数段階のデータ処理に必要な特定情報を生成する工程と、この工程で生成した特定情報を、各段階のデータ処理の動作開始時に各段階の新たなデータ処理を行うことを目的として個別に保持する工程とを含む方法とした。

かかる方法によれば、複数段階のデータ処理を繰り返して実行する間における複数段のデータ処理手段の動作待ちの時間を無くすことができる。

以上のように請求項１，１０の発明においては、複数段階のデータ処理を繰り返して実行する間における複数段のデータ処理手段の動作待ちの時間を無くすことができるようにした。よって、従来よりも高速な画像処理を行うことが可能となる。

請求項２の発明においては、複数段階のデータ処理を繰り返して実行する間における複数段のデータ処理手段の動作待ちの時間を無くすことができるようにした。よって、より一層従来よりも高速な画像処理を行うことが可能となる。

請求項３の発明においては、画像処理中には各段階のデータ処理を間断なく繰り返すことができるようにした。よって、画像処理中の動作に全く無駄がなく、極めて高速な画像処理を行うことが可能となる。

また、請求項９の発明においても、画像処理中には各段階のデータ処理を間断なく繰り返すことができるようにした。よって、画像処理中の動作に全く無駄がなく、極めて高速な画像処理を行うことが可能となる。

本発明に係る画像処理装置の概略を示す回路図である。 ベルト情報レジスタの内容と、ベルト信号との関係を示す説明図である。 制御部による処理内容を示すフローチャートである。 画像処理中の動作手順を示すタイミングチャートである。 画像処理単位となるベルトを示す模式図である。 従来の画像処理による動作手順を示すタイミングチャートである。

以下、本発明の一実施の形態を図にしたがって説明する。図１は、本発明に係る画像処理装置１の構成を示すブロック図である。この画像処理装置１は、デジタルカメラに組み込まれているものであって、ＣＣＤ等の撮像素子から出力されたベイヤーデータからＹＵＶデータを生成する補間処理、生成したＹＵＶデータの画素数を設定された倍率で増減させる変倍処理を行うためのものであり、以下の構成を備えている。なお、変倍処理は、例えば撮像素子の画素数よりも小さいサイズの画像の記録や、デジタルカメラのデジタルズーム機能による画像の拡大のための処理である。

画像処理装置１は、デジタルカメラの動作全体を制御する制御部２と、ベイヤーデータやＹＵＶデータ等が一時的に記憶されるＤＲＡＭ等のメモリ３、ＤＭＡＲ４、前記補間処理を行うベイヤ補間ブロック５、前記変倍処理を行う変倍ブロック６、ＤＭＡＷ７から構成されている。ＤＭＡＲ４は、メモリ３からＤＭＡ転送によりベイヤーデータを読み出すブロックであり、ＤＭＡＷ７は、画素数変更後のＹＵＶデータをＤＭＡ転送によりメモリ３へ書き込むブロックである。

制御部２はＣＰＵやプログラムＲＯＭ、ＲＡＭ、及び入出力インターフェイスを含む周辺回路（図示せず）等から構成されており、前記プログラムＲＯＭに格納されているプログラムに基づき後述する手順によって、前述した各ブロック４〜７に既説したベルト（図５参照）を処理単位とした画像処理、及びそれに付随する動作を行わせる。

前述した各ブロック４〜７には、制御部２から送られる、次の処理対象のベルトのサイズ（ライン数）や位置などの次ベルト情報ａを保持するためのベルト情報レジスタ８がそれぞれ設けられており、そこに保持された次ベルト情報ａを用いて個々の処理を行う。ＤＭＡＲ４と、ベイヤ補間ブロック５、変倍ブロック６は次段のブロックに対してベルト信号ｂを出力するとともに、処理中には画像データｃを出力する。ＤＭＡＷ７は制御部２に対してベルト信号ｂを出力し、かつ処理中にはメモリ３へ画像データｃを出力する。同時にＤＭＡＲ４には制御部２からベルト信号ｂに代わる起動信号ｄが出力されるとともに、ＤＭＡＲ４は制御部２にもベルト信号ｂを出力する。

画像データｃは前述したベイヤーデータとＹＵＶデータであり、メモリ３からベイヤ補間ブロック５までの系がベイヤーデータ、それ以外がＹＵＶデータとなる。また、ベルト信号ｂは「Ｌ」又は「Ｈ」の２値の信号であり、「Ｌ」→「Ｈ」でベルト処理開始、「Ｈ」→「Ｌ」でベルト処理終了を意味する（起動信号ｄについても同様）。これは、この信号を出力するブロックの動作状態を示すことにもなる。すなわち「Ｈ」でベルト処理中、「Ｌ」で停止中となる。また、ベルト信号ｂを受信する側では「Ｌ」→「Ｈ」で起動し、「Ｈ」→「Ｌ」で終了処理に遷移する。終了処理は、ブロック内に残る処理中のデータを全て出力し、ベルト処理を終了することである。

これにより各ブロック４〜７の個々の動作は次の通りとなる。例えばベイヤ補間ブロック５を例に取ると、図２（ａ）に示したように、ベルト情報レジスタ８には次ベルト情報ａが保持されており、同図（ｂ）に示したように、ＤＭＡＲ４からのベルト信号ｂが「Ｈ」となったとき（起動時）に、次ベルト情報ａをベルト情報レジスタ８に取り込み、その次ベルト情報ａによって処理を行う。

そして、画像処理装置１においては、デジタルカメラでの撮影時（画像記録時）に、制御部２が図３に示した処理を実行することにより、図４に示したタイミングで、各ブロック４〜７による個々のデータ処理が行われる。すなわち制御部２は、処理開始とともにベルト番号ｉの初期化を行う（ステップＳ１）。次に、最初の０番目ベルト（ｉ番目ベルト）のベルト情報（ライン数や位置等）を算出し、算出したベルト情報つまり次ベルト情報ａを各ブロック４〜７のベルト情報レジスタ８へ出力する（ステップＳ２）。なお、ベルト情報の算出は、例えば変倍ブロック６における前述した倍率に基づき行われる。引き続きＤＭＡＲ４が停止状態であるか否かを確認する（ステップＳ３）。処理開始当初は、ＤＭＡＲ４が停止状態であるため（ステップＳ３でＹＥＳ）、起動信号ｄによってＤＭＡＲ４を起動して、メモリ３からの０番目ベルトのデータの読み出しを開始させる（ステップＳ４）。

その後、最終段のブロックであるＤＭＡＷ７が停止状態にある間は処理待ちを行う（ステップＳ５でＮＯ）。この間にベイヤ補間ブロック５、変倍ブロック６、ＤＭＡＷ７が順に起動することとなる。やがてＤＭＡＷ７が起動したら、すなわち０番目ベルトの画像処理後のデータの書き込みが開始されたら（ステップＳ５でＹＥＳ）、その時点でベルト番号をインクリメントして更新する（ステップＳ６）。しかる後、ステップＳ２へ戻り（ステップＳ７でＮＯ）、更新したベルト番号「１」のベルト情報を算出し、それを次ベルト情報ａとして各ブロック４〜７への出力を開始する。その後、ＤＭＡＲ４が停止状態となったら、つまり０番目ベルトのデータの読み出しが終了したら（ステップＳ３でＹＥＳ）、ＤＭＡＲ４を再び起動して１番目ベルトのデータの読み出しを開始させる（ステップＳ４）。そして、再びＤＭＡＷ７が起動し、１番目ベルトの画像処理後のデータの書き込みが開始されたら（ステップＳ５でＹＥＳ）、その時点でベルト番号をインクリメントして更新する（ステップＳ６）。

以後、最後のベルト番号のベルト情報を次ベルト情報ａとして処理（出力）するまでは（ステップＳ７でＮＯ）、ステップＳ２へ戻り前述した処理を繰り返す。その間、ＤＭＡＷ４を除く各ブロック５〜７においては、前段のブロックから出力されているベルト信号が「Ｈ」となった起動時点で、制御部２が出力中の新たな次のベルト情報ａを自己のベルト情報レジスタ８に保持するとともに、起動中には保持している次のベルト情報ａを使用して処理を行う。これにより、各ブロック４〜７にあっては、図４に示した各々の起動タイミング（立ち上がりタイミング）で２番目ベルト以降のベルト処理が繰り返し行われる。そして、制御部２は、最後のベルト番号のベルト情報の処理が終了した後（ステップＳ７でＹＥＳ）、ＤＭＡＷ７におけるベルト処理が終了を待って（ステップＳ８でＹＥＳ）、画像に対する処理を終了する。

以上のように本実施の形態によれば、図４に示したように、ベルト毎にメモリ３からのベルトのデータ読み出し（ＤＭＡＲ）、ベイヤ補間処理（補間出力）、変倍処理（変倍出力）、メモリ３へのデータ書き込み（ＤＭＡＷ）といった複数段階のデータ処理を間断なく繰り返して行うことができる。したがって、補間処理や変倍処理といった画像処理を、複数ライン分の画像データからなるベルトを処理単位として行っても処理中の動作に無駄がなく、従来よりも高速な画像処理を行うことができる。

なお、本実施の形態においては、制御部２が、ＤＭＡＷ７の起動タイミングで次ベルト情報ａを生成するものとしたが、次ベルト情報ａの生成タイミングは、ＤＭＡＷ７の起動タイミングと同期した時期であれば、必ずしも同一時期でなくともよく、少なくともＤＭＡＲ４が次のベルトの処理に向けて起動する以前であればよい。

また、各ブロック４〜７にベルト情報レジスタ８を設け、各ブロック４〜７がベルト情報レジスタ８に保持した次のベルト情報ａを使用して処理を行うようにしたが。以下のようにしてもよい。すなわち各ブロック４〜７におけるベルト情報レジスタ８を廃止する一方、制御部２に、各ブロック４〜７に対して各々の起動タイミングに合わせて個別に次のベルト情報ａの出力を開始させるとともにもに、それを個々のブロック４〜７が起動中に継続して行わせるようにしてもよい。それによっても、複数段階のデータ処理を間断なく繰り返して行うことができ、補間処理や変倍処理といった画像処理を、複数ライン分の画像データからなるベルトを処理単位として行っても処理中の動作に無駄がなく、従来よりも高速な画像処理を行うことができる。

また、本実施の形態においては、画像処理に際して、画像を垂直に分割したベルトを処理単位とする画像処理装置１について説明したが、これに限らず、データの処理単位は、例えば画像を水平に分割した領域の画素データであってもよい。また、画像処理が合成処理である場合のように、複数の画像にまたがった画像処理を行う場合における各々の画像のデータであってもよい。また、本実施の形態においては、デジタルカメラに組み込まれている画像処理装置について説明したが、本発明は他の映像機器や画像認識装置等に組み込まれているものや、単独で使用されるものにも適用することができる。また、画像処理用の処理ブロックの処理対象となる画像データの種類及び処理内容や、画像処理用の処理ブロックの数、つまり処理段数（本実施の形態では２段階）についてもここで説明したものに限定されるものではない。

１ 画像処理装置
２ 制御部
３ メモリ
４ データ読み出し回路（ＤＭＡＲ）
５ ベイヤ補間回路
６ 変倍回路
７ データ読み込み回路（ＤＭＡＷ）
８ ベルト情報レジスタ

Claims (10)

1. 全画像データにおける処理対象とする所定の処理単位の画像データを順に切り替えながら、処理対象毎に複数段階のデータ処理を繰り返して実行することにより目的とする画像処理を行う画像処理装置であって、
   決められた順に動作を開始し前記複数段階のデータ処理を連続して行う複数段のデータ処理手段と、
   この複数段のデータ処理手段による各段階のデータ処理に共通して必要とされる前記処理単位毎に異なる特定情報を生成する生成手段と、
   この生成手段により生成された特定情報を保持するため前記複数段のデータ処理手段の各々に設けられた保持手段とを備え、
   前記複数段のデータ処理手段は、前記保持手段に保持されている特定情報に基づきデータ処理を行うことを特徴とする画像処理装置。
2. 前記複数段のデータ処理手段の各々は、各々の動作開始時に前記保持手段に保持されている特定情報を、前記生成手段により生成された次の処理対象となる処理単位の特定情報に更新することを特徴とする請求項１記載の画像処理装置。
3. 前記生成手段は、前記複数段のデータ処理手段における最終段のデータ処理手段の動作開始に応答して、次の処理対象となる処理単位の特定情報を生成することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記複数段のデータ処理手段における最前段のデータ処理手段の動作終了に応答して、最前段のデータ処理手段に対して次の処理対象となる処理単位のデータ処理を開始させる制御手段を備えたことを特徴とする請求項１乃至３の何れかに記載の画像処理装置。
5. 前記複数段のデータ処理手段が処理対象とする画像データには、撮像素子により取得されたベイヤデータ、又は当該ベイヤデータから生成されたＹＵＶデータのうちの少なくともいずれか１つが含まれることを特徴とする請求項１乃至４の何れかに記載の画像処理装置。
6. 前記複数段のデータ処理手段によるデータ処理には、撮像素子により取得されたベイヤデータに対する画素補間処理、ＹＵＶデータの変倍処理、画像データの転送処理とのうちの少なくともいずれか１つが含まれることを特徴とする請求項１乃至４の何れかに記載の画像処理装置。
7. 前記全画像データにおける所定の処理単位は複数ライン分の画像データであり、
   前記生成手段は、前記複数ライン分の画像データのライン数を含む情報を前記特定情報として生成することを特徴とする請求項１乃至６の何れかに記載の画像処理装置。
8. 前記全画像データを記憶する記憶手段を備え、
   複数段のデータ処理手段により繰り返して実行される複数段階のデータ処理には、前記所定の処理単位の画像データの前記記憶手段からの読み出し処理、又は前記記憶手段への書き込み処理のうちの少なくともいずれか１つが含まれることを特徴とする請求項１乃至７の何れかに記載の画像処理装置。
9. 全画像データにおける処理対象とする所定の処理単位の画像データを順に切り替えながら、処理対象毎に複数段階のデータ処理を繰り返して実行することにより目的とする画像処理を行う画像処理装置であって、
   決められた順に動作を開始し前記複数段階のデータ処理を連続して行う複数段のデータ処理手段と、
   この複数段のデータ処理手段による各段階のデータ処理に共通して必要とされる前記処理単位毎に異なる特定情報を生成する生成手段とを備え、
   前記複数段のデータ処理手段は、前記生成手段により生成された特定情報に基づきデータ処理を行い、
   前記生成手段は、前記複数段のデータ処理手段における最終段のデータ処理手段の動作開始に応答して、次の処理対象となる処理単位の特定情報を生成することを特徴とする画像処理装置。
10. 全画像データにおける処理対象とする所定の処理単位の画像データを順に切り替えながら、処理対象毎に複数段階のデータ処理を繰り返して実行することにより目的とする画像処理を行う画像処理方法であって、
    複数段階のデータ処理を順に連続して行う工程と、
    この工程と並行して、各段階のデータ処理に共通して必要とされる前記処理単位毎に異なる、次回の複数段階のデータ処理に必要な特定情報を生成する工程と、
    この工程で生成した特定情報を、各段階のデータ処理の動作開始時に各段階の新たなデータ処理を行うことを目的として個別に保持する工程と
    を含むことを特徴とする画像処理方法。

Images