JP2014075028A - 画像処理装置 - Google Patents

Abstract

【課題】同じ画像データから複数の画像を生成する画像処理装置において、回路規模を増大させることなく、画像処理装置に備えた画像処理回路の活性率を向上させることができる画像処理装置を提供する。
【解決手段】１つの入力画像の画像データを記憶するバッファ部と、入力画像の画像データをバッファ部に記憶させる入力制御部と、入力された画像データに対して、設定された複数の処理条件のいずれか１つの処理条件に基づいた画像処理を行って生成した処理画像の画像データを出力する処理演算部と、処理条件のそれぞれに対応し、対応する処理条件で画像処理を行う際に必要な画像データをバッファ部から処理演算部に出力させると共に、処理画像の画像データを対応する後段の処理回路に出力させる複数の出力制御部と、いずれの処理条件の画像処理を行うかを決定して対応する出力制御部に対して出力制御を許可する出力調停部と、を備える。
【選択図】図２

Description

本発明は、画像処理装置に関する。

静止画用カメラ、動画用カメラ、医療用内視鏡カメラ、または産業用内視鏡カメラなどの撮像装置において、それぞれの画像処理を行う複数の画像処理回路を直結したパイプライン構成の画像処理装置が知られている。また、このような画像処理装置では、図４（ａ）に示したように、１フレームの静止画像を複数のブロックに分割し、分割したブロック毎に画像処理を行うことがある。

しかし、図４（ａ）に示したように、１フレームの静止画像を複数のブロックに分割した場合、分割したそれぞれのブロック内では処理を行う画像データの流れが連続しているが、異なるブロックとの間ではデータの流れが連続していない（図４（ｂ）参照）。そのため、１つのブロックの処理が完了する毎に、画像処理回路をリセットし、次に処理するブロックに対応した画像データの範囲などの設定を、毎回設定し直すという手続が必要である。

このように、各ブロックの処理毎に画像処理回路の動作を制御した場合、画像処理回路が動作していない時間的なロスの期間が、それぞれのブロックの処理の間に発生してしまう、という問題がある。この画像処理回路が動作していないロス時間は、１フレームの静止画像を処理するパイプライン処理における全体の処理時間に影響することとなる。

パイプライン処理において各ブロック間の処理の時間的なロスを低減するため、例えば、特許文献１のような技術が開示されている。特許文献１に開示された技術では、パイプラインを構成するそれぞれの画像処理回路が、当該画像処理回路による処理が完了したことを表す割込み信号（処理完了割込み信号）を、パイプライン処理の全体を制御するシーケンサに出力する。そして、シーケンサが、画像処理回路から処理完了割込み信号が入力されるたびに、その画像処理回路を個別にリセットし、設定の変更を行う。これにより、シーケンサが画像処理回路の設定を変更するタイミングが、分割したブロックの処理を開始するタイミング毎ではなく、それぞれのブロックにおいて各画像処理回路の処理が完了したタイミング毎となる。このようにシーケンサが各画像処理回路の設定を変更するタイミングをそれぞれの画像処理回路毎にすることによって、特許文献１の技術では、各ブロック間の処理における時間的なロスを低減し、１フレームの静止画像のパイプライン処理を高速化している。

また、パイプライン構成の画像処理装置では、処理を行う画像データの入出力を、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）のバースト転送によって、共通のデータバス（ＤＭＡバス）に接続されたＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの外部メモリに記憶された画像データにアクセスする構成が採用されている。このような構成の画像処理装置に備えた入出力ＤＭＡ部では、例えば、２面のバッファを備え、さらに、それぞれのバッファのリセット制御を分け、２面のバッファのそれぞれへの画像データの書き込みと読み出しとを交互に行うことによって、処理時間の短縮を図っている。例えば、出力ＤＭＡ部であれば、ＤＭＡのバースト転送によって一方の面のバッファに記憶されている画像データを出力している傍らで、前段の画像処理回路から出力された次のブロックの画像データを、他方の面のバッファに先行して格納（記憶）させるというような動作を行うことによって、処理時間を短縮している。

特開２０１０−１７６６０６号公報

ところで、パイプライン構成の画像処理装置の中には、同じ１フレームの静止画像の画像データから、記録用や表示用などのそれぞれの用途に応じた複数の画像（以下、「処理画像」という）を生成する画像処理装置がある。図５は、従来の画像処理装置の概略構成の一例を示したブロック図である。図５に示した従来の画像処理装置１００は、画角が同じで、画素数（サイズ）が異なる３つの処理画像を生成する画像処理装置の一例である。

画像処理装置１００では、１つ目の処理画像を生成するために必要なそれぞれの画像処理回路を直結したパイプラインが構成されている。より具体的には、「ＤＲＡＭ２０→入力ＤＭＡ部３０→輝度色変換部４０→ノイズ除去部５０→歪み補正処理部６０→出力ＤＭＡ部８１→ＤＲＡＭ２０」という順番で、それぞれの画像処理を行うパイプラインを構成している。

また、画像処理装置１００では、異なる画素数の処理画像を生成するために、上記のパイプラインの特定の画像処理回路のデータバスを分岐することによって、他の処理画像を生成する２つのパイプラインを構成している。より具体的には、歪み補正処理部６０のデータバスを分岐して、「リサイズ処理部７１→出力ＤＭＡ部８２→ＤＲＡＭ２０」という順番で２つ目の処理画像を生成するパイプラインと、歪み補正処理部６０のデータバスを分岐して、「リサイズ処理部７２→出力ＤＭＡ部８３→ＤＲＡＭ２０」という順番で３つ目の処理画像を生成するパイプラインと、を構成している。

このような構成の画像処理装置１００では、パイプライン処理の全体を制御するシーケンサによって、パイプラインを構成する各画像処理部の設定や動作が制御され、ＤＭＡバスアービタによって、ＤＭＡバス１０に流れる画像データが制御される。

ここで、異なる画素数の処理画像を生成するために追加されたリサイズ処理部７１およびリサイズ処理部７２の構成について説明する。なお、リサイズ処理部７１およびリサイズ処理部７２は、リサイズ処理によって生成する処理画像の画素数が異なるのみで、その構成は同等である。従って、以下の説明においては、リサイズ処理部７１の構成について説明する。図６は、従来の画像処理装置１００に備えたリサイズ処理部７１の概略構成の一例を示したブロック図である。図６に示したリサイズ処理部７１は、入力制御部７１１と、入力バッファ７１２と、出力制御部７１３と、リサイズ演算処理部７１４と、バッファフル／エンプティ監視部７１５と、を備えている。

入力バッファ７１２は、入力制御部７１１からの制御に応じて、パイプラインの前段の歪み補正処理部６０が出力した画像データを一時記憶し、出力制御部７１３からの制御に応じて記憶した画像データをリサイズ演算処理部７１４に出力する。

バッファフル／エンプティ監視部７１５は、入力制御部７１１に入力された歪み補正処理部６０からの制御信号、および出力制御部７１３に入力された後段の出力ＤＭＡ部８２からの制御信号に基づいて、入力バッファ７１２の記憶容量（バッファ領域）を監視する。そして、バッファフル／エンプティ監視部７１５は、入力バッファ７１２に空き容量があるか否かの情報を入力制御部７１１に通知し、入力バッファ７１２にリサイズ処理を行って出力することができる画像データが揃っているか否かの情報を出力制御部７１３に通知する。

入力制御部７１１は、バッファフル／エンプティ監視部７１５から、入力バッファ７１２に空き容量があることを表す通知が入力されたときに、歪み補正処理部６０に対して画像データの出力要求（リクエスト）を出力し、歪み補正処理部６０からデータバスによって入力された画像データを入力バッファ７１２に一時記憶させる。

出力制御部７１３は、出力ＤＭＡ部８２からの画像データの出力要求の入力を受け付け、バッファフル／エンプティ監視部７１５から、リサイズ処理を行って出力することができる画像データが揃っていることを表す通知が入力されたときに、入力バッファ７１２に記憶している画像データをリサイズ演算処理部７１４に出力させる。そして、出力制御部７１３は、リサイズ演算処理部７１４によってリサイズ処理が実施された画像データを出力ＤＭＡ部８２に書き込ませる。

リサイズ演算処理部７１４は、入力された画像データに対して予め定められたリサイズ率でのリサイズ処理を行って、リサイズ処理後の画像データを出力する。

従来の画像処理装置１００では、このような構成のリサイズ処理部７１およびリサイズ処理部７２を備えることによって、歪み補正処理部６０が歪み補正した処理画像と、歪み補正処理部６０が歪み補正した処理画像をリサイズした２つの処理画像との合計３つの異なる画素数の処理画像を生成している。すなわち、従来の画像処理装置１００では、生成する処理画像の数に応じて、同じ構成の画像処理回路（リサイズ処理部および出力ＤＭＡ部）を複数備え、これらの画像処理回路によって必要な数のパイプラインを構成している。そして、それぞれのパイプラインを構成している画像処理回路を並列に動作させることによって、画像処理装置１００における画像処理の処理時間を短縮している。

しかしながら、従来の画像処理装置１００のように、生成する処理画像の数に応じて必要な数のパイプラインを構成する方法では、生成する処理画像の数の増加、すなわち、データバスの分岐数の増加に従って、対応する同じ構成の画像処理回路（図５に示した一例では、リサイズ処理部および出力ＤＭＡ部）を画像処理装置１００に備えなくてはならない。このため、従来の画像処理装置１００では、生成する処理画像の数の増加が、画像処理装置１００自体の回路規模が増大に繋がってしまう、という問題がある。

また、従来の画像処理装置１００では、リサイズ処理部７１およびリサイズ処理部７２のそれぞれが、リサイズ処理を行って生成した処理画像を常に出力しているわけではない。図７は、従来の画像処理装置１００に備えたリサイズ処理部７１およびリサイズ処理部７２のそれぞれがリサイズ処理した画像データを出力するタイミングの一例を示したタイミングチャートである。

図７に示したタイミングチャートでは、画像処理装置１００に備えたリサイズ処理部７１およびリサイズ処理部７２のそれぞれが、前段の歪み補正処理部６０が１フレームの静止画像を歪み補正処理して生成した処理画像を１／２および１／４のそれぞれにリサイズした処理画像を生成するリサイズ処理の動作期間と、リサイズ処理後の画像データを後段の出力ＤＭＡ部８２および出力ＤＭＡ部８３に出力するタイミングの一例を示している。

なお、図７に示した書き込み信号Ｉ＿ＷＥは、歪み補正処理部６０が、リサイズ処理部７１およびリサイズ処理部７２のそれぞれに画像データを出力する、すなわち、リサイズ処理部７１およびリサイズ処理部７２のそれぞれに備えた入力バッファ７１２に、歪み補正処理後の画像データを書き込むタイミングを示している。また、図７に示した書き込み信号Ｏ＿ＷＥ７１は、リサイズ処理部７１が、出力ＤＭＡ部８２に画像データを出力する、すなわち、リサイズ処理部７１に備えたリサイズ演算処理部７１４が、入力バッファ７１２に一時記憶した歪み補正処理後の画像データに対してリサイズ処理を行ったリサイズ処理後の画像データを、出力ＤＭＡ部８２に出力するタイミングを示している。同様に、図７に示した書き込み信号Ｏ＿ＷＥ７２は、リサイズ処理部７２が、リサイズ演算処理部７１４がリサイズ処理を行ったリサイズ処理後の画像データを、出力ＤＭＡ部８３に出力するタイミングを示している。なお、図７に示したタイミングチャートでは、書き込み信号Ｉ＿ＷＥ、書き込み信号Ｏ＿ＷＥ７１、および書き込み信号Ｏ＿ＷＥ７２のそれぞれが“Ｈｉｇｈ”レベルの期間の画像データが有効な画像データである。

図７に示したように、リサイズ処理部７１およびリサイズ処理部７２のそれぞれが対応する出力ＤＭＡ部８２および出力ＤＭＡ部８３に画像データを出力する際の転送レート（書き込み信号Ｏ＿ＷＥ７１および書き込み信号Ｏ＿ＷＥ７２の周期）は、歪み補正処理部６０がリサイズ処理部７１およびリサイズ処理部７２のそれぞれに画像データを出力する際の転送レート（書き込み信号Ｉ＿ＷＥの周期）よりも低い。また、リサイズ処理部７１およびリサイズ処理部７２では、対応する出力ＤＭＡ部８２および出力ＤＭＡ部８３にリサイズ処理後の画像データを出力する際の転送レート（書き込み信号Ｏ＿ＷＥ７１および書き込み信号Ｏ＿ＷＥ７２の周期）が異なっている。

より具体的には、図７に示したように、予め定められたリサイズ率が１／２であるリサイズ処理部７１は、書き込み信号Ｉ＿ＷＥの２回に１回の割合、すなわち、２ラインに１回の割合で１／２のリサイズ処理を行って、リサイズ処理後の画像データを出力ＤＭＡ部８２に転送している。また、予め定められたリサイズ率が１／４であるリサイズ処理部７２は、書き込み信号Ｉ＿ＷＥの４回に１回の割合、すなわち、４ラインに１回の割合で１／４のリサイズ処理を行って、リサイズ処理後の画像データを出力ＤＭＡ部８３に転送している。

これは、リサイズ処理部７１およびリサイズ処理部７２がそれぞれリサイズ処理を実施する際のリサイズ率に起因するものであり、リサイズ処理を行うために必要な画像データが揃った後に、リサイズ処理部７１およびリサイズ処理部７２に備えたリサイズ演算処理部７１４が、予め定められたそれぞれのリサイズ率に応じたリサイズ処理を実施するためである。このため、リサイズ処理部７１およびリサイズ処理部７２では、入力バッファ７１２内にリサイズ処理を行うために必要な画像データが揃うまで、リサイズ演算処理部７１４の動作を待っている、つまり、図７の「Ａ」に示したように、リサイズ処理部７１およびリサイズ処理部７２のそれぞれに、リサイズ演算処理部７１４が動作していない期間が存在してしまう。このリサイズ演算処理部７１４が動作していない期間が存在することによって、リサイズ演算処理部７１４の活性率は低下してしまう。また、リサイズ演算処理部７１４が動作していない期間は、リサイズ処理後の画像データの転送を行わない期間（図７の「Ｂ」参照）となる。

このように、従来の画像処理装置１００では、生成する処理画像の数に応じて、同じ構成の画像処理回路を備えた必要な数のパイプラインを構成しているが、図７の「Ａ」に示したように、画像処理回路が動作していない期間が存在すると、図７の「Ｂ」に示したように、それぞれのパイプラインに備えた画像処理回路がデータ転送を行わない期間が存在することになる。

本発明は、上記の課題認識に基づいてなされたものであり、同じ画像データから複数の画像を生成する画像処理装置において、回路規模を増大させることなく、画像処理装置に備えた画像処理回路の活性率を向上させることができる画像処理装置を提供することを目的としている。

上記の課題を解決するため、本発明の画像処理装置は、複数の処理回路で構成されたパイプラインの内、特定の処理回路が出力するデータバスを分岐して入力された１つの入力画像から、設定された複数の処理条件に基づいた複数の処理画像を生成して出力する画像処理装置であって、１つの前記入力画像の画像データを記憶する記憶容量を具備するバッファ部と、前段の特定の前記処理回路から前記データバスに出力された１つの前記入力画像の前記画像データを、前記バッファ部に記憶させる入力制御部と、入力された画像データに対して、設定された複数の前記処理条件の内、いずれか１つの処理条件に基づいた画像処理を行い、該画像処理によって生成した前記処理画像の画像データを出力する処理演算部と、設定された複数の前記処理条件のそれぞれに対応し、前記バッファ部に記憶された１つの前記入力画像の前記画像データの内、対応する前記処理条件で画像処理を行う際に必要な前記画像データを、前記処理演算部に出力させると共に、前記処理演算部が対応する前記処理条件に基づいて生成した前記処理画像の前記画像データを、対応する後段の前記処理回路に出力させる複数の出力制御部と、複数の前記処理条件の中からいずれの前記処理条件の画像処理を行うかを決定し、該決定した前記処理条件に対応する前記出力制御部に対して、前記バッファ部に対する前記処理演算部への前記画像データの出力制御を許可する出力調停部と、を備えることを特徴とする。

また、本発明の前記出力調停部は、前記バッファ部に前記処理条件で画像処理を行う際に必要な前記画像データが揃っているか否かの状態と、後段の前記処理回路のそれぞれから入力される前記処理画像の前記画像データの出力要求と、前記処理画像の前記画像データを受け付ける後段の前記処理回路のそれぞれの状態とに基づいて、画像処理を行う前記処理条件を決定する、ことを特徴とする。

また、本発明の前記処理画像の前記画像データを受け付ける後段の前記処理回路の状態は、後段の前記処理回路が備えているバッファの空き容量の大きさの状態であり、前記出力調停部は、前記バッファの空き容量が大きい後段の前記処理回路に優先して前記処理画像の前記画像データを出力するように、前記出力制御を許可する前記出力制御部を決定する、ことを特徴とする。

また、本発明の前記バッファ部に具備される前記記憶容量は、前記処理演算部に設定されたそれぞれの前記処理条件に基づいた画像処理において、最も多くの前記画像データを必要とする前記処理条件に対応した記憶容量である、ことを特徴とする。

また、本発明の画像処理装置は、前記バッファ部に具備された前記記憶容量を監視し、前記バッファ部に空き容量があるか否かの情報を前記入力制御部に通知し、前記バッファ部に前記処理演算部が画像処理を行う際に必要な前記画像データが揃っているか否かの情報を前記出力制御部のそれぞれに通知するバッファ監視部、をさらに備え、前記バッファ監視部は、前記バッファ部に記憶された前記画像データが、前記出力制御部のいずれからも前記処理演算部に出力されない状態になったときに、前記バッファ部に前記画像データを記憶することができる空き容量があると判定する、ことを特徴とする。

また、本発明の前記バッファ監視部は、前記出力制御部のそれぞれが対応する前記処理条件毎に、前記バッファ部に前記処理演算部が画像処理を行う際に必要な前記画像データが揃っているか否かを判定し、該判定した前記出力制御部のそれぞれに対応する必要な前記画像データが揃っているか否かの情報を、前記バッファ部に前記処理条件で画像処理を行う際に必要な前記画像データが揃っているか否かの状態を表す情報として、前記出力調停部に出力する、ことを特徴とする。

また、本発明の前記入力制御部は、前記バッファ監視部から前記バッファ部に空き容量があることを表す通知が入力されたときに、前段の特定の前記処理回路に、１つの前記入力画像の前記画像データの出力を要求する、ことを特徴とする。

本発明によれば、同じ画像データから複数の画像を生成する画像処理装置において、回路規模を増大させることなく、画像処理装置に備えた画像処理回路の活性率を向上させることができるという効果が得られる。

本発明の実施形態における画像処理装置の概略構成の一例を示したブロック図である。 本実施形態の画像処理装置に備えたリサイズ処理部の概略構成の一例を示したブロック図である。 本実施形態の画像処理装置に備えたリサイズ処理部がリサイズ処理した画像データを出力するタイミングの一例を示したタイミングチャートである。 従来のパイプライン処理における１フレームの静止画像のブロック分けの方法を説明する図である。 従来の画像処理装置の概略構成の一例を示したブロック図である。 従来の画像処理装置に備えたリサイズ処理部の概略構成の一例を示したブロック図である。 従来の画像処理装置に備えたリサイズ処理部がリサイズ処理した画像データを出力するタイミングの一例を示したタイミングチャートである。

以下、本発明の実施形態について、図面を参照して説明する。図１は、本実施形態における画像処理装置の概略構成の一例を示したブロック図である。図１に示した画像処理装置１は、ＤＲＡＭ２０と、入力ＤＭＡ部３０と、輝度色変換部４０と、ノイズ除去部５０と、歪み補正処理部６０と、リサイズ処理部７０と、出力ＤＭＡ部８１〜８３と、を備えている。画像処理装置１は、図５に示した従来の画像処理装置１００と同様に、異なる画素数の３つの処理画像を生成する画像処理装置である。

画像処理装置１では、図５に示した従来の画像処理装置１００と同様に、１つ目の処理画像を生成するために必要なそれぞれの画像処理回路を直結したパイプラインが構成されている。より具体的には、「ＤＲＡＭ２０→入力ＤＭＡ部３０→輝度色変換部４０→ノイズ除去部５０→歪み補正処理部６０→出力ＤＭＡ部８１→ＤＲＡＭ２０」という順番で、それぞれの画像処理を行うパイプラインを構成している。

また、画像処理装置１では、異なる画素数の処理画像を生成するために、上記のパイプラインの特定の画像処理回路のデータバスを分岐することによって、他の処理画像を生成する２つのパイプラインを構成している。ただし、画像処理装置１では、リサイズ処理部７０のみで、異なる画素数の２つの処理画像を生成するため、他の処理画像を生成する２つのパイプラインにおいてリサイズ処理部７０が共通に使用される。より具体的には、歪み補正処理部６０のデータバスを分岐して、「リサイズ処理部７０→出力ＤＭＡ部８２→ＤＲＡＭ２０」という順番で２つ目の処理画像を生成するパイプラインと、「リサイズ処理部７０→出力ＤＭＡ部８３→ＤＲＡＭ２０」という順番で３つ目の処理画像を生成するパイプラインとを構成しているが、この２つのパイプラインで、リサイズ処理部７０が共用される。

画像処理装置１でも、図５に示した従来の画像処理装置１００と同様に、パイプライン処理の全体を制御するシーケンサによって、パイプラインを構成する各画像処理部の設定や動作が制御され、ＤＭＡバスアービタによって、ＤＭＡバス１０に流れる画像データが制御される。また、画像処理装置１は、図５に示した従来の画像処理装置１００と同様に、例えば、図４（ａ）に示したように１フレームの静止画像を複数のブロックに分割し、分割したブロック毎に画像処理を行う。

より具体的には、入力ＤＭＡ部３０が、ＤＭＡバス１０を介したＤＭＡのバースト転送（以下、「ＤＭＡ転送」という）によって、処理に必要な画像データをＤＲＡＭ２０から取得する。そして、入力ＤＭＡ部３０が取得した画像データを、輝度色変換部４０、ノイズ除去部５０、および歪み補正処理部６０のそれぞれが対応する処理を順次行い、１つ目の処理画像を生成する。その後、出力ＤＭＡ部８１が、ＤＭＡバス１０を介したＤＭＡ転送によって、歪み補正処理部６０が歪み補正処理を行って生成した１つ目の処理画像の画像データをＤＲＡＭ２０に出力する。

また、画像処理装置１では、リサイズ処理部７０が、歪み補正処理部６０が歪み補正処理を行った１つ目の処理画像を入力画像とし、この入力画像の画像データに対してリサイズ処理を行い、２つ目の処理画像および３つ目の処理画像を生成する。その後、出力ＤＭＡ部８２が、ＤＭＡバス１０を介したＤＭＡ転送によって、リサイズ処理部７０がリサイズ処理を行って生成した２つ目の処理画像の画像データをＤＲＡＭ２０に出力する。また、出力ＤＭＡ部８３が、ＤＭＡバス１０を介したＤＭＡ転送によって、リサイズ処理部７０がリサイズ処理を行って生成した３つ目の処理画像の画像データをＤＲＡＭ２０に出力する。

画像処理装置１と図５に示した従来の画像処理装置１００とを比較すると、画像処理装置１では、リサイズ処理部７０を１つのみ備えていることのみが異なる。これは、従来の画像処理装置１００では、リサイズ処理部７１とリサイズ処理部７２との２つのリサイズ処理部を備えることによって、異なる画素数の２つの処理画像を生成するのに対し、画像処理装置１では、１つのリサイズ処理部７０で異なる画素数の２つの処理画像を生成することができるからである。

ここで、異なる画素数の２つの処理画像を生成するリサイズ処理部７０について説明する。図２は、本実施形態の画像処理装置１に備えたリサイズ処理部７０の概略構成の一例を示したブロック図である。図２に示したリサイズ処理部７０は、入力制御部７１０と、入力バッファ７２０と、出力制御部７３１および７３２と、リサイズ演算処理部７４０と、バッファフル／エンプティ監視部７５０と、出力調停部７６０と、出力選択部７７０と、ＯＲ（論理和）回路７８０と、を備えている。

入力バッファ７２０は、入力制御部７１０からの制御に応じて、パイプラインの前段の歪み補正処理部６０が出力した画像データを一時記憶し、ＯＲ回路７８０を介して入力される出力制御部７３１または出力制御部７３２のいずれかからの制御に応じて、記憶した画像データをリサイズ演算処理部７４０に出力する。なお、入力バッファ７２０は、リサイズ処理部７０が異なる画素数の２つの処理画像を生成ために用いる最大数の画像データを記憶することができる記憶容量を備えている。

バッファフル／エンプティ監視部７５０は、入力制御部７１０に入力された歪み補正処理部６０からの制御信号、出力制御部７３１に入力された後段の出力ＤＭＡ部８２からの制御信号、および出力制御部７３２に入力された後段の出力ＤＭＡ部８３からの制御信号に基づいて、入力バッファ７２０の記憶容量（バッファ領域）を監視する。そして、バッファフル／エンプティ監視部７５０は、入力バッファ７２０に空き容量があるか否かの情報を入力制御部７１０に通知し、入力バッファ７２０にリサイズ処理を行って出力することができる画像データが揃っているか否かの情報を出力制御部７３１および出力制御部７３２のそれぞれに通知する。

なお、バッファフル／エンプティ監視部７５０による入力バッファ７２０に空き容量があるか否かの判定は、入力バッファ７２０に記憶されている画像データが、出力制御部７３１および出力制御部７３２のいずれによってもリサイズ演算処理部７４０に出力されない状態となったときに、入力バッファ７２０に空き容量があると判定する。これは、２つ目の処理画像を生成するために出力制御部７３１がリサイズ演算処理部７４０に出力する画像データと、３つ目の処理画像を生成するために出力制御部７３２がリサイズ演算処理部７４０に出力する画像データとが同じ画像データである場合に、一方の処理画像を生成するために入力バッファ７２０から出力された画像データが、他方の処理画像を生成するために、再度入力バッファ７２０から出力されることがあるためである。従って、バッファフル／エンプティ監視部７５０は、出力制御部７３１または出力制御部７３２のいずれかによってリサイズ演算処理部７４０に出力される画像データが入力バッファ７２０に記憶されている場合には、入力バッファ７２０に空き容量があることを入力制御部７１０に通知しない。これにより、他方の処理画像を生成するために用いられる画像データがなくなってしまうことを避けることができる。

また、バッファフル／エンプティ監視部７５０は、リサイズ処理を行って出力することができる画像データが入力バッファ７２０に揃っている状態となったとき、この状態を表す出力準備完了情報を出力調停部７６０に出力する。図２では、出力制御部７３１によってリサイズ演算処理部７４０に出力される画像データが入力バッファ７２０に揃っている状態となったときに、出力準備完了情報ＲＤＹ１を出力調停部７６０に出力し、出力制御部７３２によってリサイズ演算処理部７４０に出力される画像データが入力バッファ７２０に揃っている状態となったときに、出力準備完了情報ＲＤＹ２を出力調停部７６０に出力する構成を示している。

入力制御部７１０は、バッファフル／エンプティ監視部７５０から、入力バッファ７２０に空き容量があることを表す通知が入力されたときに、歪み補正処理部６０に対して画像データの出力要求（リクエスト）を行うリクエスト信号Ｏ＿ＲＥＱを出力する。そして、入力制御部７１０は、歪み補正処理部６０から入力された書き込み信号Ｉ＿ＷＥに応じて、歪み補正処理部６０からデータバスＩ＿ＤＡＴによって入力された画像データを、入力バッファ７２０に一時記憶させる。

出力調停部７６０は、リサイズ処理を行って出力するリサイズ処理後の画像データの出力先を決定（調停）する。出力調停部７６０による画像データの出力先の決定（調停）は、後段の出力ＤＭＡ部８２内のバッファの空き容量を表すバッファ空き情報Ｉ＿ＥＭＰＴＹ１、および出力ＤＭＡ部８３内のバッファの空き容量を表すバッファ空き情報Ｉ＿ＥＭＰＴＹ２と、バッファフル／エンプティ監視部７５０から入力される出力準備完了情報ＲＤＹ１および出力準備完了情報ＲＤＹ２と、出力制御部７３１に入力された出力ＤＭＡ部８２からの制御信号、および出力制御部７３２に入力された出力ＤＭＡ部８３からの制御信号とに基づいて行う。ここで、パイプラインの後段の出力ＤＭＡ部８２から出力されるバッファ空き情報Ｉ＿ＥＭＰＴＹ１、および出力ＤＭＡ部８３から出力されるバッファ空き情報Ｉ＿ＥＭＰＴＹ２は、例えば、出力ＤＭＡ部８２および出力ＤＭＡ部８３のそれぞれに備えたバッファに書き込むことができる画像データのライン数を表した情報である。

画像処理装置１では、上述したように、出力ＤＭＡ部８２および出力ＤＭＡ部８３によるＤＭＡバス１０を介したＤＭＡ転送は、ＤＭＡバスアービタによって管理されている。なお、ＤＭＡバス１０には、出力ＤＭＡ部８２および出力ＤＭＡ部８３以外にも、画像データやその他のデータに対して処理を行う他の構成要素も接続されているため、ＤＭＡバスアービタは、ＤＭＡバス１０に接続されている全ての構成要素が出力するデータのタイミングを管理している。このため、出力ＤＭＡ部８２および出力ＤＭＡ部８３のそれぞれがＤＭＡバス１０に画像データを出力するＤＭＡ転送は、一定のタイミングで実行されるとは限らず、ＤＭＡバス１０に接続されている出力ＤＭＡ部８２および出力ＤＭＡ部８３以外の構成要素が行うＤＭＡ転送などのＤＭＡアクセスによって、実行されるタイミングが変動することがある。このため、出力ＤＭＡ部８２および出力ＤＭＡ部８３には、ＤＭＡ転送が実行されるタイミングの変動を吸収し、ＤＭＡ転送を確実に行うためのバッファを備えているが、このバッファの空き容量は、ＤＭＡ転送が実行されるタイミングの変動に伴って変動する。

従って、出力調停部７６０による画像データの出力先の決定（調停）では、出力ＤＭＡ部８２および出力ＤＭＡ部８３によるＤＭＡ転送が滞らないように、出力ＤＭＡ部８２および出力ＤＭＡ部８３内のそれぞれのバッファの空き容量と、リサイズ処理部７０内の入力バッファ７２０にリサイズ処理を実施するための画像データが揃っているか否かの状態と、出力ＤＭＡ部８２および出力ＤＭＡ部８３のそれぞれからの画像データの出力要求とを、常に監視する。そして、出力調停部７６０は、出力制御部７３１または出力制御部７３２のいずれか一方の優先度の高い出力制御部に、入力バッファ７２０に記憶した画像データを、リサイズ演算処理部７４０に出力させるように制御する。

逆に、出力調停部７６０が、出力ＤＭＡ部８２および出力ＤＭＡ部８３内のそれぞれのバッファの空き容量と、リサイズ処理部７０内の入力バッファ７２０にリサイズ処理を実施するための画像データが揃っているか否かの状態と、出力ＤＭＡ部８２および出力ＤＭＡ部８３のそれぞれからの画像データの出力要求とを監視しない場合の制御を考える。この場合には、出力調停部７６０は、出力ＤＭＡ部８２および出力ＤＭＡ部８３に出力するリサイズ処理後の画像データのリサイズ率に応じて、固定された順番で画像データの出力を繰り返す制御となる。

このような固定された順番で画像データの出力を繰り返す制御を行っていると、出力ＤＭＡ部８２または出力ＤＭＡ部８３内のバッファの空き容量がなくなり、出力ＤＭＡ部８２または出力ＤＭＡ部８３が、リサイズ処理部７０が出力するリサイズ処理後の画像データを受け付けられなくなってしまう場合がある。例えば、リサイズ演算処理部７４０が行うリサイズ処理のリサイズ率（処理条件）が１／２と１／４とであり、１／２にリサイズした画像データを出力ＤＭＡ部８２に２回出力した後に、１／４にリサイズした画像データを出力ＤＭＡ部８３に１回出力する動作を繰り返すように、出力調停部７６０が制御を行っていた場合で考える。この場合において、例えば、１／２にリサイズした１回目の画像データの出力で出力ＤＭＡ部８２内のバッファに空き容量がなくなったとすると、出力ＤＭＡ部８２は、１／２にリサイズした２回目の画像データのリサイズ処理部７０からの出力を受け付けることができない。これにより、次にリサイズ処理部７０から１／４にリサイズした画像データを受け付ける出力ＤＭＡ部８３は、バッファに空き容量がある状態であっても、出力ＤＭＡ部８２による１／２にリサイズした２回目の画像データの受け付けが完了するまで画像データの受け付けができなくなってしまう。このような状態になってしまうと、出力ＤＭＡ部８２および出力ＤＭＡ部８３によるＤＲＡＭ２０へのＤＭＡ転送が中断してしまい、画像処理装置１全体の処理速度が低下してしまう。

このような状態を回避するため、出力調停部７６０は、出力ＤＭＡ部８２および出力ＤＭＡ部８３による画像データの転送レートの変動が画像処理装置１全体の処理速度に影響しないように、出力調停部７６０が決定（調停）した情報である出力調停情報ＯＭＩを出力するタイミングを最適化する。すなわち、出力調停部７６０は、リサイズ処理後の画像データのリサイズ率に応じて、固定された順番で画像データの出力を繰り返す制御を行うのではなく、画像データを受け付けることができる出力ＤＭＡ部８２または出力ＤＭＡ部８３に対して、リサイズ処理後の画像データを出力するように制御する。このように、出力調停部７６０は、後段の出力ＤＭＡ部８２および出力ＤＭＡ部８３内のそれぞれのバッファの空き容量と、入力バッファ７２０に記憶されている画像データの準備状態と、出力ＤＭＡ部８２および出力ＤＭＡ部８３のそれぞれからの画像データの出力要求とに基づいて、出力ＤＭＡ部８２および出力ＤＭＡ部８３にリサイズ処理後の画像データを出力するタイミングを最適化する。

より具体的には、出力準備完了情報ＲＤＹ１が、出力制御部７３１に対応したリサイズ処理を実施するための画像データが入力バッファ７２０に揃っている状態であることを表し、出力制御部７３１に対応する出力ＤＭＡ部８２から出力されるバッファ空き情報Ｉ＿ＥＭＰＴＹ１が、バッファに空き容量があることを表しているときに、出力ＤＭＡ部８２からの画像データの出力要求の入力を受け付けることができる状態と判断する。この状態のときに、出力ＤＭＡ部８２からの画像データの出力要求が入力されると、出力調停部７６０は、出力ＤＭＡ部８２からの出力要求の受け付けを許可することを表す出力調停情報ＯＭＩを出力する。

また、出力準備完了情報ＲＤＹ２が、出力制御部７３２に対応したリサイズ処理を実施するための画像データが入力バッファ７２０に揃っている状態であることを表し、出力制御部７３２に対応する出力ＤＭＡ部８３から出力されるバッファ空き情報Ｉ＿ＥＭＰＴＹ２が、バッファに空き容量があることを表しているときに、出力ＤＭＡ部８３からの画像データの出力要求の入力を受け付けることができる状態と判断する。この状態のときに、出力ＤＭＡ部８３からの画像データの出力要求が入力されると、出力調停部７６０は、出力ＤＭＡ部８３からの出力要求の受け付けを許可することを表す出力調停情報ＯＭＩを出力する。

なお、出力ＤＭＡ部８２および出力ＤＭＡ部８３からの画像データの出力要求の入力を受け付けることができる状態で、同時に出力ＤＭＡ部８２と出力ＤＭＡ部８３とから画像データの出力要求が入力された場合には、出力調停部７６０は、まず、優先度の高い一方の出力要求の受け付けを許可することを表す出力調停情報ＯＭＩを出力し、リサイズ処理後の画像データの出力が完了した後に、他方の出力要求の受け付けを許可することを表す出力調停情報ＯＭＩを出力する。この優先度は、例えば、予め定めたリサイズ処理後の画像データを出力する順番であっても良いし、バッファ空き情報Ｉ＿ＥＭＰＴＹ１およびバッファ空き情報Ｉ＿ＥＭＰＴＹ２が表すバッファに書き込むことができる画像データのライン数の情報に基づいて、より多くの画像データを書き込むことができる出力ＤＭＡ部８２または出力ＤＭＡ部８３の優先度を高くする方法であってもよい。

この出力調停情報ＯＭＩによって、出力制御部７３１または出力制御部７３２のいずれか一方の優先度の高い出力制御部に、入力バッファ７２０に記憶した画像データを出力させ、リサイズ演算処理部７４０からのリサイズ処理した画像データの出力先（出力ＤＭＡ部８２または出力ＤＭＡ部８３）を選択する。

出力制御部７３１および出力制御部７３２のそれぞれは、対応する出力ＤＭＡ部８２または出力ＤＭＡ部８３からの画像データの出力要求の入力を受け付け、バッファフル／エンプティ監視部７５０から、リサイズ処理を行って出力することができる画像データが揃っていることを表す通知が入力されたときに、入力バッファ７２０に記憶している画像データをリサイズ演算処理部７４０に出力させる。そして、出力制御部７３１および出力制御部７３２のそれぞれは、リサイズ演算処理部７４０によってリサイズ処理が実施された画像データを、対応する出力ＤＭＡ部８２または出力ＤＭＡ部８３に書き込ませる。

より具体的には、出力制御部７３１は、対応する出力ＤＭＡ部８２から入力された画像データの出力要求であるリクエスト信号Ｉ＿ＲＥＱ１を受け付け、入力バッファ７２０に対するリサイズ演算処理部７４０への画像データの出力を制御すると共に、リサイズ演算処理部７４０がリサイズ処理を実施した画像データを出力するタイミングで、出力ＤＭＡ部８２に出力する画像データの書き込み信号Ｏ＿ＷＥ１を出力する。また、出力制御部７３２は、対応する出力ＤＭＡ部８３から入力された画像データの出力要求であるリクエスト信号Ｉ＿ＲＥＱ２を受け付け、入力バッファ７２０に対するリサイズ演算処理部７４０への画像データの出力を制御すると共に、リサイズ演算処理部７４０がリサイズ処理を実施した画像データを出力するタイミングで、出力ＤＭＡ部８３に出力する画像データの書き込み信号Ｏ＿ＷＥ２を出力する。

なお、出力制御部７３１または出力制御部７３２のいずれかからの出力制御によって、入力バッファ７２０に記憶されている画像データがリサイズ演算処理部７４０に出力されると、リサイズ演算処理部７４０は、リサイズ処理後の画像データを出力する。上述したように、リサイズ処理部７０がリサイズ処理後の画像データを出力ＤＭＡ部８２および出力ＤＭＡ部８３に出力するタイミングは、出力調停部７６０によって最適化されている。従って、出力制御部７３１および出力制御部７３２のそれぞれが入力バッファ７２０に対して行うリサイズ演算処理部７４０への画像データの出力制御は、出力調停部７６０によって決定（調停）された出力先にリサイズ処理した画像データが出力されるように制御される。すなわち、出力制御部７３１および出力制御部７３２のそれぞれは、対応する出力ＤＭＡ部８２または出力ＤＭＡ部８３から画像データの出力要求を受け付け、バッファフル／エンプティ監視部７５０から、リサイズ処理を行って出力することができる画像データが揃っていることを表す通知が入力された後、入力バッファ７２０に対するリサイズ演算処理部７４０への画像データの出力制御が直ちに行うのではなく、出力調停部７６０から出力された出力調停情報ＯＭＩによって許可された出力制御部７３１または出力制御部７３２のいずれか一方が、入力バッファ７２０に対する出力制御を行う。

リサイズ演算処理部７４０は、入力された画像データに対して、出力制御部７３１に対応したリサイズ率（処理条件）でのリサイズ処理、または出力制御部７３２に対応したリサイズ率（処理条件）でのリサイズ処理のいずれか一方のリサイズ処理を行って、リサイズ処理後の画像データを出力する。リサイズ演算処理部７４０には、出力制御部７３１に対応したリサイズ処理のリサイズ率と、出力制御部７３２に対応したリサイズ処理のリサイズ率とが、予め定められている。リサイズ演算処理部７４０は、出力制御部７３１に対応したリサイズ処理を実施するか、出力制御部７３２に対応したリサイズ処理を実施するかによって、リサイズ処理を実施する際のリサイズ率を切り替える。図２では、出力調停部７６０から出力された出力調停情報ＯＭＩに基づいて、リサイズ処理を実施する際のリサイズ率を切り替える構成を示している。

なお、リサイズ演算処理部７４０におけるリサイズ率の切り替えは、図２に示した出力調停部７６０が出力する出力調停情報ＯＭＩに基づいて切り替える方法に限定されるものではなく、他の方法によってリサイズ処理を実施する際のリサイズ率を切り替える構成にすることもできる。例えば、パイプライン処理の全体を制御するシーケンサに、リサイズ演算処理部７４０によるリサイズ処理が完了したことを表す割込み信号（処理完了割込み信号）を出力し、シーケンサが、リサイズ演算処理部７４０から処理完了割込み信号が入力されるたびに、出力調停部７６０から出力された出力調停情報ＯＭＩに基づいて、次にリサイズ処理を行う際のリサイズ率の設定を変更する構成にすることもできる。

出力選択部７７０は、出力調停部７６０から出力された出力調停情報ＯＭＩに基づいて、リサイズ演算処理部７４０がリサイズ処理した画像データの出力先を切り替える。より具体的には、出力調停情報ＯＭＩによって画像データの出力先として出力ＤＭＡ部８２が選択されている場合には、リサイズ演算処理部７４０がリサイズ処理した画像データを、出力ＤＭＡ部８２へのデータバスＯ＿ＤＡＴ１に出力するように切り替える。また、出力調停情報ＯＭＩによって画像データの出力先として出力ＤＭＡ部８３が選択されている場合には、リサイズ演算処理部７４０がリサイズ処理した画像データを、出力ＤＭＡ部８３へのデータバスＯ＿ＤＡＴ２に出力するように切り替える。

次に、本実施形態の画像処理装置１に備えたリサイズ処理部７０におけるリサイズ処理のタイミングについて説明する。図３は、本実施形態の画像処理装置１に備えたリサイズ処理部７０がリサイズ処理した画像データを出力するタイミングの一例を示したタイミングチャートである。

図３に示したタイミングチャートでは、画像処理装置１に備えたリサイズ処理部７０が、前段の歪み補正処理部６０が１フレームの静止画像を歪み補正処理して生成した処理画像を１／２および１／４にそれぞれにリサイズした処理画像を生成するリサイズ処理の動作期間と、リサイズ処理後の画像データを後段の出力ＤＭＡ部８２および出力ＤＭＡ部８３に出力するタイミングの一例を示している。なお、図３に示したタイミングチャートは、従来の画像処理装置１００に備えたリサイズ処理部７１およびリサイズ処理部７２のそれぞれが、リサイズした処理画像を生成して出力する動作（図７参照）と同様の動作を行う場合の処理タイミングである。

なお、図３に示した書き込み信号Ｉ＿ＷＥは、歪み補正処理部６０が、リサイズ処理部７０に画像データを出力する、すなわち、リサイズ処理部７０に備えた入力バッファ７２０に、歪み補正処理後の画像データを書き込むタイミングを示している。また、図３に示した書き込み信号Ｏ＿ＷＥ１は、リサイズ処理部７０が、出力ＤＭＡ部８２に画像データを出力する、すなわち、リサイズ処理部７０に備えたリサイズ演算処理部７４０が、入力バッファ７２０に一時記憶した歪み補正処理後の画像データに対してリサイズ処理を行ったリサイズ処理後の画像データを、出力ＤＭＡ部８２に出力するタイミングを示している。同様に、図３に示した書き込み信号Ｏ＿ＷＥ２は、リサイズ処理部７０が、リサイズ演算処理部７４０がリサイズ処理を行ったリサイズ処理後の画像データを、出力ＤＭＡ部８３に出力するタイミングを示している。なお、図３に示したタイミングチャートでも、書き込み信号Ｉ＿ＷＥ、書き込み信号Ｏ＿ＷＥ１、および書き込み信号Ｏ＿ＷＥ２のそれぞれが“Ｈｉｇｈ”レベルの期間の画像データが有効な画像データである。

図３に示したように、リサイズ処理部７０が対応する出力ＤＭＡ部８２および出力ＤＭＡ部８３に画像データを出力する際の転送レート（書き込み信号Ｏ＿ＷＥ１および書き込み信号Ｏ＿ＷＥ２の周期）は、歪み補正処理部６０がリサイズ処理部７０に画像データを出力する際の転送レート（書き込み信号Ｉ＿ＷＥの周期）よりも低い。また、リサイズ処理部７０では、対応する出力ＤＭＡ部８２および出力ＤＭＡ部８３にリサイズ処理後の画像データを出力する際の転送レート（書き込み信号Ｏ＿ＷＥ１および書き込み信号Ｏ＿ＷＥ２の周期）が異なっている。これは、図７に示した従来の画像処理装置１００におけるそれぞれの画像データの転送レートと同様であり、従来の画像処理装置１００と同様に、リサイズ処理部７０がそれぞれリサイズ処理を実施する際のリサイズ率に起因するものである。

より具体的には、図３に示したように、リサイズ率が１／２であるリサイズ処理後の画像データを出力する出力ＤＭＡ部８２に、書き込み信号Ｉ＿ＷＥの２回に１回の割合、すなわち、２ラインに１回の割合で、１／２にリサイズ処理したリサイズ処理後の画像データを転送している。また、リサイズ率が１／４であるリサイズ処理後の画像データを出力する出力ＤＭＡ部８３に、書き込み信号Ｉ＿ＷＥの４回に１回の割合、すなわち、４ラインに１回の割合で、１／４にリサイズ処理したリサイズ処理後の画像データを転送している。つまり、画像処理装置１の構成であっても、従来の画像処理装置１００と同様に、ＤＭＡバス１０に接続されている複数の構成要素が同時にデータを出力することができないことには変わりはなく、図１に示した画像処理装置１の構成では、出力ＤＭＡ部８２または出力ＤＭＡ部８３のいずれか一方しか画像データをＤＭＡバス１０に出力することができない。

すなわち、上述したように、画像処理装置１においても、リサイズ処理部７０がそれぞれリサイズ処理を実施する際のリサイズ率に応じて、リサイズ処理後の画像データの出力ＤＭＡ部への転送を行わない、図３の「Ｂ」に示したような期間が存在する。しかし、画像処理装置１では、出力調停部７６０が、リサイズ処理後の画像データの出力先を決定（調停）する。このとき、出力調停部７６０は、出力ＤＭＡ部８２および出力ＤＭＡ部８３内のバッファの空き容量や画像データの出力要求と、リサイズ処理部７０内の入力バッファ７２０に記憶されている画像データの準備状態とに基づいて、出力ＤＭＡ部８２および出力ＤＭＡ部８３にリサイズ処理後の画像データを出力するタイミングを最適化している。より具体的には、図３を見てわかるように、出力ＤＭＡ部８２にリサイズ処理後の画像データを出力していないタイミングで、出力ＤＭＡ部８３にリサイズ処理後の画像データを出力するように、リサイズ処理後の画像データを出力するタイミングを最適化している。

これにより、画像処理装置１では、リサイズ演算処理部７４０内に１つのリサイズ演算処理部７４０しか備えていなくても、従来の画像処理装置１００と同様に異なる画素数の２つの処理画像を生成することができ、生成した処理画像の画像データを出力する際の転送レートも、従来の画像処理装置１００と同様の転送レートを確保することができる。つまり、図３の「Ｂ」に示したリサイズ処理後の画像データの出力ＤＭＡ部への転送を行わない期間は、図７の「Ｂ」に示した従来の画像処理装置１００における期間と同様である。

また、出力調停部７６０によるリサイズ処理後の画像データを出力するタイミングの最適化は、リサイズ演算処理部７４０が実施するリサイズ処理を決定（調停）することにも相当し、図３の「Ａ」に示したように、リサイズ演算処理部７４０が動作していない期間が少なくなり、リサイズ演算処理部７４０の活性率を向上させることができる。

上記に述べたように、本実施形態の画像処理装置１に備えたリサイズ処理部７０では、１つのリサイズ演算処理部７４０が異なる画素数の２つの処理画像を生成し、生成したそれぞれの処理画像の出力先を切り替える。これにより、本実施形態の画像処理装置１に備えたリサイズ処理部７０では、図５に示した従来の画像処理装置１００において２つのリサイズ処理部（リサイズ処理部７１とリサイズ処理部７２）のそれぞれに備えたリサイズ演算処理部７１４を用いて実施していたのと同様のリサイズ処理を、１つのリサイズ演算処理部７４０で実現することができる。

また、本実施形態の画像処理装置１に備えたリサイズ処理部７０では、図６に示した従来の画像処理装置１００に備えたリサイズ処理部７１の入力制御部７１１と、入力バッファ７１２と、バッファフル／エンプティ監視部７１５と、リサイズ演算処理部７１４とを共用し、新たに出力調停部７６０を備えた構成である。これにより、本実施形態の画像処理装置１に備えたリサイズ処理部７０では、リサイズ処理部７０の回路規模（特に、入力バッファ７２０およびリサイズ演算処理部７４０の回路規模）を削減することができる。

このように、本実施形態の画像処理装置１に備えたリサイズ処理部７０では、従来の画像処理装置１００と同様の処理速度を維持した状態で、画像処理装置１全体の回路規模を削減することができる。また、リサイズ処理部７０では、従来の画像処理装置１００のリサイズ処理部７１に備えたリサイズ演算処理部７１４、およびリサイズ処理部７２に備えたリサイズ演算処理部７１４のそれぞれが実施していたリサイズ処理を、１つのリサイズ演算処理部７４０で実施するため、リサイズ演算処理部７４０の活性率が向上する。

上記に述べたとおり、本発明を実施するための形態によれば、画像処理のパイプラインを構成する特定の画像処理回路が出力する画像データを用いて、同様の画像処理を行って複数の処理画像を生成する画像処理装置を構成する場合に、一部の構成要素を共用し、それぞれの処理画像を生成するときの構成要素の動作を切り替える。これにより、本実施形態の画像処理装置では、従来の画像処理装置と同様の処理速度を維持した状態で、画像処理装置に備えた画像処理回路の回路規模を削減し、画像処理回路に備えた構成要素の活性率を向上させることができる。

なお、本実施形態においては、同様の画像処理がリサイズ処理である場合について説明したが、本発明の考え方を適用することができる画像処理は、本発明を実施するための形態において説明したリサイズ処理に限定されるものではない。また、本実施形態においては、リサイズ処理を行って異なる画素数の２つの処理画像を生成する場合について説明した。しかし、同様の画像処理によって生成する処理画像の数は、本発明を実施するための形態において説明した数（２つ）に限定されるものではなく、１つの構成要素（本実施形態においては、リサイズ演算処理部７４０）が動作していない期間がなくならない限りの処理を、１つの構成要素に実施させることができる。すなわち、画像処理回路の活性率が１００％になるまでは、さらに多くの処理画像を１つの構成要素に生成させることができる。ただし、多くの処理画像を生成した場合においても、ＤＭＡバス１０に画像データが正しく流れる、つまり、ＤＭＡバス１０の使用率が１００％を超えない範囲であることを考慮することは必要である。

なお、本実施形態においては、パイプラインの構成が「ＤＲＡＭ２０→入力ＤＭＡ部３０→輝度色変換部４０→ノイズ除去部５０→歪み補正処理部６０→出力ＤＭＡ部８１→ＤＲＡＭ２０」であり、歪み補正処理部６０のデータバスを分岐して２つの処理画像を生成する場合について説明した。しかし、本発明の考え方を適用することができる処理のパイプラインやデータバスを分岐する位置は、画像処理のパイプラインに限定されるものではなく、例えば、ノイズ除去部５０のデータバスを分岐するなど、パイプラインのいかなる位置に配置されている構成要素が出力するデータバスを分岐させた場合であっても、本発明の考え方を適用することができる。

以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。

１・・・画像処理装置
１０・・・ＤＭＡバス
２０・・・ＤＲＡＭ
３０・・・入力ＤＭＡ部（処理回路）
４０・・・輝度色変換部（処理回路）
５０・・・ノイズ除去部（処理回路）
６０・・・歪み補正処理部（処理回路）
７０・・・リサイズ処理部（画像処理装置）
７１０・・・入力制御部
７２０・・・入力バッファ（バッファ部）
７３１，７３２・・・出力制御部
７４０・・・リサイズ演算処理部（処理演算部）
７５０・・・バッファフル／エンプティ監視部（バッファ監視部）
７６０・・・出力調停部
７７０・・・出力選択部（出力調停部）
７８０・・・ＯＲ（論理和）回路（出力制御部）
８１，８２，８３・・・出力ＤＭＡ部（処理回路）
１００・・・画像処理装置
７１，７２・・・リサイズ処理部
７１１・・・入力制御部
７１２・・・入力バッファ
７１３・・・出力制御部
７１４・・・リサイズ演算処理部
７１５・・・バッファフル／エンプティ監視部

Claims (7)

1. 複数の処理回路で構成されたパイプラインの内、特定の処理回路が出力するデータバスを分岐して入力された１つの入力画像から、設定された複数の処理条件に基づいた複数の処理画像を生成して出力する画像処理装置であって、
   １つの前記入力画像の画像データを記憶する記憶容量を具備するバッファ部と、
   前段の特定の前記処理回路から前記データバスに出力された１つの前記入力画像の前記画像データを、前記バッファ部に記憶させる入力制御部と、
   入力された画像データに対して、設定された複数の前記処理条件の内、いずれか１つの処理条件に基づいた画像処理を行い、該画像処理によって生成した前記処理画像の画像データを出力する処理演算部と、
   設定された複数の前記処理条件のそれぞれに対応し、前記バッファ部に記憶された１つの前記入力画像の前記画像データの内、対応する前記処理条件で画像処理を行う際に必要な前記画像データを、前記処理演算部に出力させると共に、前記処理演算部が対応する前記処理条件に基づいて生成した前記処理画像の前記画像データを、対応する後段の前記処理回路に出力させる複数の出力制御部と、
   複数の前記処理条件の中からいずれの前記処理条件の画像処理を行うかを決定し、該決定した前記処理条件に対応する前記出力制御部に対して、前記バッファ部に対する前記処理演算部への前記画像データの出力制御を許可する出力調停部と、
   を備えることを特徴とする画像処理装置。
2. 前記出力調停部は、
   前記バッファ部に前記処理条件で画像処理を行う際に必要な前記画像データが揃っているか否かの状態と、後段の前記処理回路のそれぞれから入力される前記処理画像の前記画像データの出力要求と、前記処理画像の前記画像データを受け付ける後段の前記処理回路のそれぞれの状態とに基づいて、画像処理を行う前記処理条件を決定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記処理画像の前記画像データを受け付ける後段の前記処理回路の状態は、
   後段の前記処理回路が備えているバッファの空き容量の大きさの状態であり、
   前記出力調停部は、
   前記バッファの空き容量が大きい後段の前記処理回路に優先して前記処理画像の前記画像データを出力するように、前記出力制御を許可する前記出力制御部を決定する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記バッファ部に具備される前記記憶容量は、
   前記処理演算部に設定されたそれぞれの前記処理条件に基づいた画像処理において、最も多くの前記画像データを必要とする前記処理条件に対応した記憶容量である、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記バッファ部に具備された前記記憶容量を監視し、前記バッファ部に空き容量があるか否かの情報を前記入力制御部に通知し、前記バッファ部に前記処理演算部が画像処理を行う際に必要な前記画像データが揃っているか否かの情報を前記出力制御部のそれぞれに通知するバッファ監視部、
   をさらに備え、
   前記バッファ監視部は、
   前記バッファ部に記憶された前記画像データが、前記出力制御部のいずれからも前記処理演算部に出力されない状態になったときに、前記バッファ部に前記画像データを記憶することができる空き容量があると判定する、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記バッファ監視部は、
   前記出力制御部のそれぞれが対応する前記処理条件毎に、前記バッファ部に前記処理演算部が画像処理を行う際に必要な前記画像データが揃っているか否かを判定し、該判定した前記出力制御部のそれぞれに対応する必要な前記画像データが揃っているか否かの情報を、前記バッファ部に前記処理条件で画像処理を行う際に必要な前記画像データが揃っているか否かの状態を表す情報として、前記出力調停部に出力する、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記入力制御部は、
   前記バッファ監視部から前記バッファ部に空き容量があることを表す通知が入力されたときに、前段の特定の前記処理回路に、１つの前記入力画像の前記画像データの出力を要求する、
   ことを特徴とする請求項６に記載の画像処理装置。

Images