JP2021033346A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】画像処理において、メモリ帯域を好適に制御する。【解決手段】本発明の画像処理装置は、複数の画像処理部と、複数の記憶部と、制御部と、画像データを分割する分割部と、画像データを結合する結合部を備え、制御部は、記憶部の使用状況に応じて、画像データを分割する処理を特定し、特定された処理を施す画像処理部が２つ備えられ、かつ各々、異なる記憶部に接続されることを条件に画像データを分割する分割位置を決定し、分割位置に基づいて分割された画像データのうち、一方の画像データに対して一方の画像処理部により処理を施し、当該処理が施された一方の画像データと他方の画像データを結合させ、結合された画像データを分割位置に基づいて分割した画像データのうち、一方の画像処理部により処理が施されていない一方の画像データに対して他方の画像処理部により処理を施し、当該処理が施された一方の画像データと他方の画像データを結合させる。【選択図】図１

Description

本発明は、メモリ帯域を好適に制御する画像処理装置に関する。

近年、ＬＳＩ（Large Scale Integrated Circuit）プロセスの進化に伴う集積度の向上により、高解像度、高フレームレートの画像を１チップで処理することが可能となっている。但し、高解像度、高フレームレートの画像処理を行うには多くのメモリアクセスが必要とされ、また、ＬＳＩの集積度の向上速度に比して、ＤＲＡＭ（Dynamic Random Access Memory）等のメモリの高速化の成長率は遅い状況にある。そのため、メモリ帯域の制約によっては、画像処理のすべての機能を使用することが難しくなっている。

そこで、メモリ帯域の制約を充足させ、画像処理を行う方法として、複数のチップで画像処理を分割して実行する方法が提案されている。特許文献１には、画像を左右に分割して処理する方法が提案されている。この方法では、画像を左右に分割して処理するため、２つのＬＳＩのメモリ帯域は均等に使用され、１チップあたりのメモリ要求帯域を約半分に抑えることができる。但し、分割画像の処理チップと表示するチップが異なる場合、画像の左右反転処理、回転処理、縮小レイアウト処理等のレイアウト処理において、他のチップの分割画像を必要とするため、処理が煩雑になる。また、画像処理毎に、分割境界において、一部をオーバーラップさせて分割処理するため、そのオーバーラップ領域分のメモリ帯域が増加することになる。

そこで、このような不具合に対応するため、画像処理を前後半で処理を分けて、画像処理のチップを直列に接続して処理する方法が提案されている。この方法では、画像を空間分割せずに処理を実行するため、上述のレイアウト処理が容易であり、かつオーバーラップ領域分のメモリ帯域が増加することもない。

特開２００９−１７１１８３号公報

但し、画像処理を前後半で分ける場合も、前後半のすべての画像処理のメモリ要求帯域が、各チップの有するメモリ帯域を充足する必要がある。また、画像処理は所定の順序で行う必要があり、さらに各画像処理のメモリ要求帯域は一様ではないことから、画像処理のメモリ要求帯域の総和はシステムのメモリ要求帯域を満たしても、各チップのメモリ要求帯域内に収まらない場合がある。加えて、入出力フォーマットや画像処理モードの設定が変更されることで、各画像処理のメモリ要求帯域は変動するため、各チップのメモリ要求帯域内に収まるように制御するのは容易ではない。

本発明は、上記従来の問題に鑑みてなされたものであって、その目的は、画像処理において、メモリ帯域を好適に制御することである。

本発明の画像処理装置は、複数の画像処理手段であって、当該画像処理手段に応じた画像処理を施す、複数の画像処理手段と、前記画像処理において用いられる複数の記憶手段と、画像処理を制御する制御手段と、前記制御手段の指示に従って、画像データを分割する分割手段と、前記制御手段の指示に従って、画像データを結合する結合手段とを備え、前記制御手段は、前記記憶手段の使用状況に関する情報に応じて、前記分割手段により画像データを分割する画像処理を特定し、前記特定された画像処理を施す画像処理手段が、前記複数の画像処理手段のうち、少なくとも２つ備えられ、かつ各々、異なる記憶手段に接続されることを条件に、前記特定された画像処理において処理対象とされる画像データを分割する分割位置を決定し、前記分割位置に基づいて前記分割手段により少なくとも２つに分割された画像データのうち、一方の画像データに対して前記少なくとも２つの画像処理手段のうちの一方の画像処理手段により画像処理を施し、前記一方の画像処理手段により画像処理が施された一方の画像データと他方の画像データを前記結合手段により結合させるように制御し、前記結合された画像データを前記分割位置に基づいて前記分割手段により少なくとも２つに分割した画像データのうち、前記一方の画像処理手段により画像処理が施されていない一方の画像データに対して前記少なくとも２つの画像処理手段のうちの他方の画像処理手段により画像処理を施し、前記他方の画像処理手段により画像処理が施された一方の画像データと他方の画像データを前記結合手段により結合させるように制御することを特徴とする。

本発明によれば、画像処理において、メモリ帯域を好適に制御することができる。

画像処理装置の構成を示すブロック図である。 画像処理装置の制御部における処理の手順を示すフローチャートである。 メモリ帯域の割当てについて説明するための図である。 入力画像の分割とオーバーラップ領域について説明するための図である。 各画像処理の処理実行位置と処理範囲を示す図である。 メモリ帯域の割当てについて説明するための図である。 画像処理装置の動作について説明するための図である。 処理を分割して実行した場合の処理遅延について説明するための図である。 画像処理装置の構成を示すブロック図である。 メモリ帯域の割当てについて説明するための図である。 画像処理装置の構成を示すブロック図である。 メモリ帯域の割当てについて説明するための図である。 画像処理装置の構成を示すブロック図である。 画像処理装置の動作について説明するための図である。 メモリ帯域の割当てについて説明するための図である。 メモリ帯域の割当てについて説明するための図である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。その他、補足として、同一の構成については、同じ符号を付して説明する。

＜第１実施形態＞
（システム構成及び処理）
図１は、本実施形態に係る画像処理装置の構成を示すブロック図である。図１に示されるように、画像処理装置１０は、２つの同一チップ（チップ０ １００ａ、チップ１ １００ｂ）を備え、また、チップ０ １００ａの出力と、チップ１ １００ｂの入力は、直列に接続されている。なお、以下において、各々のブロックに関して、符号末尾に付される「ａ」は「チップ０」のブロックであることを示し、また、符号末尾に付される「ｂ」は「チップ１」のブロックであることを示すものとする。また、チップ０ １００ａとチップ１ １００ｂに共通する内容に関しては、符号末尾に「ａ」又は「ｂ」を付さないで記載（説明）するものとする。

チップ０ １００ａ、チップ１ １００ｂは、各々、画像処理部１ １０１、画像処理部２ １０３、画像処理部３ １０５、画像処理部４ １０６を備える。各画像処理部は、メモリ１０９に格納された情報を用いて画像処理を実行する第１の画像処理モードと、入力画像に対して画像処理を実行することなく、入力画像をスルーさせる（通過させる）第２の画像処理モードを有する。画像処理部１乃至４は、制御部１０７の指示に従って、上述の第１の画像処理モードと、第２の画像処理モードを切り替える。

なお、第１の画像処理モードにおいて使用するメモリ１０９に格納する情報は、その画像処理部自身がメモリ１０９に書き込んだ画像情報であってもよいし、他の画像処理部がメモリ１０９に書き込んだ情報を読み出して用いるようにしてもよい。また、各々の画像処理部は、例えば、ＩＰ変換、３次元ノイズリダクション、合成処理、変形処理、オーバードライブ処理、符号化処理、復号処理、ディープラーニングの手法を用いた認識処理等の各種処理を実行することができる。ここで、補足として、上述の「他の画像処理部」には不図示の画像処理部も含まれるものとし、また、上述のＩＰ変換は、Ｉｎｔｅｒｌａｃｅ Ｐｒｏｇｒｅｓｓｉｖｅ変換の略である。

本実施形態では、各々の画像処理部は、入力画像にラスタースキャンを実行するものとして説明するが（即ち、入力画像の左上から右下までを水平に走査するものとして説明するが）、処理の仕様（処理の単位）は必ずしもこれに限定されない。したがって、例えば、入力画像を、隣接領域とのオーバーラップ領域を含む矩形分割したブロック画像を処理単位とする構成や、縦又は横方向に短冊分割した画像を処理単位とする構成とすることもできる。

また、第１の画像処理モードにおいては、さらに複数の画像処理設定を備える構成とすることもできる。例えば、メモリ１０９から参照画像として読み出すフレーム数が異なる複数の画像処理設定を備える構成とすることもできる。その他、第２の画像処理モードを設定する場合、その処理の消費電力を抑えるため、（スルー設定で動作する）不要な演算部の電源を遮断する構成とすることもできる。

分割部１０２は、入力画像を制御部１０７の指示に従って分割し、その分割した画像を画像処理部２ １０３、又は結合部１０４に出力する。画像処理部２ １０３において分割した画像に対して画像処理を実行する上で、画像処理部２ １０３はフィルタ処理等で分割境界の周辺の画像（画素の集合）を参照する。そのため、分割部１０２は分割境界を視認させないようにオーバーラップ領域を付加して分割する。なお、分割部１０２は、分割位置、オーバーラップ領域に関する情報を、制御部１０７から取得する。

ここで、チップ０ １００ａにおいて、分割部１０２ａで分割し、画像処理部２ １０３ａにより出力された領域を第１領域、分割部１０２ａにより出力された領域を第２領域とする。この場合、チップ１ １００ｂにおいて、分割部１０２ｂは、分割部１０２ａとは逆に、処理済の第１領域を結合部１０４ｂに出力し、未処理の第２領域を画像処理部２ １０３ｂに出力する。これにより、分割した画像の各々に対して、画像処理２を実行することができる。

本実施形態では、画像処理としてラスタースキャンを実行することを前提に、メモリ帯域を分散するため、入力画像を水平方向に分割するものとして説明するが、これに限るものではない。例えば、ブロック画像の入力時において、ブロック画像自体の分割を実行せず、所定の割合に応じて各ブロック画像を第１領域、第２領域として割り当てるよう制御することもできる。ここで、制御部１０７が、第１領域、第２領域を３：２の割合で設定するものとする。この場合において、各入力ブロック画像を順に領域１、１、２、１、１、２…のように偏ることなく設定することで、第１領域、第２領域の画像処理において、メモリ帯域を時間的に集中させることなく均等に割り振ることができる。

結合部１０４は、制御部１０７の指示に従って、画像処理部２ １０３より出力された画像と分割部１０２より出力された画像を結合する。なお、本実施形態では、画像処理としてラスタースキャンを実行するため、分割部１０２の出力結果が１ライン期間の前半、画像処理部２ １０３の出力結果が１ライン期間の後半に出力されるように制御するものとして説明するが、必ずしもこれに限られない。また、画像処理部２ １０３の出力結果のうち、以後の処理で使用されないオーバーラップ領域に関しては、画像処理部２ １０３又は結合部１０４において削除される。

制御部１０７は、ＣＰＵ（Central Processing Unit）等によって構成され、後述の処理フロー（制御フロー）等に従って、チップ内の各ブロックを制御する。また、制御部１０７ａと制御部１０７ｂは相互に通信可能なように接続されており、制御部１０７ａは、制御部１０７ｂを制御することで、チップ１ １００ｂ内の各ブロックも制御することができる。なお、各チップの制御部１０７は、例えば、ＰＣＩ（Peripheral Component Interconnect）等の各種規格に準拠して接続される。また、制御部１０７ａ、制御部１０７ｂの制御関係は逆であってもよく、制御部１０７ｂが制御部１０７ｂを制御するようにしてもよい。

メモリ１０９は、チップ内のバス１０８を介して画像処理部１乃至４と接続され、チップ毎に搭載される。そのため、画像処理部２ １０３ａと画像処理部２ １０３ｂは、各々、異なるメモリ１０９ａ、１０９ｂに接続される。メモリ１０９は、例えば、ＤＤＲ４ ＳＤＲＡＭ（Double-Data-Rate4 Synchronous Dynamic Random Access Memory）等を用いて構成される。なお、メモリ１０９ａ、１０９ｂに関して、同一のメモリを用いて構成させることも、異なる動作周波数や容量のメモリを用いて構成させることもできる。また、メモリ１０９を制御するメモリコントローラ等の付属部品に関しては、公知のものを用いればよく、ここでは、その説明を省略する。

（画像処理の手順）
次に、本実施形態に係る画像処理装置１０の制御部１０７ａにおける処理について、図２に示されるフローチャートを用いて説明する。なお、フローチャートの説明における記号「Ｓ」は、ステップを表すものとする。

Ｓ１において、制御部１０７ａは、画像処理装置１０への入力フォーマットが確定すると、Ｓ２において、制御部１０７ａは、画像処理装置１０において実行する画像処理モードを確定する。画像処理モードは、各画像処理の処理内容を指定するものであり、例えば、ユーザの設定に応じて指定される。

Ｓ１、Ｓ２において、画像処理装置１０内部で実行する画像処理が確定すると、Ｓ３において、Ｓ１、Ｓ２で確定した情報に基づいて、画像処理１乃至４で必要とされるメモリ帯域を算出する。

なお、各々の画像処理において必要とされるメモリ帯域は、例えば、画像処理の書込み、読出しに関するデータ量と、処理が成立する書込み、読出しの制約期間等から算出することができる。例えば、画像データのメモリアクセスにおいて、必要とされるメモリ帯域は、データ量として画像データの画像サイズ、各画素のＢｉｔ深度、画像処理モード等、また、制約期間としてフレームレート、画像処理のバッファ量に基づく制約期間等から算出される。加えて、例えば、動き情報等の画像と直接的に関連性のない画像データに関するメモリアクセスの場合、必要とされるメモリ帯域は、画像処理の所定期間に書き込むデータ量、読み出すデータ量から算出される。

ここで、図３を用いて、メモリ帯域とその割当てについて説明を補足する。なお、ここでは、説明を簡略化するため、画像処理１乃至４で必要とされるメモリ帯域を、各々、符号Ａ乃至Ｄ、また、各チップの画像処理において使用可能なメモリ帯域をＭと定義して説明する。

また、画像処理１乃至４は、以下の処理である。なお、本実施形態において、入力画像とは、各ブロック（例えば、画像処理部等）に入力された画像のことである。この点、他の説明においても同様である。

画像処理１は、入力画像を一旦メモリ１０９に書き込み、その書き込んだ画像をさらに読み出し、所定の処理を実行し、その処理結果を出力する処理である。画像処理２は、メモリ１０９に書き込まれた画像を１枚、読み出して処理を施し、その処理結果をメモリ１０９に書き込み、さらに書き込んだ画像を読み出し、所定の処理を実行して出力する処理である。画像処理３は、メモリ１０９に格納され不図示の処理部の処理結果を読み出し、入力画像に所定の画像処理を実行して出力する処理である。画像処理４は、入力画像からデータを抽出し、その抽出したデータをメモリ１０９に書き込み、さらに、そのメモリ１０９に格納されたデータを読み出して、次のフレームに対して所定の画像処理を実行する。これらを踏まえると、画像処理装置１０の各画像処理において必要とされるメモリ帯域は、図３（ａ）のように示される。

図２に戻り、Ｓ４において、制御部１０７ａは、画像処理１乃至４を、チップ０ １００ａ、チップ１ １００ｂの何れのチップで実行するかを割り振る。なお、画像処理の順序に関して、画像処理１、２、３、４の順序に従って連続的に実行する必要がある。そのため、制御部１０７ａは、チップ０ １００ａでは画像処理１から正順に、チップ１ １００ｂでは画像処理４から逆順に割り当てる。このような順序に従って、各チップのメモリ帯域を満たすように画像処理を割り振ると、図３（ｂ）に示されるようになる。即ち、画像処理１で使用するメモリがチップ０ １００ａのメモリ１０９ａに割り当てられ、画像処理３、４で使用するメモリがチップ１ １００ｂのメモリ１０９ｂに割り当てられる。

次に、画像処理２に割り当てられるメモリ帯域について検討する。画像処理部２は、上述のように、メモリ１０９に格納されたフレーム画像を参照して処理を実行し、その処理結果をメモリ１０９に書き込み、さらに、その処理結果をメモリ１０９より読み出し、所定の処理を実行して出力する。そのため、例えば、画像処理部２ １０３ａでの画像の１フレーム分の書込みと２フレーム分の読出しは、メモリ１０９ａで実行する必要がある。また、画像処理部２ １０３ｂでの画像の１フレーム分の書込みと２フレーム分の読出しは、メモリ１０９ｂで実行する必要がある。即ち、画像処理部２ １０３は、自身が利用できるメモリ１０９を用いて、画像の１フレーム分の書込みと２フレーム分の読出しを実行する必要がある。

このような前提を踏まえ、画像処理２で必要とされるメモリ帯域を全体として、何れか一方のメモリに割り当てても、本実施形態のメモリ１０９のメモリ帯域には制約があるので、図３（ｂ）の破線に示されるように、メモリ帯域の空きが不足することになる。そこで、制御部１０７ａは、後続のＳ５、Ｓ６の処理を実行する。

Ｓ５において、制御部１０７ａは、画像処理２で使用するメモリを割り当てるために、空きメモリ帯域を計算する。空きメモリ帯域は、チップ０ １００ａの空きメモリ帯域（Ｍ−Ａ）とチップ１ １００ｂの空きメモリ帯域（Ｍ−（Ｃ＋Ｄ））の合計で示される。

Ｓ６において、制御部１０７ａは、図３（ｂ）に示されるように画像処理２がメモリ帯域を割り当てる上で境界処理に該当するため、画像処理２を分割処理の対象として特定する。

Ｓ７において、制御部１０７ａは、Ｓ６で特定した分割境界で分割する処理を分割部１０２によって実行（分割）可能か否かを判定する。本実施形態では、分割処理の対象である画像処理部の前段及び後段の構成に基づいて、分割境界で分割する処理を分割部１０２によって実行（分割）可能かを判定する。具体的には、本実施形態では、図１に示されるように、画像処理部２の前段に分割部１０２、画像処理部２の後段に結合部１０４が実装されていることから、制御部１０７ａは、画像処理２における処理を分割可能と判定し、処理をＳ８に移行させる。なお、分割部１０２、及び結合部１０４が実装されていない場合、制御部１０７ａは、処理をＳ１０の判定処理に移行（遷移）させる。

Ｓ７において、Ｓ５で特定した画像処理が分割可能と判定された場合、Ｓ８において、制御部１０７ａは、Ｓ５で算出した各メモリの空き帯域の総和が、Ｓ６で特定した画像処理を分割した際の処理で使用されるメモリ要求帯域以下であるか否かを判定する。なお、画像処理２を分割した際に使用されるメモリ帯域は、オーバーラップ領域分のメモリ帯域が分割前から増加することで、画像処理２を分割しない場合より増加する。

ここで、図４に示されるように、入力画像幅をＷ、画像処理２で使用されるオーバーラップ領域をＷｏｖｅｒと定義すると、画像処理２の消費メモリ帯域は（１＋２Ｗｏｖｅｒ／Ｗ）Ｂで示される。また、空きメモリ帯域の総和は２Ｍ−（Ａ＋Ｃ＋Ｄ）で示される。そして、この場合に、画像処理２の消費メモリ帯域（（１＋２Ｗｏｖｅｒ／Ｗ）Ｂ）が空きメモリ帯域の総和（２Ｍ−（Ａ＋Ｃ＋Ｄ））以下である場合に、制御部１０７ａは、処理をＳ９に移行させる。また、画像処理２の消費メモリ帯域（（１＋２Ｗｏｖｅｒ／Ｗ）Ｂ）が空きメモリ帯域の総和（２Ｍ−（Ａ＋Ｃ＋Ｄ））より大きい場合に画像処理２を分割して実行できないことから、処理をＳ２に移行させ、画像処理モードの再設定を実行する。

Ｓ９において、制御部１０７ａは、画像処理２の分割位置を決定する。ここで、図４に示されるように、チップ０の画像処理部２ １０３ａの処理領域幅をＷａ、チップ１の画像処理部２ １０３ｂの処理領域幅をＷｂと定義する。この場合、画像処理部２の処理として、画像処理部２ １０３ａはＷａ＋Ｗｏｖｅｒ幅の画像の画像処理を実行し、画像処理部２ １０３ｂはＷｂ＋Ｗｏｖｅｒ幅の画像の画像処理を実行する。なお、幅Ｗの画像に対して画像処理２を実行する際に必要とされるメモリ帯域はＢであることから、上述のように、画像処理２を分割した場合、（１＋２Ｗｏｖｅｒ／Ｗ）Ｂのメモリ帯域が必要とされる。

また、本実施形態では、分割位置を決定する上で、画像処理３の処理性能を向上させるため、画像処理３を実行するチップ１ １００ｂのメモリ帯域を可能な限り空けるものとする。即ち、チップ０ １００ａの空きメモリ帯域を使い切るように、分割位置を制御（決定）するものとする。チップ０ １００ａのメモリ帯域を使い切るため、画像処理部２ １０３ａの処理帯域がチップ０ １００ａの空きメモリ帯域と一致するように、即ち、（Ｗａ＋Ｗｏｖｅｒ）Ｂ／Ｗ＝Ｍ−ＡとなるようにＷａを定義し、分割位置を特定（決定）する。なお、より好適には、Ｗａ＋Ｗｏｖｅｒ幅の画像のメモリ転送時のアラインを考慮して、Ｗａを定義するとよい。なお、チップ０ １００ａの空きメモリ帯域を使い切るように分割位置を制御する例を説明したが、チップ０ １００ａの空きメモリ帯域をチップ１ １００ｂの空きメモリ帯域より小さくしても画像処理３の処理性能を向上させることができる。

画像処理部２ １０３ｂで処理する画像幅Ｗｂは、Ｗ−Ｗａにより算出される。画像処理部２ １０３ｂの画像処理２で必要とされるメモリ帯域は、（分割時の画像処理２の要求帯域）−（画像処理部２ １０３ａの処理帯域）、即ち、（１＋２Ｗｏｖｅｒ／Ｗ）Ｂ−（Ｍ−Ａ）となる。Ｓ９が実行されると、各チップにおいて使用されるメモリ帯域は、図３（ｃ）のように示される。

Ｓ１０において、制御部１０７ａは、各チップのメモリ帯域が破綻するか否かを判定する。判定の結果、図３（ｃ）に示されるように、各チップの使用メモリ帯域が、使用可能なメモリ帯域Ｍを下回ると、図２に示される処理を終了する。

ここで、図２に示す処理の結果として、各画像処理部において処理対象とされる画像領域と、処理順序を図５に示す。図５に示されるように、チップ０ １００ａにおいては、画像処理１を全面、及び画像処理２を画像幅Ｗａの画像領域に対して実行し、画像幅Ｗｂの画像領域に対する画像処理２、画像処理３、及び画像処理４を実行しないで画像を出力するように制御する。また、チップ１ １００ｂにおいては、画像処理１、及び画像幅Ｗａの画像領域に対する画像処理２を実行せず、画像処理２を画像幅Ｗｂの画像領域、画像処理３を全面、及び画像処理４を全面に対して実行して画像を出力するように制御する。なお、分割部１０２及び結合部１０４には、分割位置Ｗａとオーバーラップ領域Ｗｏｖｅｒに関する情報が制御情報として伝達される。

補足として、上述の分割処理では、画像処理２で必要とされるメモリ帯域がチップ０、１の何れのメモリ帯域内にも収まらない例を用いて説明したが、ここで、画像処理２の処理がチップ１のメモリ帯域内に収まる場合の処理について、図６を用いて説明する。より詳細には、画像処理設定や入力フォーマットの変更に伴い、画像処理２で必要とされるメモリ帯域がチップ１のメモリ帯域内に収まり、かつチップ０のメモリ帯域に空きがある状態となる場合の処理について、図６を用いて説明する。また、上述のように、画像処理３の処理性能を向上させるため、可能な限りチップ０ １００ａのメモリ帯域を使用し、チップ１ １００ｂのメモリ帯域を空けるようにメモリ帯域を制御するため、上述の図２に示される処理を、以下のように実行する。

先ず、上述の図２のＳ４において、図６（ａ）に示される各画像処理で必要とされるメモリ帯域を踏まえ、画像処理の割振りを検討した結果、図６（ｂ）に示されるように、画像処理１をチップ０、画像処理３、４をチップ１で処理すると判定する。また、上述のように、画像処理２で必要とされるメモリ帯域を、チップ０ １００ａのメモリ１０９ａの空きメモリ帯域に収めることはできないが、チップ１ １００ｂのメモリ帯域内に収めることは可能であるものとする。

Ｓ５において、制御部１０７ａは、各チップの空きメモリ帯域を計算する。ここで、画像処理２、３、４で必要とされるメモリ帯域をチップ１に設定した場合のチップ１ １００ｂの空きメモリ帯域をＭ１ｂとすると、Ｍ１ｂ＝Ｍ−（Ｂ＋Ｃ＋Ｄ）となる。但し、この場合、チップ１の空きメモリ帯域（Ｍ１ｂ）は小さくなる。即ち、画像処理３の描画処理に使用可能なメモリ帯域は小さく、そのため、描画性能が低下する。そこで、この場合、Ｓ６以降の処理において、チップ１ １００ｂの空きメモリ帯域を最大化することを検討する。即ち、チップ１ １００ｂの空きメモリ帯域（Ｍ１ｂ）が所定の閾値よりも小さい場合、制御部１０７ａは、チップ１ １００ｂの空きメモリ帯域を最大化する。

Ｓ６において、制御部１０７ａは、画像処理２を分割処理の対象として特定する。Ｓ７において、制御部１０７ａは、画像処理部２の前段に分割部１０２、画像処理部２の後段に結合部１０４が実装されていることを条件として、画像処理２における処理を分割可能と判定し、処理をＳ８に移行させる。

Ｓ８において、画像処理２で必要とされるメモリ帯域を除いた各メモリ１０９の空きメモリ帯域の総和と、画像処理２を分割した際の処理で使用されるメモリ要求帯域を算出する。各メモリ１０９の空きメモリ帯域の総和は、メモリ１０９ａのＭ−Ａと、メモリ１０９ｂのＭ−（Ｃ＋Ｄ）総和となり、また、画像処理２を分割した際の処理で使用されるメモリ要求帯域は、（１＋２Ｗｏｖｅｒ／Ｗ）Ｂとなる。ここでは、画像処理２を分割した際の処理で使用されるメモリ要求帯域が、各メモリ１０９の空きメモリ帯域の総和以下であるものとして、処理をＳ９に移行させる。

Ｓ９において、制御部１０７ａは、画像処理２の分割位置を決定する。分割位置特定後のチップ１ １００ｂの空きメモリ帯域をＭ０ｂとすると、Ｍ０ｂ＞Ｍ１ｂの場合（図６（ｃ））、制御部１０７ａは、Ｓ９において分割結果を採用し、各画像処理部に処理結果を通知する。他方、画像処理２で必要とされるオーバーラップ領域が大きい等の理由により、そのオーバーラップ領域分のメモリ帯域の増加に伴い、分割前のチップ１ １００ｂの空きメモリ帯域の方が大きくなる場合がある。即ち、Ｍ０ｂ＜Ｍ１ｂの場合（図６（ｄ））、画像処理２を分割することなく（図６（ｅ））、チップ１ １００ｂで処理を実行するように、各画像処理部に処理（制御）結果を通知する。

以上、この補足では、画像処理３の処理性能を向上させるため、チップ１ １００ｂのメモリ帯域を空けるように制御する例を示した。ここで、例えば、画像処理設定の変更等により、Ｓ４において、画像処理３に使用されるメモリ帯域をチップ０ １００ａに割り振る場合、チップ０ １００ａのメモリ帯域を可能な限り空けるように制御することもできる。また、不図示のＣＰＵの処理性能を向上させるために、特定の処理を実行するＣＰＵが何れのチップに搭載されるかに応じて、メモリ帯域を空けるチップを制御することもできる。さらに、各チップの空き帯域を均等化するように、Ｓ９の分割位置を制御することもできる。

（画像処理装置における動作）
次に、図７を用いて、画像処理装置における動作について説明する。入出力フォーマット及び画像処理モードが確定し、上述の図４、図５に示される制御部１０７の制御に基づいて、画像処理装置１０は、以下のように動作する。なお、図７において、網掛けで示されている画像処理部３ １０５ａ、画像処理部４ １０６ａ、及び画像処理１ １０１ｂは、上述の制御の結果、第２のモードで動作し、画像処理を実行しない。

画像処理装置１０に入力される画像は、不図示の入力部より画像処理部１ １０１ａに入力される。画像処理１ １０１ａは、入力画像をメモリ１０９ａに書き込み、その書き込んだ画像をさらに読み出して所定の処理を実行し、処理結果を分割部１０２ａに出力する。画像処理１では、メモリ１０９ａの使用可能なメモリ帯域Ｍのうち、メモリ帯域Ａを使用する。

分割部１０２ａは、入力された画像に対して、制御部１０７ａの指示に従って、図４に示されるように、幅Ｗの画像を幅Ｗａ＋Ｗｏｖｅｒの第１領域と、幅Ｗｂ＋Ｗｏｖｅｒの第２領域に分割する。分割部１０２ａは、第１領域の画像を画像処理部２ １０３ａに出力し、第２領域の画像を結合部１０４ａに出力する。

画像処理部２ １０３ａは、１フレーム前の第１領域の画像をメモリ１０９ａより読み出して画像処理を実行し、処理結果をメモリ１０９ａに書き込む。さらに、画像処理部２ １０３ａは、メモリ１０９ａより処理結果を読み出して所定の処理を実行し、その処理結果を結合部１０４ａに出力する。

なお、画像処理２では、処理対象の画素の端部に位置するＷｏｖｅｒ画素についても、フレーム内を参照した処理を実行する。即ち、分割境界においても非分割時と同等の処理を実行するため、分割境界部において、分割部１０２ａで付加した分割境界のオーバーラップ領域Ｗｏｖｅｒを参照画像として用いる。補足として、オーバーラップ領域Ｗｏｖｅｒは画像処理２の参照領域として付加されるため、画像処理２が完了すると、オーバーラップ領域Ｗｏｖｅｒを不要な領域として処理する。

なお、チップ０ １００ａでは、上述のように、画像処理１と画像処理２に必要とされるメモリ帯域がメモリ１０９ａのメモリ帯域と等しくなるように、画像処理２を分割しているため、画像処理２で使用されるメモリ帯域は、Ｍ−Ａとなる。また、画像処理２に要する処理時間をＴｐｒｏｃと定義すると、画像処理部２ １０３ａは入力からＴｐｒｏｃ時間経過後に画像処理結果を出力する。

結合部１０４ａは、画像処理部２ １０３ａから出力された第１領域の処理結果と、分割部１０２ａから出力された第２領域の画像を結合する。ここで、第１領域のうち、境界部の幅Ｗｏｖｅｒは上述のように不要であることから、切り捨て処理を実行し、第２領域と結合する。

また、結合処理では、分割部１０２ａの出力を先に、画像処理２ １０３ａの出力を後にして結合する。第１領域の画像は、画像処理２の処理結果、第２領域の同一ラインよりＴｐｒｏｃ時間、遅延して結合部１０４ａに入力されるため、図８（ｂ）に示されるように垂直座標がずれた状態で結合した画像が出力される。

結合部１０４ａから出力された画像は、第２の画像処理モードに設定されている画像処理部３ １０５ａと画像処理部４ １０６ａに入力されるが、画像処理３、画像処理４のいずれも実行されることなく、不図示の出力部より出力される。そして、その出力された画像は、チップ１ １００ｂの不図示の入力部に入力される。

チップ１ １００ｂに入力された画像は、第２の画像処理モードに設定されている画像処理部１ １０１ｂに入力されるが、画像処理１が実行されることなく、分割部１０２ｂに出力される。分割部１０２ｂは、制御部１０７ｂからの指示に基づいて、幅Ｗａの第１領域と、幅Ｗｂ＋Ｗｏｖｅｒの第２領域に分割し、第１領域を結合部１０４ｂに、第２領域を画像処理部２ １０３ｂに出力する。

画像処理部２ １０３ｂは、第２領域に対して画像処理部２ １０３ａにおける画像処理２と同様の画像処理を実行し、その処理結果を、結合部１０４ｂに出力する。なお、第２領域のうち、分割境界部のオーバーラップ領域Ｗｏｖｅｒを不要な領域として処理する。また、画像処理部２ １０３ｂにおいても、画像処理部２ １０３ａと同様にＴｐｒｏｃ時間経過後に処理結果を出力する。

結合部１０４ｂは、分割部１０２ｂから出力された第１領域の画像と、画像処理部２ １０３ｂから出力される第２領域の処理結果（画像）のうち、オーバーラップ領域Ｗｏｖｅｒを除いた画像を結合する。ここで、分割部１０２ｂの時点における第１領域と第２領域の垂直方向のずれ（Ｔｐｒｏｃ）は、画像処理２を第２領域に実行することで（画像処理２の処理時間、遅延することで）、解消される。

したがって、図８（ｃ）に示されるように、結合部１０４ｂは、第１領域、第２領域の出力結果を内部に備える不図示のラインバッファを用いて結合し、その結合した結果を画像処理部３ １０５ｂに出力する。なお、この時点で、入力画像に対して画像処理１、２を分割せずに実行した場合と同等の処理結果が取得される。

画像処理部３ １０５ｂは、入力画像に対して、メモリ１０９ｂに格納された不図示の処理部の処理結果を読み出し、入力画像に対して所定の画像処理を実行する。ここで、例えば、画像処理部３ １０５ｂが、ユーザインターフェイス等のグラフィックを合成する機能を備え、不図示の他の処理部がグラフィックの描画処理をメモリ１０９ｂの空き帯域を利用して実行したものとする。この場合、画像処理２を可能な限りメモリ１０９ａのメモリ帯域を使用して処理し、メモリ１０９ｂのメモリ帯域を空けることで、描画処理に使用可能なメモリ帯域を増加させることができ、その結果、描画性能を向上させることができる。

画像処理部３ １０５ｂは、画像処理部４ １０６ｂに処理結果を出力する。画像処理部４ １０６ｂは、入力画像からデータを抽出し、その抽出したデータをメモリ１０９ｂに書き込み、さらに、メモリ１０９ｂに格納されたデータを読み出して、次のフレームに対して所定の画像処理を実行する。画像処理部４ １０６ｂは、処理結果を、画像処理装置１０の不図示の液晶パネル等の表示部、不図示の出力部、又は不図示の符号化部や記録部等、画像処理装置の形態に応じて出力する。

以上、説明したように、本実施形態によれば、画像処理において、メモリ帯域を好適に制御することができる。この点、上述で説明した内容を踏まえ、以下に補足する。先ず、入力画像を、オーバーラップ領域を有する状態で、左右の画像に均等に分割して、画像処理を実行する場合を検討する。この場合において、画像の分割処理を各々の画像処理で実行するとき、メモリ帯域として、各画像処理における境界処理に必要とされるオーバーラップ領域を合算して付加する必要がある。この場合、例えば、変形処理等の参照領域が大きいと、分割時に付加するオーバーラップ領域も大きくなり、必要とされるメモリ帯域が増加する。そのため、一部の分割区間でのみオーバーラップ領域を付加して分割処理を実行する本実施形態と比して、付加されるオーバーラップ領域が大きくなり、詰まりは、必要なメモリ帯域が大きくなる。

また、本実施形態のように、分割部１０２、結合部１０４を備えることなく、チップを直列接続して画像処理装置を構成させた場合、図３に示されるように、画像処理２に必要とされるメモリ帯域を適切に割り当てることができない。そのため、実行する画像処理の縮減、又は、より高速なメモリを用いたメモリ帯域の増強が必要とされる。

但し、前者、即ち、実行する画像処理を縮減する場合には画質が劣化し、また、後者、即ち、より高速なメモリを用いてメモリ帯域を増強する場合、製造コストの上昇を伴うこととなる。他方、本実施形態に係る画像処理装置では、画像処理の一部区間において画像を領域分割し、メモリ帯域の使用状況に応じて分割位置を可変とすることで、メモリ帯域の破綻を回避している。そのため、上述のような画質の劣化、また、コストの上昇を回避することができる。

＜第２実施形態＞
次に、図９の画像処理装置の構成を示すブロック図を用いて、第２実施形態について説明する。上述の第１実施形態においては、分割部１０２、及び結合部１０４を画像処理部２ １０３の前後においてのみ配置する構成として説明した。そこで、第２実施形態では、より分割位置の制約を緩和するため、各画像処理部の前段に分割部と後段に結合部を具備させた構成とする。

図１０に、メモリ帯域とその割当てについて説明を補足する。なお、ここでは、画像処理１はメモリ２０９へのアクセスを実行しない処理とし、画像処理２、画像処理３、及び画像処理４はメモリ２０９へのアクセスを実行する処理とする。ここで、図１０に示されるように、画像処理４で使用されるメモリ要求帯域Ｄは、各メモリの使用可能なメモリ帯域Ｍを超えるため、処理を分割して実行しなければ、メモリ帯域の制約を満たすことはできない。

ここで、第１実施形態のように画像処理２のみを分割する構成においては、メモリ要求帯域を満たせず、画像処理４の処理モードをよりメモリ帯域を使用しないモードに変更する必要があるが、本実施形態では、画像処理４を分割する。即ち、本実施形態においては、上述の図２のＳ４の割振りの結果、図１０（ｂ）に示されるように、画像処理２、３がチップ０のメモリに割り振られ、Ｓ６において、画像処理４が分割対象として特定される。

Ｓ７において、第１実施形態と異なり、画像処理部４ ２０６の前段に分割部２０２４、後段に結合部２０４４を具備させていることから、制御部２０７は、処理をＳ８に移行させる。

Ｓ８において、画像処理４で必要とされるメモリ帯域を除いた各メモリ２０９の空きメモリ帯域の総和と、画像処理４を分割した際の処理で使用されるメモリ要求帯域を算出する。図１０では、空きメモリ帯域が画像処理４の分割時のメモリ要求帯域より大きいと判定し、Ｓ９において、画像処理４における画像の分割位置を決定する。Ｓ９における分割位置を決定する処理は、上述の実施形態１と同様であることから、ここでは、その説明を省略する。

Ｓ９で分割位置を決定した結果、各チップにおいて画像処理で必要とされるメモリ帯域は、図１０（ｃ）に示されるようになり、各チップにおける画像処理のメモリ要求帯域は、各々、各メモリの使用可能なメモリ帯域Ｍ以下となる。そのため、制御部２０７は、図２に示される処理を終了する。

以上、説明したように、メモリアクセスを実行する画像処理部毎に、前段に分割部、及び後段に結合部を備える構成とすることで、より柔軟にメモリ帯域を制御することができる。

なお、分割部及び結合部を具備させることに伴い回路規模が増加するようであれば、システム上、処理の分割境界となり得ない画像処理（画像処理部）においては、分割部及び結合部を具備させないように構成させればよい。例えば、画像処理１の最大メモリ要求帯域が使用可能なメモリ帯域Ｍ以下の場合、画像処理１の前後に分割部及び結合部を設けても使用されないため、この場合には、分割部及び結合部を挿入しないことが望ましい。

また、これまで、２つのチップを直列に接続する構成で説明したが、より多くのチップを直列に接続する場合においても同様に、メモリ帯域の空き状況によってチップを跨いで画像処理を実行する場合に、上述の分割処理及び結合処理を実行することができる。

＜第３実施形態＞
上述の実施形態では、複数の同一チップを直列に接続する形態について説明した。本実施形態では、直列に接続される２つのチップにおいて実行される画像処理は異なるが、一部の画像処理部（画像処理回路）が両チップに実装されている場合に、チップのメモリ帯域を好適に制御できることについて説明する。即ち、２つのチップの構成が異なる場合においても、上述の第１実施形態と同様に、２つのチップにおいて、共通に備える画像処理部における画像処理で分割処理を施すことで、チップのメモリ帯域を好適に制御できることについて説明する。

図１１は、画像処理装置３０の構成を示すブロック図である。画像処理装置３０は、チップ０ ３００とチップ１ ３０１を直列に接続することにより構成される。チップ０ ３００及びチップ１ ３０１は、同一の構成である画像処理部（画像処理部２ ３０４）を各々、備え、画像処理部２ ３０４の前段に分割部３０３と後段に結合部３０５を備える。

画像処理装置３０の構成において、チップ０ ３００の画像処理部２、及び画像処理部５は、バス３０６を介して、メモリ３０７に接続される。チップ１ ３０１においても同様に、画像処理部１乃至４の各々は、バス３１０を介して、メモリ３１１に接続される。また、チップ０ ３００の制御部３１２は、チップ０ ３００の各処理部に接続され、かつ、チップ１ ３０１の制御部３１３との通信インターフェイス（通信経路）を備える。チップ１ ３０１の制御部３１３も同様に、チップ１ ３０１の各処理部に接続され、かつ、チップ０ ３００の制御部３１２とインターフェイスを介して接続される。

なお、図１１に示される構成は、例えば、先にチップ１ ３０１が開発され、その後に画像処理１ ３０８を画像処理５ ３０２に更新するために、チップ０ ３００をＦＰＧＡ等に実装し、画像処理装置３０を構成させる場合等を想定している。補足として、ＦＰＧＡは、Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略で、その他、ＦＰＧＡの代わりに、新規のＬＳＩを実装することもできる。

以下、上述の図２のフローチャートを用いて、本実施形態に係る画像処理装置３０の制御部３１２における処理について説明する。なお、上述の実施形態と同様の処理については、その説明を省略する。

Ｓ３において、画像処理２乃至５で必要とされるメモリ帯域を算出する。ここで、図１２（図１２（ａ））に、画像処理装置３０の各画像処理のメモリ要求帯域を示す。なお、本実施形態では、画像処理部１ ３０８を使用しないことから、画像処理１のメモリ要求帯域は０である。

Ｓ４において、制御部３１２は、画像処理２乃至５を何れのチップで実行するかを割り振る。なお、ここでは、メモリ３０７の使用可能なメモリ帯域をＭ０、メモリ３１１の使用可能なメモリ帯域をＭ１とし、各々、異なるメモリ帯域を有するものとして説明する。

図１２（ｂ）に示されるように、制御部３１２は、チップ０ ３００のメモリに画像処理５に使用されるメモリ帯域を、チップ１ ３０１のメモリに画像処理３、４に使用されるメモリ帯域を割り振る。但し、画像処理２に使用されるメモリ帯域に関しては、分割しなければ、何れのチップのメモリにも割り振ることができない。そこで、Ｓ５において、画像処理２で必要とされるメモリ帯域を除いた各メモリの空きメモリ帯域を算出した後に、Ｓ６において、画像処理２を分割処理の対象として特定する。

Ｓ７において、制御部３１２は、チップ０ ３００、チップ１ ３０１の双方において、画像処理部２の前段に分割部３０３、後段に結合部３０５が具備されていることから、画像処理２を分割可能と判定する。Ｓ８において、制御部３１２は、Ｓ５で算出した各メモリの空きメモリ帯域の総和が、Ｓ６で特定した画像処理２を分割した際の処理で使用されるメモリ要求帯域以下であるか否かを判定する。ここでは、画像処理２を分割した際の処理で使用されるメモリ要求帯域の方が小さいと判定し、処理をＳ９に移行させる。

Ｓ９において、制御部１０７ａは、メモリ３０７のメモリ帯域を最大に使用されるように、画像処理２の分割位置を決定する。なお、分割位置の決定に関して、上述の第１実施形態と同様であるが、上述の第１実施形態では各メモリのメモリ帯域は同じであったが、本実施形態では、各メモリのメモリ帯域が異なる点を考慮する。Ｓ９の処理を実行した結果として、図１２（ｃ）に示されるように、メモリ３０７の空きメモリ帯域は０、メモリ３１１の空きメモリ帯域はＭ１−（Ａ＋Ｂ＋Ｃ＋Ｄ−Ｍ０）となる。

Ｓ１０において、制御部３１２は、各チップのメモリ帯域が破綻するか否かを判定する。判定の結果、図１２（ｃ）に示されるように、各チップの使用メモリ帯域が、使用可能なメモリ帯域を下回ることから、図２に示される処理を終了する。

以上、説明したように、異なる種類のチップが直列に接続される構成においても、同一の画像処理部を備え、その前段に分割部、後段に結合部が具備される構成であれば、メモリ帯域を好適に制御することができる。

＜第４実施形態＞
次に、図１３の画像処理装置の構成を示すブロック図を用いて、第４実施形態について説明する。画像処理装置４０は、１つの入力を処理する機能と、２つの入力を１画面に合成する機能の２つの機能を備え、制御部４０７の指示に従って、処理を切り替える。

画像処理装置４０を構成するチップ４００は、画像処理部１ ４０１、画像処理部２ ４０３、画像処理部３ ４０５、画像処理部４ ４０６を備え、各々、画像処理時にメモリ４０９にアクセスする。なお、メモリ４０９（メモリ４０９ａ、メモリ４０９ｂ）のうち、メモリ４０９ａ、メモリ４０９ｂの何れのメモリにアクセスするかに関しては、各画像処理のアドレス設定によって切り替えられる。

また、画像処理１ ４０１と画像処理２ ４０３は、２つの同一の画像処理回路を備える（即ち、画像処理１ ４０１に関して画像処理１ ４０１ａと画像処理１ ４０１ｂ、画像処理２ ４０３に関して画像処理２ ４０３ａと画像処理２ ４０３ｂを備える。）さらに、画像処理２ ４０３ａは、画像処理２ ４０３ａの前段に分割部４０２、画像処理２ ４０３ａの後段に結合部４０４を備える。その他、画像処理装置４０は選択部４１０を備え、画像処理部１ ４０１ｂと分割部４０２の出力を画像処理部２ ４０３ｂに択一的に選択して出力する。

先ず、２画面を合成して表示する処理に関して、図１４（ａ）を用いて説明する。なお、以下の説明において、２つの入力を入力Ａ、入力Ｂとして説明する。入力Ａは、不図示の入力部より、画像処理部１ ４０１ａに入力され、画像処理１を実行後、分割部４０２に出力する。分割部４０２は、分割処理を実行せず、画像処理部２ ４０３ａに画像処理１が施された入力Ａを出力する。

画像処理部２ ４０３ａは、画像処理１が施された入力Ａに対して画像処理２を実行し、その実行結果を結合部４０４に出力する。結合部４０４は、画像処理１及び画像処理２が施された入力Ａに対して結合処理を行うことなく、画像処理３ ４０５に出力する。

次に、入力Ｂは、不図示の入力部より、画像処理部１ ４０１ｂに入力され、画像処理１を実行後、選択部４１０に出力する。選択部４１０は、画像処理部１ ４０１ｂからの出力を選択するよう動作し、画像処理１が施された入力Ｂを画像処理２ ４０３ｂに出力する。画像処理２ ４０３ｂは、画像処理１が施された入力Ｂに対して画像処理２を実行し、その実行結果を画像処理３ ４０５に出力する。

続いて、画像処理部３ ４０５は、画像処理１及び画像処理２が施された入力Ａ、画像処理１及び画像処理２が施された入力Ｂを各々、メモリ４０９に書き込む。その後、各入力画像を所定の位置にレイアウトしながら、メモリ４０９に格納された入力Ａ、入力Ｂ及びグラフィックを読み出して合成し、画像処理４ ４０６に出力する。画像処理部４ ４０６は、その合成処理が施された結果に対して、画像処理４を実行し、その実行結果を出力する。

補足として、図１５を用いて、メモリ４０９と画像処理装置４０の各画像処理のメモリ要求帯域について説明する。図１５（ａ）に、画像処理装置４０の各画像処理のメモリ要求帯域を示す。また、図１５（ｂ）に示されるように、各画像処理におけるメモリアクセスは、画像処理１、画像処理２で使用されるメモリ帯域をメモリ４０９ａ、画像処理３、画像処理４で使用されるメモリ帯域をメモリ４０９ｂに割り振ると、メモリ帯域は破綻しない。

次に、１つの入力に関する処理に関して、図１４（ｂ）を用いて説明する。不図示の入力部より入力された画像（以下、入力画像とも称する）は、画像処理部１ ４０１ａで画像処理１を実行し、その実行結果を分割部４０２に出力する。

分割部４０２は、後述の制御部４０７の判定処理に従って、画像処理１が施された入力画像を第１領域と第２領域に分割する。分割後の第１領域は画像処理部２ ４０３ａに出力され、分割後の第２領域は選択部４１０に出力される。選択部４１０は、画像処理部１ ４０１ｂからの出力以外の出力、つまりは、分割部４０２からの出力（即ち、第２領域）を選択し、画像処理部２ ４０３ａに出力する。

画像処理部２ ４０３の各々（即ち、画像処理部２ ４０３ａ、画像処理部２ ４０３ａ）には、制御部４０７により同一の動作モードが設定される。画像処理部２は、分割後の第１領域の画像に対して所定の画像処理を実行し、その実行結果を結合部４０４に出力する。ここでは、画像処理部２ ４０３ａはメモリ４０９ａを使用し、画像処理部２ ４０３ｂはメモリ４０９ｂを使用するように制御される。

結合部４０４は、分割部４０２で分割された第１領域、第２領域を結合し、その結合した結果を画像処理部３ ４０５に出力する。画像処理部３ ４０５は、メモリ４０９ｂよりグラフィックを読み出して、結合部４０４により結合された画像に合成し、その合成した結果を画像処理部４ ４０６に出力する。なお、合成するグラフィックデータは不図示の描画部によって生成され、描画処理はメモリ４０９ｂの空きメモリ帯域を使用して実行される。画像処理部４ ４０６は、メモリ４０９ｂを使用した所定の画像処理を実行し、その実行結果を出力する。

以下、上述の図２のフローチャートを用いて、本実施形態に係る画像処理装置４０の制御部４０７における処理について説明する。上述の第１実施形態ではメモリが異なるチップに搭載されていたが、本実施形態では、同一のチップに２つのメモリが搭載され、その２つのメモリにおいてメモリ帯域の割り当てを実施する点で、第１実施形態とは異なる。

Ｓ３において、制御部４０７は、入力フォーマット、及び画像処理モードが確定すると（Ｓ１、Ｓ２）、画像処理１乃至４のメモリ要求帯域が確定する。ここで、図１６（図１６（ａ））に、画像処理装置４０の各画像処理のメモリ要求帯域を示す。なお、図１６（ｂ）、（ｃ）に関しては、上述の第１実施形態の図３と同様であることから、ここでは、その説明を省略する。

Ｓ４において、制御部４０７は、画像処理１乃至４を、メモリ４０９ａ、メモリ４０９ｂの何れのチップで実行するかを割り振る。本実施形態では、各画像処理が同一のチップ内で実行されるため、第１実施形態と異なり画像処理の順序を考慮した割当ては不要であるが、画像処理３の処理能力を最大化するように、可能な限り、画像処理３が割り当てられる空きメモリ帯域を最大化する。この場合、例えば、図１６（ｂ）に示されるようにメモリ４０９ａに画像処理１を割り当てる場合や、図１６（ｄ）に示されるようにメモリ４０９ａに画像処理１、４を割り当てる場合等が想定される。

Ｓ５において、メモリ４０９の空きメモリ帯域を算出し、Ｓ６において、画像処理２を分割処理の対象として特定する。ここで、図１６（ｄ）の割振りを選択した場合、画像処理２をメモリ４０９ｂに割り振ることで、メモリ帯域の制約を満たした状態で処理が実行することができるが、可能な限り、メモリ４０９ｂの帯域を空けるため、画像処理２の分割処理を検討する。

Ｓ７において、画像処理部２ ４０３の前段に分割部４０２、後段に結合部４０４が実装されていることから、画像処理２における処理を分割可能と判定する。次に、Ｓ８、Ｓ９において、上述の処理の手順に従って、画像処理部２ ４０３において処理対象とする画像の分割位置を特定し、図１６（ｃ）、（ｅ）に示されるように、分割位置Ｗａ、オーバーラップ領域Ｗｏｖｅｒを確定する。その結果、Ｓ１０において、各メモリ帯域は破綻しないと判定され、判定処理を終了する。

以上、説明したように、複数のチップを直列に接続する構成のみならず、チップ内で同一の画像処理部を複数、備える構成においても、メモリの使用状況に応じて画像処理に使用されるメモリ帯域を割り当てることで、メモリ帯域を好適に制御することができる。

＜その他の実施形態＞
なお、上述の実施形態において、画像処理部１−４は、メモリアクセスに関して異なる処理を実行するものとして説明したが、同様の処理を行うようにしてもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０ 画像処理装置
１００ａ チップ０
１００ｂ チップ１
１０１ 画像処理部１
１０２ 分割部
１０３ 画像処理部２
１０４ 結合部
１０５ 画像処理部３
１０６ 画像処理部４
１０７ 制御部
１０８ バス
１０９ メモリ

Claims (13)

1. 複数の画像処理手段であって、当該画像処理手段に応じた画像処理を施す、複数の画像処理手段と、
   前記画像処理において用いられる複数の記憶手段と、
   画像処理を制御する制御手段と、
   前記制御手段の指示に従って、画像データを分割する分割手段と、
   前記制御手段の指示に従って、画像データを結合する結合手段と
   を備え、
   前記制御手段は、
   前記記憶手段の使用状況に関する情報に応じて、前記分割手段により画像データを分割する画像処理を特定し、
   前記特定された画像処理を施す画像処理手段が、前記複数の画像処理手段のうち、少なくとも２つ備えられ、かつ各々、異なる記憶手段に接続されることを条件に、前記特定された画像処理において処理対象とされる画像データを分割する分割位置を決定し、
   前記分割位置に基づいて前記分割手段により少なくとも２つに分割された画像データのうち、一方の画像データに対して前記少なくとも２つの画像処理手段のうちの一方の画像処理手段により画像処理を施し、前記一方の画像処理手段により画像処理が施された一方の画像データと他方の画像データを前記結合手段により結合させるように制御し、
   前記結合された画像データを前記分割位置に基づいて前記分割手段により少なくとも２つに分割した画像データのうち、前記一方の画像処理手段により画像処理が施されていない一方の画像データに対して前記少なくとも２つの画像処理手段のうちの他方の画像処理手段により画像処理を施し、前記他方の画像処理手段により画像処理が施された一方の画像データと他方の画像データを前記結合手段により結合させるように制御することを特徴とする画像処理装置。
2. 前記制御手段は、
   第１の画像処理モードと第２の画像処理モードで前記画像処理装置を制御し、
   前記第１の画像処理モードでは、画像処理手段により、前記分割位置に基づいて前記分割手段により少なくとも２つに分割された画像データのうち、一方の画像データに画像処理を施し、前記結合手段により当該画像処理が施された画像データと他方の画像データを結合するように制御し、
   前記第２の画像処理モードでは、前記画像処理手段に画像処理を実行させないように制御することを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記特定された画像処理を施す画像処理手段の前段に前記分割手段、かつ後段に前記結合手段が備えられていることを条件に、前記分割手段により前記特定された画像処理において処理対象とされる画像データを分割する分割位置を決定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記記憶手段の使用状況に関する情報は、前記画像処理手段におけるフレームレートに関する情報、並びに前記画像処理手段の設定に応じた前記記憶手段への書込み及び前記記憶手段からの読出しに関するデータ量に関する情報を含むことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記分割手段は、前記画像データの分割時に、前記画像処理手段の処理対象とする画素の周辺に位置する画素の集合を参照領域として、分割境界部に付加して分割することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記画像処理手段に応じた画像処理は、所定の順序に従って連続的に実行されることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記制御手段は、
   少なくとも前記記憶手段の空き容量及び前記画像処理手段に応じた画像処理の処理内容に従って、
   前記画像処理毎に、当該画像処理で使用される容量を前記複数の記憶手段のいずれかの記憶手段に割り振ることで、前記分割手段により画像データを分割する画像処理を特定し、
   前記特定された画像処理において処理対象とされる画像データを分割する割合を制御することで前記分割位置を決定することを特徴とする請求項６に記載の画像処理装置。
8. 前記画像処理装置は、複数のチップで構成され、
   前記複数のチップは、前段のチップの出力が後段のチップの入力に接続されるように、直列に接続されることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記複数のチップは、各々、前記制御手段を有し、
   前記制御手段は、所定の通信経路により相互に接続され、
   前記制御手段のうち、１の制御手段は、前記複数の画像処理手段の各々における画像処理モード及び前記分割位置を決定し、
   前記１の制御手段は、前記所定の通信経路を介して、他の制御手段に前記決定した前記画像処理モード及び前記分割位置を通知し、
   前記他の制御手段は、前記通知された前記画像処理モード及び前記分割位置に基づいて、前記他の制御手段に対応する前記チップを制御することを特徴とする請求項８に記載の画像処理装置。
10. 前記画像処理装置は、
    １のチップで構成され、
    前記分割手段の出力と当該分割手段の出力以外の出力を択一的に選択する選択手段をさらに備え、
    前記分割手段が、分割処理を実行する場合には前記分割手段からの入力を選択し、分割処理を実行しない場合には他方の入力を選択して出力することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記他方の画像処理手段は、複数、備えられることを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 複数の画像処理手段であって、当該画像処理手段に応じた画像処理を施す、複数の画像処理手段と、画像データ及び画像処理で用いられるデータを記憶する、複数の記憶手段と、画像処理を制御する制御手段と、前記制御手段の指示に従って、画像データを分割する分割手段と、画像データを結合する結合手段とを備えた画像処理装置における画像処理方法であって、
    前記制御手段により、
    前記記憶手段の使用状況に関する情報に応じて、前記分割手段により画像データを分割する画像処理を特定する特定ステップと、
    前記特定された画像処理を施す画像処理手段が、前記複数の画像処理手段のうち、少なくとも２つ、備えられ、かつ各々、異なる記憶手段に接続されることを条件に、前記分割手段により前記特定された画像処理において処理対象とされる画像データを分割する分割位置を決定する決定ステップと、
    前記分割位置に基づいて前記分割手段により少なくとも２つに分割された画像データのうち、一方の画像データに対して前記少なくとも２つの画像処理手段のうちの一方の画像処理手段により画像処理を施し、前記一方の画像処理手段により画像処理が施された一方の画像データと他方の画像データを前記結合手段により結合させるように制御する第１の制御ステップと、
    前記結合された画像データを前記分割位置に基づいて前記分割手段により少なくとも２つに分割した画像データのうち、前記一方の画像処理手段により画像処理が施されていない一方の画像データに対して前記少なくとも２つの画像処理手段のうちの他方の画像処理手段により画像処理を施し、前記他方の画像処理手段により画像処理が施された一方の画像データと他方の画像データを前記結合手段により結合させるように制御する第２の制御ステップと
    を含むことを特徴とする画像処理方法。
13. 請求項１２に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images