JP2011108135A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】画像処理に関する技術を提供する。
【解決手段】画像処理装置であって、画像データに対応した表示画像を分割した各部分画像に対応して設けられ、部分画像を構成する各画素のデータを画素の周辺画素のデータを参照して処理する複数の画像処理ユニットを備え、複数の画像処理ユニットには、少なくとも、第１の部分画像の一つについて画像処理を行う際、第１の部分画像と隣り合った他の部分画像を構成する画素のうち、少なくとも第１の部分画像に隣接する領域の画素のデータを取得して、周辺画素のデータとして画像処理に用いる第１の画像処理ユニットと、第２の部分画像について画像処理を行うと共に、第１の画像処理ユニットが周辺画素として扱う画素の少なくとも一部のデータを、第１の画像処理ユニットが扱う部分画像に隣り合った部分画像を処理する画像処理ユニットから、第１の画像処理ユニットへ仲介する第２の画像処理ユニットとを備える。
【選択図】図８

Description

本発明は画像処理の技術に関する。

近年、プロジェクター、液晶テレビ、プラズマテレビなどの映像表示機器に入力される画像の高解像度化が進んでおり、こうした機器では、画面を構成する多数の画素に対する画像処理を短時間に終了するために、入力された画像データを複数の部分画像データに分割して並列に処理する方法がとられる場合がある。複数の部分画像データに分割されて入力されたデータに対して、複数の画像処理部で処理を施そうとする時、各画像処理部は分割された各画部分像データの周辺領域の画素データ（以下、周辺画素データとも呼ぶ）を参照する、所謂フィルター処理を行う。周辺画素データを参照してフィルター処理を行う技術としては例えば特許文献１が挙げられる。

特開２００６−５５２４

各画像処理部同士で直接に周辺画素データを交換する方法としては、従来、以下の方法が採られてきた。各画像処理部が、隣接する部分画像データの処理を担当する複数の画像処理部と、各々に周辺画素データ交換用のラインで接続されていて、それぞれ直接に通信をして周辺画素データを交換する方法である。この方法では、１つの画像処理部が周囲の他の画像処理部と最大で８個、それぞれ通信をする必要がある。具体的には、１つの部分画像を中心に、上、下、左、右、上右斜め、上左斜め、下左斜め、下右斜めの各方向に隣接する各部分画像データの処理を担当する画像処理部、計８個の画像処理部と、周辺画素データの交換が必要である。よって、トランシーバー数、配線数、デバイスのピン数等の数が多くなってしまう。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。

［適用例１］
複数の画素により構成された画像を表す画像データを処理する画像処理装置であって、前記画像データに対応した表示画像を分割した各部分画像に対応して設けられ、該部分画像に対応した画像データを入力し、該部分画像を構成する各画素のデータを該画素の周辺画素のデータを参照して処理する複数の画像処理ユニットと、該画像処理ユニットによって前記画像処理が行われた後の画素のデータを用いて、表示用画像データを出力する画像出力ユニットとを備え、前記複数の画像処理ユニットには、少なくとも、第１の部分画像について前記画像処理を行う際、当該第１の部分画像と隣り合った他の部分画像を構成する画素のうち、少なくとも前記第１の部分画像に隣接する領域の画素のデータを取得して、前記周辺画素のデータとして、前記画像処理に用いる第１の画像処理ユニットと、前記第１の部分画像とは異なる第２の部分画像について前記画像処理を行うと共に、前記第１の画像処理ユニットが前記周辺画素として扱う画素の少なくとも一部のデータを、前記第１の画像処理ユニットが扱う部分画像に隣り合った部分画像を処理する画像処理ユニットから、前記第１の画像処理ユニットに向けて仲介する第２の画像処理ユニットとが含まれる画像処理装置。

この画像処理装置によると、第１の画像処理ユニットが参照する第１の部分画像に隣り合った他の部分画像の周辺画素データを第２の画像処理ユニットが仲介するので、第１の画像処理ユニットは隣り合った他の部分画像から直接に取得することなしに、周辺画素データを取得することができる。
［適用例２］
適用例１記載の画像処理装置であって、前記第２の画像処理ユニットは、当該第２の画像処理ユニットが前記参照のために必要な周辺画素データの取得に併せて、前記第１の画像処理ユニットが前記参照のために必要な前記周辺画素データを仲介する画像処理装置。
この画像処理装置によると、第２の画像処理ユニットは周辺画素データの取得に併せて、第１画像処理ユニットが参照する周辺画素データを仲介するので、取得と仲介とを別々に行う場合と比較して、これらの処理を高速に行うことができる。

［適用例３］
適用例２記載の画像処理装置であって、前記各部分画像は、前記画像データに対応した前記表示画像を水平方向および垂直方向に二次元的に分割した画像であり、前記第１の画像処理ユニットが、前記第１の部分画像に対角方向で隣接する対角隣接部分画像の周辺画素データを参照する場合に、前記第２の部分画像は、前記第１の部分画像および前記対角隣接部分画像のうちの一方に水平方向で、他方に垂直方向で隣接して位置し、前記第２の画像処理ユニットは、前記第１の画像処理ユニットが前記参照に必要な前記対角隣接部分画像の周辺画素データを仲介する画像処理装置。
この画像処理装置によると、対角方向に隣接する画像処理ユニット同士が互いに直接に周辺画素データを交換する場合と比べて、各画像処理ユニットが周辺画素データの取得、および仲介をする経路を構造的に簡易化することができる。

［適用例４］
適用例３記載の画像処理装置であって、前記各画像処理ユニットは、時分割された２回のタイミングで前記周辺画素データのやり取りをし、前記２回のタイミングのうち１回目に、該画像処理ユニットに水平方向または垂直方向のいずれか一方に隣接する前記画像処理ユニットと、互いに、前記周辺画素データをやり取りし、前記２回のタイミングの内の２回目に、該画像処理ユニットに水平方向または垂直方向のいずれか他方に隣接する前記画像処理ユニットと、互いに、前記周辺画素データをやり取りする画像処理装置。
この画像処理装置によると、全ての画像処理ユニットが、処理に必要な周辺画素データをやり取りするタイミングを最小限にすることができる。

［適用例５］
適用例１記載の画像処理装置であって、前記複数の画像処理ユニットは、対応する部分画像に隣接する部分画像にそれぞれ対応する複数の他の画像処理ユニットのうち奇数個の画像処理ユニットから、前記対応する部分画像に隣接する領域の一部の画素のデータを、前記参照用の前記周辺画素データとして取得する画像処理ユニットを０個、若しくは２個含み、前記各画像処理ユニット同士を、該画像処理ユニット同士が互いに直接に前記周辺画素データを取得する経路であるデータ取得経路で結ぶことによって、前記各画像処理ユニットと前記データ取得経路とから構成され、全ての前記画像処理ユニットを１度ずつ通るデータ通信経路が形成される画像処理装置。

この画像処理装置によると、データ通信経路は、画像処理ユニットを全て通る所謂「一筆書き」の経路構成となっている。従って、そのデータ通信経路の始点と終点とが異なっている一筆書きの経路構成の場合は、各画像処理ユニットは最大で２つの隣接する画像処理ユニットと互いに直接に周辺画素データの取得を行うのみで処理に必要な周辺画素データの取得が可能なデータ取得経路の構成が可能であり、データ通信経路の始点と終点とが同じ、つまり閉路の構成である一筆書きの経路構成の場合は、その経路はループ状となり、その経路構成を最短の経路として構成した場合には、隣接する１つの画像処理ユニットからのみ周辺画素データを取得する処理を繰り返すことで、各画像処理ユニットは処理に必要な周辺画素データを取得することが可能である。

［適用例６］
適用例１ないし適用例５のいずれか記載の画像処理装置であって、更に、前記画像データを入力する画像データ入力部と、前記画像データに対応した前記表示画像を前記二次元的に分割して複数の前記部分画像とし、該各部分画像を前記各画像処理ユニットに入力する画像分割部とを備える画像処理装置。
この画像処理装置によると、画像分割部を備えるので、直接に表示画像に対応する画像データを画像処理装置に入力して、画像分割部で部分画像に分割し、各画像処理ユニットによって部分画像を処理することが可能である。

［適用例７］
適用例１ないし適用例６のいずれか記載の画像処理装置であって、更に、前記各画像処理ユニットが前記周辺画素データのやり取りをする、時分割された複数のタイミングを制御するタイミング制御部を備える画像処理装置。
この画像処理装置によると、タイミング制御部を備えるので、周辺画素データの取得のタイミングを制御する制御装置を外部に設けることや、タイミングを制御する制御信号を入力することなく、周辺画素データの取得のタイミングを制御することが可能である。

［適用例８］
複数の画素により構成された画像を表す画像データを、前記画像データに対応した表示画像を分割した各部分画像に対応して設けられ、該部分画像に対応した画像データを入力し、該部分画像を構成する各画素のデータを該画素の周辺画素のデータを参照して処理する複数の画像処理ユニットを用いて処理をする画像処理方法であって、前記複数の画像処理ユニットのうち、第１の画像処理ユニットを用いて、第１の部分画像の一つについて前記画像処理を行う際、当該第１の部分画像と隣り合った他の部分画像を構成する画素のうち、少なくとも前記第１の部分画像に隣接する領域の画素のデータを取得して、前記周辺画素のデータとして、前記画像処理に用い、第２の画像処理ユニットを用いて、前記第１の部分画像とは異なる第２の部分画像について前記画像処理を行うと共に、前記第１の画像処理ユニットが前記周辺画素として扱う画素の少なくとも一部のデータを、前記第１の画像処理ユニットが扱う部分画像に隣り合った部分画像を処理する画像処理ユニットから、前記第１の画像処理ユニットに向けて仲介し、前記複数の画像処理ユニットによって前記画像処理が行われた後の画素のデータを用いて、表示用画像データを出力する画像処理方法。

この画像処理方法によると、第１の画像処理ユニットが参照する第１の部分画像に隣り合った他の部分画像の周辺画素データを第２の画像処理ユニットによって仲介するので、第１の画像処理ユニットは隣り合った他の部分画像から直接に取得することなしに、周辺画素データを取得することができる。

第１実施例としての画像処理装置１の構成を示す構成図である。 第５画像処理部３５の内部構成を示すブロック図である。 第５画像処理部３５での処理を模式的に示すブロック図である。 画像処理装置１における画像処理の流れを示すフローチャートである。 第５画像処理部３５が必要な周辺画素データを説明する説明図である。 各画像ブロックＤＩｎの周辺画素データの交換経路を説明する説明図である。 周辺画素データ交換処理の流れについて説明したフローチャートである。 周辺画素データの交換の様子を示す説明図である。 第２実施例における周辺画素データの交換経路の一例を示した説明図である。 変形例３の具体例を示す説明図である。 変形例５の具体例を示す説明図である。 変形例６の具体例を示す説明図である。

本発明の実施の形態を実施例に基づいて説明する。
Ａ．第１実施例：
（Ａ１）画像処理装置の構成：
本実施例では、高解像度の液晶プロジェクターに搭載された画像処理装置を例に挙げて説明を行う。図１は、液晶プロジェクターに搭載された、本発明の第１実施例としての画像処理装置１の構成を示す構成図である。液晶プロジェクターは、映像ストレージＳｔ１〜Ｓｔ９と外部で接続されており、画像処理装置１が備える画像入力部２１〜２９を介して、画像データを入力する。各映像ストレージＳｔ１〜Ｓｔ９には、図１に示すように、１画面分の画像データであるＤＩｎ０を３×３（計９つ）に分割した部分画像である画像ブロックＤＩｎ１〜ＤＩｎ９が記憶されており、各映像ストレージＳｔ１〜Ｓｔ９から、画像処理装置１が備える画像入力部２１〜２９に、ＤＩｎ１〜ＤＩｎ９が入力される。画像ブロックＤＩｎ１〜ＤＩｎ９はデジタルデータとして、各映像ストレージＳｔ１〜Ｓｔ９から画像処理装置１に入力される。各映像ストレージＳｔ１〜Ｓｔ９は、複数のコンピューターからなるＰＣクラスターにおける、各コンピューターに備えられている。

画像処理装置１は、上述した画像入力部２１〜２９と、画像ブロックＤＩｎ１〜９を並列に処理する９つの画像処理部である第１画像処理部３１〜第９画像処理部３９と、各画像処理部で並列に処理された画像ブロックに対応した画像データＤＯｕｔ１〜９を、１画面の画像データに合成する画像合成部４０と、合成された画像データＤＯｕｔ０を、図示しない液晶プロジェクターの液晶パネル駆動部に出力信号として出力する画像出力部５０と、タイミング指示部６０とを備える。

各画像処理部３１〜３９においては、第１画像処理部３１ではＤＩｎ１を処理し、第２画像処理部３２ではＤＩｎ２を処理する、と言ったように、各画像処理部の番号と各画像ブロックの番号とが対応して、各画像ブロックＤＩｎ１〜９を処理する。以下では、主として第５画像処理部３５の構成について説明する。

図２は、第５画像処理部３５の内部構成を示すブロック図である。第５画像処理部３５は、デジタル信号処理プロセッサー（ＤＳＰ）としての機能を有するＣＰＵ７１、動作プログラムなどを記憶したＲＯＭ７３、ワークエリアとして利用されるＲＡＭ７５、画像データＤＩｎ０を分割した画像データ、つまり画像ブロックＤＩｎ５より若干大きな記憶容量を有するフレームメモリー８０、映像ストレージＳｔ５から画像ブロックＤＩｎ５を受け取る入力インタフェース８１、画像合成部４０に画像ブロックＤＯｕｔ５を出力する出力インタフェース８３、タイミング指示部６０からのタイミング信号を受け取る指示入力インタフェース８５を備える。ＣＰＵ７１は、第５画像処理部３５の全体の動作を統御するが、特にフレームメモリー８０に高速にアクセスして、所定の画像処理（フィルター処理）を行なうことができる専用のプロセッサーである。なお、ＣＰＵ７１の機能は、ＦＰＧＡ（Field Programmable Array）や、画像処理専用ＬＳＩなどを用いて実現してもよい。

次に各画像処理部の機能的な構成について説明する。図３は、第５画像処理部３５での処理を模式的に示すブロック図である。第５画像処理部３５は、機能的には、分割画像入力部３５１、データ交換部３５２、フレームメモリー制御部３５３、フレームメモリー３５４、フィルター処理部３５５、分割画像出力部３５６を備える。なお、これらの各ブロックの動作は、実際には、ＣＰＵ７１が所定のプログラムを実行することにより実現される。これら各機能部の詳細は後で説明する。

（Ａ２）画像処理：
次に、画像処理装置１が行う画像処理について説明する。図４は画像処理装置１における画像処理の流れを示すフローチャートである。画像処理は、映像ストレージＳｔ１〜Ｓｔ９（図１参照）から、画像入力部２１〜２９に、画像ブロックＤＩｎ１〜ＤＩｎ９が入力されることにより開始される。

各画像処理部３１〜３９には、画像入力部２１〜２９から分割画像入力部３５１〜３９１（図３参照）を介して、それぞれに画像ブロックＤＩｎ１〜９が入力される（ステップＳ１２０）。各画像処理部のフレームメモリー制御部は、入力された画像ブロックＤＩｎをフレームメモリーに記憶する。フレームメモリー制御部は、画像ブロックＤＩｎのフレームメモリーへの記憶が完了すると、これをタイミング指示部６０に通知する。タイミング指示部６０は、各画像処理部３１〜３９における画像ブロックＤＩｎの蓄積の状況を解析し、全画像ブロックＤＩｎ１〜９の各画像処理部への入力が完了したと判断した場合（ステップＳ１３０：Ｙｅｓ）、各画像処理部のデータ交換部に対してデータ交換の開始を指示する。各データ交換部はタイミング指示部６０からデータ交換開始の指示を受信すると、各画像処理部が処理を担当する画像ブロックの処理に必要な周辺画素データを、所定の画像処理部内のデータ交換部と交換をする周辺画素データ交換処理を行う（ステップＳ１４０）。周辺画素データ交換処理については、後で詳しく説明する。データ交換は、画像データの受信が順次行なわれていることに鑑み、データ交換可能な画像処理部間でのデータ交換から順次指示するものとしてもよいが、本実施例では、ステップＳ１３０で示したように、本発明の理解を容易にするため、データ交換は、第１ないし第９画像処理部３１〜３９の全てが画像データを受け取った後に行うものとした。

各画像処理部のデータ交換部によって周辺画素データの交換が終了すると、各フレーム制御処理部が、フレームメモリーに記憶されている画像ブロックＤＩｎと周辺画素データ交換処理によって取得した周辺画素データとを、各フィルター処理部に出力し、各フィルター処理部はそれら２つのデータを用いて、フィルター処理を行う（ステップＳ１５０）。フィルター処理部はフィルター処理を終了すると、処理後のデータを各分割画像出力部を介して画像合成部４０に出力する。画像合成部４０は、各分割画像出力部から受信した画像ブロックＤＯｕｔ１〜９を合成し（ステップＳ１６０）、画像データＤＯｕｔ０として画像出力部５０に出力する。画像出力部５０は入力された画像データＤＯｕｔ０を液晶パネル駆動部に出力信号として出力し（ステップＳ１７０）する。このような画像処理を、入力されてくる画像ブロックＤＩｎ１〜９に対して繰り返し行い、画像処理装置１は画像処理を行う。

（Ａ３）周辺画素データ交換処理：
次に、上述した周辺画素データ交換処理（図４：ステップＳ１４０参照）について説明する。まず、周辺画素データについて説明する。図５は、具体例として、第５画像処理部３５が画像ブロックＤＩｎ５のフィルター処理を行うために必要な周辺画素データを説明する説明図である。フィルター処理部３５５は、画像ブロックＤＩｎ５において処理の対象となる画素（以下、注目画素とも呼ぶ）を中心に、５行×５列のフィルター行列を用い、注目画素の周囲の２画素ずつの画素データを参照しながら注目画素に対してフィルター処理を行う。具体的には、エッジ強調やノイズ除去のためのラプラシアンフィルターやメディアンフィルター、その他、カルマンフィルター等の画像処理用フィルターによってフィルター処理を行う。このようなフィルター処理を行う場合、画像ブロックＤＩｎ５の垂直方向に上と下、水平方向に左と右の計４辺（上辺、下辺、左辺、右辺）から内側に２画素ずつの画素が各々注目画素として処理対象となった場合、フィルター処理として参照する画素は画像ブロックＤＩｎ５の周囲の画像ブロックである画像ブロックＤＩｎ１〜４，６〜９に含まれる画素にまで及ぶ。よって、第５画像処理部３５は、画像ブロックＤＩｎ５の周囲の画像ブロックＤＩｎ１〜４，６〜９から、周辺画素データとして、図５に示す周辺画素データを取得する必要がある。第５画像処理部３５のデータ交換部３５２は、これらの周辺画素データを、周辺画素データ交換処理（図４：ステップＳ１４０参照）によって取得する。なお、以後、垂直方向に上方向と下方向とを単に「上、下」と呼び、水平方向に左方向と右方向とを単に「左、右」と呼ぶことがある。

次に、各画像処理部が周辺画素データを交換する経路について説明する。図６は、各画像ブロックＤＩｎの周辺画素データの交換経路を模式的に説明する説明図である。実際は、各画像処理部のデータ交換部が互いに接続されており周辺画素データを交換するが、理解を容易にするため、各画像処理部が処理を担当する各画像ブロックＤＩｎ１〜９によって周辺画素データの交換経路について模式的に説明する。図６に示した矢印は、各画像処理部間の周辺画素データの交換経路を示しており、一回のデータ交換で双方向のデータ交換が可能である。また本実施例では、周辺画素データの交換は２回のタイミングで行われ、図６においては、１回目のデータ交換で使用する交換経路を実線の矢印で、２回目のデータ交換で使用する交換経路を破線の矢印で示した。

図６に示すように、例えば、画像ブロックＤＩｎ５（実際は第５画像処理部３５）は、画像データＤＩｎ０における画像ブロックＤＩｎの位置関係として、上下左右に隣接する画像ブロックＤＩｎ２，ＤＩｎ４，ＤＩｎ６，ＤＩｎ８の処理を担当する各画像処理部のデータ交換部と接続されている。そして、それらの画像処理部とだけ、周辺画素データ交換を行う。他の各画像処理部も同様に、画像ブロックの位置関係として、その画像処理部に対応する画像ブロックが、上下左右方向に隣接する画像ブロックに対応する画像処理部とだけ接続されており、周辺画素データの交換を行う。従って、例えば、ＤＩｎ５（第５画像処理部３５）のデータ交換部は４つの通信線で接続され、ＤＩｎ１は２つ、ＤＩｎ３は３つのデータ交換用の通信線で接続されている。本実施例においては、各画像処理部３１〜３９のデータ交換部はどれも、４つのデータ交換処理デバイスを備え、図６に示した通信経路の必要数に応じて、データ交換処理デバイスに通信線を接続することで、周辺画素データ交換用の通信経路が構成されている。

次に、各画像処理部間で行う周辺画素データ交換処理の流れについて説明する。図７は周辺画素データ交換処理の流れについて説明したフローチャートである。周辺画素データ交換処理は、画像処理装置１における画像処理（図４参照）のサブルーチン（図４：ステップＳ１４０）として行われる。周辺画素データ交換処理が開始されると、最初に画像ブロックＤＩｎの位置関係として、上下方向に隣接する画像ブロックＤＩｎの画像処理を担当する各画像処理部同士で周辺画素データの交換を行う（ステップＳ１４２）。図８は、周辺画素データの交換の様子を示す説明図である。図８（ａ）は画像ブロックＤＩｎ１〜ＤＩｎ９が各画像処理部に保存されている状態を示している。図８（ｂ）は、ステップＳ１４２で説明した、画像ブロックＤＩｎの位置関係として、上下方向に隣接する各画像処理部同士で周辺画素データの交換を行っている様子を示す説明図である。図８（ｂ）の点線で囲まれた部分が、上下に互いに隣接する画像ブロックＤＩｎの画像処理を担当する各画像処理部間で交換される周辺画素データを示す。図８（ｂ）に示すように、例えば、画像ブロックＤＩｎ２の画像処理を担当する第２画像処理部３２は、下方向に隣接する画像ブロックＤＩｎ５を担当する第５画像処理部３５と互いに周辺画素データを交換し、画像ブロックＤＩｎ５の画像処理を担当する第５画像処理部３５は、上方向および下方向に隣接する、画像ブロックＤＩｎ２及び画像ブロックＤＩｎ８をそれぞれ担当する第２画像処理部３２，第８画像処理部３８と互いに周辺画素データを交換する。

この時、例えば、画像ブロックＤＩｎ１は、画像ブロックＤＩｎ４が画像処理に必要とする周辺画像データをＤＩｎ４に送信するとともに、画像ブロックＤＩｎ５が画像処理に必要な周辺画素データのうち、画像ブロックＤＩｎ１に含まれる周辺画素データ（図８（ｂ）の横線ハッチング部分）も同時に、画像ブロックＤＩｎ１に送信する。画像ブロックＤＩｎ４に対応する第４画像処理部３４のデータ交換部３４１は、それらの周辺画素データを取得すると一時的に、第４画像処理部が備えるフレームメモリー３４４に記憶する。この場合、画像ブロックＤＩｎ１が画像ブロックＤＩｎ４に送信した周辺画素データのうち、画像ブロックＤＩｎ５が処理に必要とする周辺画素データは、画像ブロックＤＩｎ４が処理に必要とする周辺画素データの中に含まれる。つまり、説明の便宜上、この二つの周辺画素データは別個のものとして説明したが、実際は、画像ブロックＤＩｎ１は画像ブロックＤＩｎ４に対して、画像ブロックＤＩｎ４が処理に必要な周辺画素データを送信する。

各画像処理部が上下方向の周辺画素データの交換を完了すると、各データ交換部が、これをタイミング指示部６０に通知する。タイミング指示部６０は、各データ交換部における周辺画素データの交換の状況を解析し、全ての画像処理部において周辺画素データの交換が終了したと判断した場合（ステップＳ１４４：Ｙｅｓ）、続いて、画像ブロックＤＩｎの位置関係として、左右方向に隣接する画像ブロックＤＩｎの画像処理を担当する各画像処理部同士で周辺画素データの交換を行う（ステップＳ１４６）。図８（ｃ）は、左右方向に隣接する画像ブロックＤＩｎの画像処理を担当する各画像処理部同士で周辺画素データの交換を行っている様子を示す説明図である。図８（ｃ）の斜線のハッチングを施した部分が、図８（ｂ）で説明した、上下方向に隣接する画像ブロック同士での周辺画素データの交換により、各画像ブロックＤＩｎが取得した周辺画素データである。また、図８（ｃ）の各画像ブロックＤＩｎの点線で囲まれた部分が、左右方向に互いに隣接する画像ブロックＤＩｎの画像処理を担当する各画像処理部間で交換される周辺画素データを示す。図８（ｃ）に示すように、例えば、画像ブロックＤＩｎ４は、右方向に隣接する画像ブロックＤＩｎ５と互いに周辺画素データを交換し、画像ブロックＤＩｎ５は、左右方向に隣接する画像ブロックＤＩｎ４，画像ブロックＤＩｎ６とそれぞれ周辺画素データを交換する。

この時、画像ブロックＤＩｎ４は、画像ブロックＤＩｎ５が処理に必要とする画像ブロックＤＩｎ４に含まれる周辺画素データを送信するとともに、ステップＳ１４２で画像ブロックＤＩｎ４が画像ブロックＤＩｎ１から取得した周辺画素データのうち、画像ブロックＤＩｎ５（第５画像処理部３５）が処理に必要とする周辺画素データ（図８（ｃ）参照）も同時に送信する。つまり、画像ブロックＤＩｎ４（第４画像処理部３４）は、画像ブロックＤＩｎ１（第１画像処理部３１）から画像ブロックＤＩｎ５（第５画像処理部３５）に送信される周辺画素データを仲介する。換言すれば、画像ブロックＤＩｎ４（第４画像処理部３４）は、画像ブロックＤＩｎ５（第５画像処理部３５）が周辺画素として扱う画素の少なくとも一部のデータを、画像ブロックＤＩｎ１（第１画像処理部３１）から、画像ブロックＤＩｎ５（第５画像処理部３５）に向けて仲介する。第４画像処理部３４が第１画像処理部３１から第５画像処理部３５に送信される周辺画素データを仲介することに着目した場合、第５画像処理部３５が、特許請求の範囲に記載の「第１の部分画像について画像処理を行う際、当該第１の部分画像と隣り合った他の部分画像を構成する画素のうち、少なくとも第１の部分画像に隣接する領域の画素のデータを取得して、周辺画素のデータとして、画像処理に用いる第１の画像処理ユニット」に相当し、第４画像処理部３４が、特許請求の範囲に記載の「第１の部分画像とは異なる第２の部分画像について画像処理を行うと共に、第１の画像処理ユニットが周辺画素として扱う画素の少なくとも一部のデータを、第１の画像処理ユニットが扱う部分画像に隣り合った部分画像を処理する画像処理ユニットから、第１の画像処理ユニットに向けて仲介する第２の画像処理ユニット」に相当する。また、他の画像処理部間においても、同様の方法によって周辺画素データの交換が行われる。例えば、画像ブロックＤＩｎ１が処理に必要とする画像ブロックＤＩｎ５に含まれる周辺画素データは、ステップＳ１４２の処理で画像ブロックＤＩｎ２に送信され、ステップＳ１４６の処理で画像ブロックＤＩｎ２から画像ブロックＤＩｎ１に送信される。このようにして、各画像処理部が左右方向の周辺画素データの交換を完了すると、各データ交換部が、これをタイミング指示部６０に通知する。タイミング指示部６０は、各データ交換部における周辺画素データの交換の状況を解析し、全ての画像処理部において周辺画素データの交換が終了したと判断した場合（ステップＳ１４８：Ｙｅｓ）、周辺画素データ交換処理は終了する。図８（ｄ）は、上記図８（ｂ），（ｃ）で説明した周辺画素データ交換処理によって交換された周辺画素データを示す説明図である。斜線のハッチングが施された部分が、周辺画素データ交換処理によって、各画像ブロックＤＩｎが取得した周辺画素データである。このように周辺画素データを交換することで、各画像処理部が画像処理に必要な周辺画素データを交換することが可能である。

以上説明したように、第１実施例における周辺画素データの交換方法を用いることで、上下方向（図７：ステップＳ１４２）と左右方向（図７：ステップＳ１４６）の合計２回の周辺画素データの交換で、各画像処理部が画像処理に必要な周辺画素データの交換が可能であり、周辺画素データの交換を高速に行うことが可能である。また、図６からわかるように、各画像処理部は、全ての画像処理部と接続されている必要はなく、画像ブロックＤＩｎの位置関係として、上下左右に隣接する画像ブロックＤＩｎの画像処理を担当する画像処理部と接続されていればよい。つまり、１つの画像処理部は最大で４つの画像処理部と接続されていればよい。従って、各画像処理部が、隣接する全ての画像処理部と、各々に周辺画素データ交換用のラインで接続されていて、それぞれ直接に通信をして周辺画素データを交換する場合と比べて、画像処理装置の構造上、トランシーバー数、配線数、デバイスのピン数等を減少させることができる。なお、特許請求の範囲との対応関係としては、画像ブロックＤＩｎ１〜９が、特許請求の範囲に記載の部分画像に相当し、各画像処理部が、特許請求の範囲に記載の画像処理ユニットに相当し、画像合成部４０が、特許請求の範囲に記載の画像出力ユニットに相当する。

また、第１実施例では、画像データＤＩｎ０を３×３に分割した例で説明したが、より多くの分割数、例えば、４×４や、１０×１０、１６×９などに分割しても、第１実施例と同様の効果を得ることができる。つまり、画像ブロックＤＩｎの位置関係として、各画像ブロックＤＩｎの処理を担当する各画像処理部が、上下左右に隣接する画像ブロックＤＩｎの画像処理を担当する画像処理部と接続されていれば、１つの画像処理部は最大で４つの画像処理部との接続によって、上下方向と左右方向の合計２回の周辺画素データの交換で、各画像処理部が画像処理に必要な周辺画素データの交換が可能であり、周辺画素データの交換を高速に行うことができる。

本実施例では、複数の画像処理部のうち、他の画像処理部が処理に必要な周辺画素データを仲介する画像処理部と、仲介しない画像処理部とが存在するが、全ての画像処理部が仲介を行う機能を備え、処理を担当する画像ブロックＤＩｎの画像データＤＩｎ０における配置関係によって、必要に応じ仲介処理を行うとしてもよい。この場合、複数の画像処理部は、少なくとも、「第１の部分画像について画像処理を行う際、当該第１の部分画像と隣り合った他の部分画像を構成する画素のうち、少なくとも第１の部分画像に隣接する領域の画素のデータを取得して、前記周辺画素のデータとして、画像処理に用いる第１の画像処理ユニット」と、「第１の部分画像とは異なる第２の部分画像について画像処理を行うと共に、第１の画像処理ユニットが周辺画素として扱う画素の少なくとも一部のデータを、第１の画像処理ユニットが扱う部分画像に隣り合った部分画像を処理する画像処理ユニットから、前記第１の画像処理ユニットに向けて仲介する第２の画像処理ユニット」とを含んでいればよい。

Ｂ．第２実施例：
次に第２実施例について説明する。第１実施例と第２実施例との違いは、各画像ブロックＤＩｎの周辺画素データの交換経路である。またそれに伴って、周辺画素データの交換の流れも第１実施例と第２実施例では異なる。第２実施例における周辺画素データの交換経路は、画像ブロックＤＩｎの位置関係において、画像ブロックＤＩｎ１〜９間を、１経路で、かつ、同じ経路を２度通ることなく結ぶように交換経路を構成する。換言すれば、画像ブロックＤＩｎ１〜９間を、いわゆる「一筆書き（an Eulerian path（閉路の場合）又は a traversable figure（始点と終点が異なる場合））」の要領で経路構成する。その一例を図９に示す。図９（ａ）は、第２実施例における、各画像ブロックＤＩｎの周辺画素データの交換経路の一例を示した説明図である。画像ブロック(実際は画像処理部)同士は、交換経路で結ばれている。この交換経路は、画像ブロック（実際は画像処理部）同士が互いに直接に周辺画素データを取得する経路である。なお、この交換経路が特許請求の範囲に記載のデータ取得経路に相当する。図９（ａ）に示すように、周辺画素の交換経路は、画像ブロックＤＩｎ１〜９間を、１つの経路で、かつ、同じ画像ブロックを２度通ることなく結ぶように構成されている。このような交換経路を用いて、各画像処理部は周辺画素データを交換する。なお、図９（ａ）に示した矢印は、各画像処理部間の周辺画素データの交換経路を示しており、一回のデータ交換で双方向のデータ交換が可能である。なお、一筆書きが可能である条件として、「頂点から出ている線の数が奇数本である頂点の数が、０個（閉路）か２個（始点と終点が異なる）の場合」に一筆書きが可能である。これを本実施例に置き換えると、「画像処理部に接続されている周辺画素データ交換経路の数が奇数個である画像処理部の数が、０個、若しくは２個の場合」に、このような一筆書きの経路構成が可能である。換言すれば、「各データ交換部のうち、奇数個の他のデータ交換部と直接にデータ交換をするデータ交換部の数が０個または２個の場合」に、一筆書きの経路構成が可能である。このように、各画像処理ユニットとデータ取得経路とから構成され、全ての画像処理ユニットを１度ずつ通る経路が形成される。なお、このような一筆書きが可能な一連の周辺画素データの交換経路が、特許請求の範囲に記載のデータ通信経路に相当する。

次に、周辺画素データの交換の方法について説明する。例えば、画像ブロックＤＩｎ５の画像処理に必要な、画像ブロックＤＩｎ１に含まれる周辺画素データ（図５参照）を交換する場合、ＤＩｎ１→ＤＩｎ２→ＤＩｎ３→ＤＩｎ６→ＤＩｎ５の交換経路で、ＤＩｎ５に周辺画素データが送信される。また、上述したように、データ交換は一回のデータ交換で双方向のデータ交換が可能である。例えば、最も周辺画素データの交換経路として遠いＤＩｎ１とＤＩｎ４（又は、ＤＩｎ６とＤＩｎ９）とは、５回のタイミングでデータ交換を行うことによって周辺画素データの交換が可能である。

図９（ｂ）は、ＤＩｎ１とＤＩｎ４がデータ交換するために必要なデータ交換のタイミングと、その交換の向きについて説明した説明図である。説明の便宜上、ＤＩｎ１からＤＩｎ４までの周辺画素データの交換経路を直線状に表現した。実線の矢印は、ＤＩｎ４が必要なＤＩｎ１に含まれる周辺画素データを、ＤＩｎ１から順にＤＩｎ２、ＤＩｎ３、ＤＩｎ６、ＤＩｎ５を経由してＤＩｎ４に送信されている様子を示している。一方、破線の矢印は、ＤＩｎ１が必要なＤＩｎ４に含まれる周辺画素データを、ＤＩｎ４から順にＤＩｎ５、ＤＩｎ６、ＤＩｎ３、ＤＩｎ２を経由してＤＩｎ１に送信されている様子を示している。

矢印の上に付した数字はデータ交換が行われるタイミングを示している。つまり、１回目のデータ交換のタイミングで、ＤＩｎ１→ＤＩｎ２のデータ交換と、ＤＩｎ４→ＤＩｎ５のデータ交換が行われる。２回目のデータ交換のタイミングで、ＤＩｎ２→ＤＩｎ３のデータ交換と、ＤＩｎ５→ＤＩｎ６のデータ交換が行われる。このように周辺画素データの交換を行うことによって、ＤＩｎ１とＤＩｎ４とは５回のデータ交換のタイミングで、周辺画素データの交換を行うことができる。また、この５回のデータ交換のタイミング内で、例えば、ＤＩｎ２とＤＩｎ５や、ＤＩｎ３とＤＩｎ５などが、周辺画素データの交換を、他の画像ブロックＤＩｎを経由して行うことが可能である。勿論、直接に周辺画素データを交換するＤＩｎ１とＤＩｎ２や、ＤＩｎ５とＤＩｎ４などは、この５回のデータ交換のタイミング内で直接に周辺画素データの交換が可能である。

他の各画像処理部が必要とする周辺画素データについても、同様に、図９（ａ）に示した交換経路上を介し、他の画像処理部を経由して、その周辺画像データを必要とする画像処理部に送信される。また図９（ａ）に示した交換経路は、一筆書きで言えば、「始点と終点とが異なる場合」に相当する。この場合、各画像処理部は、双方向に周辺画素データを交換して、各画像処理部が必要な周辺画素データを取得する。なお、交換経路を、一筆書きで言う「閉路」で構成する事も可能であり、この場合は、交換経路はループ状となるので、各画像処理部が交換経路上を一方向のみに周辺画素データを送信し、各画像処理部が処理に必要な周辺画素データが当該画像処理部を通過する際に、その周辺画素データを取得（または参照）するとしてもよい。その具体的な経路については、後の変形例で説明する。

以上説明したように、第２実施例における周辺画素データの交換方法を用いることで、各画像処理部は、全ての画像処理部と接続されている必要はなく、１つ乃至２つの画像処理部と接続されていればよい。従って、第１実施例と比較してさらに、画像処理装置の構造上、トランシーバー数、配線数、デバイスのピン数等を減少させることができる。

Ｃ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

（Ｃ１）変形例１：
上記実施例では、画像データＤＩｎ０を３×３に分割したが、４×４や、４×３など、Ｍ×Ｎ（Ｍ，Ｎは２以上の正の整数）に分割するとしても同様の効果を得ることができる。分割数を多くした場合、各画像処理部が処理をする画素数が減るので、画像処理の処理速度が、上記実施例と比較してさらに高速となる。

（Ｃ２）変形例２：
上記第１実施例では、周辺画素データ交換処理は上下方向（垂直方向）を先に行い、後に左右方向（水平方向）に行ったが、変形例２として、先に左右方向（水平方向）を行い、後に上下方向（垂直方向）を行ってもよい。このようにしても、上記第１実施例と同様の効果を得ることが可能である。

（Ｃ３）変形例３：
上記実施例２では、図９に示した周辺画素データの交換経路によって周辺画素データを交換したが、これに限ることなく、ＤＩｎ０を、３×３や、それ以外の分割数に分割することが可能である。例えば図１０に示した交換経路を構成して周辺画素データを交換することが可能である。図１０（ａ）および図１０（ｂ）に示した交換経路は、各画像ブロックＤＩｎ間を、１つの経路で、かつ、同じ経路を２度通ることなく結ぶように構成されている。上記で説明した、「閉路」の経路構成である。このように構成した交換経路によって周辺画素データを交換する場合、上述したように、各データ交換部は、周辺画素データを経路上の一方向のみに送信すればよい。このような経路構成としても、上記第２実施例と同様の効果を得ることが可能である。

（Ｃ４）変形例４：
上記実施例では、各画像処理部に部分画像データが蓄積された後にタイミング指示部がデータ交換開始の指示を各画像処理部に出力していたが、本変形例では、タイミング指示部６０は、各画像処理部３１〜３９における画像データの蓄積の状況を解析し、第１ないし第９画像処理部３１〜３９のうち、データ交換が可能になった処理部に対してデータ交換の開始を指示する。このようにデータ交換をすると、上記実施例と比較して、さらにデータ交換を高速に行うことが可能である。

（Ｃ５）変形例５：
上記実施例では、映像ストレージＳｔ１〜Ｓｔ９から、画像ブロックＤＩｎ１〜９が画像入力部２１〜２９を介してプロジェクターに入力されるとしたが、変形例５においては、プロジェクターに画像データＤＩｎ０が入力され、画像処理装置１ａにおいて画像データＤＩｎ０を画像ブロックＤＩｎ１〜ＤＩｎ９に分割する。図１１は、変形例５における画像処理装置１ａの構成を説明する説明図である。第１実施例と同じ機能を備える機能部には同じ符号を付している。図１１に示すように、画像データＤＩｎ０を記憶している映像ストレージＳｔ０から画像像入力部２０ａに画像データＤＩｎ０が入力され、画像処理装置１ａが備える画像分割部９０が画像データＤＩｎ０を画像ブロックＤＩｎ１〜ＤＩｎ９に分割し、各画像処理部３１〜３９に送信する。以降の処理は第１実施例と同様の処理である。このような構成にしても上記実施例と同様の効果が得られる。

（Ｃ６）変形例６：
上記実施例では、データ交換部は、他の画像処理部と周辺画素データのやり取りをするデータ交換処理デバイスを複数備えることによって、他の複数の画像処理部とデータの交換を行っていたが、変形例６として、データ交換の方向を切り換える切り換えスイッチＳＷを備えることにより、データ交換処理デバイスの数を上記実施例より少なくする構成としてもよい。

図１２は、変形例６の具体例を説明する説明図である。図１２に示すように、画像処理装置は、上記第１実施例と同様に、各画像処理部は、上下左右に隣接している画像処理部と接続されている。さらに、変形例６の特徴として、接続経路上に、必要に応じて、切り換えスイッチＳＷを備える。図１２においては、切り換えスイッチＳＷは、画像処理部の外部に設ける構成であるが、画像処理部の内部に設ける構成としてもよい。図１２の具体例の場合は、各画像処理部間で周辺画素データを互いに交換する場合は、データ交換をするタイミングで、必要に応じて切り換えスイッチＳＷを切り換えることにより、最大で４つの画像処理部との通信が可能となり、第１実施例と実質的に同等のデータ交換が可能である。このような構成にすることで、画像処理部が４つのデータ交換処理デバイスを備える必要がなく、データ交換処理デバイスの数を減らすことができる。

また、各画像処理部との接続経路を第２実施例と同様に所謂一筆書きの構成とし、２つ以上の画像処理部とデータ交換を行う画像処理部が、切り換えスイッチＳＷを備え、必要に応じて、データ交換のタイミングで切り換えスイッチＳＷを切り換えるとしてもよい。このようにすることで、データ交換処理デバイスの数を上記第２実施例と比べて減らすことが可能である。

１…画像処理装置
１０…画像入力部
２０…画像分割部
３１〜３９…第１〜第９画像処理部
４０…画像合成部
５０…画像出力部
６０…タイミング指示部
７１…ＣＰＵ
８０…フレームメモリー
８１…入力インタフェース
８３…出力インタフェース
８５…指示入力インタフェース
３４１…データ交換部
３４４…フレームメモリー
３５１…分割画像入力部
３５２…データ交換部
３５３…フレームメモリー制御部
３５４…フレームメモリー
３５５…フィルター処理部
３５６…分割画像出力部
ＤＩｎ０…画像データ
ＤＩｎ１〜９…画像ブロック
ＤＯｕｔ０…画像データ
Ｓｔ１〜Ｓｔ９…映像ストレージ
ＳＷ…切り換えスイッチ
ＰＣ１〜ＰＣ９…コンピューター

Claims (8)

1. 複数の画素により構成された画像を表す画像データを処理する画像処理装置であって、
   前記画像データに対応した表示画像を分割した各部分画像に対応して設けられ、該部分画像に対応した画像データを入力し、該部分画像を構成する各画素のデータを該画素の周辺画素のデータを参照して処理する複数の画像処理ユニットと、
   該画像処理ユニットによって前記画像処理が行われた後の画素のデータを用いて、表示用画像データを出力する画像出力ユニットと
   を備え、
   前記複数の画像処理ユニットには、少なくとも、
   第１の部分画像について前記画像処理を行う際、当該第１の部分画像と隣り合った他の部分画像を構成する画素のうち、少なくとも前記第１の部分画像に隣接する領域の画素のデータを取得して、前記周辺画素のデータとして、前記画像処理に用いる第１の画像処理ユニットと、
   前記第１の部分画像とは異なる第２の部分画像について前記画像処理を行うと共に、前記第１の画像処理ユニットが前記周辺画素として扱う画素の少なくとも一部のデータを、前記第１の画像処理ユニットが扱う部分画像に隣り合った部分画像を処理する画像処理ユニットから、前記第１の画像処理ユニットに向けて仲介する第２の画像処理ユニットと
   が含まれる画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記第２の画像処理ユニットは、
   当該第２の画像処理ユニットが前記参照のために必要な周辺画素データの取得に併せて、前記第１の画像処理ユニットが前記参照のために必要な前記周辺画素データを仲介する
   画像処理装置。
3. 請求項２記載の画像処理装置であって、
   前記各部分画像は、前記画像データに対応した前記表示画像を水平方向および垂直方向に二次元的に分割した画像であり、
   前記第１の画像処理ユニットが、前記第１の部分画像に対角方向で隣り合う対角隣接部分画像の周辺画素データを参照する場合に、
   前記第２の部分画像は、前記第１の部分画像および前記対角隣接部分画像のうちの一方に水平方向で、他方に垂直方向で隣接して位置し、
   前記第２の画像処理ユニットは、前記第１の画像処理ユニットが前記参照に必要な前記対角隣接部分画像の周辺画素データを仲介する
   画像処理装置。
4. 請求項３記載の画像処理装置であって、
   前記各画像処理ユニットは、時分割された２回のタイミングで前記周辺画素データのやり取りをし、
   前記２回のタイミングのうち１回目に、該画像処理ユニットに水平方向または垂直方向のいずれか一方に隣接する前記画像処理ユニットと、互いに、前記周辺画素データをやり取りし、
   前記２回のタイミングの内の２回目に、該画像処理ユニットに水平方向または垂直方向のいずれか他方に隣接する前記画像処理ユニットと、互いに、前記周辺画素データをやり取りする
   画像処理装置。
5. 請求項１記載の画像処理装置であって、
   前記複数の画像処理ユニットは、対応する部分画像に隣接する部分画像にそれぞれ対応する複数の他の画像処理ユニットのうち奇数個の画像処理ユニットから、前記対応する部分画像に隣接する領域の一部の画素のデータを、前記参照用の前記周辺画素データとして取得する画像処理ユニットを０個、若しくは２個含み、
   前記各画像処理ユニット同士を、該画像処理ユニット同士が互いに直接に前記周辺画素データを取得する経路であるデータ取得経路で結ぶことによって、前記各画像処理ユニットと前記データ取得経路とから構成され、全ての前記画像処理ユニットを１度ずつ通るデータ通信経路が形成される
   画像処理装置。
6. 請求項１ないし請求項５のいずれか記載の画像処理装置であって、更に、
   前記画像データを入力する画像データ入力部と、
   前記画像データに対応した前記表示画像を前記二次元的に分割して複数の前記部分画像とし、該各部分画像を前記各画像処理ユニットに入力する画像分割部と
   を備える画像処理装置。
7. 請求項１ないし請求項６のいずれか記載の画像処理装置であって、更に、
   前記各画像処理ユニットが前記周辺画素データのやり取りをする、時分割された複数のタイミングを制御するタイミング制御部を備える画像処理装置。
8. 複数の画素により構成された画像を表す画像データを、前記画像データに対応した表示画像を分割した各部分画像に対応して設けられ、該部分画像に対応した画像データを入力し、該部分画像を構成する各画素のデータを該画素の周辺画素のデータを参照して処理する複数の画像処理ユニットを用いて処理をする画像処理方法であって、
   前記複数の画像処理ユニットのうち、
   第１の画像処理ユニットを用いて、第１の部分画像の一つについて前記画像処理を行う際、当該第１の部分画像と隣り合った他の部分画像を構成する画素のうち、少なくとも前記第１の部分画像に隣接する領域の画素のデータを取得して、前記周辺画素のデータとして、前記画像処理に用い、
   第２の画像処理ユニットを用いて、前記第１の部分画像とは異なる第２の部分画像について前記画像処理を行うと共に、前記第１の画像処理ユニットが前記周辺画素として扱う画素の少なくとも一部のデータを、前記第１の画像処理ユニットが扱う部分画像に隣り合った部分画像を処理する画像処理ユニットから、前記第１の画像処理ユニットに向けて仲介し、
   前記複数の画像処理ユニットによって前記画像処理が行われた後の画素のデータを用いて、表示用画像データを出力する
   画像処理方法。

Images