JP2015138417A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】分割画像に対するフィルタ処理を容易に且つ適切に行えるようにする。
【解決手段】画像処理部１０５は、分割画像の画素と、画素格納部１０３に格納されたのりしろ画素のうち、画素格納部１０３に格納されていない分割画像の画素を参照しない画素と、に対するフィルタ処理を行う。また、画像処理部１０５と並行してフィルタ処理を行う画像処理部１０６は、分割画像３の画素のうち、分割画像の画素を参照しない画素に対するフィルタ処理を行う。
【選択図】図３

Description

本発明は、画像処理装置および画像処理方法に関し、特に、１フレームの画像を複数の画像に分割して処理するために用いて好適なものである。

従来、４Ｋ２Ｋ、８Ｋ４Ｋ等の高解像度画像処理においては、１フレームの画像を複数のＦＨＤ画像に分割し、分割した複数のＦＨＤ画像を並列処理するアーキテクチャや、予め分割した画像を伝送する方式が提案されている。分割画像の端部の画素に隣接する画素は、当該分割画像に隣接する分割画像の端部の画素にあたる。このため、分割画像の端部をフィルタ処理する場合は、当該分割画像に隣接する分割画像の端部の画素の一部を参照して処理を行う。以下の説明では、分割画像の端部の画素のうち、当該分割画像に隣接する分割画像の端部のフィルタ処理の際に参照される画素を必要に応じてのりしろ画素と称する。

このようにして分割画像をフィルタ処理する技術として特許文献１、２に記載の技術がある。
特許文献１では、テレビジョンカメラから得られた１フレームの画像を複数の画像に分割した後、全ての分割画像に、当該分割画像に隣接する分割画像の端部のフィルタ処理で参照されるのりしろ画素を付加した画像を生成する。そして、分割画像に付加されたのりしろ画素を参照して当該分割画像の端部の画素を処理する。

特許文献２では、１フレームの画像を受信し、受信した画像を複数の画像に分割して読み出し、信号処理後、出力する。分割画像の読み出しの際、上下に隣接する２つの分割画像を、上の分割画像は上から下方向へラインを走査し、下の分割画像は、下から上方向へラインを走査する。

特開２０００−３１２３１１号公報 特開２００９−０１０６１３号公報

しかしながら、画像解析等で、入力直後にフィルタ処理回路を持つ構成で、分割画像が並列に入力された場合、特許文献１に記載の技術では、一つの分割画像の処理時には他方の分割画像をフレームバッファに格納しておかなければならない。もしくは、分割画像を並列処理するために、のりしろ画素用のラインバッファを各分割画像に設ける必要がある。したがって、メモリコストが増加するという課題がある。

また、特許文献２に記載の技術では、上下ののりしろ画素が同時期に画像処理装置で参照されるように、参照し合う分割画像における走査方向（読み出し方向）を互いに逆向きに設定する。一般的な画像の走査方式は、水平方向では左から右へ画素を走査し、垂直方向では上から下へ画素を走査する。したがって、画像の伝送時に特殊な送受信装置を使用しなければならないという課題がある。
本発明は、以上の課題を鑑みてなされたものであり、分割画像に対するフィルタ処理を容易に且つ適切に行えるようにすることを目的とする。

本発明の画像処理装置は、１フレームの画像を複数に分割した画像である分割画像の画素を、当該画素の周囲の領域の画素の値を用いて処理する画像処理装置であって、前記周囲の領域の画素の値を格納部に格納する格納手段と、垂直方向および水平方向のうちの一方向で隣接する複数の分割画像に対する前記処理を、前記格納部に格納された画素の値を用いて並行して行う処理手段と、を有し、前記処理を行う際の前記画素の走査方向は、全ての前記分割画像で同じであり、前記格納手段は、前記一方向で隣接する２つの前記分割画像のうち、前記一方向における並び順が前記画素の走査方向で後になる一方の分割画像に対する前記処理を行う際に参照される画素の値として、他方の分割画像の画素の値を格納しないことを特徴とする。

本発明によれば、分割画像に対するフィルタ処理を容易に且つ適切に行うことができる。

分割前の１フレームの画像の全体を示す図である。 画像処理システムを示す図である。 画像処理装置の構成を示す図である。 画像処理装置の動作を説明するフローチャートである。 画像入力部に入力される分割画像を示す図である。 開始ライン番号を説明する図である。 画像処理部で参照される分割画像の画像領域を示す図である。 分割前の１フレームの画像の全体の変形例を示す図である。 画像処理システムの変形例を示す図である。

以下、図面を参照しながら、本発明の一実施形態を説明する。
本実施形態では、８Ｋ４Ｋ画像を縦横に２分割して得た４つの分割画像のうち、上下２枚の分割画像を１つの画像処理装置に入力する。そして、当該画像処理装置で上下２枚の分割画像の単位で画像処理を行い、最終的に元の８Ｋ４Ｋ画像と同じサイズの画像を出力する場合を例に挙げて説明する。

図１は、画像の入力形式の一例を示す図である。具体的に図１は、分割前の１フレームの画像の全体の一例を示す図である。
画像は、画像処理システムに入力した後、縦横に２分割されて４つに分割される。そして、２組の上下２枚の分割画像のうちの一方の組が２台の画像処理装置のうちの一方の画像処理装置に入力され、他方の組が他方の画像処理装置に入力される。

領域２００は、分割画像１、２、３、４を示す。領域２００内の斜線で示す領域は、のりしろ画素を示す。フィルタ処理では、処理の対象となる画素の周囲の画素の値を用いて、当該処理の対象となる画素の値が変更される。したがって、分割画像の端部の画素をフィルタ処理する際には、当該分割画像に隣接する分割画像内の画素を、のりしろ画素として参照する。分割画像４を例にとると、分割画像２のフィルタ処理の際に参照される画素はのりしろ画素４Ｔに含まれ、分割画像３のフィルタ処理の際に参照される画素はのりしろ画素４Ｌに含まれる。また、分割画像１のフィルタ処理の際に参照される画素はのりしろ４Ｌ、４Ｔが重複する領域の画素４ＴＬに含まれる。分割画像４の右部及び下部のように、隣接する分割画像がない端部の領域には、のりしろ画素は存在しない。

また、フィルタ処理を行う際の画素の走査方向（読み出し方向）は、全ての分割画像１〜４で同じであるものとする。具体的に本実施形態では、水平方向では左から右へ画素を走査し、垂直方向では上から下へ画素を走査するものとする。したがって、垂直方向で隣接する２つの分割画像１、３のうち、並び順が走査方向で後になる一方の分割画像は分割画像３であり、並び順が走査方向で前になる他方の分割画像は分割画像１になる。このことは、分割画像２、４についても同じである。

図２は、画像処理システムの一例を示す図である。
図２において、画像処理システムは、画像処理装置１００ａ、１００ｂ（画像処理チップ）を有する。画像処理装置１００ａは、後述するようにしてのりしろ画素が付加された４つの分割画像１〜４のうち、垂直方向で上下に隣接する２つの分割画像１、３を同時に入力して画像処理を行い、画像処理を行った２つの分割画像１、３を統合して出力する。画像処理装置１００ｂは、後述するようにしてのりしろ画素が付加された４つの分割画像１〜４のうち、上下に隣接する２つの分割画像２、４を同時に入力して画像処理を行い、画像処理を行った２つの分割画像２、４を統合して出力する。
画像処理装置１００ａ、１００ｂから出力される画像の大きさは、８Ｋ４Ｋ画像を左右２分割した大きさと同じである。

画像合成出力部１１０は、画像処理装置１００ａ、１００ｂから出力された画像を合成して出力する。画像合成出力部１１０から出力される画像の大きさは、８Ｋ４Ｋ画像と同じ大きさである。尚、画像合成出力部１１０は、例えば、画像処理装置１００ａ、１００ｂから出力される画像の位置関係を示す情報を予め保持することにより、画像処理装置１００ａ、１００ｂから出力された画像の位置関係を特定する。
表示部１２０は、画像合成出力部１１０から出力された画像を表示する。表示部１２０は、例えば、液晶ディスプレイを用いることにより実現できる。

図３は、画像処理装置１００ａの構成の一例を示す図である。尚、画像処理装置１００ｂの構成は、画像処理装置１００ａの構成と同じであるので、画像処理装置１００ｂの構成の詳細な説明を省略する。
画像入力部１０１、１０２は、それぞれ、入力された分割画像１、３をラインバッファに格納し、後段の画像処理部１０５、１０６のフィルタタップ数分のライン数（行数）がそろったら、当該ライン数に対応する画素を、画像処理部１０５、１０６に出力する。分割画像１、３は、画像入力部１０１、１０２に同時に入力される。

画素格納部１０３は、分割画像３の画素のうち、分割画像１の画素に対するフィルタ処理を行う際に参照される画素（のりしろ画素３Ｔ）からなる第１の画素群の画素の値を格納する。また、画素格納部１０３は、分割画像３の画素のうち、当該第１の画素群の画素以外の画素であって、当該第１の画素群の画素に対するフィルタ処理を行う際に参照される画素からなる第２の画素群の画素の値を格納する。
フィルタが３×３フィルタであるとすると、分割画像３の画素のうち、分割画像１に隣接するライン（行）の画素が第１の画素群の画素になり、その下のライン（行）の画素が第２の画素群の画素になる。

さらに画素格納部１０３は、分割画像３に付加された画素（図１ののりしろ画素４Ｌ）のうち、分割画像１の画素に対するフィルタ処理を行う際に参照される画素（図１ののりしろ画素４ＴＬ）からなる第３の画素群の画素の値を格納する。また、画素格納部１０３は、分割画像３に付加された画素（図１ののりしろ画素４Ｌ）のうち、当該第３の画素群の画素以外の画素であって、前記第１の画素群の画素に対するフィルタ処理を行う際に参照される画素からなる第４の画素群の画素の値を格納する。
フィルタが３×３フィルタであるとすると、分割画像４の画素のうち、分割画像１に隣接する（左上隅の）画素が第３の画素群の画素になり、その下の画素が第４の画素群の画素になる。

画像処理部１０５、１０６は、統計量処理等の、入力直後の分割画像に対するフィルタ処理を行う。
後段画像処理部１０７は、画像処理部１０５、１０６によりフィルタ処理が行われた分割画像１、３に対して、ＩＰ変換、スケーリング等の、画像加工処理を行う。
フレームメモリ１０８は、後段画像処理部１０７で画像加工処理が行われることにより生成された出力画像を格納する。
画像出力部１０９は、フレームメモリ１０８から出力画像を読み出し、出力タイミングに従って出力画像を出力する。

図４は、画像処理装置１００ａの動作の一例を説明するフローチャートである。尚、ステップＳ４０４〜Ｓ４０７と、ステップＳ４０８〜Ｓ４１０は、並行して実行される（並列処理である）ものとする。また、画像処理装置１００ｂの動作は、画像処理装置１００ａの動作と同じであるので、画像処理装置１００ｂの動作の詳細な説明を省略する。

ステップＳ４０１において、画像入力部１０１は、分割画像１、３を入力する。図５（ａ）、（ｂ）は、それぞれ、画像入力部１０１に入力される分割画像１、３の一例を示す図である。
図５（ａ）に示すように、分割画像１には、水平方向で隣接する分割画像２の画素のうち、分割画像１に対するフィルタ処理の際に参照される画素がのりしろ画素２Ｌとして付加される。同様に、分割画像３には、水平方向で隣接する分割画像４の画素のうち、分割画像３に対するフィルタ処理の際に参照される画素がのりしろ画素４Ｌとして付加される。

フィルタが３×３フィルタであるとすると、のりしろ画素２Ｌは、分割画像２の画素のうち、分割画像１に隣接する１ライン（列）の画素となり、のりしろ画素４Ｌは、分割画像４の画素のうち、分割画像２に隣接する１ライン（列）の画素となる。
尚、分割画像１、３の入力時に、のりしろ画素２Ｌ、４Ｌを分割画像１、３に付加しなくてもよい。例えば、後述する画像処理部１０５、１０６でのフィルタ処理時に、他の画像処理装置１００ｂから、必要なのりしろ画素を受信してもよい。以上のことは、分割画像２、４についても同じである。

次に、ステップＳ４０２において、画像入力部１０１、１０２は、それぞれ、のりしろ画素２Ｌ、４Ｌが付加された分割画像１、３を、ライン（行）単位で上のライン（行）から順に画像処理部１０５、１０６へ出力する。
次に、ステップＳ４０３において、画像入力部１０２は、のりしろ画素４Ｌが付加された分割画像３の画素のうち、のりしろ画素３Ｔ、４ＴＬを含む画素（前述した第１〜第４の画素群の画素）の値を選択して画素格納部１０３に格納する。

次に、ステップＳ４０４において、画像処理部１０５は、画像入力部１０１から入力されたライン数が、フィルタ処理が可能な数になる度に、分割画像１に対してフィルタ処理を行う。
次に、ステップ４０５において、画像処理部１０５は、分割画像１に対するフィルタ処理のために、画素格納部１０３に格納されたのりしろ画素３Ｔ、４ＴＬを含む画素（前述した第１〜第４の画素群の画素）の値が必要であるか否かを判定する。
この判定の結果、のりしろ画素３Ｔ、４ＴＬを含む画素の値が必要でない場合には、ステップＳ４０４に戻り、のりしろ画素３Ｔ、４ＴＬを含む画素の値が必要になるまで、フィルタ処理を継続して行う。

そして、のりしろ画素３Ｔ、４ＴＬを含む画素の値が必要になると、ステップＳ４０６に進む。ステップＳ４０６に進むと、画像処理部１０５は、画素格納部１０３に格納されたのりしろ画素３Ｔ、４ＴＬを含む画素（前述した第１〜第４の画素群の画素）の値のうち、分割画像１に対するフィルタ処理のために必要な画素の値を読み出す。そして、画像処理部１０５は、画像入力部１０１から入力されたライン数（行数）が、フィルタ処理が可能な数になる度に、読み出した画素の値を用いて、分割画像１に対してフィルタ処理を行う。
また、画像処理部１０５は、画素格納部１０３に格納されたのりしろ画素３Ｔ（分割画像３の画素のうち、フィルタ処理の際に分割画像１の画素を参照する必要がある画素）についてもフィルタ処理を行う。

次に、ステップＳ４０７において、画像処理部１０５は、分割画像１及びのりしろ画素３Ｔに対するフィルタ処理が終了したか否かを判定する。この判定の結果、分割画像１及びのりしろ画素３Ｔに対するフィルタ処理が終了していない場合には、ステップＳ４０６に戻り、分割画像１及びのりしろ画素３Ｔに対するフィルタ処理が終了するまで、フィルタ処理を継続して行う。

ステップＳ４０８において、画像処理部１０６内の開始ライン検出部１０６１は、分割画像３のラインであって、分割画像１の画素を参照せずに分割画像３に対するフィルタ処理を行うことができるライン（行）のうち、一番上のライン（行）の番号を検出する。以下の説明では、この番号を必要に応じて開始ライン番号と称する。

開始ライン番号は、例えば、画像処理部１０６のフィルタタップ数から算出される。図６は、開始ライン番号の一例を説明する図である。具体的に、図６（ａ）は、分割画像１の画素の値を参照して分割画像３に対するフィルタ処理を行う必要がある様子の一例を示す図である。また、図６（ｂ）は、分割画像１の画素の値を参照せずに分割画像３に対するフィルタ処理を行う必要がある様子の一例を示す図である。

図６では、分割画像３の上から３つのライン（行）３Ｌ１、３Ｌ２、３Ｌ２と、分割画像３に隣接する分割画像１の最終ライン（最も下のライン（行））１ＬＮを示す。
図６に示す例では、画像処理部１０６におけるフィルタが３×３フィルタであるとする。そうすると、図６（ａ）に示す画像２２０のように、分割画像３の最初のライン３Ｌ１の画素に対するフィルタ処理を行う場合には、分割画像１の最終ライン１ＬＮの画素を参照する必要がある。このため、このライン３Ｌ１の番号は開始ライン番号として検出されない。

一方、図６（ｂ）に示す画像２２１のように、分割画像３の最初から２番目のライン３Ｌ２の画素に対するフィルタ処理を行う場合には、分割画像１の最終ライン１ＬＮの画素を参照せず、分割画像３内の画素のみを参照すればよい。したがって、このライン３Ｌ２の番号が、開始ライン番号として検出される。

以上のようにして開始ライン番号が検出されると、ステップＳ４０９に進み、画像処理部１０６は、画像入力部１０２から入力されたライン数が、フィルタ処理が可能な数になる度に、分割画像３に対してフィルタ処理を行う。前述したように、開始ライン番号の画素に対してフィルタ処理を行う場合には、分割画像１の画素を参照する必要はない。したがって、分割画像３及び当該分割画像３に付加されたのりしろ画素４Ｌのみで、ステップＳ４１０のフィルタ処理を行うことができる。

尚、ライン３Ｌ１の画素の値は、前述した第１の画素群（のりしろ画素３Ｔ）として画像格納部１０６に格納されている。また、ライン３Ｌ２の画素の値は、前述した第２の画素群として画像格納部１０６に格納されている。さらに、ライン３Ｌ１、３Ｌ２に隣接する分割画像４の２つの画素は、それぞれ前述した第３、第４の画素群として画像格納部１０６に格納されている。このように、ライン３Ｌ１の画素に対するフィルタ処理を行うために必要な画素の値は、画像処理部１０５で参照することができる。したがって、本実施形態では、前述したように、ステップＳ４０６において、分割画像１の画素に対するフィルタ処理の後に、分割画像１の直下の画素に対するフィルタ処理として、ライン３Ｌ１の画素に対するフィルタ処理が行われる。

図４の説明に戻り、ステップＳ４１０において、画像処理部１０６は、分割画像３に対するフィルタ処理が終了したか否かを判定する。この判定の結果、分割画像３に対するフィルタ処理が終了していない場合には、ステップＳ４０９に戻り、分割画像３に対するフィルタ処理が終了するまで、フィルタ処理を継続して行う。

図７（ａ）、（ｂ）は、それぞれ、画像処理部１０５、１０６で参照される分割画像１、３の画像領域の一例を示す図である。
図７において、破線で囲まれた領域が、フィルタ処理の対象となる領域である。画像２３０は、分割画像１と、分割画像１に対するフィルタ処理を行う際に参照されるのりしろ画素３Ｔ、２Ｌ、４ＴＬ（４Ｌ）とを含む。分割画像１は、分割画像２ののりしろ画素２Ｌと、分割画像３ののりしろ画素３Ｔと、分割画像４ののりしろ画素４ＴＬとを含む画素が付加された画像として画像処理部１０５に入力され、フィルタ処理される。画像２３１は、分割画像３と、分割画像３に対するフィルタ処理を行う際に参照されるのりしろ画素４Ｌとを含む。分割画像３は、分割画像４ののりしろ画素４Ｌを含む画素が付加された画像として画像処理部１０６に入力され、分割画像３のラインのうち、分割画像１ののりしろ１Ｂを参照するラインを除外したラインでのみフィルタ処理される。

図４の説明に戻り、以上のようにして、分割画像１、３に対する全てのフィルタ処理が終了すると、ステップＳ４１１に進む、ステップＳ４１１において、画像処理部１０５、１０６は、フィルタ処理が終了した画素を後段画像処理部１０７に出力する。このとき、画像処理部１０５は、フィルタ処理が行われたのりしろ画素３Ｔを、分割画像１の直下に配置される画素として後段画像処理部１０７に出力する。
次に、ステップＳ４１２において、後段画像処理部１０７は、画像処理部１０５、１０６によりフィルタ処理が行われた分割画像１、３に対して、画像加工処理を行う。
次に、ステップＳ４１３において、後段画像処理部１０７は、画像加工処理を行うことにより得られた出力画像をいったんフレームメモリ１０８に格納する。そして、画像出力部１０９は、出力タイミングになると、フレームメモリ１０８から出力画像を読み出して出力する。

以上のように本実施形態では、分割画像１、３にのりしろ画素２Ｌ、４Ｌを付加する。また、のりしろ画素３Ｔ、４ＴＬの値と、のりしろ画素３Ｔ、４ＴＬ以外の画素であって、のりしろ画素３Ｔに対するフィルタ処理を行う際に参照される分割画像３、４の画素の値と、を画素格納部１０３に格納する。そして、画像処理部１０５は、分割画像１の画素と、画素格納部１０３に格納されたのりしろ画素３Ｔに対するフィルタ処理を行う。また、画像処理部１０５と並行してフィルタ処理を行う画像処理部１０６は、分割画像３の画素のうち、分割画像１の画素を参照しない画素（のりしろ画素３Ｔ以外の画素）に対するフィルタ処理を行う。したがって、分割画像の走査方向を分割画像によって異ならせる必要がなくなるとともに、分割画像を格納するフレームバッファや、分割画像ごとにのりしろ画素を格納するバッファが不要になる。これにより、分割画像を並列に入力した直後に、当該分割画像に対してフィルタ処理を行う構成としても、特殊な送受信装置が不要になると共に、メモリコストを削減することができる画像処理装置を実現することができる。また、分割画像１〜４の（フィルタ処理が可能な）全ての画素に対してフィルタ処理を行うことができる。よって、分割画像に対するフィルタ処理を容易に且つ適切に行うことができる。

本実施形態では、２つの画像処理装置１００ａ、１００ｂで、垂直方向で隣接する２つの分割画像（分割画像１と分割画像３、分割画像２と分割画像４）をそれぞれ処理するようにした。しかしながら、必ずしもこのようにする必要はない。
例えば、１つの画像処理装置が、８Ｋ４Ｋ画像を上下に２分割したサイズの２つの分割画像（分割画像１と分割画像２、分割画像３と分割画像４）を並行して処理する能力を有する場合には、当該１つの画像処理装置で処理を行うようにしてもよい。このようにした場合、フレームメモリ１０８に格納される画像は、８Ｋ４Ｋ画像の全体（全画面）になる。

また、垂直方向で隣接する２つの分割画像（分割画像１と分割画像３、分割画像２と分割画像４）の単位で１つの画像処理装置に順次分割画像を処理してもよい。このようにした場合、画像合成出力部１１０にフレームバッファを設け、先に処理された垂直方向で隣接する２つの分割画像を当該フレームバッファに格納しておき、次に処理された垂直方向で隣接する２つの分割画像と合成することになる。

尚、画像処理装置には、画素格納部１０３に格納されるのりしろ画素を有する分割画像と、当該のりしろ画素を参照してフィルタ処理を行う分割画像は、同時に画像処理装置１００ａ、１００ｂに入力されるようにする必要がある。例えば、画素格納部１０３に格納されるのりしろ画素３Ｔを有する分割画像３と、当該のりしろ画素３Ｔを参照してフィルタ処理を行う分割画像１は、同時に画像処理装置１００ａに入力されるようにする必要がある。

また、本実施形態では、画像処理装置１００ａ、１００ｂは、垂直方向で隣接した２つの分割画像の組（分割画像１、３の組と分割画像２、４の組）を統合して出力するようにした。しかしながら、必ずしもこのようにする必要はない。例えば、画像処理装置１００ａ、１００ｂが、入力した分割画像の単位で分割画像を出力してもよい。すなわち、画像処理装置１００ａ、１００ｂは、画像処理を行った４つの分割画像１、２、３、４を個別に出力してもよい。このようにした場合には、画像合成出力部１１０は、４つの分割画像を合成することになる。

また、本実施形態では、垂直方向で隣接した２つの分割画像の組（分割画像１、３の組、分割画像２、４の組）の単位で画像処理（フィルタ処理）を行うようにした（すなわち、垂直方向が一方向となり水平方向が他方向となるようにした）。しかしながら、必ずしもこのようにする必要はない。例えば、水平方向で隣接した２つの分割画像の組（例えば、分割画像１、２の組、分割画像３、４の組）の単位で画像処理（フィルタ処理）を行うようにしてもよい（すなわち、水平方向が一方向となり垂直方向が他方向となるようにしてもよい）。

画素の走査方向が左から右の場合、分割画像１、２のうち、並び順が画素の走査方向で後になる一方の分割画像は分割画像２となり、並び順が画素の走査方向で前になる一方の分割画像は分割画像１となる。このことは、分割画像３、４についても同じである。
また、分割画像１に対して、分割画像３の画素のうち、前記分割画像１に対するフィルタ処理を行う際に参照される画素（のりしろ画素３Ｔ）を付加する。同様に、分割画像２には、のりしろ画素４Ｔを付加する。

そして、画素格納部１０３は、分割画像２の画素のうち、分割画像１の画素に対するフィルタ処理を行う際に参照される画素からなる第１の画素群の画素の値を格納する。また、画素格納部１０３は、分割画像２の画素のうち、当該第１の画素群の画素以外の画素であって、当該第１の画素群の画素に対するフィルタ処理を行う際に参照される画素からなる第２の画素群の画素の値を格納する。図１に示す例において、フィルタが３×３のフィルタである場合、分割画像２の画素のうち、分割画像１との境界のライン（列）の画素（すなわちのりしろ画素２Ｌ）が第１の画素群に対応する。また、分割画像２の画素のうち、分割画像１との境界のライン（列）の右隣のライン（列）の画素（すなわち、のりしろ画素２Ｌ）の右隣の画素）が第２の画素群に対応する。

また、画素格納部１０３は、分割画像２に付加された画素（図１ののりしろ画素４Ｔ）のうち、分割画像１の画素に対するフィルタ処理を行う際に参照される画素からなる第３の画素群の画素の値を格納する。また、画素格納部１０３は、分割画像２に付加された画素（図１ののりしろ画素４Ｔ）のうち、当該第３の画素群の画素以外の画素であって、前記第１の画素群の画素に対するフィルタ処理を行う際に参照される画素からなる第４の画素群の画素の値を格納する。図１に示す例において、フィルタが３×３のフィルタである場合、のりしろ画素４Ｔのうち、分割画像１に隣接する（左上隅の）画素（すなわちのりしろ画素４ＴＬ）が第３の画素群に対応する。また、のりしろ画素４Ｔのうち、分割画像１に隣接する（左上隅の）画素の右隣の画素（すなわちのりしろ画素４ＴＬの右隣の画素）が第４の画素群に対応する。

そして、画像処理部１０５は、分割画像１と、のりしろ画素２Ｌに対するフィルタ処理を行う。画像処理部１０５は、このフィルタ処理と並行して、分割画像２の画素のうち、フィルタ処理を行うに際し分割画像１を参照する必要がない画素（のりしろ画素２Ｌ以外の画素）に対するフィルタ処理を行う。

また、本実施形態では、分割画像の数が４つである場合を例に挙げて説明したが、分割画像の数は複数であれば４つに限定されない。また、本実施形態では、分割画像の大きさが同じである場合を例に挙げて説明したが、分割画像の大きさは同じでなくてもよい。
図８は、分割前の１フレームの画像の全体の変形例を示す図である。図８では、８Ｋ４Ｋ画像を縦横に３分割して分割画像の数を９つとする場合を示す。
図９は、画像処理システムの変形例を示す図である。

図９に示す例では、３つの画像処理装置に、垂直方向で隣接する３つの分割画像（例えば、分割画像１、２、３）が同時に入力され、並列処理がお子合われる。各分割画像１〜９には、分割画像１〜９に水平方向で隣接する分割画像の画素のうち、分割画像１〜９に対するフィルタ処理を行う際に参照される画素が付加される。例えば、分割画像５には、分割画像５に水平方向で隣接する分割画像２、８の画素のうち、分割画像５に対するフィルタ処理を行う際に参照される画素（のりしろ画素２Ｒ、８Ｌ）が付加される。

また、例えば、垂直方向で隣接する３つの分割画像のうち、下２つの分割画像に対して画素格納部１０３ａ〜１０３ｆを設ける（一番上の分割画像１、４、７に対しては画素格納部を設けない）。画素格納部１０３ａ〜１０３ｆは、それぞれ、前述した第１〜第４の画素群の画素の値を格納する。例えば、分割画像５に対する画素格納部１０３ｃは、第１の画素群の画素の値として、分割画像５の画素のうち、分割画像４の画素に対するフィルタ処理を行う際に参照される画素（のりしろ画素５Ｔ）の値を格納する。また、画素格納部１０３ｃは、第２の画素群の画素の値として、分割画像５の画素のうち、当該第１の画素群の画素（のりしろ画素５Ｔ）以外の画素であって、当該第１の画素群の画素に対するフィルタ処理を行う際に参照される画素の値を格納する。

また、画素格納部１０３ｃは、第３の画素群の画素の値として、分割画像５に付加された画素（のりしろ画素２Ｒ、８Ｌ）のうち、分割画像４の画素に対するフィルタ処理を行う際に参照される画素の値を格納する。図８に示す例では、のりしろ画素２Ｒ、２Ｔの重複領域の画素、のりしろ画素８Ｌ、８Ｔの重複領域の画素が第３の画素群の画素に対応する。また、画素格納部１０３は、第４の画素群の画素の値として、分割画像５に付加された画素（のりしろ画素２Ｒ、８Ｌ）のうち、第３の画素群の画素以外の画素であって、第１の画素群の画素に対するフィルタ処理を行う際に参照される画素の値を格納する。

そして、垂直方向で隣接する２つの分割画像について、分割画像の数が４つの場合と同様にしてフィルタ処理を行う。例えば、分割画像５に対するフィルタ処理を行う場合には、分割画像５のフィルタ処理は、フィルタ処理の際に分割画像４の画素を参照する必要がない画素のうち、最も上のライン（行）、すなわち、のりしろ画素５Ｔの次のライン（行）から開始される。また、分割画像５の画素のうち、分割画像５に対するフィルタ処理を行う際に分割画像６の画素を参照する画素（のりしろ画素５Ｂ）については、画素格納部１０３ｄに格納されている画素の値を参照してフィルタ処理を行う。具体的には、のりしろ画素６Ｔ、のりしろ画素３Ｒ、３Ｔの重複領域の画素、のりしろ画素９Ｌ、９Ｔの重複領域の画素の値が参照される。

また、分割画像５の画素のうち、残りの画素（のりしろ画素５Ｔ）の値は、画像格納部１０３ｃに格納されている。そこで、のりしろ画素５Ｔに対するフィルタ処理は、分割画像４に対するフィルタ処理の後に続けて行われる。
その他については、分割画像の数が４つの場合と同様にして処理を行うことが可能であるので、詳細な説明を省略する。

また、一方向（例えば垂直方向）でのみ画像を分割（上下２分割）して２つの分割画像を形成した場合には、他方向（例えば水平方向）で隣接する分割画像は存在しない。したがって、このようにする場合には、分割画像に対して、当該分割画像（例えば水平方向）に他方向で隣接する分割画像の画素（のりしろ画素）を付加する必要はなくなる。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。

１０３ 画素格納部、１０５、１０６ 画像処理部、１０６１ 開始ライン検出部

Claims (10)

1. １フレームの画像を複数に分割した画像である分割画像の画素を、当該画素の周囲の領域の画素の値を用いて処理する画像処理装置であって、
   前記周囲の領域の画素の値を格納部に格納する格納手段と、
   垂直方向および水平方向のうちの一方向で隣接する複数の分割画像に対する前記処理を、前記格納部に格納された画素の値を用いて並行して行う処理手段と、を有し、
   前記処理を行う際の前記画素の走査方向は、全ての前記分割画像で同じであり、
   前記格納手段は、前記一方向で隣接する２つの前記分割画像のうち、前記一方向における並び順が前記画素の走査方向で後になる一方の分割画像に対する前記処理を行う際に参照される画素の値として、他方の分割画像の画素の値を格納しないことを特徴とする画像処理装置。
2. 前記格納手段は、前記一方の分割画像の画素の中から、前記他方の分割画像の画素に対する前記処理の際に参照される画素からなる第１の画素群と、当該第１の画素群の画素以外の画素であって、当該第１の画素群の画素に対する前記処理の際に参照される画素からなる第２の画素群と、を選択して、それらの画素の値を格納部に格納することを特徴とする請求項１に記載の画像処理装置。
3. 前記格納手段は、前記一方の分割画像に対し、垂直方向および水平方向のうち前記一方向と異なる他方向で隣接する前記分割画像の画素の中から、前記他方の分割画像の画素に対する前記処理の際に参照される画素からなる第３の画素群と、当該第３の画素群の画素以外の画素であって、前記第１の画素群の画素に対する前記処理の際に参照される画素からなる第４の画素群と、を選択して、それらの画素の値を格納部にさらに格納することを特徴とする請求項２に記載の画像処理装置。
4. 前記分割画像には、当該分割画像に対する前記処理の際に参照される画素のうち、当該分割画像と前記他方向で隣接する前記分割画像の画素が付加されており、
   前記格納手段は、前記付加された画素の中から、前記第３の画素群と前記第４の画素群とを選択することを特徴とする請求項３に記載の画像処理装置。
5. 前記処理手段は、前記一方の分割画像の画素のうち、前記他方の分割画像の画素を参照せずに前記処理を行える画素として最初に走査されるラインを検出し、前記一方の分割画像に対する前記処理を、当該検出したラインの画素から行うことを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. １フレームの画像を複数に分割した画像である分割画像の画素を、当該画素の周囲の領域の画素の値を用いて処理する画像処理方法であって、
   前記周囲の領域の画素の値を格納部に格納する格納工程と、
   垂直方向および水平方向のうちの一方向で隣接する複数の分割画像に対する前記処理を、前記格納部に格納された画素の値を用いて並行して行う処理工程と、を有し、
   前記処理を行う際の前記画素の走査方向は、全ての前記分割画像で同じであり、
   前記格納工程は、前記一方向で隣接する２つの前記分割画像のうち、前記一方向における並び順が前記画素の走査方向で後になる一方の分割画像に対する前記処理を行う際に参照される画素の値として、他方の分割画像の画素の値を格納しないことを特徴とする画像処理方法。
7. 前記格納工程は、前記一方の分割画像の画素の中から、前記他方の分割画像の画素に対する前記処理の際に参照される画素からなる第１の画素群と、当該第１の画素群の画素以外の画素であって、当該第１の画素群の画素に対する前記処理の際に参照される画素からなる第２の画素群と、を選択して、それらの画素の値を格納部に格納することを特徴とする請求項６に記載の画像処理方法。
8. 前記格納工程は、前記一方の分割画像に対し、垂直方向および水平方向のうち前記一方向と異なる他方向で隣接する前記分割画像の画素の中から、前記他方の分割画像の画素に対する前記処理の際に参照される画素からなる第３の画素群と、当該第３の画素群の画素以外の画素であって、前記第１の画素群の画素に対する前記処理の際に参照される画素からなる第４の画素群と、を選択して、それらの画素の値を格納部にさらに格納することを特徴とする請求項７に記載の画像処理方法。
9. 前記分割画像には、当該分割画像に対する前記処理の際に参照される画素のうち、当該分割画像と前記他方向で隣接する前記分割画像の画素が付加されており、
   前記格納工程は、前記付加された画素の中から、前記第３の画素群と前記第４の画素群とを選択することを特徴とする請求項８に記載の画像処理方法。
10. 前記処理工程は、前記一方の分割画像の画素のうち、前記他方の分割画像の画素を参照せずに前記処理を行える画素として最初に走査されるラインを検出し、前記一方の分割画像に対する前記処理を、当該検出したラインの画素から行うことを特徴とする請求項６〜９の何れか１項に記載の画像処理方法。

Images