JP2010161677A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】画像処理装置及び画像処理方法おいて、画像データの処理速度を向上させた技術を提供することを第１の目的とする。また、画像処理装置及び画像処理方法おいて、少ないメモリー容量で複数回のフィルター処理を行うことができる技術を提供することを第２の目的とする。
【解決手段】画像処理装置であって、メモリーに格納された画素を、外側に位置する画素から内側に位置する画素へと順に処理対象画素を選択して、フィルター処理を行うことを特徴とする。
【選択図】図４

Description

本発明は、一画面を構成する画像データを複数の画像ブロックに分割し、分割した画像ブロック毎に複数回の画質調整を行う画像処理装置及び画像処理方法に関する。

従来、現行のＮＴＳＣテレビよりも高精細な映像を処理する技術として、入力された画像データを複数の画像ブロックに分割し、分割された画像ブロック毎に並列して所定の画質調整を行う技術が知られている（特許文献１及び特許文献２）。

特開平９−２７５５６４号公報 特開２０００−３１２３１１号公報

所定の画質調整がフィルター処理である場合、必要に応じて隣接する画像領域の画素データを取得する必要がある。特許文献２には、分割された画像データと隣接する画像データの一部の映像（画素）とを同一のフィールドメモリーに格納し、フィルター処理を行う技術が開示されている。しかしながら、分割された画像ブロックに対し、複数回のフィルター処理を行う場合、フィルター処理に必要な画像ブロックを格納する大容量のフィールドメモリーがフィルター処理毎に必要となる。そのため、複数回のフィルター処理を行う画像処理装置ではコストが高くなるといった問題が生じる。また、映像入力に対し映像出力がフィールドメモリーを設けた分だけ遅延するといった問題が生じる。これらの問題は、高精細な映像を処理する技術に限らず、入力された画像データを複数の画像ブロックに分割し、分割された画像ブロック毎に複数回の画質調整を行う技術に共通の問題であった。

従って、本発明の目的は、上記した課題を踏まえ、入力された画像データを複数の画像ブロックに分割し、画像ブロック毎に複数回の画質調整を行う画像処理装置において、画像データの処理速度を向上させた技術を提供することを第１の目的とする。また、少ないメモリー容量で複数回の画質調整を行うことができる技術を提供することを第２の目的とする。

本発明は、上記の課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することができる。

[適用例１] 画像処理装置であって、一画面を構成する入力画像データをＮ個（Ｎは２以上の整数）の画像ブロックに分割する画像分割部と、前記Ｎ個の画像ブロック毎に並列に画像処理を行うＮ個の画像処理部と、を備え、ｉ番目（ｉは１〜Ｎの整数）の画像処理部は、前記画像分割部で分割されたｉ番目の画像ブロック全体を格納する第１の画像ブロックメモリーと、前記画像ブロックの画素データに対し順次直列的に画質調整を行う、Ｋ個（Ｋは２以上の整数）の画質調整部と、前記Ｋ個の画質調整部の間にそれぞれ配置された、画質調整後の画像ブロックの少なくとも一部を格納する（Ｋ−１）個のバッファメモリーと、Ｋ番目の画質調整部の後段に配置された、画質調整後の画像ブロック全体を格納する第２の画像ブロックメモリーと、他の画像処理部から、隣接する画像ブロックの画素データを必要に応じて取得する画素データ取得部と、を有し、各画質調整部は、前記ｉ番目の画像ブロックの外側に位置する画素から内側に位置する画素へと順に処理対象画素を選択して画質調整を行い、２番目〜Ｋ番目の画質調整部の少なくとも１つがフィルター処理を行うフィルター処理部である、画像処理装置。
適用例１の画像処理装置によれば、ｋ番目（ｋは２〜Ｋの整数）の画質調整部がフィルター処理部であっても、（ｋ−１）番目のバッファメモリーに、分割された画像ブロック全ての画素データ（以下、「１ブロック分の画素データ」という。）が格納される前に、フィルター処理を行うに際し必要な隣接する画像ブロックの画素データを取得できる。このため、（ｋ−１）番目のバッファメモリーに１ブロック分の画素データが格納される前に、ｋ番目のフィルター処理部でフィルター処理を行うことができる。よって、順次走査により処理対象画素を選択してフィルター処理を行う場合に比べ、画像データの処理速度を向上させることができる。

例えば、縦５画素、横５画素のフィルター行列（以下、「５×５フィルター行列」という。）でフィルター処理を行う場合、（ｋ−１）番目のバッファメモリーに格納された１画素幅の枠状の画像領域の画素を「外周１ライン分の画素」と定義すると、外周３ライン分の画素データが（ｋ−１）番目のバッファメモリーに格納されれば、ｋ番目のフィルター処理を行うことができる。この詳細は後述する。なお順次走査とは、１ブロック分の画素データの左上隅の画素から走査を開始し、右方向に向かって走査し、右端の画素に達したら１ライン分だけ画面の下方向に移動すると共に画面左端に移動し、ふたたび右方向に向かって走査する、という手順を画面の右下隅の画素に達するまで繰り返すことをいう。

[適用例２] 適用例１に記載の画像処理装置であって、Ｋは３以上の整数であり、２番目〜Ｋ番目の画質調整部のうち、少なくとも２つがフィルター処理を行うフィルター処理部であり、前記フィルター処理部の前段に配置された各バッファメモリーのメモリー容量は、前記第１の画像ブロックメモリー及び前記第２の画像ブロックメモリーの各メモリー容量よりも小さい、画像処理装置。
適用例２の画像処理装置によれば、順次走査により処理対象画素を選択してフィルター処理を行う場合に比べ、さらに画像データの処理速度を向上させることができると共に、映像処理部で使用するメモリー容量の低減を図ることができる。また、２番目以降のフィルター処理部の個数は、２以上の整数であれば良いが、５以上の整数であることがより好ましく、１０以上の整数であることがさらに好ましい。２番目以降のフィルター処理の回数が多ければ多い程、順次走査により処理対象画素を選択してフィルター処理を行う場合に比べ、映像処理部での画像データの処理速度をより向上させることができると共に、映像処理部で使用するメモリー容量の低減をより図ることができるからである。

[適用例３] 適用例１又は適用例２に記載の画像処理装置であって、前記画質調整の対象となる処理対象画素の選択は、前記ｉ番目の画像ブロックの外側から内側に向かって、１画素幅の枠状画像領域を順次選択するとともに、選択された枠状画像領域を構成する４つの辺を予め定められた順番で走査して行う、画像処理装置。
適用例３の画像処理装置によれば、メモリーに格納された画素に対し、外側に位置する画素から内側に位置する画素へと順に処理対象画素を選択することができる。

[適用例４] 適用例１又は適用例２に記載の画像処理装置であって、前記画質調整の対象となる処理対象画素の選択は、螺旋状に画素を走査して行う、画像処理装置。
適用例４の画像処理装置によれば、螺旋状に画素を走査することで、走査に無駄を無くし走査時間を短縮できる。よって、画像データの処理速度をより向上させることができる。

また、適用例１乃至適用例４に記載の画質処理には、フィルター処理、γ調整、コントラスト調整、輝度調整等の各種画質処理を用いることができる。さらに、適用例１乃至適用例４に記載のフィルター処理には、平滑化フィルター、メディアンフィルター、エッジ抽出フィルター、鮮明化フィルター等の各種フィルターを用いることができる。

なお、本発明は、種々の形態で実現することが可能であり、例えば画像処理装置及び画像処理方法、それらの装置又は方法の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記憶媒体等の態様で実現することができる。

次に、本発明の実施の形態を以下の順序で説明する。
Ａ．第１実施例及び比較例：
Ｂ．第２実施例：
Ｃ．変形例：

Ａ．第１実施例及び比較例：
Ａ−１．第１実施例：
図１は、本発明の第１実施例としての映像信号処理装置１の構成を示す図である。ここでは、１画面が水平方向１９２０画素、垂直方向１０８０画素の高精細テレビジョンを例に挙げて説明を行う。映像信号処理装置１は、入力されたアナログ映像信号をＡ／Ｄ変換によりデジタル信号に変換する映像入力部１０と、デジタル化された画像データＤＩｎを複数の画像ブロックに分割する映像分割部２０と、分割された画像ブロックを並列に処理する４つの映像処理部３０，４０，５０，６０と、並列に処理された画像ブロックＤＯｕｔ１〜４を一画面の画像データに合成する映像合成部７０と、合成された画像データＤＯｕｔをＤ／Ａ変換により出力信号としてモニターに出力する映像出力部８０とを備える。また、４つの映像処理部３０〜６０間に示した白抜きの矢印は映像処理部３０〜６０間で必要な画素データを交換している様子を示している。また、ここでは、一画面の画像データＤＩｎを映像分割部２０で水平方向９６０画素、垂直方向５４０画素の４ブロックに分割し、分割された画像ブロックＤＩｎ１〜ＤＩｎ４を４つの映像処理部３０〜６０で並列して処理を行う態様を示している。４つの映像処理部３０〜６０は、処理対象とする画像ブロックの位置が異なるだけであり、その処理内容は同一である。以下では、主として第３映像処理部５０の構成と動作について説明する。

図２は、第３映像処理部５０の内部構成を示すブロック図である。第３映像処理部５０は、２つのブロックメモリー５０２，５１４と、３つのフィルター処理部５０４，５０８，５１２と、各フィルター処理部５０４，５０８，５１２の間に配置された２つのバッファメモリー５０６，５１０と、隣接する画像ブロックの画素を必要に応じて取得する画素データ交換部５２０とを有する。第１ブロックメモリー５０２は、分割された画像ブロックＤＩｎ３を格納する。第１フィルター処理部５０４は、第１ブロックメモリー５０２から第１のフィルター処理の対象となる画素（以下、「処理対象画素」又は「注目画素」と呼ぶ。）及び周辺画素を読み出し第１のフィルター処理を行う。第１バッファメモリー５０６は、第１フィルター処理部５０４で第１のフィルター処理が行われた画素データを格納する。第２フィルター処理部５０８は、第１バッファメモリー５０６から注目画素及び周辺画素を読み出し第２のフィルター処理を行う。第２バッファメモリー５１０は、第２フィルター処理部５０８で第２のフィルター処理が行われた画素データを格納する。第３フィルター処理部５１２は、第２バッファメモリー５１０から注目画素及び周辺画素を読み出し第３のフィルター処理を行う。第２ブロックメモリー５１４は、第３フィルター処理部５１２で第３のフィルター処理が行われた１ブロック分の画素データを格納する。なお、画素データ交換部５２０が、請求項に記載の画素データ取得部に相当する。

図３は、各フィルター処理部５０４，５０８，５１２でフィルター処理を行う際に、注目画素を選択する手順を示す図である。それぞれ９６０×５４０画素に分割された４つの画像ブロックＤＩｎ１〜ＤＩｎ４のうち、それぞれ外側に位置する画素から内側に位置する画素へと順に注目画素が選択される。第１実施例の場合、左上に位置する画素から番号を付した矢印の順（番号１，２，３…の順）に走査し、注目画素を選択している。以下では、このような画素の選択方法を「螺旋状走査」と呼ぶ。なお、番号１を付した矢印、番号２を付した矢印、番号３を付した矢印、番号４を付した矢印の順で番号１〜４まで走査すると、１画素幅の枠状の画像領域を構成する４つの辺を走査することになる。

図４は、第１実施例の第１ブロックメモリー５０２から第２フィルター処理部５０８までの処理内容を示す図である。第１ブロックメモリー５０２には、前段の映像分割部２０で分割された画像ブロックＤＩｎ３が格納される。１ブロック分の画素データが第１ブロックメモリー５０２に格納されると、第１フィルター処理部５０４が、螺旋状走査により画素を走査し、第１のフィルター処理を行う。

第１フィルター処理部５０４は、５×５フィルター行列（Ｆｉ１）を用いて第１のフィルター処理を行う。この場合、注目画素に対し第１のフィルター処理を行うには、注目画素を中心に縦５画素、横５画素の計２５画素分の画素データが必要となる。よって、隣接する画像ブロックの画素データが必要な場合は、画素データ交換部５２０（図２参照）を利用して必要となる画素群（以下、「隣接画素群」という。）を取得する。例えば、座標（９５９，０）の注目画素ｆ３（９５９，０）に対し第１のフィルター処理を行う場合、画素データ交換部５２０が、第１映像処理部３０の第１ブロックメモリー３０２、第２映像処理部４０の第１ブロックメモリー４０２、第４映像処理部６０の第１ブロックメモリー６０２にそれぞれ格納されている隣接画素群を取得する。その後に注目画素ｆ３（９５９，０）を中心とする５×５画素の画素データを用いて、注目画素ｆ３（９５９，０）に対して第１のフィルター処理が行われる。なお、図４中の第１，２フィルター処理部５０４，５０８に向かう矢印に記載の「ｆｅｘ」は隣接画素群を示している。

第１バッファメモリー５０６は、第１フィルター処理部５０４で第１のフィルター処理を行った画素データを格納する。第１バッファメモリー５０６に外周３ライン分の画素データが格納された時点で、第２フィルター処理部５０８が、螺旋状走査により画像ブロック内を再び走査し、第２のフィルター処理を開始する。ここで、外周３ライン分の画素データとは、３画素幅の枠状の画像領域を構成する画素データを指す。

第２フィルター処理部５０８は、５×５フィルター行列（Ｆｉ２）を用いて第２のフィルター処理を行う。この場合、必要に応じて画素データ交換部５２０から隣接画素群を取得する。第１実施例の場合、他の映像処理部３０，４０，６０の第１バッファメモリー３０６，４０６，６０６にも外周３ライン分の画素データが格納されているため、画素データ交換部５２０を利用して隣接画素群を取得することができる。例えば、注目画素ｆ３（９５９，０）に対し第２のフィルター処理を行う場合、画素データ交換部５２０を利用して、第１映像処理部３０の第１バッファメモリー３０６、第２映像処理部４０の第１バッファメモリー４０６、第４映像処理部６０の第１バッファメモリー６０６にそれぞれ格納されている隣接画素群が取得される。その後に注目画素を中心とする５×５画素の画素データにより、注目画素ｆ３（９５９，０）に対して第２のフィルター処理を行う。

図５は第１実施例の第２バッファメモリー５１０から映像出力部８０までの処理内容を示す図である。第２バッファメモリー５１０は、第２フィルター処理部５０８で第２のフィルター処理を行った画素データを格納する。第２バッファメモリー５１０に外周３ライン分の画素データが格納された時点で、第３フィルター処理部５１２が、螺旋状走査により画像ブロック内を再び走査し、第３のフィルター処理を開始する。

第３フィルター処理部５１２は、５×５フィルター行列（Ｆｉ３）を用いて第３のフィルター処理を行う。この場合、必要に応じて画素データ交換部５２０を利用して隣接画素群を取得することで第３のフィルター処理を行う。第１実施例の場合、他の映像処理部３０，４０，６０の第２バッファメモリー３１０，４１０，６１０にも外周３ライン分の画素データが格納されているため、画素データ交換部５２０を利用して隣接画素群を取得することができる。例えば、注目画素ｆ３（９５９，０）に対し第３のフィルター処理を行う場合、画素データ交換部５２０を利用して、他の映像処理部３０，４０，６０の第２バッファメモリー３１０，４１０，６１０にそれぞれ格納されている隣接画素群を取得する。その後に注目画素ｆ３（９５９，０）に対して第３のフィルター処理を行う。

第２ブロックメモリー５１４は、第３フィルター処理部５１２で第３のフィルター処理が行われた１ブロック分の画素データを格納する。１ブロック分の画素データが第２ブロックメモリー５１４に格納されると、順次走査により映像合成部７０によって画像ブロックＤｏｕｔ３の画素データが読み出される。

映像合成部７０は、一画面全体の順次走査に従って、４つの映像処理部３０〜６０から画像ブロックＤｏｕｔ１〜４を読み出して一画面の画像データに合成する。映像出力部８０は、合成された画像データＤＯｕｔをＤ／Ａ変換し出力信号として外部（モニター等）に出力する。

次に、図６〜図１０を用いて、第１バッファメモリー５０６に格納された画素データに対し第２のフィルター処理を行うタイミング及び第１バッファメモリー５０６のメモリー容量について説明を行う。ここでは、第１バッファメモリー５０６を用いて説明を行うが、第２バッファメモリー５１０に格納された画素データに対し、第３のフィルター処理を行う場合も同様である。

図６は、第１バッファメモリー５０６に格納された画素データのうち、外周１ライン目の画素データに対し、第２のフィルター処理を開始するタイミングとメモリー容量について説明するための図である。第１のフィルター処理後の画素データは、外側の画素から内側の画素へと順に第１バッファメモリー５０６に格納される。外周３ライン分の画素データが第１バッファメモリー５０６に格納されると、外周１ライン目の画素データに対し、座標（０，０）の画素データから時計回りに走査を開始し、第２のフィルター処理を行う。この場合、必要に応じて画素データ交換部５２０を利用して隣接画素群を取得し、第２のフィルター処理を行う。また、注目画素が一画面を構成する画像データの外周付近に位置し、２５画素分の画素データの一部が存在しない場合、存在しない画素データを隣接する座標の画素データと見做して２５画素分の画素データとする。例えば、座標（０，０）の左に位置する画素データ（網掛け部分の画素データ）は、座標（０，０）の画素データと同一値とする。さらに網掛け部分の画素データの左に位置する画素データも同様に、座標（０，０）の画素データと同一値とする。なお、図６において、第１バッファメモリー５０６に格納されている画素数は、９６０×５４０−９５４×５３４＝７０５６画素となる。

図７は、第１バッファメモリー５０６に格納された画素データのうち、外周２ライン目の画素データに対し、第２のフィルター処理を行うタイミングとメモリー容量について説明するための図である。外周４ライン目の画素データが第１バッファメモリー５０６に追加されると、第１バッファメモリー５０６に格納されている外周２ライン目の画素データに対し、座標（１，１）の画素データから時計回りに走査を開始し、第２のフィルター処理を行う。この場合、必要に応じ画素データ交換部５２０を利用して隣接画素群を取得し、第２のフィルター処理を行う。この時、第１バッファメモリー５０６に格納されている画素数は、９６０×５４０−９５２×５３２＝１１９３６画素となる。

図８は、第１バッファメモリー５０６に格納された画素データのうち、外周３ライン目の画素データに対し、第２のフィルター処理を行うタイミングとメモリー容量について説明するための図である。外周５ライン目の画素データが第１バッファメモリー５０６に追加されると、第１バッファメモリー５０６に格納されている外周３ライン目の画素データに対し、座標（２，２）の画素データから時計回りに走査を開始し、第２のフィルター処理を行う。この場合、第２のフィルター処理に際し、隣接画素群を取得する必要はなく、第１バッファメモリー５０６に格納されている外周５ライン分の画素データのみで、第２のフィルター処理を行うことができる。この時、第１バッファメモリー５０６に格納されている画素数は、９６０×５４０−９５０×５３０＝１４９００画素となる。

図９は、第１バッファメモリー５０６に格納された画素データのうち、外周４ライン目の画素データに対し、第２のフィルター処理を行うタイミングとメモリー容量について説明するための図である。外周３ライン目の最終走査画素である座標（２，３）の画素データに対し、第２のフィルター処理が行われると、第１バッファメモリー５０６から外周１ライン目の画素データが消去される。外周１ライン目の画素データの消去後、外周６ライン目の画素データが第１バッファメモリー５０６に追加される。その後、外周４ライン目の画素データに対し、座標（３，３）の画素データから時計回りに走査を開始し、第２のフィルター処理を行う。この時、第１バッファメモリー５０６に格納されている画素数は、９５８×５３８−９４８×５２８＝１４８６０画素となる。

図１０は、第１バッファメモリー５０６に格納された画素データのうち、外周５ライン目の画素データに対し、第２のフィルター処理を行うタイミングと第１バッファメモリー５０６のメモリー容量について説明するための図である。外周４ライン目の最終走査画素である座標（３，４）の画素データに対し、第２のフィルター処理が行われると、第１バッファメモリー５０６から外周２ライン目の画素データが消去される。外周２ライン目の画素データの消去後、外周７ライン目の画素データが第１バッファメモリー５０６に追加される。その後、外周５ライン目の画素データに対し、座標（４，４）の画素データから時計回りに走査を開始し、第２のフィルター処理を行う。この時、第１バッファメモリー５０６に格納されている画素数は、９５６×５３６−９４６×５２６＝１４８２０画素となる。

上記の手順を、画像ブロックＤＩｎ３の全ての画素に対して第２のフィルター処理を行うまで続ける。図６〜図１０から理解できるように、バッファメモリーに必要なメモリー容量は、１４９００画素であり、これは、１ブロック分の画素データの格納に必要なメモリー容量（９６０×５４０＝５１８４００画素）の約３％である。また、バッファメモリーに１ブロック分の画素データが格納される前に、後段のフィルター処理を開始することができる。

メモリー容量の低減の観点から上記第１実施例は、第１バッファメモリー５０６において、フィルター処理に不要となった画素データを消去し、必要となった画素データを追加する手順を採用したが、不要となった画素データを格納したまま必要となった画素データを追加しても良い。すなわち、各バッファメモリーが１ブロック分の画素データを格納できる容量を要していても良い。このようにしても、螺旋状走査を用いることでバッファメモリーに１ブロック分の画素データが格納される前に、後段のフィルター処理を開始することができるからである。

第１実施例の効果を一層明らかにする為に、注目画素を順次走査により選択する比較例を説明する。なお、以下に説明する比較例の構成は、第１実施例同様、３個の画質調整部を有し、いずれの画質調整部もフィルター処理部である。

Ａ−２．比較例：
図１１は、比較例における第３映像処理部５０ｂの内部構成を示すブロック図である。上記の第１実施例との違いは、各フィルター処理部が、各フィルター処理部の前段に配置されたメモリーから注目画素を順次走査により選択する点である。このため、上記の第１実施例（図２参照）との構成上の違いは、第１バッファメモリー５０６に代えて第２ブロックメモリー５５０を用い、第２バッファメモリー５１０に代えて第３ブロックメモリー５５２を用い、第３フィルター処理部５１２ｂの後段にブロックメモリーを設けていない点である。なお、映像入力部１０、映像分割部２０、映像合成部７０、映像出力部８０は、上記の第１実施例と同様の構成（図１参照）である。

図１２は、比較例の第１ブロックメモリー５０２ｂから第２フィルター処理部５０８ｂまでの処理内容を示す図である。ここでは、第３映像処理部５０ｂの処理内容を例に挙げて説明を行うが、他の映像処理部３０ｂ，４０ｂ，６０ｂにおいても同様の処理が行われる。まず、第１ブロックメモリー５０２ｂでは、前段の映像分割部２０で４ブロックに分割された水平方向９６０画素、垂直方向５４０画素で構成される画像ブロックＤＩｎ３を格納する。

第１フィルター処理部５０４ｂは、順次走査により注目画素を選択して、５×５フィルター行列（Ｆｉ１）を用いて第１のフィルター処理を行う。この場合、必要に応じて画素データ交換部５２０ｂを利用して隣接画素群を取得する。これは、他のフィルター処理部も同様である。

第２ブロックメモリー５５０に１ブロック分の画素データ、すなわち水平方向９６０画素、垂直方向５４０画素の計５１８４００画素分のデータが格納されると、第２フィルター処理部５０８ｂが順次走査により注目画素を選択し、第２のフィルター処理を行う。なお、第１実施例とは異なり第２ブロックメモリー５５０に１ブロック分の画素データを格納する理由については後述する。第２フィルター処理部５０８ｂは、５×５フィルター行列（Ｆｉ２）を用いて第２のフィルター処理を行って、その結果を第３ブロックメモリー５５２に格納する。

図１３は、比較例の第３ブロックメモリー５５２から映像出力部８０までの処理内容を示す図である。第３ブロックメモリー５５２に１ブロック分の画素データが格納されると、第３フィルター処理部５１２ｂが順次走査により注目画素を選択し、５×５フィルター行列（Ｆｉ３）を用いて第３のフィルター処理を行う。

映像合成部７０では、一画面全体の順次走査に従って、４つの映像処理部３０ｂ〜６０ｂから送り出された画像ブロックＤＯｕｔ１〜４を読み出して一画面の画像データに合成する。また、映像出力部８０では、合成された画像データＤＯｕｔをＤ／Ａ変換し出力信号として外部（モニター等）に出力する。

図１４は、第２ブロックメモリー５５０及び第３ブロックメモリー５５２に１ブロック分の画素データを格納する理由を説明するための図である。ここでは、第２ブロックメモリー５５０を例に挙げて説明を行うが、第３ブロックメモリー５５２についても同様である。各映像処理部３０ｂ，４０ｂ，５０ｂ，６０ｂの第２ブロックメモリー３５０，４５０，５５０，６５０には前段に配置された第１フィルター処理部で順次走査により第１のフィルター処理が行われた画素データが格納される。ここで、第２ブロックメモリー５５０の１ライン目の画素データである座標（９５９，０）の画素データに対し第２のフィルター処理を行う場合、図１４に示す斜線領域の２５画素分の画素データが必要となる。隣接画素群ｆｅｘを取得するためには、座標（９５９，０）の画素データに対して第２のフィルター処理を行う時点で、第１映像処理部３０ｂの第２ブロックメモリー３５０及び第２映像処理部４０ｂの第２ブロックメモリー４５０に斜線領域の画素データが格納されている必要がある。したがって、第１映像処理部３０ｂの第２ブロックメモリー３５０及び第２映像処理部４０ｂの第２ブロックメモリー４５０に１ブロック分の画素データが格納されている必要がある。以上のことから、順次走査により注目画素を選択してフィルター処理を行う場合は、１ブロック分の画素データをブロックメモリーに格納する必要がある。

Ａ−３．第１実施例の効果：
比較例では、ブロックメモリーに１ブロック分の画素データが格納されなければ、ブロックメモリーの後段に配置されたフィルター処理部でフィルター処理を開始することができない。よって、各フィルター処理部は、その前段のフィルター処理部による処理が完了するまで処理を待機するので、それによる遅延が生じる。これに対し、実施例では、各フィルター処理部の前段に配置された各バッファメモリーに外周３ライン分の画素データが格納されれば、各バッファメモリーの後段に配置されたフィルター処理部でフィルター処理を開始することができる。よって、第１実施例は比較例よりも高速に画像データを処理することができ、よりリアルタイムに入力映像を外部へ出力映像として出力することができる。

このことから、映像処理部でのフィルター処理の回数が多ければ多い程、比較例で採用した順次走査の処理速度と、第１実施例で採用した螺旋状走査の処理速度に差が生じ、螺旋状走査による処理速度の効果が顕著となる。

比較例の第３映像処理部５０ｂでは、第１ブロックメモリー５０２ｂ、第２ブロックメモリー５５０、第３ブロックメモリー５５２にそれぞれ、５１８４００画素分（縦５４０画素×横９６０画素）の画素データを格納できるメモリーが必要である。したがって、比較例の映像処理部では、５１８４００×３（ブロックメモリーの個数）×４（映像処理部の個数）＝８２９４４００画素分のメモリー容量が必要となる。これに対し、第１実施例の第３映像処理部５０は、第１ブロックメモリー５０２及び第２ブロックメモリー５１４がそれぞれ５１８４００画素分（縦５４０画素×横９６０画素）、第１バッファメモリー５０６及び第２バッファメモリー５１０がそれぞれ１４９００画素分を格納できるメモリー容量で良い。よって、第１実施例の映像処理部では、（５１８４００×２＋１４９００×２）×４（映像処理部の個数）＝４２６６４００画素分のメモリー容量で済ませることができる。

以上のように、螺旋状走査を行う第１実施例の映像処理部は、順次走査を行う比較例の映像処理部に比べ、８２９４４００−４２６６４００＝４０２８０００画素分のメモリー容量を低減することができる。よって、一画面を構成する画像データの画素数が多ければ多い程、順次走査よりも螺旋状走査の方が、映像処理部のメモリー容量をより低減できる。

また、各映像処理部において、２番目以降の画質調整部に配置されたフィルター処理部の個数が多ければ多い程、順次走査よりも、螺旋状走査の方が映像処理部のメモリー容量をより低減できる。よって、メモリー容量を低減する観点からは、各映像処理部における２番目以降の画質調整部に２個以上のフィルター処理部が配置されていれば良く、好ましくは５個以上配置されていることがより好ましく、１０個以上配置されていることがさらに好ましい。２番目以降の画質調整部のフィルター処理部の個数を２個以上としたのは、１個の場合、順次走査では各映像処理部に１ブロック分の画素データを格納するブロックメモリーを２個配置すれば良い。これに対し、螺旋状走査では各映像処理部に１ブロック分の画素データを格納するブロックメモリーを２個と、外周数ライン分（５×５フィルター処理の場合は、外周３ライン分）の画素データを格納するバッファメモリー１個を配置する必要があり、螺旋状走査の方が順次走査よりもメモリー容量を必要とするからである。

Ｂ．第２実施例：
図１５は、第２実施例の第３映像処理部５０ａの内部構成を示すブロック図である。第１実施例との違いは、画質調整部が３個であったのに対し２個となった点と、１番目の画質調整部がガンマ補正を行うガンマ補正部５０４ａになった点である。なお、映像入力部１０、映像分割部２０、映像合成部７０、映像出力部８０は、第１実施例と同様の構成（図１参照）である。さらに、注目画素の選択方法も第１実施例同様、螺旋状走査で行う。

図１６は、第２実施例の第１ブロックメモリー５０２ａから第２ブロックメモリー５１４ａまでの処理内容を示す図である。第１ブロックメモリー５０２には、前段の映像分割部から分割された画像ブロックＤＩｎ３が格納される。１ブロック分の画素データが第１ブロックメモリー５０２ａに格納されると、ガンマ補正部５０４ａは螺旋状走査により画像ブロック内を走査して第１ブロックメモリー５０２ａからガンマ補正の処理対象画素を選択し、ガンマ補正を行う。この場合、ガンマ補正は、１画素単位で処理を行うため隣接画素群を取得する必要はない。

バッファメモリー５０６ａは、ガンマ補正部５０４ａでガンマ補正を行った画素データを格納する。第１実施例同様、バッファメモリー５０６ａに外周３ライン分の画素データが格納された時点で、フィルター処理部５０８ａが、螺旋状走査により画像ブロック内を走査し、５×５フィルター行例（Ｆｉ１）を用いてフィルター処理を行う。第２ブロックメモリー５１４ａは、フィルター処理部５０８ａでフィルター処理が行われた画素データを格納する。１ブロック分の画素データが第２ブロックメモリー５１４ａに格納されると、順次走査により後段の映像合成部によって画像ブロックＤｏｕｔ３が読み出される。以上のように、バッファメモリー５０６ａに１ブロック分の画素データが格納される前に、後段のフィルター処理を開始することができる。

このように、第２実施例では、フィルター処理部５０８ａの前段に配置されたバッファメモリー５０６ａに外周３ライン分の画素データが格納されれば、後段のフィルター処理部５０８ａでフィルター処理を開始することができる。よって、順次走査により注目画素を選択するよりも、螺旋状走査により注目画素を選択する方が、より高速に画像データを処理することができる。このことから、映像処理部において２番目以降に配置されたフィルター処理部の個数が多ければ多い程、順次走査の処理速度と、第２実施例で採用した螺旋状走査の処理速度に差が生じる。各映像処理部において、２番目以降の画質調整部に１個以上のフィルター処理部が配置されていれば良いが、２個以上配置されていることがより好ましい。２個以上配置されていれば、処理速度の向上に加えて、第１実施例で記載したようにメモリー容量の低減も図ることができるからである。

Ｃ．変形例：
なお、この発明は上記の実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｃ−１．第１変形例：
図１７は、第１変形例の注目画素の選択手順を示した図である。ここでは、斜線を付した外周１ライン目の注目画素の選択手順を例に挙げて説明する。まず、上に位置する水平ラインの画素（図１７で示す番号「１」を付した矢印の位置に配置された画素）を走査し、次に下に位置する水平ラインの画素（図１７で示す番号「２」を付した矢印の位置に配置された画素）を走査する。次いで、左に位置する垂直ラインの画素（図１７で示す番号「３」を付した矢印の位置に配置された画素）を走査し、最後に右に位置する垂直ラインの画素（図１７で示す番号「４」を付した矢印の位置に配置された画素）を走査する。上記走査手順を、図１７で示す番号順（番号１，２，３，４，５…）に行い、メモリーに格納された画素全てについて選択するまで走査を行う。また、メモリーに格納された画素に対し、外側に位置する画素から内側に位置する画素へと順に読み出す走査方法であれば、他の方法も採用可能である。

Ｃ−２．第２変形例：
図１８は、第２変形例の第２のフィルター処理を行うタイミングを説明するための図である。図１８に示すように外周３ライン目の左上の画素ｆ３（２，２）が第１バッファメモリー５０６に格納されると、外周１ライン目の左上の画素ｆ３（０，０）に対し５×５フィルター行例でフィルター処理を行うことができる。よって、外周３ライン目の左上の画素ｆ３（２，２）が第１バッファメモリー５０６に格納された時点で、外周１ライン目の画素に対し、画素ｆ３（０，０）から時計回りに走査を開始し、第２のフィルター処理を行っても良い。これにより、画像データの処理速度をより向上させることができる。なお、この場合、画素ｆ３（１，０）に対しフィルター処理を行うまでに、画素ｆ３（３，２）が第１バッファメモリー５０６に追加されている必要がある。

Ｃ−３．第３変形例：
図１９は、第３変形例としての画像データの分割方法について説明するための図である。上記実施例では、格子状に一画面を構成する画像データを分割したが、図１９（ａ）のように縦方向に分割することもできるし、図１９（ｂ）のように横方向に分割することもできる。

Ｃ−４．第４変形例：
上記実施例では、映像分割部２０で、１画面を構成する画像データを４ブロックに分割したが、分割数は４つに限らず２以上の任意の数に設定することができる。この場合、分割した画像ブロック数だけの映像処理部を映像分割部の後段に設け、並列して画質調整を行う。

Ｃ−５．第５変形例：
上記実施例では、１画面が水平方向１９２０画素、垂直方向１０８０画素の高精細テレビジョンを例に挙げて説明を行ったが、１画面の画素数はこれに限定されるものではない。また、ＣＣＤ撮像素子等の撮像素子から入力された映像信号を複数のブロックに分割し、フィルター処理を行い出力信号としてモニター等の外部に出力する各種機器に使用することができる。例えば、ビデオカメラ、デジタルカメラ、テレビ電話等に用いることができる。特に、本発明の画像処理装置及び画像処理方法では、順次走査により画素を選択しフィルター処理を行う場合に比べ、画像データの処理を高速に行うことができるため、リアルタイム性が要求されるテレビ電話などの双方向の動画像通信に用いることが好適である。

Ｃ−６．第６変形例：
上記実施例では、５×５フィルター行列を用いてフィルター処理を行ったが、３×３フィルター行列等の任意のサイズのフィルター行列を用いてフィルター処理を行うことができる。

本発明の第１実施例としての映像信号処理装置１の構成を示す図である。 第３映像処理部５０の内部構成を示すブロック図である。 各フィルター処理部５０４，５０８，５１２でフィルター処理を行う際に、注目画素を選択する手順を示す図である。 第１実施例の第１ブロックメモリー５０２から第２フィルター処理部５０８までの処理内容を示す図である。 第１実施例の第２バッファメモリー５１０から映像出力部８０までの処理内容を示す図である。 第１バッファメモリー５０６に格納された画素データのうち外周１ライン目の画素データに対し第２のフィルター処理を開始するタイミングとメモリー容量について説明するための図である。 第１バッファメモリー５０６に格納された画素データのうち外周２ライン目の画素データに対し第２のフィルター処理を行うタイミングとメモリー容量について説明するための図である。 第１バッファメモリー５０６に格納された画素データのうち外周３ライン目の画素データに対し第２のフィルター処理を行うタイミングとメモリー容量について説明するための図である。 第１バッファメモリー５０６に格納された画素データのうち外周４ライン目の画素データに対し第２のフィルター処理を行うタイミングとメモリー容量について説明するための図である。 第１バッファメモリー５０６に格納された画素データのうち外周５ライン目の画素データに対し第２のフィルター処理を行うタイミングとメモリー容量について説明するための図である。 比較例における第３映像処理部５０ａの内部構成を示すブロック図である。 比較例の第１ブロックメモリー５０２ｂから第２フィルター処理部５０８ｂまでの処理内容を示す図である。 比較例の第３ブロックメモリー５５２から映像出力部８０までの処理内容を示す図である。 比較例の第２ブロックメモリー５５０及び第３ブロックメモリーに１ブロック分の画素データを格納する理由を説明するための図である。 第２実施例の第３映像処理部５０ａの内部構成を示すブロック図である。 第２実施例の第１ブロックメモリー５０２ａから第２ブロックメモリー５１４ａまでの処理内容を示す図である。 第１変形例の注目画素の選択手順を示した図である。 第２変形例の第２のフィルター処理を行うタイミングを説明するための図である。 第３変形例としての画像データの分割方法について説明するための図である。

１…映像信号処理装置
１０…映像入力部
２０…映像分割部
３０…第１映像処理部
３０ａ…第１映像処理部
３０ｂ…第１映像処理部
４０…第２映像処理部
４０ａ…第２映像処理部
４０ｂ…第２映像処理部
５０…第３映像処理部
５０ａ…第３映像処理部
５０ｂ…第３映像処理部
６０…第４映像処理部
６０ａ…第４映像処理部
６０ｂ…第４映像処理部
７０…映像合成部
８０…映像出力部
３０２…第１ブロックメモリー
３０２ｂ…第１ブロックメモリー
３０６…第１バッファメモリー
３０６ａ…バッファメモリー
３１０…第２バッファメモリー
３５０…第２ブロックメモリー
３５２…第３ブロックメモリー
４０２…第１ブロックメモリー
４０２ｂ…第１ブロックメモリー
４０６…第１バッファメモリー
４０６ａ…バッファメモリー
４１０…第２バッファメモリー
４５０…第２ブロックメモリー
４５２…第３ブロックメモリー
５０２…第１ブロックメモリー
５０２ａ…第１ブロックメモリー
５０２ｂ…第１ブロックメモリー
５０４…第１フィルター処理部
５０４ａ…ガンマ補正部
５０４ｂ…第１フィルター処理部
５０６…第１バッファメモリー
５０６ａ…バッファメモリー
５０８…第２フィルター処理部
５０８ａ…フィルター処理部
５０８ｂ…第２フィルター処理部
５１０…第２バッファメモリー
５１２…第３フィルター処理部
５１２ａ…第３フィルター処理部
５１２ｂ…第３フィルター処理部
５１４…第２ブロックメモリー
５１４ａ…第２ブロックメモリー
５２０…画素データ交換部
５２０ａ…画素データ交換部
５２０ｂ…画素データ交換部
５５０…第２ブロックメモリー
５５２…第３ブロックメモリー
６０２…第１ブロックメモリー
６０２ｂ…第１ブロックメモリー
６０６…第１バッファメモリー
６０６ａ…バッファメモリー
６１０…第２バッファメモリー
６５０…第２ブロックメモリー
６５２…第３ブロックメモリー
ＤＯｕｔ１，２，３，４…画像ブロック
ＤＯｕｔ…画像データ
ＤＩｎ１，２，３，４…画像ブロック
ＤＩｎ…画像データ
ｆｅｘ…隣接画素群

Claims (5)

1. 画像処理装置であって、
   一画面を構成する入力画像データをＮ個（Ｎは２以上の整数）の画像ブロックに分割する画像分割部と、
   前記Ｎ個の画像ブロック毎に並列に画像処理を行うＮ個の画像処理部と、
   を備え、
   ｉ番目（ｉは１〜Ｎの整数）の画像処理部は、
   前記画像分割部で分割されたｉ番目の画像ブロック全体を格納する第１の画像ブロックメモリーと、
   前記画像ブロックの画素データに対し順次直列的に画質調整を行う、Ｋ個（Ｋは２以上の整数）の画質調整部と、
   前記Ｋ個の画質調整部の間にそれぞれ配置された、画質調整後の画像ブロックの少なくとも一部を格納する（Ｋ−１）個のバッファメモリーと、
   Ｋ番目の画質調整部の後段に配置された、画質調整後の画像ブロック全体を格納する第２の画像ブロックメモリーと、
   他の画像処理部から、隣接する画像ブロックの画素データを必要に応じて取得する画素データ取得部と、を有し、
   各画質調整部は、前記ｉ番目の画像ブロックの外側に位置する画素から内側に位置する画素へと順に処理対象画素を選択して画質調整を行い、
   ２番目〜Ｋ番目の画質調整部の少なくとも１つがフィルター処理を行うフィルター処理部である、
   画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   Ｋは３以上の整数であり、
   ２番目〜Ｋ番目の画質調整部のうち、少なくとも２つがフィルター処理を行うフィルター処理部であり、
   前記フィルター処理部の前段に配置された各バッファメモリーのメモリー容量は、前記第１の画像ブロックメモリー及び前記第２の画像ブロックメモリーの各メモリー容量よりも小さい、画像処理装置。
3. 請求項１又は請求項２に記載の画像処理装置であって、
   前記画質調整の対象となる処理対象画素の選択は、前記ｉ番目の画像ブロックの外側から内側に向かって、１画素幅の枠状画像領域を順次選択するとともに、選択された枠状画像領域を構成する４つの辺を予め定められた順番で走査して行う、画像処理装置。
4. 請求項１又は請求項２に記載の画像処理装置であって、
   前記画質調整の対象となる処理対象画素の選択は、螺旋状に画素を走査して行う、画像処理装置。
5. 画像処理方法であって、
   一画面を構成する入力画像データをＮ個（Ｎは２以上の整数）の画像ブロックに分割する画像分割工程と、
   前記Ｎ個の画像ブロック毎に並列に画像処理を行うＮ個の画像処理工程と、を備え、
   ｉ番目（ｉは１〜Ｎの整数）の画像処理工程は、
   前記画像ブロックの画素データに対し順次直列的に画質調整を行う、Ｋ個（Ｋは２以上の整数）の画質調整工程と、を有し、
   各画質調整工程は、前記画像ブロックの外側に位置する画素から内側に位置する画素へと順に処理対象画素を選択して画質調整を行い、
   ２番目〜Ｋ番目の画質調整工程の少なくとも１つが、フィルター処理を行うフィルター処理工程である、
   画像処理方法。

Images