JP2012252482A - 画像処理装置、画像処理方法及び集積回路 - Google Patents

Abstract

【課題】複数の画像について、粗いマッチングの処理及び詳細なマッチング処理を行う場合に並列に処理できる効率の良い画像処理装置を提供する。
【解決手段】画像処理装置は、ｐ（ｐは２以上の整数）個のブロック画像と照合するための、複数の簡易パターンと、簡易パターン毎に対応付けられた複数の照合パターンとを記憶し、互いに異なる一のブロック画像が割り当てられ、全ての簡易データと、割り当てられたブロック画像とを用いた第１相関演算を行うｐ個の第１演算部と、前記ブロック画像全てについて、当該ブロック画像との前記第１相関演算により相関関係が最も高い簡易パターンに対応する照合パターンを順次読み出して、第２相関演算を行う第２演算部とを備え、各々の簡易パターンについて、前記第１演算部それぞれは、同一のタイミングで取得する。
【選択図】図１

Description

本発明は、画像処理において、入力画像と参照画像とのマッチング処理に関するものである。

従来、低解像度画像を入力画像として解像度を向上させる技術として、入力画像とデータベース化した画像のパターンマッチング処理を行う技術がある。例えば、非特許文献１では、低解像度の入力画像をＮ×Ｍピクセルのブロック単位（Ｎ，Ｍ共に整数）に分割し、分割された画像が、予め用意された低解像度画像テンプレートと高解像画像テンプレートがセットになったデータベースを用いてどの低解像度テンプレートに一番近いかという処理を実施する。そして、一番近いとされた低解像度テンプレートに対応する高解像度テンプレートを特定し、特定した高解像度テンプレートを用いて解像度を上げる。

また、パターンマッチング処理として、粗いマッチング用テンプレートと詳細マッチング用テンプレートの２つを用意しておき、粗いマッチングの処理を行った結果を用いて、詳細なマッチング処理を行うものがある（特許文献１参照）。

特開２０００−５７３４８号公報

ところで、低解像度画像を入力画像として解像度を向上させる画像処理では、上述したように１つの画像について複数個に分割して処理を行っている。ところが、特許文献１で開示されている技術では、１つの画像についてのパターンマッチング処理を行うものであり、複数の画像を同時に実行するものではないので、分割した画像について逐次処理を行うことになり、並列に処理できるものではない。

そこで、本発明は、上記問題に鑑みて、複数の画像について、粗いマッチングの処理及び詳細なマッチング処理を行う場合に並列に処理できる効率の良い画像処理装置、方法及び集積回路を提供することを目的とする。

上記目的を達成するために、本発明は、一の画像を分割して得られるｐ（ｐは２以上の整数）個のブロック画像それぞれを処理する画像処理装置であって、前記各ブロック画像と照合するための複数の照合パターンを記憶する照合パターン記憶手段と、前記複数の照合パターンについて、当該照合パターンよりもデータ量が少ない簡易パターンを当該照合パターンと対応付けて記憶する簡易パターン記憶手段と、互いに異なるブロック画像が割り当てられ、前記簡易パターン記憶手段で記憶されている全ての簡易データと、割り当てられたブロック画像とを用いて第１相関演算を行うｑ個（ｑは２以上ｐ以下の整数）の第１処理手段と、前記第１処理手段で処理がなされたブロック画像全てについて、当該ブロック画像との前記第１相関演算により相関関係が最も高い簡易パターンに対応する照合パターンを順次読み出して、第２相関演算を行う第２処理手段とを備え、前記簡易パターン記憶手段から順次出力される各々の簡易パターンについて、前記第１処理手段それぞれは、同一のタイミングで取得して、割り当てられたブロック画像との第１相関演算を行うことを特徴とする。

上記の構成によると、画像処理装置は、ｑ個の第１処理手段は、各々の簡易パターンを同一のタイミングで取得して処理を行うので、簡易パターンが取得される際には各第１処理手段の簡易パターン記憶手段に対するアクセスの調停が不要となり、効率よく処理を行うことができる。

画像処理装置１の構成を示すブロック図である。 Ｎ×Ｎピクセルのブロック画像が画像格納部２２ａに格納される一例を示す。 Ｎ×Ｎビットの粗データがデータベース１１に格納される一例を示す。 演算部３１ａの構成を示すブロック図である。 Ｎ×Ｎビットのデータについて、左右反転、上下反転、９０度回転、画素値反転された結果の一例を示す図である。 Ｎ×Ｎ×Ｌビットの照合データがデータベース１２に格納される一例を示す。 演算部１５の構成を示すブロック図である。 画像処理装置１の処理概要を示す流れ図である。 粗マッチング処理の動作を示す流れ図である。 詳細マッチング処理の動作を示す流れ図である。 画像処理装置１０００の構成を示すブロック図である。 演算部１０３１ａの構成を示すブロック図である。 画像サイズがＮ×Ｎであるブロック画像及び照合画像を説明する図である。 演算部１０１５の構成を示すブロック図である。 粗マッチング処理の動作を示す流れ図である。

１．実施の形態１
以下、本発明の実施の形態１について、図面を参照しながら説明する。
１．１ 構成
本発明の実施の形態１における画像処理装置１は、入力された画像を複数のブロック画像に分割し、各ブロック画像について、精度の低いマッチング処理を施して、処理結果に応じて精度の高いマッチング処理を施すことで低解像度の入力画像と一致するサンプル画像を特定するものである。入力画像と一致するサンプル画像（低解像度のもの）を特定することで、特定したサンプル画像に対応する高解像度の画像が得られる。

画像処理装置１は、図１に示すように、データベース１１、１２、分割処理部１３、並列処理部１４及び演算部１５から構成されている。
（１）分割処理部１３
分割処理部１３は、入力画像を複数のブロック画像に分割するものであり、図１に示すように、フィルタ２１及び画像格納部２２ａ〜２２ｊを有している。

フィルタ２１は、画像サイズがＰ×Ｎ×Ｎピクセルである入力画像に対して周波数変換を行い、そして画像サイズがＮ×Ｎピクセルからなるブロック画像に分割する。なお、Ｐは２以上の整数（ここでは、Ｐ＝１０とする。）であり、Ｎは自然数である。また、１ピクセルはＬビットから構成されているものとする。
フィルタ２１は、分割した１０個のブロック画像それぞれ、互いに異なる画像格納部へ格納する。

画像格納部２２ａ〜２２ｊそれぞれは、互いに異なるブロック画像を格納するための領域である。図２は、Ｎ×Ｎピクセルのブロック画像が格納される一例を示すものである。
（２）データベース１１
データベース１１は、精度の低いマッチング処理（粗マッチング処理）が行われる際に用いられるＭ個の粗データ（簡易パターン）を記憶している。ここで、Ｍは２以上の整数である。

図３に、Ｍ個の粗データが、データベース１１に格納される一例を示す。粗データは、Ｎ×Ｎビットのビット長からなるデータであり、各粗データには、一意に識別するためのＩＤが割り当てられている。
（３）並列処理部１４
並列処理部１４は、各ブロック画像について、粗データを用いた粗マッチング処理を行うものであり、図１に示すように、Ｐ個（ここでは、１０個）の演算部３１ａ〜３１ｊと、Ｐ個（ここでは、１０個）の結果格納部３２ａ〜３２ｊを有している。

（３−１）演算部３１ａ〜３１ｊ
演算部３１ａ〜３１ｊそれぞれは、粗データを用いた相関演算を行うプロセッサである。演算部３１ａ〜３１ｊそれぞれは、同じ構成要素であるので、ここでは、演算部３１ａについて説明する。
演算部３１ａは、図４に示すように、位置変換部１０１、相関演算部１０２及びアクセス制御部１０３を有している。

位置変換部１０１は、画像格納部２２ａからブロック画像を読み込むと、読み込んだブロック画像に対してビットの格納位置を変える処理を行う。具体的には、位置変換部１０１は、読み込んだＮ×Ｎピクセルのブロック画像について、各ピクセルの先頭ビットを抽出し、抽出した各ビットを結合して、Ｎ×Ｎビットのデータを生成する。位置変換部１０１は、生成したＮ×Ｎビットのデータについて、例えば、図５に示すように、左右反転、上下反転、９０度回転、画素値反転を実施する。本例では、１つのデータから１６パターンのデータが生成される。なお、図７に示す位置変換は、一例であり、任意の回転処理にて作成したアフィン変換等の処理を有したものであってもよい。

アクセス制御部１０３は、粗データを読み出すための制御信号をデータバス１６を介してデータベース１１へ出力する。ここで、制御信号には、アクセスの許可を求める情報と、読み出す粗データのアドレスとが含まれる。そして、データベース１１でアクセスが許可されると、データベース１１からアクセス対象の粗データがデータバス１６に出力され、アクセス制御部１０３は、データバス１６に出力された粗データを取得する。このとき、制御信号は演算部３１ａのアクセス制御部１０３のみとする。他の演算部３１ｂ〜３１ｊのアクセス制御部は、制御信号を出すことなく、データベース１１からデータバス１６に出力された粗データを読み込む。これにより、演算部３１ａ〜３１ｊそれぞれは、同一のタイミングで、同一の粗データを、データバス１６を介してデータベース１１から順次読み出すことができる。

相関演算部１０２は、アクセス制御部１０３で読み出された粗データを用いて、位置変換部１０１で位置変換されたブロック画像それぞれについて、粗マッチング処理として相関演算を行う。全ての粗データとの相関処理が行われると、相関演算部１０２は、相関演算の結果において、相関関係が最も高い、粗データの識別子と位置変換されたパターンに応じて位置変換されたブロック画像との組を結果格納部３２ａへ格納する。ここで、相関演算部１０２が用いる相関演算は、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ：絶対誤差合計）演算法である。このＳＡＤ演算法は、既知の技術であるので、ここでの説明は省略する。

（３−２）結果格納部３２ａ〜３２ｊ
結果格納部３２ａ〜３２ｊそれぞれは、対応する演算部から出力された相関演算の結果を格納するための領域である。
（４）データベース１２
データベース１２は、精度の高いマッチング処理（詳細マッチング処理）が行われる際に用いられるＱ個の照合データ（照合パターン）を記憶している。ここで、Ｑは粗データの個数であるＭ以上の整数である。

図６に、Ｑ個の照合データが、データベース１２に格納される一例を示す。照合データは、Ｎ×Ｎ×Ｌビットのビット長からなる、つまりＮ×Ｎピクセルからなるデータである。粗データと照合データとは、照合データを構成するＮ×Ｎ個のピクセルそれぞれの先頭ビットからなるデータと粗データとが一致する関係を有している。各照合データには、当該関係を有する粗データのＩＤが割り当てられている。これにより、１つの粗データに対して１つ以上の照合データが対応付けられることとなる。

（５）演算部１５
演算部１５は、各ブロック画像について、照合データを用いた詳細マッチング処理を行うものであり、図７に示すように、相関演算部２０１、及びアクセス制御部２０２を有している。
（５−１）相関演算部２０１
相関演算部２０１は、結果格納部３２ａ〜３２ｊそれぞれについて、当該結果格納部に格納されている結果（粗データの識別子と、位置変換されたパターンに応じて位置変換されたブロック画像）を、逐次読み出す。相関演算部２０１は、読み出した粗データの識別子に対応する１つ以上の照合データを、アクセス制御部２０２を介してデータベース１２から取得する。

相関演算部２０１は、取得した１つ以上の照合データを用いて、結果格納部から読み出したブロック画像について相関演算を行う。相関演算部２０１は、演算結果のうち最も高い相関関係となる照合データを結果として出力する。
（５−２）アクセス制御部２０２
アクセス制御部２０２は、相関演算部２０１が取得した粗データの識別子に対応する１つ以上の照合データをデータベース１２から読み出す。

１．２ 動作
ここでは、画像処理装置１の動作について説明する。
（１）処理概要
ここでは、画像処理装置１の処理概要について、図８に示す流れ図を用いて説明する。
画像処理装置１のフィルタ２１は、画像サイズが１０×Ｎ×Ｎである入力画像について周波数変換を施し、１０個のブロック画像に分割し、各ブロック画像を互いに異なる画像格納部へ格納する（ステップＳ５）。

並列処理部１４は、各ブロック画像について、粗データを用いた粗マッチング処理を行う（ステップＳ１０）。
演算部１５は、粗マッチング処理の結果を用いて、各ブロック画像について詳細マッチング処理を行う（ステップＳ１５）。
（２）粗マッチング処理について
ここでは、図８に示すステップＳ１０で行われる粗マッチング処理の詳細について、図９に示す流れ図を用いて説明する。

並列処理部１４は、カウンタｐの値を１に設定する（ステップＳ５０）。
並列処理部１４は、カウンタｐの値がＭより大きいか否かを判断する（ステップＳ５５）。
大きくないと判断する場合（ステップＳ５５における「Ｎｏ」）、演算部３１ａ〜３１ｊそれぞれのアクセス制御部は、同一のタイミングで、識別子がＩＤｐの粗データを読み出す（ステップＳ６０）。

演算部３１ａ〜３１ｊそれぞれの相関演算部は、読み出した粗データを用いて、処理対象のブロック画像について相関演算を施す（ステップＳ６５）。
並列処理部１４は、カウンタｐの値に１を加算し（ステップＳ７０）、処理はステップＳ５５へ戻る。
カウンタｐの値がＭより大きいと判断する場合には（ステップＳ５５における「Ｙｅｓ」）、演算部３１ａ〜３１ｊそれぞれの相関演算部は、相関演算の結果において相関関係が最も高い、粗データの識別子と位置変換されたパターンに応じて位置変換されたブロック画像との組を結果格納部３２ａへ格納する（ステップＳ７５）。

（３）詳細マッチング処理について
ここでは、図８に示すステップＳ１５で行われる詳細マッチング処理の詳細について、図１０に示す流れ図を用いて説明する。
演算部１５は、カウンタｑの値を１に設定する（ステップＳ１００）。
演算部１５の相関演算部２０１は、ｑ番目の結果格納部に格納されている結果を取得する（ステップＳ１０５）。ここで、結果格納部３２ａ、３２ｂ、・・・、３２ｊの順に１番、２番、・・・、１０番と番号を付与し、ｑ番目の結果格納部とは、この順番に従った結果格納部のことである。

相関演算部２０１は、取得した結果に含まれる粗データの識別子に対応する１つ以上の照合データをデータベース１２から取得する（ステップＳ１１０）。
相関演算部２０１は、取得した１つ以上の照合データを用いて、取得した結果に含まれるブロック画像について相関演算を施す（ステップＳ１１５）。
相関演算部２０１は、演算結果のうち最も相関関係が高い照合データを結果として出力する（ステップＳ１２０）。

並列処理部１４は、カウンタｐの値に１を加算し（ステップＳ１２５）、その結果がＰより大きいか否かを判断する（ステップＳ１３０）。
カウンタｑの値がＰより小さいと判断する場合には（ステップＳ１３０における「Ｎｏ」）、処理はステップＳ１０５へ戻る。カウンタｑの値がＰより大きいと判断する場合には（ステップＳ１３０における「Ｙｅｓ」）、処理は終了する。

２．実施の形態２
以下、本発明の実施の形態２について、図面を参照しながら説明する。
２．１ 構成
本発明の実施の形態２における画像処理装置１０００は、入力された画像を複数のブロック画像に分割し、各ブロック画像について、精度の低いマッチング処理、精度が中程度のマッチング処理、及び精度の高いマッチング処理をそれぞれ施すことで、低解像度の入力画像から高解像度の画像を得る装置である。

本実施の形態２では、異なる点を中心に説明する。なお、実施の形態１と同様の構成要素については、同一の符号を付すものとする。
画像処理装置１０００は、図１１に示すように、データベース１１、１２、分割処理部１３、並列処理部１０１４及び演算部１０１５から構成されている。
（１）並列処理部１０１４
並列処理部１０１４は、各ブロック画像について、粗データを用いたマッチング処理と、照合データのうち一部のデータを用いたマッチング処理とを行うものであり、図１１に示すように、Ｐ個（ここでは、１０個）の演算部１０３１ａ〜１０３１ｊと、Ｐ個（ここでは、１０個）の結果格納部１０３２ａ〜１０３２ｊを有している。なお、本実施の形態２においては、粗データを用いたマッチング処理と、照合データのうち一部のデータを用いたマッチング処理とを合わせて粗マッチング処理という。ここで、粗データを用いたマッチング処理が上述の精度の低いマッチング処理に相当し、照合データのうち一部のデータを用いたマッチング処理が、精度が中程度のマッチング処理に相当する。

（１−１）演算部１０３１ａ〜１０３１ｊ
演算部１０３１ａ〜１０３１ｊそれぞれは、同じ構成要素であるので、ここでは、演算部１０３１ａについて説明する。
演算部１０３１ａは、図１２に示すように、位置変換部１１０１、第１相関演算部１１０２、第１アクセス制御部１１０３、第２相関演算部１１０４及び第２アクセス制御部１１０５を有している。

位置変換部１１０１及び第１アクセス制御部１１０３それぞれは、上記実施の形態１の位置変換部１０１及びアクセス制御部１０３と同様であるので、ここでの説明は省略する。
第１相関演算部１１０２は、機能動作については実施の形態１に示す相関演算部１０２と同様であるが、相関演算の結果の出力先が、第２相関演算部１１０４となる。つまり第１相関演算部１１０２は、全ての粗データとの相関処理を実行すると、第１相関演算部１１０２は、相関演算の結果において、相関関係が最も高い、粗データの識別子と位置変換されたパターンに応じて位置変換されたブロック画像との組を第２相関演算部１１０４へ出力する。ここで、第１相関演算部１１０２が用いる相関演算は、上記実施の形態１と同様に、例えばＳＡＤ演算法である。

第２アクセス制御部１１０５は、第１相関演算部１１０２の相関演算の結果から取得された粗データの識別子に対応する１つ以上の照合データをデータベース１２からデータバス１７を介して読み出す。このとき、他のアクセス制御部とのアクセスの競合が生じるので調停を行いながら、データベース１２からの読み出しを行うこととなる。
第２相関演算部１１０４は、第１相関演算部１１０２から得た結果に含まれる粗データの識別子に対応する１つ以上の照合データを、第２アクセス制御部１１０５を介して取得する。第２相関演算部１１０４は、第１相関演算部１１０２から得た結果に含まれるブロック画像のうち（Ｎ−２ｊ）×（Ｎ−２ｊ）ピクセルのデータについて、取得した１つ以上の照合データそれぞれにおける（Ｎ−２ｊ）×（Ｎ−２ｊ）ピクセルからなる部分照合データを用いた相関演算を行う。第２相関演算部１１０４は、演算結果のうち最も相関関係が高い、ｍ個の部分照合データそれぞれに対応する照合データの各アドレスと、位置変換されたブロック画像とを結果格納部１０３２ａへ格納する。ここで、ｊは、１以上Ｎ／２より小さい整数である。また粗データに対応する照合データの個数をｐ個（ｐは１以上の整数）とすると、ｍは、１以上ｐ以下の整数である。

（Ｎ−２ｊ）×（Ｎ−２ｊ）ピクセルのデータとは、図１３に示すように、画像サイズがＮ×Ｎであるブロック画像及び照合画像について、上下左右の端からｊピクセル分を取り除いたデータのことである。第２相関演算部１１０４は、図１３に示すように、Ｎ×Ｎピクセルのブロック画像のうち中心に位置する（Ｎ−２ｊ）×（Ｎ−２ｊ）ピクセルのデータと、１つ以上の照合データそれぞれについて当該照合データのうち中心に位置する（Ｎ−２ｊ）×（Ｎ−２ｊ）ピクセルのデータ（部分照合データ）との相関演算を行う。

（１−２）結果格納部１０３２ａ〜１０３２ｊ
結果格納部１０３２ａ〜１０３２ｊそれぞれは、対応する演算部から出力された相関演算の結果を格納するための領域である。ここでは、格納されるデータは、ｍ個の照合データのアドレスと、ブロック画像となる。
（２）演算部１０１５
演算部１０１５は、各ブロック画像について、照合データを用いた詳細マッチング処理を行うものであり、図１４に示すように、相関演算部１２０１、及びアクセス制御部１２０２を有している。

（２−１）相関演算部１２０１
相関演算部１２０１は、結果格納部１０３２ａ〜１０３２ｊそれぞれについて、当該結果格納部に格納されている結果（ｍ個の照合データのアドレスと、位置変換されたパターンに応じて位置変換されたブロック画像）を、逐次読み出す。相関演算部１２０１は、読み出したｍ個のアドレスそれぞれに対応する照合データを、アクセス制御部１２０２を介してデータベース１２から取得する。

相関演算部１２０１は、取得したｍ個の照合データを用いて、読み出したブロック画像について相関演算を行う。相関演算部１２０１は、ｍ個の演算結果のうち最も高い相関関係となる照合データを結果として出力する。
（２−２）アクセス制御部１２０２
アクセス制御部１２０２は、相関演算部１２０１が取得したｍ個のアドレスそれぞれに対応する照合データをデータベース１２から読み出す。

２．２ 動作
ここでは、画像処理装置１０００の動作について説明する。
（１）処理概要
画像処理装置１０００の処理概要は、画像処理装置１の処理概要と同様であり、図８に示すように、入力画像を１０個のブロック画像へ分割する処理（ステップＳ５）、粗マッチング処理（ステップＳ１０）、詳細マッチング処理（ステップＳ１５）が行われる。

（２）粗マッチング処理について
ここでは、図８に示すステップＳ１０で行われる粗マッチング処理の詳細について、図１５に示す流れ図を用いて、実施の形態１の相違点を中心に説明する。
並列処理部１０１４は、カウンタｐの値を１に設定する（ステップＳ２００）。
並列処理部１０１４は、カウンタｐの値がＭより大きいか否かを判断する（ステップＳ２０５）。

大きくないと判断する場合（ステップＳ２０５における「Ｎｏ」）、演算部１０３１ａ〜１０３１ｊそれぞれのアクセス制御部は、同一のタイミングで、識別子がＩＤｐの粗データを読み出す（ステップＳ２１０）。
演算部１０３１ａ〜１０３１ｊそれぞれの相関演算部は、第１相関演算処理を行う（ステップＳ２１５）。具体的には、演算部１０３１ａ〜１０３１ｊそれぞれの相関演算部は、読み出した粗データを用いて、処理対象のブロック画像について第１相関演算処理を施す（ステップＳ２１５）。

並列処理部１０１４は、カウンタｐの値に１を加算し（ステップＳ２２０）、処理はステップＳ２０５へ戻る。
カウンタｐの値がＭより大きいと判断する場合には（ステップＳ２０５における「Ｙｅｓ」）、演算部１０３１ａ〜１０３１ｊそれぞれの相関演算部は、相関演算の結果において相関関係が最も高い、粗データの識別子と位置変換されたパターンに応じて位置変換されたブロック画像との組を第２相関演算部１１０４へ出力し、演算部１０３１ａ〜１０３１ｊそれぞれの第２相関演算部は、識別子に対応する１つ以上の照合データを、第２アクセス制御部１１０５を介してデータベース１２から取得する（ステップＳ２２５）。

各第２相関演算部は、第２相関演算処理を行う（ステップＳ２３０）。具体的には、各第２相関演算部は、対応する第１相関演算部から得た結果に含まれるブロック画像のうち（Ｎ−２ｊ）×（Ｎ−２ｊ）ピクセルのデータについて、取得した１つ以上の照合データそれぞれにおける（Ｎ−２ｊ）×（Ｎ−２ｊ）ピクセルからなる部分照合データを用いた相関演算を行う。

各第２相関演算部は、演算結果のうち最も相関関係が高い、ｍ個の部分照合データそれぞれに対応する照合データの各アドレスと、位置変換されたブロック画像とを、対応する結果格納部へ格納する（ステップＳ２３５）。
（３）詳細マッチング処理
詳細マッチング処理については、実施の形態１と異なる点を中心に説明する。

実施の形態１と異なる点は、図１０に示すステップＳ１１０である。ステップＳ１１０の動作について、本実施の形態２では、相関演算部１２０１は、ステップＳ１０５で取得した結果に含まれるｍ個のアドレスそれぞれに対応する照合データをデータベース１２から取得することとなる。
そして、ステップＳ１１５では、相関演算部２０１は、取得したｍ個照合データを用いて、取得した結果に含まれるブロック画像について相関演算を施すこととなる。

３．変形例
以上、実施の形態に基づいて説明したが、本発明は上記の実施の形態に限られない。例えば、以下のような変形例が考えられる。
（１）上記各実施の形態において、粗データをＮ×Ｎビットからなるデータとし、ブロック画像を構成する各ピクセルの先頭ビットを結合したデータとの相関演算を算出している。これは、画像が白黒の画像である場合にはピクセルの先頭ビットが当該ピクセルの色を特徴付けているため、上記の相関演算が有効である。

しかしながら、上記の演算方法に限定されない。
粗データをＮ×Ｎ×３ビットからなるデータとし、ブロック画像の各ピクセルについて当該ピクセルにおいてＲＧＢを示す各色のビット列の先頭ビットを結合したビット列（３ビットのビット列）を生成し、ピクセル毎に生成したビット列をＮ×Ｎ個を結合したデータとの相関演算を算出してもよい。これにより、ピクセルがカラーであっても、粗データによる相関演算が可能となる。

または、粗データをＮ×Ｎ×ｘビット（ｘは２以上の整数）からなるものとしてもよい。この場合、ブロック画像を構成する各ピクセルの先頭からｘビットのビット列を結合したデータとの相関演算を行うこととなる。
（２）上記各実施の形態において、粗データとの相関演算処理において、ブロック画像の各ピクセルの最上位１ビットを結合したが、これに限定されない。

ブロック画像のうち、（Ｎ−２ｊ）×（Ｎ−２ｊ）ピクセルの最上位１ビットを結合して、相関演算に用いてもよい。この場合、Ｎ×Ｎビットからなる粗データのうち（Ｎ−２ｊ）×（Ｎ−２ｊ）ビットのデータを相関処理に用いる。
（３）上記各実施の形態において、照合データとの相関演算を行う際に、照合データのうち（Ｎ−２ｊ）×（Ｎ−２ｊ）ピクセルのデータを用いてもよい。この場合、ブロック画像のついて、（Ｎ−２ｊ）×（Ｎ−２ｊ）ピクセルからなる画像サイズの領域が、（ｊ＋２）×（ｊ+２）通り存在することとなり、これら領域と、照合データのうち（Ｎ−２ｊ）×（Ｎ−２ｊ）ピクセルのデータとの相関演算を行う。これにより、ブロック画像の細かい位置に対しても最適な照合データの位置情報を特定できることになり、より詳細なマッチング処理を実施することが可能となる。

（４）上記各実施の形態において、各相関演算には、ＳＡＤ演算法を用いたが、これに限定されない。
相関関係が算出することのできる演算法であればよい。
（５）上記各実施の形態において、ブロック画像をＮ×Ｎピクセルからなるとしたが、これに限定されない。Ｎ１×Ｎ２からなるとしてもよい。ここで、Ｎ１及びＮ２は、自然数である。

（６）上記実施の形態２において、第２相関演算部１１０４と相関演算部１２０１それぞれは、同一のデータベース１２から照合データを読み出したが、これに限定されない。
第２相関演算部１１０４と相関演算部１２０１それぞれについて、個別のデータベースを用意し、第２相関演算部１１０４と相関演算部１２０１とは、異なるデータベースから照合データを読み出してもよい。

また、第２相関演算部１１０４が読み出すデータベース（以下、第１データベースという。）については、Ｎ×Ｎピクセルの照合データを保持するのではなく、Ｎ×Ｎ×（Ｌ−１）ビットのデータをＭ個保持し、相関演算時に、第１相関演算部１１０２で最も高い相関関係となる粗データと結合することで、照合データをＭ個生成する。さらに、相関演算部１２０１が使用するデータベース（以下、第２データベース）においては、データベース１１で保持するＭ個のＮ×Ｎビットの粗データと、第１データベースで保持するＭ個のＮ×Ｎ×（Ｌ−１）ビットのデータとの組み合わせからなる、Ｍ×Ｍ個のＮ×Ｎピクセルの照合データを保持することになる。

（７）上記各実施の形態において、入力画像の分割数Ｐと、並列処理部１４が備える演算部の個数とは同一としたが、これに限定されない。
並列処理部１４が備える演算部の個数は、２以上であって、Ｐ以下であればよい。つまり、並列処理部１４が２つ以上のブロック画像を並列に処理できればよい。
（８）上記各実施の形態において、演算部３１ａのアクセス制御部１０３のみがデータベース１１に対して制御信号を送信するとしたが、これに限定されない。

制御信号の送信は、他の演算部のアクセス制御部であってもよい。
また、各演算部とは独立した別のアクセス制御部を設け、当該別のアクセス制御部がデータベース１１に対して制御信号を送信するとしてもよい。この場合、演算部３１ａ〜３１ｊの各アクセス制御部は、データバス１６に出力された粗データを取得することとなる。

（９）上記の実施の形態で説明した手法の手順を記述したプログラムをメモリに記憶しておき、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などがメモリからプログラムを読み出して、読み出したプログラムを実行することによって、上記の手法が実現されるようにしてもよい。
また、当該手法の手順を記述したプログラムを記録媒体に格納して、頒布するようにしてもよい。

（１０）上記の各実施の形態にかかる各構成は、集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。これらの構成は、１チップ化されても良いし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩと表現したが、回路の集積度の違いによっては、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称呼されることもある。また、集積回路化の手法は、ＬＳＩに限られるものではなく、専用回路または汎用プロセッサで集積回路化を行ってもよい。また、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサー（ＲｅＣｏｎｆｉｇｕｒａｂｌｅ Ｐｒｏｃｅｓｓｏｒ）を用いてもよい。あるいは、これらの機能ブロックの演算は、例えば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを用いて演算することもできる。さらに、これらの処理ステップはプログラムとして記録媒体に記録して実行することで処理することもできる。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックを集積化してもよい。バイオ技術の適応などが可能性としてあり得る。
（１１）上記実施の形態及び変形例を組み合わせるとしてもよい。
４．効果
（１）上記各実施の形態において、粗データを用いた相関処理は、ブロック画像について1ビットレベルのデータを用いた負荷の軽い処理で実施でき、かつデータベース１１のみに並列処理部の各演算部が同一のタイミングでアクセスすればよいので、低電力化が期待できる。

（２）上記実施の形態２において、第２相関演算部にてデータベース１２の夫々に対する最適なブロック画像との詳細な相関処理を実施し、ブロック画像に一番適合する最適なデータベースの候補を算出することができる。
（３）上記各実施の形態において、ブロック画像に対して最適に適合する照合データを、従来にくらべ、効率的かつメモリアクセス頻度を積極的に低減する実装を行い、低消費電力化にも寄与することが可能となる。

５．補足
（１）本発明の一実施態様である、一の画像を分割して得られるｐ（ｐは２以上の整数）個のブロック画像それぞれを処理する画像処理装置は、前記各ブロック画像と照合するための複数の照合パターンを記憶する照合パターン記憶手段と、前記複数の照合パターンについて、当該照合パターンよりもデータ量が少ない簡易パターンを当該照合パターンと対応付けて記憶する簡易パターン記憶手段と、互いに異なるブロック画像が割り当てられ、前記簡易パターン記憶手段で記憶されている全ての簡易データと、割り当てられたブロック画像とを用いて第１相関演算を行うｑ個（ｑは２以上ｐ以下の整数）の第１処理手段と、前記第１処理手段で処理がなされたブロック画像全てについて、当該ブロック画像との前記第１相関演算により相関関係が最も高い簡易パターンに対応する照合パターンを順次読み出して、第２相関演算を行う第２処理手段とを備え、前記簡易パターン記憶手段から順次出力される各々の簡易パターンについて、前記第１処理手段それぞれは、同一のタイミングで取得して、割り当てられたブロック画像との第１相関演算を行うことを特徴とする。

この構成によると、画像処理装置は、ｑ個の第１処理手段は、各々の簡易パターンを同一のタイミングで取得して処理を行うので、簡易パターンが取得される際には各第１処理手段の簡易パターン記憶手段に対するアクセスの調停が不要となり、効率よく処理を行うことができる。これにより、ｑ個の第１処理手段それぞれは、互いに異なるブロック画像について同一の簡易パターンを用いた照合（第１相関演算）を行うことができる。また、照合パターンとの第２相関演算では、第１処理手段の第１相関演算の結果、全てのブロック画像について相関関係が最も高い簡易パターンが全て同一となること、つまり全てのブロック画像について同一の照合パターンを用いた第２相関演算を行うことはまず有り得ないので、個々に第２相関演算を行う必要がある。そのため、第２処理手段において、ブロック画像毎に、照合パターンを順次読み出すことで照合（第２相関演算）が可能となる。

（２）ここで、前記ブロック画像及び前記照合パターンそれぞれは、１ピクセルのビット長がＬ（Ｌは２以上の整数）である、ｍ×ｎ（ｍ、ｎは自然数）ピクセルからなり、前記簡易パターンは、Ｌよりも短いビット長からなるビット列を、ｍ×ｎ個連結することで得られ、前記ビット列それぞれは、対応する照合パターンにおいて、互いに異なるピクセルに含まれるとしてもよい。

この構成によると、画像処理装置は、簡易パターンについてピクセルを構成するＬビットのデータ列から一部データを間引いたものを連結したものとして利用することができる。
（３）ここで、前記簡易パターンを構成するｍ×ｎ個のビット列それぞれは、当該ビット列が含まれるピクセルにおいて、当該ピクセルの色を特徴付けるデータの集まりであるとしてもよい。

この構成によると、簡易パターンを構成するｍ×ｎ個のデータ列それぞれは、色を特徴付けるデータの集まりであるので、画像処理装置は、第１相関演算でブロック画像内の配色を絞り込むことができる。
（４）ここで、前記簡易パターンを構成するｍ×ｎ個のビット列それぞれは、当該ビット列が含まれるピクセルの先頭ビットであるとしてもよい。

この構成によると、簡易パターンを構成するｍ×ｎ個のデータ列それぞれは、ピクセルの先頭ビットの集まりであるので、画像処理装置は、ブロック画像が白黒である場合には、当該ブロック画像内の配色を絞り込むことができる。
（５）ここで、前記第１処理手段それぞれは、演算対象のブロック画像そのもの、当該ブロック画像を反転、回転した結果、及び画素値反転した結果について、同一のタイミングで読み出した同一の簡易パターンとの前記第１相関演算を行うとしてもよい。

この構成によると、第１処理手段は、ブロック画像そのものと簡易パターンとの相関演算に加え、ブロック画像を反転、回転、及び画素値反転した結果それぞれと簡易パターンとの相関演算をも行っている。これにより、画像処理装置は、一の簡易パターンに対して、当該簡易パターンについて反転、回転、及び画素値反転した結果を記憶しておく必要はないので、記憶すべきデータ量を削減することができる。

（６）ここで、前記ブロック画像は、ｎ×ｎ（ｎは自然数）ピクセルからなり、前記簡易パターンは、対応するｎ×ｎピクセルからなる照合パターンのうち（ｎ−２ｊ）×（ｎ−２ｊ）ピクセル（ｊは自然数）からなるものであり、前記第１処理手段それぞれは、処理対象のブロック画像のうち（ｎ−２ｊ）×（ｎ−２ｊ）ピクセルからなるビット列について、前記簡易パターンとの第１相関演算を行うとしてもよい。

この構成によると、（ｎ−２ｊ）×（ｎ−２ｊ）ピクセルの簡易パターンを用いることで、画像処理装置は、第１相関演算でブロック画像内のうち（ｎ−２ｊ）×（ｎ−２ｊ）ピクセルからなる画像についての配色を絞り込むことができる。

本発明にかかる画像処理装置は、デジタルテレビ、ブルーレイディスクなどの据え置き型再生装置、あるいは、フルハイビジョン対応携帯再生端末装置などのディジタル画像再生装置の高解像度化処理として有用である。

１ 画像処理装置
１１、１２ データベース
１３ 分割処理部
１４ 並列処理部
１５ 演算部
１６、１７ データバス
２１ フィルタ
２２ａ〜２２ｊ 画像格納部
３１ａ〜３１ｊ 演算部
３２ａ〜３２ｊ 結果格納部
１０１ 位置変換部
１０２ 相関演算部
１０３ アクセス制御部
２０１ 相関演算部
２０２ アクセス制御部
１０００ 画像処理装置
１０１４ 並列処理部
１０１５ 演算部
１０３１ａ〜１０３１ｊ 演算部
１０３２ａ〜１０３２ｊ 結果格納部
１１０１ 位置変換部
１１０２ 第１相関演算部
１１０３ 第１アクセス制御部
１１０４ 第２相関演算部
１１０５ 第２アクセス制御部
１２０１ 相関演算部
１２０２ アクセス制御部

Claims (8)

1. 一の画像を分割して得られるｐ（ｐは２以上の整数）個のブロック画像それぞれを処理する画像処理装置であって、
   前記各ブロック画像と照合するための複数の照合パターンを記憶する照合パターン記憶手段と、
   前記複数の照合パターンについて、当該照合パターンよりもデータ量が少ない簡易パターンを当該照合パターンと対応付けて記憶する簡易パターン記憶手段と、
   互いに異なるブロック画像が割り当てられ、前記簡易パターン記憶手段で記憶されている全ての簡易データと、割り当てられたブロック画像とを用いて第１相関演算を行うｑ個（ｑは２以上ｐ以下の整数）の第１処理手段と、
   前記第１処理手段で処理がなされたブロック画像全てについて、当該ブロック画像との前記第１相関演算により相関関係が最も高い簡易パターンに対応する照合パターンを順次読み出して、第２相関演算を行う第２処理手段とを備え、
   前記簡易パターン記憶手段から順次出力される各々の簡易パターンについて、前記第１処理手段それぞれは、同一のタイミングで取得して、割り当てられたブロック画像との第１相関演算を行う
   ことを特徴とする画像処理装置。
2. 前記ブロック画像及び前記照合パターンそれぞれは、１ピクセルのビット長がＬ（Ｌは２以上の整数）である、ｍ×ｎ（ｍ、ｎは自然数）ピクセルからなり、
   前記簡易パターンは、Ｌよりも短いビット長からなるビット列を、ｍ×ｎ個連結することで得られ、
   前記ビット列それぞれは、対応する照合パターンにおいて、互いに異なるピクセルに含まれる
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記簡易パターンを構成するｍ×ｎ個のビット列それぞれは、当該ビット列が含まれるピクセルにおいて、当該ピクセルの色を特徴付けるデータの集まりである
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記簡易パターンを構成するｍ×ｎ個のビット列それぞれは、当該ビット列が含まれるピクセルの先頭ビットである
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記第１処理手段それぞれは、演算対象のブロック画像そのもの、当該ブロック画像を反転、回転した結果、及び画素値反転した結果について、同一のタイミングで読み出した同一の簡易パターンとの前記第１相関演算を行う
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記ブロック画像は、ｎ×ｎ（ｎは自然数）ピクセルからなり、
   前記簡易パターンは、対応するｎ×ｎピクセルからなる照合パターンのうち（ｎ−２ｊ）×（ｎ−２ｊ）ピクセル（ｊは自然数）からなるものであり、
   前記第１処理手段それぞれは、処理対象のブロック画像のうち（ｎ−２ｊ）×（ｎ−２ｊ）ピクセルからなるビット列について、前記簡易パターンとの第１相関演算を行う
   ことを特徴とする請求項１に記載の画像処理装置。
7. 一の画像を分割して得られるｐ（ｐは２以上の整数）個のブロック画像と照合するための複数の照合パターンを記憶する照合パターン記憶手段と、前記複数の照合パターンについて、当該照合パターンよりもデータ量が少ない簡易パターンを当該照合パターンと対応付けて記憶する簡易パターン記憶手段と、ｑ個（ｑは２以上ｐ以下の整数）の第１処理手段と、第２処理手段とを備え、前記ブロック画像それぞれを処理する画像処理装置で用いられる画像処理方法であって、
   互いに異なるブロック画像が割り当てられた前記第１処理手段それぞれが、前記簡易パターン記憶手段で記憶されている全ての簡易データと、割り当てられたブロック画像とを用いて第１相関演算を行う第１処理ステップと、
   前記第２処理手段が、前記第１処理ステップで処理がなされたブロック画像全てについて、当該ブロック画像との前記第１相関演算により相関関係が最も高い簡易パターンに対応する照合パターンを順次読み出して、第２相関演算を行う第２処理ステップとを含み、
   前記簡易パターン記憶手段から順次出力される各々の簡易パターンについて、前記第１処理手段それぞれが実行する前記第１処理ステップは、同一のタイミングで取得して、割り当てられたブロック画像との第１相関演算を行う
   ことを特徴とする画像処理方法。
8. 一の画像を分割して得られるｐ（ｐは２以上の整数）個のブロック画像それぞれを処理する画像処理装置で用いられる集積回路であって、
   前記各ブロック画像と照合するための複数の照合パターンを記憶する照合パターン記憶手段と、
   前記複数の照合パターンについて、当該照合パターンよりもデータ量が少ない簡易パターンを当該照合パターンと対応付けて記憶する簡易パターン記憶手段と、
   互いに異なるブロック画像が割り当てられ、前記簡易パターン記憶手段で記憶されている全ての簡易データと、割り当てられたブロック画像とを用いて第１相関演算を行うｑ個（ｑは２以上ｐ以下の整数）の第１処理手段と、
   前記第１処理手段で処理がなされたブロック画像全てについて、当該ブロック画像との前記第１相関演算により相関関係が最も高い簡易パターンに対応する照合パターンを順次読み出して、第２相関演算を行う第２処理手段とを備え、
   前記簡易パターン記憶手段から順次出力される各々の簡易パターンについて、前記第１処理手段それぞれは、同一のタイミングで取得して、割り当てられたブロック画像との第１相関演算を行う
   ことを特徴とする集積回路。

Images