JP2006318213A - 画像処理回路及び画像処理方法 - Google Patents

Abstract

【課題】
注目画素の周辺画素の平均濃度を求める処理には多くの計算時間、多くの回路資源を必要とし、高速に処理を行うことができないという課題がある。
【解決手段】
画像を構成する格子状画素の全てについて、各画素を注目画素として、この注目画素を囲む上下左右の４画素の有する値の平均値である四画素平均値を、その囲まれる画素である注目画素と関連付けて取得する第一演算ステップと、前記第一演算ステップにて取得した四画素平均値を利用して、前記囲まれる画素である注目画素の目的値を取得する第二演算ステップと、前記第二演算ステップを注目画素として未選択の画素がなくなるまで繰り返すことで全ての画素について目的値を得ることにより画像を評価する情報とする画像処理方法。
【選択図】 図１０

Description

本発明は、２次元の多値情報を持つ画像データを処理する場合に、注目画素周辺の平均濃度を高速に、少ない回路資源で取得するための画像処理方法及び画像処理装置に関する。特にデジタル処理に好適なように、加減算と２の階乗の乗除算（シフト処理）のみで計算可能な画像処理方法及び画像処理装置を提供する。

現在、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話などをはじめ、様々な電子機器で画像を撮影できるようになっている。これらの機器を用いて撮影を行う場合に、撮像素子から出力される画像をそのまま使用すると、ボケたような不鮮明な画像や、ノイズの多い画像が得られる場合も多い。そのため、ＭＴＦ補正と呼ばれるような濃度差を強調して輪郭を強調した画像を得る処理や、ノイズ成分を平滑化するために平均化するような処理などの画像処理が必須となる。具体的には、連続するデータの集まりにおいて特異点やノイズをなくすために、注目画素の値に関して、当該注目画素の周りの値を用いてスムーズにつながるデータの集まりになるように平均化処理を行うことが挙げられる。このように、画像補正などの処理に際しては、注目画素の周辺画素の平均濃度を求める必要がある。また、特許文献１には、入力画像の特性に応じて注目画素の周辺画素についての重み付けを行うことで、画像データのＭＴＦ劣化のバラツキを抑制する画像処理装置についての発明が開示されている。
特開平５−８３５５３号公報

しかしながら、注目画素の周辺画素の平均濃度を求める処理には多くの計算時間、多くの回路資源を必要とし、高速に処理を行うことができないという課題がある。また、従来技術のように単に注目画素の周辺画素について重み付けを行うだけでは、重み付け分の計算時間が更に必要となるため、高速処理を実現することができないという課題がある。

そこで、本発明は上記課題に鑑みて、注目画素の周辺画素の平均濃度を高速に、少ない回路資源で求めることを可能とした画像処理方法及び画像処理装置を提供することを目的とする。

本発明においては、かかる問題点を解決するために、画像を構成する格子状画素の全てについて、各画素を囲む上下左右の４画素の有する値の平均値である四画素平均値を、その囲まれる画素と関連付けて取得する第一演算ステップと、前記第一演算ステップにて取得した四画素平均値を利用して、前記囲まれる画素によって囲まれる画素である注目画素の目的値を取得する第二演算ステップと、前記第二演算ステップを注目画素として未選択の画素がなくなるまで繰り返すことで全ての画素について目的値を得ることにより画像を評価する情報とする画像処理方法を提供する。前記第二演算ステップは、格子状画素から注目画素を選択し、選択された注目画素及び、その注目画素の周辺に配置された画素の値に対称な重み付けを行って注目画素に関連付けられた値である目的値を取得するステップであってもよいし、前記取得した全ての四画素平均値の中で、注目画素を取り囲む８画素に関連付けて得られた８つの四画素平均値の加算値に基づいて前記目的値を取得してもよい。また、前記目的値を取得するステップで利用される重み付けは、注目画素の重み付け乗数を４、注目画素の周辺８画素の重み付け乗数を２、前記周辺８画素の上下左右のいずれかに隣接する隣接画素であって、注目画素からみて外側に隣接する最外周１２画素の重み付け乗数を１とする対称重み付けであってもよい。

また、前記目的値を取得するステップは、前記取得した全ての四画素平均値の中で、注目画素及び、その注目画素を取り囲む８画素に関連付けて得られた９つの四画素平均値の加算値から、注目画素の値を差し引いた差分値に基づいて前記目的値を取得してもよい。また、前記目的値を取得するステップで利用される重み付けは、注目画素の上下左右の周辺４画素の重み付け乗数を３、注目画素の周辺８画素のうち前記上下左右の周辺４画素を除く残りの周辺４画素の重み付け乗数を２、前記周辺８画素の上下左右のいずれかに隣接する隣接画素であって、注目画素からみて外側に隣接する最外周１２画素の重み付け乗数を１とする対称重み付けであってもよい。

また、他の発明として、格子状画素によって表示される画像を任意の画素を注目画素としたときに、注目画素とその周辺の画素が有する値に基づいて得られる目的値によって評価する装置であって、前記格子状画素の画素の値を行ごとに順にトレースして取得する画素値取得部と、前記画素値取得部にて取得された画素値を順に入力することで、順に一の画素を中心として上下左右に配置される四画素の値を保持する第一レジスタ部と、前記第一レジスタ部に保持される前記四画素の値を用いて、それらの画素の平均値を前記一の画素に対応する四画素平均値として順に算出する四画素平均値算出部と、前記四画素平均値算出部にて算出される四画素平均値を算出された順に入力することで、順に注目画素を囲む八画素に対応する四画素平均値を保持する第二レジスタ部と、前記第二レジスタ部に保持される前記注目画素を囲む八画素に対応する四画素平均値を用いて、注目画素に対応する目的値を順に算出する第一目的値算出部と、を有する画像処理装置を提供する。また、第一レジスタ部の代わりに、画素値を順に入力することで、順に一の画素を中心として上下左右に配置される四画素の値及び、注目画素の値を保持する第三レジスタ部を有し、第二レジスタ部の代わりに、四画素平均値を算出された順に入力することで、順に注目画素を中心とした九画素に対応する四画素平均値を保持する第四レジスタ部を有し、第一目的値算出部に代わりに、前記第四レジスタ部に保持される前記注目画素を中心とした九画素に対応する四画素平均値と、前記第三レジスタ部に保持される注目画素の画素値と、を用いて、注目画素に対応する目的値を順に算出する第二目的値算出部と、を有していてもよい。また、前記第一レジスタ部は、画素値取得部にて取得された画素値を入力して、入力順にシフト保持する第一シフトレジスタと、画素値取得部にて取得した画素値を入力して、格子状画素の一行分遅延して画素値を出力する第一ラインバッファから出力される画素値を入力して、入力順にシフト保持する第二シフトレジスタと、第一ラインバッファから出力される画素値を入力して、格子状画素のさらに一行分遅延して画素値を出力する第二ラインバッファから出力される画素値を入力して、入力順にシフト保持する第三シフトレジスタと、からなり、前記第二レジスタ部は、前記四画素平均値算出部にて算出される四画素平均値を順に入力して、入力順にシフト保持する第四シフトレジスタと、四画素平均値を入力して、格子状画素の一行分遅延して四画素平均値を出力する第三ラインバッファから出力される四画素平均値を入力して、入力順にシフト保持する第五シフトレジスタと、第三ラインバッファから出力される四画素平均値を入力して、格子状画素のさらに一行分遅延して四画素平均値を出力する第四ラインバッファから出力される四画素平均値を入力して、入力順にシフト保持する第六シフトレジスタと、からなっていてもよい。

本発明によれば、２次元の多値情報を持つ画像データから注目画素周辺の平均濃度を求める場合に、少ない演算処理量で高速に、又は少ない回路資源で高速に演算することが可能となる。

以下に、各発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。

なお、以下の実施形態と請求項の関係は次の通りである。実施形態１は、主に請求項１、などについて説明する。実施形態２は、主に請求項２、３などについて説明する。実施形態３は、主に請求項４、５などについて説明する。実施形態４は、主に請求項６、８などについて説明する。実施形態５は、主に請求項７、９などについて説明する。

<<実施形態１>>
<実施形態１の概要>
本実施形態は、注目画素周辺の平均濃度を高速に求めることが可能な画像処理方法に関するものである。まず最初に各画素の周辺４画素についての四画素平均値を算出し、当該算出した四画素平均値を利用して注目画素周辺の平均濃度を算出する。このような演算方法により、一画素あたりに要する画像処理量を削減することができ、演算処理を高速に行うことが可能となる。

<実施形態１の構成>
図１に本実施形態における処理の流れの構成例を示す。なお、以下に示す処理の流れは、計算機に組み込まれた論理回路、または論理回路を構成するためのプログラム、そのプログラムが記録された読み取り可能な記録媒体として実施されうる（以下、本明細書における処理の流れの記載についても同様である）。本実施形態における画像処理方法は、第一演算ステップ（Ｓ０１０１）と、第二演算ステップ（Ｓ０１０２）と、からなる。第二演算ステップ（Ｓ０１０２）は、未選択の画像画素がなくなるまで繰り返し処理を行う（Ｓ０１０３）。以下、各ステップについて説明する。

「第一演算ステップ」（Ｓ０１０１）は、画像を構成する格子状画素の全てについて、各画素を囲む上下左右の４画素の有する値の平均値である四画素平均値を、その囲まれる画素と関連付けて取得する。「格子状画素」とは、例えばＸ、Ｙ座標などによって表現することが可能な２次元の座標軸上にある画素が挙げられる。当該格子状画素は多値情報を有していることが望ましい。多値情報とは、２値ではない情報のことであり、換言すれば、白と黒の２値以外の情報を有している情報のことである。具体的にはＲ・Ｇ・Ｂなどの色の３原色を２５６段階に分類した情報が挙げられる。「格子状画素の全て」とは、後述する平均値を算出可能な画素全て、の意である。平均値を算出するに際し、ある画素の上下左右の画素の値が必要になるが、画素群の外縁部分の画素（以下、「周縁画素」という）については、当該画素の上下左右に対応する画素の一部がないために、当該周縁画素については、平均値を算出できないからである。但し、周縁画素の上下左右の４画素に代えて、周縁画素の上下左右のいずれか２画素又は３画素を代用することで、「周縁画素を囲む上下左右の４画素の有する値の平均値」を取得することも可能である。

「各画素」とは格子状画素の全てのうちの任意の一画素のことである。ここで任意の一画素の座標位置を(x,y)とすると、当該任意の「画素を囲む上下左右の４画素」とは、例えば図２で示すように、(x,y)の上下左右に隣接する(x-1,y)、(x,y-1)、(x,y+1)、(x+1,y)の位置にある画素のことである。なお、４画素は図３に示すように、(x,y)を上下左右の斜め方向から取り囲む位置にある画素(x-1,y-1)、(x+1,y-1)、(x-1,y+1)、(x+1,y+1)であってもよい。「４画素の有する値」とは、これらの４画素が有している前記多値情報のことである。ここで、任意の一画素の有する値をV(x,y)とすると、図２の例では、この画素を囲む４画素の有する値はV(x-1,y)、V(x,y-1)、V(x,y+1)、V(x+1,y)となる。「四画素平均値」は、例えば画素の座標位置を(x,y)とした場合においては、この画素(x,y)を囲むこれら上下左右の４画素の有する値の平均値である。なお、既に説明したとおり、周縁画素に対応する四画素平均値についても取得することが可能であるため、「四画素平均値」には、周縁画素が「各画素」に該当する場合において取得する四画素平均値が含まれてもよい。

以下、本明細書においては、図２の例を基に説明を行うものとする。また、後述する目的値算出の対象画素となる注目画素の値をV(x,y)、注目画素の座標位置(x,y)を取り囲む上下左右の４画素の有する値の平均値である四画素平均値をA(x,y)とし、四画素平均値A(x,y)＝(V(x-1,y)＋V(x,y-1)＋V(x,y+1)＋V(x+1,y))／4として説明する。当該四画素平均値A(x,y)は、その囲まれる画素(x,y)と関連付けて取得される。「関連付けて取得される」とは、四画素平均値について、どの画素を囲む上下左右の４画素の有する値の平均値であるかがわかるように取得されることである。「第一演算ステップ」（S０１０１）においては、画像を構成する格子状画素の全てについてかかる四画素平均値を取得することになる。このように全ての画素について四画素平均値を求めることで、全ての画素を注目画素とした場合に、そのそれぞれの注目画素周辺の所定範囲にわたる平均値を算出する際に、少ない演算量で処理を行うことが可能となる。少ない演算量で処理が可能になる点についての詳細は後述する。このようにして画像を構成する格子状画素の全てについて取得された四画素平均値は、図外の平均値保持部などに保持されていてもよい。なお、本明細書における「演算」とは、加減算と２の階乗の乗除算のことを示す。本発明は、デジタル処理に好適なように、加減算回路とシフト処理のみで計算可能であることが望ましいからである。

「第二演算ステップ」（S１００２）は、前記第一演算ステップ（S１００１）にて取得した四画素平均値を利用して、前記囲まれる画素によって囲まれる画素である注目画素の目的値を取得する。「四画素平均値を利用して」とは、四画素平均値のみを用いてもよいし、あるいは四画素平均値に加えて画素自身の値（例えば、注目画素の値V(x,y)）を用いてもよいことを意味する。「注目画素の目的値」の一例としては、注目画素(x,y)の周辺画素の有する値を平均した結果得られる平均濃度の値が挙げられる。この目的値を取得するステップの詳細については実施形態２以降で詳細に説明する。

本実施形態における画像処理方法は、前記第二演算ステップ（Ｓ０１０２）を注目画素として未選択の画素がなくなるまで繰り返すことで全ての画素について目的値を得ることにより画像を評価する情報とする。このように、最初に各画素についての四画素平均値を算出し、その後に当該四画素平均値を利用することで、注目画素周辺の目的値を少ない演算量で高速に行うことが可能となる。「画像を評価する情報とする」とは、例えば当該目的値である平均濃度を利用して、画像のノイズ処理を行うための情報として利用可能な情報とすることを示す。ノイズ処理の利用方法の一例としては、注目画素の値と目的値である周辺画素の平均濃度の値とを比較し、一定の閾値以上の差分がある場合には、当該注目画素をノイズとみなし、その画素の値を当該平均濃度の値に置き換えることが挙げられる。このように全ての画素について目的値を得ることで、画像の評価する情報とすることができる。なお、本実施形態においては、画像を評価する情報とするに過ぎず、必ずしも当該評価に基づいて上述したようなノイズ処理を行う必要はない。

なお、本実施形態における画像処理方法は、第一演算ステップ（Ｓ０１０１）にて全ての画素について四画素平均値を取得した後に、第二演算ステップ（Ｓ０１０２）を実行するものとして説明を行ったが、必ずしも第一演算ステップ（Ｓ０１０１）を全て完了してから第二演算ステップ（Ｓ０１０２）を行う必要はない。第一演算ステップ（Ｓ０１０１）と、第二演算ステップ（Ｓ０１０２）とを並行して行うことも可能である（以下、本明細書の演算ステップについて同様）。

<実施形態１の処理の流れ>
図４に本実施形態における処理の流れの一例を示す。まず、各画素を囲む上下左右の４画素の有する値の平均値である四画素平均値を取得する（Ｓ０４１１）。続いて、画像を構成する格子状画素の全てについて四画素平均値を取得したかを判断する（Ｓ０４１２）。ステップＳ０４１２にて全ての平均値を取得していないと判断した場合には、ステップＳ０４１１の処理を繰り返す。ステップＳ０４１２にて格子状画素の全てについて四画素平均値を取得したと判断した場合には、四画素平均値を利用して目的値を取得する（Ｓ０４２１）。そして、ステップＳ０４２１の処理を未選択の画素がなくなるまで繰り返す（Ｓ０４２２）。

<実施形態１の効果>
本実施形態においては、各画素を囲む上下左右の４画素の有する値の平均値である四画素平均値を取得し、当該四画素平均値を利用することで、少ない演算量で高速に注目画素の目的値を取得することが可能となる。

<<実施形態２>>
<実施形態２の概要>
本実施形態における画像処理方法は、目的値を算出する演算方法として、選択された注目画素及び、その注目画素の周辺に配置された画素の値に重み付けを行った結果の目的値を算出する画像処理方法である。そして、重み付けを行った結果の目的値を算出する方法として、注目画素を取り囲む周辺８画素の四画素平均値を利用する画像処理方法である。

<実施形態２の構成>
図５に本実施形態における構成例を示す。図５に示す本実施形態の画像処理方法は、第三演算ステップ（Ｓ０５０１）と、第四演算ステップ（Ｓ０５０２）と、からなる。第四演算ステップ（Ｓ０５０２）は、未選択の画像画素がなくなるまで繰り返し処理を行う（Ｓ０５０３）。第三演算ステップ（Ｓ０５０１）については、実施形態１で説明した第一演算ステップと同様であるため、ここでの説明は省略する。以下の実施形態２の説明においては、最初に構成の説明を行い、その後に具体例を挙げて説明することにする。

「第四演算ステップ」（Ｓ０５０２）は、格子状画素から注目画素を選択し、選択された注目画素及び、その注目画素の周辺に配置された画素の値に対称な重み付けを行って注目画素に関連付けられた値である目的値を取得するステップであって、前記第三演算ステップにて取得した全ての四画素平均値の中で、注目画素を取り囲む８画素に関連付けて得られた８つの四画素平均値の加算値に基づいて前記目的値を取得する。このように第四演算ステップ（Ｓ０５０２）は、四画素平均値を利用して、前記囲まれる画素の目的値を取得するステップである点で、実施形態１にて説明した第二演算ステップと共通している。以下、第四演算ステップの詳細について第二演算ステップで説明していない点を中心に説明する。

「格子状画素から注目画素を選択」とは、目的値算出の対象画素となる注目画素を全ての格子状画素の中から選択することである。「その注目画素の周辺に配置された画素」は、実施形態１で説明したような注目画素の上下左右に隣接する画素に限られることはない。例えば、図６は、太線で囲まれた画素を注目画素とし、重み付けの一例を示す乗数を画素上に示している図であるが、図６に示すように、注目画素に直接隣接していない画素についても「その注目画素の周辺に配置された画素」に該当する。当該周辺に配置された画素は、目的値を算出する際の演算対象となる画素である。このように、当該周辺に配置された画素の数が多くなれば、より広範な範囲での目的値を算出することが可能となる。「対称な重み付け」とは、図６に示すように、注目画素を中心にその向き合う位置関係にある画素については同一の重みを付けることである。対称な重みを付けることにより、画像の入力手段であるレンズの収差によるブレを修正することができる。「注目画素に関連付けられた値である目的値」とは、前記注目画素を選択した場合に、当該注目画素に対して一意に決定される目的値のことである。このように、本実施形態における第四演算ステップ（Ｓ０５０２）は、重み付けを行った結果の目的値を取得するステップである。以下、第四演算ステップ（Ｓ０５０２）における演算方法を説明する。

第四演算ステップ（Ｓ０５０２）は、前記第三演算ステップ（Ｓ０５０１）にて取得した全ての四画素平均値の中で、注目画素を取り囲む８画素に関連付けて得られた８つの四画素平均値の加算値に基づいて前記目的値を取得する。「第三演算ステップにて取得した全ての四画素平均値」とは、第三演算ステップにて取得し得た全ての四画素平均値のことであり、必ずしも画像を構成する格子状画素全てについて関連付けられた四画素平均値でなくてもよい。第三演算ステップ（Ｓ０５０１）と第四演算ステップ（Ｓ０５０２）は同時並行して実行されてもよいからである。四画素平均値は、第三演算ステップ（Ｓ０５０１）において、その囲まれる画素と関連付けて取得されるため、格子状画素における画素位置が明確となっている。図７を用いて説明する。図７（ａ）は、太線枠で囲まれた画素(x,y)を注目画素とした場合の周辺画素の関係を示した図である。図７（ｂ）は、注目画素(x,y)に関連付けられた四画素平均値A(x,y)と、その周辺８画素の関係を示した図である。図７の（ａ）と（ｂ）におけるＸ座標、Ｙ座標は同一の位置を示しているものとする。「注目画素を取り囲む８画素」とは、例えば、図７（ｂ）の斜線で示す８画素のことである。「注目画素を取り囲む８画素に関連付けて得られた８つの四画素平均値」とは、図７（ｂ）で示すように、注目画素(x,y)を囲む８つの画素にそれぞれ関連付けられている四画素平均値A(x-1,y-1)、A(x-1,y)、A(x-1,y+1)、A(x,y-1)、A(x,y+1)、A(x+1,y-1)、A(x+1,y)、A(x+1,y+1)である。「８つの四画素平均値の加算値に基づいて前記目的値を取得」とは、前記８つの四画素平均値を加算して８で除算すること、すなわち、８つの四画素平均値のさらにその平均値を算出することで、目的値を取得してもよいし、あるいは８つの四画素平均値を加算して、所定の係数を乗算することで目的値を取得してもよい。その他の内容については実施形態１で説明したものと同様である。なお、前記目的値は、前記周縁画素を注目画素とした場合であっても取得することは可能である。図８の例で説明すると、仮に注目画素を（x-2,y-2）とした場合には、画素（x-1,y-2）、(x-1,y-1)、(x-2,y-1)に関連付けて得られた四画素平均値A（x-1,y-2）、A(x-1,y-1)、A(x-2,y-1)の合計値を乗除算するなどして、「注目画素を取り囲む8画素に関連付けて得られた８つの四画素平均値」であるものと代用して目的値を取得することも可能である。このように、「目的値」は周縁画素についても算出することが可能である（本明細書を通じて同様である）。以下に、実施形態２における具体例を挙げて説明する。

<実施形態２の具体例>
以下の具体例においては、図６で示したように、前記目的値を取得するステップで利用される重み付けは、注目画素の重み付け乗数を４、注目画素の周辺８画素の重み付け乗数を２、前記周辺８画素の上下左右のいずれかに隣接する隣接画素であって、注目画素からみて外側に隣接する最外周１２画素の重み付け乗数を１とする対称重み付けであるものとして説明を行う。図６で示す中央の注目画素に関連付けられた値である目的値をA21（「21」は重み付けした画素の個数を示す）とすると、計算すべき式は、次のとおりである。
A21(x,y)＝(V(x-2,y-1)＋V(x-2,y)＋V(x-2,y+1)＋V(x-1,y-2)＋V(x-1,y-1)×2＋V(x-1,y)×2＋V(x-1,y+1)×2＋V(x-1,y+2)＋V(x,y-2)＋V(x,y-1)×2＋V(x,y)×4＋V(x,y+1)×2＋V(x,y+2)＋V(x+1,y-2)＋V(x+1,y-1)×2＋V(x+1,y)×2＋V(x+1,y+1)×2＋V(x+1,y+2)＋V(x+2,y-1)＋V(x+2,y)＋V(x+2,y+1))／32
このような対称重み付けを行った結果得られる目的値を全ての画素について算出するには、従来は多くの処理を必要としていた。図９に、従来方式による目的値の算出方法を示す。最初に各画素の値を画素値保持部などから読み出す。図９の点線よりも上部で示す画素については、重みが１であるため、そのまま加算処理を行っている。点線よりも下部で示す画素については、重みが２であるため、加算処理を行ってから１ｂｉｔ左シフトを行う。また、注目画素の値V(x,y)については、重みが４であるため１ｂｉｔ左シフトを行った値を前記重みが２の画素の加算値に加算する。そして、点線の上下部分で示す画素を加算して５ｂｉｔ右シフトを行うことで、上記計算式を実現している。以上説明した計算式を、全ての画素について行うことで、全ての画素の目的値を算出する。これを一画素当たりの目的値を算出するために必要な処理量として数えると、
読み出し処理：２１回
書き込み処理：０回
加算処理：２０回
シフト処理：３回
となる。

一方、本実施形態においては、前記重み付けた目的値A21を算出する場合に計算すべき式は次のとおりである。
A21(x,y)=(A(x-1,y-1)＋A(x-1,y)＋A(x-1,y+1)＋A(x,y-1)＋A(x,y+1)＋A(x+1,y-1)＋A(x+1,y)＋A(x+1,y+1))／8
図６及び図７を用いて前記式の補足説明をする。注目画素の値V(x,y)を例に挙げて説明すると、図６で示すように注目画素の値V(x,y)は重みが４となる必要がある。ここで、図７（ｂ）を用いて説明すると、四画素平均値中で、V(x,y)はA(x,y-1)、A(x+1,y)、A(x,y+1)、A(x-1,y)の４つの四画素平均値の算出時に利用されている。従って、結果として重みを４とした値を利用していることになる。同様に、V(x,y)の右隣の画素の値V(x+1,y)については、A(x+1,y-1)、A(x+1,y+1)の２つの四画素平均値の算出時に利用されており、結果として重みを２とした値を利用していることになる。また、更に右隣のV(x+2,y)については、A(x+1,y)の１つの四画素平均値の算出時に利用されており、結果として重みを１とした値を利用していることになる。このように、注目画素を取り囲む８画素に関連付けて得られた８つの四画素平均値の加算値から画素の数である８を除算することで、結果的に図６で示した重み付けをした結果の目的値を取得することができる。かかる演算処理によって取得された目的値は、前記の従来方式を行って得られた目的値と同じ値となる。

図１０に本実施形態における一画素当たりの目的値の演算処理量を示す。図１０は全ての画素についての演算処理を行った場合における一画素当たりの目的値を算出するために必要な処理量の概念を示すものである。本実施形態においては、まず第三演算ステップにて、全ての画素を読み出して、四画素平均値を算出する。そして、これらの算出した四画素平均値は記憶装置に書き込まれる。かかる処理量は、全ての画素に対して行われる。これを一画素単位として概念的に考えると、一の注目画素(x,y)につき、一の四画素平均値A(x,y)を算出することになる。その後、実際に目的値を取得する処理を行う場合には、既に説明したとおり、注目画素(x,y)を取り囲む８画素の四画素平均値を記憶装置から読み出し全て加算して、８で除算するために３ｂｉｔ右シフトを行うことで目的値の算出が実現できる。以上の処理量が一画素当たりの目的値を算出するために必要となる演算量である。すなわち、必要な処理量としては、まず全画素の四画素平均値A(x,y)を求めるために、
画像値の読み出し処理：４回×総画素数
加算処理：３回×総画素数
シフト処理：１回×総画素数
記憶装置への書き込み処理：１回×総画素数
が必要となり、目的値A21を求めるためには、
記憶装置からの読み出し処理：８回×総画素数
加算処理：７回×総画素数
シフト処理：１回×総画素数
が必要となる。これを１画素当たりの目的値を算出するために必要な処理量として表すと、
読み出し処理：１２回
書き込み処理：１回
加算処理：１０回
シフト処理：２回
となる。このように、本実施形態の画像処理方法を使用すると、従来の処理と比較して大幅に処理量を削減することができ、高速な画像処理を実現することが可能となる。

<実施形態２の処理の流れ>
図１１に本実施形態における処理の流れの一例を示す。ステップＳ１１２１以外の処理の流れについては実施形態１で説明したものと同様であるため、ここでの説明は省略する。ステップＳ１１２１においては、第三演算ステップ（Ｓ１１１０）にて取得した全ての四画素平均値の中で、注目画素を取り囲む８画素に関連付けて得られた８つの四画素平均値の加算値に基づいて目的値を取得する。注目画素の周りの８画素に関連付けられた四画素平均値を用いることで、重み付けを行った結果の目的値を取得することが可能となる。

<実施形態２の効果>
本実施形態においては、注目画素周辺の目的値を、重み付けを加味して算出する場合においても少ない演算量で、かつ、高速に目的値を算出することが可能となる。これにより、ノイズが発生した場合などにおける画像処理の高速化を実現することができる。

<<実施形態３>>
<実施形態３の概要>
本実施形態における画像処理方法は、実施形態２で説明した目的値を算出する演算方法と異なり、注目画素自体の値には重みをつけずに、注目画素の周辺に配置された画素の値にのみ重み付けを行った結果の目的値を算出する画像処理方法である。そして、重み付けを行った結果の目的値を算出する方法として、注目画素の値及び、注目画素を取り囲む周辺８画素の四画素平均値を利用する画像処理方法である。

<実施形態３の構成>
図１２に本実施形態における構成例を示す。図１２に示す本実施形態の画像処理方法は、第五演算ステップ（Ｓ１２０１）と、第六演算ステップ（Ｓ１２０２）と、からなる。第六演算ステップ（Ｓ１２０２）は、未選択の画像画素がなくなるまで繰り返し処理を行う（Ｓ１２０３）。第五演算ステップ（Ｓ１２０１）については、実施形態１で説明した第一演算ステップと同様であるため、ここでの説明は省略する。以下の実施形態３の説明においては、最初に構成の説明を行い、その後に具体例を挙げて説明することにする。

第六演算ステップ（Ｓ１２０２）は、実施形態２で説明した第四演算ステップと同様に、目的値を取得するステップであるが、第四演算ステップと異なり、格子状画素から注目画素を選択し、選択された注目画素の周辺に配置された画素の値に対称な重み付けを行なって注目画素に関連付けられた値である目的値を取得するステップである。実施形態２で説明した第四演算ステップにおいては、注目画素自体の値についても重み付けを行うが、本実施形態における第六演算ステップ（Ｓ１２０２）においては選択された注目画素の周辺に配置された画素の値のみに重み付けを行う点で異なっている。注目画素自体の値を目的値に加味しないため、注目画素の値と周辺画素の目的値たる平均濃度との差異がより明確になる。

そして、かかる注目画素の値に重み付けを行わないために、第六演算ステップ（Ｓ１２０２）は、前記第五演算ステップ（Ｓ１２０１）にて取得した全ての四画素平均値の中で、注目画素及び、その注目画素を取り囲む８画素に関連付けて得られた９つの四画素平均値の加算値から、注目画素の値を差し引いた差分値に基づいて前記目的値を取得する。９つの四画素平均値から注目画素の値を差し引くことで、結果的に注目画素自体の値を目的値に加味しないで済む。本実施形態における画像処理方法では、実施形態１で説明した画像処理方法と同様に、第六演算ステップ（Ｓ１２０２）を、注目画素として未選択の画素がなくなるまで繰り返すことで全ての画素について目的値を得ることにより画像を評価する情報とする。このような処理を行うことにより、実施形態２と同様に、四画素平均値を利用して目的値を取得することで、演算量を大幅に削減することができる。以下、具体例を基に説明する。

<実施形態３の具体例>
以下、本実施形態における具体例としては、図１３で示したように、前記目的値を取得するステップで利用される重み付けは、注目画素の上下左右の周辺４画素の重み付け乗数を３、注目画素の周辺８画素のうち前記上下左右の周辺４画素を除く残りの周辺４画素の重み付け乗数を２、前記周辺８画素の上下左右のいずれかに隣接する隣接画素であって、注目画素からみて外側に隣接する最外周１２画素の重み付け乗数を１とする対称重み付けである。図１２で示す中央の注目画素に関連付けられる目的値をA20（「20」は重み付けした画素の個数を示す）とすると、計算すべき式は次のとおりである。
A20(x,y)＝(V(x-2,y-1)＋V(x-2,y)＋V(x-2,y+1)＋V(x-1,y-2)＋V(x-1,y-1)×2＋V(x-1,y)×3＋V(x-1,y+1)×2＋V(x-1,y+2)＋V(x,y-2)＋V(x,y-1)×3＋V(x,y+1)×3＋V(x,y+2)＋V(x+1,y-2)＋V(x+1,y-1)×2＋V(x+1,y)×3＋V(x+1,y+1)×2＋V(x+1,y+2)＋V(x+2,y-1)＋V(x+2,y)＋V(x+2,y+1))／32
このような対称重み付けを行った結果得られる目的値を全ての画素について算出するには、従来は多くの処理を必要としていた。図１４に、従来方式による目的値の算出方法を示す。最初に各画素の値を画素値保持部などから読み出す。図１４の点線よりも上部に示す画素については、重みが１であるため、そのまま加算処理を行っている。点線よりも下部に示す画素については、重みが２であるため、加算処理を行ってから１ｂｉｔ左シフトを行う。また、二点鎖線よりも下部に示す画素については重みが３であるため、加算処理を行った値と、当該加算処理を行った値を1bit左シフトした値とを加算している。３の乗算についてはこのように、A×3＝A＋A×２の演算によって処理を行うことができる。なお、注目画素の値V(x,y)については加算対象ではない。そして、これらの加算した結果の値を更に加算して、当該加算値を５ｂｉｔ右シフトを行うことで、上記計算式を実現している。以上説明した計算式を、全ての画素について行うことで、全ての画素の目的値を算出する。これを一画素当たりの目的値を算出するために必要な処理量として数えると、
読み出し処理：２０回
書き込み処理：０回
加算処理：２０回
シフト処理：３回
となる。

一方、本実施形態においては、前記重み付けた目的値A20を算出する場合に計算すべき式は次のとおりである。
A20(x,y)＝(A(x-1,y-1)＋A(x-1,y)＋A(x-1,y+1)＋A(x,y-1)＋A(x,y)＋A(x,y+1)＋A(x+1,y-1)＋A(x+1,y)＋A(x+1,y+1)−V(x,y))／8
図１５を用いて前記式の補足説明をする。前記演算式は図１５（ｂ）のように注目画素及び、注目画素を取り囲む８画素に関連付けて得られた９つの四画素平均値を利用した式である。本実施形態においては、実施形態２の具体例で説明した四画素平均値に比べて、注目画素に関連付けて得られた四画素平均値A(x,y)が加わっている。これにより、図１３で示すような重みが３の部分を実現させている。また、かかる平均値から注目画素の値V(x,y)を差し引くことで、結果的に、注目画素にかかる４の重み部分を打ち消している。従って、このように注目画素及び、注目画素を取り囲む８画素に関連付けて得られた９つの四画素平均値の加算値から、注目画素の値を差し引いた差分値から８を除算することで、図１３で示した重み付けをした結果の目的値を取得することができる。かかる演算処理によって取得された目的値は、前記の従来方式を行って得られた目的値と同じ値となる。

図１６に本実施形態における一画素当たりの目的値を算出するために必要な演算処理量を示す。図１６は実施形態２の具体例で説明したものと同様に、全ての画素についての演算処理を行った場合における一画素当たりの目的値を算出するために必要な処理量の概念を示すものである。本実施形態においては、まず第五演算ステップにて、全ての画素を読み出して、四画素平均値を算出する。これらの算出した四画素平均値は記憶装置に書き込まれる。続いて、実際に目的値を取得する処理を行う場合には、既に説明したとおり、注目画素及び注目画素を取り囲む８画素の９つの四画素平均値を記憶装置から読み出し全て加算する。これに併せて、画素値保持部から注目画素の値V(x,y)を読み出して前記四画素平均値の加算値から減算する。このようにして得られた差分値を、８で除算するために３ｂｉｔ右シフトを行うことで目的値の算出が実現できる。以上の処理量が一画素当たりに必要となる演算量である。すなわち、必要な処理量として、まず全画素の四画素平均値A(x,y)を求めるためには、
画素値の読み出し処理：４回×総画素数
加算処理：３回×総画素数
シフト処理：１回×総画素数
記憶装置への書き込み処理：１回×総画素数
となり、注目画素の目的値A20を求めるためには、
記憶装置からの読み出し処理：９回×総画素数
画素値の読み出し処理：１回×総画素数
加減算処理：９回×総画素数
シフト処理：１回×総画素数
が必要となる。これを１画素当たりの目的値を算出するために必要な処理量として表すと、
読み出し処理：１３回
書き込み処理：１回
加減算処理：１２回
シフト処理：２回
となる。このように、本実施形態の画像処理方法を使用すると、従来の処理と比較して大幅に処理量を削減することができ、高速な画像処理を実現することが可能となる。以上説明した画像処理方法は目的値の一例である周辺平均濃度を求める一例であり、重み係数を変更したり、目的値を求める範囲をより広範囲にすることも可能である。かかる場合であっても、最初に各画素について四画素平均値を取得し、当該四画素平均値を利用することで、より少ない演算量で目的値を取得することが可能となる。

<実施形態３の処理の流れ>
図１７に本実施形態における処理の流れの一例を示す。ステップＳ１７２１以外の処理の流れについては実施形態１で説明したものと同様であるため、ここでの説明は省略する。ステップＳ１７２１においては、第五演算ステップ（Ｓ１７１０）にて取得した全ての四画素平均値の中で、注目画素及び、注目画素を取り囲む８画素に関連付けて得られた９つの四画素平均値の加算値から注目画素の値を差し引いた差分値に基づいて目的値を取得する。

<実施形態３の効果>
本実施形態においては、注目画素周辺の目的値を、重み付けを加味して算出する場合においても少ない演算量で、かつ、高速に目的値を算出することが可能となる。これにより、ノイズなどの画像処理の高速化を実現することができる。また、注目画素自身の値を目的値として算出対象に含めないため、注目画素周辺の目的値との差異が明確になる。

<<実施形態４>>
<実施形態４の概要>
本実施形態は、実施形態１又は２で説明した画像処理方法を実現するための画像処理装置について説明する。前述した画像処理方法によることで、少ない回路資源で目的値を高速に取得することが可能となる。また、四画素平均値の算出と目的値の算出とを並行して行うために、少ない演算段数で高速な処理を実現することができる。

<実施形態４の構成>
図１８に本実施形態における画像処理装置の機能ブロック図の一例を示す。図１８で示す本実施形態の「画像処理装置」（１８００）は、「画素値取得部」（１８０１）と、「第一レジスタ部」（１８０２）と、「四画素平均値算出部」（１８０３）と、「第二レジスタ部」（１８０４）と、「第一目的値算出部」（１８０５）と、を有する。

「画像処理装置」（１８００）とは、格子状画素によって表示される画像を、任意の画素を注目画素としたときに、注目画素とその周辺の画素が有する値に基づいて得られる目的値によって評価する装置である。すなわち、実施形態１から３で説明した画像処理方法を実現するための構成を有する装置である。「画素値取得部」（１８０１）は、前記格子状画素の画素の値を行ごとに順にトレースして取得する。「前記格子状画素」とは、実施形態１で説明した格子状画素と同様である。「画素の値」は、実施形態１で説明したものと同様であり、例えばV(x,y)と表すことができるものとする。「行ごとに順にトレースして取得」とは、例えば、X方向の評価対象となる画素数+1をm、Y方向の評価対象となる画素数+1をnとすると、画素値V(0,0)、V(1,0)、V(2,0)・・・V(m,0)、V(0,1)、V(1,1)・・・V(m,1)、V(0,2)、V(1,2)・・・V(m,n)の順で、その並び順を崩すことなく画素値を取得することが挙げられる。画素値取得部の一例としては、撮像素子やＡ／Ｄ変換器や、これらを組み合わせたものが挙げられる。

「第一レジスタ部」（１８０２）は、前記画素値取得部（１８０１）にて取得された画素値を順に入力することで、順に一の画素を中心として上下左右に配置される四画素の値を保持する。「順に入力する」とは、前記画素値取得部（１８０１）にて取得された順番に入力することである。「一の画素を中心として上下左右に配置される四画素の値を保持する」とは、任意の一画素に対して、当該画素の上下左右に位置している四画素の値を保持することである。図１９を用いて説明する。図１９は、本実施形態における第一レジスタ部の概念を説明するための図である。図１９（ａ）は５×５の格子状画素を示す図であり、画素の値が1A、1B、1C、1D、1E、2A・・・5Eの順に画素値取得部にて取得されるものとする。図１９（ｂ）は、画素値取得部の一例であるＡ／Ｄ変換器と、第一レジスタ部（１８０２）との構成の一例を示す図である。図１９（ｂ）に示すように、第一レジスタ部（１８０２）は、シフトレジスタａ，ｂ，ｃと、部外のラインバッファ１と、部外のラインバッファ２の２つのラインバッファと、これらのラインバッファからの値を入力保持するシフトレジスタｄ，ｅ，ｆ，ｇ，ｈ，ｉから構成されている。ここで、「シフトレジスタ」とは、一画素分の画素値を保持する機能を有し、結果的に画素値V(x,y)を入力すると画素値V(x-1,y)が出力される機能を有するものである。また、「ラインバッファ」とはファーストイン・ファーストアウト構成で、格子状画素の一行分の画素を保持する機能を有しており、結果的に画素値V(x,y)を入力すると画素値V(x,y-1)が出力されることを示している。図１９（ｂ）では、図１９（ａ）で示した5Dまでの値が第一レジスタ部に既に入力されているものとする。ここで、Ａ／Ｄ変換器から5Eの画素の値が出力された場合には、まずシフトレジスタａに5Eが入力される。すると、シフトレジスタａからは既に入っていた画素値5Dが出力され、シフトレジスタｂへと入力されていく。一方、Ａ／Ｄ変換器から出力された5Eの値はラインバッファ１にも格納される。ラインバッファ１はファーストイン・ファーストアウトの構造であるため、新しい値5Eが入力されたときに、最も先に入力された値である4Eを出力する。出力された4Eの値はシフトレジスタｄ及びラインバッファ２へと出力され、以降同様に画素の値が移動していく。このように、シフトレジスタとラインバッファを構成することで、シフトレジスタに一の画素を中心として上下左右に配置される四画素の値を保持することが可能となる。例えば、図１９（ｂ）の点線で囲まれている十字部分は、一の画素の値を４Ｃとした場合に、当該画素値を有する画素の上下左右に配置される画素の値（５Ｃ、４Ｄ、４Ｂ、３Ｃ）を保持可能な状態を指し示しているものである。

「四画素平均値算出部」（１８０３）は、前記第一レジスタ部（１８０２）に保持される前記四画素の値を用いて、それらの画素の平均値を前記一の画素に対応する四画素平均値として順に算出する。「第一レジスタ部に保持される四画素の値」とは、前記一の画素を中心として上下左右に配置される四画素の値をことである。「四画素平均値」は実施形態１から３で説明したものと同様である。「順に算出する」とは、第一レジスタ部（１８０２）が順に出力した画素値を用いて、各画素ごとに四画素平均値を順次算出することを示している。図１９の例においては、図外の四画素平均値算出部は、既に画素値４Ｂを有する画素の四画素平均値を算出しており、次に、画素値５Ｅが第一レジスタ部に入力されたことに起因して各シフトレジスタが排出するシフトレジスタの値を利用して、画素値４Ｃを有する画素を中心とした四画素平均値を算出することになる。このように四画素平均値を「順に算出する」ことによって、所定の画素数分の画素値を入力した後は、一の画素値が第一レジスタ部に入力されることで、常に一の四画素平均値が算出されることになる。四画素平均値を利用することで、目的値の算出に要する演算量が少なくなる点については実施形態１から３で説明したとおりである。四画素平均値算出部の一例としては、加算器や減算器が挙げられる。平均値の計算には、既に説明したように、加減算処理とシフト処理が必要となるからである。なお、デジタル回路でのシフト処理は信号の接続をずらすことで実現することできる。以下、本実施形態における算出部について同様である。

「第二レジスタ部」（１８０４）は、前記四画素平均値算出部（１８０３）にて算出される四画素平均値を算出された順に入力することで、順に注目画素を囲む八画素に対応する四画素平均値を保持する。「四画素平均値算出部にて算出された四画素平均値」には、既に説明した周縁画素について対応する四画素平均値も含まれる場合があってもよい。「算出された順に入力」とは、前記四画素平均値算出部（１８０３）にて「順に算出」された四画素平均値を、その算出された順番に入力することである。既に説明したとおり四画素平均値算出部（１８０３）では、一の画素値が第一レジスタ部（１８０２）に入力されることに起因して一の四画素平均値を算出するため、結果的に、一の画素値が第一レジスタ部（１８０２）に入力されることに連動して、一の四画素平均値が第二レジスタ部（１８０４）に入力されることになる。なお、第二レジスタ部（１８０４）についても、第一レジスタ部（１８０２）と同様に図２０（ｂ）で示すような構成をとることができる。ここでは、図２０（ｂ）は、格子状画素の各画素に対応する四画素平均値がシフトレジスタやラインバッファに保持されている様子を示すものとする。「注目画素を囲む八画素」とは、図２０（ｂ）の例では、対応する四画素平均値が１４Ｃである画素の周囲の八画素（各画素に対応する四画素平均値は１５Ｄ、１５Ｃ、１５Ｂ、１４Ｄ、１４Ｂ、１３Ｄ、１３Ｃ、１３Ｂ）のことである。このような八画素に対応する四画素平均値を「順に」保持するとは、四画素平均値算出部にて算出された四画素平均値を、その算出された順番どおりに保持することである。なお、「四画素平均値を順に」保持しているため、図２０（ｂ）に示すように、「注目画素」に対応する四画素平均値（４Ｃ）を必然的に保持していることになる。なお、前記周縁画素に対応する四画素平均値についても、実施形態１又は２で説明したとおり四画素平均値を算出することが可能であるため、周縁画素に対応する四画素平均値を保持することも可能である。また、実施形態１又は２で説明したような周縁画素に対応する四画素平均値を算出しない場合であっても、当該周縁画素に対応する四画素平均値としてのダミーの値を保持することも可能である。

第一レジスタ部（１８０２）と第二レジスタ部（１８０４）について、図１９及び図２０に基づいて説明を行ったが、第一レジスタ部（１８０２）の説明で示した「一の画素」と第二レジスタ部（１８０４）の説明で示した「注目画素」とは、同一の画素とはならない。第一レジスタ部と第二レジスタ部とは、それぞれ「順に」処理が行われるため、両者は連動しており、同一の画素とはならないからである。かかる部分の説明については、後述する具体例を基に説明を行う。

「第一目的値算出部」（１８０５）は、前記第二レジスタ部に保持される前記注目画素を囲む八画素に対応する四画素平均値を用いて、注目画素に対応する目的値を順に算出する。四画素平均値を用いて算出する方法については、実施形態１から３で説明したものと同様である。

<実施形態４の具体例>
以下、本実施形態における具体例について説明する。図２１に示す画像処理装置（２１００）は、「画素値取得部」（２１０１）と、「第一レジスタ部」（２１０２）と、「四画素平均値算出部」（２１０３）と、「第二レジスタ部」（２１０４）と、「第一目的値算出部」（２１０５）と、を有する。「第一レジスタ部」（２１０２）は、「第一シフトレジスタ」（２１０６）と、「第二シフトレジスタ」（２１０８）と、「第三シフトレジスタ」（２１１０）と、からなる。「第二レジスタ部」（２１０４）は、「第四シフトレジスタ」（２１１１）と、「第五シフトレジスタ」（２１１３）と、「第六シフトレジスタ」（２１１５）と、からなる。「画素値取得部」（２１０１）と、「四画素平均値算出部」（２１０３）と、「第一目的値算出部」（２１０５）については既に説明したとおりである。

最初に第一レジスタ部（２１０２）の各構成について説明する。「第一シフトレジスタ」（２１０６）は、画素値取得部（２１０１）にて取得された画素値を入力して、入力順にシフト保持する。「入力順にシフト保持する」とは、画素値が入力された場合には、既に保持していた画素値を他のシフトレジスタなどに対して出力し、新たに入力された画素値を保持することである。

「第二シフトレジスタ」（２１０８）は、画素値取得部（２１０１）にて取得した画素値を入力して、格子状画素の一行分遅延して画素値を出力する第一ラインバッファ（２１０７）から出力される画素値を入力して、入力順にシフト保持する。第二シフトレジスタ（２１０８）も、第一レジスタ（２１０６）と同様に画素値を入力して、入力順にシフト保持する点で共通しているが、当該画素値が、格子状画素の一行分遅延して出力される画素値である点で相違している。これは、第一ラインバッファ（２１０７）が、画素値を入力して、格子状画素の一行分遅延して画素値を出力する機能を有しているために実現しているものである。第一ラインバッファ（２１０７）は、一行分の画素値を保持しているため、画素値取得部にて取得された画素値が、第一レジスタ（２１０６）と、第一ラインバッファ（２１０７）に入力されることにより、一行分遅延して画素値を出力することになる。

「第三シフトレジスタ」（２１１０）は、第一ラインバッファ（２１０７）から出力される画素値を入力して、格子状画素のさらに一行分遅延して画素値を出力する第二ラインバッファ（２１０９）から出力される画素値を入力して、入力順にシフト保持する。第三シフトレジスタ（２１１０）は、第二シフトレジスタ（２１０８）と同様に、ラインバッファから一行分遅延して出力される画素値を入力して、入力順にシフト保持する点で共通しているが、当該画素値が、格子状画素のさらに一行分遅延して出力される画素値である点で相違している。「格子状画素のさらに一行分遅延して画素値を出力」とは、第一ラインバッファ（２１０７）から出力される画素よりも、さらに一行分遅延して画素値を出力することである。すなわち、第三シフトレジスタ（２１１０）は、画素値取得部（２１０１）にて取得した画素値から二行分遅延して出力された画素値を入力することになる。以上説明したように第一レジスタ部（２１０２）が構成されることにより、３行分に相当する画素値が順に各シフトレジスタに入力されるため、順に一の画素を中心として上下左右に配置される四画素の値を保持することが可能となる。

続いて、第二レジスタ部（２１０４）の各構成について説明する。「第四シフトレジスタ」（２１１１）は、前記四画素平均値算出部（２１０３）にて算出される四画素平均値を順に入力して、入力順にシフト保持する。第四シフトレジスタ（２１１１）は、扱う値が四画素平均値算出部（２１０３）にて算出する四画素平均値である点を除いては、第一シフトレジスタ（２１０６）と同様である。「第五シフトレジスタ」（２１１３）は、四画素平均値を入力して、格子状画素の一行分遅延して四画素平均値を出力する第三ラインバッファ（２１１２）から出力される四画素平均値を入力して、入力順にシフト保持する。「格子状画素の一行分遅延して四画素平均値を出力」とは、四画素平均値算出部（２１０３）にて算出された四画素平均値が、一行分遅延して第三ラインバッファ（２１１２）から出力されることである。第五シフトレジスタ（２１１３）は、扱う値が前記四画素平均値算出部にて算出された四画素平均値である点を除いては、第二シフトレジスタ（２１０８）と同様である。「第六シフトレジスタ」（２１１５）は第三ラインバッファ（２１１２）から出力される四画素平均値を入力して、格子状画素のさらに一行分遅延して四画素平均値を出力する第四ラインバッファ（２１１４）から出力される四画素平均値を入力して、入力順にシフト保持する。第六シフトレジスタ（２１１５）は、扱う値が前記四画素平均値算出部にて算出された四画素平均値である点を除いて、第三シフトレジスタと同様である。

図２２を用いてさらに具体的に説明する。図２２は、実施形態２の具体例で説明した所定の重み付けを加味した計算方法を、本実施形態における画像処理装置で実現する際の構成例を示す図である。図中のＦ／Ｆは、シフトレジスタを示しており、Ｆ／Ｆ１、Ｆ／Ｆ２、Ｆ／Ｆ３、Ｆ／Ｆ４、Ｆ／Ｆ５、Ｆ／Ｆ６は、それぞれ第一シフトレジスタ、第二シフトレジスタ、第三シフトレジスタ、第四シフトレジスタ、第五シフトレジスタ、第六シフトレジスタに含まれるシフトレジスタを示している。ＦＩＦＯは、ラインバッファを示しており、ＦＩＦＯ１、ＦＩＦＯ２、ＦＩＦＯ３、ＦＩＦＯ４は、それぞれ第一ラインバッファ、第二ラインバッファ、第三ラインバッファ、第四ラインバッファを示している。これらを図２１のように構成することで目的値を算出することができる。既に説明したように、第一レジスタ部（２１０２）と第二レジスタ部（２１０４）にはそれぞれ値が順に入力されるため、注目画素(x,y)の目的値A21（「21」は実施形態２で説明した重み付けした画素の個数を示す）を順に計算するには図２２で示すようにV(x+4,y+2)までの画素の値を入力する必要がある。図２３を用いて説明すると、注目画素(x,y)の目的値を算出するには、四画素平均値A(x+1,y+1)が第四シフトレジスタから出力されることが必要となる。当該A(x+1,y+1)を読み出すためには、A(x+2,y+1)を第四シフトレジスタ（Ｆ／Ｆ４）に入力する必要がある。ここで、A(x+2,y+1)を算出するためには、V(x+3,y+1)、V(x+2,y+2)、V(x+1,y+1),V(x+2,y)の画素の値が必要になる。そして、順番として後から入力されるV(x+3,y+1)、V(x+2,y+2)の画素の値が出力されるには、V(x+4,y+2)の画素の値を第一シフトレジスタ（Ｆ／Ｆ１）と第一ラインバッファ（ＦＩＦＯ１）に入力することが必要となるのである。V(x+4,y+2)の画素の値が第一ラインバッファ（ＦＩＦＯ１）に入力されることで、第一ラインバッファ（ＦＩＦＯ１）から第二シフトレジスタ（Ｆ／Ｆ２）に対してはV(x+3,y+1)が出力されることになるからである。すなわち、図２２の例では、第一レジスタ部における「一の画素」とは、画素（x+2,y+1）のことであり、第二レジスタ部における「注目画素」とは、画素（x,y）のことになり、両者は異なる画素を示すことになる。

本実施形態は、目的値を算出する際に、注目画素を囲む周辺八画素に対応する四画素平均値を利用するものであるが、かかる四画素平均値は第四シフトレジスタ（Ｆ／Ｆ４）、第五シフトレジスタ（Ｆ／Ｆ５）、第六シフトレジスタ（Ｆ／Ｆ６）に保持されている。これらのシフトレジスタに保持されている値を利用することで、目的値を算出することができる。具体的な算出方法は実施形態２で説明したように、注目画素を囲む周辺八画素に対応する四画素平均値の加算値に基づいて算出する方法が挙げられる。

図２２に戻ると、ここで使用している回路資源は、
ＦＩＦＯ：４個
Ｆ／Ｆ：１８個
加算器：１０個
である。

一方、従来方式を用いて、同様の実施形態２の具体例で説明した重み付け後の目的値を取得する場合には、図２４で示す構成が必要になる。図２４で使用している回路資源は、
ＦＩＦＯ：４個
Ｆ／Ｆ：２３個
加算器：２０個
となる。このように本実施形態における画像処理装置を使用することで、回路資源を削減することが可能となる。また、四画素平均値の算出処理と目的値の算出処理とが同時並行して行われるため、高速に目的値を算出することができる。また、加算演算の段数を比較すると、本実施形態における加算演算の段数は、８つの四画素平均値の平均を加算するために、最大で３段である。これに対して、従来方式における加算演算の段数は５段である。加算演算の段数が多い場合には、演算が複雑になり、処理に時間がかかるため、１画素当たりの処理速度、つまりクロック周波数を上げることが困難になってしまう。従って、本実施形態における画像処理装置を用いることで、1画素当たりの処理速度も向上させることが可能となる。

<実施形態４の処理の流れ>
図２５に本実施形態における処理の流れの一例を示す。最初に画素値を取得する（Ｓ２５０１）。次に取得された画素値を順に入力することで、順に一の画素を中心として上下左右に配置される四画素の値を保持する（Ｓ２５０２）。そして、保持されている四画素の値を用いて前記一の画素に対応する四画素平均値を算出する（Ｓ２５０３）。そして、ステップＳ２５０３にて計算した四画素平均値を、算出された順に入力することで、順に注目画素を囲む八画素に対応する四画素平均値を保持する（Ｓ２５０４）。そして、保持されている注目画素を囲む八画素に対応する四画素平均値を用いて目的値を算出する（Ｓ２５０５）。以上の処理を繰り返すことで、全ての画素についての目的値を算出する。

<実施形態４の効果>
本実施形態における画像処理装置は、一の画素の値と、四画素平均値とが、それぞれ順にレジスタ部に入力されることにより、少ない回路資源で高速に目的値を算出することが可能になる。また、加算演算の段数も少なく済むため、クロック周波数を向上させることが容易となる。

<<実施形態５>>
<実施形態５の概要>
本実施形態においては、実施形態３で説明した画像処理方法を実現するための画像処理装置について説明する。実施形態４で説明した画像処理装置とは、目的値を算出する際の算出方法が異なるものである。

<実施形態５の構成>
図２６に本実施形態における画像処理装置の機能ブロック図の一例を示す。図２６で示す本実施形態の「画像処理装置」（２６００）は、「画素値取得部」（２６０１）と、「第三レジスタ部」（２６０２）と、「四画素平均値算出部」（２６０３）と、「第四レジスタ部」（２６０４）と、「第二目的値算出部」（２６０５）と、を有する。「第三レジスタ部」（２６０２）と、「第四レジスタ部」（２６０４）と、「第二目的値算出部」（２６０５）と、を除く各構成については実施形態４で説明したものと同様であるため、ここでの説明は省略する。

「第三レジスタ部」（２６０２）は、前記画素値取得部（２６０１）にて取得された画素値を順に入力することで、順に一の画素を中心として上下左右に配置される四画素の値及び、注目画素の値を保持する。実施形態４で説明した第一レジスタ部と異なる点は、保持する値が四画素の値の他に「注目画素の値」をも保持している点である。かかる「注目画素の値」は後述する目的値を算出する際に必要となるものである。その他については実施形態３で説明した第一レジスタ部と同様である。

「第四レジスタ部」（２６０４）は、前記四画素平均値算出部（２６０３）にて算出される四画素平均値を算出された順に入力することで、順に注目画素を中心とした九画素に対応する四画素平均値を保持する。実施形態４で説明した第二レジスタ部と異なる点は、保持する値が「注目画素を中心とした九画素に対応する四画素平均値」である点である。「注目画素を中心とした九画素」とは、注目画素及び、注目画素を囲む八画素のことである。本実施形態においては、目的値を算出する際に注目画素に対応する四画素平均値をも利用して目的値を算出するからである。その他については実施形態３で説明した第二レジスタ部と同様である。

「第二目的値算出部」（２６０５）は、前記第四レジスタ部（２６０４）に保持される前記注目画素を中心とした九画素に対応する四画素平均値と、前記第三レジスタ部（２６０２）に保持される注目画素の画素値と、を用いて、注目画素に対応する目的値を順に算出する。実施形態３で説明した第一目的値算出部と異なる点は、目的値を算出する際に、注目画素に対応する四画素平均値と、注目画素の画素値を利用する点である。かかる算出方法は、実施形態３で説明した具体例のような重み付けを行った結果の目的値を算出する場合に使用するものである。

<実施形態５の具体例>
以下、本実施形態における具体例について説明する。図２７に示す画像処理装置（２７００）は、「画素値取得部」（２７０１）と、「第三レジスタ部」（２７０２）と、「四画素平均値算出部」（２７０３）と、「第四レジスタ部」（２７０４）と、「第二目的値算出部」（２７０５）と、を有する。「第三レジスタ部」（２７０２）は、「第七シフトレジスタ」（２７０６）と、「第八シフトレジスタ」（２７０８）と、「第九シフトレジスタ」（２７１０）と、からなる。「第四レジスタ部」（２７０４）は、「第十シフトレジスタ」（２７１１）と、「第十一シフトレジスタ」（２７１３）と、「第十二シフトレジスタ」（２７１５）と、からなる。「画素値取得部」（２７０１）と、「四画素平均値算出部」（２７０３）と、「第二目的値算出部」（２７０５）については既に説明したとおりである。「第七シフトレジスタ」（２７０６）と、「第八シフトレジスタ」（２７０８）と、「第九シフトレジスタ」（２７１０）は、実施形態４で説明した「第一シフトレジスタ」、「第二シフトレジスタ」、「第三シフトレジスタ」とそれぞれ同じである。「第十シフトレジスタ」（２７１１）と、「第十一シフトレジスタ」（２７１３）と、「第十二シフトレジスタ」（２７１５）は、実施形態４で説明した「第四シフトレジスタ」、「第五シフトレジスタ」、「第六シフトレジスタ」とそれぞれ同じである。

本実施形態は、目的値を算出する方法として、注目画素を中心とした九画素に対応する四画素平均値と、注目画素の値を利用するものであるが、かかる四画素平均値は第十シフトレジスタ（２７１１）、第十一シフトレジスタ（２７１３）、第十二シフトレジスタ（２７１５）に保持されている。また、注目画素の値は第九シフトレジスタ（２７１０）に保持されている。これらのシフトレジスタに保持されている値を利用することで、目的値を算出することが可能となる。具体的な算出方法は、実施形態３で説明したように、注目画素を中心とした九画素に対応する四画素平均値を全て加算し、加算後の値から注目画素の値を減算した値を除算する方法が挙げられる。

図２８に本実施形態における画像処理装置の一実施例を示す。図２８で示す画像処理装置は、実施形態３の具体例で説明した所定の重み付けを加味した計算方法を、本実施形態における画像処理装置で実現する際の構成例を示す図である。実施形態４で説明したものと同様に、図２８のように構成することで目的値を算出することができる。図２８で使用している回路資源は、
ＦＩＦＯ：４個
Ｆ／Ｆ：１８個
加減算器：１２個
である。

一方、実施形態３の具体例で説明した所定の重み付けを従来方式で行う場合には、図２９で示す構成が必要になる。図２９で使用している回路資源は、
ＦＩＦＯ：４個
Ｆ／Ｆ：２３個
加算器：２０個
となる。このように本実施形態における画像処理回路を使用することで、回路資源を削減することが可能となる。また、加算演算の段数を比較すると、本実施形態における加算演算の段数は、９つの四画素平均値の平均を加算し注目画素の値を減算するために、最大で４段である。これに対して、従来方式における加算演算の段数は５段である。従って、実施形態４で説明したものと同様に本実施形態における画像処理回路を用いることで、1画素当たりの処理速度も向上させることが可能となる。

<実施形態５の処理の流れ>
図３０に本実施形態における処理の流れの一例を示す。最初に画素値を取得する（Ｓ３００１）。次に取得された画素値を順に入力することで、順に一の画素を中心として上下左右に配置される四画素の値及び注目画素の値を保持する（Ｓ３００２）。そして、保持されている四画素の値を用いて前記一の画素に対応する四画素平均値を算出する（Ｓ３００３）。そして、ステップＳ３００３にて計算した四画素平均値を、算出された順に入力することで、順に注目画素を中心とした九画素に対応する四画素平均値を保持する（Ｓ３００４）。そして、保持されている注目画素を中心とした九画素に対応する四画素平均値及び注目画素の画素値とを用いて目的値を算出する（Ｓ３００５）。以上の処理を繰り返すことで、全ての画素についての目的値を算出する。

<実施形態５の効果>
本実施形態における画像処理装置は、実施形態４と同様に、一の画素の値と、四画素平均値とが、それぞれ順にレジスタ部に入力されることにより、少ない回路資源で高速に目的値を算出することが可能になる。また、加算演算の段数も少なく済むため、クロック周波数を向上させることが容易となる。

実施形態１の構成を説明するための図 四画素平均値を説明するための第一図 四画素平均値を説明するための第二図 実施形態１の処理の流れを説明する図 実施形態２の構成を説明するための図 実施形態２の重み付け乗数を説明するための図 実施形態２の四画素平均値の利用方法を説明する図 周縁画素の目的値の算出方法を説明する図 実施形態２を従来方式で行う場合の１画素当たりの演算量を示す図 実施形態２の１画素当たりの演算量を示す図 実施形態２の処理の流れを説明する図 実施形態３の構成を説明するための図 実施形態３の重み付け乗数を説明するための図 実施形態３を従来方式で行う場合の１画素当たりの演算量を示す図 実施形態３の四画素平均値の利用方法を説明する図 実施形態３の１画素当たりの演算量を示す図 実施形態３の処理の流れを説明するための図 実施形態４を説明するための機能ブロック図 シフトレジスタとラインバッファの処理を説明するための第一図 シフトレジスタとラインバッファの処理を説明するための第二図 実施形態４の具体的な構成の一例を示す図 実施形態４の演算回路の一例を示す図 実施形態４の演算回路を説明するための図 実施形態４を従来方式の演算回路で構成した一例を示す図 実施形態４の処理の流れを説明するための図 実施形態５を説明するための機能ブロック図 実施形態５の具体的な構成の一例を示す図 実施形態５の演算回路の一例を示す図 実施形態５を従来方式の演算回路で構成した一例を示す図 実施形態５の処理の流れを説明するための図

符号の説明

０１０１ 第一演算ステップ
０１０２ 第二演算ステップ

Claims (9)

1. 画像を構成する格子状画素の全てについて、各画素を囲む上下左右の４画素の有する値の平均値である四画素平均値を、その囲まれる画素と関連付けて取得する第一演算ステップと、
   前記第一演算ステップにて取得した四画素平均値を利用して、前記囲まれる画素によって囲まれる画素である注目画素の目的値を取得する第二演算ステップと、
   前記第二演算ステップを注目画素として未選択の画素がなくなるまで繰り返すことで全ての画素について目的値を得ることにより画像を評価する情報とする画像処理方法。
2. 画像を構成する格子状画素の全てについて、各画素を囲む上下左右の４画素の有する値の平均値である四画素平均値を、その囲まれる画素と関連付けて取得する第三演算ステップと、
   格子状画素から注目画素を選択し、選択された注目画素及び、その注目画素の周辺に配置された画素の値に対称な重み付けを行なって注目画素に関連付けられた値である目的値を取得するステップであって、
   前記第三演算ステップにて取得した全ての四画素平均値の中で、注目画素を取り囲む８画素に関連付けて得られた８つの四画素平均値の加算値に基づいて前記目的値を取得する第四演算ステップとからなり、
   第四演算ステップを、注目画素として未選択の画素がなくなるまで繰り返すことで全ての画素について目的値を得ることにより画像を評価する情報とする画像処理方法。
3. 前記目的値を取得するステップで利用される重み付けは、注目画素の重み付け乗数を４、注目画素の周辺８画素の重み付け乗数を２、前記周辺８画素の上下左右のいずれかに隣接する隣接画素であって、注目画素からみて外側に隣接する最外周１２画素の重み付け乗数を１とする対称重み付けである請求項２に記載の画像処理方法。
4. 画像を構成する格子状画素の全てについて、各画素を囲む上下左右の４画素の有する値の平均値である四画素平均値を、その囲まれる画素と関連付けて取得する第五演算ステップと、
   格子状画素から注目画素を選択し、選択された注目画素の周辺に配置された画素の値に対称な重み付けを行なって注目画素に関連付けられた値である目的値を取得するステップであって、
   前記第五演算ステップにて取得した全ての四画素平均値の中で、注目画素及び、その注目画素を取り囲む８画素に関連付けて得られた９つの四画素平均値の加算値から、注目画素の値を差し引いた差分値に基づいて前記目的値を取得する第六演算ステップとからなり、
   第六演算ステップを、注目画素として未選択の画素がなくなるまで繰り返すことで全ての画素について目的値を得ることにより画像を評価する情報とする画像処理方法。
5. 前記目的値を取得するステップで利用される重み付けは、注目画素の上下左右の周辺４画素の重み付け乗数を３、注目画素の周辺８画素のうち前記上下左右の周辺４画素を除く残りの周辺４画素の重み付け乗数を２、前記周辺８画素の上下左右のいずれかに隣接する隣接画素であって、注目画素からみて外側に隣接する最外周１２画素の重み付け乗数を１とする対称重み付けである請求項４に記載の画像処理方法。
6. 格子状画素によって表示される画像を任意の画素を注目画素としたときに、注目画素とその周辺の画素が有する値に基づいて得られる目的値によって評価する装置であって、
   前記格子状画素の画素の値を行ごとに順にトレースして取得する画素値取得部と、
   前記画素値取得部にて取得された画素値を順に入力することで、順に一の画素を中心として上下左右に配置される四画素の値を保持する第一レジスタ部と、
   前記第一レジスタ部に保持される前記四画素の値を用いて、それらの画素の平均値を前記一の画素に対応する四画素平均値として順に算出する四画素平均値算出部と、
   前記四画素平均値算出部にて算出される四画素平均値を算出された順に入力することで、順に注目画素を囲む八画素に対応する四画素平均値を保持する第二レジスタ部と、
   前記第二レジスタ部に保持される前記注目画素を囲む八画素に対応する四画素平均値を用いて、注目画素に対応する目的値を順に算出する第一目的値算出部と、
   を有する画像処理装置。
7. 格子状画素によって表示される画像を任意の画素を注目画素としたときに、注目画素とその周辺の画素が有する画素値に基づいて得られる目的値によって評価する装置であって、
   前記格子状画素の画素の値を行ごとに順にトレースして取得する画素値取得部と、
   前記画素値取得部にて取得された画素値を順に入力することで、順に一の画素を中心として上下左右に配置される四画素の値及び、注目画素の値を保持する第三レジスタ部と、
   前記第三レジスタ部に保持される前記四画素の値を用いて、それらの画素の平均値を前記一の画素に対応する四画素平均値として順に算出する四画素平均値算出部と、
   前記四画素平均値算出部にて算出される四画素平均値を算出された順に入力することで、順に注目画素を中心とした九画素に対応する四画素平均値を保持する第四レジスタ部と、
   前記第四レジスタ部に保持される前記注目画素を中心とした九画素に対応する四画素平均値と、前記第三レジスタ部に保持される注目画素の画素値と、を用いて、注目画素に対応する目的値を順に算出する第二目的値算出部と、
   を有する画像処理装置。
8. 前記第一レジスタ部は、
   画素値取得部にて取得された画素値を入力して、入力順にシフト保持する第一シフトレジスタと、
   画素値取得部にて取得した画素値を入力して、格子状画素の一行分遅延して画素値を出力する第一ラインバッファから出力される画素値を入力して、入力順にシフト保持する第二シフトレジスタと、
   第一ラインバッファから出力される画素値を入力して、格子状画素のさらに一行分遅延して画素値を出力する第二ラインバッファから出力される画素値を入力して、入力順にシフト保持する第三シフトレジスタと、
   からなり、
   前記第二レジスタ部は、
   前記四画素平均値算出部にて算出される四画素平均値を順に入力して、入力順にシフト保持する第四シフトレジスタと、
   四画素平均値を入力して、格子状画素の一行分遅延して四画素平均値を出力する第三ラインバッファから出力される四画素平均値を入力して、入力順にシフト保持する第五シフトレジスタと、
   第三ラインバッファから出力される四画素平均値を入力して、格子状画素のさらに一行分遅延して四画素平均値を出力する第四ラインバッファから出力される四画素平均値を入力して、入力順にシフト保持する第六シフトレジスタと、
   からなる請求項６に記載の画像処理装置。
9. 前記第三レジスタ部は、
   画素値取得部にて取得された画素値を入力して、入力順にシフト保持する第七シフトレジスタと、
   画素値取得部にて取得した画素値を入力して、格子状画素の一行分遅延して画素値を出力する第五ラインバッファから出力される画素値を入力して、入力順にシフト保持する第八シフトレジスタと、
   第五ラインバッファから出力される画素値を入力して、格子状画素のさらに一行分遅延して画素値を出力する第六ラインバッファから出力される画素値を入力して、入力順にシフト保持する第九シフトレジスタと、
   からなり、
   前記第四レジスタ部は、
   前記四画素平均値算出部にて算出される四画素平均値を順に入力して、入力順にシフト保持する第十シフトレジスタと、
   四画素平均値を入力して、格子状画素の一行分遅延して四画素平均値を出力する第七ラインバッファから出力される四画素平均値を入力して、入力順にシフト保持する第十一シフトレジスタと、
   第七ラインバッファから出力される四画素平均値を入力して、格子状画素のさらに一行分遅延して四画素平均値を出力する第八ラインバッファから出力される四画素平均値を入力して、入力順にシフト保持する第十二シフトレジスタと、
   からなる請求項７に記載の画像処理装置。

Images