JP2006309699A - 画像処理装置、画像処理方法、画素抽出方法、それらの方法をコンピュータにより実行可能なプログラム、及び、そのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】 理想的なマッチング性能を可能な限り実現しつつ計算量を大幅に削減させる画像処理装置等を提案することである。
【解決手段】 テンプレートから抽出部５により所望の画素を抽出してマッチング処理する画像処理装置１において、前記テンプレートには、抽出部５が常に抽出する固定的抽出画素と、抽出部５が選択的に抽出する選択的抽出画素と、抽出部５が抽出を除外する非抽出画素とが含まれ、前記選択的抽出画素になりうる候補画素から見て第１の方向に位置する２つの計算対象画素の関係、及び、前記候補画素から見て前記第１の方向とは異なる第２の方向に位置する２つの計算対象画素の関係を示す特徴量を所定の演算式を用いて計算する計算部３を有し、抽出部５が計算部３の計算結果に基づいて候補画素を選択的抽出画素として抽出する。
【選択図】 図１

Description

本発明は、画像処理装置、画像処理方法、画素抽出方法、それらの方法をコンピュータにより実行可能なプログラム、及び、そのプログラムを記録した記録媒体に関し、特に複数の画素を有する画像から抽出手段により所望の画素を抽出してマッチング処理する画像処理装置等に関する。

画像ブロックマッチングは、動画像圧縮における動き予測、動画像解析におけるオフティルフロー検出、ステレオ写真における奥行き位置検出、固定マークの検出など、様々な分野で用いられている。

図１９を参照して、画像ブロックマッチングについて、動画像圧縮における動き予測処理を例に説明する。図１９は、動画像圧縮での動き予測処理に用いられるフレームの一例を示す図である。図１９（ａ）は現在の処理の対象のフレームである処理フレーム１０１を示す図であり、図１９（ｂ）は、符号化処理において参照されるフレームである前フレーム１０３を示す図である。

図１９（ａ）を参照して、処理フレーム１０１は符号化の対象となるテンプレート１０５を含む。図１９（ｂ）を参照して、前フレーム１０３内にサーチエリア１０７が設定され、画像ブロックマッチングなどの動き検出処理により、サーチエリア１０７内で最もテンプレート１０５に似た場所であるサブイメージ１０９が検出される。さらに、動き予測処理においては、サブイメージ１０９からテンプレート１０５への動きを示す動きベクトル１１１が求められる。

画像ブロックマッチングは、その定義どおりにすべての画素や探索点について行う手法がある。また、テンプレートの画素を一様に間引いて行う手法やエッジ情報に基づいて行う手法もある。

一方、非特許文献１には、テンプレートの画素が、常に抽出される固定的抽出画素と選択的に抽出される選択的抽出画素に分類され、抽出された画素により画像ブロックマッチングを行う手法が記載されている。図２０は、非特許文献１に記載された手法におけるテンプレートの画素の配置を示す図であり、記号○は固定的抽出画素を意味し、記号△は選択的抽出画素を意味する。

Y．L．Chan、外１名著，"New Adaptive Pixel Decimation for Block Motion Vector Estimation"，IEEE Transactions on Circuits and Systems for Video Technology，Vol.6，No.1，1996．p.113-118

しかしながら、画像ブロックマッチングを定義どおりにすべての画素や探索点について行えば最適なマッチングポイントは得られるが、計算量が膨大となるため処理時間がかかり、実用的ではない。

また、例えばテンプレートなどの画像の性質に着目することなく一様に画素が間引かれた画像情報や、非エッジ部の情報のないエッジ情報のみの画像情報による画像ブロックマッチングは、マッチング性能が劣りすぎることとなる。

一方、非特許文献１に記載された手法は、すべての画素が処理の対象となりうることを前提とするものであり、計算量は大幅には減少しない。さらに、固定的抽出画素と隣接する８つの選択的抽出画素との関係で抽出される選択的抽出画素が決まり、他の画素との関係は考慮されていない。そのため、例えば検出されるエッジは不十分であり、マッチング性能は劣ったものとなる。

そこで、本発明の目的は、理想的なマッチング性能を可能な限り実現しつつ計算量を大幅に削減させる画像処理装置、画像処理方法、画素抽出方法、それらの方法をコンピュータにより実行可能なプログラム、及び、そのプログラムを記録した記録媒体を提案することである。

請求項１に係る発明は、複数の画素を有する画像から抽出手段により所望の画素を抽出してマッチング処理する画像処理装置において、前記複数の画素には、前記抽出手段が常に抽出する固定的抽出画素と、前記抽出手段が選択的に抽出する選択的抽出画素と、前記抽出手段が抽出を除外する非抽出画素とが含まれ、前記選択的抽出画素になりうる候補画素から見て第１の方向に位置する第１の計算対象画素と、前記第１の計算対象画素及び前記候補画素間を結ぶ直線上に位置し且つ前記第１の計算対象画素よりも前記候補画素側に位置する第２の計算対象画素との関係、並びに、前記候補画素から見て前記第１の方向とは異なる第２の方向に位置する第３の計算対象画素と、前記第３の計算対象画素及び前記候補画素間を結ぶ直線上に位置し且つ前記第３の計算対象画素よりも前記候補画素側に位置する第４の計算対象画素との関係を示す特徴量を所定の演算式を用いて計算する計算手段を有し、前記抽出手段が前記計算手段の計算結果に基づいて前記候補画素を前記選択的抽出画素として抽出するものである。

請求項２に係る発明は、請求項１記載の画像処理装置であって、前記第２の計算対象画素及び前記第４の計算対象画素の少なくとも一方が、前記候補画素であるものである。

請求項３に係る発明は、請求項１記載の画像処理装置であって、前記第２の計算対象画素が前記候補画素よりも前記第１の計算対象画素から離れて位置する画素であり、前記第４の計算対象画素が前記候補画素よりも前記第３の計算対象画素から離れて位置する画素であるものである。

請求項４に係る発明は、複数の画素を有する画像から抽出手段により所望の画素を抽出してマッチング処理する画像処理装置において、前記複数の画素には、前記抽出手段が常に抽出する固定的抽出画素と、前記抽出手段が選択的に抽出する選択的抽出画素と、前記抽出手段が抽出を除外する非抽出画素とが含まれ、頂点、辺又は内部に前記選択的抽出画素になりうる候補画素を含む多角形の頂点、辺又は内部にある第１の方向に位置する画素間の関係と、前記多角形の頂点、辺又は内部にあって前記第１の方向とは異なる第２の方向に位置する画素間の関係とを少なくとも示す特徴量を所定の演算式を用いて計算する計算手段を有し、前記抽出手段が前記計算手段の計算結果に基づいて前記候補画素を前記選択的抽出画素として抽出するものである。

請求項５に係る発明は、複数の画素を有する画像から抽出手段により所望の画素を抽出してマッチング処理する画像処理装置において、前記複数の画素には、前記抽出手段が選択的に抽出する選択的抽出画素と、前記抽出手段が抽出を除外する非抽出画素とが含まれ、前記選択的抽出画素になりうる候補画素と、前記非抽出画素、抽出された選択的抽出画素又は前記候補画素以外の候補画素との関係を少なくとも示す特徴量を計算する計算手段を有し、前記抽出手段が前記計算手段の計算結果に基づいて前記候補画素を前記選択的抽出画素として抽出するものである。

請求項６に係る発明は、複数の画素を有する画像から抽出手段により所望の画素を抽出してマッチング処理する画像処理方法において、前記複数の画素には、前記抽出手段が常に抽出する固定的抽出画素と、前記抽出手段が選択的に抽出する選択的抽出画素と、前記抽出手段が抽出を除外する非抽出画素とが含まれ、計算手段が、前記選択的抽出画素になりうる候補画素から見て第１の方向に位置する第１の計算対象画素と、前記第１の計算対象画素及び前記候補画素間を結ぶ直線上に位置し且つ前記第１の計算対象画素よりも前記候補画素側に位置する第２の計算対象画素との関係、並びに、前記候補画素から見て前記第１の方向とは異なる第２の方向に位置する第３の計算対象画素と、前記第３の計算対象画素及び前記候補画素間を結ぶ直線上に位置し且つ前記第３の計算対象画素よりも前記候補画素側に位置する第４の計算対象画素との関係を示す特徴量を所定の演算式を用いて計算する計算ステップを含み、前記抽出手段が前記計算手段の計算結果に基づいて前記候補画素を前記選択的抽出画素として抽出するものである。

請求項７に係る発明は、複数の画素を有する画像から抽出手段により所望の画素を抽出する画素抽出方法において、前記複数の画素には、前記抽出手段が常に抽出する固定的抽出画素と、前記抽出手段が選択的に抽出する選択的抽出画素と、前記抽出手段が抽出を除外する非抽出画素とが含まれ、前記抽出手段が、前記選択的抽出画素になりうる候補画素から見て第１の方向に位置する第１の計算対象画素と、前記第１の計算対象画素及び前記候補画素間を結ぶ直線上に位置し且つ前記第１の計算対象画素よりも前記候補画素側に位置する第２の計算対象画素との関係、並びに、前記候補画素から見て前記第１の方向とは異なる第２の方向に位置する第３の計算対象画素と、前記第３の計算対象画素及び前記候補画素間を結ぶ直線上に位置し且つ前記第３の計算対象画素よりも前記候補画素側に位置する第４の計算対象画素との関係を示す特徴量に基づいて前記候補画素を前記選択的抽出画素として抽出する抽出ステップを含む。

なお、複数の画素を有する画像から所望の画素を抽出する画素抽出装置において、前記複数の画素には、前記抽出手段が常に抽出する固定的抽出画素と、前記抽出手段が選択的に抽出する選択的抽出画素と、前記抽出手段が抽出を除外する非抽出画素とが含まれ、前記選択的抽出画素になりうる候補画素から見て第１の方向に位置する第１の計算対象画素と、前記第１の計算対象画素及び前記候補画素間を結ぶ直線上に位置し且つ前記第１の計算対象画素よりも前記候補画素側に位置する第２の計算対象画素との関係、並びに、前記候補画素から見て前記第１の方向とは異なる第２の方向に位置する第３の計算対象画素と、前記第３の計算対象画素及び前記候補画素間を結ぶ直線上に位置し且つ前記第３の計算対象画素よりも前記候補画素側に位置する第４の計算対象画素との関係を示す特徴量に基づいて前記候補画素を前記選択的抽出画素として抽出する画素抽出装置であってもよい。

請求項８に係る発明は、複数の画素を有する画像から抽出手段により所望の画素を抽出する画素抽出方法において、前記複数の画素には、前記抽出手段が常に抽出する固定的抽出画素と、前記抽出手段が選択的に抽出する選択的抽出画素と、前記抽出手段が抽出を除外する非抽出画素とが含まれ、前記抽出手段が、前記選択的抽出画素になりうる候補画素を少なくとも２つ含む画素グループに対して、前記画素グループに含まれる候補画素のうちの一部である基準候補画素のそれぞれから見て第１の方向に位置する第１の計算対象画素と、前記第１の計算対象画素及び前記基準候補画素間を結ぶ直線上に位置し且つ前記第１の計算対象画素よりも前記基準候補画素側に位置する第２の計算対象画素との関係、並びに、前記基準候補画素から見て前記第１の方向とは異なる第２の方向に位置する第３の計算対象画素と、前記第３の計算対象画素及び前記基準候補画素間を結ぶ直線上に位置し且つ前記第３の計算対象画素よりも前記基準候補画素側に位置する第４の計算対象画素との関係を示す特徴量に基づいて前記画素グループに含まれる前記候補画素を前記選択的抽出画素として抽出する抽出ステップを含む画素抽出方法である。

なお、複数の画素を有する画像から所望の画素を抽出する画素抽出装置において、前記複数の画素には、抽出手段が常に抽出する固定的抽出画素と、前記抽出手段が選択的に抽出する選択的抽出画素と、前記抽出手段が抽出を除外する非抽出画素とが含まれ、前記抽出手段が、前記選択的抽出画素になりうる候補画素を少なくとも２つ含む画素グループに対して、前記画素グループに含まれる候補画素のうちの一部である基準候補画素のそれぞれから見て第１の方向に位置する第１の計算対象画素と、前記第１の計算対象画素及び前記基準候補画素間を結ぶ直線上に位置し且つ前記第１の計算対象画素よりも前記基準候補画素側に位置する第２の計算対象画素との関係、並びに、前記基準候補画素から見て前記第１の方向とは異なる第２の方向に位置する第３の計算対象画素と、前記第３の計算対象画素及び前記基準候補画素間を結ぶ直線上に位置し且つ前記第３の計算対象画素よりも前記基準候補画素側に位置する第４の計算対象画素との関係を示す特徴量に基づいて前記画素グループに含まれる前記候補画素を前記選択的抽出画素として抽出する抽出ステップを含む画素抽出装置であってもよい。

請求項９に係る発明は、複数の画素を有する画像から抽出手段により所望の画素を抽出する画素抽出方法において、前記複数の画素には、前記抽出手段が選択的に抽出する選択的抽出画素が含まれ、前記抽出手段が、前記選択的抽出画素になりうる候補画素を少なくとも１つ含む画素グループに対して、前記画素グループに含まれる画素の一部である基準画素のそれぞれから見て第１の方向に位置する第１の計算対象画素と、前記第１の計算対象画素及び前記基準画素間を結ぶ直線上に位置し且つ前記第１の計算対象画素よりも前記基準画素側に位置する第２の計算対象画素との関係、並びに、前記基準画素から見て前記第１の方向とは異なる第２の方向に位置する第３の計算対象画素と、前記第３の計算対象画素及び前記候補画素間を結ぶ直線上に位置し且つ前記第３の計算対象画素よりも前記基準画素側に位置する第４の計算対象画素との関係を示す特徴量に基づいて前記画素グループに含まれる前記候補画素を前記選択的抽出画素として抽出する抽出ステップを含む画素抽出方法である。

請求項１０に係る発明は、請求項６記載の画像処理方法又は請求項７から９のいずれかに記載の画素抽出方法をコンピュータに実行させることが可能なプログラムである。

請求項１１に係る発明は、請求項１０に記載のプログラムをコンピュータが実行することが可能にて記録した記録媒体である。

本発明によれば、複数の異なる方向に位置する画素間の関係を示す特徴量に基づいて選択的抽出画素を抽出するため精度のよいエッジ検出が可能となり、さらに、固定的抽出画素は常に抽出されるため非エッジ情報も加味したマッチング処理を行うことが可能となる。そのため、理想的なマッチング性能に近いマッチング性能を実現することが可能となる。また、画像には抽出から除外される画素である非抽出画素が含まれており、計算量を大幅に削減させることが可能となる。

以下、本発明の実施の形態の例について説明する。

図１は、本発明の第１の実施の形態に係る画像処理装置１の概略ブロック図である。図１を参照して、画像処理装置１は、テンプレートの画素間の関係を示す特徴量を計算する計算部３と、テンプレートから画素を抽出する抽出部５と、抽出部５により抽出された画素を用いてマッチング処理を行うマッチング処理部７を備える。

画像処理装置１による処理に用いられるテンプレートの画素には、抽出部５が常に抽出する固定的抽出画素と、抽出部５が選択的に抽出する選択的抽出画素と、抽出部５が抽出を除外する非抽出画素とが含まれる。図２は、テンプレートの画素の配置の一例を示す図であり、記号○は固定的抽出画素を意味し、記号△は選択的抽出画素になりうる候補画素を意味し、記号×は非抽出画素を意味する。

図３は、図１の画像処理装置１の動作を示すフロー図である。図３を参照して、図１の画像処理装置１の動作を説明する。

図１の計算部３は、候補画素からみて第１の方向に位置する画素間の関係及び第１の方向とは異なる第２の方向に位置する画素間の関係を示す特徴量を所定の演算式を用いて計算する（図３のステップＳＴ１）。図４は、図１の計算部３による特徴量の計算において用いられる画素値の一例を示す図である。図４を参照して、候補画素ｘからみて隣接する上下左右に位置する画素の画素値をそれぞれａ、ｄ、ｂ、ｃとすると、計算部３は(1)式の演算式を用いて特徴量Ｅを計算する。

次に、図１の抽出部５は、図１の計算部３の計算結果である特徴量Ｅが所定の閾値を超える場合に候補画素を選択的抽出画素として抽出する（図３のステップＳＴ２）。次に、図１のマッチング処理部７は、抽出部５により抽出された画素を用いてマッチング処理を行う（図３のステップＳＴ３）。

ＱＣＩＦビデオシーケンス“Susie”の５１番目のフレームを用いたシミュレーションにより、一様間引きによる手法と本発明の適用間引きによる手法を比較した。全２５６画素から一様に間引かれ１６画素が抽出される一様間引きによる手法は、マッチング性能の指標となるＳＮＲが３０．６４ｄＢであった。それに対して、本発明の適用間引きによる手法は、平均で全画素から１５．９画素が抽出され、ＳＮＲが３１．１５ｄＢであった。本発明の適用間引きによる手法は、抽出された画素数が一様間引きを行った場合と変わらずに、ＳＮＲが全画素を採用した場合の３１．４８ｄＢに近い値を実現しており、理想的なマッチング性能に近いマッチング性能が実現されている。

続いて、図５から図１４を参照して、本発明による画像ブロックマッチングについて更に説明する。

図５は、本発明の実施の形態に係る画像ブロックマッチング装置１１の概略ブロック図である。画像ブロックマッチング装置１１は、処理フレームと前フレームを入力する入力部１３と、入力部１３により入力された処理フレームと前フレームに対して処理を行う処理部１５と、処理部１５による処理結果の判断を行う判断部１７と、処理部１５による処理結果を出力する出力部１９を備える。

図５の処理部１５は、動き検出のスクリーニング処理を行うスクリーニング処理部２１と、エッジ検出によりテンプレートから所望の画素を抽出するテンプレート画素処理部２３と、ブロック探索処理を行うブロック探索部２５と、アニーリングによる探索を行うアニーリング探索部２７と、三段探索による探索を行う三段探索部２９と、高速動き検出処理用パラメータを設定するパラメータ設定部３１を有する。

図６は、図５の画像ブロックマッチング処理装置１１による動き検出処理を示すフロー図である。図６を参照して、図５の画像ブロックマッチング処理装置１１の動作を説明する。

まず、入力部１３が、処理フレームと復号後の前フレームを入力する（図６のステップＳＴＭ１）。

次に、動き検出のスクリーニング処理を行う（図６のステップＳＴＭ２）。この処理において、スクリーニング処理部２１は、処理フレームと前フレームとの間の変化を示す絶対値差分総和ＳＡＤの値が一定の閾値以上である場合に動き計算の必要性ありと確定し、そうでなければ動きなしと確定する。ここで、絶対値差分総和ＳＡＤ(k,l)は、処理フレームのテンプレートの水平方向にｉ番目、垂直方向にｊ番目に位置する画素の画素値をIc(i,j)とし、前フレームのサーチウィンドウの水平方向にｉ＋ｋ番目、垂直方向にｊ＋ｌ番目に位置する画素の画素値をIr(i+k,j+l)とすると、(2)式より定義されるものである。

次に、判断部１７は、スクリーニング処理部２１による処理により動きなしと確定したか否かの判断を行う（図６のステップＳＴＭ３）。動きなしと確定した場合には図６のステップＳＴＭ１０の処理を行い、確定していない場合には図６のステップＳＴＭ４の処理を行う。

図６のステップＳＴＭ４において、テンプレート画素処理部２３は、エッジ検出によりテンプレートから所望の画素を抽出する。次に、ブロック探索部２５は、ブロック探索を行う（図６のステップＳＴＭ５）。

次に、判断部１７は、ＳＡＤの極小値ＳＡＤ_minと２番目に低い値ＳＡＤ_min2の差が小さいか否かを判断することにより、ブロック探索部２５による探索処理により動きベクトルが確定したか否かの判断を行う（図６のステップＳＴＭ６）。ここでは、δを予め与えられる値として、ＳＡＤ_min2がＳＡＤ_minのδ倍よりも大きいか否かにより判断するものとする。大きい場合（すなわち、動きベクトルが確定した場合）には図６のステップＳＴＭ１０の処理を行い、大きくない場合には図６のステップＳＴＭ７の処理を行う。

図６のステップＳＴＭ７において、アニーリング探索部２７は、アニーリングによる再探索を行う。アニーリングによる探索処理では、極小値と２番目に低い値の差が小さい場合、２番目に低い値の探索点から最小値を除いて再探索が行われる。

次に、判断部１７は、アニーリング探索部２７による探索処理により動きベクトルが確定したか否かの判断を行う（図６のステップＳＴＭ８）。ここでは、得られたＳＡＤの極小値ＳＡＤ_minは閾値ＴＨ１よりも大きいか否かにより判断を行う。大きい場合（すなわち動きベクトルが確定した場合）には図６のステップＳＴＭ１０の処理を行い、大きくない場合には図６のステップＳＴＭ９の処理を行う。

図６のステップＳＴＭ９において、三段探索部２９は、三段探索による再探索を行う。

図６のステップＳＴＭ１０において、パラメータ設定部３１は、高速検出処理用パラメータを設定する。

次に、出力部１９は、画像圧縮コードを出力する（図６のステップＳＴＭ１１）。そして、図６の処理を終了する。

続いて、図７から図１４を参照して、図５の処理部１５の処理の一例をさらに説明する。

図７は、図５のスクリーニング処理部２１によるスクリーニング処理（図６のステップＳＴＭ２）の一例を示すフロー図である。

スクリーニング処理部２１は、テンプレートとサーチエリアの中心ウィンドウを入力し（図７のステップＳＴＳ１）、テンプレートと中心ウィンドウの画素を間引き（図７のステップＳＴＳ２）、半数の画素の絶対値差分総和ＳＡＤ_half(0,0)を計算する（図７のステップＳＴＳ３）。

次に、スクリーニング処理部２１は、ＳＡＤ_half(0,0)が閾値ＴＨ２よりも大きいか否かの判断を行う（図７のステップＳＴＳ４）。大きい場合には図７のステップＳＴＳ５の処理を行い、大きくない場合には図７のステップＳＴＳ９の処理を行う。

図７のステップＳＴＳ５において、スクリーニング処理部２１は、ＳＡＤ_half(0,0)が閾値ＴＨ３よりも小さいか否かの判断を行う。小さい場合には図７のステップＳＴＳ６の処理を行い、小さくない場合には図７のステップＳＴＳ８の処理を行う。

図７のステップＳＴＳ６において、スクリーニング処理部２１は、絶対値差分総和の残り半数を計算する。

次に、スクリーニング処理部２１は、ＳＡＤ(0,0)が閾値ＴＨ４よりも大きいか否かの判断を行う。大きい場合には図７のステップＳＴＳ８の処理を行い、大きくない場合には図７のステップＳＴＳ９の処理を行う。

図７のステップＳＴＳ８においては、スクリーニング処理部２１は、動き計算の必要ありと確定する。また、図７のステップＳＴＳ９においては、スクリーニング処理部２１は、動きなしと確定する。そして、図７の処理を終了する。

続いて、図８を参照して、図５のテンプレート画素処理部２３による処理を説明する。図８は、図５のテンプレート画素処理部２３によるエッジ検出による画素抽出処理（図６のステップＳＴＭ４）の一例を示すフロー図である。

テンプレート画素処理部２３は、テンプレートを入力して（図８のステップＳＴＥ１）、テンプレート画素から固定的抽出画素を選定して抽出し（図８のステップＳＴＥ２）、テンプレートから候補画素を選定する（図８のステップＳＴＥ３）。次に、テンプレート画素処理部２３は、テンプレートから候補画素に隣接する画素を入力し（図８のステップＳＴＥ４）、特徴量（エッジパラメータ）Ｅを計算する（図８のステップＳＴＥ５）。

次に、テンプレート画素処理部２３は、特徴量Ｅが所定の閾値ＴＨ５よりも大きいか否かを判断する（図８のステップＳＴＥ６）。大きい場合には図８のステップＳＴＥ７の処理を行い、大きくない場合には図８のステップＳＴＥ８の処理を行う。

図８のステップＳＴＥ７において、テンプレート画素処理部２３は、候補画素を選択的抽出画素に仮登録する。

図８のステップＳＴＥ８において、テンプレート画素処理部２３は、候補画素が半数番目か否かの判断を行う。半数番目であれば図８のステップＳＴＥ９の処理を行い、半数番目でないならば図８のステップＳＴＥ１０の処理を行う。

図８のステップＳＴＥ９において、テンプレート画素処理部２３は、選択的抽出画素が０個であるか否かの判断を行う。選択的抽出画素が０個であれば図８のステップＳＴＥ１２の処理を行い、０個でないならば図８のステップＳＴＥ１０の処理を行う。

図８のステップＳＴＥ１０において、テンプレート画素処理部２３は、候補画素が最後のものであるか否かの判断を行う。最後のものであれば図８のステップＳＴＥ１１の処理を行い、最後のものでないならば図８のステップＳＴＥ４の処理を行う。

図８のステップＳＴＥ１１において、テンプレート画素処理部２３は、選択的抽出画素が３個以上であるか否かの判断を行う。選択的抽出画素が２個以下であればＳＡＤの最小値探索への影響がほとんどないためである。選択的抽出画素が３個以上であれば図８の処理を終了し、３個以上でないならば図８のステップＳＴＥ１２の処理を行う。

図８のステップＳＴＥ１２において、テンプレート画素処理部２３は、選択的抽出画素の仮登録を解除する。そして、図８の処理を終了する。

続いて、図９を参照して、図５のブロック探索部２５による処理を説明する。図９は、図５のブロック探索部２５によるブロック探索処理（図６のステップＳＴＭ５）の一例を示すフロー図である。

ブロック探索部２５は、テンプレート間引き画素を入力し（図９のステップＳＴＢ１）、サーチエリアを入力する（図９のステップＳＴＢ２）。次に、ブロック探索部２５は、スタートサーチポイントを設定し（図９のステップＳＴＢ３）、スタートサーチポイントをセンターサーチとするサーチブロックを設定する（図９のステップＳＴＢ４）。次に、ブロック探索部２５は、センターサーチポイントのＳＡＤを計算して（図９のステップＳＴＢ５）、スタートサーチポイントのＳＡＤ値を最小ＳＡＤ値（ＳＡＤ_min）に登録する（図９のステップＳＴＢ６）。

次に、ブロック探索部２５は、周辺サーチポイントのＳＡＤ_curを打ち切り処理を用いて計算する（図９のステップＳＴＢ７）。この打ち切り処理については、図１０と図１１を参照してその一例を後述する。

次に、ブロック探索部２５は、ＳＡＤ_curの値がＳＡＤ_minの値よりも小さいか否かの判断を行う。小さいならば図９のステップＳＴＢ９の処理を行い、小さくないならば図９のステップＳＴＢ１０の処理を行う。

図９のステップＳＴＢ９において、ブロック探索部２５は、ＳＡＤ_minの値をＳＡＤ_min2に代入し、ＳＡＤ_curの値をＳＡＤ_minに代入する。

図９のステップＳＴＢ１０において、ブロック探索部２５は、最後の周辺サーチポイントであるか否かの判断を行う。最後であるならば図９のステップＳＴＢ１１の処理を行い、そうでないならば図９のステップＳＴＢ７の処理を行う。

図９のステップＳＴＢ１１において、ブロック探索部２５は、ＳＡＤが最小となるのはセンターサーチポイントであるか否かの判断を行う。センターサーチポイントであれば図９の処理を終了し、そうでないならば図９のステップＳＴＢ１２の処理を行う。

図９のステップＳＴＢ１２において、ブロック探索部２５は、サーチブロックの設定が１６回目であるか否かの判断を行う。１６回目であれば図９の処理を終了し、そうでないならば図９のステップＳＴＢ１３の処理を行う。

図９のステップＳＴＢ１３において、ブロック探索部２５は、最小ＳＡＤのサーチポイントをセンターサーチとするサーチブロックを設定し、図９のステップＳＴＢ７の処理に戻る。

続いて、図１０と図１１を参照して、図９のステップＳＴＢ７の周辺サーチポイントのＳＡＤ_curを打ち切り処理により計算する処理の一例を説明する。図１０は、ＳＡＤの最小値を求める場合に、残差逐次検定法により計算を打ち切る場合の一例を示す図であり、図１１は、図９のステップＳＴＢ７の処理の一例を示すフロー図である。

図１０を参照して、絶対値差分総和ＳＡＤを求める計算において、半分の画素に関する計算により値４１が得られたとする。このとき、最終的なＳＡＤ値であるＳＡＤ_curは、値４３から値４５までの間の値となる。値４３も値４５も現状最小値４７（ＳＡＤ_min）よりも大きいのであれば、残りの計算を行って最終的なＳＡＤ値を得ても現状の最小値４７を更新する可能性はない。そのため、この時点で計算を打ち切り、半分の計算により得られた値４１を２倍して得られる値４９をＳＡＤ_curとする。このような処理を計算の過程で逐次行うことが、残差逐次検定法による計算打ち切りである。

図１１を参照して、図９のステップＳＴＢ７の周辺サーチポイントのＳＡＤ_curを打ち切り処理により計算する処理の一例を説明する。

ブロック探索部２５は、テンプレートとサーチエリアのサブイメージを入力して（図１１のステップＳＴＤ１）、１／４の画素に対する絶対値差分総和ＳＡＤ_qを計算する（図１１のステップＳＴＤ２）。

次に、ブロック探索部２５は、αを予め定められた値（例えば、α＝１７／３２）として、ＳＡＤ_qの値がＳＡＤ_minの値のα倍よりも小さいか否かの判断を行う（図１１のステップＳＴＤ３）。小さいのであれば図１１のステップＳＴＤ５の処理を行い、小さくないのであれば図１１のステップＳＴＤ４の処理を行う。

図１１のステップＳＴＤ４において、ブロック探索部２５は、ＳＡＤ_qの値を４倍した値をＳＡＤ_curに代入して、図１１の処理を終了する。

図１１のステップＳＴＤ５において、１／２の画素に対する絶対値差分総和ＳＡＤ_hを計算する。

次に、ブロック探索部２５は、βを予め定められた値（例えば、β＝３／４）として、ＳＡＤ_hの値がＳＡＤ_minの値のβ倍よりも小さいか否かの判断を行う（図１１のステップＳＴＤ６）。小さいのであれば図１１のステップＳＴＤ８の処理を行い、小さくないのであれば図１１のステップＳＴＤ７の処理を行う。

図１１のステップＳＴＤ７において、ブロック探索部２５は、ＳＡＤ_hの値を２倍した値をＳＡＤ_curに代入して、図１１の処理を終了する。

図１１のステップＳＴＤ８において、３／４の画素に対する絶対値差分総和ＳＡＤ_tを計算する。

次に、ブロック探索部２５は、γを予め定められた値（例えば、γ＝１５／１６）として、ＳＡＤ_tの値がＳＡＤ_minの値のγ倍よりも小さいか否かの判断を行う（図１１のステップＳＴＤ９）。小さいのであれば図１１のステップＳＴＤ１１の処理を行い、小さくないならば図１１のステップＳＴＤ１０の処理を行う。

図１１のステップＳＴＤ１０において、ブロック探索部２５は、ＳＡＤ_tの値を４／３倍した値をＳＡＤ_curに代入して、図１１の処理を終了する。

図１１のステップＳＴＤ１１において、画素全体の絶対値差分総和を計算して得られた値をＳＡＤ_curとし、図１１の処理を終了する。

続いて、図１２を参照して、図５のアニーリング探索部２７による処理を説明する。図１２は、図５のアニーリング探索部２７によるアニーリング探索処理（図６のステップＳＴＭ７）の一例を示すフロー図である。

アニーリング探索部２７は、テンプレート間引き画素を入力して（図１２のステップＳＴＡ１）、サーチエリアを入力する（図１２のステップＳＴＡ２）。次に、ブロック探索においてＳＡＤ値が２番目の最小ポイントをスタートポイントに設定し（図１２のステップＳＴＡ３）、ＳＡＤ値が最小ポイントを今回の検索対象から外し（図１２のステップＳＴＡ４）、図９の処理と同様の打ち切り処理を用いてブロック探索を行う（図１２のステップＳＴＡ５）。ただし、図１２のステップＳＴＡ５の処理において、２番目の最小値（ＳＡＤ_min2）は保存しないものとする。

次に、アニーリング探索部２７は、再探索のＳＡＤ値が基本探索のＳＡＤ値よりも小さいか否かの判断を行う（図１２のステップＳＴＡ６）。小さいならば図１２のステップＳＴＡ７の処理を行い、小さくないならば図１２の処理を終了する。

図１２のステップＳＴＡ７において、アニーリング探索部２７は、動きベクトルの値を再検索での値に更新する。そして、図１２の処理を終了する。

続いて、図１３を参照して、図５の三段探索部２９による処理を説明する。図１３は、図５の三段探索部２９による三段探索処理（図６のステップＳＴＭ９）の一例を示すフロー図である。

三段探索部２９は、テンプレート間引き画素を入力し（図１３のステップＳＴＴ１）、サーチエリアを入力する（図１３のステップＳＴＴ２）。

次に、三段探索部２９は、９点(-9,-9)、(-9,0)、(-9,9)、(0,-9)、(0,0)、(0,9)、(9,-9)、(9,0)、(9,9)をサーチポイントに設定して（図１３のステップＳＴＴ３）、図９の処理と同様の打ち切り処理を用いて周辺サーチポイントのＳＡＤ_curを計算する（図１３のステップＳＴＴ４）。

次に、三段探索部２９は、図１３のステップＳＴＴ４の計算結果において最もＳＡＤ値が小さかったサーチポイントを（u,v）とすると、９点の周辺ポイント(u-3,v-3)、(u,v-3)、・・・、(u+3,v+3)をサーチポイントに設定し（図１３のステップＳＴＴ５）、図９の処理と同様の打ち切り処理を用いて周辺サーチポイントのＳＡＤ_curを計算する（図１３のステップＳＴＴ６）。

次に、三段探索部２９は、図１３のステップＳＴＴ６における計算結果において最もＳＡＤ値が小さかったサーチポイントを（u',v'）とすると、９点の周辺ポイント(u'-1,v'-1)、(u',v'-1)、・・・、(u'+1,v'+1)をサーチポイントに設定し（図１３のステップＳＴＴ７）、図９の処理と同様の打ち切り処理を用いて周辺サーチポイントのＳＡＤ_curを計算する（図１３のステップＳＴＴ８）。

次に、三段探索部２９は、三段再探索のＳＡＤ値が以前の探索のＳＡＤ値よりも小さいか否かの判断を行う（図１３のステップＳＴＴ９）。小さいならば図１１のステップＳＴＴ１０の処理を行い、小さくないならば図１３の処理を終了する。

図１３のステップＳＴＴ１０において、三段探索部２９は、動きベクトルの値を再探索での値に更新する。そして、図１３の処理を終了する。

続いて、図１４を参照して、図５のパラメータ設定部３１による処理を説明する。図１４は、図５のパラメータ設定部３１による高速動き検出処理用パラメータ設定処理（図６のステップＳＴＭ１０）の一例を示すフロー図である。

パラメータ設定部３１は、スクリーニング、ブロック探索、アニーリング再探索、三段探索の計算量を推計する（図１４のステップＳＴＰ１）。次に、スクリーニング処理の計算量に応じてスクリーニングの閾値ＴＨ２〜ＴＨ４をコントロールする（図１４のステップＳＴＰ２）。次に、ブロック探索の計算量に応じてエッジ検出の閾値ＴＨ５をコントロールする（図１４のステップＳＴＰ３）。次に、アニーリング再探索の計算量に応じてパラメータδをコントロールする（図１４のステップＳＴＰ４）。次に、三段再探索の計算量に応じて閾値ＴＨ１をコントロールする（図１４のステップＳＴＰ５）。

以上のようにして、図５の画像ブロックマッチング装置１１は、動き量に応じて領域を分類し、領域ごとに適応的に圧縮することができる。例えば、動きのほとんどない領域は複数のフレームをまとめて３次元信号変換（３次元適応型ツリー）を行い、動きがゆっくりとした領域は動き予測や動き補償を用いて前フレームから動き補償画像を作って差分データに対して２次元信号変換を行い、動きの激しい領域はフレームごとに２次元信号変換を行うことが可能となる。

なお、特徴量は、候補画素と複数の画素との関係を示すものであってもよい。(3)式は、特徴量Ｅが候補画素の画素値と候補画素の上下左右に位置する画素の画素値との間の関係を示す例である。また、(4)式は、特徴量Ｅが候補画素の画素値ｘ並びに他の画素値ａ及びｃと間の関係を示す例である。ここで、ｘは、図１５を参照して、選択的抽出画素になりうる候補画素の画素値であり、ａ、ｂ、ｃ、ｄは、それぞれ、候補画素に隣接する上、左、右、下に位置する画素の画素値である。また、|ａ−ｘ|＋|ｘ−ｄ|は|ａ−ｄ|により近似値が得られ、|ｂ−ｘ|＋|ｘ−ｃ|は|ｂ−ｃ|に近似値が得られる。そのため、(3)式による特徴量Ｅは、(1)式による計算により近似値が得られる。

また、特徴量Ｅは、図１５を参照して、例えば(5)式にあるように、右上と左下、左上と右下に位置する画素間の関係を示すものであってもよい。ここで、ｅ、ｆ、ｇ、ｈは、それぞれ、候補画素に隣接する右上、左上、右下、左下に位置する画素の画素値である。

さらに、特徴量は、３以上の方向にある画素間の特徴量を示すものであってもよい。例えば(6)式は、図１５を参照して、特徴量Ｅが、上と下、左と右、右上と左下、左上と右下に位置する画素間の関係を示すものの例を示すものである。

さらに、特徴量は、候補画素に隣接する画素だけでなく、より離れた位置にある画素と他の画素との関係を示すものであってもよい。

さらに、特徴量は、図１５を参照して、例えば(7)式では特徴量Ｅが内部に候補画素を含む三角形の頂点に対応する画素値ａとｈとｇについてａとｈとの関係及びａとｇとの関係を示すように、頂点、辺又は内部に候補画素を含む多角形の頂点、辺又は内部にある第１の方向の画素間の関係と、前記多角形の頂点、辺又は内部にあって前記第１の方向とは異なる第２の方向に位置する画素間の関係とを少なくとも示すものであってもよい。

さらに、特徴量は、候補画素と、非抽出画素、抽出された選択的抽出画素又は当該候補画素以外の候補画素との関係を示すものであってもよい。

さらに、特徴量は、エッジ検出パラメータ以外にも、例えば周辺画素のヒストグラム分布指数などを示すものであってもよい。

さらに、本発明の実施の形態において、基本探索及びアニーリングによる再探索は３×３のウィンドウで探索を行うブロック探索により行われているが、例えばスモール・ダイアモンド・サーチや六角サーチなどの探索方法により行われてもよい。また、グローバルな方法による再探索は三段探索により行われているが、例えば四段探索や対数探索により行われてもよい。

図１６は、本発明の第２の実施の形態に係る動き検出処理を示すフロー図である。図１６を参照して、図１６のステップＳＴＭ４１において、サブブロック単位で画素の間引きが行われてテンプレートが作成されており、他の処理ステップにおいては、同じ記号が付された図６に示される動き検出処理のフロー図の各処理ステップと同様の処理が行われる。

続いて、図１７を参照して、図１６のステップＳＴＭ４１の一例を説明する。図１７は、図１６のステップＳＴＭ４１（テンプレート画素処理部によるサブブロック単位間引きによるテンプレート作成処理）の一例を示すフロー図である。

図１７を参照して、テンプレート画素処理部は、テンプレートを入力し（図１７のステップＳＴＢＬ１）、サブブロックを設定する（図１７のステップＳＴＢＬ２）。ここで、サブブロックは、例えば縦８個、横８個に並んだ６４個の画素からなるものである。

次に、テンプレート画素処理部は、サブブロック画素を入力して（図１７のステップＳＴＢＬ３）、画像判別パラメータＦを計算する（図１７のステップＳＴＢＬ４）。画像判別パラメータＦは、例えば (8)式で表されるものである。(8)式で表される画像判別パラメータＦは、サブブロック内の４つの画素のそれぞれについて上下左右に位置する画素間の関係に基づいて計算されるものであり、１つのサブブロックあたり４回の計算が行われればよく、エッジ検出に関する計算量が削減可能である。

次に、テンプレート画素処理部は、画像判別パラメータＦが閾値ＴＨ６よりも大きいか否かを判断し（図１７のステップＳＴＢＬ４）、大きければエッジ領域用間引きパターンをテンプレート画素に登録し（図１７のステップＳＴＢＬ５）、そうでなければ非エッジ領域用間引きパターンをテンプレート画素に登録する（図１７のステップＳＴＢＬ６）。ここで、エッジ領域用間引きパターンと非エッジ領域用間引きパターンは、例えば、エッジ領域用間引きパターンは非エッジ領域間引きパターンよりも間引く画素が少ない関係にあるものである。

次に、テンプレート画素処理部は、全てのサブブロックに対して処理が行われたかを判断し（図１７のステップＳＴＢＬ８）、処理が行われていないサブブロックがあるならば図１７のステップＳＴＢＬ３の処理に戻り、全てのサブブロックに対して処理が行われているならば図１７の処理を終了する。

なお、図１６の処理フローにおいて、図１０に示される残差逐次検定法を採用してもよい。この場合には、更に計算量を削減することが可能となる。

続いて、図１８を参照して、本発明の実施の形態の実験結果について説明する。図１８は、SusieとForemanとMiss AmericaのＱＣＩＦフォーマットについて、本発明の実施の形態と全探索法（ＦＳ）、三段探索法（ＴＳＳ）、ブロック勾配探索法（ＢＢＧＤＳ）のそれぞれの探索アルゴリズムに関し、差分絶対値の計算回数（ＡＤカウント）とＰＳＮＲを示す表である。

図１８を参照して、本発明の実施の形態は、全探索法と比較して６００倍から１８００倍の高速化が達成されており、ＰＳＮＲに関しても全探索法に近い値を達成している。ＢＢＧＳと比較しても、９倍から１８倍の高速化が達成され、ＰＳＮＲに関してもMiss America を除く２例で優れたものとなっている。

本発明の第１の実施の形態に係る画像処理装置１の概略ブロック図である。 図１の画像処理装置１による処理が行われるテンプレートの画素の配置の一例を示す図である。 図１の画像処理装置１の動作を示すフロー図である。 図１の計算部３による特徴量の計算において用いられる画素値の一例を示す図である。 本発明の実施の形態に係る画像ブロックマッチング装置１１の概略ブロック図である。 図５の画像ブロックマッチング処理装置１１による動き検出処理を示すフロー図である。 図５のスクリーニング処理部２１によるスクリーニング処理（図６のステップＳＴＭ２）の一例を示すフロー図である。 図５のテンプレート画素処理部２３によるエッジ検出によるテンプレート作成処理（図６のステップＳＴＭ４）の一例を示すフロー図である。 図５のブロック探索部２５によるブロック探索処理（図６のステップＳＴＭ５）の一例を示すフロー図である。 図５のブロック探索部２５が絶対値差分総和ＳＡＤの最小値を求める場合に、残差逐次検定法により計算を打ち切る場合の一例を示す図である。 図５のブロック探索部２５による周辺サーチポイントのＳＡＤ_curを打ち切り処理を用いて計算する処理（図９のステップＳＴＢ７）の一例を示すフロー図である。 図５のアニーリング探索部２７によるアニーリング探索処理（図６のステップＳＴＭ７）の一例を示すフロー図である。 図５の三段探索部２９による三段探索処理（図６のステップＳＴＭ９）の一例を示すフロー図である。 図５のパラメータ設定部３１による高速動き検出処理用パラメータ設定処理（図６のステップＳＴＭ１０）の一例を示すフロー図である。 候補画素に隣接する画素の画素値の一例を示す図である。 本発明の第２の実施の形態に係る動き検出処理を示すフロー図である。 テンプレート画素処理部によるサブブロック単位間引きによるテンプレート作成処理（図１６のステップＳＴＭ４１）の一例を示すフロー図である。 SusieとForemanとMiss AmericaのＱＣＩＦフォーマットについて、本発明の実施の形態と全探索法（ＦＳ）、三段探索法（ＴＳＳ）、ブロック勾配探索法（ＢＢＧＤＳ）のそれぞれの探索アルゴリズムに関し、差分絶対値の計算回数（ＡＤカウント）とＰＳＮＲを示す表である。 動画像圧縮での動き予測処理に用いられるフレームの一例を示す図である。 非特許文献１に記載された手法におけるテンプレートの画素の配置を示す図である。

符号の説明

１ 画像処理装置
３ 計算部
５ 抽出部
７ マッチング処理部

Claims (11)

1. 複数の画素を有する画像から抽出手段により所望の画素を抽出してマッチング処理する画像処理装置において、
   前記複数の画素には、前記抽出手段が常に抽出する固定的抽出画素と、前記抽出手段が選択的に抽出する選択的抽出画素と、前記抽出手段が抽出を除外する非抽出画素とが含まれ、
   前記選択的抽出画素になりうる候補画素から見て第１の方向に位置する第１の計算対象画素と、前記第１の計算対象画素及び前記候補画素間を結ぶ直線上に位置し且つ前記第１の計算対象画素よりも前記候補画素側に位置する第２の計算対象画素との関係、並びに、前記候補画素から見て前記第１の方向とは異なる第２の方向に位置する第３の計算対象画素と、前記第３の計算対象画素及び前記候補画素間を結ぶ直線上に位置し且つ前記第３の計算対象画素よりも前記候補画素側に位置する第４の計算対象画素との関係を示す特徴量を所定の演算式を用いて計算する計算手段を有し、
   前記抽出手段は前記計算手段の計算結果に基づいて前記候補画素を前記選択的抽出画素として抽出する画像処理装置。
2. 前記第２の計算対象画素及び前記第４の計算対象画素の少なくとも一方は、前記候補画素である、請求項１記載の画像処理装置。
3. 前記第２の計算対象画素は前記候補画素よりも前記第１の計算対象画素から離れて位置する画素であり、前記第４の計算対象画素は前記候補画素よりも前記第３の計算対象画素から離れて位置する画素である、請求項１記載の画像処理装置。
4. 複数の画素を有する画像から抽出手段により所望の画素を抽出してマッチング処理する画像処理装置において、
   前記複数の画素には、前記抽出手段が常に抽出する固定的抽出画素と、前記抽出手段が選択的に抽出する選択的抽出画素と、前記抽出手段が抽出を除外する非抽出画素とが含まれ、
   頂点、辺又は内部に前記選択的抽出画素になりうる候補画素を含む多角形の頂点、辺又は内部にある第１の方向に位置する画素間の関係と、前記多角形の頂点、辺又は内部にあって前記第１の方向とは異なる第２の方向に位置する画素間の関係とを少なくとも示す特徴量を所定の演算式を用いて計算する計算手段を有し、
   前記抽出手段は前記計算手段の計算結果に基づいて前記候補画素を前記選択的抽出画素として抽出する画像処理装置。
5. 複数の画素を有する画像から抽出手段により所望の画素を抽出してマッチング処理する画像処理装置において、
   前記複数の画素には、前記抽出手段が選択的に抽出する選択的抽出画素と、前記抽出手段が抽出を除外する非抽出画素とが含まれ、
   前記選択的抽出画素になりうる候補画素と、前記非抽出画素、抽出された選択的抽出画素又は前記候補画素以外の候補画素との関係を少なくとも示す特徴量を計算する計算手段を有し、
   前記抽出手段は前記計算手段の計算結果に基づいて前記候補画素を前記選択的抽出画素として抽出する画像処理装置。
6. 複数の画素を有する画像から抽出手段により所望の画素を抽出してマッチング処理する画像処理方法において、
   前記複数の画素には、前記抽出手段が常に抽出する固定的抽出画素と、前記抽出手段が選択的に抽出する選択的抽出画素と、前記抽出手段が抽出を除外する非抽出画素とが含まれ、
   計算手段が、前記選択的抽出画素になりうる候補画素から見て第１の方向に位置する第１の計算対象画素と、前記第１の計算対象画素及び前記候補画素間を結ぶ直線上に位置し且つ前記第１の計算対象画素よりも前記候補画素側に位置する第２の計算対象画素との関係、並びに、前記候補画素から見て前記第１の方向とは異なる第２の方向に位置する第３の計算対象画素と、前記第３の計算対象画素及び前記候補画素間を結ぶ直線上に位置し且つ前記第３の計算対象画素よりも前記候補画素側に位置する第４の計算対象画素との関係を示す特徴量を所定の演算式を用いて計算する計算ステップを含み、
   前記抽出手段は前記計算手段の計算結果に基づいて前記候補画素を前記選択的抽出画素として抽出する画像処理方法。
7. 複数の画素を有する画像から抽出手段により所望の画素を抽出する画素抽出方法において、
   前記複数の画素には、前記抽出手段が常に抽出する固定的抽出画素と、前記抽出手段が選択的に抽出する選択的抽出画素と、前記抽出手段が抽出を除外する非抽出画素とが含まれ、
   前記抽出手段が、前記選択的抽出画素になりうる候補画素から見て第１の方向に位置する第１の計算対象画素と、前記第１の計算対象画素及び前記候補画素間を結ぶ直線上に位置し且つ前記第１の計算対象画素よりも前記候補画素側に位置する第２の計算対象画素との関係、並びに、前記候補画素から見て前記第１の方向とは異なる第２の方向に位置する第３の計算対象画素と、前記第３の計算対象画素及び前記候補画素間を結ぶ直線上に位置し且つ前記第３の計算対象画素よりも前記候補画素側に位置する第４の計算対象画素との関係を示す特徴量に基づいて前記候補画素を前記選択的抽出画素として抽出する抽出ステップを含む画素抽出方法。
8. 複数の画素を有する画像から抽出手段により所望の画素を抽出する画素抽出方法において、
   前記複数の画素には、前記抽出手段が常に抽出する固定的抽出画素と、前記抽出手段が選択的に抽出する選択的抽出画素と、前記抽出手段が抽出を除外する非抽出画素とが含まれ、
   前記抽出手段が、前記選択的抽出画素になりうる候補画素を少なくとも２つ含む画素グループに対して、前記画素グループに含まれる候補画素のうちの一部である基準候補画素のそれぞれから見て第１の方向に位置する第１の計算対象画素と、前記第１の計算対象画素及び前記基準候補画素間を結ぶ直線上に位置し且つ前記第１の計算対象画素よりも前記基準候補画素側に位置する第２の計算対象画素との関係、並びに、前記基準候補画素から見て前記第１の方向とは異なる第２の方向に位置する第３の計算対象画素と、前記第３の計算対象画素及び前記基準候補画素間を結ぶ直線上に位置し且つ前記第３の計算対象画素よりも前記基準候補画素側に位置する第４の計算対象画素との関係を示す特徴量に基づいて前記画素グループに含まれる前記候補画素を前記選択的抽出画素として抽出する抽出ステップを含む画素抽出方法。
9. 複数の画素を有する画像から抽出手段により所望の画素を抽出する画素抽出方法において、
   前記複数の画素には、前記抽出手段が選択的に抽出する選択的抽出画素が含まれ、
   前記抽出手段が、前記選択的抽出画素になりうる候補画素を少なくとも１つ含む画素グループに対して、前記画素グループに含まれる画素の一部である基準画素のそれぞれから見て第１の方向に位置する第１の計算対象画素と、前記第１の計算対象画素及び前記基準画素間を結ぶ直線上に位置し且つ前記第１の計算対象画素よりも前記基準画素側に位置する第２の計算対象画素との関係、並びに、前記基準画素から見て前記第１の方向とは異なる第２の方向に位置する第３の計算対象画素と、前記第３の計算対象画素及び前記候補画素間を結ぶ直線上に位置し且つ前記第３の計算対象画素よりも前記基準画素側に位置する第４の計算対象画素との関係を示す特徴量に基づいて前記画素グループに含まれる前記候補画素を前記選択的抽出画素として抽出する抽出ステップを含む画素抽出方法。
10. 請求項６記載の画像処理方法又は請求項７から９のいずれかに記載の画素抽出方法をコンピュータに実行させることが可能なプログラム。
11. 請求項１０に記載のプログラムをコンピュータが実行することが可能にて記録した記録媒体。
    

Images