JP2005258609A - 画像処理手順探索方法 - Google Patents

Abstract

【課題】原画像とその原画像から認識されるべき図形を指定したサンプル図形とを入力とし、前記認識を実行する画像処理手順について候補を生成しては評価することを繰り返すことで探索を行う画像処理手順探索方法であって、探索可能な範囲を広く取りつつ、高速に探索を行う画像処理探索方法を提供する。
【解決手段】画像処理手順の候補の生成には、過去に画像処理手順探索を繰り返して得られたデータを蓄えている探索経験データベースを利用して生成する、近傍探索を用いる。画像処理手順の探索には、一部の原画像のみから得た近似的な評価を用いる。
【選択図】 図１

Description

本発明は、画像処理手順探索方法に関し、詳しくは画像処理手順の自動構成及びパラメータの自動調整について、探索可能な範囲を広くとりつつ、高速に探索を行う画像処理手順探索方法に関する。

従来技術における画像処理手順探索方法として、原画像、及びサンプル図形（その原画像から認識されるべき図形）を入力とし、その認識を実行する処理手順を出力する手順探索システムが存在する。これは一般的に図２１に示すフローチャートに従って実現できる。

先ず、手順の探索は、原画像とその原画像から認識されるべきサンプル図形を入力する（ステップＳＴ１１０）。
次に、その入力された画像に対して、モジュールライブラリから所望のモジュールを選択して手順を生成する（ステップＳＴ１１１）。モジュールライブラリは、図２に示すように、例えば、“縮小”、“平滑化”等の画像処理するために必要な処理形態からなるモジュールを収容したもので、このモジュールライブラリから所望のモジュールを選択することになる。
次に、選択されたモジュールで生成された手順に従ってモジュールを実行する（ステップＳＴ１１２）。
そして、モジュールを実行したことにより、その手順が確かなものかの評価を行い、且つ手順の実行回数が所定の閾値以上でなければ、ステップＳＴ１１１に行き、再度モジュールを選択して手順の生成、実行、評価を閾値で決められた回数だけ行い、手順の探索は終了する（ステップＳＴ１１３、ＳＴ１１４）。

このような手順探索システムを実現する手法として、次に示す［１］ＩＭＰＲＥＳＳ（Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｅｘｐｅｒｔ Ｓｙｓｔｅｍ ａｃｃｅｐｔｉｎｇ Ｓａｍｐｌｅ-Ｆｉｇｕｒｅ Ｐｒｅｓｅｎｔａｔｉｏｎ）、［２］遺伝的プログラミング（Ｇｅｎｅｔｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）／遺伝的アルゴリズム（Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ）が存在する。

[１]ＩＭＰＲＥＳＳ
ＩＭＰＲＥＳＳは、大きく４つの部分、（１）サンプル図形の前処理、（２）大まかな処理手順の選択、（３）具体的処理手順の決定、（４）構成された処理手順の評価、からなり、特に（３）の具体的処理手順の決定においては推論過程で“期待画像”という概念が導入されている。
（１）サンプル図形の前処理
サンプル図形は、濃淡画像の特徴を表す“領域”、“エッジ”または“特徴点”のいずれかであり、それぞれ、ディジタル２値画像上の“面（ｍａｓｓ）”、“線（ｌｉｎｅ）”または“点（ｐｏｉｎｔ）”で表現される。また、サンプル図形とともに入力すべき必要最小限の補助情報として（ａ）形状の区別、（ｂ）実際の前処理範囲、（ｃ）書かれた図形が抽出したいものの全部か一部かの区別、および（ｄ）図形の正確さの４つがある。

（２）大まかな処理手順の選択
システム内にある程度一般性のある大まかな手順の候補を幾つか用意し、その中から選択する。こうすることによって、最終的に構成された手順にもその範囲での一般性が保証されることになる。そこで、先ず画像処理の基本的処理単位として代表的と思われるもの（以下、モジュールと呼ぶ）の機能をその出力画像の性質（面、線、点の３種の形状）によって処理し、それに基づいて画像処理手順を整理した結果、画像復元、幾何学的変換、領域分割、テクスチャ解析、弛緩法などの特殊なものを除けば、以下に示す８つの処理手順に集約され、各手順を構成する処理単位を処理モジュールと呼ぶ。
［面］ＰＦＭ１；平滑化→差分→２値化→連結成分処理
［線］ＰＦＬ１；平滑化→差分→線追跡→線図形処理
［線］ＰＦＬ２；平滑化→差分→２値化→連結成分処理→細線化→線図形処理
［線］ＰＦＬ３；平滑化→差分→２値化→連結成分処理→輪郭追跡→線図形処理
［点］ＰＦＰ１；平滑化→差分→特徴点抽出（局所処理、テンプレートマッチングを含む）→点図形処理
［点］ＰＦＰ２；平滑化→差分→２値化→連結成分処理→点図形化→点図形処理
［点］ＰＦＰ３；平滑化→差分→２値化→連結成分処理→細線化→線図形処理→点図形化→点図形処理
［点］ＰＦＰ４；平滑化→差分→２値化→連結成分処理→輪郭追跡→線図形処理→点図形化→点図形処理

以上の結果、システムはサンプル図形の形状及び優先順位に基づいて大まかな処理手順の１つ
を選択できる。

（３）具体的処理手順の決定
大まかな手順が決まると、それに基づいて具体的な処理手順が推論される。この推論過程は、図２２に示すように、２つのステップからなる。
第１のステップは、所謂、後向き推論であり、サンプル図形を出発点とし、大まかな処理手順を逆に戻りながら、各処理モジュールに入力されるであろう画像（以下、期待画像（ｅｘｐｅｃｔｅｄ ｉｍａｇｅ）と呼ぶ）を、その処理の性格と出力画像（前段で得られている期待画像）から順に推定し、２番目の処理モジュールの期待画像を得るまで続ける。
第２のステップは、所謂、前向き推論であり、原画像を出発点とし、大まかな処理手順を順に進みながら、各処理モジュールごとに、既に得られている期待画像になるべく近い画像を得るような具体的手法を順に決定する。このとき、１つの処理モジュールで決定された手法による実際の処理結果が次の処理モジュールの入力となる。

先ず、第１のステップで行われている期待画像の推定は、理想的には、各モジュールの処理の逆操作（逆変換）である。しかしながら、ここで考えている処理手法の大部分は、その処理結果から処理前の画像を正確に求めるような逆操作は存在しないから、上の逆操作は近似的なものに置き換える。例えば、２値図形細線化モジュールでは、出力の線図形に適当な回数だけ図形拡散を施した結果を細線化前の画像の１つの推定と考えれば、この図形拡散は細線化の近似的逆操作となり得る。更に、近似的逆操作の実現も著しく困難な処理モジュールについては、逆操作或は近似的逆操作が可能な近くのモジュールと適当に合併してモジュールグループを作り、このグループ単位での期待画像の推定を行う。
一方、第２のステップでの期待画像と処理結果の画像との近さの尺度の計算には、画像データ、及び、画像から抽出される適当な特徴量を用いる。

（４）構成された処理手順の評価
構成された処理手順全体の最終的な評価尺度として、その手順による実際の処理結果とサンプル図形との図形的な一致度を用いる。その値がある閾値を超えたときは、その手順を最終結果として出力し、そうでなければ、原則としてもう一度初めに戻り、サンプル図形自身の処理、或は、大まかな処理手順の選択からやり直す。

このように、ＩＭＰＲＥＳＳでは、原画像及びサンプル図形から登録済みの大まかな処理手順を選択し、次に処理手順中の各モジュールに対する期待画像を計算する。そして、原画像を期待画像に近づけるように、モジュールごとに、段階的に評価し、パラメータを調整することで画像処理を行っているのである。

［２］遺伝的プログラミング／遺伝的アルゴリズム（ＧＰ／ＧＡ）
ＧＰは、生物進化のメカニズムをモデル化したＧＡを拡張し、グラフ構造や木構造のような構造的表現を扱えるもので、ＧＰ／ＧＡを使って、モジュールの組み合わせ最適化問題として、処理手順を探索する。

特開２０００−１３４４５２号公報（第３頁〜４頁 第１図）

しかし、従来技術で説明した上記の[１]ＩＭＰＲＥＳＳについては、各モジュールに対し期待画像を計算する手段、及び期待画像とモジュールの適用結果を比較する手段が必要であるため、モジュールの追加やモジュールの組み合わせ順序などの変更に、画像処理や探索に関する十分な知識と時間が必要であった。このため、実際的には探索可能な処理手順の範囲が狭く、汎用的ではなかった。このような構成になったのは、計算時間の面から、探索を高速に行うためと考えられる。
又、上記の[２]ＧＡ／ＧＰは、複雑な処理手順を探索できるが、一般的には局所最適性能が悪くて、探索回数を多く必要とするため、計算時間の面から、サイズの大きなフィルタのチューニングが難しい。又、広い探索空間を持つ反面、オーバーフィッティングを避けるために多くのサンプル画像を必要とするなどの問題点がある。

従って、画像処理手順探索の自動構成、及びパラメータの自動調整について、探索可能な範囲を広くとりつつ、高速に探索を行うことができる画像処理手順探索方法に解決しなければならない課題を有する。

上記課題を解決するために、本願発明の画像処理手順探索方法は、次に示す構成にしたことである。
（１）画像処理手順探索方法は、原画像とその原画像から認識されるべきサンプル図形を入力とし、前記サンプル図形に対応する原画像に最適と考えられる処理パラメータを含む具体的処理手順を決定し、該決定された具体的処理手順を実行して、その評価を評価関数で行うことを予め決められた回数だけ実行して手順探索を行う手順探索方法であって、前記具体的処理手順を近傍探索によって生成することである。
（２）前記近傍探索は、シミュレーテッドアニーリング（ＳＡ）法を用いたことを特徴とする（１）に記載の画像処理手順探索方法。
（３）前記具体的処理手順は、手順テンプレートによって探索空間を形成する機能を備えたことを特徴とする（１）に記載の画像処理手順探索方法。
（４）前記手順探索は、その探索戦略を段階的に変化させるようにしたことを特徴とする（１）に記載の画像処理手順探索方法。
（５）前記探索戦略を段階的に変化させるのは、アウトライン探索を行った後にチューニング探索を行うようにしたことを特徴とする（４）に記載の画像処理手順探索方法。
（６）前記評価関数は、相関比、及び相関比とサンプル図形の検出率（ＴＰＦ；Ｔｒｕｅ Ｐｏｓｉｔｉｖｅ Ｆｒｅｑｕｅｎｃｙ）を用いることを特徴とする（１）に記載の画像処理手順探索方法。
（７）前記具体的処理手順の適用結果をメモリにキャッシュする機能を備えたことを特徴とする（１）に記載の画像処理手順探索方法。

（８）画像処理手順探索方法は、原画像とその原画像から認識されるべきサンプル図形を入力とし、前記サンプル図形に対応する原画像に最適と考えられる処理パラメータを含む具体的処理手順を決定し、該決定された具体的処理手順を実行して、その評価を評価関数で行うことを予め決められた回数だけ実行して手順探索を行う手順探索方法であって、前記手順探索で得られたデータを探索経験データベースに蓄積し、該蓄積されている探索経験データベースを利用して具体的処理手順を決定し、実行するようにしたことである。
（９）前記探索経験データベースに蓄積する手法は、タスク生成の手法を持つことで、自主的に探索経験を蓄えるようにしたことを特徴とする（８）に記載の画像処理手順探索方法。
（１０）前記タスク生成の手法は、原画像とサンプル図形の組からなるさまざまなタスク、該タスクの特徴量である探索前特徴量、手順探索により生成された手順、及び手順の生成過程を１レコードとして前記探索経験データベースに蓄積するようにしたことを特徴とする（９）に記載の画像処理手順探索方法。
（１１）前記探索前特徴量をキーとして、前記探索経験データベースより類似タスクの手順を検索し、初期手順とすることを特徴とする（１０）に記載の画像処理手順探索方法。
（１２）前記類似タスクの検索に、前記探索前特徴量から計算したランキングを用いることを特徴とする（１１）に記載の画像処理手順探索方法。
（１３）前記探索経験データベースに蓄積されているデータより推定した処理手順／パラメータの出現確率を探索に用いることを特徴とする（８）に記載の画像処理手順探索方法。
（１４）前記出現確率を、ベイズの定理で推定するようにしたことを特徴とする（１３）に記載の画像処理手順探索方法。

（１５）画像処理手順探索方法は、原画像とその原画像から認識されるべきサンプル図形を入力とし、前記サンプル図形に対応する原画像に最適と考えられる処理パラメータを含む具体的処理手順を決定し、該決定された具体的処理手順を実行して、その評価を評価関数で行うことを予め決められた回数だけ実行して手順探索を行う手順探索方法であって、前記具体的処理手順を決定する際に、一部の原画像のみを用いて近似的な評価値を求め、当該求めた近似的な評価値を用いて探索するようにしたことである。
（１６）前記一部の原画像のみを用いて近似的な評価値から画像の選択をするにはクラスタリングを用いることを特徴とする（１５）に記載の画像処理手順探索方法。
（１７）前記クラスタリングに判別分析法を用いることを特徴とする（１６）に記載の画像処理手順探索方法。

本発明の画像処理手順探索方法は、近傍探索を採用し、手順の評価には評価関数ｇ（ｘ）のみを用いるため、ＩＭＰＲＥＳＳより柔軟な構成が可能になる。又、一般的にＧＡ／ＧＰに比べ、ＳＡ法をはじめとする近傍検索は局所最適性に優れるため、高速な探索が可能になる。探索が高速化すれば、ユーザは短時間で処理手順を得ることができる。
手順テンプレートを指定するインターフェースを備えたことで、ユーザは課題に応じて、探索空間を制限することにより、探索を高速化することができる。特に近傍探索では、ＧＡ／ＧＰに比べて複雑な処理手順の探索が難しいため、その効果は大きい。
又、探索戦略を段階化することで、局所最適解に陥りにくく、また探索を高速化できる。
更に、相関比、及び相関比とＴＰＦによる評価計算を行うことで、評価値に相関など用いる従来法ではサンプル図形とサンプル図形外の面積の差に、大きく影響を受けてしまうが、本手法ではその影響が軽微にすることができる。
手順実行のキャッシュ機能を備えたことで、手順実行の速度を向上させることができ、短時間で処理手順を得ることができるという効果がある。

又、探索経験データベースを生成することにより、タスク生成と、手順探索を繰り返すことで、自主的に探索速度を向上させることができ、探索が高速化することに伴いユーザは短時間で処理手順を得ることができるようになる。

更に、近似的な評価値を用いることで、評価する画像の枚数の上限を、クラスタ個数までに制限できるため、計算時間を減らし、探索の高速化を図ることができる。

以下、本発明の画像処理手順探索方法について、図面を用いて詳細に説明する。

本発明の第１の実施例の画像処理手順探索方法は、原画像とその原画像から認識されるべきサンプル図形を入力とし、サンプル図形に対応する原画像に最適と考えられる処理パラメータを含む具体的処理手順を決定し、この決定された具体的処理手順を実行して、その評価を評価関数で行うことを予め決められた回数だけ実行して手順探索を行う手順探索方法であって、具体的処理手順を近傍探索によって生成することである。
そして、この具体的処理手順は、手順テンプレートによって探索空間を形成する機能を備え、手順探索は、その探索戦略を段階的に変化させるようにし、評価関数は、相関比、及び相関比とサンプル図形の検出率（ＴＰＦ；Ｔｒｕｅ Ｐｏｓｉｔｉｖｅ Ｆｒｅｑｕｅｎｃｙ）を用いると共に、具体的処理手順の適用結果をメモリにキャッシュする機能を備えたことである。

以下、（１）近傍探索によって、画像処理手順の自動構成及びパラメータの自動調整を行い、（２）手順プレートによって、探索空間を設定するインターフェースを持ち、画像処理手順の自動構成及びパラメータの自動調整を行い、（３）探索戦略を段階的に変化させることによって、画像処理手順の自動構成及びパラメータの自動調整を行い、（４）評価関数に相関比、及び相関比とＴＰＦを用いることによって、画像処理手順の自動構成およびパラメータの自動調整を行い、（５）手順の適用結果のキャッシュをすることにより、画像処理手順の自動構成及びパラメータの自動調整を行うことについて、順に説明する。

（１）近傍探索
一般的に、ＧＡ／ＧＰに比べ、近傍探索は局所最適性に優れている。このため、高速な探索が可能になる。又、このため、手順の実行結果のみを評価するため、ＩＭＰＲＥＳＳより柔軟な構成が可能になる。
以下、図１に示すフローチャートを参照して説明する。

先ず、原画像とその原画像から認識されるべきサンプル図形を入力し、ランダムに初期手順を生成する（ステップＳＴ１１、ＳＴ１２）。
次に、その入力された画像に対して、モジュールライブラリ１１から所望のモジュールを選択して近傍手順を生成する（ステップＳＴ１３）。
モジュールライブラリ１１は、図２に示すように、画像処理の基本的処理単位として代表的と思われるもの（以下、モジュールと呼ぶ）の機能をその出力画像の性質（面、線、点の３種の形状）によって処理するものを集めたもので、実施例におけるモジュールには、「縮小」、「平滑化」、「メディアンフィルタ」、「シェーデイング補正」、「ラプラシアン（２近傍）」、「ファン型バンドパスフィルタ」、「ファン型バンドパスフィルタ＋射影」、「ラプラシアン（４近傍）」、「バンドパスフィルタ」、「膨張」、「符号反転」、「２値化」、「1次元識別器」などがあり、それぞれが所定のパラメータが設定されるようになっており、「平滑化」、「メディアンフィルタ」が平滑化Ｇ（グループ）に属し、「ラプラシアン（２近傍）」、「ファン型バンドパスフィルタ」、「ファン型バンドパスフィルタ＋射影」が線強調Ｇ（グループ）に属し、「ラプラシアン（４近傍）」、「バンドパスフィルタ」が円強調Ｇ（グループ）に属する。

具体的な近傍探索の生成として、シミュレーテッドアニーリング（ＳＡ）法を用いて手順を実行する（ステップＳＴ１４）。
ＳＡ法は次のようなものである。
手順ｘについては、評価関数ｇ（ｘ）を最大とするｘ^ｏｐｔを生成結果とする。

手順の評価には、評価関数ｇ（ｘ）のみを用いる（ステップＳＴ１５）。ＳＡ法では局所最適解からの脱出を確立的に行う。脱出の確立は、温度に依存し、時間の経過に伴い低下していく。次にアルゴリズムを示す。
ｋ＞０，０＜γ＜１，Ｌ（正の整数）はパラメータである。
Ｓｔｅｐ０．初期手順ｘを生成する。初期温度Ｔ（＞０）を設定する。
Ｓｔｅｐ１．Ｓｔｅｐ２〜４をＬ回繰り返す。
Ｓｔｅｐ２．近傍手順ｘ'＝Ｎ（ｘ）を生成する。
Ｓｔｅｐ３．ｇ（ｘ'）≧ｇ（ｘ）ならば、ｘ＝ｘ'とする。ｇ（ｘ'）＜ｇ（ｘ）ならば、確率ｅｘｐ（（ｇ（ｘ'）−ｇ（ｘ））／ｋＴ）で、ｘ＝ｘ'とする。
Ｓｔｅｐ４．Ｔ＝γＴとする。

手順ｘは、モジュールライブラリ１１に登録されているモジュールをつなぎ合せたものである。どのようにつなぎ合せるかは、そのときに設定する処理ブロック構成に依存する。
モジュールライブラリ１１は、上述したように、モジュールとして縮小、平滑化（一様重み）、メディアンフィルタ、シェーデイング補正、ラプラシアン（２近傍）、ファン型バンドパスフィルタ、ファン型バンドパスフィルタ＋射影、ラプラシアン（４近傍）、バンドパスフィルタ、膨張（円の構造要素）、符号反転、２値化、１次元識別器（面積）から構成されており、処理ブロックは、これらのモジュールをつなぎ合わせて形成されている。

このように、近傍手順はＳＡ法を用いて、生成する。ＳＡ法における近傍手順Ｎ（ｘ）の定義は、次に示す５通りに定義し、可能な候補の中から一律な確率で選択する。
・モジュールの挿入
・モジュールの削除
・モジュールの変更
・パラメータの値を上げる
・パラメータの値を下げる

実現するにあたり、次のような工夫を施した。
・一度探索した解は、再評価しなように、タブーリストを用いた。
・局所最適解を避けるため、多点スタートの探索を行った。
・２値化閾値は、評価値に対して大きく影響するため、２値化モジュール内で２０回程度の試行を行い、局所的に最適化を行った。
・特性の似たモジュールをグループに分け、パラメータを共通化した。例えば、円強調Ｇ（グループ）では図３（ａ）に示す探索空間を作る。フィルタサイズはピーク空間周波数に換算して並べた。これによりモジュール選択と、フィルタサイズの２次元で探索を行えるようにした。
・いくつかのパラメータは２次元的に探索を行う。例えば、図３（ｂ）に示すように、縮小率とフィルタサイズは、サンプル図形の面積と対応関係がある。このような場合、両方のパラメータを同時に動かしたほうが、評価値の変化が小さいことがある。このため、２次元的に探索を行うほうが、滑らかな空間ができる。

次に、選択されたモジュールで生成された手順に従ってモジュールを実行し、実行したことにより、その手順が確かなものかの評価を行い、且つ手順の実行回数が所定の閾値以上でなければ、ステップＳＴ１１に行き、再度ＳＡ法に基づくモジュールを選択して近傍手順の生成、実行、評価を閾値で決められた回数だけ行い、手順の探索は終了する（ステップＳＴ１６）。

このように、近傍探索における手順の評価には、評価関数ｇ（ｘ）のみを用いるため、ＩＭＰＲＥＳＳより、柔軟な構成が可能になる。又、一般的にＧＡ／ＧＰに比べ、ＳＡ法をはじめとする近傍探索は局所最適性に優れる。このため、高速な探索が可能になる。探索が高速化すれば、ユーザは短時間で処理手順を得ることができるのである。

（２）手順テンプレートを指定するインターフェース
ユーザは、上記した近傍手順の作成において、図４に示すように、手順テンプレートで、探索空間を指定する。手順テンプレートは、処理ブロックと、処理ブロックの接続で表現される。処理ブロックは、複数のモジュールやグループと、それらが何個入るかの最小個数、最大個数を指定する。実施例における処理ブロックは、［縮小］→［シェーデイング補正、平滑化Ｇ］→［線強調Ｇ、円強調Ｇ］→［符号反転］→［２値化］→［膨張］→［１次元識別器（面積）］であり、それぞれにパラメータが設定されている。
処理手順探索時には、各処理ブロックは、指定されたモジュール及びグループの、全ての可能な接続の探索空間に展開される。具体的な例は、図５に示すように、手順テンプレートが（［縮小］→［シェーデイング補正、平滑化Ｇ］→［線強調Ｇ、円強調Ｇ］→［符号反転］→［２値化］→［膨張］→［１次元識別器（面積）］）であるのに対して、実際の処理手順は、「縮小」→「シェーデイング補正」→「メディアンフィルタ」→「ラプラシアン（４近傍）」→「符号反転」→「２値化」→「１次元識別器（面積）」である。

これにより、図６（ａ）に示す一般性のある手順テンプレート、［縮小、シェーデイング補正、平滑化Ｇ、線強調Ｇ、円強調Ｇ、符号反転］から、図６（ｂ）に示す探索空間を大きく制限する手順テンプレート、［「縮小」→「シェーデイング補正、平滑化Ｇ」→「線強調Ｇ、円強調Ｇ」→「符号反転」→「２値化」→「膨張」→「１次元識別器」］まで表現可能である。

次に、以上のような手順テンプレートを指定するインターフェースを備えた手順探索について、図４に示すフローチャートで説明する。

先ず、画像処理課題に応じて、ユーザは手順テンプレートを入力する（ステップＳＴ２１）。
そして、原画像とその原画像から認識されるべきサンプル図形を入力する（ステップＳＴ２２）。
次に、その入力された画像に対して、上述した近傍探索を開始し、モジュールライブラリから所望のモジュールを選択して手順テンプレートに従った手順を生成する（ステップＳＴ２３）。ここでは上述した、図５に示す処理ブロックで展開される範囲、手順で生成する。
そして、選択されたモジュールで生成された手順テンプレートに従ってモジュールを実行し、実行したことにより、その手順が確かなものかの評価を行い、且つ手順テンプレートの実行回数が所定の閾値以上でなければ、ステップＳＴ２３に行き、再度ＳＡ法に基づくモジュールを選択して近傍手順の生成、実行、評価を閾値で決められた回数だけ行い、手順テンプレートによる近傍探索は終了する（ステップＳＴ２４、ＳＴ２５、ＳＴ２６）。

このように、手順テンプレートを指定するインターフェースにおいては、ユーザは課題に応じて、探索空間を制限することにより、探索を高速化することができる。特に近傍探索では、ＧＡ／ＧＰに比べ複雑な処理手順の探索が難しいため、その効果が大きい。

（３）探索戦略の段階化
探索戦略の段階化は、処理手順の概観を決めるアウトライン探索と、細かな調整を行うチューニング探索に、２段階の異なる戦略で近傍探索を行う。チューニング探索は、アウトライン探索で探索した処理手順を初期手順に用いる。
探索戦略の手法は、図１０に示すように、パラメータの粒度、評価関数、初期温度、多点スタートがあり、パラメータ粒度は、アウトラインのときは荒く、チューニングのときは細かい。評価関数はアウトラインのときは相関比ｇ^ＣｏｒＲ（ｘ）であり、チューニングのときはＴＰＦ＋相関比ｇ^ＴＰＦ（ｘ）である。多点スタートは、アウトラインのときは行い、チューニングのときは行わない。
又、このように探索の戦略を変える理由は次に挙げられる。
（ａ）探索可能な処理手順を増やすため、探索空間を広げると、局所最適解に陥りやすくなる。このため、探索空間の粒度を段階的に細かくしていく。ここでは図１０に示すように、アウトライン／チューニングの２段階に、パラメータの粒度を変えた構成になっている。
（ｂ）探索の初期では、なるべく滑らかな変動をする評価関数が望ましいが、探索末期では、得たい処理結果を忠実に表現する評価関数を用いたい。これを同時に解決する評価関数は難しいので、アウトライン／チューニングについて、評価関数を変えた構成になっている。

このような探索戦略の段階化について、図７、図８、図９に示すフローチャートを参照して以下説明する。

先ず、原画像とその原画像から認識されるべきサンプル図形を入力する（ステップＳＴ３１）。
次に、その入力された画像に対して、アウトライン探索を行った後に、チューニング探索を行う（ステップ３２、ＳＴ３３）。

アウトライン探索は、図８のフローチャートに示すように、モジュールライブラリ１１から所望のモジュールを選択して規則Ａに従った手順を生成する（ステップＳＴ４１）。規則Ａとは、例えばパラメータの粒度であれば荒いことであり、初期温度であれば高いことをさす。
そして、選択されたモジュールで生成された手順に従ってモジュールを実行し、実行したことにより、その手順が確かなものかの評価を相関比（ｇ^ＣｏｒＲ（ｘ））で行い、手順実行回数が所定の閾値以上でなければ、ステップＳＴ４１に行き、再度手順の生成、実行、評価を閾値で決められた回数だけ行い、探索は終了する（ステップＳＴ４２、ＳＴ４３、ＳＴ４４）。この相関比による評価については後述する。

チューニング探索は、図９に示すように、アウトライン探索で生成された処理手順を、初期手順とする手順の引継ぎを行う（ステップＳＴ５１）。
次に、モジュールライブラリ１１から所望のモジュールを選択して規則Ｂに従った手順を生成する（ステップＳＴ４１）。規則Ｂとは、例えばパラメータの粒度であれば細かいことであり、初期温度であれば低いことをさす。
そして、選択されたモジュールで生成された手順に従ってモジュールを実行し、実行したことにより、その手順が確かなものかの評価を相関比＋ＴＰＦ（ｇ^ＴＰＦ（ｘ））で行い、手順実行回数が所定の閾値以上でなければ、ステップＳＴ５１に行き、再度手順の生成、実行、評価を閾値で決められた回数だけ行い、探索は終了する（ステップＳＴ５３、ＳＴ５４、ＳＴ５５）。この（相関比＋ＴＰＦ）による評価については後述する。

このように、探索戦略の段階化においては、局所最適解に陥りにくく、また探索を高速化できるのである。

（４）相関比、及び相関比とＴＰＦによる評価計算
上記の探索戦略の段階化におけるアウトライン探索で採用される相関比、チューニング探索で採用される（相関比＋ＴＰＦ）について、以下説明する。

原画像Ｉｍに手順を実行し、得られた２値画像Ｂｍを評価する、サンプル図形の面積が小さい場合、従来用いられてきたピアソンの相関係数などによる評価は、背景領域（サンプル図形外の領域）の面積に強く依存してしまい、サンプル図形が無視されてしまう。
この結果、サンプル図形の見逃しにつながり、サンプル図形の検出率ＴＰＦ（Ｔｒｕｅ Ｐｏｓｉｔｉｖｅ Ｆｒｅｑｕｅｎｃｙ）が下がってしまう。このために（ａ）相関比を工夫して用いることで、滑らかな探索空間を目指した評価関数ｇ^ＣｏｒＲ（ｘ）、（２）ＴＰＦを用いてサンプル図形の見落としを防ぐための評価関数ｇ^ＴＰＦ（ｘ）を定義する。
（ａ）先ず、サンプル図形の領域Ｄ_ｎに対応した、２値画像Ｂ_ｍの領域の２値の値を、１次元にｄ_ｎ＝{０，１}^Ｐｎ _１
と表現する。ここでＰ_ｎはサンプル図形の面積とする。

又、画像Ｂ_ｍのサンプル図形外の値を
Ｃ_ｍ＝{０，１}^Ｑｍ _１とする。
ここでＱ_ｍはサンプル図形外の面積とする。

更に、それぞれの平均を、Ｍ（Ｃ_ｍ），Ｍ（ｄ_ｎ）、又、ｄ_ｎ，Ｃ_ｎを合わせた平均、分散をＭ（ｄ_ｎ，Ｃ_ｎ），Ｖ（ｄ_ｎ，Ｃ_ｎ）とする。
α＝Ｐ_ｎ／（Ｐ_ｎ＋Ｑ_ｍ）とおくと、
領域Ｄ_ｎと画像Ｂ_ｍの相関比ｈ（ｍ，ｎ）は次の式となる。

但し、このままでは符号が反転しても同じ値を持ってしまう。このため、別途、サンプル図形近傍ｄ_ｎ ^{Ｎｅｉｇｈｂｏｒ}の平均値Ｍ（ｄ_ｎ ^{Ｎｅｉｇｈｂｏｒ}）と、サンプル図形内ｄ_ｎ ^{Ｉｎｎｅｒ}の平均Ｍ（ｄ_ｎ ^{Ｉｎｎｅｒ}）を計算し、評価をβ＝０．２倍に割り引いた補正値ｈ'（ｍ，ｎ）を計算する。

最後に、画像、サンプル図形について平均化し、ｇ^ＣｏｒＲ（ｘ）を得る。

相関比は比較値間の相対的な尺度を与える基準である。２値画像の比較には、よくピアソンの相関係数が用いられるが、サンプル図形が微小なことから、サンプル図形外の影響が大きくなってしまうため、用いなかった。
（ｂ）ｇ^ＴＰＦ（ｘ）にはサンプル図形の検出率ＴＰＦを用い、相関比とθ＝０．３の比率で組み合わせる。ＴＰＦは検出したサンプル図形の個数を、サンプル図形総数で割った値である。

このように、相関比、及び相関比とＴＰＦによる評価計算においては、評価値に相関などを用いる従来法では、サンプル図形とサンプル図形外の面積の差に、大きく影響を受けてしまうのに対して、本手法では、その影響が軽微である。

（５）手順実行のキャッシュ機能
手順の適用結果をメモリにキャッシュし、計算を高速化する。

このキャッシュを用いた手順探索について、図１１に示すフローチャートで説明する。

先ず、上述した近傍探索を開始し、モジュールライブラリ１１から所望のモジュールを選択して手順を生成する（ステップＳＴ６１）。
そして、選択されたモジュールで生成された手順を実行し、その結果をキャッシュする（ステップＳＴ６２）。ここでは処理ブロック単位でのモジュール適用結果をメモリにキャッシュ１２する。
次に、実行したことにより、その手順が確かなものかの評価を行い、且つ手順実行回数が所定の閾値以上でなければ、ステップＳＴ６１に行き、再度ＳＡ法に基づくモジュールを選択して近傍手順の生成、実行をする。この実行のときにはキャッシュ１２した適用結果を読み出し且つキャッシュ１２することで計算の高速化を図ることができる。そして、評価を閾値で決められた回数だけ行い、近傍探索は終了する（ステップＳＴ６３、ＳＴ６４）。

このように、手順実行のキャッシュ機能を備えることで、手順の適用結果をメモリにキャッシュし、計算を高速化でき、手順実行の速度を向上させることができるため、短時間で処理手順を得ることができる。
又、処理ブロック単位でのモジュール適用結果をメモリにキャッシュすることができる。キャッシュのヒット率は、５０ブロックを保存したとき、２２．７％、１０ブロックを保存したとき１０．３％である。

次に、第２の実施例の画像処理手順探索方法について、図面を参照して説明する。

第２の実施例の画像処理手順探索方法は、手順探索システムに探索経験データベースを用いることで、探索速度を向上させるというものである。
探索経験データベースとは、図１３に示すように、原画像とサンプル図形の組からなるさまざまなタスク１〜タスクｋを生成すると共に、このタスク１〜タスクｋ、タスクの特徴量（探索前特徴量）、手順探索により生成された手順、及び手順の生成過程を１レコードとして、蓄えたものである。

又、この探索経験データベースは、初期手順の生成と、特徴量からの手順パラメータの推定を行うときにも利用されている。
更に、図１６に示すように、探索経験データベース１３は、自主的にタスクを生成（ステップＳＴ８１）して手順探索を行う手順探索システムでの実行を繰り返す（ステップＳＴ８２）ことで、探索速度を向上させることができ、ユーザがシステムを使えば使うほど、探索経験が蓄積され、探索速度が向上する構成になっている。

このような探索経験データベースを利用した手順探索システムについて、図１２に示すフローチャートを参照して、以下説明する。

先ず、手順の探索は、原画像とその原画像から認識されるべきサンプル図形を入力する（ステップＳＴ７１）。
次に、その入力された画像に対して、探索前特徴量の計算を行う（ステップＳＴ７２）。この探索前特徴量の計算は、図１４に示すように、様々なデータ、実施例で、角度、偏心率、面積、長軸長さ、短軸長さ、白黒符号、シェーデイング、コントラストの各項目と、類似基準となる形状、サイズ、白黒符号とに対応させて特徴量を計算する。このように、３つの類似基準、サイズ、形状、白黒符号を定義し、これらの類似基準は、探索前特徴量を標準化し、ユークリッド距離のランキングを行い、類似度として計算される。これらの３つの類似度を統合する方法として、２つ以上の類似度の組み合わせ（サイズと形状、形状と白黒符号など）を平均し、高い準に初期手順としている。

次に、探索経験データベースから所定のデータを読み出して、探索経験を用いた初期手順の生成を行う（ステップＳＴ７３）。この探索経験を用いた初期手順の生成は、探索前特徴量をキーとして、探索経験データベースより類似タスクの手順を探索し、初期手順とする。類似タスクの探索手段として、探索前特徴量から計算される、図１４に示す３つの類似基準、サイズ、形状、白黒符号を定義し、これらの類似基準は、探索前特徴量を標準化し、ユークリッド距離のランキングを行い、類似度とした。これらの３つの類似度を統合する方法として、２つ以上の類似度の組み合わせ（サイズと形状、形状と白黒符号など）を平均し、高い準に初期手順としている。

次に、モジュールライブラリ１１から所望のモジュールを選択してパラメータ推定を用いた手順を生成する（ステップＳＴ７４）。モジュールライブラリ１１は、実施例１で説明した図２に示すように、例えば、“縮小”、“平滑化”等の画像処理するために必要な処理形態からなるモジュールを収容したもので、このモジュールライブラリ１１から所望のモジュールを選択することになる。
ここでの特徴量からの手順パラメータ推定は、探索前特徴量と手順のパラメータの間に確率分布を作成し、手順探索に割り当て、探索を高速化するというものである。
例えば、図１５に示すサンプル図形の面積Ａと縮小率ｒの間には相関がある場合に、縮小率の検索範囲をｒ＝{ｒ１,・・,ｒ_ｃ,・・ｒｃ}としたとき、面積の分布ｐ（Ａ｜ｒ_ｃ）を、ガウス分布で近似し、ベイズの定理より事後確率ｐ（ｒ_ｃ｜Ａ）を求める。

このｐ（ｒｃ｜Ａ）を、入力された複数のサンプル図形に対して平均化し、正規化した確率分布を、探索時のパラメータを上げるか下げるの選択確率に用いる。同様に、線強調Ｇのフィルタ角度と、サンプル図形の角度の関係にも用いることができる。

次に、パラメータ推定を用いた生成された手順に従ってモジュールを実行する（ステップＳＴ７５）。
そして、モジュールを実行したことにより、その手順が確かなものかの評価を行い、且つ手順の実行回数が所定の閾値以上でなければ、ステップＳＴ７４に行き、パラメータ推定を用いた手順の生成、実行、評価を閾値で決められた回数だけ行い、手順の探索は終了する（ステップＳＴ７６、ＳＴ７７）。

次に、探索した手順を探索経験データベース１３に格納する（ステップＳＴ７８）。探索経験データベース１３に、タスク（原画像とサンプル図形の組）、タスクの特徴量（探索前特徴量）、手順探索により生成された手順、及び手順の生成過程を１レコードとして蓄える。
このようにして、探索経験データベース１３を生成する。探索経験データベース１３の生成は、図１３に示すタスク生成を自動的に行い、探索経験データベース１３を作成する。
タスク生成は、図１７に示すように、原画像に、スケール、角度、符号、コントラストの変換を行ったモデル画像を加算することで行う。このとき、スケールや角度、符号、コントラストなどのパラメータを、ランダムに変えることで、異なるタスクを作ることができる。タスクを手順探索システムに入力し、前述したレコードに蓄積する。
ここで、探索経験データベース１３のレコードが増加するほど、精度が増す。このため、図１６に示すように、タスク生成と、手順探索を繰り返すことで、自主的に探索速度を向上させることができる。

このように、探索経験データベース１３を生成し、且つタスク生成と、手順探索を繰り返すことで、自主的に探索速度を向上させることができる。探索が高速化すれば、ユーザは短時間で処理手順を得ることができるのである。

尚、ここで説明した探索経験データベース１３を利用することは、実施例１で説明した近傍探索を用いる手順探索システムに採用できることは勿論のことである。

次に、第３の実施例の画像処理探索手順方法について、図面を参照して説明する。

第３の実施例の画像処理探索手順方法は、原画像が多数あるとき、計算時間を減らすため、一部の原画像のみを用いて近似的な評価値を計算し、探索に用いるというものであり、探索前特徴量のクラスタリング、評価における画像の選択をクラスタを用いて行うようにしたところに特徴を有する。

このような近似的な評価値を用いた手順探索システムについて、図１８に示すフローチャートを参照して、以下説明する。

先ず、手順の探索は、原画像とその原画像から認識されるべきサンプル図形を入力する（ステップＳＴ９１）。
次に、その入力された画像に対して、探索前特徴量の計算を行う（ステップＳＴ９２）。探索前特徴量の計算は、図１９に示すように、探索前特徴量のうち、面積、コントラスト、シェーデイングの３種を計算することである。
次に、サンプル図形のクラスタリングを行う（ステップＳＴ９３）。このクラスタリングは、この探索前特徴量を用いて、サンプル図形をクラスタ化する。ここでの、クラスタの境界は、次元ごとに判別分析を行い、２^３個の直方体に分割して行う。そして、この分割した直方体の中に所望の画像を含まないクラスタが存在するため、その分を取り除くと、対象となるクラスタの数は２^３個以下になる。

次に、モジュールライブラリ１１から所望のモジュールを選択して手順を生成する（ステップＳＴ９４）。モジュールライブラリ１１は、実施例１で説明した図２に示すように、例えば、“縮小”、“平滑化”等の画像処理するために必要な処理形態からなるモジュールを収容したもので、このモジュールライブラリから所望のモジュールを選択することになる。

次に、生成された手順に従ってモジュールを実行する（ステップＳＴ９５）。
そして、モジュールを実行したことにより、その手順が確かなものかの評価を行うために、評価に用いる原画像の選択を行う（ステップＳＴ９６）。評価に用いる画像を選択するため、先ず、ステップＳＴ９３で計算した各クラスタにつき、１個づつランダムにサンプル図形を選択する。これらのサンプル図形を含む画像を評価に用いる画像として選択する。
次に、手順の近似的な評価を行う（ステップＳＴ９７）。ここでは、ステップＳＴ９６で選択した画像、及びそれに含まれるサンプル図形を評価する。
評価した後に、手順の実行回数が所定の閾値以上でなければ、ステップＳＴ９４に行き、再度手順の生成を行い、評価に用いる原画像の選択、手順の近似的な評価を閾値で決められた回数だけ行い、手順の探索は終了する（ステップＳＴ９８）。

このように、原画像が多数あるときに、評価する画像の枚数の上限を、クラスタ個数までに制限して、計算されるのを近似的な評価値であらわすことで、探索の高速化を図ることができるのである。

図２０は、画質検査での応用例で、評価欠陥の選択を表したもので、１つの欠陥を含む４０枚の原画像について、手順の生成を行い、探索した手順を、改めて全画像を用いて評価し、４０回繰り返した平均評価値を計算したものである。これは、評価値の近似精度を表しており、ランダム選択に比べて、良い評価値が得られている。１回の探索に用いた欠陥の個数は４０個中７個であった。ランダム選択でも同数の欠陥を選択した。ここでは欠陥の数＝画像枚数であるため、評価に必要な画像処理の時間は７／４０となる。

尚、今回はクラスタリングを用いたが、これに限定されることなくクラスタリングの手法には、ベクトル量子化、ＥＭアルゴリズムなどの一般的なクラスタリングアルゴリズムでもよいことは勿論のことである。

画像処理手順探索方法は、近傍探索を採用し、手順の評価には評価関数ｇ（ｘ）のみを用いるため、ＩＭＰＲＥＳＳより柔軟な構成が可能になり、又、一般的にＧＡ／ＧＰに比べ、ＳＡ法をはじめとする近傍検索は局所最適性に優れるため、高速な探索が可能な画像処理探索手法を提供できる。

本願発明の第１の実施例の画像処理手順探索方法を具現化するための近傍探索を用いた手順探索システムのフローチャートである 同、様々な手順を行うためのモジュールからなるモジュールライブラリの構成を示す説明図である。 同、モジュールにおけるパラメータの探索空間を示す説明図である。 同、手順テンプレートを用いた手順探索システムのフローチャートである。 同、手順テンプレートとモジュールの処理手順を示した説明図である。 同、手順テンプレートにおける一般性の高いモジュールの組み合わせ、制限が強いモジュールの組み合わせを示した説明図である。 同、手順の段階化を示すフローチャートである。 同、手順の段階化を示すフローチャートである。 同、手順の段階化を示すフローチャートである。 同、戦略の段階化を一覧表示した説明図である。 同、キャッシュを利用した手順探索システムのフローチャートである。 本願発明の第２の実施例の画像処理手順探索方法を具現化するための探索経験データベースを用いた手順探索システムのフローチャートである 同、探索経験データベースにおける探索経験を蓄積する様子を示したフローチャートである。 同、探索前特徴量と類似基準の対応関係を示す説明図である。 同、面積によって縮小率が推定される関係を示したグラフである。 同、自主的な探索経験の積み重ねを示したフローチャートである。 同、欠陥画像のデータベースを作成するための説明図である。 本願発明の第３の実施例の画像処理手順探索方法を具現化するためのサンプル図形のクラスタリングを用いて手順の近似的な評価を行う手順探索システムのフローチャートである。 同、サンプル図形の特徴量によるクラスタ化と代表を選択する様子を示した説明図である。 同、評価欠陥の選択を一覧表示した説明図である。 従来技術における基本的な手順探索システムを示すフローチャートである。 従来技術における処理手順の推論の流れを示した説明図である。

符号の説明

１１ モジュールライブラリ
１２ キャッシュ
１３ 探索経験データベース。

Claims (17)

1. 原画像とその原画像から認識されるべき図形を指定したサンプル図形とを入力とし、前記認識を実行するための画像処理手順の候補の生成と、その候補の評価とを繰り返し行う画像処理手順探索方法であって、
   前記候補を近傍探索によって生成することを特徴とする画像処理手順探索方法。
2. 前記近傍探索は、シミュレーテッドアニーリング（ＳＡ）法を用いたことを特徴とする請求項１に記載の画像処理手順探索方法。
3. 前記手順探索は、手順テンプレートによって探索空間を形成する機能を備えたことを特徴とする請求項１に記載の画像処理手順探索方法。
4. 前記手順探索は、その探索戦略を段階的に変化させるようにしたことを特徴とする請求項１に記載の画像処理手順探索方法。
5. 前記探索戦略を段階的に変化させるのは、アウトライン探索を行った後にチューニング探索を行うようにしたことを特徴とする請求項４に記載の画像処理手順探索方法。
6. 前記評価関数は、相関比、及び相関比とサンプル図形の検出率（ＴＰＦ；Ｔｒｕｅ Ｐｏｓｉｔｉｖｅ Ｆｒｅｑｕｅｎｃｙ）を用いることを特徴とする請求項１に記載の画像処理手順探索方法。
7. 前記具体的処理手順の適用結果をメモリにキャッシュする機能を備えたことを特徴とする請求項１に記載の画像処理手順探索方法。
8. 原画像とその原画像から認識されるべき図形を指定したサンプル図形とを入力とし、前記認識を実行するための画像処理手順の候補の生成と、その候補の評価とを繰り返すことで探索を行う画像処理手順探索方法であって、
   過去に前記画像処理手順探索を繰り返して得られたデータを蓄えた探索経験データベースを利用して、前記候補を生成することを特徴とする画像処理手順探索方法。
9. 前記探索経験データベースに蓄積する手法は、タスク生成の手法を持つことで、自主的に探索経験を蓄えるようにしたことを特徴とする請求項８に記載の画像処理手順探索方法。
10. 前記タスク生成の手法は、原画像とサンプル図形の組からなるさまざまなタスク、該タスクの特徴量である探索前特徴量、手順探索により生成された手順、及び手順の生成過程を１レコードとして前記探索経験データベースに蓄積するようにしたことを特徴とする請求項９に記載の画像処理手順探索方法。
11. 前記探索前特徴量をキーとして、前記探索経験データベースより類似タスクの手順を検索し、初期手順とすることを特徴とする請求項１０に記載の画像処理手順探索方法。
12. 前記類似タスクの検索に、前記探索前特徴量から計算したランキングを用いることを特徴とする請求項１１に記載の画像処理手順探索方法。
13. 前記探索経験データベースに蓄積されているデータより推定した処理手順／パラメータの出現確率を探索に用いることを特徴とする請求項８に記載の画像処理手順探索方法。
14. 前記出現確率を、ベイズの定理で推定するようにしたことを特徴とする請求項１３に記載の画像処理手順探索方法。
15. 原画像とその原画像から認識されるべき図形を指定したサンプル図形とを入力とし、前記認識を実行するための画像処理手順の候補の生成と、前記候補の評価とを繰り返すことで探索を行う画像処理手順探索方法であって、
    前記候補の評価に一部の原画像のみを用いて近似的な評価を求め、当該求めた近似的な評価を用いて探索するようにしたことを特徴とする画像処理手順探索方法。
16. 前記一部の原画像のみを用いて近似的な評価値から画像の選択をするにはクラスタリングを用いることを特徴とする請求項１５に記載の画像処理手順探索方法。
17. 前記クラスタリングに判別分析法を用いることを特徴とする請求項１６に記載の画像処理手順探索方法。
    

Images