JP2015153365A - 画像処理装置 - Google Patents

Abstract

【課題】検出対象物体の形状に応じた特徴点の共起性を利用した一般化ハフ変換により、入力画像から検出対象物体を正確に検出することができる画像処理装置を提供する。
【解決手段】本発明の一実施形態に係る画像処理装置１０は、撮像部１により対象物が撮像された画像を取得する画像取得部２１と、対象物の形状に応じた特徴点の共起性に関する情報をあらかじめ取得し、この共起性に関する情報を利用した一般化ハフ変換を用いて画像から対象物を抽出する共起性一般化ハフ変換部２２と、を備える。
【選択図】 図１

Description

本発明の実施形態は、画像から所定の物体を検出する画像処理装置に関する。

従来、画像から所定の物体を検出する技術として、直線近似法、二値化重心法や、正規化相関法などのパターンマッチング法などが知られている。たとえば正規化相関法によるパターンマッチングによれば、入力画像（カメラ画像）の中から登録画像（テンプレート画像）と類似する部分画像を特定することができる。

また、正規化相関法の他にも、エビデンスを特徴空間に投票するハフ変換法も、直線や曲線抽出および形状認識のためのパターンマッチングの１つの方法として知られている。ハフ変換は、登録画像を用いることなく入力画像から所定の物体を検出することができる。このため、ハフ変換は、登録画像を用いる正規化相関法に比べ、登録画像の選定者のレベルによって検出精度が左右されることがなく利便性が高い。特に、ハフ変換を形状抽出に一般化した一般化ハフ変換（ＧＨＴ、Generalized Hough Transform）は、パラメータで表すことができない不定形の図形を検出することができるため、大変利便性が高い。

特開２００９−４３０３９号公報

一般化ハフ変換では、検出対象の物体の形状に関する情報をあらかじめ定義しておく。そして、画像上の特徴点を抽出し、特徴点の位置とエッジの法線方向にもとづいて特徴点ごとに所定のセルに投票を行うことを繰り返すことにより、物体の検出を行うようになっている。

抽出される特徴点には、ゴミなどに起因する意図しない特徴点も含まれることが多い。しかし、従来の一般化ハフ変換では、抽出した全ての特徴点について均等に投票を行う。このため、入力画像にゴミなどのノイズが多い場合には、的確に物体を検出することが難しい。

本発明は、上述した事情を考慮してなされたもので、検出対象物体の形状に応じた特徴点の共起性を利用した一般化ハフ変換により、入力画像から検出対象物体を正確に検出することができる画像処理装置を提供することを目的とする。

本発明の一実施形態に係る画像処理装置は、上述した課題を解決するために、撮像部により対象物が撮像された画像を取得する画像取得部と、対象物の形状に応じた特徴点の共起性に関する情報をあらかじめ取得し、この共起性に関する情報を利用した一般化ハフ変換を用いて画像から対象物を抽出する共起性一般化ハフ変換部と、を備えたものである。

本発明に係る画像処理装置は、検出対象物体の形状に応じた特徴点の共起性を利用した一般化ハフ変換により、入力画像から検出対象物体を正確に検出することができる。

本発明の一実施形態に係る画像処理装置の一構成例を示すブロック図。 （ａ）は抽出対象物の一例としての三角形を示す説明図、（ｂ）は抽出対象物の形状に応じてあらかじめ記憶媒体に記憶される抽出対象の特徴点と検出対象図形の基準点間のベクトルの一例を示す説明図、（ｃ）は入力画像の特徴点をもとに基準点に対して投票処理が行われる様子の一例を示す説明図、（ｄ）は種々の抽出対象物の形状の例を示す説明図。 一般化ハフ変換により円形形状の抽出対象物を抽出する際の様子の一例を示す説明図。 （ａ）は、対象物が円形形状である場合において、１つの特徴点（ｘ、ｙ）に対して共起されるべき予想特徴点を３つ抽出した様子の一例を示す説明図、（ｂ）は（ａ）に示す場合において抽出された共起されるべき特徴点のエッジの法線方向の向きの一例を示す説明図。 対象物が任意の形状であっても共起性ＧＨＴを適用可能であることを説明するための図。 図１に示す画像処理装置のＣＰＵにより、共起性一般化ハフ変換を用いることにより入力画像から対象物を正確に検出する際の手順を示すフローチャート。 図６のステップＳ１で共起性ＧＨＴ部により実行される共起性ＧＨＴ画像生成処理の手順を示すサブルーチンフローチャート。 図６のステップＳ３で二値化ラベリング部により実行される二値化処理およびラベリング処理の手順を示すサブルーチンフローチャート。 図８に示す手順における二値化処理およびラベリング処理を説明するための図。

本発明に係る画像処理装置の実施の形態について、添付図面を参照して説明する。

図１は、本発明の一実施形態に係る画像処理装置１０の一構成例を示すブロック図である。

画像処理装置１０は、図１に示すように、入力部１１、表示部１２、ネットワーク接続部１３、記憶部１４および制御部１５を有する。

入力部１１は、たとえばキーボード、トラックボール、タッチパネル、テンキーなどの一般的な入力装置により構成され、ユーザの操作に対応した操作入力信号を制御部１５に出力する。

表示部１２は、たとえば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイなどの一般的な表示出力装置により構成され、制御部１５の制御に従ってＣＡＤ画像などの各種画像を表示する。

ネットワーク接続部１３は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続部１３は、この各種プロトコルに従って画像処理装置１０と他の電気機器とを接続する。この接続には、電子ネットワークを介した電気的な接続などを適用することができる。

ここで電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、無線／有線ＬＡＮやインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。

記憶部１４は、磁気的もしくは光学的記録媒体または半導体メモリなどの、制御部１５のＣＰＵにより読み書き可能な記録媒体を含んだ構成を有する。記憶部１４は、あらかじめ対象物の形状に応じた特徴点の共起性に関する情報を記憶している。なお、このは、ネットワーク接続部１３によりネットワークを介してダウンロードされてもよい。

制御部１５は、ＣＰＵ、ＲＡＭおよびＲＯＭをはじめとする記憶媒体などにより構成され、この記憶媒体に記憶されたプログラムに従って画像処理装置１０を制御する。

制御部１５のＣＰＵは、ＲＯＭをはじめとする記憶媒体に記憶された共起性ＧＨＴプログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って、検出対象物体の形状に応じた特徴点の共起性を利用した一般化ハフ変換を用いることにより入力画像から検出対象物体を正確に検出するための処理を実行する。

制御部１５のＲＡＭは、ＣＰＵが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。制御部１５のＲＯＭをはじめとする記憶媒体は、共起性ＧＨＴプログラムや、プログラムを実行するために必要な各種データを記憶する。

なお、ＲＯＭをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、ＣＰＵにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は電子ネットワークを介してダウンロードされるように構成してもよい。

図１に示すように、制御部１５のＣＰＵは、共起性ＧＨＴプログラムによって、少なくとも画像取得部２１、共起性ＧＨＴ部２２および二値化ラベリング部２３として機能する。この各部２１−２３は、ＲＡＭの所要のワークエリアをデータの一時的な格納場所として利用する。なお、この機能実現部は、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。

画像取得部２１は、撮像部１により対象物が撮像された画像（入力画像）を取得し、共起性ＧＨＴ部２２に与える。

共起性ＧＨＴ部２２は、対象物の形状に応じた特徴点の共起性に関する情報をあらかじめ取得し、この共起性に関する情報を利用した一般化ハフ変換（以下、共起性一般化ハフ変換（共起性ＧＨＴ）という）を用いて入力画像から対象物を抽出する。

二値化ラベリング部２３は、所定の強度閾値ｔｈを用いて共起性ＧＨＴ画像から二値画像を生成し、この二値画像に対してラベリング処理を施し、ラベリング処理後の各ラベルの代表座標をする。ラベルの代表座標としては、ラベルの中心や重心などを用いることができる。

所定の強度閾値ｔｈは、入力画像に含まれると推定される対象物の数にもとづいて自動設定することができる。二値化ラベリング部２３は、対象物の数に応じて所定の範囲を設定し、強度閾値ｔｈより高い強度の画素を抽出することにより二値画像を生成してラベリング処理を施し、ラベリング処理後のラベル数が所定の範囲内となるように補助処理を行ってもよい。

補助処理では、ラベル数が所定の範囲より外であると所定の範囲以内となるよう自動的に強度閾値ｔｈを変更して再度二値画像を生成してラベリング処理を施すことを繰り返す一方、ラベル数が所定の範囲以内であるとラベリング処理後の各ラベルの代表座標を取得する。また、強度閾値ｔｈの変更が繰り返され続ける弊害を未然に防ぐため、強度閾値ｔｈの変更回数に上限を設けてもよい。

なお、ラベリング処理を施す場合、ラベルの情報があれば対象物の位置情報を取得可能である。このため、ラベリング処理を施した後は、入力画像や共起性ＧＨＴ画像などの元画像を記憶媒体から削除してもよい。
ここで、共起性一般化ハフ変換について説明する。

まず、一般化ハフ変換について簡単に説明する。図２および図３は一般化ハフ変換について説明するための図である。図２（ａ）は抽出対象物の一例としての三角形を示す説明図であり、（ｂ）は抽出対象物の形状に応じてあらかじめ記憶媒体に記憶される抽出対象の特徴点と検出対象図形の基準点間のベクトルの一例を示す説明図であり、（ｃ）は入力画像の特徴点をもとに基準点に対して投票処理が行われる様子の一例を示す説明図であり、（ｄ）は種々の抽出対象物の形状の例を示す説明図である。

また、図３は、一般化ハフ変換により円形形状の抽出対象物を抽出する際の様子の一例を示す説明図である。

図２（ｄ）および図３に示すように、ハフ変換を形状抽出に一般化した一般化ハフ変換（ＧＨＴ）は、パラメータで表すことができない不定形の図形を検出することができる。

一般化ハフ変換を行う場合は、検出対象の物体の形状に関する情報（抽出対象の特徴点と基準点間のベクトル）をあらかじめ設計情報から、またはネットワークを介して、または入力部１１を介して取得する（図２（ｂ）参照）。そして、画像上の特徴点を抽出し、特徴点の位置とエッジの法線方向にもとづいて特徴点ごとに所定のセル（基準点）に投票を行うことを繰り返すことにより、物体の検出を行う（図２（ｃ）参照）。

特に、対象物がバンプである場合には、入力画像から対象物を抽出する方法として一般化ハフ変換法が好適である。

このように、一般化ハフ変換では、検出対象の物体の形状に関する情報を利用する。そして、画像上の特徴点を抽出し、特徴点の位置とエッジの法線方向（図２（ｂ）参照）にもとづいて特徴点ごとに所定のセルに投票を行うことを繰り返すことにより、物体の検出を行うようになっている。

しかし、一般化ハフ変換において抽出される特徴点には、ゴミなどに起因する意図しない特徴点も含まれることが多い。にもかかわらず、一般化ハフ変換では、抽出した全ての特徴点について均等に投票を行うため、入力画像にゴミなどのノイズが多い場合には、的確に物体を検出することが難しい。

検出対象の物体の形状をうまく利用し、検出対象物体の形状に応じた特徴点の共起性を利用することができれば、より正確な物体検出ができると考えられる。

そこで、本実施形態に係る共起性ＧＨＴ部２２は、一般化ハフ変換に代えて、検出対象物体の形状に応じた特徴点の共起性を利用した一般化ハフ変換（共起性一般化ハフ変換（共起性ＧＨＴ））を行う。

図４（ａ）は、対象物が円形形状である場合において、１つの特徴点（ｘ、ｙ）に対して共起されるべき予想特徴点を３つ抽出した様子の一例を示す説明図であり、（ｂ）は（ａ）に示す場合において抽出された共起されるべき特徴点のエッジの法線方向の向きの一例を示す説明図である。

また、図５は、対象物が任意の形状であっても共起性ＧＨＴを適用可能であることを説明するための図である。

検出対象物体の形状がわかっているのであるから、１つの特徴点が抽出された場合には、この特徴点が対象物に属する特徴点である場合には抽出した特徴点と共起すべき予想特徴点の位置（予想共起位置）およびエッジ法線方向（予想共起エッジ法線方向）をあらかじめ定義することが可能である（図５の共起座標間距離Ｄｘ１，Ｄｙ１，エッジ法線方向の向きＶｘ１，Ｖｙ１参照）。

したがって、予想特徴点の予想共起位置に実際にエッジが存在し、かつこのエッジの法線方向が予想共起エッジ法線方向に一致する場合には、抽出した特徴点が対象物に属する特徴点である可能性が極めて高いと考えられる。このため、この抽出した特徴点の検出対象図形の基準点への投票度数を大きくする。

このように、共起性一般化ハフ変換によれば、ゴミに起因する特徴点の影響を大きく低減することができ、より的確に検出対象物を検出することができる。

また、図５に示すように、対象物が任意の形状であっても、対象物の形状に応じた特徴点の共起性に関する情報にもとづいて共起性ＧＨＴを適用することができる。

なお、図４には、対象物が円形形状である場合において、予想共起位置を９０度ずつずらした位置とする場合の例について示したが、予想共起位置は１８０度の位置（対角）位置のみであってもよいし、４５度ずつずらした位置などより多くの位置を定義してもよい。

次に、本実施形態に係る画像処理装置１０の動作の一例について説明する。

図６は、図１に示す画像処理装置１０のＣＰＵにより、共起性一般化ハフ変換を用いることにより入力画像から対象物を正確に検出する際の手順を示すフローチャートである。

共起性一般化ハフ変換を実行する場合、共起性ＧＨＴ部２２は、対象物の形状に応じた特徴点の共起性に関する情報（図５のＤｘ１等参照）をあらかじめ取得しておく。また、この手順は画像取得部２１により対象物が撮像された入力画像が取得されてスタートとなる。

まず、ステップＳ１において、共起性ＧＨＴ部２２は、入力画像に対して共起性一般化ハフ変換を施し、共起性一般化ハフ変換画像（共起性ＧＨＴ画像）を生成する。

次に、ステップＳ２において、二値化ラベリング部２３は、共起性一般化ハフ変換画像に対して二値化処理およびラベリング処理を施す。

次に、ステップＳ３において、二値化ラベリング部２３は、各ラベルの代表座標を取得する。所定の領域を有する対象物のそれぞれと各ラベルは１対１に対応する。

以上の手順により、共起性一般化ハフ変換を用いて入力画像から対象物を正確に検出することができる。

図７は、図６のステップＳ１で共起性ＧＨＴ部２２により実行される共起性ＧＨＴ画像生成処理の手順を示すサブルーチンフローチャートである。

ステップＳ１１において、共起性ＧＨＴ部２２は、入力画像から特徴点を抽出する。次に、ステップＳ１２において、共起性ＧＨＴ部２２は、抽出した特徴点と共起すべき予想特徴点の情報を取得する。予想特徴点の情報には、予想共起位置の情報（たとえば抽出した特徴点との相対ベクトルなど）や予想共起エッジ法線方向の情報が含まれる。

次に、ステップＳ１３において、共起性ＧＨＴ部２２は、予想特徴点の予想共起位置に実際にエッジが存在し、かつこのエッジの法線方向が予想共起エッジ法線方向に一致するか否かを判定する。エッジが存在し、かつこのエッジの法線方向が予想共起エッジ法線方向に一致する場合は、ステップＳ１４に進み、ステップＳ１１で抽出した特徴点の検出対象図形の基準点への投票度数を大きくしてステップＳ１６に進む。一方、エッジが存在しないか、エッジが存在してもエッジの法線方向が予想共起エッジ法線方向とは一致するとはいえない場合は、ステップＳ１５に進み、ステップＳ１１で抽出した特徴点の検出対象図形の基準点への投票度数を小さくしてステップＳ１６に進む。

そして、ステップＳ１６において、共起性ＧＨＴ部２２は、投票度数にもとづいて共起性一般化ハフ変換画像を生成し、図２４のステップＳ５２に進む。

以上の手順により、共起性に関する情報を利用した一般化ハフ変換（共起性一般化ハフ変換）によって、入力画像から的確に対象物を抽出することができる。

図８は、図６のステップＳ３で二値化ラベリング部２３により実行される二値化処理およびラベリング処理の手順を示すサブルーチンフローチャートである。また、図９は、図８に示す手順における二値化処理およびラベリング処理を説明するための図である。

ステップＳ２１において、二値化ラベリング部２３は、入力画像の所定領域に含まれると推定される対象物の数ｎＡを求める。

次に、ステップＳ２２において、二値化ラベリング部２３は、対象物１つが占める平均画素数ｎＢの情報をパラメータなどから取得する。所定領域に含まれる全ての対象物により占められる画素数はｎＡ×ｎＢで表せる。

なお、ステップＳ２１およびＳ２２は、入力画像の生成前にあらかじめ行っておいてもよい。

次に、ステップＳ２３において、二値化ラベリング部２３は、処理対象画像としてステップＳ１で生成された共起性一般化ハフ変換画像を取得する。

次に、ステップＳ２４において、二値化ラベリング部２３は、取得した画像の画素の強度分布をヒストグラム化する（図９参照）。

次に、ステップＳ２５において、二値化ラベリング部２３は、有効画素数がｎＡ×ｎＢとなるように強度閾値ｔｈを求める。

次に、ステップＳ２６において、二値化ラベリング部２３は、強度閾値ｔｈより高い強度の画素を抽出することにより二値画像を生成してラベリング処理を実行する。

以上のステップＳ２１−２６の手順により、二値化処理の閾値ｔｈを適切に自動設定することができる。

また、強度閾値ｔｈの値がより適切な値となるよう、次の補助処理（ステップＳ２７−３０）を行ってもよい。補助処理は、ラベル数がより確実に所定の範囲以内となるような強度閾値ｔｈを自動設定するための処理であり、ステップＳ２６での結果得られたラベル数が所定の範囲以内であるか否かが判定され、所定の範囲外であった場合はラベル数が所定の範囲以内となるよう強度閾値ｔｈを再設定しステップＳ２６に戻る処理である。

なお、補助処理を行う場合、記憶部１４はラベル数の上限値および下限値をあらかじめ記憶しておいてもよい。

ステップＳ２７において、二値化ラベリング部２３は、ステップＳ２６の結果得られたラベル数が上限より小さいか否かを判定する。ラベル数が上限以上である場合は、ステップＳ２８に進み、ラベル数がより所定の範囲以内となるように強度閾値ｔｈに所定の定数α（ただしα＞１）を乗じてステップＳ２６に戻る。一方、ラベル数が上限より小さい場合はステップＳ２９に進む。

次に、ステップＳ２９において、二値化ラベリング部２３は、ステップＳ２６の結果得られたラベル数が下限より大きいか否かを判定する。ラベル数が下限以下である場合は、ステップＳ３０に進み、ラベル数がより所定の範囲以内となるように強度閾値ｔｈに所定の定数β（ただしβ＜１）を乗じてステップＳ２６に戻る。一方、ラベル数が下限より大きい場合はラベル数が所定の範囲以内であると判定し図１のステップＳ３に進む。

なお、補助処理（ステップＳ２７−３０）は実行されずともよく、実行される場合であってもループ回数（補助処理の回数）に制限を設けてもよい。

補助処理を行うことにより、ラベル数がより確実に所定の範囲以内となるような強度閾値ｔｈを自動設定することができる。

本実施形態に係る画像処理装置１０は、共起性一般化ハフ変換を用いることができる。このため、一般化ハフ変換を行う場合に比べてゴミなどの誤検出の影響を低減することができ、より正確に対象物を検出することができる。

また、本実施形態に係る画像処理装置１０は、二値画像を生成する際に閾値ｔｈを適切に自動設定することができるため、ユーザにとって非常に利便性が高い。また、閾値ｔｈを自動設定する際に補助処理を行う場合、ラベル数が確実に所定範囲内となるような閾値ｔｈを設定することができる。

なお、共起性一般化ハフ変換を行う場合、入力画像を圧縮しておくと、計算速度を向上させることができる。また、入力画像を平滑化しておいてもよく、この場合、画像中のゴミの影響を低減することができる。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。

１ 撮像部
１０ 画像処理装置
２１ 画像取得部
２２ 共起性ＧＨＴ部
２３ 二値化ラベリング部

Claims (6)

1. 撮像部により対象物が撮像された画像を取得する画像取得部と、
   前記対象物の形状に応じた特徴点の共起性に関する情報をあらかじめ取得し、この共起性に関する情報を利用した一般化ハフ変換を用いて前記画像から前記対象物を抽出する共起性一般化ハフ変換部と、
   を備えた画像処理装置。
2. 前記共起性一般化ハフ変換部は、
   前記画像から特徴点を抽出し、この抽出した特徴点が前記対象物に属する特徴点である場合には前記抽出した特徴点と共起すべき予想特徴点の、予想共起位置および予想共起エッジ法線方向の情報を取得し、前記予想特徴点の予想共起位置に実際にエッジが存在し、かつこのエッジの法線方向が予想共起エッジ法線方向に一致する場合には、前記抽出した特徴点の基準点への投票度数を大きくする、
   請求項１記載の画像処理装置。
3. 前記画像に含まれると推定される前記対象物の数にもとづいて強度閾値を自動設定し、前記強度閾値より高い強度の画素を抽出することにより二値画像を生成してラベリング処理を施し、ラベリング処理後の各ラベルの代表座標を取得する二値化ラベリング部、
   をさらに備えた請求項１または２に記載の画像処理装置。
4. 前記二値化ラベリング部は、
   前記推定される前記対象物の数にもとづいて前記強度閾値を設定するとともに前記推定される前記対象物の数に応じて所定の範囲を設定し、前記強度閾値より高い強度の画素を抽出することにより二値画像を生成してラベリング処理を施すとともに、ラベリング処理後のラベル数が前記所定の範囲より外であると前記所定の範囲以内となるよう自動的に前記強度閾値を変更して再度二値画像を生成してラベリング処理を施すことを繰り返す一方、前記ラベル数が前記所定の画素数範囲以内であるとラベリング処理後の各ラベルの代表座標を取得する、
   請求項３記載の画像処理装置。
5. 前記共起性一般化ハフ変換部は、
   前記画像に対して圧縮処理を施すことにより画素数を減らしてから、前記共起性に関する情報を利用した一般化ハフ変換を用いて前記画像から前記対象物を抽出する、
   請求項１ないし４のいずれか１項に記載の画像処理装置。
6. 前記共起性一般化ハフ変換部は、
   前記画像に対して平滑化処理を施してから、前記共起性に関する情報を利用した一般化ハフ変換を用いて前記画像から前記対象物を抽出する、
   請求項１ないし５のいずれか１項に記載の画像処理装置。

Images