JP2013200859A - 画像特徴量抽出装置 - Google Patents

Abstract

【課題】画像処理により高速に対象物検出のための画像特徴量を抽出する、画像特徴量抽出装置を提供することである。
【解決手段】入力画像に対して横方向と縦方向それぞれの微分画像を求め、それぞれの微分画像を用いて画像上の各点における輝度勾配強度と輝度勾配方向を求め（３０）、画像上の注目点を中心としたサイズに応じた正方形範囲における輝度勾配強度の総計を正方形範囲の面積で割ることで輝度勾配強度の密度を計算し、輝度勾配強度密度の変化にピークが有る場合は、注目点の位置を画像特徴量の位置とし、輝度勾配強度密度の変化のピークに対応するサイズを画像特徴量の位置のサイズとして特定する（５０）ので、高速に対象物検出のための画像特徴量を抽出することができる。
【選択図】図２

Description

本発明は、画像処理により高速に対象物検出のための画像特徴量を抽出する、画像特徴量抽出装置に関するものである。

画像中から対象物を検出するための画像特徴量抽出方法として以下の方法が提案されている。
非特許文献１では、複数サイズのエッジ検出フィルタを用意し、このフィルタの反応により画像特徴量の位置とサイズを特定し、特定した位置周辺の各画素における輝度勾配を基に局所的な模様を数値化し、特徴量として記述した。

特許文献１では、自動車両からの距離が不明な検出対象を識別するため、事前の学習における検出対象の大きさを基に入力画像を拡大縮小した複数枚のサイズ変更画像を用意し、サイズ変更画像において部分領域の輝度差を基にした画像特徴量を抽出した。さらに、画像特徴量の計算を高速化するためにインテグラルイメージを利用した。インテグラルイメージとは、矩形領域の４角の画素値を加減算することで特徴量が導出されるように、変換前画像の各画素値を演算した結果を、その変換前画像の画素の配列に従って配置したデータである。

特許文献２では、鼻頂点のような顔特徴点を検出するため、まず瞳の位置を求め、瞳の間隔を基に顔特徴点のスケールを決定し、スケールに応じた顔特徴点近傍の周辺バターンを画像特徴量とした。

特開２０１０−１９８３６１号公報 特開２００８−１４６３２９号公報

「"Ｇｒａｄｉｅｎｔベースの特徴抽出−ＳＩＦＴとＨＯＧ−"，藤吉弘亘，情報処理学会研究会報告，２００７−ＣＶＩＭ−１６０，ｐｐ．２１１−２２４」

非特許文献１の方法では、画像特徴量のサイズを特定するため複数サイズのエッジ検出フィルタを用意し、これら複数のフィルタを繰り返し画像上の各点に適用してフィルタ出力を調査するため、画像特徴量のサイズ特定に処理時間を要すると共に、フィルタ出力結果を保管する記憶容量が必要となる。

特許文献１の方法では、自動車両からの距離が不明な検出対象を識別するため、つまり、画像上でのサイズが不明な検出対象を識別するため、入力画像のサイズを変更した複数サイズのサイズ変更画像を用意するため、サイズ変更画像を作成する手間と保管する記憶容量が必要となる。

特許文献２の方法では、瞳の間隔を基に画像特徴量のスケールを決定するため、顔以外の検出対象には適用できない。

上記課題を解決する本発明の請求項１に係る画像特徴量抽出装置は、画像上の各部分の輝度勾配強度の密度を求めることで画像特徴量の位置とサイズを特定し、さらに、輝度勾配方向を整理して画像特徴量を構成することを特徴とする。

上記課題を解決する本発明の請求項２に係る画像特徴量抽出装置は、画像上の注目点の周辺の輝度勾配強度の密度を画像特徴量のサイズの範囲分調査し、サイズに対する輝度勾配強度密度の変化を調べ、輝度勾配強度密度の変化にピークが有る場合は、注目点の位置を画像特徴量の位置とし、また、輝度勾配強度密度の変化のピークに対応するサイズを画像特徴量の位置のサイズとして特定し、さらに、輝度勾配方向を整理して画像特徴量を構成することを特徴とする。

上記課題を解決する本発明の請求項３に係る画像特徴量抽出装置は、画像を平滑化し、画像上の輝度勾配強度と輝度勾配方向を求め、画像特徴量の位置とサイズを特定し、画像特徴量全体の回転方向を決定し、画像特徴量を構成することを特徴とする。

上記課題を解決する本発明の請求項４に係る画像特徴量抽出装置は、請求項１又は２記載の特徴量抽出装置において、輝度勾配強度の密度を計算するためインテグラルイメージを利用することを特徴とする。

上記課題を解決する本発明の請求項５に係る画像特徴量抽出装置は、請求項４記載の特徴量抽出装置において、前記インテグラルイメージは、座標軸に対して平行な矩形領域の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工されること又は前記座標軸に対して傾いた矩形領域の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工されること特徴とする。

上記課題を解決する本発明の請求項６に係る画像特徴量抽出装置は、画像データを入力する画像入力部と、前記画像入力部より入力された入力画像を平滑化した画像を作成する画像平滑化部と、前記画像平滑化部により平滑化した入力画像に対して横方向と縦方向それぞれの微分画像を求め、それぞれの微分画像を用いて画像上の各点における輝度勾配強度と輝度勾配方向を求める輝度勾配強度・輝度勾配方向計算部と、前記輝度勾配強度・輝度勾配方向計算部で求めた輝度勾配強度に基づいて、矩形領域の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工してインテグラルイメージを作成するインテグラルイメージ作成部と、前記インテグラルイメージ作成部で求めたインテグラルイメージを利用して、画像上の注目点を中心としたサイズに応じた正方形範囲における輝度勾配強度の総計を正方形範囲の面積で割ることで輝度勾配強度の密度を計算し、輝度勾配強度密度の変化にピークが有る場合は、注目点の位置を画像特徴量の位置とし、輝度勾配強度密度の変化のピークに対応するサイズを画像特徴量の位置のサイズとして特定する画像特徴量の位置・サイズ特定部と、前記画像特徴量の位置・サイズ特定部で求めた画像特徴量の位置を中心とした近傍の前記輝度勾配方向を調べ、最も多い輝度勾配方向を画像特徴量全体の回転方向として決定する画像特徴量全体の回転方向決定部と、前記画像特徴量の位置・サイズ特定部で求めた画像特徴量の位置・サイズ・前記画像特徴量全体の回転方向決定部で求めた全体の回転方向を整理して画像特徴量を構成する画像特徴量構成部と、を備えることを特徴とする。

上記課題を解決する本発明の請求項７に係る画像特徴量抽出装置は、画像データを入力する画像入力部と、前記画像入力部より入力された入力画像を平滑化した画像を作成する画像平滑化部と、前記画像平滑化部により平滑化した入力画像に対して横方向と縦方向それぞれの微分画像を求め、それぞれの微分画像を用いて画像上の各点における輝度勾配強度と輝度勾配方向を求める輝度勾配強度・輝度勾配方向計算部と、 前記輝度勾配強度・輝度勾配方向計算部で求めた輝度勾配強度に基づいて、座標軸に対して平行な矩形領域の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工してインテグラルイメージを作成するインテグラルイメージ作成部と、前記輝度勾配強度・輝度勾配方向計算部で求めた輝度勾配強度に基づいて、座標軸に対して傾いた矩形領域の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工してインテグラルイメージを作成する傾斜インテグラルイメージ作成部と、前記インテグラルイメージ作成部及び前記傾斜インテグラルイメージ作成部で求めたインテグラルイメージの双方を利用して、画像上の注目点を中心としたサイズに応じた座標軸に平行な正方形範囲と座標軸に対して傾いた正方形範囲における輝度勾配強度の総計を前記平行な正方形範囲及び前記傾いた正方形範囲の面積でそれぞれ割ることで求めた二つの輝度勾配強度の密度の平均値を計算し、この平均値である輝度勾配強度密度の変化にピークが有る場合は、注目点の位置を画像特徴量の位置とし、この平均値である輝度勾配強度密度の変化のピークに対応するサイズを画像特徴量の位置のサイズとして特定する画像特徴量の位置・サイズ特定部と、前記画像特徴量の位置・サイズ特定部で求めた画像特徴量の位置を中心とした近傍の前記輝度勾配方向を調べ、最も多い輝度勾配方向を画像特徴量全体の回転方向として決定する画像特徴量全体の回転方向決定部と、前記画像特徴量の位置・サイズ特定部で求めた画像特徴量の位置・サイズ・前記画像特徴量全体の回転方向決定部で求めた全体の回転方向を整理して画像特徴量を構成する画像特徴量構成部と、を備えることを特徴とする。

（１）画像処理により高速に対象物検出のための画像特徴量を抽出することができる。
（２）画像特徴量の抽出において処理の中問データの記憶容量を小さく抑えることができる。
（３）画像上の検出対象のサイズに対応した画像特徴量を抽出することができる。
（４）インテグラルイメージを利用すると、輝度勾配強度の密度を高速に計算することができ、座標軸に対して傾斜したインテグラルイメージを利用すると、対象物の見え方が大きく回転した場合でも、安定して高速に対象物検出のための特徴量を抽出することができる。

図１（ａ）は横方向のｓｏｂｅｌフィルタの例を示す説明図、図１（ｂ）は縦方向のｓｏｂｅｌフィルタの例を示す説明図である。 図２画像上の注目点に周辺サイズに対する輝度勾配強度密度の変化を調べる例の説明図であり、図２（ａ）はピークがある例を、図２（ｂ）はピークがない例を示す。 輝度勾配方向のヒストグラムを作成し画像特徴量全体の回転方向を決定する例の説明図である。 輝度勾配方向累計データの例を示す説明図である。 本発明の第１の実施例に係る画像特徴量抽出のフローチャートである。 本発明の第１の実施例に係る画像特徴量抽出装置のブロック図である。 本発明の第２の実施例に係る輝度勾配強度密度の計算方法の模式図である。 本発明の第２の実施例に係る画像特徴量抽出装置のブロック図である。

＜基本的な考え方＞
本発明の目的は、画像処理により高速に対象物検出のための画像特徴量を抽出する、画像特徴量抽出装置を提供することである。特に自動搬送車等の移動体にカメラを搭載した場合、検出対象とカメラとの間隔が近距離から遠距離まで大きく変動することが多い。

このような場合においても、検出対象の画像上のサイズに適応して画像特徴量の位置とサイズを特定し、画像特徴量を抽出する必要がある。
そこで本発明では、非特許文献１の方法の複数サイズのエッジ検出フィルタの出力により画像特徴量のサイズを特定する部分に代えて、輝度勾配強度の密度を求めることで画像特徴量の位置とサイズを特定する。

本発明では、次の手順により画像特徴量を抽出する。(1)画像を平滑化する。(2)画像上の輝度勾配強度と輝度勾配方向を求める。(3)画像特徴量の位置とサイズを特定する。(4)画像特徴量全体の回転方向を決定する。(5)画像特徴量を構成する。
それぞれの手順について説明する。

（１）画像を平滑化する。
平滑化の方法については、平滑化する位置の周辺の輝度情報を基に平均化する方法や、ガウシアンフィルタをかける方法等を用いる。

（２）画像上の輝度勾配強度と輝度勾配方向を求める。
先ず、図１（ａ）（ｂ）に示すように、横方向と縦方向のそれぞれのＳｏｂｅｌフィルタを画像にかけ、横方向と縦方向それぞれの微分画像を求める。横方向微分画像のある点の値をＩｘ、また、縦方向微分画像のある点の値をＩｙとすると、ある点における輝度勾配強度Ｍと輝度勾配方向θはそれぞれ次のように求められる。

（３）画像特徴量の位置とサイズを特定する。
予め画像特徴量のサイズの範囲（最小サイズと最大サイズ）、および、画像特徴量のサイズを調査する刻み幅（サイズ刻み幅）を設定しておく。
画像上の注目点の周辺の輝度勾配強度の密度を画像特徴量のサイズの範囲分調査し、サイズに対する輝度勾配強度密度の変化を調べ、輝度勾配強度密度の変化にピークが有る場合は、注目点の位置を画像特徴量の位置とし、また、輝度勾配強度密度の変化のピークに対応するサイズを画像特徴量の位置のサイズとして特定する。

ここで、輝度勾配強度の密度は、図２（ａ）（ｂ）に示すように、注目点を中心としたサイズに応じた正方形範囲における輝度勾配強度の総計を正方形範囲の面積で割ることで計算する。例えば、図２（ａ）左部に示すように、画像上に対象物である模様「あ」が有るために、同右部に示すように、サイズに対する輝度勾配強度密度のグラフにピークが存在する。一方、図２（ｂ）左部に示すように、画像上に模様が無いため、同右部に示すように、勾配強度密度のグラフにピークが存在しない。

本発明では、輝度勾配強度の密度を高速に計算するためインテグラルイメージを利用することができる。
インテグラルイメージは、矩形領域（正方形範囲）の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工したデータである。
本発明では輝度勾配強度についてインテグラルイメージを作成しておき、注目点の正方形範囲における輝度勾配強度の総計の計算はインテグラルイメージを用いて行う。

（４）画像特徴量全体の回転方向を決定する。
図３左上部に示すように、画像特徴量の位置を中心とし画像特徴量のサイズを幅とする正方形範囲を設定し、図３右上部に示すように、その正方形範囲内における輝度勾配方向のヒストグラムを作成する。こうして作成した輝度勾配方向ヒストグラムで最も累積数が高い方向を、図３左下部に左斜め上向き方向の矢印で示すように、画像特徴量全体の回転方向として決定する。このヒストグラムの作成には先の手順（２）で求めておいた輝度勾配方向θのデータを用いる。尚、図３右上部は、輝度勾配方向に関する累積数であるヒストグラムを折れ線グラフで表したものである。

（５）画像特徴量を構成する。
図４左上部に示すように、画像特徴量の位置を中心とし、図中矢印で示す画像全体の回転方向（左斜め上向き方向）に平行な画像特徴量のサイズを幅とする正方形範囲を設定する。この正方形範囲をさらに４×４分割して升目状の小領域を設定する。

図４右上部に示すように、この小領域毎に輝度勾配方向ヒストグラムを作成する。更に、図４下部に示すように、小領域毎の輝度勾配方向ヒストグラムを順番に並べた輝度勾配方向累計データを作成する。尚、図４右上部、下部は、図３右上部と同様に、輝度勾配方向に関する累積数であるヒストグラムを折れ線グラフで表したものである。
この輝度勾配方向累計データと、先に求めておいた画像特徴量の位置・サイズ・全体の回転方向を整理して画像特徴量として構成する。

この輝度勾配方向累計データは高次元ベクトルとして表現される。小領域毎の輝度勾配方向ヒストグラムを作るための方向の分割数はパラメータで予め設定しておく。
尚、高次元ベクトルとして表現される輝度勾配方向累計データを省略し、画像特徴量の位置・サイズ・全体の回転方向を整理して画像特徴量として構成することもできるものとし、更には、画像特徴量の位置・サイズと輝度勾配方向を整理して画像特徴量として構成することもできるものとする。

本発明の第１の実施例に係る画像特徴量抽出装置を図６に示す。図６に示すように、本実施例の画像特徴量抽出装置は、画像入力部１０、画像平滑化部２０、輝度勾配強度・輝度勾配方向計算部３０、インテグラルイメージ作成部４０、画像特徴量の位置・サイズ特定部５０、画像特徴量全体の回転方向決定部６０、画像特徴量構成部７０、処理設定部８０、データ出力部９０、記憶部１００から構成する。

画像入力部１０では、画像データを入力し記憶部１００へ保管する。
画像平滑化部２０では、画像入力部１０より入力された入力画像を平滑化した画像を作成する。

輝度勾配強度・輝度勾配方向計算部３０では、前述した［数１］に基づいて、画像平滑化部２０により平滑化した入力画像に対して横方向と縦方向それぞれの微分画像Ｉｘ，Ｉｙを求め、それぞれの微分画像Ｉｘ，Ｉｙを用いて画像上の各点における輝度勾配強度Ｍと輝度勾配方向θを求める。

インテグラルイメージ作成部４０では、輝度勾配強度に関するインテグラルイメージを作成する。詳しくは、輝度勾配強度・輝度勾配方向計算部３０で求めた輝度勾配強度Ｍに基づいて、矩形領域の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工してインテグラルイメージを作成する。

画像特徴量の位置・サイズ特定部５０では、インテグラルイメージ作成部４０で作成したインテグラルイメージを利用し、画像上の注目点の周辺の輝度勾配強度の密度を調査し、サイズに対する輝度勾配強度密度の変化を調べて、画像特徴量の位置・サイズを特定する。即ち、輝度勾配強度密度の変化にピークが有る場合は、注目点の位置を画像特徴量の位置とし、また、輝度勾配強度密度の変化のピークに対応するサイズを画像特徴量の位置のサイズとして特定する。
但し、輝度勾配強度の密度は、注目点を中心としたサイズに応じた正方形範囲における輝度勾配強度の総計を正方形範囲の面積で割ることで計算する。本実施例では、この輝度勾配強度の密度を高速に計算するため、インテグラルイメージ作成部４０で求めたインテグラルイメージを利用するが、輝度勾配強度・輝度勾配方向計算部３０により求められた輝度勾配強度Ｍに基づいても良い。

画像特徴量全体の回転方向決定部６０では、画像特徴量の位置・サイズ特定部５０で求めた画像特徴量の位置を中心とした近傍の輝度勾配方向θを調べ、最も多い輝度勾配方向θを画像特徴量全体の回転方向として決定する。即ち、画像特徴量の位置を中心とし画像特徴量のサイズを幅とする正方形範囲を設定し、その正方形範囲内における輝度勾配方向θのヒストグラムを作成し、作成した輝度勾配方向ヒストグラムで最も累積数が高い方向を画像特徴量全体の回転方向として決定する。輝度勾配方向θは、輝度勾配強度・輝度勾配方向計算部３０で求められたものを用いる。

画像特徴量構成部７０では、画像特徴量の位置・サイズ特定部５０で求めた画像特徴量の位置を中心とし、画像特徴量全体の回転方向決定部６０で求めた画像全体の回転方向に平行な画像特徴量のサイズを幅とする正方形範囲を設定し、この正方形範囲をさらに４×４分割した小領域を設定し、この小領域毎に輝度勾配方向ヒストグラムを作成し、さらに小領域毎の輝度勾配方向ヒストグラムを順番に並べた輝度勾配方向累計データを作成し、この輝度勾配方向累計データを高次元ベクトルとして表現し、この高次元ベクトルと画像特徴量の位置・サイズ・全体の回転方向を整理して画像特徴量を構成する。なお、画像特徴量構成部７０は、画像特徴量の位置・サイズ特定部５０で求めた画像特徴量の位置・サイズ、画像特徴量全体の回転方向決定部６０で求めた画像特徴量全体の回転方向を整理して画像特徴量を構成しても良い。

処理設定部８０では、画像特徴量のサイズの範囲、サイズ刻み幅、輝度勾配方向ヒストグラムを作るための方向の分割数等の処理パラメータを設定する。
データ出力部９０では、画像特徴量データの外部への出力を行う。
記憶部１００では、各種データの保管を行う。

本実施例に係る画像特徴量抽出のフローチャートを図５に示す。
図５に示すように、先ず、画像入力部１０により、画像データを入力し（ステップＳ１）、画像平滑化部２０により、入力画像を平滑化した画像を作成する（ステップＳ２）。
次に、輝度勾配強度・輝度勾配方向計算部３０により、平滑化した入力画像上の各点における輝度勾配強度Ｍと輝度勾配方向θを求める（ステップＳ３）。

その後、画像特徴量の位置・サイズ特定部５０により、輝度勾配強度Ｍに基づき、画像上の注目点の周辺の輝度勾配強度の密度を調査し、サイズに対する輝度勾配強度密度の変化を調べて、画像特徴量の位置・サイズを特定する（ステップＳ４）。なお、インテグラルイメージ作成部４０で求めたインテグラルイメージを利用しても良い。
引き続き、画像特徴量全体の回転方向決定部６０により、画像特徴量の位置を中心とした近傍の輝度勾配方向を調べ、最も多い輝度勾配方向を画像特徴量全体の回転方向として決定する（ステップＳ５）。

更に、画像特徴量構成部７０により、画像特徴量の位置を中心とし、画像全体の回転方向に平行な画像特徴量のサイズを幅とする正方形範囲を設定し、この正方形範囲における輝度勾配方向を高次元ベクトルとして表現し、この高次元ベクトルと画像特徴量の位置・サイズ・全体の回転方向を整理して画像特徴量を構成する（ステップＳ６）。

本装置の効果としては、画像処理により高速に対象物検出のための画像特徴量を抽出することができる。
この効果は本発明の画像特徴量抽出の手順「（３）画像特徴量の位置とサイズを特定する」において、輝度勾配強度の密度を求めることで画像特徴量の位置とサイズを特定することにより実現している。

例えば、複数サイズのエッジ検出フィルタを用意して画像特徴量の位置とサイズを特定する方法と比較してみる。比較を分かり易くするため、画像上のある１点の検査について、３×３ピクセルから１５１×１５１ピクセルまでの大きさで上下左右に１ピクセルずつの間隔で処理範囲を変化させた場合の、エッジ検出フィルタと輝度勾配強度の密度を求める計算を比較する。
エッジ検出フィルタの場合、画像上のある１点について検査するために、５６３０７５回のかけ算・５６３００１回の足し算・７４回の割り算が必要となる。

本発明で単に輝度勾配強度の密度を求める工夫を用いた場合、画像上のある１点について検査するためには、かけ算の部分が省けるため、５６３００１回の足し算・７４回の割り算で良い。
さらに本発明でインテグラルイメージを利用した場合、画像上のある１点について検査するために、７４回の足し算・１４８回の引き算・７４回の割り算で求めることができる。
これらの計算をＶＧＡサイズの画像上の各点について検査した場合、同じ計算を３１万回繰り返すこととなる。

つまり、本発明では大幅な計算量の削減となり高速化が可能である。また、複数サイズのエッジ検出フィルタを用いる場合、エッジ検出フィルタの結果を保持する中間データが必要となる。
先の例では画像と同じ大きさの７４枚分のエッジ検出結果を一時保存するという大きな中間データの記憶容量が必要となる。これに対して本発明では、エッジ検出結果のような大きな中間データを一時保存しておく必要がない。

本発明の第２の実施例は、実施例１の考え方に回転方向の変化への強化を追加し、様々な回転変化が有る場合でも、安定して高速に対象物検出のための画像特徴量を抽出する、画像特徴量抽出装置を提供するものである。
自動搬送車等の移動体にカメラを搭載した場合、検出対象が壁や柱または人物等のように立っているものであれば、カメラから見た対象物の回転変化は小さい。
しかしながら、地面や床または天井等に設置されている対象物は全周囲から見る可能性があり、この場合大きな回転変化が発生する。
実施例１では対象物上の画像特徴量の位置とサイズを特定するため、画像上の注目点を中心としたサイズに応じた正方形範囲を基に輝度勾配強度密度を計算した。正方形範囲は対象物が大きく回転した場合、対象物を囲む範囲が異なるため、求めた輝度勾配強度密度が異なる。これは、対象物を４５度ずつ傾けた方向で顕著である。

そこで、本実施例では実施例１の座標軸に平行な正方形範囲に加え、座標軸に対して４５度傾いたインテグラルイメージと正方形範囲を作成し、両方の結果を統合して輝度勾配強度密度を求めることで、対象物の回転変化に対してより均一な輝度勾配強度密度を求める（以降、４５度傾いたインテグラルイメージを「４５度インテグラルイメージ」と、また、４５度傾いた正方形範囲を「４５度正方形範囲」と呼ぶ）。
この模式図を図７に示す。図７に示すように、本実施例は、段落［００２５］〜［００２７］に記載した手順「（３）画像特徴量の位置とサイズを特定する。」を、以下の通り、正方形範囲と４５度正方形範囲を統合した方法に置き換えるものである。

予め画像特徴量のサイズの範囲（最小サイズと最大サイズ）、および、画像特徴量のサイズを調査する刻み幅（サイズ刻み幅）を設定しておく。
画像上の注目点の周辺の輝度勾配強度の密度を画像特徴量のサイズの範囲分調査し、サイズに対する輝度勾配強度密度の変化を調べ、輝度勾配強度密度の変化にピークが有る場合は、注目点の位置を画像特徴量の位置とし、また、輝度勾配強度密度の変化のピークに対応するサイズを画像特徴量の位置のサイズとして特定する。
ここで、輝度勾配強度の密度は、注目点を中心としたサイズに応じた正方形範囲と４５度正方形範囲のそれぞれにおける輝度勾配強度の総計をそれぞれの範囲の面積で割り、２つ正方形範囲から算出した輝度勾配強度の密度の平均を求めることで計算する。

輝度勾配強度の密度を高速に計算するためインテグラルイメージおよび４５度インテグラルイメージを利用することは実施例１と同様である。
本実施例による画像特徴量抽出の処理の流れは実施例１と同様であるため、そのフローチャートも図５に示す実施例１と同様である。

本発明の第２の実施例に係る画像特徴量抽出装置を図８に示す。
図８に示すように、本実施例に係る画像特徴量抽出装置は、画像入力部１０、画像平滑化部２０、輝度勾配強度・輝度勾配方向計算部３０、インテグラルイメージ作成部４０、４５度インテグラルイメージ作成部４５、画像特徴量の位置・サイズ特定部５１、画像特徴量全体の回転方向決定部６０、画像特徴量構成部７０、処理設定部８０、データ出力部９０及び記憶部１００から構成する。

本実施例に係る画像特徴量抽出装置は、基本的には実施例１と同様であり、更に、４５度正方形範囲による輝度勾配密度の計算を追加するため、輝度勾配強度に関する４５度インテグラルイメージを作成する、４５度インテグラルイメージ作成部４５を追加したものである。
即ち、インテグラルイメージ作成部４０は、輝度勾配強度・輝度勾配方向計算部３０で求めた輝度勾配強度Ｍに基づいて、座標軸に対して平行な矩形領域（正方形範囲）の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工してインテグラルイメージを作成するのに対して、インテグラルイメージ作成部４５は、輝度勾配強度・輝度勾配方向計算部３０で求めた輝度勾配強度Ｍに基づいて、座標軸に対して４５度傾いた矩形領域（正方形範囲）の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工してインテグラルイメージを作成する。

更に、画像特徴量の位置・サイズ特定部５１では入力データとして４５度インテグラルイメージを追加し、内部の処理として正方形範囲と４５度正方形範囲の結果を統合して輝度勾配強度密度を求める方法を用いる。
即ち、画像特徴量の位置・サイズ特定部５１では、インテグラルイメージ作成部４０で作成したインテグラルイメージ及び４５度インテグラルイメージ作成部４５で作成した４５度インテグラルイメージの双方を利用し、画像上の注目点の周辺の輝度勾配強度の密度を調査し、サイズに対する輝度勾配強度密度の変化を調べて、画像特徴量の位置・サイズを特定する。

但し、輝度勾配強度の密度は、注目点を中心としたサイズに応じた正方形範囲と４５度正方形範囲のそれぞれにおける輝度勾配強度の総計をそれぞれの範囲の面積で割り、算出した２つの輝度勾配強度の密度の平均値を求めることで計算する。
その他の構成については、前述した実施例１と同様であり、同一の構成については同一符号を付して説明を省略する。
本実施例の効果としては、実施例１の効果に加え、対象物の見え方が大きく回転した場合でも、安定して高速に対象物検出のための画像特徴量を抽出することができる。

本発明は、画像処理により高速に対象物検出のための画像特徴量を抽出する、画像特徴量抽出装置として広く産業上利用可能なものである。

１０ 画像入力部
２０ 画像平滑化部
３０ 輝度勾配強度・輝度勾配方向計算部
４０ インテグラルイメージ作成部
４５ ４５度インテグラルイメージ作成部
５０，５１ 画像特徴量の位置・サイズ特定部
６０ 画像特徴量全体の回転方向決定部
７０ 画像特徴量構成部
８０ 処理設定部
９０ データ出力部
１００ 記憶部

Claims (7)

1. 画像上の各部分の輝度勾配強度の密度を求めることで画像特徴量の位置とサイズを特定し、さらに、輝度勾配方向を整理して画像特徴量を構成することを特徴とする画像特徴量抽出装置。
2. 画像上の注目点の周辺の輝度勾配強度の密度を画像特徴量のサイズの範囲分調査し、サイズに対する輝度勾配強度密度の変化を調べ、輝度勾配強度密度の変化にピークが有る場合は、注目点の位置を画像特徴量の位置とし、また、輝度勾配強度密度の変化のピークに対応するサイズを画像特徴量の位置のサイズとして特定し、さらに、輝度勾配方向を整理して画像特徴量を構成することを特徴とする画像特徴量抽出装置。
3. 画像を平滑化し、画像上の輝度勾配強度と輝度勾配方向を求め、画像特徴量の位置とサイズを特定し、画像特徴量全体の回転方向を決定し、画像特徴量を構成することを特徴とする画像特徴量抽出装置。
4. 請求項１又は２記載の特徴量抽出装置において、輝度勾配強度の密度を計算するためインテグラルイメージを利用することを特徴とする画像特徴量抽出装置。
5. 請求項４記載の特徴量抽出装置において、前記インテグラルイメージは、座標軸に対して平行な矩形領域の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工されること又は前記座標軸に対して傾いた矩形領域の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工されること特徴とする画像特徴量抽出装置。
6. 画像データを入力する画像入力部と、
   前記画像入力部より入力された入力画像を平滑化した画像を作成する画像平滑化部と、
   前記画像平滑化部により平滑化した入力画像に対して横方向と縦方向それぞれの微分画像を求め、それぞれの微分画像を用いて画像上の各点における輝度勾配強度と輝度勾配方向を求める輝度勾配強度・輝度勾配方向計算部と、
   前記輝度勾配強度・輝度勾配方向計算部で求めた輝度勾配強度に基づいて、矩形領域の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工してインテグラルイメージを作成するインテグラルイメージ作成部と、
   前記インテグラルイメージ作成部で求めたインテグラルイメージを利用して、画像上の注目点を中心としたサイズに応じた正方形範囲における輝度勾配強度の総計を正方形範囲の面積で割ることで輝度勾配強度の密度を計算し、輝度勾配強度密度の変化にピークが有る場合は、注目点の位置を画像特徴量の位置とし、輝度勾配強度密度の変化のピークに対応するサイズを画像特徴量の位置のサイズとして特定する画像特徴量の位置・サイズ特定部と、
   前記画像特徴量の位置・サイズ特定部で求めた画像特徴量の位置を中心とした近傍の前記輝度勾配方向を調べ、最も多い輝度勾配方向を画像特徴量全体の回転方向として決定する画像特徴量全体の回転方向決定部と、
   前記画像特徴量の位置・サイズ特定部で求めた画像特徴量の位置・サイズ・前記画像特徴量全体の回転方向決定部で求めた全体の回転方向を整理して画像特徴量を構成する画像特徴量構成部と、
   を備えることを特徴とする画像特徴量抽出装置。
7. 画像データを入力する画像入力部と、
   前記画像入力部より入力された入力画像を平滑化した画像を作成する画像平滑化部と、
   前記画像平滑化部により平滑化した入力画像に対して横方向と縦方向それぞれの微分画像を求め、それぞれの微分画像を用いて画像上の各点における輝度勾配強度と輝度勾配方向を求める輝度勾配強度・輝度勾配方向計算部と、
   前記輝度勾配強度・輝度勾配方向計算部で求めた輝度勾配強度に基づいて、座標軸に対して平行な矩形領域の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工してインテグラルイメージを作成するインテグラルイメージ作成部と、
   前記輝度勾配強度・輝度勾配方向計算部で求めた輝度勾配強度に基づいて、座標軸に対して傾いた矩形領域の四隅の値を加減算することで矩形内のデータの総計を計算できるように加工してインテグラルイメージを作成する傾斜インテグラルイメージ作成部と、
   前記インテグラルイメージ作成部及び前記傾斜インテグラルイメージ作成部で求めたインテグラルイメージの双方を利用して、画像上の注目点を中心としたサイズに応じた座標軸に平行な正方形範囲と座標軸に対して傾いた正方形範囲における輝度勾配強度の総計を前記平行な正方形範囲及び前記傾いた正方形範囲の面積でそれぞれ割ることで求めた二つの輝度勾配強度の密度の平均値を計算し、この平均値である輝度勾配強度密度の変化にピークが有る場合は、注目点の位置を画像特徴量の位置とし、この平均値である輝度勾配強度密度の変化のピークに対応するサイズを画像特徴量の位置のサイズとして特定する画像特徴量の位置・サイズ特定部と、
   前記画像特徴量の位置・サイズ特定部で求めた画像特徴量の位置を中心とした近傍の前記輝度勾配方向を調べ、最も多い輝度勾配方向を画像特徴量全体の回転方向として決定する画像特徴量全体の回転方向決定部と、
   前記画像特徴量の位置・サイズ特定部で求めた画像特徴量の位置・サイズ・前記画像特徴量全体の回転方向決定部で求めた全体の回転方向を整理して画像特徴量を構成する画像特徴量構成部と、
   を備えることを特徴とする画像特徴量抽出装置。

Images