JP2013232023A - 物体検出装置およびプログラム - Google Patents

物体検出装置およびプログラム Download PDF

Info

Publication number
JP2013232023A
JP2013232023A JP2012102158A JP2012102158A JP2013232023A JP 2013232023 A JP2013232023 A JP 2013232023A JP 2012102158 A JP2012102158 A JP 2012102158A JP 2012102158 A JP2012102158 A JP 2012102158A JP 2013232023 A JP2013232023 A JP 2013232023A
Authority
JP
Japan
Prior art keywords
image
value
pixel
symmetry
symmetry evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012102158A
Other languages
English (en)
Other versions
JP5911063B2 (ja
JP2013232023A5 (ja
Inventor
Hiroshi Hasegawa
弘 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips Corp
Original Assignee
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips Corp filed Critical MegaChips Corp
Priority to JP2012102158A priority Critical patent/JP5911063B2/ja
Priority to PCT/JP2013/056931 priority patent/WO2013161417A1/ja
Priority to EP13781445.5A priority patent/EP2830019B1/en
Priority to US14/394,558 priority patent/US9245184B2/en
Publication of JP2013232023A publication Critical patent/JP2013232023A/ja
Publication of JP2013232023A5 publication Critical patent/JP2013232023A5/ja
Application granted granted Critical
Publication of JP5911063B2 publication Critical patent/JP5911063B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/68Analysis of geometric attributes of symmetry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】少ない演算量で物体の重要な情報を検出することを課題とする。
【解決手段】物体検出部22は、カラー画像からエッジ画像を生成する。物体検出部22は、エッジ画像に含まれる画像の対称性を、注目画素の画素位置を考慮して、評価する。物体検出部22は、対称性を有する物体の対称中心画素を特定する。物体検出部22は、対称中心画素ごとに物体幅を検出する。物体検出部22は、対称中心画素の垂直方向の幅から物体の垂直方向の幅を特定し、対称中心画素ごとに特定された物体幅から物体の水平方向の幅を特定する。
【選択図】図1

Description

本発明は、画像に含まれる対称性のある物体の検出装置および検出方法に関する。
物体の対称性を利用した画像処理技術が存在する。下記特許文献1では、注目画素の左右の相関を計算することにより、注目画素の左右の画像領域の相関を評価する。そして、相関の最も高くなる注目画素を対称性のある物体の中央位置として検出している。
特開2010−267257号公報
物体の検出技術は様々な分野で利用され、その用途が広い。物体の検出情報を利用するアプリケーションにとって、物体の位置のみならず、物体の大きさも重要な情報となる。
しかしながら、画像中に含まれる物体の位置と大きさの両方の情報を、処理負荷を大きくすることなく、精度良く取得することは困難であった。
そこで、本発明は上記課題に鑑み、少ない演算量で物体の重要な情報(例えば、物体の位置と大きさについての情報)を検出する技術を提供することを目的とする。
上記課題を解決するために、第1の発明は、画像入力部と、画像特徴量抽出部と、対称性評価部と、を備える物体検出装置である。
画像入力部は、画像を入力する。
画像特徴量抽出部は、画像から所定の画像特徴量を抽出して特徴量抽出画像を生成する。
対称性評価部は、特徴量抽出画像に対して、処理対象である注目画素ごとに、画像上の第1方向についての対称性を評価するための領域である対称性評価領域を第1方向と直交する第2方向の所定の軸である中心軸を中心として対称となるように設定し、対称性評価領域の大きさを変化させながら、対称性評価領域に含まれ、中心軸について対称となる位置に存在する画素群の画像特徴量の相関値に対して、画素群の中心軸からの距離に基づく重み付けを行った値を導出することで、第1方向の対称性の度合いを示す対称性評価値を取得する。
これにより、この物体検出装置では、中心軸について対称となる位置に存在する画素群の画像特徴量の相関値に対して、画素群の中心軸からの距離に基づく重み付けを行った値に基づいて、対称性評価値を取得するので、第1方向の対称性の評価を高い精度で行うことができる。
したがって、この物体検出装置により取得された対称性評価値を用いることで、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
なお、「対称性評価領域」の第2方向(第1方向と直交する方向)の幅は、1画素分の幅であってもよいし、また、複数画素分の幅であってもよい。
また、「中心軸について対称となる位置に存在する画素群」とは、画像上において、
(1)中心軸から、互いに逆方向に、等距離離れた2つ画素(例えば、第1方向を水平方向とすると、中心軸から水平方向左に距離kだけ離れた画素P1および中心軸から水平方向右に距離kだけ離れた画素P2の合計2つの画素)や、
(2)中心軸から、互いに逆方向に、等距離離れた複数の画素(例えば、第1方向を水平方向とすると、中心軸から水平方向左に距離kだけ離れたn個の画素群および中心軸から水平方向右に距離kだけ離れたn個の画素群)を含む概念である。
また、「画像特徴量の相関値」とは、画像特徴量の相関の程度を示す値であり、例えば、特徴量抽出画像上の2つの画素の画素値の相関が高い場合(例えば、当該2つの画素値の差が小さい場合や当該2つの画素値の比が「1」に近い場合)に、相関が高いことを示す値をとるものである。
第2の発明は、第1の発明であって、対称性評価部は、対称性評価値が第1方向についての対称性が最大であることを示す値である場合の対称性評価領域の大きさに基づいて、第1方向に関する対称幅を決定する。
この物体検出装置では、入力画像の画像特徴量を抽出した画像に対して、第1方向についての対称性を評価するために、対称性評価領域の大きさ(例えば、第1方向の幅)を変化させながら対称性の評価を行う。したがって、この物体検出装置では、所定の画像領域の対称性が高いと判定した場合、対称性が高いと判定した画像領域の大きさ(例えば、第1方向の幅)も同時に取得することができる。つまり、この物体検出装置では、画像に含まれる物体の対称性を利用して、物体の位置と大きさを同時に抽出することが可能である。
したがって、この物体検出装置では、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
第3の発明は、第1の発明であって、対称性評価部は、特徴量抽出画像上の画素値が0または正の値をとり、画像特徴量が大きい程、大きな値をとるものとし、特徴量抽出画像上の画素値の取り得る最大値以上の所定の値をPmaxとし、特徴量抽出画像上の座標(i,j)の注目画素の画素値をPiとし、注目画素から第1方向の一方向である第1探索方向(例えば、第1方向を水平方向としたとき、第1探索方向は水平方向左方向である。)にk画素(kは自然数)離れた画素の画素値をPi−kとし、注目画素から第1方向の第1探索方向と逆方向である第2検索方向(例えば、第1方向を水平方向としたとき、第2探索方向は水平方向右方向である。)にk画素離れた画素の画素値をPi+kとし、対称性評価領域の第1方向の幅を2w+1とし、所定の閾値をThとし、注目画素からの距離kについての重み付け関数をc(k)とするとき、対称性評価領域の第1方向の幅2w+1(wは自然数)を変化させながら、下記(数式1)に基づいて、注目画素の対称性評価値を算出する。
これにより、この物体検出装置では、(数式1)により、中心軸について対称となる位置に存在する画素群の画像特徴量の相関値(Pmax−fi(k))に対して、画素群の中心軸からの距離に基づく重み付け(c(k)による重み付け)を行った値に基づいて、対称性評価値を取得するので、第1方向の対称性の評価を高い精度で行うことができる。
したがって、この物体検出装置により取得された対称性評価値を用いることで、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
なお、上記(数式1)に相当する処理において、SYM(i、j)が取り得る範囲を調整するために、ゲイン調整(係数調整)や、正規化処理や、所定の値でのクリップ処理等を行うようにしてもよい(上記(数式1)を修正した処理を行ってもよい)。
また、Pmaxの値は、特徴量抽出画像上の画素値の取り得る最大値であってもよいし、当該最大値以上の所定の値であってもよい。
第4の発明は、第3の発明であって、対称性評価部は、SYM(i、j)の最大値maxSYMを取得するとともに、SYM(i、j)が最大値となるときの対称性評価領域の第1方向の幅2w+1に基づいて、対称幅を決定する。
これにより、この物体検出装置では、所定の画像領域の対称性が高いと判定した場合、対称性が高いと判定した画像領域の大きさ(例えば、第1方向の幅)も同時に取得することができる。つまり、この物体検出装置では、画像に含まれる物体の対称性を利用して、物体の位置と大きさを同時に抽出することが可能である。
したがって、この物体検出装置では、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
第5の発明は、第1または第2の発明であって、対称性評価部は、対称性評価領域に含まれ、中心軸について対称となる位置に存在する画素群の画像特徴量の相関値に対して、画素群の中心軸からの距離および画素群の画像特徴量に基づく重み付けを行った値を導出することで、第1方向の対称性の度合いを示す対称性評価値を取得することで、第1方向の対称性の度合いを示す対称性評価値を取得する。
これにより、この物体検出装置では、対称性評価領域に含まれる画素の画像特徴量および画像上の位置の両方に基づいて、第1方向の対称性の度合いを示す対称性評価値を取得することができる。
第6の発明は、第5の発明であって、対称性評価部は、特徴量抽出画像上の画素値が0または正の値をとり、画像特徴量が大きい程、大きな値をとるものとし、特徴量抽出画像上の画素値の取り得る最大値以上の所定の値をPmaxとし、特徴量抽出画像上の座標(i,j)の注目画素の画素値をPとし、注目画素から第1方向の一方向である第1探索方向にk画素(kは自然数)離れた画素の画素値をPi−kとし、注目画素から第1方向の第1探索方向と逆方向である第2検索方向にk画素離れた画素の画素値をPi+kとし、対称性評価領域の第1方向の幅を2w+1とし、所定の閾値をThとし、注目画素からの距離kについての重み付け関数をc(k)とするとき、対称性評価領域の第1方向の幅2w+1(wは自然数)を変化させながら、下記(数式2)に基づいて、注目画素の対称性評価値を算出する。
これにより、この物体検出装置では、(数式2)により、中心軸について対称となる位置に存在する画素群の画像特徴量の相関値(Pmax−|Pi−k−Pi+k|)に対して、画素群の画像特徴量(Pi−k×Pi+k)、および、画素群の中心軸からの距離(c(k))による重み付けを行った値に基づいて、対称性評価値を取得するので、第1方向の対称性の評価を高い精度で行うことができる。
したがって、この物体検出装置により取得された対称性評価値を用いることで、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
なお、Pmaxの値は、特徴量抽出画像上の画素値の取り得る最大値であってもよいし、当該最大値以上の所定の値であってもよい。
第7の発明は、第6の発明であって、対称性評価部は、SYM(i、j)の最大値maxSYMを取得するとともに、SYM(i、j)が最大値となるときの対称性評価領域の第1方向の幅2w+1に基づいて、対称幅を決定する。
これにより、この物体検出装置では、所定の画像領域の対称性が高いと判定した場合、対称性が高いと判定した画像領域の大きさ(例えば、第1方向の幅)も同時に取得することができる。つまり、この物体検出装置では、画像に含まれる物体の対称性を利用して、物体の位置と大きさを同時に抽出することが可能である。
したがって、この物体検出装置では、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
第8の発明は、第1または第2の発明であって、対称性評価部は、特徴量抽出画像上の画素値が0または正の値をとり、画像特徴量が大きい程、大きな値をとるものとし、特徴量抽出画像上の画素値の取り得る最大値以上の所定の値をPmaxとし、特徴量抽出画像上の座標(i,j)の注目画素の画素値をPとし、注目画素から第1方向の一方向である第1探索方向にk画素(kは自然数)離れた画素の画素値をPi−kとし、注目画素から第1方向の第1探索方向と逆方向である第2検索方向にk画素離れた画素の画素値をPi+kとし、対称性評価領域の第1方向の幅を2w+1とし、対称性評価領域の第2方向の幅を2n+1とし、所定の閾値をThとし、注目画素からの距離kについての重み付け関数をc(k)とするとき、対称性評価領域の第1方向の幅2w+1(wは自然数)を変化させながら、下記(数式3)または(数式4)に基づいて、注目画素の対称性評価値を算出する。
なお、Pmaxの値は、特徴量抽出画像上の画素値の取り得る最大値であってもよいし、当該最大値以上の所定の値であってもよい。
第9の発明は、第8の発明であって、対称性評価部は、SYM(i、j)の最大値maxSYMを取得するとともに、SYM(i、j)が最大値となるときの対称性評価領域の第1方向の幅2w+1に基づいて、対称幅を決定する。
これにより、この物体検出装置では、所定の画像領域の対称性が高いと判定した場合、対称性が高いと判定した画像領域の大きさ(例えば、第1方向の幅)も同時に取得することができる。つまり、この物体検出装置では、画像に含まれる物体の対称性を利用して、物体の位置と大きさを同時に抽出することが可能である。
したがって、この物体検出装置では、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
第10の発明は、第1または第2の発明であって、対称性評価部は、特徴量抽出画像上の画素値が0または正の値をとり、画像特徴量が大きい程、大きな値をとるものとし、特徴量抽出画像上の画素値の取り得る最大値以上の所定の値をPmaxとし、特徴量抽出画像上の座標(i,j)の注目画素の画素値をPとし、注目画素から第1方向の一方向である第1探索方向にk画素(kは自然数)離れた画素の画素値をPi−kとし、注目画素から第1方向の第1探索方向と逆方向である第2検索方向にk画素離れた画素の画素値をPi+kとし、対称性評価領域の第1方向の幅を2w+1とし、対称性評価領域の第2方向の幅を2n+1とし、所定の閾値をThとし、注目画素からの距離kについての重み付け関数をc(k)とするとき、対称性評価領域の第1方向の幅2w+1(wは自然数)を変化させながら、下記(数式5)または(数式6)に基づいて、注目画素の対称性評価値を算出する。
なお、Pmaxの値は、特徴量抽出画像上の画素値の取り得る最大値であってもよいし、当該最大値以上の所定の値であってもよい。
第11の発明は、第10の発明であって、対称性評価部は、SYM(i、j)の最大値maxSYMを取得するとともに、SYM(i、j)が最大値となるときの対称性評価領域の第1方向の幅2w+1に基づいて、対称幅を決定する。
これにより、この物体検出装置では、所定の画像領域の対称性が高いと判定した場合、対称性が高いと判定した画像領域の大きさ(例えば、第1方向の幅)も同時に取得することができる。つまり、この物体検出装置では、画像に含まれる物体の対称性を利用して、物体の位置と大きさを同時に抽出することが可能である。
したがって、この物体検出装置では、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
第12の発明は、第3、第4、第6から第10のいずれかの発明であって、重み付け関数c(k)は、kについての単調増加関数である。
これにより、この物体検出装置では、注目画素からの距離が大きい程、大きな重み付けを行い、対称性評価値を算出する。したがって、この物体検出装置では、対称軸から離れた位置に存在する対称性の高い領域(物体)を精度良く、検出することができる。
なお、「単調増加関数」とは、厳密な単調増加関数に限定されず、例えば、一部単調でない区間kについて一定となるがあってもよく(例えば、一部に不変区間(一定値をとる区間)があってよい)、大局的にみたときに増加する関数(例えば、平滑化処理(LPF処理等)を行ったときに単調増加関数になる関数)を含む概念である。
第13の発明は、第3、第4、第6から第10のいずれかの発明であって、重み付け関数をc(k)は、kについての単調減少関数である。
これにより、この物体検出装置では、注目画素からの距離が小さい程、大きな重み付けを行い、対称性評価値を算出する。したがって、この物体検出装置では、対称軸近傍に存在する対称性の高い領域(物体)を精度良く、検出することができる。
なお、「単調減少関数」とは、厳密な単調減少関数に限定されず、例えば、一部単調でない区間kについて一定となるがあってもよく(例えば、一部に不変区間(一定値をとる区間)があってよい)、大局的にみたときに減少する関数(例えば、平滑化処理(LPF処理等)を行ったときに単調減少関数になる関数)を含む概念である。
第14の発明は、第1から第13までのいずれかの発明であって、対称性評価部は、画像の第1方向の画素数をH(Hは自然数)とすると、
(1)注目画素の第1方向の位置を示す列iが(H/2)以下の場合、対称性評価領域の第1方向の幅の半分であるwを、1≦w≦(i−1)の範囲で変化させて、対称性評価値を算出し、
(2)注目画素の第1方向の位置を示す列iが(H/2)より大きい場合、対称性評価領域の第1方向の幅の半分であるwを、1≦w≦(H−i)の範囲で変化させて、対称性評価値を算出する。
これにより、この物体検出装置では、対称性評価領域が、注目画素を中心にした左右対称な領域であることが保証されるとともに、注目画素を中心にした左右対称な領域のうち最大の領域を用いて対称性評価値を算出することができる。
第15の発明は、第1から第14の発明であって、画像特徴量は、画像のエッジ強度である。
この物体検出装置では、画像のエッジ成分を考慮して対称性の高い物体を検出することができるので、物体の輪郭(外枠)についての対称性の高い物体を、精度良く検出することができる。
第16の発明は、第1から第14の発明であって、画像特徴量は、画像の特定の色成分の強度である。
この物体検出装置では、画像の特定色成分(例えば、赤色成分)を考慮して対称性の高い物体を検出することができるので、特定の色について、対称性の高い物体を、精度良く検出することができる。
第17の発明は、画像入力ステップと、画像特徴量抽出ステップと、対称性評価ステップと、を備える物体検出方法をコンピュータに実行させるためのプログラムである。
画像入力ステップは、画像を入力する。
画像特徴量抽出ステップは、画像から所定の画像特徴量を抽出して特徴量抽出画像を生成する。
対称性評価ステップは、特徴量抽出画像に対して、処理対象である注目画素ごとに、画像上の第1方向についての対称性を評価するための領域である対称性評価領域を第1方向と直交する第2方向の所定の軸である中心軸を中心として対称となるように設定し、対称性評価領域の大きさを変化させながら、対称性評価領域に含まれ、中心軸について対称となる位置に存在する画素群の画像特徴量の相関値に対して、画素群の中心軸からの距離に基づく重み付けを行った値を導出することで、第1方向の対称性の度合いを示す対称性評価値を取得する。
これにより、第1の発明と同様の効果を奏する物体検出方法をコンピュータに実行させるためのプログラムを実現することができる。
本発明によれば、入力画像上の物体の対称性を利用し、物体の位置と大きさを検出することで、少ない演算量で物体に関する重要な情報(例えば、物体の位置と大きさについての情報)を検出する技術を実現することができる。
第1実施形態に係る物体検出システム1000のブロック図。 第1実施形態に係る物体検出部22のブロック図。 第1実施形態に係る物体検出システム1000において実行される物体検出処理の各段階において取得される画像の一例を示す図。 対称性を有する物体を含む入力画像101を示す図。 入力画像101から輝度成分を抽出して生成された輝度画像102を示す図。 輝度画像102から生成されたエッジ画像103を示す図。 対称性評価マップ画像104を示す図。 対称幅マップ画像105を示す図。 対称中心マップ画像106を示す図。 領域枠130が合成された合成画像(出力画像)107を示す図。 注目画素Pの左右に配置された画素を示す図。 対称幅waを取得する方法を説明するための図。 対称性評価マップ画像104の水平方向の変化(一例)を示す図。 対称幅waを取得する方法を説明するための図。 第1実施形態の第1変形例における高対称性物体の検出領域を示す図。 重み付け関数c(k)の例を示す図。 第2実施形態に係る物体検出システムにおいて実行される物体検出処理の各段階において取得される画像の一例を示す図。 入力画像101からCr成分を抽出して生成されたCr成分画像202を示す図。 特徴量抽出画像(R成分画像(Cr成分強調画像))203を示す図。 対称性評価マップ画像204を示す図。 対称幅マップ画像205を示す図。 対称中心マップ画像206を示す図。 領域枠230が合成された合成画像(出力画像)207を示す図。 第2実施形態の第1変形例における、(a)入力画像301、(b)特徴量抽出画像(R成分(Cr成分)抽出画像)302、および(c)出力画像(合成画像)303を示す図。
[第1実施形態]
第1実施形態について、図面を参照しながら、以下、説明する。
<1.1:物体検出システムの構成>
図1は、第1実施形態に係る物体検出システム1000を示すブロック図である。物体検出システム1000は、撮像装置1と、物体検出装置2と、表示装置3とを備えている。
撮像装置1は、被写体からの光を集光する光学系(不図示)と、当該光学系により集光された被写体光を光電変換により画像信号(電気信号)として取得する撮像素子(たとえばCCDイメージセンサやCMOSイメージセンサ)(不図示)とを備えている。撮像装置1は、撮像素子により撮像した画像(画像信号)を、物体検出装置2に出力する。
物体検出装置2は、撮像装置1から出力される画像信号を入力とし、入力された画像信号により形成される画像中に含まれる対称性を有する物体を検出し、検出した結果を示す画像(画像信号)を表示装置3に出力する。
たとえば、物体検出装置2は車両に搭載される。撮像装置1が車両の前部に装備される場合には、撮像装置1は、車両の前方の画像(シーン)を撮像する。あるいは、撮像装置1は車両の後部に装備され、車両の後方の画像(シーン)を撮像する。
表示装置(モニタ)3は、例えば、車両の運転席に装備される。表示装置3は、ナビゲーションシステム用のモニタと兼用してもよい。
図1に示すように、物体検出装置2は、画像入力部21と、物体検出部22と、合成部23とを備えている。
画像入力部21は、撮像装置1から出力される画像(画像信号)を入力する。たとえば、撮像装置1がRGBベイヤ配列の色フィルタを備えたCCDイメージセンサを用いる撮像装置である場合、画像入力部21には、例えば、R成分信号、G成分信号およびB成分信号を含む画素信号列が入力される。画像入力部21は、入力された画像信号を、必要に応じて、所定の形式に変換し、変換した画像信号(変換されない場合は、無変換の画像信号)を物体検出部22出力する。また、画像入力部21は、入力された画像信号を、合成部23に出力する。
なお、「所定の形式への変換」とは、例えば、色空間の変換(例えば、RGB色空間からYCbCr色空間への変換)である。画像入力部21は、入力されたRGB色空間の画像信号(R成分信号、G成分信号およびB成分信号)を、必要に応じて、例えば、YCbCr色空間の信号(Y成分信号、Cb成分信号およびCr成分信号)に変換する。
なお、以下では、説明便宜のため、画像入力部21において、入力されたRGB色空間の画像信号(R成分信号、G成分信号およびB成分信号)が、YCbCr色空間の信号(Y成分信号、Cb成分信号およびCr成分信号)に変換される場合を例に説明する。
物体検出部22は、画像入力部21から出力される画像(画像信号)を入力とし、入力された画像に対して所定の画像処理を実行し、画像(画像信号により形成される画像(例えば、フレーム画像))に含まれる対称性を有する物体を検出する(対称性を有する物体に相当する画像領域を特定する)。そして、物体検出部22は、検出結果(例えば、対称性を有する物体に相当する画像領域を特定するための情報)を合成部23に出力する。
物体検出部22は、図2に示すように、画像特徴量抽出部221と、対称性評価部222と、中心検出部223と、物体領域検出部224と、を備える。
画像特徴量抽出部221は、画像入力部21から出力される画像から画像特徴量を算出(抽出)する。具体的には、画像特徴量抽出部221は、例えば、画像入力部21から出力されるY成分信号(輝度成分信号)により形成されるY成分画像(輝度成分画像)から、Sobelフィルタ等を用いた微分演算処理により、エッジ成分を画像特徴量として抽出する。そして、画像特徴量抽出部221は、抽出したエッジ成分を各画素の画素値とする画像(特徴量抽出画像)を画像特徴量抽出画像として、対称性評価部222および物体領域検出部224に出力する。
なお、以下では、説明便宜のため、特徴量抽出画像の各画素の画素値は、抽出対象の画像特徴量の程度が大きい程、大きな値をとるものとして、説明する。
対称性評価部222は、画像特徴量抽出部221が抽出した画像(特徴量抽出画像)を入力とする。そして、対称性評価部222は、当該特徴量抽出画像から、各画素において、画像上の所定の方向(例えば、水平方向)の対称性を評価(判定)するとともに対称性の高い画像領域の幅(上記所定の方向(例えば、水平方向)の幅)を決定(推定)する。そして、対称性評価部222は、画素ごとに、当該画素(処理対象画素)を特定する情報(例えば、画素の座標)と、評価(判定)した対称性の度合いを示す値(または当該値と相関のある値)と、を対応付けた対称性評価マップデータを取得する。
さらに、対称性評価部222は、画素ごとに、当該画素(処理対象画素)を特定する情報(例えば、画素の座標)と、決定(推定)した対称性の高い画像領域の幅(上記所定の方向(例えば、水平方向)の幅)を示す値(または当該値と相関のある値)と、を対応づけた対称幅マップデータを取得する。
そして、対称性評価部222は、取得した対称性評価マップデータを中心検出部223に出力する。また、対称性評価部222は、取得した対称幅マップデータを物体領域検出部224に出力する。
中心検出部223は、対称性評価部222により取得された対称性評価マップデータを入力とする。中心検出部223は、対称性評価マップデータを2次元画像(対称性評価値を各画素の画素値としてマッピングし生成した画像)としたとき、当該画像上の所定の方向(例えば、水平方向)において極大値(または極大値付近の値)をとる画素または画素領域を特定し、特定した画素または画素領域に基づいて、対称性の高い物体の中心軸の位置を決定(推定)する。そして、中心検出部223は、決定(推定)した対称性の高い物体の中心軸の(画像上の)位置に関する情報を物体領域検出部224に出力する。
物体領域検出部224は、対称性評価部222により取得された対称幅マップデータと、中心検出部223から出力される対称性の高い物体の中心軸の(画像上の)位置に関する情報と、を入力とする。物体領域検出部224は、対称幅マップデータと、対称性の高い物体の中心軸の(画像上の)位置に関する情報と、に基づいて、対称性の高い物体を検出し、検出した対称性の高い物体の画像上の領域を特定する。そして、物体領域検出部224は、特定した対称性の高い物体の画像上の領域についての情報を合成部23に出力する。
合成部23は、画像入力部21から出力される画像と、物体検出部22の物体領域検出部224から出力される検出した対称性の高い物体の画像上の領域を特定する情報と、を入力とする。合成部23は、物体領域検出部224から出力される検出した対称性の高い物体の画像上の領域を特定する情報に基づいて、画像入力部21から出力される画像上に、対称性の高い物体に相当する画像領域を明示する画像を生成(合成)する。合成部23は、例えば、画像入力部21から出力される画像上に、対称性の高い物体に相当する画像領域を明示する四角い枠が表示されるように画像を生成(合成)する。そして、合成部23は、合成した画像を表示装置3に出力する。
表示装置3は、物体検出装置2の合成部23から出力される画像を入力とし、当該画像を表示する。
<1.2:物体検出システムの動作>
以上のように構成された物体検出システム1000の動作について、図面を用いながら、以下、説明する。
図3は、物体検出システム1000において実行される物体検出処理の各段階において取得される画像の一例を示した図である。
図4Aは、撮像装置1により撮像され、物体検出装置2に入力される撮像画像101を示す図である。
撮像画像101は、図4Aに示すように、被写体として車両110を含む。車両110は、左右のテールランプ111L・111Rを備えている。左右のテールランプ111L・111Rは、車両110の車幅方向に関する中心軸112に対して左右対称に配置されている。
以下では、撮像装置1において、図4Aに示した撮像画像101が取得され、撮像画像101が物体検出装置2で処理される場合を例に説明する。
撮像装置1で取得された撮像画像101(撮像画像101を形成する画像信号)は、物体検出装置2の画像入力部21に入力される。なお、撮像画像101は、R成分信号、G成分信号およびB成分信号により形成される画像であるものとする。
画像入力部21は、入力された撮像画像に対して、色空間変換処理を行う。具体的には、画像入力部21は、RGB色空間を、例えば、YCbCr色空間に変換する処理を行い、撮像画像101を形成する、R成分信号、G成分信号およびB成分信号を、Y成分信号、Cb成分信号、および、Cr成分信号に変換する。
そして、画像入力部21は、Y成分信号(輝度信号)により形成されるY画像(輝度画像)を、物体検出部22の画像特徴量抽出部221に出力する。また、画像入力部21は、入力された撮像画像を合成部23に出力する。
図4Bに、画像入力部21により取得されたY画像(輝度画像)102を示す。
なお、画像入力部21での色空間の変換処理は、上記に限定されることはなく、例えば、RGB色空間を、Lab色空間やYPbPr色空間等の他の色空間に変換するものであってもよい。
あるいは、RGB色空間のG信号を利用して輝度画像102を生成してもよい。R・B成分を有する画素については補間処理によりG信号を生成すればよい。
なお、色空間処理は、フレームメモリ等の画像信号を記憶することができるメモリ(不図示)を用いて実行してもよい。
画像特徴量抽出部221は、画像入力部21により取得されたY画像(輝度画像)102に対して、画像特徴量を算出(抽出)する処理を実行する。なお、本実施形態では、画像特徴量として、輝度のエッジ成分に相関のある物理量を利用する。
つまり、本実施形態では、画像特徴量抽出部221は、輝度画像102に対してエッジ検出処理を実行し、特徴量抽出画像(エッジ画像)103を生成する。
図4Cは、画像特徴量抽出部221により取得された特徴量抽出画像(エッジ画像)103を示す図である。画像特徴量抽出部221は、輝度画像102に、例えば、微分演算処理(例えば、Sobelフィルタを用いたフィルタ処理)を施すことで特徴量抽出画像(エッジ画像)103を生成する。
次に、対称性評価部222は、画像特徴量抽出部221により取得されたエッジ画像103の対称性を評価する。以下、対称性の評価方法について説明する。
(1.2.1:対称性の評価方法)
対称性評価部222は、図5に示す注目画素Pに関して対称性を評価する。注目画素Pは、エッジ画像103に含まれる画素である。注目画素Pは、エッジ画像103における座標(i、j)の画素を示している。以下の説明において、画素Pという表記は、エッジ画像103における座標(x、j)の画素を示す。つまり、画素Pという表記は、水平方向にx列目で、垂直方向にj行目の画素を示している。また、数式においては、Pは、画素Pにおける画素値を示すものとする。本実施形態においては、Pは0〜255の範囲の値をとる。なお、Pは、画像特徴量(本実施形態ではエッジ成分量)が大きい程(注目している画像特徴量の度合いが強い程)、大きな値をとるものとする。
図5には、画素の注目画素Pの左側に位置するw個の画素(Pi−w〜Pi−1)、および、注目画素Pの右側に位置するw個(wは自然数)の画素(Pi+1〜Pi+w)が描かれている。この2w+1個の画素(Pi−w〜Pi+w)の対称性を評価する演算式を下記(数式7)に示す。
(数式7)において、SYM(i、j)は、対称性の評価値(対称性評価値)を示す。(数式7)において、kは、1〜wまでの値をとる整数である。また、(数式7)において、上記Thは、所定の閾値である。
関数f(k)は、
(1)Pi−k>ThまたはPi+k>Thの場合、|Pi−k−Pi+k|であり、
(2)それ以外の場合(すなわち、Pi−k≦ThかつPi+k≦Thの場合)、「255」(Pの取り得る最大値)である。
したがって、SYM(i、j)は、Pi−kおよびPi+kが両方とも閾値Th以下の場合、(255−f(k)=0なので)「0」となる。つまり、上記(数式7)により、画像特徴量の小さい画素(特徴量抽出画像(エッジ画像)103において、画素値(画像特徴量に相当)が小さい画素)については、対称性評価の対象から除外されることになる。
画素Pi−kと画素Pi+kは、注目画素Pを中心として左右対称の位置にある画素である。画素Pi−kと画素Pi+kの画素値が等しく、かつ、Pi−k>ThまたはPi+k>Thのとき、その差分|Pi−k−Pi+k|は最小値0となるので、f(k)=0となる。したがって、(255−f(k))は、最大値255となる。
そして、(255−f(k))は、注目画素(i,j)からの距離k(注目画素(i,j)から画素(i,j+k)(または画素(i,j−k))までの画素数(画像上の距離に相当))を乗算されることで、水平方向の位置情報(注目画素からの距離情報)で重み付けされる。つまり、注目画素から水平方向に離れる程、対称性の評価についての重み付けが大きくなる。したがって、注目画素を中心として、注目画素から左右に離れた領域に高い(左右)対称性(注目している画像特徴量(本実施形態ではエッジ成分量)についての対称性)を有する領域がある場合、対称性評価値SYM(i、j)が大きな値となる。
対称性評価部222は、注目画素Pに関して、wを変化させて、wについてSYM(i、j)を算出する。そして、対称性評価部222は、下記(数式8)に示すように、注目画素PについてSYM(i、j)の最大値maxSYMを算出する。
(数式8)において、Nはwの最大値である。エッジ画像103の水平方向の画素数をHとすると、注目画素の水平方向の位置を示す列iが(H/2)以下の場合には、Nは(i−1)である。注目画素の水平方向の位置を示す列iが(H/2)より大きい場合には、Nは(H−i)である。
また、(数式8)においてmax()は、要素の最大値を取得する関数である。つまり、(数式8)により、maxSYMには、SYM(i,j)〜SYM(i,j)のうちの最大値が入る。
また、対称性評価部222は、最大値maxSYMを与えるwを、対称幅waとして取得する。つまり、SYM(i、j)は、w=waのとき、最大値maxSYMをとる。対称幅waを用いて、maxSYMは、下式のように表すことができる。
maxSYM=SYMwa(i,j)
ここで、図6を用いて、上記(数式7)および(数式8)に相当する処理について、説明する。図6(a)〜(f)は、特徴量抽出画像の一例を示しており、軸C1を対称軸とする左右対称な物体を撮像した画像の特徴量抽出画像を模式的に示した図である。また、図6(a)〜(f)において、領域R1は、(数式7)の算出対称となる領域を示している。なお、説明便宜上、図6(a)〜(f)において、白い部分に含まれる画素の画像特徴量(画素値)Pは「255」であり、それ以外の黒い部分に含まれる画素の画像特徴量Pは「0」であるものとする。
また、図6(a)〜(f)において、領域R1に含まれる画像特徴量(画素値)Pが「255」である画素の割合rwは、以下であるものとする。
また、(1)領域R1の中で、画像特徴量(画素値)Pが「255」である画素群の領域と、注目画素位置(図6の軸C1の位置)との間の領域に含まれる画像特徴量(画素値)Pが「0」である画素の割合をrb0とし、(2)領域R1の中で、画像特徴量(画素値)Pが「255」である画素群の領域より外側の領域に含まれる画像特徴量(画素値)Pが「0」である画素の割合をrb1とする。なお、rw+rb0+rb1=1である。
また、図6(a)〜(f)において、wの値は、以下のものとする。
図6(a)の場合:rw=0.0、rb0=1.0、rb1=0.0、w=10
図6(b)の場合:rw=0.2、rb0=0.8、rb1=0.0、w=20
図6(c)の場合:rw=0.4、rb0=0.6、rb1=0.0、w=30
図6(d)の場合:rw=0.6、rb0=0.4、rb1=0.0、w=40
図6(e)の場合:rw=0.4、rb0=0.3、rb1=0.3、w=50
図6(f)の場合:rw=0.3、rb0=0.2、rb1=0.5、w=60
図6(a)の場合、算出対称領域R1に含まれる画素の画像特徴量(画素値)は、すべて「0」であるので、(数式7)より、SYM(i、j)=0となる。
図6(b)の場合、算出対称領域R1において、画像特徴量(画素値)が「255」である画素の割合は、「0.2」であるので、(数式2)より、
SYM(i、j)
=[0.5×w^2―0.5×{(1−rw)×w}^2]×255/w
=72×255/20
=918
となる。
図6(c)の場合、算出対称領域R1において、画像特徴量(画素値)が「255」である画素の割合は、「0.4」であるので、(数式7)より、
SYM(i、j)
=[0.5×w^2―0.5×{(1−rw)×w}^2]×255/w
=288×255/30
=2448
となる。
図6(d)の場合、算出対称領域R1において、画像特徴量(画素値)が「255」である画素の割合は、「0.6」であるので、(数式7)より、
SYM(i、j)
=[0.5×w^2―0.5×{(1−rw)×w}^2]×255/w
=672×255/40
=4284
となる。
図6(e)の場合、算出対称領域R1において、画像特徴量(画素値)が「255」である画素の割合は、「0.4」であるので、(数式7)より、
SYM(i、j)
=[0.5×rw×w×{rb0×w+(rb0+rw)×w}]×255/w
=500×255/50
=2550
となる。
図6(f)の場合、算出対称領域R1において、画像特徴量(画素値)が「255」である画素の割合は、「0.3」であるので、(数式7)より、
SYM(i、j)
=[0.5×rw×w×{rb0×w+(rb0+rw)×w}]×255/w
=378×255/60
=1606.5
となる。
このように、図6に示す特徴量抽出画像では、領域R1を、図6(a)から(d)に示すように拡大させていくと、位置による重み付け係数kが増加し、かつ、画素値が「255」である画素の割合が増加するため、対称性評価値であるSYM(i、j)単調増加する。
さらに、領域R1を、図6(d)から(f)に示すように拡大させていくと、画素値が「255」である画素の割合が減少するため、対称性評価値であるSYM(i、j)の値は、単調減少する。
つまり、対称性評価値SYM(i、j)は、図6(d)のときに、最大値をとる。すなわち、図6(d)の場合に、SYM(i、j)が最大値をとるので、図6(d)の場合のSYM(i、j)(=672×255)がmaxSYMとなり、このときのw(図6(d)の場合のw)がwaとなる。したがって、対称性評価部222は、図6に示した特徴量抽出画像を処理対象とする場合、図6(d)の場合のSYM(i、j)(=672×255)をmaxSYMとして取得し、このときのw(図6(d)の場合のw)をwaとして取得する。
対称性評価部222は、対称性を評価する対象となる全ての画素について、(数式7)および(数式8)に相当する処理を行い、
(1)処理対象画素と、当該画素に対応するmaxSYMの値(または、maxSYMの値と相関のある値)と、を対応づけた対称性評価マップデータと、
(2)処理対象画素と、waの値(最大値maxSYMをとるときのwの値)(または、waの値と相関のある値)と、を対応づけた対称幅マップデータと、
を生成(取得)する。
図4Dは、対称性評価マップデータから導出した対称性評価マップ画像104である。対称性評価マップ画像104は、各画素の画素値を、対応するmaxSYMの値(または、maxSYMの値と相関のある値)とする画像である。
また、図4Eは、対称幅マップデータから導出した対称幅マップ画像105である。対称幅マップ画像105は、各画素の画素値を、対応するwaの値(最大値maxSYMをとるときのwの値)(または、waの値と相関のある値)とする画像である。
なお、本実施形態において、対称性評価部222は、対称性を評価する対象画素(評価画素)としてエッジ画像103の全ての画素を利用している。つまり、エッジ画像103に含まれる全ての画素について、対称性評価部222は、SYM(i、j)を算出するとともに、maxSYMを算出している。
しかし、演算量を減らすために、あるいは、処理速度を向上させるために、対称性評価部222は、エッジ画像103に含まれる一部の画素を用いて(画素を間引いて)、上記同様の処理を行うことで、対称性評価マップデータおよび対称幅マップデータを取得するようにしてもよい。対称性評価部222は、たとえば、対称性の評価対象とする画素(評価画素)として水平(あるいは垂直)方向の奇数ラインのみ、あるいは偶数ラインのみを利用してもよい。あるいは、3ライン間隔で評価画素を選択するなど、評価画素の数を少なくしてもよい。
対称性評価マップデータは、各評価画素について、その評価画素について算出されたmaxSYMの値(または、maxSYMの値と相関のある値)を成分とするマップデータである。各評価画素について、その評価画素について算出されたmaxSYMの値(または、maxSYMの値と相関のある値)を画素値とする画像と考えてもよい。図4Dは、対称性評価マップデータを画像(対称性評価マップ画像104)として描画している。なお、対称性評価部222は、各評価画素について算出されたmaxSYMの値(または、maxSYMの値と相関のある値)を取得すればよく、必ずしも、図4Dに示すような画像(対称性評価マップ画像104)として取得しなくてもよい。つまり、対称性評価部222は、各評価画素と、そのmaxSYMの値とを関連づけたデータを取得すればよい。
本実施形態においては、評価画素としてエッジ画像103の全ての画素が利用されているので、対称性評価マップ画像104は、エッジ画像103の全画素の画素値をmaxSYMの値(または、maxSYMの値と相関のある値)に置き換えたグレースケールの画像である。
なお、対称性評価値SYM(i、j)は、上記(数式7)により算出する場合、wの値により取り得る範囲が変化するデータであり、maxSYMの値をそのまま画素値とする対称性評価マップ画像104を取得するようにしてもよいが、例えば、ダイナミックレンジ変換を行い、対称性評価マップ画像104を取得するようにしてもよい。つまり、例えば、1フレーム分の入力画像に対して算出されたmaxSYMの値の最小値から最大値で決定される範囲が、例えば、0〜255の範囲(8ビットの範囲)となるように、ダイナミックレンジ調整を行っても良い(あるいは、正規化処理や所定の値でのクリップ処理やゲイン調整処理に相当する処理等を行ってもよい。)。
このように、SYM(i、j)が0〜255の値をとるように調整した場合、対称性評価マップ画像104の各成分は、それぞれ0〜255の値を取り得る。図4Dにおいて、白に近い色はSYM(i、j)の値が大きい(255に近い)ことを示している。つまり、図4Dにおいて、白っぽい領域は対称性が高く評価された領域であり、対称となる物体の中心付近を示している。一方、図4Dにおいて、黒っぽい領域は対称性が高くない領域である。なお、上記ダイナミックレンジ変換は一例であり、SYM(i、j)を、0〜255の範囲以外の範囲にダイナミックレンジ変換するようにしてもよい。
また、対称性評価部222は、対称性を評価する対象となる全ての評価画素について、対称幅マップデータを生成(取得)する。
対称幅マップデータは、各評価画素についてmaxSYMを与える対称幅waを成分とするマップデータである。各評価画素について、対称幅waを画素値とする画像と考えてもよい。図4Eは、対称幅マップデータを画像(対称幅マップ画像105)として描画している。本実施形態においては、評価画素としてエッジ画像103の全ての画素が利用されているので、対称幅マップ画像105は、エッジ画像103の全画素を対称幅waに置き換えたグレースケールの画像である。
上述したように、本実施形態においては、対称幅waは1からNまでの値を取り得る。したがって、対称幅マップ画像105の各成分は、それぞれ1〜Nの値を取り得る。Nの値は画素位置によって異なる。図3Eにおいて、色が白に近い領域は、対称幅waが大きい領域を示している。図3Eにおいて、色が黒に近い領域は、対称幅waが小さい領域を示している。
続いて、中心検出部223は、対称性評価部222が生成した対称性評価マップデータ(対称性評価マップ画像104)を参照し、対称中心マップデータ(対称中心マップ画像106)を生成する。中心検出部223は、対称性評価マップ画像104の水平方向の各ラインについて、maxSYMの極大点を与える画素(または、極大点付近の画素群)を決定(推定)する。
図7は、対称性評価マップ画像104の水平方向の変化を示す図である。具体的には、図7は、対称性評価マップ画像104の水平方向の1ラインについてmaxSYMの変化を表す図である。
図7では、水平方向位置を示す列(i座標)が、330〜332である3つの画素(i=330の画素、i=331の画素、および、i=332の画素)において、画素値、すなわち、対称性の評価値(maxSYMの値)が極大となっている。したがって、中心検出部223は、図7に示す水平方向の1ラインについて、i=330の画素、i=331の画素、および、i=332の画素の3つの画素が対称性の評価値(maxSYMの値)の極大点(極大点付近領域)であると判定する。
同様にして、中心検出部223は、水平方向の全てのラインについて極大点(極大点付近領域)を与える領域(画素または画素群)を特定(推定)する。なお、中心検出部223により特定(推定)された領域を「対称中心画素領域」という。
図4Fは、中心検出部223により特定(推定)された対称中心画素領域を明示した対称中心マップ画像106である。対称中心マップ画像106は、例えば、対称中心画素領域に含まれると判定された画素に、成分(画素値)「1」を設定し、対称中心画素領域に含まれないと判定された画素に、成分(画素値)「0」を設定することで取得された画像と見ることができる。図4Fにおいて、白色の部分が対称中心画素領域として特定された画素を示している。
なお、処理対象画素(注目画素)が対称中心画素領域に含まれる否かの判定は、例えば、以下の処理とともに行うようにしてもよい。
(1)対称性評価マップ画像104の各画素において、画素値を予め設定された閾値と比較し、閾値を上回る場合にのみ、極大点の候補とする。
(2)対称性評価マップ画像104の水平方向に平滑化処理(処理対象の水平ラインに対して平滑化処理)を行ってから、極大点の位置(水平方向の位置)を特定する。
これにより、細かな変動により生まれる極大点を排除することができる。その結果、精度の良い対称中心マップ画像を取得することができる。
続いて、物体領域検出部224は、入力画像に含まれる対称性を有する物体の水平方向の幅および垂直方向の幅を検出する。
物体領域検出部224は、対称中心マップデータ(対称中心マップ画像106)および対称幅マップデータ(対称幅マップ画像105)を利用して、物体の水平方向の幅を検出する。
具体的には、物体領域検出部224は、例えば、以下の(1)〜(5)の処理により、物体の水平方向の幅を検出する。なお、説明便宜上、対称中心マップ画像106において、最初に、画素値「1」の画素を含む水平ラインがj行目のラインであるものとして、説明する。
(1)対称中心マップ画像106は、対称性を有する物体の中心軸を構成する画素に画素値「1」が与えられている。したがって、物体領域検出部224は、対称中心マップ画像106において画素値「1」を有する画素を抽出し、その抽出された画素の対称幅を対称幅マップ画像105から取得する。
(1A):
画素値「1」の画素が水平方向に単独で(水平方向に連続せずに)検出された場合、物体領域検出部224は、抽出された画素値「1」の画素(当該画素の座標を(i,j)とする。)の対称幅W(i,j)を、対称幅マップデータから抽出する。
(1B):
画素値「1」の画素が水平方向に連続して検出された場合、当該複数の画素(水平方向に連続して存在する画素)の対称幅の平均値を対称幅とする。例えば、画素(i−1,j)、画素(i,j)および画素(i+1,j)の3つの画素の画素値が「1」である場合において、それぞれの対称幅を、W(i−1,j)、W(i,j)およびW(i+1,j)とすると、
W(i,j)=AVRG(W(i−1,j),W(i,j),W(i+1,j))
あるいは、
W(i,j)=MAX(W(i−1,j),W(i,j),W(i+1,j))
としてもよい。なお、AVRG()は、要素の平均値をとる関数であり、MAX()は、要素の最大値をとる関数である。
また、j行目の水平ラインにおいて、上記(1A)または(1B)により算出された対称幅W(i,j)をW(i0、j)と表記する。
(2)次に、j+1行目の水平ラインにおいて、上記(1)で抽出した画素と水平方向の位置がほぼ等しく(例えば、座標位置(i−a,j+1)〜座標位置(i+a,j+1)の範囲に含まれる画素。aは、所定の閾値(水平方向がほぼ等しいか否かの判断を行うための値))、かつ、その画素値が「1」である画素がある場合、処理(1)と同様に、当該画素の対称幅を、対称幅マップデータから抽出する。
j+1行目の水平ラインにおいて、画素値が「1」である画素位置(水平方向の画素値「1」の画素が連続して複数ある場合は、当該画素群の中心位置の画素)を(i,j+1)とすると、物体領域検出部224は、処理(1)と同様にして、画素(i、j+1)の対称幅W(i1,j)を算出する。
(3)j+2行目以降の水平ラインについても、上記と同様の処理を繰り返す。
なお、上記(1)で抽出した画素と水平方向の位置がほぼ等しい(例えば、座標位置(i−a,j+1)〜座標位置(i+a,j+1)の範囲に含まれる画素。aは、所定の閾値(水平方向がほぼ等しいか否かの判断を行うための値))範囲に、画素値「1」の画素が出現しなくなるまで、上記処理を繰り返す。
(4)物体領域検出部224は、上記(1)〜(3)の処理で算出した対称幅の最大値maxWを求める。つまり、物体領域検出部224は、下記(数式9)に相当する処理を実行することで、対称幅の最大値maxWを求める。
なお、(数式9)では、上記(1)で抽出した画素と水平方向の位置がほぼ等しい(例えば、座標位置(i−a,j+1)〜座標位置(i+a,j+1)の範囲に含まれる画素。aは、所定の閾値(水平方向がほぼ等しいか否かの判断を行うための値))範囲に、画素値「1」の画素が出現する水平ラインがj行目からj+m−1行目までであるとしている。
(5)そして、物体領域検出部224は、算出した対称幅の最大値maxWを、物体幅(物体の水平方向の中心からの片方の端までの距離)として検出する。図4Fでは、j+k1行目の水平ラインにおいて、対称幅が最大となる場合について例示している。つまり、maxW=W(ik1,j+k1)である場合を例示している。
物体領域検出部224は、対称中心画素領域の垂直方向の幅(長さ)を利用して、物体の垂直方向の幅を検出する。つまり、物体領域検出部224は、垂直方向に連続して配列された対称中心画素の上端を物体の上端として特定し、垂直方向に連続して配列された対称中心画素の下端を物体の下端として特定する。
図4Fに示すように、物体領域検出部224は、例えば、垂直方向に連続して配列された対称中心画素の上端が、j行目の水平ライン位置に存在し、垂直方向に連続して配列された対称中心画素の下端が、j+m−1行目の水平ライン位置に存在し、maxW(=W(ik1,j+k1))をとる水平ラインの画素の中心位置が(ik1,j+k1)であるとき、左上の頂点の座標が(ik1−maxW,j)であり、右下の頂点の座標が(ik1+maxW,j+m−1)である四角形で囲まれる領域R1を、対称性が高い物体に相当する画像領域であると判定(特定)する。
そして、物体領域検出部224は、特定した物体(対称性の高い物体)の画像領域を示す情報(例えば、上記領域R1を特定するための情報(例えば、矩形領域の座標情報等))を合成部23に出力する。
なお、上記において、物体領域検出部224は、対称性の高い物体の画像領域を矩形領域により特定する場合について説明しているが、これに限定されることはない。例えば、物体領域検出部224は、水平ラインごとに、対称幅マップデータから抽出される対称幅に基づいて、対称性の高い物体の画像領域を特定するようにしてもよい。つまり、この場合、水平ラインごとに、対称中心画素(対称中心画素領域に含まれる画素)から左右に対称幅に相当する長さの領域が、対称性の高い物体の画像領域として特定される。このため、最終的に検出される対称性の高い物体の画像領域は、当該対称性の高い物体の形状と略一致する形となる(例えば、図4Aの車両110の外枠の形状と略一致する形となる)。
合成部23は、物体領域検出部224から出力される検出した対称性の高い物体の画像上の領域を特定する情報に基づいて、画像入力部21から出力される画像(入力画像101)上に、対称性の高い物体に相当する画像領域を明示する画像を生成(合成)する。合成部23は、例えば、画像入力部21から出力される画像上に、対称性の高い物体に相当する画像領域を明示する四角い枠が表示されるように画像を生成(合成)する。そして、合成部23は、合成した画像を表示装置3に出力する。
表示装置3は、物体検出装置2の合成部23から出力された、対称性の高い物体に相当する画像領域が明示された画像を表示する。図3Gは、対称性を有する物体である車両110の領域を示す領域枠130が入力画像101に合成された合成画像107を示している。なお、水平方向ラインごとに物体幅が決定された場合には、領域枠は矩形ではなく、物体の外形に沿うような形状(車両110の外枠の形状と略一致する形状)となる。
以上のように、本実施形態の物体検出システム1000では、入力画像(撮像画像)の画像特徴量を抽出した画像に対して、所定の方向(水平方向)についての対称性を評価するために、幅(所定方向(水平方向)の幅)を変化させながら対称性の評価を行う。したがって、本実施形態の物体検出システム1000では、所定の画像領域の対称性が高いと判定した場合、対称性が高いと判定した画像領域の所定方向(水平方向)の幅も同時に取得することができる。つまり、本実施形態の物体検出システム1000では、画像に含まれる物体の対称性を利用して、物体の位置と大きさを同時に抽出することが可能である。
また、本実施形態の物体検出システム1000では、所定の方向(水平方向)についての対称性の評価データを用いて、対称性の高い物体の中心軸を検出することができる。したがって、本実施形態の物体検出システム1000では、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
さらに、本実施形態の物体検出システム1000では、注目画素(物体の中心軸(対称軸))からの距離による重み付けを行った対称性評価値を取得し、当該対称性評価値を用いた処理を行うので、中心軸(対称軸)から離れた位置に存在する対称性の高い物体を精度よく検出することができる。
≪第1変形例≫
次に、本実施形態の第1変形例について説明する。
本変形例の物体検出システムおよび物体検出装置は、第1実施形態の物体検出システム1000および物体検出装置2と、それぞれ、同様の構成を有している。
本変形例の物体検出装置では、対称性評価部222は、上記(数式1)の代わりに、下記(数式10)または(数式11)による処理を行う。それ以外については、本変形例は、第1実施形態と同様である。
対称性評価部222は、特徴量抽出画像(エッジ画像)103に対して、上記(数式10)による処理を行う。(数式10)では、(w−k)により重み付けを行っている。つまり、特徴量抽出画像(エッジ画像)103上において、注目画素に近い位置に存在する領域ほど、強い重み付けがなされる。その結果、注目画素に近い領域であって、かつ、左右対称性の高い領域において、対称性評価値SYM(i、j)は、大きな値となる。
また、対称性評価部222は、特徴量抽出画像(エッジ画像)103に対して、下記(数式11)による処理を行ってもよい。(数式11)では、k≧a0(a0は、a0≦wを満たす所定の値)の区間において単調減少となる関数c(k)により重み付けを行っている。つまり、特徴量抽出画像(エッジ画像)103上において、注目画素に近い位置に存在する領域ほど、強い重み付けがなされる。その結果、注目画素に近い領域であって、かつ、左右対称性の高い領域において、対称性評価値SYM(i、j)は、大きな値となる。
ここで、図8を用いて、(数式11)に相当する処理について、説明する。図8は、特徴量抽出画像の一例を模式的に示す図であり、白い部分の領域に含まれる画素は、その画素値(画像特徴量)が取り得る最大値(例えば、「255」(8ビットデータ))であり、黒い部分に含まれる画素は、その画素値(画像特徴量)が取り得る最小値(例えば、「0」(8ビットデータ))であるものとする。また、(数式11)の値a0は、図8に示すように(図8に示した)w1より若干大きな値をとるものとする。
注目画素の水平方向の位置(i座標)が軸C2上である場合、図8(a)に示すように、領域R2の水平方向の幅w1のとき、対称性評価値SYM(i、j)は最大値をとる。つまり、領域BCが軸C2付近において左右対称性が高いため、領域BCでのc(k)による重み付けが大きいため、図8(a)に示す領域R2の水平方向の幅w1がwa(対称性評価値SYM(i、j)が最大値をとるときの対称幅w)となる。
一方、図8(b)に示すように、領域R2の水平方向の幅がw2のとき、wがa0より大きい領域についての重み付けc(k)は、wについて単調減少となるため、領域BLおよびBRについての重み付けc(k)の値は、小さな値となる。したがって、領域R2の水平方向の幅がw2のとき、対称性評価値SYM(i、j)は、水平方向の幅w1のときの対称性評価値SYM(i、j)よりも小さな値となる。
このように、本変形例の物体検出システムの対称性評価部222は、(数式11)に相当する処理を行い、対称性評価値SYM(i、j)を取得するとともに、対称性評価値SYM(i、j)が最大となるときの対称幅waを取得する。
なお、対称軸(中心軸)近傍において、左右対称領域を検出する場合、対称性評価値SYM(i、j)の最大値をとるwが複数存在する場合、最大のwをwaとするようにしてもよい。例えば、対称軸(中心軸)近傍において、対称性評価値SYM(i、j)の最大値をとるwが連続している場合、wの値が最大であるときの対称幅が、対称軸近傍に存在する対称性の高い物体の幅と近い値である可能性が高いと考えられる。したがって、対称軸(中心軸)近傍において、左右対称領域を検出する場合、対称性評価値SYM(i、j)の最大値をとるwが複数存在する場合、最大のwをwaとすればよい。
そして、中心検出部223および物体領域検出部224において、第1実施形態と同様の処理を行うことで、対称軸近傍において左右対称性の高い物体(領域)を、適切に検出することができる。例えば、特徴量抽出画像が図9に示す画像である場合、本変形例の物体検出システムにより、対称軸近傍において左右対称性の高い物体(領域)BCを、検出領域DA1として、適切に検出することができる。
なお、画像上の距離による重み付け関数c(k)は、上記(数式11)で示した関数に限定されることはなく、任意の関数に設定してもよい。
例えば、画像上の距離による重み付け関数c(k)を、図10(a)、(b)に示すように単調減少関数(一部kについてc(k)が一定値をとる区間がある場合等を含む。)としてもよい。重み付け関数c(k)を単調減少関数に設定した場合、対称軸付近に高い対称性を有する物体を検出することができる。なお、図10(a)は、本変形例の(数式11)の処理に対応する。
一方、画像上の距離による重み付け関数c(k)を、図10(c)、(d)に示すように単調増加関数(一部kについてc(k)が一定値をとる区間がある場合等を含む。)としてもよい。重み付け関数c(k)を単調増加関数に設定した場合、対称軸から離れた領域に高い対称性を有する物体を検出することができる。なお、図10(a)は、第1実施形態の(数式7)の処理(c(k)=kとした場合の処理)に対応する。
なお、画像上の距離による重み付け関数c(k)は、上記に限定されるものではなく、例えば、指数関数、シグモイド関数等を用いた関数や、折れ線による関数等により、画像上の距離による重み付け関数c(k)を設定してもよい。
以上のように、本変形例の物体検出システムでは、画像上の距離による重み付け関数c(k)を、単調減少関数(一部単調でない部分を含んでもよい)に設定することで、対称軸付近の対称性の高い物体を適切に検出することができる。
[第2実施形態]
次に、第2実施形態について、説明する。
本実施形態の物体検出システムの構成は、第1実施形態と同様である。以下では、本実施形態において、第1実施形態と相違する点について、説明する。なお、上記実施形態と同様の部分については、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
第1実施形態では、画像特徴量抽出部221は、物体の画像特徴量としてエッジ成分を利用した。そして、画像特徴量として抽出したエッジ成分に基づき、対称性の評価を行った。
第2実施形態では、画像特徴量抽出部221は、物体の画像特徴量として特定の色成分を利用する。たとえば、画像特徴量抽出部221は、画像特徴量として赤色成分を抽出する。
以下、本実施形態の物体検出システムの動作について、説明する。
図11Aは、本実施形態の物体検出システムにおいて実行される物体検出処理の各段階において取得される画像の一例を示した図である。
なお、本実施形態においても、撮像装置1において、図4Aに示した撮像画像101が取得され、撮像画像101が物体検出装置2で処理される場合を例に説明する。
画像入力部21は、撮像装置1から入力されたRGB色空間の画像信号(R成分信号、G成分信号およびB成分信号)を、YCbCr色空間の信号(Y成分信号、Cb成分信号およびCr成分信号)に変換する。そして、画像入力部21は、Cr成分信号(Cr成分画像202)を画像特徴量抽出部221に出力する。
画像特徴量抽出部221は、画像入力部21により取得されたCr成分画像(色差赤色成分画像)202に対して、画像特徴量を抽出する処理を実行する。なお、本実施形態では、画像特徴量として、Cr成分に相関のある物理量を利用する。
つまり、本実施形態では、画像特徴量抽出部221は、Cr成分画像202に対してCr成分強調処理(エンハンス処理)を実行し、特徴量抽出画像(R成分画像(Cr成分強調画像))203を生成する。
この後の処理は第1実施形態と同様である。第1実施形態におけるエッジ画像をR成分画像に置き換えた上で、同様の処理を実行し、対称性のある物体を検出する。
つまり、対称性評価部222は、第1実施形態と同様の処理を、図11Cに示す特徴量抽出画像(R成分画像(Cr成分強調画像))203に対して実行し、対称性評価マップデータ(図11Dに示す対称性評価マップ画像204に対応。)および対称幅マップデータ(図11Eに示す対称幅マップ画像205に対応。)を取得する。
そして、中心検出部223は、第1実施形態と同様の処理を、対称性評価マップデータ(図11Dに示す対称性評価マップ画像204に対応。)に対して実行し、対称中心マップデータ(図11Fに示す対称中心マップ画像206に対応。)を取得する。
物体領域検出部224は、第1実施形態と同様の処理を、対称中心マップデータ(図11Fに示す対称中心マップ画像206に対応。)および対称幅マップデータ(対称幅マップ画像205)を利用して、物体の水平方向の幅を検出し、さらに、物体の垂直方向の幅を検出する。
合成部23は、第1実施形態と同様に、物体領域検出部224から出力される検出した対称性の高い物体の画像上の領域を特定する情報に基づいて、画像入力部21から出力される画像(入力画像101)上に、対称性の高い物体に相当する画像領域を明示する画像を生成(合成)する。
そして、合成部23により生成(合成)された画像は、表示装置3により表示される。図11Gに合成部23により取得された画像(出力画像207)の一例を示す。図11Gに示すように、左右対称の位置に赤色の画像領域(画像領域230)を有する領域が適切に検出されている。
図11Gは、第2実施形態において表示装置3に表示された合成画像207を示す図である。第1実施形態においては、エッジ成分により物体の対称性を評価したので、車両の全体が物体の大きさとして抽出されている。これに対して、第2実施形態においては、車両のテールランプの赤色を中心に物体の対称性が評価されたので、テールランプを含む領域(画像領域230)が抽出されていることが分かる。
以上のように、本実施形態の物体検出システムでは、入力画像(撮像画像)の画像特徴量を抽出した画像(特定の色成分を抽出した画像)に対して、所定の方向(水平方向)についての対称性を評価するために、幅(所定方向(水平方向)の幅)を変化させながら対称性の評価を行う。したがって、本実施形態の物体検出システムでは、所定の画像領域の対称性が高いと判定した場合、対称性が高いと判定した画像領域の所定方向(水平方向)の幅も同時に取得することができる。つまり、本実施形態の物体検出システムでは、画像に含まれる物体の対称性を利用して、物体の位置と大きさを同時に抽出することが可能である。
また、本実施形態の物体検出システムでは、所定の方向(水平方向)についての対称性の評価データを用いて、対称性の高い物体の中心軸を検出することができる。したがって、本実施形態の物体検出システムでは、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。さらに、本実施形態の物体検出システムでは、特定の色成分について抽出した画像を用いて処理を行うので、特定の色成分を多く含む対称性の高い物体を精度良く検出することができる。
さらに、本実施形態の物体検出システムでは、注目画素(物体の中心軸(対称軸))からの距離による重み付けを行った対称性評価値を取得し、当該対称性評価値を用いた処理を行うので、中心軸(対称軸)から離れた位置に存在する、特定の色成分についての対称性の高い物体を精度よく検出することができる。
なお、第1実施形態と第2実施形態の両方を組み合わせてもよい。エッジ画像に対して物体の垂直方向および水平方向の幅および位置を特定する。さらに、特定の色成分画像を利用して物体の垂直方向および水平方向の幅および位置を特定する。そして、それらの平均値をとることで物体の位置および大きさを特定することができる。あるいは、エッジ画像に基づいて求められた値と色成分に基づいて求められた値のいずれかに重みづけを行って物体の位置および大きさを特定してもよい。
また、上記では、赤色成分に注目して処理を行う場合について説明したが、これに限定されることはなく、他の色成分(例えば、緑色成分や青色成分)に注目して処理を行い、所定の色についての対称性の高い物体を検出するようにしてもよい。
また、画像特徴量を抽出するための色空間変換は、本実施形態で説明したものに限定されることはなく、特定の色成分の信号を抽出するために、他の色空間変換を行い、所望の色成分信号(色成分画像)を抽出するようにしてもよい。
≪第1変形例≫
次に、本実施形態の第1変形例について説明する。
本変形例の物体検出システムおよび物体検出装置は、第1実施形態の物体検出システムおよび物体検出装置と、それぞれ、同様の構成を有している。
本変形例の物体検出装置では、第1実施形態の変形例と同様に、対称性評価部222は、(数式1)の代わりに、(数式10)または(数式11)による処理を行う。本変形例の物体検出装置では、第2実施形態と同様に、画像特徴量抽出部221は、物体の画像特徴量として特定の色成分を利用する。たとえば、画像特徴量抽出部221は、画像特徴量として赤色成分を抽出する。
ここで、本変形例の物体検出システムにおいて、図12に示す画像が入力された場合について、説明する。
図12(a)は、オートバイを背後から撮像した画像301である。撮像画像(入力画像)301において、オートバイのテールランプ311は、赤色であるものとする。
図12(a)に示す画像が本変形例の物体検出装置に入力された場合、物体検出部22の画像特徴量抽出部221は、図12(b)に示す特徴量抽出画像(R成分(Cr成分)抽出画像)302を取得する。図12(b)に示した特徴量抽出画像(R成分(Cr成分)抽出画像)302において、オートバイのテールランプ311に相当する領域は、軸C3近傍に存在しており、かつ、オートバイのテールランプ311に相当する領域の画素の画素値(画像特徴量(赤色成分量))が大きい。このため、対称性評価部222により算出される対称性評価値SYM(i、j)は、注目画素の水平方向の位置(i座標)が対称軸付近である場合に、最大値をとることとなる。そして、そのときの対称幅が図12(b)に示したw3となる。つまり、wa(対称性評価値SYM(i、j)が最大値をとるときの対称幅w)がw3となる。
そして、本変形例の中心検出部223および物体領域検出部224において、前述の実施形態と同様に、処理が実行されることで、図12(c)に示す出力画像が取得される。図12(c)の出力画像では、赤色で、かつ、対称軸近傍における左右対称性が高い領域(物体)(オートバイのテールランプ部分)が、適切に検出されている。
以上のように、本変形例の物体検出システムでは、対称性評価部222により、(数式10)または(数式11)による処理が実行されることで、特定の色成分(本変形例では赤色成分)の対称軸近傍において対称性が高い領域(物体)を適切に検出することができる。
なお、第1実施形態の変形例で説明したのと同様に、本変形例においても、画像上の距離による重み付け関数c(k)は、(数式11)で示した関数に限定されることはなく、任意の関数(例えば、図10に示したグラフに相当する関数)に設定されるものであってもよい。
[第3実施形態]
次に、第3実施形態について、説明する。
本実施形態の物体検出システムの構成は、第1実施形態と同様である。以下では、本実施形態において、第1実施形態と相違する点について、説明する。なお、上記実施形態と同様の部分については、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
本実施形態の対称性評価部222は、(数式7)の代わりに、下記(数式12)に相当する処理を実行する。
前述の実施形態と同様に、(数式12)において、SYM(i、j)は、対称性の評価値を示す。(数式12)において、kは、1〜wまでの値をとる整数である。
画素Pi−kと画素Pi+kは、注目画素Pを中心として左右対称の位置にある画素である。画素Pi−kと画素Pi+kの画素値が等しいとき、その差分|Pi−k−Pi+k|は最小値0となる。このとき、(255−|Pi−k−Pi+k|)は、最大値255となる。
そして、(255−|Pi−k−Pi+k|)は、Pi−kおよびPi+kを乗算されることで、注目画素Pから左右にk画素離れた画素の画像特徴量で重み付けされる。これにより、画像特徴量が小さい画素を対称性の評価から除外することができる。つまり、例えば、特徴量抽出画像をエッジ画像103としたとき、エッジ画像103において、エッジではない部分のPi−kおよびPi+kは、「0」に近い値をとるので、エッジでない部分では、(255−|Pi−k−Pi+k|)×Pi−k×Pi+kは、「0」に近い値をとることになる。
つまり、(数式12)においては、注目している画像特徴量(例えば、エッジ成分量や特定の色成分量(例えば、赤色成分量))についての対称性が高いほどSYM(i、j)は、大きな値をとる。
本実施形態の対称性評価部222は、前述の実施形態と同様に、(数式8)に相当する処理を行い、最大値maxSYMを与えるwを、対称幅waとして取得する。
そして、本実施形態の中心検出部223、物体領域検出部224、および、合成部23は、前述と同様の処理を行う。
このように、本実施形態の物体検出システムでは、入力画像(撮像画像)の画像特徴量を抽出した画像に対して、所定の方向(水平方向)についての対称性を評価するために、幅(所定方向(水平方向)の幅)を変化させながら対称性の評価を行う。したがって、本実施形態の物体検出システムでは、所定の画像領域の対称性が高いと判定した場合、対称性が高いと判定した画像領域の所定方向(水平方向)の幅も同時に取得することができる。つまり、本実施形態の物体検出システムでは、画像に含まれる物体の対称性を利用して、物体の位置と大きさを同時に抽出することが可能である。
また、本実施形態の物体検出システムでは、所定の方向(水平方向)についての対称性の評価データを用いて、対称性の高い物体の中心軸を検出することができる。したがって、本実施形態の物体検出システムでは、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
なお、本実施形態の物体検出システムにおいて、画像特徴量抽出部221は、例えば、画像特徴量をエッジ成分として、入力画像のエッジ成分を抽出したエッジ画像を取得するものであってもよい。この場合、本実施形態の物体検出システムでは、図3と同様の処理結果(類似の処理結果)を取得することができる。
また、本実施形態の物体検出システムにおいて、画像特徴量抽出部221は、例えば、画像特徴量を特定の色成分(例えば、赤色成分(R成分やCr成分等))として、入力画像の特定の色成分を抽出した画像(例えば、赤色成分画像(R成分画像やCr成分画像等))を取得するものであってもよい。この場合、本実施形態の物体検出システムでは、図11Aと同様の処理結果(類似の処理結果)を取得することができる。
[第4実施形態]
次に、第4実施形態について、説明する。
本実施形態の物体検出システムの構成は、前述の実施形態と同様である。以下では、本実施形態において、前述の実施形態と相違する点について、説明する。なお、前述の実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
本実施形態の対称性評価部222は、(数式7)の代わりに、下記(数式13)に相当する処理を実行する。
前述の実施形態と同様に、(数式13)において、SYM(i、j)は、対称性の評価値を示す。(数式13)において、kは、1〜wまでの値をとる整数である。
画素Pi−kと画素Pi+kは、注目画素Pを中心として左右対称の位置にある画素である。画素Pi−kと画素Pi+kの画素値が等しいとき、その差分|Pi−k−Pi+k|は最小値0となる。このとき、(255−|Pi−k−Pi+k|)は、最大値255となる。
そして、(255−|Pi−k−Pi+k|)は、Pi−kおよびPi+kを乗算されることで、注目画素Pから左右にk画素離れた画素の画像特徴量で重み付けされる。これにより、画像特徴量が小さい画素を対称性の評価から除外することができる。つまり、例えば、特徴量抽出画像をエッジ画像103としたとき、エッジ画像103において、エッジではない部分のPi−kおよびPi+kは、「0」に近い値をとるので、エッジでない部分では、(255−|Pi−k−Pi+k|)×Pi−k×Pi+kは、「0」に近い値をとることになる。
つまり、(数式13)においては、注目している画像特徴量(例えば、エッジ成分量や特定の色成分量(例えば、赤色成分量))についての対称性が高いほどSYM(i、j)は、大きな値をとる。
さらに、(数式13)では、注目画素(i,j)からの距離k(注目画素(i,j)から画素(i,j+k)(または画素(i,j−k))までの画素数(画像上の距離に相当))を乗ずることで、水平方向の位置情報(注目画素からの距離情報)による重み付けを行う。つまり、注目画素から水平方向に離れる程、対称性の評価についての重み付けが大きくなる。したがって、注目画素を中心として、注目画素から左右に離れた領域に高い(左右)対称性(注目している画像特徴量(本実施形態ではエッジ成分量)についての対称性)を有する領域がある場合、対称性評価値SYM(i、j)が大きな値となる。
つまり、対称性評価部222は、(数式13)による処理を実行することで、画像特徴量(Pi−kおよびPi+k)および水平方向の位置情報(注目画素からの距離情報)による重み付けを行った対称性評価値SYM(i、j)を取得することができる。
本実施形態の対称性評価部222は、前述の実施形態と同様に、(数式13)に相当する処理を行い、最大値maxSYMを与えるwを、対称幅waとして取得する。
そして、本実施形態の中心検出部223、物体領域検出部224、および、合成部23は、前述と同様の処理を行う。
このように、本実施形態の物体検出システムでは、入力画像(撮像画像)の画像特徴量を抽出した画像に対して、所定の方向(水平方向)についての対称性を評価するために、幅(所定方向(水平方向)の幅)を変化させながら対称性の評価を行う。したがって、本実施形態の物体検出システムでは、所定の画像領域の対称性が高いと判定した場合、対称性が高いと判定した画像領域の所定方向(水平方向)の幅も同時に取得することができる。つまり、本実施形態の物体検出システムでは、画像に含まれる物体の対称性を利用して、物体の位置と大きさを同時に抽出することが可能である。
また、本実施形態の物体検出システムでは、所定の方向(水平方向)についての対称性の評価データを用いて、対称性の高い物体の中心軸を検出することができる。したがって、本実施形態の物体検出システムでは、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
さらに、本実施形態の物体検出システムでは、注目画素(物体の中心軸(対称軸))からの距離による重み付けを行った対称性評価値を取得し、当該対称性評価値を用いた処理を行うので、中心軸(対称軸)から離れた位置に存在する対称性の高い物体を精度よく検出することができる。
なお、本実施形態の物体検出システムにおいて、画像特徴量抽出部221は、例えば、画像特徴量をエッジ成分として、入力画像のエッジ成分を抽出したエッジ画像を取得するものであってもよい。この場合、本実施形態の物体検出システムでは、図3と同様の処理結果(類似の処理結果)を取得することができる。
また、本実施形態の物体検出システムにおいて、画像特徴量抽出部221は、例えば、画像特徴量を特定の色成分(例えば、赤色成分(R成分やCr成分等))として、入力画像の特定の色成分を抽出した画像(例えば、赤色成分画像(R成分画像やCr成分画像等))を取得するものであってもよい。この場合、本実施形態の物体検出システムでは、図11Aと同様の処理結果(類似の処理結果)を取得することができる。
≪第1変形例≫
次に、第4実施形態の第1変形例について、説明する。
本変形の物体検出システムの構成は、前述の実施形態と同様である。以下では、本実施形態において、前述の実施形態と相違する点について、説明する。なお、前述の実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
本変形例の対称性評価部222は、(数式13)の代わりに、下記(数式14)に相当する処理を実行する。つまり、(数式13)では、画素位置(距離)についての重み付けがkであったが、(数式14)では、画素位置(距離)についての重み付けが、kについての任意の関数c(k)となっている。
本変形例において、関数c(k)を所定の関数(例えば、図10に示した関数)に設定することで、対称軸から所定の距離だけ離れた領域における対称性評価値の重み付けを所望のものに変化させることができる。
例えば、中心軸(対称軸)付近に高い対称性を有する領域を検出したい場合、
c(k)=w−k
または、下記(数式15)に設定すればよい、
以上のように、本変形例の物体検出システムでは、対称性評価部222により、(数式14)による処理が実行されることで、所定の領域(対称軸から所定の距離だけ離れた領域)において、対称性が高い領域(物体)を適切に検出することができる。
なお、第1実施形態の変形例で説明したのと同様に、本変形例においても、画像上の距離による重み付け関数c(k)は、上記で示した関数に限定されることはなく、任意の関数(例えば、図10に示したグラフに相当する関数)に設定されるものであってもよい。
[第5実施形態]
次に、第5実施形態について、説明する。
本実施形態の物体検出システムの構成は、前述の実施形態と同様である。以下では、本実施形態において、前述の実施形態と相違する点について、説明する。なお、前述の実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
本実施形態の対称性評価部222は、(数式14)の代わりに、下記(数式16)に相当する処理を実行する。つまり、(数式14)では、対称性評価値を算出するための画像上の領域が水平ライン1ライン分からなる領域であった。それに対して、(数式16)では、対称性評価値を算出するための画像上の領域が水平ライン(2n+1)ライン分(注目画素が存在する水平ラインを中心とした(2n+1)個の水平ライン)(nは自然数)からなる領域である。
つまり、本実施形態の対称性評価部222は、(数式16)により、(2n+1)個の水平ラインについて、それぞれ、対称性評価値を算出し、算出した各水平ラインの対称性評価値を積算し、積算した値を水平ライン数で除算することで、平均値を取得する。そして、対称性評価部222は、取得した平均値を、注目画素(i,j)の対称性評価値SYM(i、j)とする。
なお、(数式16)において、c(k)は任意の関数である。
例えば、画像上において、中心軸(対称軸)から離れた位置に存在する、対称性の高い領域を検出する場合、
c(k)=k
と設定すればよい。なお、関数c(k)を、図10(d)に示すような関数に設定してもよい。
また、例えば、画像上において、中心軸(対称軸)近傍に存在する、対称性の高い領域を検出する場合、
c(k)=w−k
と設定すればよい。なお、関数c(k)を、図10(a)、(b)に示すような関数に設定してもよい。
なお、対称性評価部222は、(数式16)に示すように、対称性評価値を算出する対象領域の垂直方向の幅を、注目画素が含まれる水平ライン、注目画素が含まれる水平ラインの上に位置するnラインおよび下に位置するnラインの合計(2n+1)ライン分に相当する幅として、対称性評価値を算出するが、注目画素が画像上端付近または下端付近であり、かつ、注目画素が含まれる水平ラインの上下にnライン分ずつ確保できない場合、対称性評価値を算出する対象領域の垂直方向の幅を変化させてもよい。例えば、注目画素が画像上端付近であり、注目画素が含まれる水平ラインの上に、(画像上端まで)n1ライン分(n1<nとする)存在している場合、(j−n1)ラインから(j+n)ラインまでの合計(n1+n+1)ライン分の領域を、対称性評価値を算出する対象領域としてもよい。
本実施形態の対称性評価部222は、前述の実施形態と同様に、(数式16)に相当する処理を行い、最大値maxSYMを与えるwを、対称幅waとして取得する。
そして、本実施形態の中心検出部223、物体領域検出部224、および、合成部23は、前述と同様の処理を行う。
このように、本実施形態の物体検出システムでは、本実施形態の対称性評価部222は、(数式16)により、(2n+1)個の水平ラインについて、それぞれ、対称性評価値を算出し、算出した各水平ラインの対称性評価値を積算し、積算した値を水平ライン数で除算することで取得した平均値により、注目画素(i,j)の対称性評価値SYM(i、j)を算出する。つまり、本実施形態の物体検出システムでは、垂直方向に所定の幅を有する画像領域を対称性評価の対象とするので、垂直方向に高い相関性を有する対称領域(例えば、対称軸(中心軸)と平行な辺を有する四角形の物体等)を精度良く検出することができる。
なお、対称性評価部222は、(数式16)の代わりに、(数式17)を用いて、対称性評価値SYM(i、j)を算出してもよい。なお、c(k)については、(数式16)と同様である。
つまり、(数式16)の処理では、対称性評価部222は、まず、水平方向において対称性評価を行い、次に、垂直方向に積算して、平均値を求めることで、注目画素(i,j)の対称性評価値SYM(i、j)を算出する。
一方、(数式17)の処理では、対称性評価部222は、まず、各項の垂直方向の積算処理(平均値算出処理)を行い、次に、水平方向において対称性評価を行うことで、注目画素(i,j)の対称性評価値SYM(i、j)を算出する。
対称性評価部222が(数式17)による処理を行うことで、(数式16)の処理と同様の処理結果を取得することができる。
≪第1変形例≫
次に、第5実施形態の第1変形例について、説明する。
本変形の物体検出システムの構成は、前述の実施形態と同様である。以下では、本実施形態において、前述の実施形態と相違する点について、説明する。なお、前述の実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
本変形例の対称性評価部222は、(数式16)の代わりに、下記(数式14)に相当する処理を実行する。つまり、(数式16)では、垂直方向の重み付けが、全ての水平ラインにおいて、「1」(重み付けなし)であったが、(数式14)では、垂直方向の重み付け関数d(m)により、水平ラインごとに、関数d(m)で決定される重み付け処理がなされる。なお、c(k)については、(数式16)と同様である。
例えば、
d(m)=n+1−|m−j|

d(m)=c1×exp(−c2×(m−j)^2)
(c1は、d(m)の最大値を決定するための係数。c2は垂直方向のレンジ調整用の係数。)
とすることで、注目画素(i,j)が存在する水平ラインでの重み付けを大きくし、注目画素(i,j)が存在する水平ラインから離れる程、重み付けを小さくすることができる。
これにより、注目画素(i,j)が存在する水平ライン付近において、左右対称性が高い領域が存在する場合に、対称性評価値が高くなるようにすることができる。
なお、対称性評価部222は、(数式14)の代わりに、(数式19)を用いて、対称性評価値SYM(i、j)を算出してもよい。なお、c(k)については、(数式14)と同様である。
つまり、(数式14)の処理では、対称性評価部222は、まず、水平方向において対称性評価を行い、次に、垂直方向に積算して、平均値を求めることで、注目画素(i,j)の対称性評価値SYM(i、j)を算出する。
一方、(数式15)の処理では、対称性評価部222は、まず、各項の垂直方向の積算処理(平均値算出処理)を行い、次に、水平方向において対称性評価を行うことで、注目画素(i,j)の対称性評価値SYM(i、j)を算出する。
対称性評価部222が(数式15)による処理を行うことで、(数式18)の処理と同様の処理結果を取得することができる。
[他の実施形態]
上述の実施形態および変形例の一部または全部を組み合わせてもよい。
上述の実施形態においては、水平方向に関して対称性を有する物体を検出した。同様に、垂直方向に関して対称性を有する物体を検出してもよい。つまり、上述の実施形態における水平方向の処理と垂直方向の処理を逆にして、上述の実施形態の処理を実行することで、垂直方向に関して対称性を有する物体を検出してもよい。
また、上述の実施形態の物体検出装置2において、各機能部の全部または一部が、共有のメモリ(例えば、フレームメモリ)を用いて、処理を行うようにしてもよい。
また、上述の実施形態の物体検出システムにおいて、撮像装置が、所定のフレームレート(例えば、15fps)でカラー画像を撮像する場合であれば、上記共有のメモリは、物体検出装置が当該所定のフレームレート(例えば、15fps)のカラー画像を処理できるだけのメモリ容量を有するメモリとすることが好ましい。
また、上述の実施形態において、8ビットのデータ(0〜255のデータ)を前提として処理(数式で示した処理等)を行っている部分があるが、ビット数が、上記で説明したビット数(データの取り得る範囲)に限定されないのは言うまでもない。また、上述の実施形態において、データを所定の範囲のデータとするために、レンジ変換処理や、正規化処理や、所定の閾値によるクリップ処理等を行うようにしてもよい。
また、上記実施形態で説明した物体検出システム又は物体検出装置において、各ブロックは、LSIなどの半導体装置(集積回路やプログラム可能なFPGA(Field Programmable Gate Array)等を含む。)により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良い。また、上記実施形態で説明した物体検出システム又は物体検出装置において、各ブロックは、複数のチップ(LSIなどの半導体装置)により実現されるものであってもよい。
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る物体検出システム又は物体検出装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc(登録商標))、半導体メモリを挙げることができる。
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
1000 物体検出システム
1 撮像装置
2 物体検出装置
3 表示装置(モニタ)
21 画像入力部
22 物体検出部
23 合成部
221 画像特徴量抽出部
222 対称性評価部
223 中心検出部
224 物体領域検出部
23 合成部

Claims (17)

  1. 画像を入力する画像入力部と、
    前記画像から所定の画像特徴量を抽出して特徴量抽出画像を生成する画像特徴量抽出部と、
    前記特徴量抽出画像に対して、処理対象である注目画素ごとに、前記画像上の第1方向についての対称性を評価するための領域である対称性評価領域を前記第1方向と直交する第2方向の所定の軸である中心軸を中心として対称となるように設定し、前記対称性評価領域の大きさを変化させながら、前記対称性評価領域に含まれ、前記中心軸について対称となる位置に存在する画素群の画像特徴量の相関値に対して、前記画素群の前記中心軸からの距離に基づく重み付けを行った値を導出することで、前記第1方向の対称性の度合いを示す対称性評価値を取得する対称性評価部と、
    を備える物体検出装置。
  2. 前記対称性評価部は、前記対称性評価値が第1方向についての対称性が最大であることを示す値である場合の前記対称性評価領域の大きさに基づいて、前記第1方向に関する対称幅を決定する、
    請求項1に記載の物体検出装置。
  3. 前記対称性評価部は、
    前記特徴量抽出画像上の画素値が0または正の値をとり、前記画像特徴量が大きい程、大きな値をとるものとし、前記特徴量抽出画像上の画素値の取り得る最大値以上の所定の値をPmaxとし、
    前記特徴量抽出画像上の座標(i,j)の注目画素の画素値をPとし、前記注目画素から前記第1方向の一方向である第1探索方向にk画素(kは自然数)離れた画素の画素値をPi−kとし、前記注目画素から前記第1方向の前記第1探索方向と逆方向である第2検索方向にk画素離れた画素の画素値をPi+kとし、
    前記対称性評価領域の第1方向の幅を2w+1とし、
    所定の閾値をThとし、前記注目画素からの距離kについての重み付け関数をc(k)とするとき、
    前記対称性評価領域の第1方向の幅2w+1(wは自然数)を変化させながら、
    に基づいて、前記注目画素の前記対称性評価値を算出する、
  4. 前記対称性評価部は、前記SYM(i、j)の最大値maxSYMを取得するとともに、前記SYM(i、j)が最大値となるときの前記対称性評価領域の第1方向の幅2w+1に基づいて、前記対称幅を決定する、
    請求項3に記載の物体検出装置。
  5. 前記対称性評価部は、
    前記対称性評価領域に含まれ、前記中心軸について対称となる位置に存在する画素群の画像特徴量の相関値に対して、前記画素群の前記中心軸からの距離および前記画素群の画像特徴量に基づく重み付けを行った値を導出することで、前記第1方向の対称性の度合いを示す対称性評価値を取得することで、前記第1方向の対称性の度合いを示す対称性評価値を取得する、
    請求項1又は2に記載の物体検出装置。
  6. 前記対称性評価部は、
    前記特徴量抽出画像上の画素値が0または正の値をとり、前記画像特徴量が大きい程、大きな値をとるものとし、前記特徴量抽出画像上の画素値の取り得る最大値以上の所定の値をPmaxとし、
    前記特徴量抽出画像上の座標(i,j)の注目画素の画素値をPとし、前記注目画素から前記第1方向の一方向である第1探索方向にk画素(kは自然数)離れた画素の画素値をPi−kとし、前記注目画素から前記第1方向の前記第1探索方向と逆方向である第2検索方向にk画素離れた画素の画素値をPi+kとし、
    前記対称性評価領域の前記第1方向の幅を2w+1とし、
    所定の閾値をThとし、注目画素からの距離kについての重み付け関数をc(k)とするとき、
    前記対称性評価領域の前記第1方向の幅2w+1(wは自然数)を変化させながら、
    に基づいて、前記注目画素の前記対称性評価値を算出する、
    請求項5に記載の物体検出装置。
  7. 前記対称性評価部は、
    前記SYM(i、j)の最大値maxSYMを取得するとともに、前記SYM(i、j)が最大値となるときの前記対称性評価領域の前記第1方向の幅2w+1に基づいて、前記対称幅を決定する、
    請求項6に記載の物体検出装置。
  8. 前記対称性評価部は、
    前記特徴量抽出画像上の画素値が0または正の値をとり、前記画像特徴量が大きい程、大きな値をとるものとし、前記特徴量抽出画像上の画素値の取り得る最大値以上の所定の値をPmaxとし、
    前記特徴量抽出画像上の座標(i,j)の注目画素の画素値をPとし、前記注目画素から前記第1方向の一方向である第1探索方向にk画素(kは自然数)離れた画素の画素値をPi−kとし、前記注目画素から前記第1方向の前記第1探索方向と逆方向である第2検索方向にk画素離れた画素の画素値をPi+kとし、
    前記対称性評価領域の第1方向の幅を2w+1とし、
    前記対称性評価領域の前記第2方向の幅を2n+1とし、
    所定の閾値をThとし、前記注目画素からの距離kについての重み付け関数をc(k)とするとき、
    前記対称性評価領域の第1方向の幅2w+1(wは自然数)を変化させながら、
    または、
    に基づいて、前記注目画素の前記対称性評価値を算出する、
    請求項1または2に記載の物体検出装置。
  9. 前記対称性評価部は、
    前記SYM(i、j)の最大値maxSYMを取得するとともに、前記SYM(i、j)が最大値となるときの前記対称性評価領域の前記第1方向の幅2w+1に基づいて、前記対称幅を決定する、
    請求項8に記載の物体検出装置。
  10. 前記対称性評価部は、
    前記特徴量抽出画像上の画素値が0または正の値をとり、前記画像特徴量が大きい程、大きな値をとるものとし、前記特徴量抽出画像上の画素値の取り得る最大値以上の所定の値をPmaxとし、
    前記特徴量抽出画像上の座標(i,j)の注目画素の画素値をPとし、前記注目画素から前記第1方向の一方向である第1探索方向にk画素(kは自然数)離れた画素の画素値をPi−kとし、前記注目画素から前記第1方向の前記第1探索方向と逆方向である第2検索方向にk画素離れた画素の画素値をPi+kとし、
    前記対称性評価領域の第1方向の幅を2w+1とし、
    前記対称性評価領域の前記第2方向の幅を2n+1とし、
    所定の閾値をThとし、前記注目画素からの距離kについての重み付け関数をc(k)とするとき、
    前記対称性評価領域の第1方向の幅2w+1(wは自然数)を変化させながら、
    または、
    に基づいて、前記注目画素の前記対称性評価値を算出する、
    請求項1または2に記載の物体検出装置。
  11. 前記対称性評価部は、
    前記SYM(i、j)の最大値maxSYMを取得するとともに、前記SYM(i、j)が最大値となるときの前記対称性評価領域の前記第1方向の幅2w+1に基づいて、前記対称幅を決定する、
    請求項10に記載の物体検出装置。
  12. 前記重み付け関数c(k)は、kについての単調増加関数である、
    請求項3、4、6〜10のいずれかに記載の物体検出装置。
  13. 前記重み付け関数c(k)は、kについての単調減少関数である、
    請求項3、4、6〜10のいずれかに記載の物体検出装置。
  14. 前記対称性評価部は、
    前記画像の前記第1方向の画素数をH(Hは自然数)とすると、
    (1)前記注目画素の前記第1方向の位置を示す列iが(H/2)以下の場合、前記対称性評価領域の前記第1方向の幅の半分であるwを、1≦w≦(i−1)の範囲で変化させて、前記対称性評価値を算出し、
    (2)前記注目画素の前記第1方向の位置を示す列iが(H/2)より大きい場合、前記対称性評価領域の前記第1方向の幅の半分であるwを、1≦w≦(H−i)の範囲で変化させて、前記対称性評価値を算出する、
    請求項1から13のいずれかに記載の物体検出装置。
  15. 画像特徴量は、前記画像のエッジ強度である、
    請求項1から14のいずれかに記載の物体検出装置。
  16. 画像特徴量は、前記画像の特定の色成分の強度である、
    請求項1から14のいずれかに記載の物体検出装置。
  17. 画像を入力する画像入力ステップと、
    前記画像から所定の画像特徴量を抽出して特徴量抽出画像を生成する画像特徴量抽出ステップと、
    前記特徴量抽出画像に対して、処理対象である注目画素ごとに、前記画像上の第1方向についての対称性を評価するための領域である対称性評価領域を前記第1方向と直交する第2方向の所定の軸である中心軸を中心として対称となるように設定し、前記対称性評価領域の大きさを変化させながら、前記対称性評価領域に含まれ、前記中心軸について対称となる位置に存在する画素群の画像特徴量の相関値に対して、前記画素群の前記中心軸からの距離に基づく重み付けを行った値を導出することで、前記第1方向の対称性の度合いを示す対称性評価値を取得する対称性評価ステップと、
    を備える物体検出方法をコンピュータに実行させるためのプログラム。
JP2012102158A 2012-04-27 2012-04-27 物体検出装置およびプログラム Active JP5911063B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012102158A JP5911063B2 (ja) 2012-04-27 2012-04-27 物体検出装置およびプログラム
PCT/JP2013/056931 WO2013161417A1 (ja) 2012-04-27 2013-03-13 物体検出装置およびプログラム
EP13781445.5A EP2830019B1 (en) 2012-04-27 2013-03-13 Object detection device and program
US14/394,558 US9245184B2 (en) 2012-04-27 2013-03-13 Object detection apparatus and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012102158A JP5911063B2 (ja) 2012-04-27 2012-04-27 物体検出装置およびプログラム

Publications (3)

Publication Number Publication Date
JP2013232023A true JP2013232023A (ja) 2013-11-14
JP2013232023A5 JP2013232023A5 (ja) 2015-06-18
JP5911063B2 JP5911063B2 (ja) 2016-04-27

Family

ID=49482757

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012102158A Active JP5911063B2 (ja) 2012-04-27 2012-04-27 物体検出装置およびプログラム

Country Status (4)

Country Link
US (1) US9245184B2 (ja)
EP (1) EP2830019B1 (ja)
JP (1) JP5911063B2 (ja)
WO (1) WO2013161417A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9064332B2 (en) * 2012-01-12 2015-06-23 Siemens Medical Solutions Usa, Inc. Fused-image visualization for surgery evaluation
EP3869392A1 (en) * 2020-02-20 2021-08-25 Toyota Jidosha Kabushiki Kaisha Object pose estimation from an rgb image by a neural network outputting a parameter map
CN111968145B (zh) * 2020-10-23 2021-01-15 腾讯科技(深圳)有限公司 箱式结构识别方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10162118A (ja) * 1996-11-29 1998-06-19 Canon Inc 画像処理装置及び方法
JP2000039306A (ja) * 1998-07-22 2000-02-08 Nec Corp 車両領域検出装置及び車両領域検定方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US7243945B2 (en) * 1992-05-05 2007-07-17 Automotive Technologies International, Inc. Weight measuring systems and methods for vehicles
EP0356727A3 (en) 1988-08-09 1991-06-05 Schlumberger Technologies Inc Symmetrie-based target position measurement
DE60226505D1 (de) 2002-01-18 2008-06-19 Star Agency For Science Techol Verfahren und vorrichtung zur bestimmung von symmetrie in 2d- und 3d-bildern
CN101029824B (zh) 2006-02-28 2011-10-26 东软集团股份有限公司 基于车辆特征的车辆定位方法和装置
EP1996959A4 (en) 2006-03-03 2012-02-29 Medic Vision Brain Technologies Ltd SYSTEM AND METHOD FOR PRIORITIZE PRIORITIZATION AND AUTOMATIC ANALYSIS OF MEDICAL IMAGES
US8204278B2 (en) 2006-11-28 2012-06-19 Fujitsu Limited Image recognition method
WO2008065717A1 (fr) 2006-11-29 2008-06-05 Fujitsu Limited Système et procédé de détection de piéton
JP4917961B2 (ja) 2007-05-22 2012-04-18 株式会社日本自動車部品総合研究所 車載用車両灯検出装置および車両用照明装置
US8805110B2 (en) * 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
JP2010177780A (ja) 2009-01-27 2010-08-12 Toyota Motor Corp 撮像装置
JP2010267257A (ja) 2009-04-16 2010-11-25 Panasonic Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP5316337B2 (ja) 2009-09-17 2013-10-16 日本電気株式会社 画像認識システム、方法、及び、プログラム
JP5168601B2 (ja) * 2010-03-31 2013-03-21 アイシン・エィ・ダブリュ株式会社 自車位置認識システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10162118A (ja) * 1996-11-29 1998-06-19 Canon Inc 画像処理装置及び方法
JP2000039306A (ja) * 1998-07-22 2000-02-08 Nec Corp 車両領域検出装置及び車両領域検定方法

Also Published As

Publication number Publication date
JP5911063B2 (ja) 2016-04-27
EP2830019B1 (en) 2018-07-18
WO2013161417A1 (ja) 2013-10-31
EP2830019A1 (en) 2015-01-28
US20150055825A1 (en) 2015-02-26
US9245184B2 (en) 2016-01-26
EP2830019A4 (en) 2015-05-06

Similar Documents

Publication Publication Date Title
JP6088792B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
JP4264553B2 (ja) 画像処理装置、撮像装置、画像出力装置、これらの装置における方法およびプログラム
JP5779089B2 (ja) エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法
US20090202124A1 (en) Image processing apparatus, image processing method, and computer program product
JP6008367B2 (ja) 物体検出装置およびプログラム
US8565491B2 (en) Image processing apparatus, image processing method, program, and imaging apparatus
JP5911062B2 (ja) 物体検出装置およびプログラム
US20220414827A1 (en) Training apparatus, training method, and medium
JP6340228B2 (ja) 物体検出装置
JP5911063B2 (ja) 物体検出装置およびプログラム
CN109325909B (zh) 一种图像放大方法和图像放大装置
JP2011146826A (ja) 画像処理装置および方法、並びにプログラム
US11164286B2 (en) Image processing apparatus, image processing method, and storage medium
JP2013115738A (ja) 車両周辺撮影装置および車両周辺画像の処理方法
JP6140478B2 (ja) 物体検出装置、プログラムおよび集積回路
JP5891751B2 (ja) 画像間差分装置および画像間差分方法
JP5446641B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2011155365A (ja) 画像処理装置および画像処理方法
JP2016062447A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2020126523A (ja) 画像切出装置、画像解析装置及びプログラム
JP5605492B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2019079394A (ja) 画像処理方法及び前景領域取得方法
JP2015001967A (ja) エッジ検出装置およびエッジ検出方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150417

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160323

R150 Certificate of patent or registration of utility model

Ref document number: 5911063

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250