JP2013228995A - 物体検出装置およびプログラム - Google Patents

物体検出装置およびプログラム Download PDF

Info

Publication number
JP2013228995A
JP2013228995A JP2012229095A JP2012229095A JP2013228995A JP 2013228995 A JP2013228995 A JP 2013228995A JP 2012229095 A JP2012229095 A JP 2012229095A JP 2012229095 A JP2012229095 A JP 2012229095A JP 2013228995 A JP2013228995 A JP 2013228995A
Authority
JP
Japan
Prior art keywords
symmetry
pixel
image
value
width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012229095A
Other languages
English (en)
Other versions
JP6008367B2 (ja
JP2013228995A5 (ja
Inventor
Hiroshi Hasegawa
弘 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips Corp
Original Assignee
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips Corp filed Critical MegaChips Corp
Priority to JP2012229095A priority Critical patent/JP6008367B2/ja
Priority to PCT/JP2013/056587 priority patent/WO2013146206A1/ja
Priority to CN201380014828.6A priority patent/CN104205170B/zh
Priority to EP13768099.7A priority patent/EP2819094B1/en
Priority to US14/382,654 priority patent/US9514545B2/en
Publication of JP2013228995A publication Critical patent/JP2013228995A/ja
Publication of JP2013228995A5 publication Critical patent/JP2013228995A5/ja
Application granted granted Critical
Publication of JP6008367B2 publication Critical patent/JP6008367B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/68Analysis of geometric attributes of symmetry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)

Abstract

【課題】少ない演算量で物体の重要な情報を検出することを課題とする。
【解決手段】物体検出部22Aは、カラー画像からエッジ画像を生成する。物体検出部22Aは、エッジ画像に含まれる画像の対称性を、注目画素の画素位置を考慮して、評価する。物体検出部22Aは、対称性を有する物体の対称中心画素を特定する。物体検出部22は、対称中心画素ごとに物体幅を検出する。物体検出部22Aは、対称中心画素の垂直方向の幅から物体の垂直方向の幅を特定し、対称中心画素ごとに特定された物体幅から物体の水平方向の幅を特定する。
【選択図】図7

Description

本発明は、画像に含まれる対称性のある物体の検出装置および検出方法に関する。
物体の対称性を利用した画像処理技術が存在する。下記特許文献1では、注目画素の左右の相関を計算することにより、注目画素の左右の画像領域の相関を評価する。そして、相関の最も高くなる注目画素を対称性のある物体の中央位置として検出している。
特開2010−267257号公報
物体の検出技術は様々な分野で利用され、その用途が広い。物体の検出情報を利用するアプリケーションにとって、物体の位置のみならず、物体の大きさも重要な情報となる。
しかしながら、画像中に含まれる物体の位置と大きさの両方の情報を、処理負荷を大きくすることなく、精度良く取得することは困難であった。
そこで、本発明は上記課題に鑑み、少ない演算量で物体の重要な情報(例えば、物体の位置と大きさについての情報)を検出する技術を提供することを目的とする。
上記課題を解決するため、第1の発明である物体検出装置は、画像を入力する画像入力部と、前記画像から所定の画像特徴量を抽出して特徴量抽出画像を生成する画像特徴量抽出部と、前記特徴量抽出画像に対して、処理対象である注目画素ごとに、前記注目画素の周辺画素の画像特徴量に基づいて、前記注目画素の周辺の画像領域の第1方向に関する対称性を評価するとともに、前記第1方向に関する対称幅を算出する対称性評価部と、前記注目画素について評価した対称性が所定の基準を上回る場合、当該注目画素を対称中心画素として検出する中心検出部と、前記対称中心画素の前記対称幅に基づいて前記画像に含まれる対称性を有する物体の前記第1方向に関する物体幅を検出し、前記対称中心画素の前記第1方向と直交する第2方向に関する分布に基づいて前記物体の前記第2方向に関する物体幅を検出する物体領域検出部と、を備える。
この物体検出装置では、対称性評価部により、注目画素ごとに、注目画素の周辺の画像領域(この画像領域に注目画素が含まれてもよい。)の第1方向に関する対称性を評価するとともに、前記第1方向に関する対称幅が算出され、中心検出部により、対称中心画素が検出される。そして、この物体検出装置では、物体領域検出部により、対称中心画素の対称幅に基づいて画像に含まれる対称性を有する物体の第1方向に関する物体幅が検出され、対称中心画素の第1方向と直交する第2方向に関する分布に基づいて物体の第2方向に関する物体幅が検出される。つまり、この物体検出装置では、入力画像上の物体の対称性を利用し、物体の位置と大きさを検出することで、少ない演算量で物体に関する重要な情報(例えば、物体の位置と大きさについての情報)を検出することができる。
第2の発明は、第1の発明において、前記中心検出部は、前記第1方向に関する対称性の変化に極大を与える点を前記対称中心画素として検出する。
これにより、この物体検出装置では、第1方向において対称性が高い画像領域の中心付近に位置する点を対称中心画素として検出することができる。したがって、この物体検出装置では、より高精度に対称中心画素を検出することができる。そして、この物体検出装置では、検出された対称中心画素を用いて第1方向の物体幅および第2方向の物体幅を検出することで、より高精度に、物体に関する重要な情報(例えば、物体の位置と大きさについての情報)を検出することができる。
第3の発明は、第1または第2に発明であって、前記対称性評価部は、各注目画素の周辺の画素の画像特徴量の近似性に基づき対称性を評価する。
この物体検出装置では、注目画素ごとに、当該注目画素の周辺の画素の画像特徴量の近似性に基づき対称性が評価されるので、注目画素の周辺画素の画像特徴量を考慮して画像上の物体の対称性を評価することができる。そして、この物体検出装置では、評価した対称性に基づいて、第1方向の物体幅および第2方向の物体幅を検出することで、より高精度に、物体に関する重要な情報(例えば、物体の位置と大きさについての情報)を検出することができる。
第4の発明は、第1ないし第3のいずれかの発明であって、前記対称性評価部は、各注目画素について、対称性が最も高くなる幅を、前記対称幅として検出する。
この物体検出装置では、注目画素ごとに、当該注目画素の周辺の画像領域における対称性が最も高くなる幅が、対称幅として検出される。そして、この物体検出装置では、検出した対称幅に基づいて、第1方向の物体幅および第2方向の物体幅を検出することで、より高精度に、物体に関する重要な情報(例えば、物体の位置と大きさについての情報)を検出することができる。
第5の発明は、第1ないし第4のいずれかの発明であって、前記物体領域検出部は、前記対称中心画素の前記対称幅の最大値あるいは平均値を前記第1方向に関する物体幅として検出する。
この物体検出装置では、対称中心画素の前記対称幅の最大値あるいは平均値により、第1方向の物体幅を検出するので、適切に画像上の物体の第1方向の幅(物体幅)を検出することができる。
第6の発明は、第1ないし第4のいずれかの発明であって、前記物体領域検出部は、前記対称中心画素の各対称幅を前記第1方向に関する物体幅として検出する。
この物体検出装置では、対称中心画素の各対称幅を、第1方向の物体幅として検出するので、対称性を有する画像上の物体がどのような形状であっても、適切かつ高精度に、物体幅を検出することができる。
第7の発明は、第1ないし第6のいずれかの発明であって、前記物体領域検出部は、前記第2方向に関して連続して配置された前記対称中心画素の一端および他端を、前記第2方向に関する物体幅の一端および他端として検出する。
この物体検出装置では、第2方向に関して連続して配置された対称中心画素の一端および他端を、第2方向に関する物体幅の一端および他端として検出するので、適切に、画像上の物体の第2方向の物体幅を検出することができる。
第8の発明は、第1ないし第7のいずれかの発明であって、前記対称性評価部は、画素の特徴量として画素のエッジ強度を用いる。
第9の発明は、第1ないし第7のいずれかの発明であって、前記対称性評価部は、画素の特徴量として画素の所定の色成分の強度を用いる。
第8の発明は、第1ないし第7のいずれかの発明であって、前記対称性評価部は、前記第1方向を水平方向とする対称性および前記第1方向を垂直方向とする対称性を評価することにより、水平方向にのみ対称性を有する画素を特定し、前記中心検出部は、前記注目画素について評価した対称性が所定の基準を上回り、かつ、水平方向にのみ対称性を有すると判定された注目画素を対称中心画素として検出する。
これにより、この物体検出装置では、水平方向にのみ対称性を有する画像上の物体を、適切かつ高精度に、検出することができる。
第9の発明は、第1ないし第8のいずれかの発明であって、前記対称性を有する物体として前記画像に含まれる車両を検出する。
第10の発明は、第1の発明であって、対称性評価部は、入力された画像から所定の画像特徴量を抽出して生成された特徴量抽出画像に対して、処理対象である注目画素ごとに、画像上の第1方向についての対称性を評価するための領域である対称性評価領域を、第1方向と直交する第2方向の中心軸を中心として対称となるように設定し、対称性評価領域の大きさを変化させながら、対称性評価領域に含まれ、中心軸について対称となる位置に存在する画素群の画像特徴量の相関値に対して、画素群の画像特徴量による重み付けを行った値を導出することで、第1方向の対称性の度合いを示す対称性評価値を取得する。
これにより、この物体検出装置では、中心軸について対称となる位置に存在する画素群の画像特徴量の相関値に対して、画素群の画像特徴量による重み付けを行った値に基づいて、対称性評価値を取得するので、第1方向の対称性の評価を高い精度で行うことができる。
したがって、この物体検出装置により取得された対称性評価値を用いることで、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
なお、「対称性評価領域」の第2方向(第1方向と直交する方向)の幅は、1画素分の幅であってもよいし、また、複数画素分の幅であってもよい。
また、「中心軸について対称となる位置に存在する画素群」とは、画像上において、
(1)中心軸から、互いに逆方向に、等距離離れた2つ画素(例えば、第1方向を水平方向とすると、中心軸から水平方向左に距離kだけ離れた画素P1および中心軸から水平方向右に距離kだけ離れた画素P2の合計2つの画素)や、
(2)中心軸から、互いに逆方向に、等距離離れた複数の画素(例えば、第1方向を水平方向とすると、中心軸から水平方向左に距離kだけ離れたn個の画素群および中心軸から水平方向右に距離kだけ離れたn個の画素群)を含む概念である。
また、「画像特徴量の相関値」とは、画像特徴量の相関の程度を示す値であり、例えば、特徴量抽出画像上の2つの画素の画素値の相関が高い場合(例えば、当該2つの画素値の差が小さい場合や当該2つの画素値の比が「1」に近い場合)に、相関が高いことを示す値をとるものである。
第11の発明は、第10の発明であって、対称性評価部は、対称性評価値が第1方向についての対称性が最大であることを示す値である場合の対称性評価領域の大きさに基づいて、第1方向に関する対称幅を決定する。
この物体検出装置では、入力画像の画像特徴量を抽出した画像に対して、第1方向についての対称性を評価するために、対称性評価領域の大きさ(例えば、第1方向の幅)を変化させながら対称性の評価を行う。したがって、この物体検出装置では、所定の画像領域の対称性が高いと判定した場合、対称性が高いと判定した画像領域の大きさ(例えば、第1方向の幅)も同時に取得することができる。つまり、この物体検出装置では、画像に含まれる物体の対称性を利用して、物体の位置と大きさを同時に抽出することが可能である。
したがって、この物体検出装置では、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
第12の発明は、第10または第11の発明であって、対称性評価部は、特徴量抽出画像上の画素値が0または正の値をとり、画像特徴量が大きい程、大きな値をとるものとし、特徴量抽出画像上の画素値の取り得る最大値以上の所定の値をPmaxとし、特徴量抽出画像上の座標(i,j)の注目画素の画素値をPiとし、注目画素から第1方向の一方向である第1探索方向(例えば、第1方向を水平方向としたとき、第1探索方向は水平方向左方向である。)にk画素(kは自然数)離れた画素の画素値をPi−kとし、注目画素から第1方向の第1探索方向と逆方向である第2検索方向(例えば、第1方向を水平方向としたとき、第2探索方向は水平方向右方向である。)にk画素離れた画素の画素値をPi+kとし、対称性評価領域の第1方向の幅を2w+1とするとき、対称性評価領域の第1方向の幅2w+1(wは自然数)を変化させながら、下記(数式1)に基づいて、注目画素の対称性評価値を算出する。
これにより、この物体検出装置では、(数式1)により、中心軸について対称となる位置に存在する画素群の画像特徴量の相関値(Pmax−|Pi−k−Pi+k|)に対して、画素群の画像特徴量による重み付け(Pi−k×Pi+k)を行った値に基づいて、対称性評価値を取得するので、第1方向の対称性の評価を高い精度で行うことができる。
したがって、この物体検出装置により取得された対称性評価値を用いることで、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
なお、上記(数式1)に相当する処理において、SYM(i、j)が取り得る範囲を調整するために、ゲイン調整(係数調整)や、正規化処理や、所定の値でのクリップ処理等を行うようにしてもよい(上記(数式1)を修正した処理を行ってもよい)。
また、Pmaxの値は、特徴量抽出画像上の画素値の取り得る最大値であってもよいし、当該最大値以上の所定の値であってもよい。
第13の発明は、第10または第11の発明であって、対称性評価部は、特徴量抽出画像上の画素値が0または正の値をとり、画像特徴量が大きい程、大きな値をとるものとし、特徴量抽出画像上の画素値の取り得る最大値以上の所定の値をPmaxとし、特徴量抽出画像上の座標(i,j)の画素の画素値をPi,jとし、対称性評価領域の第1方向の幅を2w+1とし、対称性評価領域の第2方向の幅を2n+1とし、所定の重み付け関数をd(m)とするとき、対称性評価領域の第1方向の幅w(wは自然数)を変化させながら、下記(数式2)に基づいて、注目画素の対称性評価値を算出する。
または、
これにより、この物体検出装置では、(数式2)または(数式3)により、中心軸について対称となる位置に存在する画素群の画像特徴量の相関値(Pmax−|Pi−k−Pi+k|)に対して、画素群の画像特徴量による重み付け(Pi−k×Pi+k)を行った値を第2方向に積算して取得される平均値に基づいて、対称性評価値を取得するので、第1方向の対称性の評価を高い精度で行うことができる。
したがって、この物体検出装置により取得された対称性評価値を用いることで、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
なお、Pmaxの値は、特徴量抽出画像上の画素値の取り得る最大値であってもよいし、当該最大値以上の所定の値であってもよい。
第14の発明は、第13の発明であって、重み付け関数d(m)は、
(1)d(m)=1、
(2)d(m)=n+1−|m−j|、および
(3)d(m)=c1×exp(−c2×(m−j)^2)
(c1およびc2は、所定の正の係数)
のいずれか一つである。
これにより、この物体検出装置では、第2方向に積算する場合の重み付けを所望のものに設定することができる。例えば、(1)d(m)=1の場合、第2方向に積算する場合の重み付けは均等であり、(2)d(m)=n+1−|m−j|の場合、第2方向に積算する場合の重み付けは、対称性評価領域の第2方向における中央付近のときに、強くなされ(m=jのとき、最も強く重み付けされる。)、(3)d(m)=c1×exp(−c2×(m−j)^2)の場合、第2方向に積算する場合の重み付けは、対称性評価領域の第2方向における中央付近のときに、強くなされる(m=jのとき、最も強く重み付けされる。)。
第15の発明は、第12から第14のいずれかの発明であって、対称性評価部は、SYM(i、j)の最大値maxSYMを取得するとともに、SYM(i、j)が最大値となるときの対称性評価領域の第1方向の幅2w+1に基づいて、対称幅を決定する。
これにより、この物体検出装置では、所定の画像領域の対称性が高いと判定した場合、対称性が高いと判定した画像領域の大きさ(例えば、第1方向の幅)も同時に取得することができる。つまり、この物体検出装置では、画像に含まれる物体の対称性を利用して、物体の位置と大きさを同時に抽出することが可能である。
したがって、この物体検出装置では、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
第16の発明は、第10から第15のいずれかの発明であって、対称性評価部は、画像の第1方向の画素数をH(Hは自然数)とすると、
(1)注目画素の第1方向の位置を示す列iが(H/2)以下の場合、対称性評価領域の第1方向の幅の半分であるwを、1≦w≦(i−1)の範囲で変化させて、対称性評価値を算出し、
(2)注目画素の第1方向の位置を示す列iが(H/2)より大きい場合、対称性評価領域の第1方向の幅の半分であるwを、1≦w≦(H−i)の範囲で変化させて、対称性評価値を算出する。
これにより、この物体検出装置では、対称性評価領域が、注目画素を中心にした左右対称な領域であることが保証されるとともに、注目画素を中心にした左右対称な領域のうち最大の領域を用いて対称性評価値を算出することができる。
第17の発明は、第1の発明であって、対称性評価部は、特徴量抽出画像に対して、処理対象である注目画素ごとに、画像上の第1方向についての対称性を評価するための領域である対称性評価領域を第1方向と直交する第2方向の所定の軸である中心軸を中心として対称となるように設定し、対称性評価領域の大きさを変化させながら、対称性評価領域に含まれ、中心軸について対称となる位置に存在する画素群の画像特徴量の相関値に対して、画素群の中心軸からの距離に基づく重み付けを行った値を導出することで、第1方向の対称性の度合いを示す対称性評価値を取得する。
これにより、この物体検出装置では、中心軸について対称となる位置に存在する画素群の画像特徴量の相関値に対して、画素群の中心軸からの距離に基づく重み付けを行った値に基づいて、対称性評価値を取得するので、第1方向の対称性の評価を高い精度で行うことができる。
したがって、この物体検出装置により取得された対称性評価値を用いることで、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
なお、「対称性評価領域」の第2方向(第1方向と直交する方向)の幅は、1画素分の幅であってもよいし、また、複数画素分の幅であってもよい。
また、「中心軸について対称となる位置に存在する画素群」とは、画像上において、
(1)中心軸から、互いに逆方向に、等距離離れた2つ画素(例えば、第1方向を水平方向とすると、中心軸から水平方向左に距離kだけ離れた画素P1および中心軸から水平方向右に距離kだけ離れた画素P2の合計2つの画素)や、
(2)中心軸から、互いに逆方向に、等距離離れた複数の画素(例えば、第1方向を水平方向とすると、中心軸から水平方向左に距離kだけ離れたn個の画素群および中心軸から水平方向右に距離kだけ離れたn個の画素群)を含む概念である。
また、「画像特徴量の相関値」とは、画像特徴量の相関の程度を示す値であり、例えば、特徴量抽出画像上の2つの画素の画素値の相関が高い場合(例えば、当該2つの画素値の差が小さい場合や当該2つの画素値の比が「1」に近い場合)に、相関が高いことを示す値をとるものである。
第18の発明は、第17の発明であって、対称性評価部は、対称性評価値が第1方向についての対称性が最大であることを示す値である場合の対称性評価領域の大きさに基づいて、第1方向に関する対称幅を決定する。
この物体検出装置では、入力画像の画像特徴量を抽出した画像に対して、第1方向についての対称性を評価するために、対称性評価領域の大きさ(例えば、第1方向の幅)を変化させながら対称性の評価を行う。したがって、この物体検出装置では、所定の画像領域の対称性が高いと判定した場合、対称性が高いと判定した画像領域の大きさ(例えば、第1方向の幅)も同時に取得することができる。つまり、この物体検出装置では、画像に含まれる物体の対称性を利用して、物体の位置と大きさを同時に抽出することが可能である。
したがって、この物体検出装置では、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
第19の発明は、第17の発明であって、対称性評価部は、特徴量抽出画像上の画素値が0または正の値をとり、画像特徴量が大きい程、大きな値をとるものとし、特徴量抽出画像上の画素値の取り得る最大値以上の所定の値をPmaxとし、特徴量抽出画像上の座標(i,j)の注目画素の画素値をPiとし、注目画素から第1方向の一方向である第1探索方向(例えば、第1方向を水平方向としたとき、第1探索方向は水平方向左方向である。)にk画素(kは自然数)離れた画素の画素値をPi−kとし、注目画素から第1方向の第1探索方向と逆方向である第2検索方向(例えば、第1方向を水平方向としたとき、第2探索方向は水平方向右方向である。)にk画素離れた画素の画素値をPi+kとし、対称性評価領域の第1方向の幅を2w+1とし、所定の閾値をThとし、注目画素からの距離kについての重み付け関数をc(k)とするとき、対称性評価領域の第1方向の幅2w+1(wは自然数)を変化させながら、下記(数式4)に基づいて、注目画素の対称性評価値を算出する。
これにより、この物体検出装置では、(数式4)により、中心軸について対称となる位置に存在する画素群の画像特徴量の相関値(Pmax−fi(k))に対して、画素群の中心軸からの距離に基づく重み付け(c(k)による重み付け)を行った値に基づいて、対称性評価値を取得するので、第1方向の対称性の評価を高い精度で行うことができる。
したがって、この物体検出装置により取得された対称性評価値を用いることで、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
なお、上記(数式4)に相当する処理において、SYM(i、j)が取り得る範囲を調整するために、ゲイン調整(係数調整)や、正規化処理や、所定の値でのクリップ処理等を行うようにしてもよい(上記(数式4)を修正した処理を行ってもよい)。
また、Pmaxの値は、特徴量抽出画像上の画素値の取り得る最大値であってもよいし、当該最大値以上の所定の値であってもよい。
第20の発明は、第19の発明であって、対称性評価部は、SYM(i、j)の最大値maxSYMを取得するとともに、SYM(i、j)が最大値となるときの対称性評価領域の第1方向の幅2w+1に基づいて、対称幅を決定する。
これにより、この物体検出装置では、所定の画像領域の対称性が高いと判定した場合、対称性が高いと判定した画像領域の大きさ(例えば、第1方向の幅)も同時に取得することができる。つまり、この物体検出装置では、画像に含まれる物体の対称性を利用して、物体の位置と大きさを同時に抽出することが可能である。
したがって、この物体検出装置では、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
第21の発明は、第17または第18の発明であって、対称性評価部は、対称性評価領域に含まれ、中心軸について対称となる位置に存在する画素群の画像特徴量の相関値に対して、画素群の中心軸からの距離および画素群の画像特徴量に基づく重み付けを行った値を導出することで、第1方向の対称性の度合いを示す対称性評価値を取得することで、第1方向の対称性の度合いを示す対称性評価値を取得する。
これにより、この物体検出装置では、対称性評価領域に含まれる画素の画像特徴量および画像上の位置の両方に基づいて、第1方向の対称性の度合いを示す対称性評価値を取得することができる。
第22の発明は、第21の発明であって、対称性評価部は、特徴量抽出画像上の画素値が0または正の値をとり、画像特徴量が大きい程、大きな値をとるものとし、特徴量抽出画像上の画素値の取り得る最大値以上の所定の値をPmaxとし、特徴量抽出画像上の座標(i,j)の注目画素の画素値をPとし、注目画素から第1方向の一方向である第1探索方向にk画素(kは自然数)離れた画素の画素値をPi−kとし、注目画素から第1方向の第1探索方向と逆方向である第2検索方向にk画素離れた画素の画素値をPi+kとし、対称性評価領域の第1方向の幅を2w+1とし、所定の閾値をThとし、注目画素からの距離kについての重み付け関数をc(k)とするとき、対称性評価領域の第1方向の幅2w+1(wは自然数)を変化させながら、下記(数式5)に基づいて、注目画素の対称性評価値を算出する。
これにより、この物体検出装置では、(数式5)により、中心軸について対称となる位置に存在する画素群の画像特徴量の相関値(Pmax−|Pi−k−Pi+k|)に対して、画素群の画像特徴量(Pi−k×Pi+k)、および、画素群の中心軸からの距離(c(k))による重み付けを行った値に基づいて、対称性評価値を取得するので、第1方向の対称性の評価を高い精度で行うことができる。
したがって、この物体検出装置により取得された対称性評価値を用いることで、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
なお、Pmaxの値は、特徴量抽出画像上の画素値の取り得る最大値であってもよいし、当該最大値以上の所定の値であってもよい。
第23の発明は、第22の発明であって、対称性評価部は、SYM(i、j)の最大値maxSYMを取得するとともに、SYM(i、j)が最大値となるときの対称性評価領域の第1方向の幅2w+1に基づいて、対称幅を決定する。
これにより、この物体検出装置では、所定の画像領域の対称性が高いと判定した場合、対称性が高いと判定した画像領域の大きさ(例えば、第1方向の幅)も同時に取得することができる。つまり、この物体検出装置では、画像に含まれる物体の対称性を利用して、物体の位置と大きさを同時に抽出することが可能である。
したがって、この物体検出装置では、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
第24の発明は、第17または第18の発明であって、対称性評価部は、特徴量抽出画像上の画素値が0または正の値をとり、画像特徴量が大きい程、大きな値をとるものとし、特徴量抽出画像上の画素値の取り得る最大値以上の所定の値をPmaxとし、特徴量抽出画像上の座標(i,j)の注目画素の画素値をPとし、注目画素から第1方向の一方向である第1探索方向にk画素(kは自然数)離れた画素の画素値をPi−kとし、注目画素から第1方向の第1探索方向と逆方向である第2検索方向にk画素離れた画素の画素値をPi+kとし、対称性評価領域の第1方向の幅を2w+1とし、対称性評価領域の第2方向の幅を2n+1とし、所定の閾値をThとし、注目画素からの距離kについての重み付け関数をc(k)とするとき、対称性評価領域の第1方向の幅2w+1(wは自然数)を変化させながら、下記(数式6)または(数式7)に基づいて、注目画素の対称性評価値を算出する。
なお、Pmaxの値は、特徴量抽出画像上の画素値の取り得る最大値であってもよいし、当該最大値以上の所定の値であってもよい。
第25の発明は、第24の発明であって、対称性評価部は、SYM(i、j)の最大値maxSYMを取得するとともに、SYM(i、j)が最大値となるときの対称性評価領域の第1方向の幅2w+1に基づいて、対称幅を決定する。
これにより、この物体検出装置では、所定の画像領域の対称性が高いと判定した場合、対称性が高いと判定した画像領域の大きさ(例えば、第1方向の幅)も同時に取得することができる。つまり、この物体検出装置では、画像に含まれる物体の対称性を利用して、物体の位置と大きさを同時に抽出することが可能である。
したがって、この物体検出装置では、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
第26の発明は、第17または第18の発明であって、対称性評価部は、特徴量抽出画像上の画素値が0または正の値をとり、画像特徴量が大きい程、大きな値をとるものとし、特徴量抽出画像上の画素値の取り得る最大値以上の所定の値をPmaxとし、特徴量抽出画像上の座標(i,j)の注目画素の画素値をPとし、注目画素から第1方向の一方向である第1探索方向にk画素(kは自然数)離れた画素の画素値をPi−kとし、注目画素から第1方向の第1探索方向と逆方向である第2検索方向にk画素離れた画素の画素値をPi+kとし、対称性評価領域の第1方向の幅を2w+1とし、対称性評価領域の第2方向の幅を2n+1とし、所定の閾値をThとし、注目画素からの距離kについての重み付け関数をc(k)とするとき、対称性評価領域の第1方向の幅2w+1(wは自然数)を変化させながら、下記(数式8)または(数式9)に基づいて、注目画素の対称性評価値を算出する。
なお、Pmaxの値は、特徴量抽出画像上の画素値の取り得る最大値であってもよいし、当該最大値以上の所定の値であってもよい。
第27の発明は、第26の発明であって、対称性評価部は、SYM(i、j)の最大値maxSYMを取得するとともに、SYM(i、j)が最大値となるときの対称性評価領域の第1方向の幅2w+1に基づいて、対称幅を決定する。
これにより、この物体検出装置では、所定の画像領域の対称性が高いと判定した場合、対称性が高いと判定した画像領域の大きさ(例えば、第1方向の幅)も同時に取得することができる。つまり、この物体検出装置では、画像に含まれる物体の対称性を利用して、物体の位置と大きさを同時に抽出することが可能である。
したがって、この物体検出装置では、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
第28の発明は、第19、第20、第22から第26のいずれかの発明であって、重み付け関数c(k)は、kについての単調増加関数である。
これにより、この物体検出装置では、注目画素からの距離が大きい程、大きな重み付けを行い、対称性評価値を算出する。したがって、この物体検出装置では、対称軸から離れた位置に存在する対称性の高い領域(物体)を精度良く、検出することができる。
なお、「単調増加関数」とは、厳密な単調増加関数に限定されず、例えば、一部単調でない区間kについて一定となるがあってもよく(例えば、一部に不変区間(一定値をとる区間)があってよい)、大局的にみたときに増加する関数(例えば、平滑化処理(LPF処理等)を行ったときに単調増加関数になる関数)を含む概念である。
第29の発明は、第19、第20、第22から第26のいずれかの発明であって、重み付け関数をc(k)は、kについての単調減少関数である。
これにより、この物体検出装置では、注目画素からの距離が小さい程、大きな重み付けを行い、対称性評価値を算出する。したがって、この物体検出装置では、対称軸近傍に存在する対称性の高い領域(物体)を精度良く、検出することができる。
なお、「単調減少関数」とは、厳密な単調減少関数に限定されず、例えば、一部単調でない区間kについて一定となるがあってもよく(例えば、一部に不変区間(一定値をとる区間)があってよい)、大局的にみたときに減少する関数(例えば、平滑化処理(LPF処理等)を行ったときに単調減少関数になる関数)を含む概念である。
第30の発明は、第17から第29までのいずれかの発明であって、対称性評価部は、画像の第1方向の画素数をH(Hは自然数)とすると、
(1)注目画素の第1方向の位置を示す列iが(H/2)以下の場合、対称性評価領域の第1方向の幅の半分であるwを、1≦w≦(i−1)の範囲で変化させて、対称性評価値を算出し、
(2)注目画素の第1方向の位置を示す列iが(H/2)より大きい場合、対称性評価領域の第1方向の幅の半分であるwを、1≦w≦(H−i)の範囲で変化させて、対称性評価値を算出する。
これにより、この物体検出装置では、対称性評価領域が、注目画素を中心にした左右対称な領域であることが保証されるとともに、注目画素を中心にした左右対称な領域のうち最大の領域を用いて対称性評価値を算出することができる。
第31の発明は、第1から第30の発明であって、画像特徴量は、画像のエッジ強度である。
この物体検出装置では、画像のエッジ成分を考慮して対称性の高い物体を検出することができるので、物体の輪郭(外枠)についての対称性の高い物体を、精度良く検出することができる。
第32の発明は、第1から第30の発明であって、画像特徴量は、画像の特定の色成分の強度である。
この物体検出装置では、画像の特定色成分(例えば、赤色成分)を考慮して対称性の高い物体を検出することができるので、特定の色について、対称性の高い物体を、精度良く検出することができる。
第33の発明は、画像入力ステップと、画像特徴量抽出ステップと、対称性評価ステップと、中心検出ステップと、物体領域検出ステップと、を備える物体検出方法をコンピュータに実行させるためのプログラムである。
画像入力ステップは、画像を入力する。
画像特徴量抽出ステップは、画像から所定の画像特徴量を抽出して特徴量抽出画像を生成する。
対称性評価ステップは、特徴量抽出画像に対して、処理対象である注目画素ごとに、画像上の第1方向に関する対称性を評価するとともに、第1方向に関する対称幅を算出する。
中心検出ステップは、複数の評価画素の中で対称性が所定の基準を上回る画素を対称中心画素として検出する。
物体領域検出ステップは、対称中心画素の対称幅に基づいて前記画像に含まれる対称性を有する物体の第1方向に関する物体幅を検出し、対称中心画素の第1方向と直交する第2方向に関する分布に基づいて物体の第2方向に関する物体幅を検出する。
これにより、第1の発明と同様の効果を奏する物体検出方法をコンピュータに実行させるためのプログラムを実現することができる。
第34の発明は、第33の発明であって、対称性評価ステップは、特徴量抽出画像に対して、処理対象である注目画素ごとに、画像上の第1方向についての対称性を評価するための領域である対称性評価領域を第1方向と直交する第2方向の中心軸を中心として対称となるように設定し、対称性評価領域の大きさを変化させながら、対称性評価領域に含まれ、中心軸について対称となる位置に存在する画素群の画像特徴量の相関値に対して、画素群の画像特徴量による重み付けを行った値を導出することで、第1方向の対称性の度合いを示す対称性評価値を取得する。
これにより、第10の発明と同様の効果を奏する物体検出方法をコンピュータに実行させるためのプログラムを実現することができる。
第35の発明は、第33の発明であって、対称性評価ステップは、特徴量抽出画像に対して、処理対象である注目画素ごとに、画像上の第1方向についての対称性を評価するための領域である対称性評価領域を第1方向と直交する第2方向の所定の軸である中心軸を中心として対称となるように設定し、対称性評価領域の大きさを変化させながら、対称性評価領域に含まれ、中心軸について対称となる位置に存在する画素群の画像特徴量の相関値に対して、画素群の中心軸からの距離に基づく重み付けを行った値を導出することで、第1方向の対称性の度合いを示す対称性評価値を取得する。
これにより、第17の発明と同様の効果を奏する物体検出方法をコンピュータに実行させるためのプログラムを実現することができる。
本発明によれば、入力画像上の物体の対称性を利用し、物体の位置と大きさを検出することで、少ない演算量で物体に関する重要な情報(例えば、物体の位置と大きさについての情報)を検出する技術を実現することができる。
対称性を有する車両を含む撮影画像100を示す図である。 第1実施形態に係る物体検出システム10のブロック図である。 対称性を有する物体を含むカラー画像100Aを示す図である。 カラー画像100Aから輝度成分を抽出して生成された輝度画像100Bを示す図である。 輝度画像100Bから生成されたエッジ画像100Cを示す図である。 対称性マップ100Dを示す図である。 対称幅マップ100Eを示す図である。 対称中心マップ100Fを示す図である。 領域枠130が合成された合成画像100Gを示す図である。 注目画素Pの左右に配置された画素を示す図である。 対称性マップ100Dの水平方向の変化を示す図である。 領域枠130が合成された合成画像100Gを示す図である。 第5実施形態に係る物体検出システム1000のブロック図。 第5実施形態に係る物体検出部22のブロック図。 第5実施形態に係る物体検出システム1000において実行される物体検出処理の各段階において取得される画像の一例を示す図。 対称性を有する物体を含む入力画像101を示す図。 入力画像101から輝度成分を抽出して生成された輝度画像102を示す図。 輝度画像102から生成されたエッジ画像103を示す図。 対称性評価マップ画像104を示す図。 対称幅マップ画像105を示す図。 対称中心マップ画像106を示す図。 領域枠130が合成された合成画像(出力画像)107を示す図。 注目画素Pの左右に配置された画素を示す図。 対称幅waを取得する方法を説明するための図。 対称性評価マップ画像104の水平方向の変化(一例)を示す図。 対称幅waを取得する方法を説明するための図。 第5実施形態の第1変形例における高対称性物体の検出領域を示す図。 重み付け関数c(k)の例を示す図。 第6実施形態に係る物体検出システムにおいて実行される物体検出処理の各段階において取得される画像の一例を示す図。 入力画像101からCr成分を抽出して生成されたCr成分画像202を示す図。 特徴量抽出画像(R成分画像(Cr成分強調画像))203を示す図。 対称性評価マップ画像204を示す図。 対称幅マップ画像205を示す図。 対称中心マップ画像206を示す図。 領域枠230が合成された合成画像(出力画像)207を示す図。 第6実施形態の第1変形例における、(a)入力画像301、(b)特徴量抽出画像(R成分(Cr成分)抽出画像)302、および(c)出力画像(合成画像)303を示す図。
[第1実施形態]
<1.1:物体検出システム>
以下、図面を参照しつつ本発明の第1実施形態について説明する。図1は、被写体として車両110を含む撮影画像100を示す図である。車両110は、左右のテールランプ111L・111Rを備えている。左右のテールランプ111L・111Rは、車両110の車幅方向に関する中心軸112に対して左右対称に配置されている。本実施の形態において、画像に含まれる左右対称性を利用して、車両110などの物体が検出可能となっている。
図2は、第1実施形態に係る物体検出システム10を示すブロック図である。物体検出システム10は、撮像装置1、物体検出装置2およびモニタ3を備えている。
撮像装置1は、たとえばCCDなどの撮像素子を備えている。撮像装置1により撮像された画像は、物体検出装置2に入力される。
たとえば、物体検出装置2は車両に搭載される。撮像装置1が車両の前部に装備される場合には、撮像装置1は、車両の前方の画像を撮像する。あるいは、撮像装置1は車両の後部に装備され、車両の後方の画像を撮像する。モニタ3は、運転席に装備される。たとえば、モニタ3は、ナビゲーションシステム用のモニタと兼用される。
図2に示すように、物体検出装置2は、画像入力部21、メモリ22および物体検出部23を備えている。
画像入力部21は、撮像装置1から出力された画像を入力する。たとえば、撮像装置1がRGBベイヤ配列の色フィルタを備えたCCDである場合、画像入力部21は、R信号、G信号あるいはB信号を含む画素信号列を入力する。画像入力部21は、入力した画像をメモリ22に格納する。
物体検出部23は、メモリ22に格納された画像に対して画像処理を実行し、画像に含まれる対称性を有する物体を検出する。物体検出部23は、特徴領域抽出部231、対称性評価部232、対称幅検出部233、中心検出部234、物体幅検出部235および合成部236を備えている。
特徴領域抽出部231、対称性評価部232、対称幅検出部233、中心検出部234、物体幅検出部235および合成部236は、ハードウェア回路により構成されている。しかし、これら各処理部の全部あるいは一部がソフトウェア処理により実現されていてもよい。つまり、これら各処理部が、ソフトウェアと、ソフトウェアを実行可能なCPUおよびメモリ等のハードウェアとで構成されていてもよい。
物体検出部23より出力された画像は、モニタ3に表示される。モニタ3に表示される画像には、物体の領域を示す領域枠が合成される。これにより、運転者は、物体を容易に認識することができる。
<1.2:物体検出処理>
次に、図2および図3A〜図3Gを参照しながら、物体検出処理の流れを説明する。図3Aは、撮像装置1において撮像されたカラー画像100Aを示す図である。カラー画像100Aには、車両110が含まれている。車両110は、車両後部にテールランプ111L・111Rが取り付けられている。
画像入力部21は、カラー画像100Aを入力し、メモリ22に格納する。たとえば、撮像装置1が15fpsで画像を撮像する場合であれば、メモリ22には15fpsのカラー画像100Aが格納される。カラー画像100Aは、たとえば、RGB色空間の画像である。
特徴領域抽出部231は、メモリ22からカラー画像100Aを取得し、カラー画像100Aから輝度画像100Bを生成する。
図3Bは、輝度画像100Bを示す図である。たとえば、カラー画像100AがRGB色空間の画像であれば、特徴領域抽出部231は、カラー画像100AをYCbCr変換し、YCbCr色空間の画像からY信号の画像を抽出し、輝度画像100Bを生成する。
あるいは、RGB色空間のG信号を利用して輝度画像100Bを生成してもよい。R・B成分を有する画素については補間処理によりG信号を生成すればよい。
続いて、特徴領域抽出部231は、輝度画像100Bに対してエッジ検出処理を実行し、エッジ画像100Cを生成する。
図3Cは、エッジ画像100Cを示す図である。特徴領域抽出部231は、輝度画像100Bに微分処理を施すことでエッジ画像100Cを生成する。
次に、対称性評価部232は、エッジ画像100Cの対称性を評価する。以下、対称性の評価方法について説明する。
対称性評価部232は、図4に示す注目画素Pに関して対称性を評価する。注目画素Pは、エッジ画像100Cに含まれる画素である。注目画素Pは、エッジ画像100Cにおける座標(i、j)の画素を示している。以下の説明において、画素Pという表記は、エッジ画像100Cにおける座標(x、j)の画素を示す。つまり、画素Pという表記は、水平方向にx列目で、垂直方向にj行目の画素を示している。また、数式においては、Pは、画素Pにおける画素値を示すものとする。本実施の形態においては、Pは0〜255の範囲の値をとる。
図4には、画素の注目画素Pの左側に位置するw個の画素(Pi−w〜Pi−1)、および、注目画素Pの右側に位置するw個の画素(Pi+1〜Pi+w)が描かれている。この2w+1個の画素(Pi−w〜Pi+w)の対称性を評価する演算式を(数式10)に示す。
(数式10)において、SYM(i、j)は、対称性の評価値を示す。(数式10)において、kは、1〜wまでの値をとる整数である。
画素Pi−kと画素Pi+kは、注目画素Pを中心として左右対称の位置にある画素である。画素Pi−kと画素Pi+kの画素値が等しいとき、その差分|Pi−k−Pi+k|は最小値0となる。このとき、(255−|Pi−k−Pi+k|)は、最大値255となる。つまり、(数式10)においては、対称性が高いほどSYM(i、j)は、大きな値をとる。注目画素Pの左側w個の画素値と右側w個の画素値が完全に等しいとき、SYM(i、j)は、最大値255をとる。
対称性評価部232は、注目画素Pに関して、wを変化させて、全てのwについてSYM(i、j)を算出する。そして、対称性評価部232は、(数式11)に示すように、注目画素PについてSYM(i、j)の最大値maxSYMを算出する。
(数式11)において、Nはwの最大値である。エッジ画像100Cの水平方向の画素数をHとすると、注目画素の水平方向の位置を示す列iが(H/2)以下の場合には、Nは(i−1)である。注目画素の水平方向の位置を示す列iが(H/2)より大きい場合には、Nは(H−i)である。
また、対称幅検出部233は、最大値maxSYMを与えるwを、対称幅waとして取得する。つまり、SYM(i、j)は、w=waのとき、最大値maxSYMをとる。対称幅waを用いて、maxSYMは、(数式12)のように表すことができる。
対称性評価部232は、対称性を評価する対象となる全ての評価画素について、(数式10)および(数式11)の演算を行い、図3Dに示す対称性マップ100Dを生成する。本実施の形態においては、評価画素としてエッジ画像100Cの全ての画素を利用している。つまり、エッジ画像100Cに含まれる全ての画素について、SYM(i、j)を算出するとともに、maxSYMを算出している。
しかし、演算量を減らすために、あるいは、処理速度を向上させるために、エッジ画像100Cに含まれる一部の画素を評価画素として利用してもよい。たとえば、評価画素として水平(あるいは垂直)方向の奇数ラインのみ、あるいは偶数ラインのみを利用してもよい。あるいは、3ライン間隔で評価画素を選択するなど、評価画素の数を少なくしてもよい。
対称性マップ100Dは、各評価画素について、その評価画素について算出されたmaxSYMの値を成分とするマップである。各評価画素について、その評価画素について算出されたmaxSYMの値を画素値とする画像と考えてもよい。図3Dは、対称性マップ100Dを画像として描画している。
本実施の形態においては、評価画素としてエッジ画像100Cの全ての画素が利用されているので、対称性マップ100Dは、エッジ画像100Cの全画素の画素値をmaxSYMに置き換えたグレースケールの画像である。
上述したように、本実施の形態においては、SYM(i、j)は、0〜255の値を取り得る。したがって、対称性マップ100Dの各成分は、それぞれ0〜255の値を取り得る。図3Dにおいて、白に近い色はSYM(i、j)の値が大きい(255に近い)ことを示している。つまり、図3Dにおいて、白っぽい領域は対称性が高く評価された領域であり、対称となる物体の中心付近を示している。一方、図3Dにおいて、黒っぽい領域は対称性が高くない領域である。
対称幅検出部233は、対称性を評価する対象となる全ての評価画素について、図3Eに示す対称幅マップ100Eを生成する。
対称幅マップ100Eは、各評価画素についてmaxSYMを与える対称幅waを成分とするマップである。各評価画素について、対称幅waを画素値とする画像と考えてもよい。図3Eは、対称幅マップ100Eを画像として描画している。本実施の形態においては、評価画素としてエッジ画像100Cの全ての画素が利用されているので、対称幅マップ100Eは、エッジ画像100Cの全画素を対称幅waに置き換えたグレースケールの画像である。
上述したように、本実施の形態においては、対称幅waは1からNまでの値を取り得る。したがって、対称幅マップ100Eの各成分は、それぞれ1〜Nの値を取り得る。Nの値は画素位置によって異なる。図3Eにおいて、色が白に近い領域は、対称幅waが大きい領域を示している。図3Eにおいて、色が黒に近い領域は、対称幅waが小さい領域を示している。
続いて中心検出部234は、対称性マップ100Dを参照し、対称中心マップ100Fを生成する。中心検出部234は、対称性マップ100Dの水平方向の各ラインについて、maxSYMの極大点を与える画素を対称中心画素として選択する。
図5は、対称性マップ100Dの水平方向の変化を示す図である。図5は、対称性マップ100Dの水平方向の1ラインについてmaxSYMの変化を表わす図である。この図では、水平方向位置を示す列(i座標)が、330、331、および332の3つの座標において、対称性マップ100Dが極大点となっている例を示す。中心検出部234は、水平方向の全てのラインについて極大点を与える座標を特定する。
図3Fは、中心検出部234に特定された対称中心画素をプロットした対称中心マップ100Fである。対称中心マップ100Fでは、対称中心画素に特定された座標に成分「1」を、対称中心画素に特定されなかった座標に成分「0」を与えた画像と見ることができる。図3Fにおいて、白色の部分が対称中心画素として特定された画素を示している。なお、極大点となる画素値を予め設定された閾値と比較し、閾値を上回る場合にのみ対称中心画素として特定するようにすればよい。これにより、細かな変動により生まれる極大点を排除することができる。
続いて物体幅検出部235は、エッジ画像100Cに含まれる対称性を有する物体の水平方向の幅および垂直方向の幅を検出する。
物体幅検出部235は、物体の水平方向の幅として、対称中心マップ100Fおよび対称幅マップ100Eを利用する。対称中心マップ100Fは、対称性を有する物体の中心軸を構成する画素に画素値「1」が与えられている。物体幅検出部235は、対称中心マップ100Fにおいて画素値「1」を有する画素を抽出し、その抽出された画素の対称幅を対称幅マップ100Eから取得する。本実施の形態においては、全ての対称中心画素について対称幅を取得する。同一の水平方向のラインに対称中心画素が複数存在する場合には、その平均値をその水平方向ラインに関する対称幅とする。そして、全ての水平方向のラインについて対称幅を取得し、その最大幅を、物体幅として検出する。同一の水平方向のラインに対称中心画素が複数存在する場合には、その最大値をその水平方向に関する対称幅としてもよい。
別の方法として、物体幅検出部235は、各水平方向のラインについて対称幅を決定した後、その平均値を物体幅としてもよい。対称幅の最大値あるいは平均値を物体の水平方向の幅とする場合、物体の幅を1つの値で示すことになる。これに対して、物体幅を水平方向のラインごとに決定してもよい。
物体幅検出部235は、物体の垂直方向の幅として、対称中心画素の垂直方向の幅を利用する。つまり、物体幅検出部235は、垂直方向に連続して配列された対称中心画素の上端を物体の上端として特定し、垂直方向に連続して配列された対称中心画素の下端を物体の下端として特定する。
合成部236は、物体幅検出部235において特定された物体の水平方向の幅と垂直方向の幅を示す矩形画像を生成し、カラー画像100Aに合成する。図3Gは、対称性を有する物体である車両110の領域を示す領域枠130がカラー画像100Aに合成された合成画像100Gを示している。なお、水平方向ラインごとに物体幅が決定された場合には、領域枠は矩形ではなく、物体の外形に沿うような形状となる。
このように、本実施の形態によれば、画像に含まれる物体の対称性を利用して、物体の位置と大きさを同時に抽出することが可能である。
[第2実施形態]
第1実施形態においては、特徴領域抽出部231は、物体の特徴量としてエッジ成分を利用した。そして、特徴量として抽出したエッジ成分に基づき、対称性の評価を行った。
第2実施形態においては、特徴領域抽出部231は、物体の特徴量として特定の色成分を利用する。たとえば、特徴領域抽出部231は、特徴量として赤色成分を抽出する。特徴領域抽出部231は、たとえば、メモリ22に格納されているRGB色空間の画像をYCbCr色空間の画像に変換する。特徴領域抽出部231は、YCbCr色空間の画像からCr成分を抽出し、Cr画像を生成する。特徴領域抽出部231は、Cr画像に対してさらに赤色成分の強調処理を行い、R成分画像を生成する。
この後の処理は第1実施形態と同様である。第1実施形態におけるエッジ画像をR成分画像に置き換えた上で、同様の処理を実行し、対称性のある物体を検出する。このように、本実施の形態においても、画像の特定の色成分を利用し、画像に含まれる物体の対称性を利用し、物体の位置と大きさを同時に検出することができる。
図6は、第2実施形態においてモニタ3に表示された合成画像100Gを示す図である。第1実施形態においては、エッジ成分により物体の対称性を評価したので、車両の全体が物体の大きさとして抽出されている。これに対して第2実施形態においては、テールランプの赤色を中心に物体の対称性が評価されたので、テールランプを含む領域が抽出されていることが分かる。
第1実施形態と第2実施形態の両方を組み合わせてもよい。エッジ画像に対して物体の垂直方向および水平方向の幅および位置を特定する。さらに、特定の色成分画像を利用して物体の垂直方向および水平方向の幅および位置を特定する。そして、それらの平均値をとることで物体の位置および大きさを特定することができる。あるいは、エッジ画像に基づいて求められた値と色成分に基づいて求められた値のいずれかに重みづけを行って物体の位置および大きさを特定してもよい。
[第3実施形態]
第1実施形態においては、水平方向に関して対称性を有する物体を検出した。同様に、垂直方向に関して対称性を有する物体を検出してもよい。つまり、第1実施形態における水平方向の処理と垂直方向の処理を逆にすることで垂直方向に関して対称性を有する物体を検出してもよい。
[第4実施形態]
第1実施形態においては、水平方向に関して対称性を有する物体を検出した。これに対して、水平方向および垂直方向の両方に関して対称性を有する物体を検出対象から除外し、水平方向にのみ対称性を有する物体を検出してもよい。
(数式10)に示した対称性の評価値を水平方向および垂直方向の両方について演算する。そして、算出された水平方向の評価値をSYMH(i、j)とし、垂直方向の評価値をSYMV(i、j)とする。
そして、(数式13)に示す演算を行い、水平方向と垂直方向の両方の対称性を加味した比較値SYMC(i、j)を算出する。
そして、第1実施形態におけるSYM(i、j)を、SYMC(i、j)に置き換えた上で、第1実施形態と同様の処理を実行し、物体の位置および大きさを検出する。
[第5実施形態]
第5実施形態について、図面を参照しながら、以下、説明する。
<5.1:物体検出システムの構成>
図7は、第5実施形態に係る物体検出システム1000を示すブロック図である。物体検出システム1000は、撮像装置1と、物体検出装置2Aと、表示装置3とを備えている。
撮像装置1は、被写体からの光を集光する光学系(不図示)と、当該光学系により集光された被写体光を光電変換により画像信号(電気信号)として取得する撮像素子(たとえばCCDイメージセンサやCMOSイメージセンサ)(不図示)とを備えている。撮像装置1は、撮像素子により撮像した画像(画像信号)を、物体検出装置2Aに出力する。
物体検出装置2Aは、撮像装置1から出力される画像信号を入力とし、入力された画像信号により形成される画像中に含まれる対称性を有する物体を検出し、検出した結果を示す画像(画像信号)を表示装置3に出力する。
たとえば、物体検出装置2Aは車両に搭載される。撮像装置1が車両の前部に装備される場合には、撮像装置1は、車両の前方の画像(シーン)を撮像する。あるいは、撮像装置1は車両の後部に装備され、車両の後方の画像(シーン)を撮像する。
表示装置(モニタ)3は、例えば、車両の運転席に装備される。表示装置3は、ナビゲーションシステム用のモニタと兼用してもよい。
図7に示すように、物体検出装置2Aは、画像入力部21Aと、物体検出部22Aと、合成部23Aとを備えている。
画像入力部21Aは、撮像装置1から出力される画像(画像信号)を入力する。たとえば、撮像装置1がRGBベイヤ配列の色フィルタを備えたCCDイメージセンサを用いる撮像装置である場合、画像入力部21Aには、例えば、R成分信号、G成分信号およびB成分信号を含む画素信号列が入力される。画像入力部21Aは、入力された画像信号を、必要に応じて、所定の形式に変換し、変換した画像信号(変換されない場合は、無変換の画像信号)を物体検出部22Aに出力する。また、画像入力部21Aは、入力された画像信号を、合成部23Aに出力する。
なお、「所定の形式への変換」とは、例えば、色空間の変換(例えば、RGB色空間からYCbCr色空間への変換)である。画像入力部21Aは、入力されたRGB色空間の画像信号(R成分信号、G成分信号およびB成分信号)を、必要に応じて、例えば、YCbCr色空間の信号(Y成分信号、Cb成分信号およびCr成分信号)に変換する。
なお、以下では、説明便宜のため、画像入力部21Aにおいて、入力されたRGB色空間の画像信号(R成分信号、G成分信号およびB成分信号)が、YCbCr色空間の信号(Y成分信号、Cb成分信号およびCr成分信号)に変換される場合を例に説明する。
物体検出部22Aは、画像入力部21Aから出力される画像(画像信号)を入力とし、入力された画像に対して所定の画像処理を実行し、画像(画像信号により形成される画像(例えば、フレーム画像))に含まれる対称性を有する物体を検出する(対称性を有する物体に相当する画像領域を特定する)。そして、物体検出部22Aは、検出結果(例えば、対称性を有する物体に相当する画像領域を特定するための情報)を合成部23Aに出力する。
物体検出部22Aは、図8に示すように、画像特徴量抽出部221と、対称性評価部222と、中心検出部223と、物体領域検出部224と、を備える。
画像特徴量抽出部221は、画像入力部21Aから出力される画像から画像特徴量を算出(抽出)する。具体的には、画像特徴量抽出部221は、例えば、画像入力部21Aから出力されるY成分信号(輝度成分信号)により形成されるY成分画像(輝度成分画像)から、Sobelフィルタ等を用いた微分演算処理により、エッジ成分を画像特徴量として抽出する。そして、画像特徴量抽出部221は、抽出したエッジ成分を各画素の画素値とする画像(特徴量抽出画像)を画像特徴量抽出画像として、対称性評価部222および物体領域検出部224に出力する。
なお、以下では、説明便宜のため、特徴量抽出画像の各画素の画素値は、抽出対象の画像特徴量の程度が大きい程、大きな値をとるものとして、説明する。
対称性評価部222は、画像特徴量抽出部221が抽出した画像(特徴量抽出画像)を入力とする。そして、対称性評価部222は、当該特徴量抽出画像から、各画素において、画像上の所定の方向(例えば、水平方向)の対称性を評価(判定)するとともに対称性の高い画像領域の幅(上記所定の方向(例えば、水平方向)の幅)を決定(推定)する。そして、対称性評価部222は、画素ごとに、当該画素(処理対象画素)を特定する情報(例えば、画素の座標)と、評価(判定)した対称性の度合いを示す値(または当該値と相関のある値)と、を対応付けた対称性評価マップデータを取得する。
さらに、対称性評価部222は、画素ごとに、当該画素(処理対象画素)を特定する情報(例えば、画素の座標)と、決定(推定)した対称性の高い画像領域の幅(上記所定の方向(例えば、水平方向)の幅)を示す値(または当該値と相関のある値)と、を対応づけた対称幅マップデータを取得する。
そして、対称性評価部222は、取得した対称性評価マップデータを中心検出部223に出力する。また、対称性評価部222は、取得した対称幅マップデータを物体領域検出部224に出力する。
中心検出部223は、対称性評価部222により取得された対称性評価マップデータを入力とする。中心検出部223は、対称性評価マップデータを2次元画像(対称性評価値を各画素の画素値としてマッピングし生成した画像)としたとき、当該画像上の所定の方向(例えば、水平方向)において極大値(または極大値付近の値)をとる画素または画素領域を特定し、特定した画素または画素領域に基づいて、対称性の高い物体の中心軸の位置を決定(推定)する。そして、中心検出部223は、決定(推定)した対称性の高い物体の中心軸の(画像上の)位置に関する情報を物体領域検出部224に出力する。
物体領域検出部224は、対称性評価部222により取得された対称幅マップデータと、中心検出部223から出力される対称性の高い物体の中心軸の(画像上の)位置に関する情報と、を入力とする。物体領域検出部224は、対称幅マップデータと、対称性の高い物体の中心軸の(画像上の)位置に関する情報と、に基づいて、対称性の高い物体を検出し、検出した対称性の高い物体の画像上の領域を特定する。そして、物体領域検出部224は、特定した対称性の高い物体の画像上の領域についての情報を合成部23Aに出力する。
合成部23Aは、画像入力部21Aから出力される画像と、物体検出部22Aの物体領域検出部224から出力される検出した対称性の高い物体の画像上の領域を特定する情報と、を入力とする。合成部23Aは、物体領域検出部224から出力される検出した対称性の高い物体の画像上の領域を特定する情報に基づいて、画像入力部21Aから出力される画像上に、対称性の高い物体に相当する画像領域を明示する画像を生成(合成)する。合成部23Aは、例えば、画像入力部21Aから出力される画像上に、対称性の高い物体に相当する画像領域を明示する四角い枠が表示されるように画像を生成(合成)する。そして、合成部23Aは、合成した画像を表示装置3に出力する。
表示装置3は、物体検出装置2の合成部23Aから出力される画像を入力とし、当該画像を表示する。
<5.2:物体検出システムの動作>
以上のように構成された物体検出システム1000の動作について、図面を用いながら、以下、説明する。
図9は、物体検出システム1000において実行される物体検出処理の各段階において取得される画像の一例を示した図である。
図10Aは、撮像装置1により撮像され、物体検出装置2に入力される撮像画像101を示す図である。
撮像画像101は、図10Aに示すように、被写体として車両110を含む。車両110は、左右のテールランプ111L・111Rを備えている。左右のテールランプ111L・111Rは、車両110の車幅方向に関する中心軸112に対して左右対称に配置されている。
以下では、撮像装置1において、図10Aに示した撮像画像101が取得され、撮像画像101が物体検出装置2で処理される場合を例に説明する。
撮像装置1で取得された撮像画像101(撮像画像101を形成する画像信号)は、物体検出装置2の画像入力部21Aに入力される。なお、撮像画像101は、R成分信号、G成分信号およびB成分信号により形成される画像であるものとする。
画像入力部21Aは、入力された撮像画像に対して、色空間変換処理を行う。具体的には、画像入力部21Aは、RGB色空間を、例えば、YCbCr色空間に変換する処理を行い、撮像画像101を形成する、R成分信号、G成分信号およびB成分信号を、Y成分信号、Cb成分信号、および、Cr成分信号に変換する。
そして、画像入力部21Aは、Y成分信号(輝度信号)により形成されるY画像(輝度画像)を、物体検出部22Aの画像特徴量抽出部221に出力する。また、画像入力部21は、入力された撮像画像を合成部23Aに出力する。
図10Bに、画像入力部21Aにより取得されたY画像(輝度画像)102を示す。
なお、画像入力部21Aでの色空間の変換処理は、上記に限定されることはなく、例えば、RGB色空間を、Lab色空間やYPbPr色空間等の他の色空間に変換するものであってもよい。
あるいは、RGB色空間のG信号を利用して輝度画像102を生成してもよい。R・B成分を有する画素については補間処理によりG信号を生成すればよい。
なお、色空間処理は、フレームメモリ等の画像信号を記憶することができるメモリ(不図示)を用いて実行してもよい。
画像特徴量抽出部221は、画像入力部21Aにより取得されたY画像(輝度画像)102に対して、画像特徴量を算出(抽出)する処理を実行する。なお、本実施形態では、画像特徴量として、輝度のエッジ成分に相関のある物理量を利用する。
つまり、本実施形態では、画像特徴量抽出部221は、輝度画像102に対してエッジ検出処理を実行し、特徴量抽出画像(エッジ画像)103を生成する。
図10Cは、画像特徴量抽出部221により取得された特徴量抽出画像(エッジ画像)103を示す図である。画像特徴量抽出部221は、輝度画像102に、例えば、微分演算処理(例えば、Sobelフィルタを用いたフィルタ処理)を施すことで特徴量抽出画像(エッジ画像)103を生成する。
次に、対称性評価部222は、画像特徴量抽出部221により取得されたエッジ画像103の対称性を評価する。以下、対称性の評価方法について説明する。
(5.2.1:対称性の評価方法)
対称性評価部222は、図11に示す注目画素Pに関して対称性を評価する。注目画素Pは、エッジ画像103に含まれる画素である。注目画素Pは、エッジ画像103における座標(i、j)の画素を示している。以下の説明において、画素Pという表記は、エッジ画像103における座標(x、j)の画素を示す。つまり、画素Pという表記は、水平方向にx列目で、垂直方向にj行目の画素を示している。また、数式においては、Pは、画素Pにおける画素値を示すものとする。本実施形態においては、Pは0〜255の範囲の値をとる。なお、Pは、画像特徴量(本実施形態ではエッジ成分量)が大きい程(注目している画像特徴量の度合いが強い程)、大きな値をとるものとする。
図11には、画素の注目画素Pの左側に位置するw個の画素(Pi−w〜Pi−1)、および、注目画素Pの右側に位置するw個(wは自然数)の画素(Pi+1〜Pi+w)が描かれている。この2w+1個の画素(Pi−w〜Pi+w)の対称性を評価する演算式を下記(数式14)に示す。
(数式14)において、SYM(i、j)は、対称性の評価値(対称性評価値)を示す。(数式14)において、kは、1〜wまでの値をとる整数である。また、(数式14)において、上記Thは、所定の閾値である。
関数f(k)は、
(1)Pi−k>ThまたはPi+k>Thの場合、|Pi−k−Pi+k|であり、
(2)それ以外の場合(すなわち、Pi−k≦ThかつPi+k≦Thの場合)、「255」(Pの取り得る最大値)である。
したがって、SYM(i、j)は、Pi−kおよびPi+kが両方とも閾値Th以下の場合、(255−f(k)=0なので)「0」となる。つまり、上記(数式14)により、画像特徴量の小さい画素(特徴量抽出画像(エッジ画像)103において、画素値(画像特徴量に相当)が小さい画素)については、対称性評価の対象から除外されることになる。
画素Pi−kと画素Pi+kは、注目画素Pを中心として左右対称の位置にある画素である。画素Pi−kと画素Pi+kの画素値が等しく、かつ、Pi−k>ThまたはPi+k>Thのとき、その差分|Pi−k−Pi+k|は最小値0となるので、f(k)=0となる。したがって、(255−f(k))は、最大値255となる。
そして、(255−f(k))は、注目画素(i,j)からの距離k(注目画素(i,j)から画素(i,j+k)(または画素(i,j−k))までの画素数(画像上の距離に相当))を乗算されることで、水平方向の位置情報(注目画素からの距離情報)で重み付けされる。つまり、注目画素から水平方向に離れる程、対称性の評価についての重み付けが大きくなる。したがって、注目画素を中心として、注目画素から左右に離れた領域に高い(左右)対称性(注目している画像特徴量(本実施形態ではエッジ成分量)についての対称性)を有する領域がある場合、対称性評価値SYM(i、j)が大きな値となる。
対称性評価部222は、注目画素Pに関して、wを変化させて、wについてSYM(i、j)を算出する。そして、対称性評価部222は、下記(数式15)に示すように、注目画素PについてSYM(i、j)の最大値maxSYMを算出する。
(数式15)において、Nはwの最大値である。エッジ画像103の水平方向の画素数をHとすると、注目画素の水平方向の位置を示す列iが(H/2)以下の場合には、Nは(i−1)である。注目画素の水平方向の位置を示す列iが(H/2)より大きい場合には、Nは(H−i)である。
また、(数式15)においてmax()は、要素の最大値を取得する関数である。つまり、(数式15)により、maxSYMには、SYM(i,j)〜SYM(i,j)のうちの最大値が入る。
また、対称性評価部222は、最大値maxSYMを与えるwを、対称幅waとして取得する。つまり、SYM(i、j)は、w=waのとき、最大値maxSYMをとる。対称幅waを用いて、maxSYMは、下式のように表すことができる。
maxSYM=SYMwa(i,j)
ここで、図12を用いて、上記(数式14)および(数式15)に相当する処理について、説明する。図12(a)〜(f)は、特徴量抽出画像の一例を示しており、軸C1を対称軸とする左右対称な物体を撮像した画像の特徴量抽出画像を模式的に示した図である。また、図12(a)〜(f)において、領域R1は、(数式14)の算出対称となる領域を示している。なお、説明便宜上、図12(a)〜(f)において、白い部分に含まれる画素の画像特徴量(画素値)Pは「255」であり、それ以外の黒い部分に含まれる画素の画像特徴量Pは「0」であるものとする。
また、図12(a)〜(f)において、領域R1に含まれる画像特徴量(画素値)Pが「255」である画素の割合rwは、以下であるものとする。
また、(1)領域R1の中で、画像特徴量(画素値)Pが「255」である画素群の領域と、注目画素位置(図12の軸C1の位置)との間の領域に含まれる画像特徴量(画素値)Pが「0」である画素の割合をrb0とし、(2)領域R1の中で、画像特徴量(画素値)Pが「255」である画素群の領域より外側の領域に含まれる画像特徴量(画素値)Pが「0」である画素の割合をrb1とする。なお、rw+rb0+rb1=1である。
また、図12(a)〜(f)において、wの値は、以下のものとする。
図12(a)の場合:rw=0.0、rb0=1.0、rb1=0.0、w=10
図12(b)の場合:rw=0.2、rb0=0.8、rb1=0.0、w=20
図12(c)の場合:rw=0.4、rb0=0.6、rb1=0.0、w=30
図12(d)の場合:rw=0.6、rb0=0.4、rb1=0.0、w=40
図12(e)の場合:rw=0.4、rb0=0.3、rb1=0.3、w=50
図12(f)の場合:rw=0.3、rb0=0.2、rb1=0.5、w=60
図12(a)の場合、算出対称領域R1に含まれる画素の画像特徴量(画素値)は、すべて「0」であるので、(数式14)より、SYM(i、j)=0となる。
図12(b)の場合、算出対称領域R1において、画像特徴量(画素値)が「255」である画素の割合は、「0.2」であるので、(数式14)より、
SYM(i、j)
=[0.5×w^2―0.5×{(1−rw)×w}^2]×255/w
=72×255/20
=918
となる。
図12(c)の場合、算出対称領域R1において、画像特徴量(画素値)が「255」である画素の割合は、「0.4」であるので、(数式14)より、
SYM(i、j)
=[0.5×w^2―0.5×{(1−rw)×w}^2]×255/w
=288×255/30
=2448
となる。
図12(d)の場合、算出対称領域R1において、画像特徴量(画素値)が「255」である画素の割合は、「0.6」であるので、(数式14)より、
SYM(i、j)
=[0.5×w^2―0.5×{(1−rw)×w}^2]×255/w
=672×255/40
=4284
となる。
図12(e)の場合、算出対称領域R1において、画像特徴量(画素値)が「255」である画素の割合は、「0.4」であるので、(数式14)より、
SYM(i、j)
=[0.5×rw×w×{rb0×w+(rb0+rw)×w}]×255/w
=500×255/50
=2550
となる。
図12(f)の場合、算出対称領域R1において、画像特徴量(画素値)が「255」である画素の割合は、「0.3」であるので、(数式14)より、
SYM(i、j)
=[0.5×rw×w×{rb0×w+(rb0+rw)×w}]×255/w
=378×255/60
=1606.5
となる。
このように、図12に示す特徴量抽出画像では、領域R1を、図12(a)から(d)に示すように拡大させていくと、位置による重み付け係数kが増加し、かつ、画素値が「255」である画素の割合が増加するため、対称性評価値であるSYM(i、j)単調増加する。
さらに、領域R1を、図12(d)から(f)に示すように拡大させていくと、画素値が「255」である画素の割合が減少するため、対称性評価値であるSYM(i、j)の値は、単調減少する。
つまり、対称性評価値SYM(i、j)は、図12(d)のときに、最大値をとる。すなわち、図12(d)の場合に、SYM(i、j)が最大値をとるので、図12(d)の場合のSYM(i、j)(=672×255)がmaxSYMとなり、このときのw(図12(d)の場合のw)がwaとなる。したがって、対称性評価部222は、図12に示した特徴量抽出画像を処理対象とする場合、図12(d)の場合のSYM(i、j)(=672×255)をmaxSYMとして取得し、このときのw(図12(d)の場合のw)をwaとして取得する。
対称性評価部222は、対称性を評価する対象となる全ての画素について、(数式14)および(数式15)に相当する処理を行い、
(1)処理対象画素と、当該画素に対応するmaxSYMの値(または、maxSYMの値と相関のある値)と、を対応づけた対称性評価マップデータと、
(2)処理対象画素と、waの値(最大値maxSYMをとるときのwの値)(または、waの値と相関のある値)と、を対応づけた対称幅マップデータと、
を生成(取得)する。
図10Dは、対称性評価マップデータから導出した対称性評価マップ画像104である。対称性評価マップ画像104は、各画素の画素値を、対応するmaxSYMの値(または、maxSYMの値と相関のある値)とする画像である。
また、図10Eは、対称幅マップデータから導出した対称幅マップ画像105である。対称幅マップ画像105は、各画素の画素値を、対応するwaの値(最大値maxSYMをとるときのwの値)(または、waの値と相関のある値)とする画像である。
なお、本実施形態において、対称性評価部222は、対称性を評価する対象画素(評価画素)としてエッジ画像103の全ての画素を利用している。つまり、エッジ画像103に含まれる全ての画素について、対称性評価部222は、SYM(i、j)を算出するとともに、maxSYMを算出している。
しかし、演算量を減らすために、あるいは、処理速度を向上させるために、対称性評価部222は、エッジ画像103に含まれる一部の画素を用いて(画素を間引いて)、上記同様の処理を行うことで、対称性評価マップデータおよび対称幅マップデータを取得するようにしてもよい。対称性評価部222は、たとえば、対称性の評価対象とする画素(評価画素)として水平(あるいは垂直)方向の奇数ラインのみ、あるいは偶数ラインのみを利用してもよい。あるいは、3ライン間隔で評価画素を選択するなど、評価画素の数を少なくしてもよい。
対称性評価マップデータは、各評価画素について、その評価画素について算出されたmaxSYMの値(または、maxSYMの値と相関のある値)を成分とするマップデータである。各評価画素について、その評価画素について算出されたmaxSYMの値(または、maxSYMの値と相関のある値)を画素値とする画像と考えてもよい。図10Dは、対称性評価マップデータを画像(対称性評価マップ画像104)として描画している。なお、対称性評価部222は、各評価画素について算出されたmaxSYMの値(または、maxSYMの値と相関のある値)を取得すればよく、必ずしも、図10Dに示すような画像(対称性評価マップ画像104)として取得しなくてもよい。つまり、対称性評価部222は、各評価画素と、そのmaxSYMの値とを関連づけたデータを取得すればよい。
本実施形態においては、評価画素としてエッジ画像103の全ての画素が利用されているので、対称性評価マップ画像104は、エッジ画像103の全画素の画素値をmaxSYMの値(または、maxSYMの値と相関のある値)に置き換えたグレースケールの画像である。
なお、対称性評価値SYM(i、j)は、上記(数式14)により算出する場合、wの値により取り得る範囲が変化するデータであり、maxSYMの値をそのまま画素値とする対称性評価マップ画像104を取得するようにしてもよいが、例えば、ダイナミックレンジ変換を行い、対称性評価マップ画像104を取得するようにしてもよい。つまり、例えば、1フレーム分の入力画像に対して算出されたmaxSYMの値の最小値から最大値で決定される範囲が、例えば、0〜255の範囲(8ビットの範囲)となるように、ダイナミックレンジ調整を行っても良い(あるいは、正規化処理や所定の値でのクリップ処理やゲイン調整処理に相当する処理等を行ってもよい。)。
このように、SYM(i、j)が0〜255の値をとるように調整した場合、対称性評価マップ画像104の各成分は、それぞれ0〜255の値を取り得る。図10Dにおいて、白に近い色はSYM(i、j)の値が大きい(255に近い)ことを示している。つまり、図10Dにおいて、白っぽい領域は対称性が高く評価された領域であり、対称となる物体の中心付近を示している。一方、図10Dにおいて、黒っぽい領域は対称性が高くない領域である。なお、上記ダイナミックレンジ変換は一例であり、SYM(i、j)を、0〜255の範囲以外の範囲にダイナミックレンジ変換するようにしてもよい。
また、対称性評価部222は、対称性を評価する対象となる全ての評価画素について、対称幅マップデータを生成(取得)する。
対称幅マップデータは、各評価画素についてmaxSYMを与える対称幅waを成分とするマップデータである。各評価画素について、対称幅waを画素値とする画像と考えてもよい。図10Eは、対称幅マップデータを画像(対称幅マップ画像105)として描画している。本実施形態においては、評価画素としてエッジ画像103の全ての画素が利用されているので、対称幅マップ画像105は、エッジ画像103の全画素を対称幅waに置き換えたグレースケールの画像である。
上述したように、本実施形態においては、対称幅waは1からNまでの値を取り得る。したがって、対称幅マップ画像105の各成分は、それぞれ1〜Nの値を取り得る。Nの値は画素位置によって異なる。図9Eにおいて、色が白に近い領域は、対称幅waが大きい領域を示している。図9Eにおいて、色が黒に近い領域は、対称幅waが小さい領域を示している。
続いて、中心検出部223は、対称性評価部222が生成した対称性評価マップデータ(対称性評価マップ画像104)を参照し、対称中心マップデータ(対称中心マップ画像106)を生成する。中心検出部223は、対称性評価マップ画像104の水平方向の各ラインについて、maxSYMの極大点を与える画素(または、極大点付近の画素群)を決定(推定)する。
図13は、対称性評価マップ画像104の水平方向の変化を示す図である。具体的には、図13は、対称性評価マップ画像104の水平方向の1ラインについてmaxSYMの変化を表す図である。
図13では、水平方向位置を示す列(i座標)が、330〜332である3つの画素(i=330の画素、i=331の画素、および、i=332の画素)において、画素値、すなわち、対称性の評価値(maxSYMの値)が極大となっている。したがって、中心検出部223は、図13に示す水平方向の1ラインについて、i=330の画素、i=331の画素、および、i=332の画素の3つの画素が対称性の評価値(maxSYMの値)の極大点(極大点付近領域)であると判定する。
同様にして、中心検出部223は、水平方向の全てのラインについて極大点(極大点付近領域)を与える領域(画素または画素群)を特定(推定)する。なお、中心検出部223により特定(推定)された領域を「対称中心画素領域」という。
図10Fは、中心検出部223により特定(推定)された対称中心画素領域を明示した対称中心マップ画像106である。対称中心マップ画像106は、例えば、対称中心画素領域に含まれると判定された画素に、成分(画素値)「1」を設定し、対称中心画素領域に含まれないと判定された画素に、成分(画素値)「0」を設定することで取得された画像と見ることができる。図10Fにおいて、白色の部分が対称中心画素領域として特定された画素を示している。
なお、処理対象画素(注目画素)が対称中心画素領域に含まれる否かの判定は、例えば、以下の処理とともに行うようにしてもよい。
(1)対称性評価マップ画像104の各画素において、画素値を予め設定された閾値と比較し、閾値を上回る場合にのみ、極大点の候補とする。
(2)対称性評価マップ画像104の水平方向に平滑化処理(処理対象の水平ラインに対して平滑化処理)を行ってから、極大点の位置(水平方向の位置)を特定する。
これにより、細かな変動により生まれる極大点を排除することができる。その結果、精度の良い対称中心マップ画像を取得することができる。
続いて、物体領域検出部224は、入力画像に含まれる対称性を有する物体の水平方向の幅および垂直方向の幅を検出する。
物体領域検出部224は、対称中心マップデータ(対称中心マップ画像106)および対称幅マップデータ(対称幅マップ画像105)を利用して、物体の水平方向の幅を検出する。
具体的には、物体領域検出部224は、例えば、以下の(1)〜(5)の処理により、物体の水平方向の幅を検出する。なお、説明便宜上、対称中心マップ画像106において、最初に、画素値「1」の画素を含む水平ラインがj行目のラインであるものとして、説明する。
(1)対称中心マップ画像106は、対称性を有する物体の中心軸を構成する画素に画素値「1」が与えられている。したがって、物体領域検出部224は、対称中心マップ画像106において画素値「1」を有する画素を抽出し、その抽出された画素の対称幅を対称幅マップ画像105から取得する。
(1A):
画素値「1」の画素が水平方向に単独で(水平方向に連続せずに)検出された場合、物体領域検出部224は、抽出された画素値「1」の画素(当該画素の座標を(i,j)とする。)の対称幅W(i,j)を、対称幅マップデータから抽出する。
(1B):
画素値「1」の画素が水平方向に連続して検出された場合、当該複数の画素(水平方向に連続して存在する画素)の対称幅の平均値を対称幅とする。例えば、画素(i−1,j)、画素(i,j)および画素(i+1,j)の3つの画素の画素値が「1」である場合において、それぞれの対称幅を、W(i−1,j)、W(i,j)およびW(i+1,j)とすると、
W(i,j)=AVRG(W(i−1,j),W(i,j),W(i+1,j))
あるいは、
W(i,j)=MAX(W(i−1,j),W(i,j),W(i+1,j))
としてもよい。なお、AVRG()は、要素の平均値をとる関数であり、MAX()は、要素の最大値をとる関数である。
また、j行目の水平ラインにおいて、上記(1A)または(1B)により算出された対称幅W(i,j)をW(i0、j)と表記する。
(2)次に、j+1行目の水平ラインにおいて、上記(1)で抽出した画素と水平方向の位置がほぼ等しく(例えば、座標位置(i−a,j+1)〜座標位置(i+a,j+1)の範囲に含まれる画素。aは、所定の閾値(水平方向がほぼ等しいか否かの判断を行うための値))、かつ、その画素値が「1」である画素がある場合、処理(1)と同様に、当該画素の対称幅を、対称幅マップデータから抽出する。
j+1行目の水平ラインにおいて、画素値が「1」である画素位置(水平方向の画素値「1」の画素が連続して複数ある場合は、当該画素群の中心位置の画素)を(i,j+1)とすると、物体領域検出部224は、処理(1)と同様にして、画素(i、j+1)の対称幅W(i1,j)を算出する。
(3)j+2行目以降の水平ラインについても、上記と同様の処理を繰り返す。
なお、上記(1)で抽出した画素と水平方向の位置がほぼ等しい(例えば、座標位置(i−a,j+1)〜座標位置(i+a,j+1)の範囲に含まれる画素。aは、所定の閾値(水平方向がほぼ等しいか否かの判断を行うための値))範囲に、画素値「1」の画素が出現しなくなるまで、上記処理を繰り返す。
(4)物体領域検出部224は、上記(1)〜(3)の処理で算出した対称幅の最大値maxWを求める。つまり、物体領域検出部224は、下記(数式16)に相当する処理を実行することで、対称幅の最大値maxWを求める。
なお、(数式16)では、上記(1)で抽出した画素と水平方向の位置がほぼ等しい(例えば、座標位置(i−a,j+1)〜座標位置(i+a,j+1)の範囲に含まれる画素。aは、所定の閾値(水平方向がほぼ等しいか否かの判断を行うための値))範囲に、画素値「1」の画素が出現する水平ラインがj行目からj+m−1行目までであるとしている。
(5)そして、物体領域検出部224は、算出した対称幅の最大値maxWを、物体幅(物体の水平方向の中心からの片方の端までの距離)として検出する。図10Fでは、j+k1行目の水平ラインにおいて、対称幅が最大となる場合について例示している。つまり、maxW=W(ik1,j+k1)である場合を例示している。
物体領域検出部224は、対称中心画素領域の垂直方向の幅(長さ)を利用して、物体の垂直方向の幅を検出する。つまり、物体領域検出部224は、垂直方向に連続して配列された対称中心画素の上端を物体の上端として特定し、垂直方向に連続して配列された対称中心画素の下端を物体の下端として特定する。
図10Fに示すように、物体領域検出部224は、例えば、垂直方向に連続して配列された対称中心画素の上端が、j行目の水平ライン位置に存在し、垂直方向に連続して配列された対称中心画素の下端が、j+m−1行目の水平ライン位置に存在し、maxW(=W(ik1,j+k1))をとる水平ラインの画素の中心位置が(ik1,j+k1)であるとき、左上の頂点の座標が(ik1−maxW,j)であり、右下の頂点の座標が(ik1+maxW,j+m−1)である四角形で囲まれる領域R1を、対称性が高い物体に相当する画像領域であると判定(特定)する。
そして、物体領域検出部224は、特定した物体(対称性の高い物体)の画像領域を示す情報(例えば、上記領域R1を特定するための情報(例えば、矩形領域の座標情報等))を合成部23Aに出力する。
なお、上記において、物体領域検出部224は、対称性の高い物体の画像領域を矩形領域により特定する場合について説明しているが、これに限定されることはない。例えば、物体領域検出部224は、水平ラインごとに、対称幅マップデータから抽出される対称幅に基づいて、対称性の高い物体の画像領域を特定するようにしてもよい。つまり、この場合、水平ラインごとに、対称中心画素(対称中心画素領域に含まれる画素)から左右に対称幅に相当する長さの領域が、対称性の高い物体の画像領域として特定される。このため、最終的に検出される対称性の高い物体の画像領域は、当該対称性の高い物体の形状と略一致する形となる(例えば、図10Aの車両110の外枠の形状と略一致する形となる)。
合成部23Aは、物体領域検出部224から出力される検出した対称性の高い物体の画像上の領域を特定する情報に基づいて、画像入力部21Aから出力される画像(入力画像101)上に、対称性の高い物体に相当する画像領域を明示する画像を生成(合成)する。合成部23Aは、例えば、画像入力部21Aから出力される画像上に、対称性の高い物体に相当する画像領域を明示する四角い枠が表示されるように画像を生成(合成)する。そして、合成部23Aは、合成した画像を表示装置3に出力する。
表示装置3は、物体検出装置2の合成部23Aから出力された、対称性の高い物体に相当する画像領域が明示された画像を表示する。図9Gは、対称性を有する物体である車両110の領域を示す領域枠130が入力画像101に合成された合成画像107を示している。なお、水平方向ラインごとに物体幅が決定された場合には、領域枠は矩形ではなく、物体の外形に沿うような形状(車両110の外枠の形状と略一致する形状)となる。
以上のように、本実施形態の物体検出システム1000では、入力画像(撮像画像)の画像特徴量を抽出した画像に対して、所定の方向(水平方向)についての対称性を評価するために、幅(所定方向(水平方向)の幅)を変化させながら対称性の評価を行う。したがって、本実施形態の物体検出システム1000では、所定の画像領域の対称性が高いと判定した場合、対称性が高いと判定した画像領域の所定方向(水平方向)の幅も同時に取得することができる。つまり、本実施形態の物体検出システム1000では、画像に含まれる物体の対称性を利用して、物体の位置と大きさを同時に抽出することが可能である。
また、本実施形態の物体検出システム1000では、所定の方向(水平方向)についての対称性の評価データを用いて、対称性の高い物体の中心軸を検出することができる。したがって、本実施形態の物体検出システム1000では、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
さらに、本実施形態の物体検出システム1000では、注目画素(物体の中心軸(対称軸))からの距離による重み付けを行った対称性評価値を取得し、当該対称性評価値を用いた処理を行うので、中心軸(対称軸)から離れた位置に存在する対称性の高い物体を精度よく検出することができる。
≪第1変形例≫
次に、本実施形態の第1変形例について説明する。
本変形例の物体検出システムおよび物体検出装置は、第1実施形態の物体検出システム1000および物体検出装置2と、それぞれ、同様の構成を有している。
本変形例の物体検出装置では、対称性評価部222は、上記(数式14)の代わりに、下記(数式17)または(数式18)による処理を行う。それ以外については、本変形例は、第5実施形態と同様である。
対称性評価部222は、特徴量抽出画像(エッジ画像)103に対して、上記(数式17)による処理を行う。(数式17)では、(w−k)により重み付けを行っている。つまり、特徴量抽出画像(エッジ画像)103上において、注目画素に近い位置に存在する領域ほど、強い重み付けがなされる。その結果、注目画素に近い領域であって、かつ、左右対称性の高い領域において、対称性評価値SYM(i、j)は、大きな値となる。
また、対称性評価部222は、特徴量抽出画像(エッジ画像)103に対して、下記(数式18)による処理を行ってもよい。(数式18)では、k≧a0(a0は、a0≦wを満たす所定の値)の区間において単調減少となる関数c(k)により重み付けを行っている。つまり、特徴量抽出画像(エッジ画像)103上において、注目画素に近い位置に存在する領域ほど、強い重み付けがなされる。その結果、注目画素に近い領域であって、かつ、左右対称性の高い領域において、対称性評価値SYM(i、j)は、大きな値となる。
ここで、図14を用いて、(数式18)に相当する処理について、説明する。図14は、特徴量抽出画像の一例を模式的に示す図であり、白い部分の領域に含まれる画素は、その画素値(画像特徴量)が取り得る最大値(例えば、「255」(8ビットデータ))であり、黒い部分に含まれる画素は、その画素値(画像特徴量)が取り得る最小値(例えば、「0」(8ビットデータ))であるものとする。また、(数式18)の値a0は、図14に示すように(図14に示した)w1より若干大きな値をとるものとする。
注目画素の水平方向の位置(i座標)が軸C2上である場合、図14(a)に示すように、領域R2の水平方向の幅w1のとき、対称性評価値SYM(i、j)は最大値をとる。つまり、領域BCが軸C2付近において左右対称性が高いため、領域BCでのc(k)による重み付けが大きいため、図14(a)に示す領域R2の水平方向の幅w1がwa(対称性評価値SYM(i、j)が最大値をとるときの対称幅w)となる。
一方、図14(b)に示すように、領域R2の水平方向の幅がw2のとき、wがa0より大きい領域についての重み付けc(k)は、wについて単調減少となるため、領域BLおよびBRについての重み付けc(k)の値は、小さな値となる。したがって、領域R2の水平方向の幅がw2のとき、対称性評価値SYM(i、j)は、水平方向の幅w1のときの対称性評価値SYM(i、j)よりも小さな値となる。
このように、本変形例の物体検出システムの対称性評価部222は、(数式18)に相当する処理を行い、対称性評価値SYM(i、j)を取得するとともに、対称性評価値SYM(i、j)が最大となるときの対称幅waを取得する。
なお、対称軸(中心軸)近傍において、左右対称領域を検出する場合、対称性評価値SYM(i、j)の最大値をとるwが複数存在する場合、最大のwをwaとするようにしてもよい。例えば、対称軸(中心軸)近傍において、対称性評価値SYM(i、j)の最大値をとるwが連続している場合、wの値が最大であるときの対称幅が、対称軸近傍に存在する対称性の高い物体の幅と近い値である可能性が高いと考えられる。したがって、対称軸(中心軸)近傍において、左右対称領域を検出する場合、対称性評価値SYM(i、j)の最大値をとるwが複数存在する場合、最大のwをwaとすればよい。
そして、中心検出部223および物体領域検出部224において、第5実施形態と同様の処理を行うことで、対称軸近傍において左右対称性の高い物体(領域)を、適切に検出することができる。例えば、特徴量抽出画像が図15に示す画像である場合、本変形例の物体検出システムにより、対称軸近傍において左右対称性の高い物体(領域)BCを、検出領域DA1として、適切に検出することができる。
なお、画像上の距離による重み付け関数c(k)は、上記(数式18)で示した関数に限定されることはなく、任意の関数に設定してもよい。
例えば、画像上の距離による重み付け関数c(k)を、図16(a)、(b)に示すように単調減少関数(一部kについてc(k)が一定値をとる区間がある場合等を含む。)としてもよい。重み付け関数c(k)を単調減少関数に設定した場合、対称軸付近に高い対称性を有する物体を検出することができる。なお、図16(a)は、本変形例の(数式18)の処理に対応する。
一方、画像上の距離による重み付け関数c(k)を、図16(c)、(d)に示すように単調増加関数(一部kについてc(k)が一定値をとる区間がある場合等を含む。)としてもよい。重み付け関数c(k)を単調増加関数に設定した場合、対称軸から離れた領域に高い対称性を有する物体を検出することができる。なお、図16(a)は、第5実施形態の(数式14)の処理(c(k)=kとした場合の処理)に対応する。
なお、画像上の距離による重み付け関数c(k)は、上記に限定されるものではなく、例えば、指数関数、シグモイド関数等を用いた関数や、折れ線による関数等により、画像上の距離による重み付け関数c(k)を設定してもよい。
以上のように、本変形例の物体検出システムでは、画像上の距離による重み付け関数c(k)を、単調減少関数(一部単調でない部分を含んでもよい)に設定することで、対称軸付近の対称性の高い物体を適切に検出することができる。
[第6実施形態]
次に、第6実施形態について、説明する。
本実施形態の物体検出システムの構成は、第5実施形態と同様である。以下では、本実施形態において、第5実施形態と相違する点について、説明する。なお、上記実施形態と同様の部分については、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
第5実施形態では、画像特徴量抽出部221は、物体の画像特徴量としてエッジ成分を利用した。そして、画像特徴量として抽出したエッジ成分に基づき、対称性の評価を行った。
第6実施形態では、画像特徴量抽出部221は、物体の画像特徴量として特定の色成分を利用する。たとえば、画像特徴量抽出部221は、画像特徴量として赤色成分を抽出する。
以下、本実施形態の物体検出システムの動作について、説明する。
図17Aは、本実施形態の物体検出システムにおいて実行される物体検出処理の各段階において取得される画像の一例を示した図である。
なお、本実施形態においても、撮像装置1において、図10Aに示した撮像画像101が取得され、撮像画像101が物体検出装置2で処理される場合を例に説明する。
画像入力部21Aは、撮像装置1から入力されたRGB色空間の画像信号(R成分信号、G成分信号およびB成分信号)を、YCbCr色空間の信号(Y成分信号、Cb成分信号およびCr成分信号)に変換する。そして、画像入力部21Aは、Cr成分信号(Cr成分画像202)を画像特徴量抽出部221に出力する。
画像特徴量抽出部221は、画像入力部21Aにより取得されたCr成分画像(色差赤色成分画像)202に対して、画像特徴量を抽出する処理を実行する。なお、本実施形態では、画像特徴量として、Cr成分に相関のある物理量を利用する。
つまり、本実施形態では、画像特徴量抽出部221は、Cr成分画像202に対してCr成分強調処理(エンハンス処理)を実行し、特徴量抽出画像(R成分画像(Cr成分強調画像))203を生成する。
この後の処理は第5実施形態と同様である。第5実施形態におけるエッジ画像をR成分画像に置き換えた上で、同様の処理を実行し、対称性のある物体を検出する。
つまり、対称性評価部222は、第5実施形態と同様の処理を、図17Cに示す特徴量抽出画像(R成分画像(Cr成分強調画像))203に対して実行し、対称性評価マップデータ(図17Dに示す対称性評価マップ画像204に対応。)および対称幅マップデータ(図17Eに示す対称幅マップ画像205に対応。)を取得する。
そして、中心検出部223は、第5実施形態と同様の処理を、対称性評価マップデータ(図17Dに示す対称性評価マップ画像204に対応。)に対して実行し、対称中心マップデータ(図17Fに示す対称中心マップ画像206に対応。)を取得する。
物体領域検出部224は、第5実施形態と同様の処理を、対称中心マップデータ(図17Fに示す対称中心マップ画像206に対応。)および対称幅マップデータ(対称幅マップ画像205)を利用して、物体の水平方向の幅を検出し、さらに、物体の垂直方向の幅を検出する。
合成部23Aは、第5実施形態と同様に、物体領域検出部224から出力される検出した対称性の高い物体の画像上の領域を特定する情報に基づいて、画像入力部21Aから出力される画像(入力画像101)上に、対称性の高い物体に相当する画像領域を明示する画像を生成(合成)する。
そして、合成部23Aにより生成(合成)された画像は、表示装置3により表示される。図17Gに合成部23Aにより取得された画像(出力画像207)の一例を示す。図17Gに示すように、左右対称の位置に赤色の画像領域(画像領域230)を有する領域が適切に検出されている。
図17Gは、第6実施形態において表示装置3に表示された合成画像207を示す図である。第5実施形態においては、エッジ成分により物体の対称性を評価したので、車両の全体が物体の大きさとして抽出されている。これに対して、第6実施形態においては、車両のテールランプの赤色を中心に物体の対称性が評価されたので、テールランプを含む領域(画像領域230)が抽出されていることが分かる。
以上のように、本実施形態の物体検出システムでは、入力画像(撮像画像)の画像特徴量を抽出した画像(特定の色成分を抽出した画像)に対して、所定の方向(水平方向)についての対称性を評価するために、幅(所定方向(水平方向)の幅)を変化させながら対称性の評価を行う。したがって、本実施形態の物体検出システムでは、所定の画像領域の対称性が高いと判定した場合、対称性が高いと判定した画像領域の所定方向(水平方向)の幅も同時に取得することができる。つまり、本実施形態の物体検出システムでは、画像に含まれる物体の対称性を利用して、物体の位置と大きさを同時に抽出することが可能である。
また、本実施形態の物体検出システムでは、所定の方向(水平方向)についての対称性の評価データを用いて、対称性の高い物体の中心軸を検出することができる。したがって、本実施形態の物体検出システムでは、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。さらに、本実施形態の物体検出システムでは、特定の色成分について抽出した画像を用いて処理を行うので、特定の色成分を多く含む対称性の高い物体を精度良く検出することができる。
さらに、本実施形態の物体検出システムでは、注目画素(物体の中心軸(対称軸))からの距離による重み付けを行った対称性評価値を取得し、当該対称性評価値を用いた処理を行うので、中心軸(対称軸)から離れた位置に存在する、特定の色成分についての対称性の高い物体を精度よく検出することができる。
なお、第5実施形態と第6実施形態の両方を組み合わせてもよい。エッジ画像に対して物体の垂直方向および水平方向の幅および位置を特定する。さらに、特定の色成分画像を利用して物体の垂直方向および水平方向の幅および位置を特定する。そして、それらの平均値をとることで物体の位置および大きさを特定することができる。あるいは、エッジ画像に基づいて求められた値と色成分に基づいて求められた値のいずれかに重みづけを行って物体の位置および大きさを特定してもよい。
また、上記では、赤色成分に注目して処理を行う場合について説明したが、これに限定されることはなく、他の色成分(例えば、緑色成分や青色成分)に注目して処理を行い、所定の色についての対称性の高い物体を検出するようにしてもよい。
また、画像特徴量を抽出するための色空間変換は、本実施形態で説明したものに限定されることはなく、特定の色成分の信号を抽出するために、他の色空間変換を行い、所望の色成分信号(色成分画像)を抽出するようにしてもよい。
≪第1変形例≫
次に、本実施形態の第1変形例について説明する。
本変形例の物体検出システムおよび物体検出装置は、第5実施形態の物体検出システムおよび物体検出装置と、それぞれ、同様の構成を有している。
本変形例の物体検出装置では、第5実施形態の変形例と同様に、対称性評価部222は、(数式14)の代わりに、(数式17)または(数式18)による処理を行う。本変形例の物体検出装置では、第6実施形態と同様に、画像特徴量抽出部221は、物体の画像特徴量として特定の色成分を利用する。たとえば、画像特徴量抽出部221は、画像特徴量として赤色成分を抽出する。
ここで、本変形例の物体検出システムにおいて、図18に示す画像が入力された場合について、説明する。
図18(a)は、オートバイを背後から撮像した画像301である。撮像画像(入力画像)301において、オートバイのテールランプ311は、赤色であるものとする。
図18(a)に示す画像が本変形例の物体検出装置に入力された場合、物体検出部22Aの画像特徴量抽出部221は、図18(b)に示す特徴量抽出画像(R成分(Cr成分)抽出画像)302を取得する。図18(b)に示した特徴量抽出画像(R成分(Cr成分)抽出画像)302において、オートバイのテールランプ311に相当する領域は、軸C3近傍に存在しており、かつ、オートバイのテールランプ311に相当する領域の画素の画素値(画像特徴量(赤色成分量))が大きい。このため、対称性評価部222により算出される対称性評価値SYM(i、j)は、注目画素の水平方向の位置(i座標)が対称軸付近である場合に、最大値をとることとなる。そして、そのときの対称幅が図18(b)に示したw3となる。つまり、wa(対称性評価値SYM(i、j)が最大値をとるときの対称幅w)がw3となる。
そして、本変形例の中心検出部223および物体領域検出部224において、前述の実施形態と同様に、処理が実行されることで、図18(c)に示す出力画像が取得される。図18(c)の出力画像では、赤色で、かつ、対称軸近傍における左右対称性が高い領域(物体)(オートバイのテールランプ部分)が、適切に検出されている。
以上のように、本変形例の物体検出システムでは、対称性評価部222により、(数式17)または(数式18)による処理が実行されることで、特定の色成分(本変形例では赤色成分)の対称軸近傍において対称性が高い領域(物体)を適切に検出することができる。
なお、第5実施形態の変形例で説明したのと同様に、本変形例においても、画像上の距離による重み付け関数c(k)は、(数式18)で示した関数に限定されることはなく、任意の関数(例えば、図16に示したグラフに相当する関数)に設定されるものであってもよい。
[第7実施形態]
次に、第7実施形態について、説明する。
本実施形態の物体検出システムの構成は、第5実施形態と同様である。以下では、本実施形態において、第5実施形態と相違する点について、説明する。なお、上記実施形態と同様の部分については、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
本実施形態の対称性評価部222は、(数式14)の代わりに、下記(数式19)に相当する処理を実行する。
前述の実施形態と同様に、(数式19)において、SYM(i、j)は、対称性の評価値を示す。(数式19)において、kは、1〜wまでの値をとる整数である。
画素Pi−kと画素Pi+kは、注目画素Pを中心として左右対称の位置にある画素である。画素Pi−kと画素Pi+kの画素値が等しいとき、その差分|Pi−k−Pi+k|は最小値0となる。このとき、(255−|Pi−k−Pi+k|)は、最大値255となる。
そして、(255−|Pi−k−Pi+k|)は、Pi−kおよびPi+kを乗算されることで、注目画素Pから左右にk画素離れた画素の画像特徴量で重み付けされる。これにより、画像特徴量が小さい画素を対称性の評価から除外することができる。つまり、例えば、特徴量抽出画像をエッジ画像103としたとき、エッジ画像103において、エッジではない部分のPi−kおよびPi+kは、「0」に近い値をとるので、エッジでない部分では、(255−|Pi−k−Pi+k|)×Pi−k×Pi+kは、「0」に近い値をとることになる。
つまり、(数式19)においては、注目している画像特徴量(例えば、エッジ成分量や特定の色成分量(例えば、赤色成分量))についての対称性が高いほどSYM(i、j)は、大きな値をとる。
本実施形態の対称性評価部222は、前述の実施形態と同様に、(数式15)に相当する処理を行い、最大値maxSYMを与えるwを、対称幅waとして取得する。
そして、本実施形態の中心検出部223、物体領域検出部224、および、合成部23Aは、前述と同様の処理を行う。
このように、本実施形態の物体検出システムでは、入力画像(撮像画像)の画像特徴量を抽出した画像に対して、所定の方向(水平方向)についての対称性を評価するために、幅(所定方向(水平方向)の幅)を変化させながら対称性の評価を行う。したがって、本実施形態の物体検出システムでは、所定の画像領域の対称性が高いと判定した場合、対称性が高いと判定した画像領域の所定方向(水平方向)の幅も同時に取得することができる。つまり、本実施形態の物体検出システムでは、画像に含まれる物体の対称性を利用して、物体の位置と大きさを同時に抽出することが可能である。
また、本実施形態の物体検出システムでは、所定の方向(水平方向)についての対称性の評価データを用いて、対称性の高い物体の中心軸を検出することができる。したがって、本実施形態の物体検出システムでは、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
なお、本実施形態の物体検出システムにおいて、画像特徴量抽出部221は、例えば、画像特徴量をエッジ成分として、入力画像のエッジ成分を抽出したエッジ画像を取得するものであってもよい。この場合、本実施形態の物体検出システムでは、図9と同様の処理結果(類似の処理結果)を取得することができる。
また、本実施形態の物体検出システムにおいて、画像特徴量抽出部221は、例えば、画像特徴量を特定の色成分(例えば、赤色成分(R成分やCr成分等))として、入力画像の特定の色成分を抽出した画像(例えば、赤色成分画像(R成分画像やCr成分画像等))を取得するものであってもよい。この場合、本実施形態の物体検出システムでは、図17Aと同様の処理結果(類似の処理結果)を取得することができる。
[第8実施形態]
次に、第8実施形態について、説明する。
本実施形態の物体検出システムの構成は、前述の実施形態と同様である。以下では、本実施形態において、前述の実施形態と相違する点について、説明する。なお、前述の実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
本実施形態の対称性評価部222は、(数式14)の代わりに、下記(数式20)に相当する処理を実行する。
前述の実施形態と同様に、(数式20)において、SYM(i、j)は、対称性の評価値を示す。(数式20)において、kは、1〜wまでの値をとる整数である。
画素Pi−kと画素Pi+kは、注目画素Pを中心として左右対称の位置にある画素である。画素Pi−kと画素Pi+kの画素値が等しいとき、その差分|Pi−k−Pi+k|は最小値0となる。このとき、(255−|Pi−k−Pi+k|)は、最大値255となる。
そして、(255−|Pi−k−Pi+k|)は、Pi−kおよびPi+kを乗算されることで、注目画素Pから左右にk画素離れた画素の画像特徴量で重み付けされる。これにより、画像特徴量が小さい画素を対称性の評価から除外することができる。つまり、例えば、特徴量抽出画像をエッジ画像103としたとき、エッジ画像103において、エッジではない部分のPi−kおよびPi+kは、「0」に近い値をとるので、エッジでない部分では、(255−|Pi−k−Pi+k|)×Pi−k×Pi+kは、「0」に近い値をとることになる。
つまり、(数式20)においては、注目している画像特徴量(例えば、エッジ成分量や特定の色成分量(例えば、赤色成分量))についての対称性が高いほどSYM(i、j)は、大きな値をとる。
さらに、(数式20)では、注目画素(i,j)からの距離k(注目画素(i,j)から画素(i,j+k)(または画素(i,j−k))までの画素数(画像上の距離に相当))を乗ずることで、水平方向の位置情報(注目画素からの距離情報)による重み付けを行う。つまり、注目画素から水平方向に離れる程、対称性の評価についての重み付けが大きくなる。したがって、注目画素を中心として、注目画素から左右に離れた領域に高い(左右)対称性(注目している画像特徴量(本実施形態ではエッジ成分量)についての対称性)を有する領域がある場合、対称性評価値SYM(i、j)が大きな値となる。
つまり、対称性評価部222は、(数式20)による処理を実行することで、画像特徴量(Pi−kおよびPi+k)および水平方向の位置情報(注目画素からの距離情報)による重み付けを行った対称性評価値SYM(i、j)を取得することができる。
本実施形態の対称性評価部222は、前述の実施形態と同様に、(数式20)に相当する処理を行い、最大値maxSYMを与えるwを、対称幅waとして取得する。
そして、本実施形態の中心検出部223、物体領域検出部224、および、合成部23は、前述と同様の処理を行う。
このように、本実施形態の物体検出システムでは、入力画像(撮像画像)の画像特徴量を抽出した画像に対して、所定の方向(水平方向)についての対称性を評価するために、幅(所定方向(水平方向)の幅)を変化させながら対称性の評価を行う。したがって、本実施形態の物体検出システムでは、所定の画像領域の対称性が高いと判定した場合、対称性が高いと判定した画像領域の所定方向(水平方向)の幅も同時に取得することができる。つまり、本実施形態の物体検出システムでは、画像に含まれる物体の対称性を利用して、物体の位置と大きさを同時に抽出することが可能である。
また、本実施形態の物体検出システムでは、所定の方向(水平方向)についての対称性の評価データを用いて、対称性の高い物体の中心軸を検出することができる。したがって、本実施形態の物体検出システムでは、少ない演算量で、精度良く、対称性の高い物体の検出を行うことができる。
さらに、本実施形態の物体検出システムでは、注目画素(物体の中心軸(対称軸))からの距離による重み付けを行った対称性評価値を取得し、当該対称性評価値を用いた処理を行うので、中心軸(対称軸)から離れた位置に存在する対称性の高い物体を精度よく検出することができる。
なお、本実施形態の物体検出システムにおいて、画像特徴量抽出部221は、例えば、画像特徴量をエッジ成分として、入力画像のエッジ成分を抽出したエッジ画像を取得するものであってもよい。この場合、本実施形態の物体検出システムでは、図9と同様の処理結果(類似の処理結果)を取得することができる。
また、本実施形態の物体検出システムにおいて、画像特徴量抽出部221は、例えば、画像特徴量を特定の色成分(例えば、赤色成分(R成分やCr成分等))として、入力画像の特定の色成分を抽出した画像(例えば、赤色成分画像(R成分画像やCr成分画像等))を取得するものであってもよい。この場合、本実施形態の物体検出システムでは、図17Aと同様の処理結果(類似の処理結果)を取得することができる。
≪第1変形例≫
次に、第8実施形態の第1変形例について、説明する。
本変形の物体検出システムの構成は、前述の実施形態と同様である。以下では、本実施形態において、前述の実施形態と相違する点について、説明する。なお、前述の実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
本変形例の対称性評価部222は、(数式20)の代わりに、下記(数式21)に相当する処理を実行する。つまり、(数式20)では、画素位置(距離)についての重み付けがkであったが、(数式21)では、画素位置(距離)についての重み付けが、kについての任意の関数c(k)となっている。
本変形例において、関数c(k)を所定の関数(例えば、図16に示した関数)に設定することで、対称軸から所定の距離だけ離れた領域における対称性評価値の重み付けを所望のものに変化させることができる。
例えば、中心軸(対称軸)付近に高い対称性を有する領域を検出したい場合、
c(k)=w−k
または、下記(数式22)に設定すればよい。
以上のように、本変形例の物体検出システムでは、対称性評価部222により、(数式21)による処理が実行されることで、所定の領域(対称軸から所定の距離だけ離れた領域)において、対称性が高い領域(物体)を適切に検出することができる。
なお、第5実施形態の変形例で説明したのと同様に、本変形例においても、画像上の距離による重み付け関数c(k)は、上記で示した関数に限定されることはなく、任意の関数(例えば、図16に示したグラフに相当する関数)に設定されるものであってもよい。
[第9実施形態]
次に、第9実施形態について、説明する。
本実施形態の物体検出システムの構成は、前述の実施形態と同様である。以下では、本実施形態において、前述の実施形態と相違する点について、説明する。なお、前述の実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
本実施形態の対称性評価部222は、(数式21)の代わりに、下記(数式23)に相当する処理を実行する。つまり、(数式21)では、対称性評価値を算出するための画像上の領域が水平ライン1ライン分からなる領域であった。それに対して、(数式23)では、対称性評価値を算出するための画像上の領域が水平ライン(2n+1)ライン分(注目画素が存在する水平ラインを中心とした(2n+1)個の水平ライン)(nは自然数)からなる領域である。
つまり、本実施形態の対称性評価部222は、(数式23)により、(2n+1)個の水平ラインについて、それぞれ、対称性評価値を算出し、算出した各水平ラインの対称性評価値を積算し、積算した値を水平ライン数で除算することで、平均値を取得する。そして、対称性評価部222は、取得した平均値を、注目画素(i,j)の対称性評価値SYM(i、j)とする。
なお、(数式23)において、c(k)は任意の関数である。
例えば、画像上において、中心軸(対称軸)から離れた位置に存在する、対称性の高い領域を検出する場合、
c(k)=k
と設定すればよい。なお、関数c(k)を、図16(d)に示すような関数に設定してもよい。
また、例えば、画像上において、中心軸(対称軸)近傍に存在する、対称性の高い領域を検出する場合、
c(k)=w−k
と設定すればよい。なお、関数c(k)を、図16(a)、(b)に示すような関数に設定してもよい。
なお、対称性評価部222は、(数式23)に示すように、対称性評価値を算出する対象領域の垂直方向の幅を、注目画素が含まれる水平ライン、注目画素が含まれる水平ラインの上に位置するnラインおよび下に位置するnラインの合計(2n+1)ライン分に相当する幅として、対称性評価値を算出するが、注目画素が画像上端付近または下端付近であり、かつ、注目画素が含まれる水平ラインの上下にnライン分ずつ確保できない場合、対称性評価値を算出する対象領域の垂直方向の幅を変化させてもよい。例えば、注目画素が画像上端付近であり、注目画素が含まれる水平ラインの上に、(画像上端まで)n1ライン分(n1<nとする)存在している場合、(j−n1)ラインから(j+n)ラインまでの合計(n1+n+1)ライン分の領域を、対称性評価値を算出する対象領域としてもよい。
本実施形態の対称性評価部222は、前述の実施形態と同様に、(数式23)に相当する処理を行い、最大値maxSYMを与えるwを、対称幅waとして取得する。
そして、本実施形態の中心検出部223、物体領域検出部224、および、合成部23は、前述と同様の処理を行う。
このように、本実施形態の物体検出システムでは、本実施形態の対称性評価部222は、(数式23)により、(2n+1)個の水平ラインについて、それぞれ、対称性評価値を算出し、算出した各水平ラインの対称性評価値を積算し、積算した値を水平ライン数で除算することで取得した平均値により、注目画素(i,j)の対称性評価値SYM(i、j)を算出する。つまり、本実施形態の物体検出システムでは、垂直方向に所定の幅を有する画像領域を対称性評価の対象とするので、垂直方向に高い相関性を有する対称領域(例えば、対称軸(中心軸)と平行な辺を有する四角形の物体等)を精度良く検出することができる。
なお、対称性評価部222は、(数式23)の代わりに、(数式24)を用いて、対称性評価値SYM(i、j)を算出してもよい。なお、c(k)については、(数式23)と同様である。
つまり、(数式23)の処理では、対称性評価部222は、まず、水平方向において対称性評価を行い、次に、垂直方向に積算して、平均値を求めることで、注目画素(i,j)の対称性評価値SYM(i、j)を算出する。
一方、(数式24)の処理では、対称性評価部222は、まず、各項の垂直方向の積算処理(平均値算出処理)を行い、次に、水平方向において対称性評価を行うことで、注目画素(i,j)の対称性評価値SYM(i、j)を算出する。
対称性評価部222が(数式24)による処理を行うことで、(数式23)の処理と同様の処理結果を取得することができる。
≪第1変形例≫
次に、第9実施形態の第1変形例について、説明する。
本変形の物体検出システムの構成は、前述の実施形態と同様である。以下では、本実施形態において、前述の実施形態と相違する点について、説明する。なお、前述の実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
本変形例の対称性評価部222は、(数式23)の代わりに、下記(数式25)に相当する処理を実行する。つまり、(数式23)では、垂直方向の重み付けが、全ての水平ラインにおいて、「1」(重み付けなし)であったが、(数式25)では、垂直方向の重み付け関数d(m)により、水平ラインごとに、関数d(m)で決定される重み付け処理がなされる。なお、c(k)については、(数式23)と同様である。

例えば、
d(m)=n+1−|m−j|

d(m)=c1×exp(−c2×(m−j)^2)
(c1は、d(m)の最大値を決定するための係数。c2は垂直方向のレンジ調整用の係数。)
とすることで、注目画素(i,j)が存在する水平ラインでの重み付けを大きくし、注目画素(i,j)が存在する水平ラインから離れる程、重み付けを小さくすることができる。
これにより、注目画素(i,j)が存在する水平ライン付近において、左右対称性が高い領域が存在する場合に、対称性評価値が高くなるようにすることができる。
なお、対称性評価部222は、(数式21)の代わりに、(数式26)を用いて、対称性評価値SYM(i、j)を算出してもよい。なお、c(k)については、(数式21)と同様である。
つまり、(数式21)の処理では、対称性評価部222は、まず、水平方向において対称性評価を行い、次に、垂直方向に積算して、平均値を求めることで、注目画素(i,j)の対称性評価値SYM(i、j)を算出する。
一方、(数式26)の処理では、対称性評価部222は、まず、各項の垂直方向の積算処理(平均値算出処理)を行い、次に、水平方向において対称性評価を行うことで、注目画素(i,j)の対称性評価値SYM(i、j)を算出する。
対称性評価部222が(数式26)による処理を行うことで、(数式25)の処理と同様の処理結果を取得することができる。
[他の実施形態]
上述の実施形態および変形例の一部または全部を組み合わせてもよい。
上述の実施形態においては、水平方向に関して対称性を有する物体を検出した。同様に、垂直方向に関して対称性を有する物体を検出してもよい。つまり、上述の実施形態における水平方向の処理と垂直方向の処理を逆にして、上述の実施形態の処理を実行することで、垂直方向に関して対称性を有する物体を検出してもよい。
また、上述の実施形態の物体検出装置2において、各機能部の全部または一部が、共有のメモリ(例えば、フレームメモリ)を用いて、処理を行うようにしてもよい。
また、上述の実施形態の物体検出システムにおいて、撮像装置が、所定のフレームレート(例えば、15fps)でカラー画像を撮像する場合であれば、上記共有のメモリは、物体検出装置が当該所定のフレームレート(例えば、15fps)のカラー画像を処理できるだけのメモリ容量を有するメモリとすることが好ましい。
また、上述の実施形態において、8ビットのデータ(0〜255のデータ)を前提として処理(数式で示した処理等)を行っている部分があるが、ビット数が、上記で説明したビット数(データの取り得る範囲)に限定されないのは言うまでもない。また、上述の実施形態において、データを所定の範囲のデータとするために、レンジ変換処理や、正規化処理や、所定の閾値によるクリップ処理等を行うようにしてもよい。
また、上記実施形態で説明した物体検出システム又は物体検出装置において、各ブロックは、LSIなどの半導体装置(集積回路やプログラム可能なFPGA(Field Programmable Gate Array)等を含む。)により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良い。また、上記実施形態で説明した物体検出システム又は物体検出装置において、各ブロックは、複数のチップ(LSIなどの半導体装置)により実現されるものであってもよい。
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る物体検出システム又は物体検出装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc(登録商標))、半導体メモリを挙げることができる。
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
[付記]
また、本発明は、以下のようにも表現することができる。
(付記1)
画像を入力する画像入力部と、
前記画像に含まれる複数の評価画素について、各評価画素周辺の画素の特徴量に基づき、各評価画素周辺の第1の方向に関する対称性を評価する対称性評価部と、
前記複数の評価画素について前記第1の方向に関する対称幅を算出する対称幅検出部と、
前記複数の評価画素の中で対称性が所定の基準を上回る画素を対称中心画素として検出する中心検出部と、
前記対称中心画素の前記対称幅に基づいて前記画像に含まれる対称性を有する物体の前記第1の方向に関する物体幅を検出し、前記対称中心画素の前記第1の方向と直交する第2の方向に関する分布に基づいて前記物体の前記第2の方向に関する物体幅を検出する物体幅検出部と、
を備える物体検出装置。
(付記2)
付記1に記載の物体検出装置において、
前記中心検出部は、前記第1の方向に関する対称性の変化に極大を与える点を前記対称中心画素として検出する物体検出装置。
(付記3)
付記1または付記2に記載の物体検出装置であって、
前記対称性評価部は、各評価画素周辺の画素の特徴量の近似性に基づき対称性を評価する物体検出装置。
(付記4)
付記1ないし付記3のいずれかに記載の物体検出装置であって、
前記対称幅検出部は、各評価画素について、対称性が最も高くなる幅を、前記対称幅として検出する物体検出装置。
(付記5)
付記1ないし付記4のいずれかに記載の物体検出装置であって、
前記物体幅検出部は、
前記対称中心画素の前記対称幅の最大値あるいは平均値を前記第1の方向に関する物体幅として検出する物体検出装置。
(付記6)
付記1ないし付記4のいずれかに記載の物体検出装置であって、
前記物体幅検出部は、前記対称中心画素の各対称幅を前記第1の方向に関する物体幅として検出する物体検出装置。
(付記7)
付記1ないし付記6のいずれかに記載の物体検出装置であって、
前記物体幅検出部は、前記第2の方向に関して連続して配置された前記対称中心画素の一端および他端を、前記第2の方向に関する物体幅の一端および他端として検出する物体検出装置。
(付記8)
付記1ないし付記7のいずれかに記載の物体検出装置であって、
前記対称性評価部は、画素の特徴量として画素のエッジ強度を用いる物体検出装置。
(付記9)
付記1ないし付記7のいずれかに記載の物体検出装置であって、
前記対称性評価部は、画素の特徴量として画素の所定の色成分の強度を用いる物体検出装置。
(付記10)
付記1ないし付記9のいずれかに記載の物体検出装置であって、
前記対称性評価部は、前記第1の方向を水平方向とする対称性および前記第1の方向を垂直方向とする対称性を評価することにより、水平方向にのみ対称性を有する画素を特定し、
前記中心検出部は、前記複数の評価画素の中で対称性が所定の基準を上回る画素であって、水平方向にのみ対称性を有する画素を対称中心画素として検出する物体検出装置。
(付記11)
付記1ないし付記10のいずれかに記載の物体検出装置であって、
前記対称性を有する物体として前記画像に含まれる車両を検出する物体検出装置。
1000 物体検出システム
1 撮像装置
2 物体検出装置
3 表示装置(モニタ)
21A 画像入力部
22A 物体検出部
23A 合成部
221 画像特徴量抽出部
222 対称性評価部
223 中心検出部
224 物体領域検出部
23A 合成部

Claims (35)

  1. 画像を入力する画像入力部と、
    前記画像から所定の画像特徴量を抽出して特徴量抽出画像を生成する画像特徴量抽出部と、
    前記特徴量抽出画像に対して、処理対象である注目画素ごとに、前記注目画素の周辺画素の画像特徴量に基づいて、前記注目画素の周辺の画像領域の第1方向に関する対称性を評価するとともに、前記第1方向に関する対称幅を算出する対称性評価部と、
    前記注目画素について評価した対称性が所定の基準を上回る場合、当該注目画素を対称中心画素として検出する中心検出部と、
    前記対称中心画素の前記対称幅に基づいて前記画像に含まれる対称性を有する物体の前記第1方向に関する物体幅を検出し、前記対称中心画素の前記第1方向と直交する第2方向に関する分布に基づいて前記物体の前記第2方向に関する物体幅を検出する物体領域検出部と、
    を備える物体検出装置。
  2. 前記中心検出部は、前記第1方向に関する対称性の変化に極大を与える点を前記対称中心画素として検出する、
    請求項1に記載の物体検出装置。
  3. 前記対称性評価部は、各注目画素の周辺の画素の画像特徴量の近似性に基づき対称性を評価する、
    請求項1又は2に記載の物体検出装置。
  4. 前記対称性評価部は、各注目画素について、対称性が最も高くなる幅を、前記対称幅として検出する、
    請求項1から3のいずれかに記載の物体検出装置。
  5. 前記物体領域検出部は、
    前記対称中心画素の前記対称幅の最大値あるいは平均値を前記第1方向に関する物体幅として検出する、
    請求項1から4のいずれかに記載の物体検出装置。
  6. 前記物体領域検出部は、前記対称中心画素の各対称幅を前記第1方向に関する物体幅として検出する、
    請求項1から4のいずれかに記載の物体検出装置。
  7. 前記物体領域検出部は、前記第2方向に関して連続して配置された前記対称中心画素の一端および他端を、前記第2方向に関する物体幅の一端および他端として検出する、
    請求項1から6のいずれかに記載の物体検出装置。
  8. 前記対称性評価部は、前記第1方向を水平方向とする対称性および前記第1方向を垂直方向とする対称性を評価することにより、水平方向にのみ対称性を有する画素を特定し、
    前記中心検出部は、前記注目画素について評価した対称性が所定の基準を上回り、かつ、水平方向にのみ対称性を有すると判定された注目画素を対称中心画素として検出する、
    請求項1から7のいずれかに記載の物体検出装置。
  9. 前記対称性を有する物体として前記画像に含まれる車両を検出する、
    請求項1から8のいずれかに記載の物体検出装置。
  10. 対称性評価部は、
    前記特徴量抽出画像に対して、処理対象である注目画素ごとに、前記画像上の第1方向についての対称性を評価するための領域である対称性評価領域を前記第1方向と直交する第2方向の中心軸を中心として対称となるように設定し、前記対称性評価領域の大きさを変化させながら、前記対称性評価領域に含まれ、前記中心軸について対称となる位置に存在する画素群の画像特徴量の相関値に対して、前記画素群の画像特徴量による重み付けを行った値を導出することで、前記第1方向の対称性の度合いを示す対称性評価値を取得する、
    請求項1に記載の物体検出装置。
  11. 前記対称性評価部は、前記対称性評価値が第1方向についての対称性が最大であることを示す値である場合の前記対称性評価領域の大きさに基づいて、前記第1方向に関する対称幅を決定する、
    請求項10に記載の物体検出装置。
  12. 前記対称性評価部は、
    前記特徴量抽出画像上の画素値が0または正の値をとり、前記画像特徴量が大きい程、大きな値をとるものとし、前記特徴量抽出画像上の画素値の取り得る最大値以上の所定の値をPmaxとし、
    前記特徴量抽出画像上の座標(i,j)の注目画素の画素値をPとし、前記注目画素から前記第1方向の一方向である第1探索方向にk画素(kは自然数)離れた画素の画素値をPi−kとし、前記注目画素から前記第1方向の前記第1探索方向と逆方向である第2検索方向にk画素離れた画素の画素値をPi+kとし、
    前記対称性評価領域の前記第1方向の幅を2w+1とするとき、
    前記対称性評価領域の前記第1方向の幅2w+1(wは自然数)を変化させながら、
    に基づいて、前記注目画素の前記対称性評価値を算出する、
    請求項10または11に記載の物体検出装置。
  13. 前記対称性評価部は、
    前記特徴量抽出画像上の画素値が0または正の値をとり、前記画像特徴量が大きい程、大きな値をとるものとし、前記特徴量抽出画像上の画素値の取り得る最大値以上の所定の値をPmaxとし、
    前記特徴量抽出画像上の座標(i,j)の画素の画素値をPi,jとし、
    前記対称性評価領域の前記第1方向の幅を2w+1とし、
    前記対称性評価領域の前記第2方向の幅を2n+1とし、
    所定の重み付け関数をd(m)とするとき、
    前記対称性評価領域の前記第1方向の幅2w+1(wは自然数)を変化させながら、
    または、
    に基づいて、前記注目画素の前記対称性評価値を算出する、
    請求項10または11に記載の物体検出装置。
  14. 前記重み付け関数d(m)は、
    (1)d(m)=1、
    (2)d(m)=n+1−|m−j|、および
    (3)d(m)=c1×exp(−c2×(m−j)^2)
    (c1およびc2は、所定の正の係数)
    のいずれか一つである、
    請求項13に記載の物体検出装置。
  15. 前記対称性評価部は、
    前記SYM(i、j)の最大値maxSYMを取得するとともに、前記SYM(i、j)が最大値となるときの前記対称性評価領域の前記第1方向の幅2w+1に基づいて、前記対称幅を決定する、
    請求項12から14のいずれかに記載の物体検出装置。
  16. 前記対称性評価部は、
    前記画像の前記第1方向の画素数をH(Hは自然数)とすると、
    (1)前記注目画素の前記第1方向の位置を示す列iが(H/2)以下の場合、前記対称性評価領域の前記第1方向の幅の半分であるwを、1≦w≦(i−1)の範囲で変化させて、前記対称性評価値を算出し、
    (2)前記注目画素の第1方向の位置を示す列iが(H/2)より大きい場合、前記対称性評価領域の前記第1方向の幅の半分であるwを、1≦w≦(H−i)の範囲で変化させて、前記対称性評価値を算出する、
    請求項10から15のいずれかに記載の物体検出装置。
  17. 対称性評価部は、
    前記特徴量抽出画像に対して、処理対象である注目画素ごとに、前記画像上の第1方向についての対称性を評価するための領域である対称性評価領域を前記第1方向と直交する第2方向の所定の軸である中心軸を中心として対称となるように設定し、前記対称性評価領域の大きさを変化させながら、前記対称性評価領域に含まれ、前記中心軸について対称となる位置に存在する画素群の画像特徴量の相関値に対して、前記画素群の前記中心軸からの距離に基づく重み付けを行った値を導出することで、前記第1方向の対称性の度合いを示す対称性評価値を取得する、
    請求項1に記載の物体検出装置。
  18. 前記対称性評価部は、前記対称性評価値が第1方向についての対称性が最大であることを示す値である場合の前記対称性評価領域の大きさに基づいて、前記第1方向に関する対称幅を決定する、
    請求項17に記載の物体検出装置。
  19. 前記対称性評価部は、
    前記特徴量抽出画像上の画素値が0または正の値をとり、前記画像特徴量が大きい程、大きな値をとるものとし、前記特徴量抽出画像上の画素値の取り得る最大値以上の所定の値をPmaxとし、
    前記特徴量抽出画像上の座標(i,j)の注目画素の画素値をPとし、前記注目画素から前記第1方向の一方向である第1探索方向にk画素(kは自然数)離れた画素の画素値をPi−kとし、前記注目画素から前記第1方向の前記第1探索方向と逆方向である第2検索方向にk画素離れた画素の画素値をPi+kとし、
    前記対称性評価領域の第1方向の幅を2w+1とし、
    所定の閾値をThとし、前記注目画素からの距離kについての重み付け関数をc(k)とするとき、
    前記対称性評価領域の第1方向の幅2w+1(wは自然数)を変化させながら、
    に基づいて、前記注目画素の前記対称性評価値を算出する、
    請求項17に記載の物体検出装置。
  20. 前記対称性評価部は、前記SYM(i、j)の最大値maxSYMを取得するとともに、前記SYM(i、j)が最大値となるときの前記対称性評価領域の第1方向の幅2w+1に基づいて、前記対称幅を決定する、
    請求項19に記載の物体検出装置。
  21. 前記対称性評価部は、
    前記対称性評価領域に含まれ、前記中心軸について対称となる位置に存在する画素群の画像特徴量の相関値に対して、前記画素群の前記中心軸からの距離および前記画素群の画像特徴量に基づく重み付けを行った値を導出することで、前記第1方向の対称性の度合いを示す対称性評価値を取得することで、前記第1方向の対称性の度合いを示す対称性評価値を取得する、
    請求項17又は18に記載の物体検出装置。
  22. 前記対称性評価部は、
    前記特徴量抽出画像上の画素値が0または正の値をとり、前記画像特徴量が大きい程、大きな値をとるものとし、前記特徴量抽出画像上の画素値の取り得る最大値以上の所定の値をPmaxとし、
    前記特徴量抽出画像上の座標(i,j)の注目画素の画素値をPとし、前記注目画素から前記第1方向の一方向である第1探索方向にk画素(kは自然数)離れた画素の画素値をPi−kとし、前記注目画素から前記第1方向の前記第1探索方向と逆方向である第2検索方向にk画素離れた画素の画素値をPi+kとし、
    前記対称性評価領域の前記第1方向の幅を2w+1とし、
    所定の閾値をThとし、注目画素からの距離kについての重み付け関数をc(k)とするとき、
    前記対称性評価領域の前記第1方向の幅2w+1(wは自然数)を変化させながら、
    に基づいて、前記注目画素の前記対称性評価値を算出する、
    請求項21に記載の物体検出装置。
  23. 前記対称性評価部は、
    前記SYM(i、j)の最大値maxSYMを取得するとともに、前記SYM(i、j)が最大値となるときの前記対称性評価領域の前記第1方向の幅2w+1に基づいて、前記対称幅を決定する、
    請求項22に記載の物体検出装置。
  24. 前記対称性評価部は、
    前記特徴量抽出画像上の画素値が0または正の値をとり、前記画像特徴量が大きい程、大きな値をとるものとし、前記特徴量抽出画像上の画素値の取り得る最大値以上の所定の値をPmaxとし、
    前記特徴量抽出画像上の座標(i,j)の注目画素の画素値をPとし、前記注目画素から前記第1方向の一方向である第1探索方向にk画素(kは自然数)離れた画素の画素値をPi−kとし、前記注目画素から前記第1方向の前記第1探索方向と逆方向である第2検索方向にk画素離れた画素の画素値をPi+kとし、
    前記対称性評価領域の第1方向の幅を2w+1とし、
    前記対称性評価領域の前記第2方向の幅を2n+1とし、
    所定の閾値をThとし、前記注目画素からの距離kについての重み付け関数をc(k)とするとき、
    前記対称性評価領域の第1方向の幅2w+1(wは自然数)を変化させながら、
    または、
    に基づいて、前記注目画素の前記対称性評価値を算出する、
    請求項17または18に記載の物体検出装置。
  25. 前記対称性評価部は、
    前記SYM(i、j)の最大値maxSYMを取得するとともに、前記SYM(i、j)が最大値となるときの前記対称性評価領域の前記第1方向の幅2w+1に基づいて、前記対称幅を決定する、
    請求項24に記載の物体検出装置。
  26. 前記対称性評価部は、
    前記特徴量抽出画像上の画素値が0または正の値をとり、前記画像特徴量が大きい程、大きな値をとるものとし、前記特徴量抽出画像上の画素値の取り得る最大値以上の所定の値をPmaxとし、
    前記特徴量抽出画像上の座標(i,j)の注目画素の画素値をPとし、前記注目画素から前記第1方向の一方向である第1探索方向にk画素(kは自然数)離れた画素の画素値をPi−kとし、前記注目画素から前記第1方向の前記第1探索方向と逆方向である第2検索方向にk画素離れた画素の画素値をPi+kとし、
    前記対称性評価領域の第1方向の幅を2w+1とし、
    前記対称性評価領域の前記第2方向の幅を2n+1とし、
    所定の閾値をThとし、前記注目画素からの距離kについての重み付け関数をc(k)とするとき、
    前記対称性評価領域の第1方向の幅2w+1(wは自然数)を変化させながら、
    または、
    に基づいて、前記注目画素の前記対称性評価値を算出する、
    請求項17または18に記載の物体検出装置。
  27. 前記対称性評価部は、
    前記SYM(i、j)の最大値maxSYMを取得するとともに、前記SYM(i、j)が最大値となるときの前記対称性評価領域の前記第1方向の幅2w+1に基づいて、前記対称幅を決定する、
    請求項26に記載の物体検出装置。
  28. 前記重み付け関数c(k)は、kについての単調増加関数である、
    請求項19、20、22〜26のいずれかに記載の物体検出装置。
  29. 前記重み付け関数c(k)は、kについての単調減少関数である、
    請求項19、20、22〜26のいずれかに記載の物体検出装置。
  30. 前記対称性評価部は、
    前記画像の前記第1方向の画素数をH(Hは自然数)とすると、
    (1)前記注目画素の前記第1方向の位置を示す列iが(H/2)以下の場合、前記対称性評価領域の前記第1方向の幅の半分であるwを、1≦w≦(i−1)の範囲で変化させて、前記対称性評価値を算出し、
    (2)前記注目画素の前記第1方向の位置を示す列iが(H/2)より大きい場合、前記対称性評価領域の前記第1方向の幅の半分であるwを、1≦w≦(H−i)の範囲で変化させて、前記対称性評価値を算出する、
    請求項17から29のいずれかに記載の物体検出装置。
  31. 画像特徴量は、前記画像のエッジ強度である、
    請求項1から30のいずれかに記載の物体検出装置。
  32. 画像特徴量は、前記画像の特定の色成分の強度である、
    請求項1から30のいずれかに記載の物体検出装置。
  33. 画像を入力する画像入力ステップと、
    前記画像から所定の画像特徴量を抽出して特徴量抽出画像を生成する画像特徴量抽出ステップと、
    前記特徴量抽出画像に対して、処理対象である注目画素ごとに、画像上の第1方向に関する対称性を評価するとともに、前記第1方向に関する対称幅を算出する対称性評価ステップと、
    前記複数の評価画素の中で対称性が所定の基準を上回る画素を対称中心画素として検出する中心検出ステップと、
    前記対称中心画素の前記対称幅に基づいて前記画像に含まれる対称性を有する物体の前記第1方向に関する物体幅を検出し、前記対称中心画素の前記第1方向と直交する第2方向に関する分布に基づいて前記物体の前記第2方向に関する物体幅を検出する物体領域検出ステップと、
    を備える物体検出方法をコンピュータに実行させるためのプログラム。
  34. 対称性評価ステップは、
    前記特徴量抽出画像に対して、処理対象である注目画素ごとに、前記画像上の第1方向についての対称性を評価するための領域である対称性評価領域を前記第1方向と直交する第2方向の中心軸を中心として対称となるように設定し、前記対称性評価領域の大きさを変化させながら、前記対称性評価領域に含まれ、前記中心軸について対称となる位置に存在する画素群の画像特徴量の相関値に対して、前記画素群の画像特徴量による重み付けを行った値を導出することで、前記第1方向の対称性の度合いを示す対称性評価値を取得する、
    請求項33に記載の物体検出方法をコンピュータに実行させるためのプログラム。
  35. 対称性評価ステップは、
    前記特徴量抽出画像に対して、処理対象である注目画素ごとに、前記画像上の第1方向についての対称性を評価するための領域である対称性評価領域を前記第1方向と直交する第2方向の所定の軸である中心軸を中心として対称となるように設定し、前記対称性評価領域の大きさを変化させながら、前記対称性評価領域に含まれ、前記中心軸について対称となる位置に存在する画素群の画像特徴量の相関値に対して、前記画素群の前記中心軸からの距離に基づく重み付けを行った値を導出することで、前記第1方向の対称性の度合いを示す対称性評価値を取得する、
    請求項33に記載の物体検出方法をコンピュータに実行させるためのプログラム。
JP2012229095A 2012-03-28 2012-10-16 物体検出装置およびプログラム Expired - Fee Related JP6008367B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012229095A JP6008367B2 (ja) 2012-03-28 2012-10-16 物体検出装置およびプログラム
PCT/JP2013/056587 WO2013146206A1 (ja) 2012-03-28 2013-03-11 物体検出装置およびプログラム
CN201380014828.6A CN104205170B (zh) 2012-03-28 2013-03-11 物体检测装置及物体检测方法
EP13768099.7A EP2819094B1 (en) 2012-03-28 2013-03-11 Object detection apparatus and program
US14/382,654 US9514545B2 (en) 2012-03-28 2013-03-11 Object detection apparatus and storage medium

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012073854 2012-03-28
JP2012073854 2012-03-28
JP2012229095A JP6008367B2 (ja) 2012-03-28 2012-10-16 物体検出装置およびプログラム

Publications (3)

Publication Number Publication Date
JP2013228995A true JP2013228995A (ja) 2013-11-07
JP2013228995A5 JP2013228995A5 (ja) 2015-11-26
JP6008367B2 JP6008367B2 (ja) 2016-10-19

Family

ID=49259474

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012229095A Expired - Fee Related JP6008367B2 (ja) 2012-03-28 2012-10-16 物体検出装置およびプログラム

Country Status (5)

Country Link
US (1) US9514545B2 (ja)
EP (1) EP2819094B1 (ja)
JP (1) JP6008367B2 (ja)
CN (1) CN104205170B (ja)
WO (1) WO2013146206A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6393230B2 (ja) * 2015-04-20 2018-09-19 株式会社日立製作所 オブジェクト検出方法及び画像検索システム
CN110163221B (zh) * 2019-05-28 2022-12-09 腾讯科技(深圳)有限公司 在图像中进行物体检测的方法、装置、车辆、机器人
JP7254967B2 (ja) * 2019-12-23 2023-04-10 京セラ株式会社 情報処理装置、センシング装置、移動体及び情報処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10162118A (ja) * 1996-11-29 1998-06-19 Canon Inc 画像処理装置及び方法
JP2000039306A (ja) * 1998-07-22 2000-02-08 Nec Corp 車両領域検出装置及び車両領域検定方法
JP2004110543A (ja) * 2002-09-19 2004-04-08 Toyota Central Res & Dev Lab Inc 顔画像処理装置及びプログラム
JP2005157648A (ja) * 2003-11-25 2005-06-16 Toyota Motor Corp 運転者認識装置
JP2010176531A (ja) * 2009-01-30 2010-08-12 Secom Co Ltd 画像監視装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0356727A3 (en) * 1988-08-09 1991-06-05 Schlumberger Technologies Inc Symmetrie-based target position measurement
WO2003060827A1 (en) * 2002-01-18 2003-07-24 Kent Ridge Digital Labs Method and apparatus for determining symmetry in 2d and 3d images
CN101029824B (zh) * 2006-02-28 2011-10-26 东软集团股份有限公司 基于车辆特征的车辆定位方法和装置
US8331637B2 (en) * 2006-03-03 2012-12-11 Medic Vision-Brain Technologies Ltd. System and method of automatic prioritization and analysis of medical images
US8204278B2 (en) * 2006-11-28 2012-06-19 Fujitsu Limited Image recognition method
WO2008065717A1 (fr) * 2006-11-29 2008-06-05 Fujitsu Limited Système et procédé de détection de piéton
US8494297B2 (en) * 2007-04-05 2013-07-23 Adobe Systems Incorporated Automatic detection and mapping of symmetries in an image
JP4917961B2 (ja) 2007-05-22 2012-04-18 株式会社日本自動車部品総合研究所 車載用車両灯検出装置および車両用照明装置
JP2010177780A (ja) 2009-01-27 2010-08-12 Toyota Motor Corp 撮像装置
JP2010267257A (ja) 2009-04-16 2010-11-25 Panasonic Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP5316337B2 (ja) 2009-09-17 2013-10-16 日本電気株式会社 画像認識システム、方法、及び、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10162118A (ja) * 1996-11-29 1998-06-19 Canon Inc 画像処理装置及び方法
JP2000039306A (ja) * 1998-07-22 2000-02-08 Nec Corp 車両領域検出装置及び車両領域検定方法
JP2004110543A (ja) * 2002-09-19 2004-04-08 Toyota Central Res & Dev Lab Inc 顔画像処理装置及びプログラム
JP2005157648A (ja) * 2003-11-25 2005-06-16 Toyota Motor Corp 運転者認識装置
JP2010176531A (ja) * 2009-01-30 2010-08-12 Secom Co Ltd 画像監視装置

Also Published As

Publication number Publication date
US9514545B2 (en) 2016-12-06
US20150030251A1 (en) 2015-01-29
EP2819094A1 (en) 2014-12-31
CN104205170A (zh) 2014-12-10
JP6008367B2 (ja) 2016-10-19
CN104205170B (zh) 2018-03-09
WO2013146206A1 (ja) 2013-10-03
EP2819094B1 (en) 2018-04-18
EP2819094A4 (en) 2015-12-09

Similar Documents

Publication Publication Date Title
JP5840008B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2011530880A (ja) エッジ検出を使用して奥行きデータを生成するシステム及び方法
US20170256067A1 (en) Image processing device, image processing method, and solid-state imaging device
JP6818463B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5779089B2 (ja) エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法
JP5911062B2 (ja) 物体検出装置およびプログラム
JP6008367B2 (ja) 物体検出装置およびプログラム
JP5911063B2 (ja) 物体検出装置およびプログラム
CN109325909B (zh) 一种图像放大方法和图像放大装置
JP2015191369A (ja) 物体検出装置
US10217193B2 (en) Image processing apparatus, image capturing apparatus, and storage medium that stores image processing program
JP6140478B2 (ja) 物体検出装置、プログラムおよび集積回路
JP5446641B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6552248B2 (ja) 画像処理装置及び方法、撮像装置、並びにプログラム
JP5704069B2 (ja) 画像入力装置
JP6405638B2 (ja) 被写体検出装置、撮像装置及びプログラム
JP5605492B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6326840B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP2019079394A (ja) 画像処理方法及び前景領域取得方法
CN114882436A (zh) 一种目标检测方法、装置、电子设备及存储介质
JP2019036972A (ja) 被写体検出装置、撮像装置及びプログラム
JP2015001967A (ja) エッジ検出装置およびエッジ検出方法
JP2015148904A (ja) 被写体検出装置、撮像装置及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151006

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160907

R150 Certificate of patent or registration of utility model

Ref document number: 6008367

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees