JP2005346287A - 画像認識方法および装置 - Google Patents
画像認識方法および装置 Download PDFInfo
- Publication number
- JP2005346287A JP2005346287A JP2004163541A JP2004163541A JP2005346287A JP 2005346287 A JP2005346287 A JP 2005346287A JP 2004163541 A JP2004163541 A JP 2004163541A JP 2004163541 A JP2004163541 A JP 2004163541A JP 2005346287 A JP2005346287 A JP 2005346287A
- Authority
- JP
- Japan
- Prior art keywords
- image
- reference data
- sharpness
- image recognition
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】 認識対象物までの距離の変化に関わらず安定して認識対象物を認識する画像認識方法および装置を提供
【解決手段】 画像認識装置3は、カメラ5が撮影した画像を表す画像データを複数の部分領域画像に分割し、この部分領域画像毎に画像認識を行う。即ち、まず、部分領域画像の鮮明さの度合いを示す鮮明度を算出する。その後、部分領域画像を構成する各画素の特徴を表す特徴量を抽出し、この特徴量の分布を表す特徴データを生成する。そして、基準データ群17aの中から、算出された鮮明度に対応した、特徴量の分布を表す基準データを抽出し、この抽出した基準データと、生成した特徴データとを比較し、この比較結果に基づいて、部分領域画像中に所定対象物が示されているか否かを判定する。つまり、鮮明度に応じて最適な基準データを採用することができるため、所定対象物までの距離が変化しても、安定して対象物を認識することができる。
【選択図】図1
【解決手段】 画像認識装置3は、カメラ5が撮影した画像を表す画像データを複数の部分領域画像に分割し、この部分領域画像毎に画像認識を行う。即ち、まず、部分領域画像の鮮明さの度合いを示す鮮明度を算出する。その後、部分領域画像を構成する各画素の特徴を表す特徴量を抽出し、この特徴量の分布を表す特徴データを生成する。そして、基準データ群17aの中から、算出された鮮明度に対応した、特徴量の分布を表す基準データを抽出し、この抽出した基準データと、生成した特徴データとを比較し、この比較結果に基づいて、部分領域画像中に所定対象物が示されているか否かを判定する。つまり、鮮明度に応じて最適な基準データを採用することができるため、所定対象物までの距離が変化しても、安定して対象物を認識することができる。
【選択図】図1
Description
本発明は、所定の対象物を認識する画像認識方法および装置に関する。
近年、自動車における安全運転支援やヒューマンインターフェースを実現するために、画像認識が重要となってきている。
このような画像認識に関する技術として、認識対象(例えば、顔)を、部品(例えば、目,鼻,口など)に分解して、その部品毎に認識を行うことで、形状や色の変化に対して、認識精度を向上させる技術が開示されている(例えば、特許文献1参照。)。
特開平11−283036号公報
このような画像認識に関する技術として、認識対象(例えば、顔)を、部品(例えば、目,鼻,口など)に分解して、その部品毎に認識を行うことで、形状や色の変化に対して、認識精度を向上させる技術が開示されている(例えば、特許文献1参照。)。
ところで、上記特許文献1の技術では、画像認識による認識対象を顔に限定しているために、認識対象物までの距離は数メートル以内と比較的小さい。即ち、認識対象物までの距離の変化に対して認識対象物の見え方はほとんど変化しない。つまり、距離による見え方の変化を考慮する必要がなく、安定して認識対象物(顔)を認識することができる。
しかし、車両認識に適用する場合には、自車両から前方100メートル程度までの間に存在する車両(前方車両)の認識が望まれる。即ち、認識対象物(前方車両)までの距離の変化が大きいため、距離に応じて認識対象物(前方車両)の見え方が大きく変化する。このため、この見え方の変化に応じて、認識対象物(前方車両)を認識する精度が大きく変化するという問題が生じる。
本発明は、こうした問題に鑑みなされたものであり、認識対象物までの距離の変化に関わらず安定して認識対象物を認識する画像認識方法および装置を提供することを目的とする。
上記目的を達成するためになされた第1発明の画像認識方法では、まず、第1ステップにおいて、部分領域画像の鮮明さの度合いを示す鮮明度を算出する。続く第2ステップにおいて、部分領域画像から、この部分領域画像を構成する各画素の特徴を表す特徴量を抽出し、この特徴量の分布を表す特徴データを生成する。更に第3ステップにおいて、予め設定された所定対象物が示され且つ所定対象物の鮮明度が互いに異なる複数の基準画像のそれぞれについて特徴量の分布を表す基準データを予め生成しておくことにより用意された基準データ群の中から、第1ステップにより算出された鮮明度に対応した基準データを選択し、この選択した基準データと、第2ステップにより生成された特徴データとを比較し、この比較結果に基づいて、部分領域画像中に所定対象物が示されているか否かを判定する。
即ち、所定対象物を認識するための、特徴データと基準データとの比較において、鮮明度に応じて最適な基準データを採用することができる。このため、第1発明の画像認識方法によれば、所定対象物までの距離が変化しても、安定して対象物を認識することができる。なぜならば、所定対象物までの距離を表す指標として、鮮明度を用いることができるからである。これは、人間が物体(例えば、車両)を視覚で認識する場合を例にすると、遠くに位置する程その車両が不鮮明に見えて、その物体が車両であるか否かの判断が困難になることからも明らかである。
但し、天候(晴れ,曇り,雨など)や時刻(昼,夕,夜など)等といった、入力画像が撮影される撮影環境によっても鮮明度は変化することがあるため、同じ鮮明度であっても、撮影環境に応じて異なる基準データを選択することが望ましい。
次に第2発明の画像認識装置では、予め設定された所定対象物が示され且つ所定対象物の鮮明度が互いに異なる複数の基準画像のそれぞれについて特徴量の分布を表す基準データを予め生成しておくことにより用意された基準データ群を記憶する第1記憶手段を備え、鮮明度算出手段は、部分領域画像の鮮明さの度合いを示す鮮明度を算出する。また、特徴量抽出手段は、部分領域画像から、部分領域画像を構成する各画素の特徴を表す特徴量を抽出し、この特徴量の分布を表す特徴データを生成する。そして、第1判定手段は、鮮明度算出手段により算出された鮮明度の値に基づいて、鮮明度に対応した基準データを第1記憶手段から抽出し、この抽出した基準データと、特徴量抽出手段により抽出された特徴データとを比較し、この比較結果に基づいて、部分領域画像中に前記所定対象物が示されているか否かを判定する。
つまり、第2発明の画像認識装置は、第1発明の方法を実現する装置であり、従って第1発明と同様の効果を得ることができる。
なお、特徴量としては、例えば色情報を用いることができる。この色情報としては、例えば周知のYUV色空間,RGB色空間で表されたものがある。
なお、特徴量としては、例えば色情報を用いることができる。この色情報としては、例えば周知のYUV色空間,RGB色空間で表されたものがある。
また、鮮明度算出手段は、部分領域画像に対して2次元フーリエ変換し、この変換により得られる空間周波数分布に基づいて鮮明度を算出するように構成すればよい。
また、鮮明度算出手段は、部分領域画像に対してエッジ強調処理を行い、エッジ強調処理された画像に含まれるエッジの量に基づいて鮮明度を算出するように構成してもよい。
また、鮮明度算出手段は、部分領域画像に対してエッジ強調処理を行い、エッジ強調処理された画像に含まれるエッジの量に基づいて鮮明度を算出するように構成してもよい。
次に第3発明の画像認識装置では、予め設定された所定対象物が示され且つ所定対象物の物体距離が互いに異なる複数の基準画像のそれぞれについて特徴量の分布を表す基準データを予め生成しておくことにより用意された基準データ群を記憶する第2記憶手段を備え、距離測定手段は、部分領域画像の中に示される物体と当該画像認識装置との間の距離である物体距離を測定する。また、特徴量抽出手段は、部分領域画像から、この部分領域画像を構成する各画素の特徴を表す特徴量を抽出し、この特徴量の分布を表す特徴データを生成する。そして、第2判定手段は、距離測定手段により測定された物体距離に基づいて、物体距離に対応した基準データを第2記憶手段から抽出し、この抽出した基準データと、特徴量抽出手段により抽出された特徴データとを比較し、この比較結果に基づいて、部分領域画像中に前記所定対象物が示されているか否かを判定する。
即ち、所定対象物を認識するための、特徴データと基準データとの比較において、物体距離に応じて最適な基準データを採用することができる。このため、第3発明の画像認識装置によれば、所定対象物までの距離が変化しても、安定して対象物を認識することができる。
(第1実施形態)
以下、画像認識装置を利用して構成された画像認識システムを本発明の第1実施形態として説明する。
以下、画像認識装置を利用して構成された画像認識システムを本発明の第1実施形態として説明する。
第1実施形態の画像認識システム1は車両に搭載されており、図1に示すように、運転者がフロントウィンドウ越しに見ることができる範囲の前景を撮影し、撮影した画像を表す画像データを生成するカメラ5と、カメラ5によって生成された画像データについて画像認識処理を行う画像認識装置3とから構成されている。
画像認識装置3は、所定の処理プログラムに基づいて処理を実行するCPU11と、種々の制御プログラムが格納されたROM13と、種々のデータを格納するRAM15と、CPU11が画像認識処理を行うために利用する基準データ群17aを記憶するデータベース17と、操作者が操作するための操作キー21a及び操作キー21aの操作手順を表示する表示パネル21bからなるユーザインターフェース(以降、ユーザI/Fとする)21と、カメラ5,データベース17及びユーザI/F21が接続され、CPU11及びRAM15との間で信号及びデータの入出力を行う入出力部19とを備えている。
尚、データベース17は、例えばメモリカードやハードディスク等の書き込み可能な記憶媒体が用いられる。
そして、データベース17には、車種の異なる所定車数N1(本実施形態ではN1=5)の車両のそれぞれについて、図6に示すように、距離を変えて撮影された所定撮影数N2(本実施形態ではN2=6)の画像データ(以降、基準データ作成用画像データと称す)が予め記憶されている(図6では、1台の車両についてのみ詳細に示している)。この基準データ作成用画像データは、画像認識を行うための基準データ群を作成するために利用される。尚、基準データ作成用画像データは、カメラ5で撮影された画像から車領域を矩形で抜き出したもので、抜き出した車画像のサイズが等しくなるように正規化されている。本実施形態では、抜き出した車画像を縦256×横256画素の画像データとなるように正規化を行った。したがって、距離の遠い画像ほど大きく引き伸ばされた画像となる。
そして、データベース17には、車種の異なる所定車数N1(本実施形態ではN1=5)の車両のそれぞれについて、図6に示すように、距離を変えて撮影された所定撮影数N2(本実施形態ではN2=6)の画像データ(以降、基準データ作成用画像データと称す)が予め記憶されている(図6では、1台の車両についてのみ詳細に示している)。この基準データ作成用画像データは、画像認識を行うための基準データ群を作成するために利用される。尚、基準データ作成用画像データは、カメラ5で撮影された画像から車領域を矩形で抜き出したもので、抜き出した車画像のサイズが等しくなるように正規化されている。本実施形態では、抜き出した車画像を縦256×横256画素の画像データとなるように正規化を行った。したがって、距離の遠い画像ほど大きく引き伸ばされた画像となる。
更に、基準データ作成用画像データには、車種と距離に応じて、車種識別番号cと距離識別番号dが付されている。車種識別番号cは、基準データ作成用画像データにおける車種を示す番号であり、1〜5の整数値をとる。また、距離識別番号dは、基準データ作成用画像データにおける撮影距離を示す番号であり、撮影距離が短い順から1,2,・・・,6の整数値をとる。以降、車種識別番号c,距離識別番号dに対応した基準データ作成用画像データを、画像データ(c,d)と称す。
また、ユーザI/F21は、操作キー21aに対する所定の操作に基づいて、基準データ群の作成開始を指示する基準データ作成指令をCPU11へ出力するように構成される。
このように構成された画像認識装置3において、CPU11は、基準データ群17aを作成する基準データ作成処理と、基準データ群17aに基づいて画像認識を行う画像認識処理とをそれぞれ独立に実行する。なお、ここで車種識別番号とは、基準データ群を生成するために用いるものであって、生成した基準データ群17aを用いて車種の認識を行うものではない。
まず、基準データ作成処理の手順を、図2及び図3を用いて説明する。図2は基準データ作成処理の前半部分、図3は基準データ作成処理の後半部分を表すフローチャートである。尚、この基準データ作成処理は、車両のイグニッションキーがキーシリンダに挿入され、上記キーがオンに変更された状態である間、繰り返し実行される。
この基準データ作成処理においては、CPU11は、まずS10にて、ユーザI/F21を介して基準データ作成指令の入力があったか否かを判断する。ここで、基準データ作成指令の入力がない場合には(S10:NO)、当該基準データ作成処理を終了する。一方、基準データ作成指令の入力があった場合には(S10:YES)、S20にて、車種識別番号cを表す変数Pc,距離識別番号dを表す変数Pd及びオブジェクト識別番号k(後述)を表す変数Pkを、それぞれ1に設定する。
次にS30にて、変数Pcで示される車種識別番号c,変数Pdで示される距離識別番号dに対応した画像データ(c,d)をデータベース17から取得し、S40にて、S30で取得した画像データ(c,d)の鮮明度を計算する。即ち、画像データ(c,d)に対して、2次元の高速フーリエ変換を行い、この変換により得られる空間周波数分布に基づいて鮮明度を計算する。
以下に、鮮明度の具体的な計算方法を図7に基づいて説明する。即ち、例えば画像データ(c,d)として図7(a)に示す画像D1を取得したとすると、この画像D1を示す画像データに対して、2次元の高速フーリエ変換(以降、FFTとも称す。即ち、Fast Fourier Transformの略)を行うことにより、図7(b)に示す空間周波数分布D2が得られる。尚、空間周波数分布D2の横軸は画像D1の横方向における色情報の強度変化、縦軸は縦方向における色情報の強度変化を示している。即ち、空間周波数分布D2において、空間周波数分布D2の中心(即ち、横軸と縦軸との交点)から離れるほど高い空間周波数の成分(高周波成分)が配置される。つまり、中心から離れた位置に分布している成分が多いほど、強度変化が大きい部分が多く、画像が鮮明であることを表す。
その後、空間周波数分布D2の中心からの距離に対しての空間周波数成分の頻度の分布を求めると、図7(c)に示す頻度分布D3が得られる。尚、頻度分布D3の横軸はFFTの次数である。この次数は、高速フーリエ変換における基本周波数の倍数であり、次数が大きいほど空間周波数が高いことを示す。その後に、この頻度分布D3を正規分布で近似すると正規分布D4が得られる。そして、この正規分布D4の分散値を鮮明度とすることにより、鮮明度が計算される。つまり、鮮明度は、その値が大きいほど高周波成分を多く含んでいることを示している。
次にS50にて、画像データ(c,d)から4つのオブジェクトを抽出する。オブジェクトとは、前方車両において共通して現れる特徴的な領域であり、リアウィンドウ,右テールランプ,左テールランプ及びナンバープレートの4つから構成されている。更に、これら4つのオブジェクトはオブジェクト間で特定の位置関係(以降、特定位置関係と称す)を有している。即ち、車両においては一般的に、リアウィンドウの下方には、右テールランプ及び左テールランプが相対して配置され、更に右テールランプ及び左テールランプの下方にはナンバープレートが配置されている。
つまり、特定位置関係に基づいて、画像D11から、図8(a)に示すように、矩形状のリアウィンドウ・オブジェクトO1,右テールランプ・オブジェクトO2,左テールランプ・オブジェクトO3及びナンバープレート・オブジェクトO4を抽出する。尚、オブジェクト間の特定位置関係に基づいてオブジェクトを抽出する手法は周知であるので(例えば、特許文献1参照。)、説明を省略する。
そしてS60にて、S50で抽出したリアウィンドウ・オブジェクトO1,右テールランプ・オブジェクトO2,左テールランプ・オブジェクトO3及びナンバープレート・オブジェクトO4それぞれについて、色情報(YUV)ヒストグラムを算出する。尚、YUVは色を表す形式の一種で周知であるため、説明を省略する。
即ち、オブジェクトを表す画像データに対して、Y,U,Vそれぞれの成分についてのヒストグラム(Yヒストグラム,Uヒストグラム,Vヒストグラム)を算出する。つまり、図8(b)に示すように、横軸をY,U,Vの何れか1つの強度、縦軸を画素数としたヒストグラムが生成される。図8(b)はY,U,Vヒストグラムを示すイメージ図である。尚、Y,U,Vヒストグラム3つをまとめてYUVヒストグラムと称す。そして、生成したヒストグラムをRAM15に記憶する。
その後S70にて、距離識別番号dを表す変数Pdの値が所定撮影数N2以上であるか否かを判断する。ここで、距離識別番号dを表す変数Pdの値が所定撮影数N2未満である場合には(S70:NO)、S80にて距離識別番号dを表す変数Pdの値を1加算し、その後S20に移行して上述の処理を繰り返す。一方、距離識別番号dを表す変数Pdの値が所定撮影数N2以上である場合には(S70:YES)、S90に移行する。
そしてS90に移行すると、変数Pcで示される車種識別番号cが付された画像データ(c,d)について、オブジェクト毎に、例えば鮮明度m=22,24,26,28,30,32のYUVヒストグラムを、S60で算出したYUVヒストグラムで線形補間することにより求める。即ち、例えば、同一車種で撮影距離が異なる6つの画像の鮮明度、即ち距離識別番号d=1,2,3,4,5,6における鮮明度がそれぞれ、「32.25」,「30.79」,「28.58」,「26.99」,「23.63」,「21.41」であるとすると、例えば鮮明度m=22のYUVヒストグラムを求めるためには、鮮明度21.41のYUVヒストグラムと鮮明度23.63のYUVヒストグラムとで線形補間すればよい。そして、線形補間により求めた鮮明度m=22,24,26,28,30,32のYUVヒストグラムをRAM15に記憶する。なお、車種識別番号c,オブジェクト識別番号k,鮮明度mのYUVヒストグラムを以降、YUVヒストグラム(c,k,m)と表記する(c=1,2,3,4,5、k=1,2,3,4、m=22,24,26,28,30,32)。また、オブジェクト識別番号kはオブジェクトを識別するための番号であり、オブジェクト識別番号k=1,2,3,4はそれぞれ、リアウィンドウ,右テールランプ,左テールランプ,ナンバープレートを示す。
その後S100にて、車種識別番号cを表す変数Pcの値が所定車数N1以上であるか否かを判断する。ここで、車種識別番号cを表す変数Pcの値が所定車数N1未満である場合には(S100:NO)、S110にて車種識別番号cを表す変数Pcの値を1加算し、その後S20に移行して上述の処理を繰り返す。一方、車種識別番号cを表す変数Pcの値が所定車数N1以上である場合には(S100:YES)、S120に移行する。
そしてS120に移行すると、同じオブジェクトで且つ同じ鮮明度mであるYUVヒストグラムを全車種について加算する。例えば、リアウィンドウ・オブジェクトO1で鮮明度22のYUVヒストグラムは、車種識別番号c=1〜5毎に1つずつ存在するため、この5つのYUVヒストグラムを加算する。この加算したYUVヒストグラムを以降、統合YUVヒストグラムと称す。つまり、S120の処理により、4つのオブジェクト毎に、鮮明度mに応じて6つの統合YUVヒストグラムが生成される。なお、オブジェクト識別番号k,鮮明度mの統合YUVヒストグラムを以降、統合YUVヒストグラム(k,m)と表記する(k=1,2,3,4、m=22,24,26,28,30,32)。
次にS130にて、統合YUVヒストグラムの結果から、3次元の混合ガウス分布(以降、GMMとも称す。即ち、Gaussian Mixtured Modelの略)近似を行い、尤度を計算する。
以下に、GMM近似及び尤度の説明を行う。まず、確率密度関数p(x;Θ) が、下記の式(1)に示すように、r 個の確率密度分布p(x; θj)(j=0,1,2…) の重み付き線形結合によってモデル化できるとする。ここでΘは、Θ = (θ1, θ2, …,θr) と表されるパラメータベクトルであり、θj は確率度数分布p(x; θj )のパラメータである。このような分布は混合分布と呼ばれる。
そして、確率密度分布p(x; θj ) は、下記の式(2)に示すように、平均uj,共分散行列Σj = σj×I のガウス分布で表される。尚、式(2)で表される分布はGMM(Gaussian Mixtured Model)と呼ばれている。
また,式(1)中の重み係数ωj は混合パラメータと呼ばれ、下記の式(3)に示す条件を満たす。
同様に各確率密度分布p(x; θj) は、下記の式(4)に示す条件を満たす。
推定すべきパラメータは確率密度分布のパラメータΘ と重み係数Ω = (ω1, ω2, ・・・ ωr) となる。混合ガウス分布のパラメータ推定法には周知のEMアルゴリズムを用い、下記の式(5) で表現される尤度(Likelihood) が最大になるように推定を行う。即ち、尤度が最大になる時のパラメータΘ 及び重み係数Ωを算出する。尚、尤度とは対象としている観測データの分布が、ある確率論モデルにどの程度一致しているかを表す尺度である。ここで、n 個のパターンを含む学習パターン集合をX = (x1, x2, ・・・ ,xn) とする。
つまり、オブジェクト及び鮮明度mが異なる24個の統合YUVヒストグラムについて、パラメータΘ と重み係数Ωを算出する。そして、このパラメータΘ と重み係数Ωで表されるGMM分布をそれぞれのオブジェクト及び鮮明度における基準分布として、データベース17内の基準データ群17aに記憶する。なお、オブジェクト識別番号k,鮮明度mの基準分布を以降、基準分布(k,m)と表記する(k=1,2,3,4、m=22,24,26,28,30,32)。
更にS130では、統合YUVヒストグラム(k,m)の基準分布(k,m)に対する尤度を式(5)に基づいて算出し、データベース17内の基準データ群17aに記憶する。なお、オブジェクト識別番号k,鮮明度mにおける、統合YUVヒストグラム(k,m)の基準分布(k,m)に対する尤度を以降、尤度X(k,m)と表記する(k=1,2,3,4、m=22,24,26,28,30,32)。つまり、S130の処理により、4つのオブジェクト毎に、鮮明度mに応じて6つの基準分布(k,m)及び尤度X(k,m)が算出される。
次にS140にて、オブジェクト識別番号kを表す変数Pkを1に、鮮明度mを表す変数Pmを22に設定する。その後S150にて、車種識別番号c=1〜5の5つの車種において、変数Pkで示されるオブジェクト識別番号k,及び変数Pmで示される鮮明度mのYUVヒストグラム(c,k,m)についての基準分布(k,m)に対する尤度を式(5)に基づいて算出する。なお、YUVヒストグラム(c,k,m)についての基準分布(k,m)に対する尤度を以降、尤度Y(c,k,m)と表記する(c=1,2,3,4,5、k=1,2,3,4、m=22,24,26,28,30,32)。つまり、S140の処理により、車種識別番号cの異なる5つの尤度Y(c,k,m)が算出される。
そしてS160にて、S150にて算出された5つの尤度Y(c,k,m)それぞれについて尤度比を算出する。なお、この尤度比は、Y(c,k,m)/尤度X(k,m)で計算される。
次にS170にて、S150にて算出された5つの尤度比の最大値と最小値を求め、その後、この最大値及び最小値を、オブジェクト識別番号k,鮮明度mにおける尤度比上限値(k,m)、及び尤度比下限値(k,m)に設定する。そして、この尤度比上限値(k,m)及び尤度比下限値(k,m)をデータベース17内の基準データ群17aに記憶する。
その後S180にて、オブジェクト識別番号kを表す変数Pkの値が総オブジェクト数kmax(本実施形態ではkmax=4)以上であるか否かを判断する。ここで、オブジェクト識別番号kを表す変数Pkの値が総オブジェクト数kmax未満である場合には(S180:NO)、S190にてオブジェクト識別番号kを表す変数Pkの値を1加算し、その後S150に移行して上述の処理を繰り返す。一方、オブジェクト識別番号kを表す変数Pkの値が総オブジェクト数kmax以上である場合には(S180:YES)、S200に移行する。
そしてS200に移行すると、鮮明度mを表す変数Pmの値が鮮明度最大値mmax(本実施形態ではmmax=32)以上であるか否かを判断する。ここで、鮮明度mを表す変数Pmの値が鮮明度最大値mmax未満である場合には(S200:NO)、S210にて鮮明度mを表す変数Pmの値を2加算し、その後S150に移行して上述の処理を繰り返す。一方、鮮明度mを表す変数Pmの値が鮮明度最大値mmax以上である場合には(S200:YES)、当該基準データ作成処理を終了する。
即ち、基準データ作成処理によって、基準分布(k,m),尤度X(k,m),尤度比上限値(k,m)及び尤度比下限値(k,m)がデータベース17内の基準データ群17aに記憶される(k=1,2,3,4、m=22,24,26,28,30,32)。つまり、基準データ群17aは、基準分布(k,m),尤度X(k,m),尤度比上限値(k,m)及び尤度比下限値(k,m)から構成される。
次に、図4及び図5を用いて、CPU11が実行する画像認識処理の手順について説明する。図4は画像認識処理の前半部分、図5は画像認識処理の後半部分を表すフローチャートである。尚、この画像認識処理は、車両のイグニッションキーがキーシリンダに挿入され、上記キーがオンに変更された状態である間、繰り返し実行される。
この画像認識処理においては、CPU11は、まずS310にて、カメラ5が撮影した画像データをカメラ5から取得する。そしてS320にて、S310で取得した画像データにおいて、輝度がほぼ等しい領域に分割する(領域分割)。ここでは、n個の領域に分割されたとして、以下の説明を行う(以降、このnを総分割数nとも称す)。更にS320では、分割したn個の領域を識別するために1〜nまでの整数の番号を領域識別番号sとして付す。次にS330にて、領域識別番号sを表す変数Psを1に設定しS340に移行する。
そしてS340に移行すると、変数Psによって示される領域識別番号sで識別される領域sを選択し、その後S350にて、選択した領域sの鮮明度を計算する。即ち、選択した領域を表す画像データに対して、S40と同様にして2次元の高速フーリエ変換し、この変換により得られる空間周波数分布に基づいて鮮明度を計算する。
次にS360にて、S340で選択された領域から、S50と同様にして、4つのオブジェクト、即ちリアウィンドウ・オブジェクトO1,右テールランプ・オブジェクトO2,左テールランプ・オブジェクトO3及びナンバープレート・オブジェクトO4を抽出する。更にS360では、抽出したオブジェクトを識別するために1〜4までの整数の番号をオブジェクト識別番号kとして付す。即ち、オブジェクト識別番号k=1,2,3,4はそれぞれ、リアウィンドウ,右テールランプ,左テールランプ,ナンバープレートを示す。その後S370にて、オブジェクト識別番号kを表す変数Pkを1に設定し、S380に移行する。
そしてS380に移行すると、変数Pkによって示されるオブジェクト識別番号kで識別されるオブジェクトを選択し、その後S390にて、S380で選択したオブジェクトについてのYUVヒストグラムを算出する。
次にS400にて、S350にて計算された鮮明度における基準分布(以降、補間基準分布と称す)を線形補間により算出する。即ち、例えば鮮明度24.5の基準分布を求めるためには、鮮明度24の基準分布(k,24)と鮮明度26の基準分布(k,26)とで線形補間すればよい。更にS400では、S390で算出されたYUVヒストグラムのこの補間基準分布に対する尤度を算出する。なお、この尤度を以降、尤度Zと称す。
そしてS410にて、S350にて計算された鮮明度における尤度X(以降、補間尤度と称す)を線形補間により算出する。即ち、例えば鮮明度24.5の補間尤度を求めるためには、鮮明度24の尤度X(k,24)と鮮明度26の尤度X(k,26)とで線形補間すればよい。更にS410では、S400で算出された尤度Zの、補間尤度に対する尤度比(以降、認識用尤度比と称す)を算出する。即ち、認識用尤度比は、(尤度Z/補間尤度)で計算される。
次にS420にて、S350にて計算された鮮明度における尤度比上限値(以降、補間尤度比上限値と称す)及び尤度比下限値(以降、補間尤度比下限値と称す)を線形補間により算出する。即ち、例えば鮮明度24.5の尤度比上限値を求めるためには、鮮明度24の尤度比上限値(k,24)と鮮明度26の尤度比上限値(k,26)とで線形補間すればよい。また、補間尤度比下限値も同様にして求められる。更にS420では、S410で算出された認識用尤度比が、補間尤度比下限値以上且つ補間尤度比上限値以下の範囲にあるか否かを判断する。ここで、補間尤度比下限値以上且つ補間尤度比上限値以下の範囲にある場合には(S420:YES)、S430にて、変数Pkによって示されるオブジェクト識別番号kで識別されるオブジェクトの、認識結果を示す第kオブジェクト認識フラグF(k)をセットして、S450に移行する。一方、補間尤度比下限値以上且つ補間尤度比上限値以下の範囲にない場合には(S420:NO)、S440にて第kオブジェクト認識フラグF(k)をクリアして、S450に移行する。
そしてS450に移行すると、オブジェクト識別番号kを表す変数Pkの値が総オブジェクト数kmax以上であるか否かを判断する。ここで、オブジェクト識別番号kを表す変数Pkの値が総オブジェクト数kmax未満である場合には(S450:NO)、S460にてオブジェクト識別番号kを表す変数Pkの値を1加算し、その後S380に移行して上述の処理を繰り返す。一方、オブジェクト識別番号kを表す変数Pkの値が総オブジェクト数kmax以上である場合には(S450:YES)、S470にて、第kオブジェクト認識フラグF(k)の全てがセットされているか否かを判断する。ここで、第kオブジェクト認識フラグF(k)の全てがセットされている場合には(S470:YES)、「領域s内に先行車両が示されている」と判定し、S500に移行する。一方、第kオブジェクト認識フラグF(k)の全てがセットされていない場合には(S470:NO)、「領域s内に先行車両が示されていない」と判定し、S500に移行する。
そしてS500に移行すると、領域識別番号sを表す変数Psの値が総分割数n以上であるか否かを判断する。ここで、領域識別番号sを表す変数Psの値が総分割数n未満である場合には(S500:NO)、S510にて領域識別番号sを表す変数Psの値を1加算し、その後S340に移行して上述の処理を繰り返す。一方、領域識別番号sを表す変数Psの値が総分割数n以上である場合には(S500:YES)、当該画像認識処理を終了する。
以上説明したように、第1実施形態の画像認識システム1によれば、先行車両を認識するための、YUVヒストグラムと基準分布との比較において、鮮明度に応じて最適な基準分布を採用することができる。このため、先行車両までの距離が変化しても、安定して先行車両を認識することができる。なぜならば、先行車両までの距離を表す指標として、鮮明度を用いることができるからである。これは、人間が物体(例えば、車両)を視覚で認識する場合を例にすると、遠くに位置する程その車両が不鮮明に見えて、その物体が車両であるか否かの判断が困難になることからも明らかである。
以上説明した第1実施形態において、画像認識装置3は本発明における画像認識装置、図4におけるS350の処理は本発明における鮮明度算出手段、図4におけるS390の処理は本発明における特徴量抽出手段、データベース17は本発明における第1記憶手段、図4,図5におけるはS400〜S490の処理は本発明における第1判定手段である。
また、領域識別番号sで識別される領域sを表す画像データは本発明における部分領域画像、色情報(YUV)は本発明における特徴量、S390の処理で算出されるYUVヒストグラムは本発明における特徴データ、先行車両は本発明における所定対象物、基準データ作成用画像データは本発明における基準画像、基準分布(k,m)は本発明における基準データ、基準データ群17aは本発明における基準データ群である。
次に本実施形態の画像認識システム1を用いて画像認識を行った結果を実施例として以下に説明する。
まず本実施例に用いた入力画像を図9に示す。入力画像は、基準データ作成用画像データのうちの1つである作成用画像(図9(a)参照),基準データ作成用画像データと色分布が類似している車を示す認識用画像1(図9(b)参照),基準データ作成用画像データと色分布が異なる車を示す認識用画像2(図9(c)参照),車以外を示す認識用画像3(図9(d)参照)の4 枚である。尚、認識用画像3には、道路走行中に見られるテールランプ以外の赤い物体の例として、赤信号が点灯している信号機画像を採用した。そして、この信号機画像について、他の車画像と同等の処理を行い、更に各オブジェクトを平均的な位置・サイズで切り取り画像認識処理を行った。
まず本実施例に用いた入力画像を図9に示す。入力画像は、基準データ作成用画像データのうちの1つである作成用画像(図9(a)参照),基準データ作成用画像データと色分布が類似している車を示す認識用画像1(図9(b)参照),基準データ作成用画像データと色分布が異なる車を示す認識用画像2(図9(c)参照),車以外を示す認識用画像3(図9(d)参照)の4 枚である。尚、認識用画像3には、道路走行中に見られるテールランプ以外の赤い物体の例として、赤信号が点灯している信号機画像を採用した。そして、この信号機画像について、他の車画像と同等の処理を行い、更に各オブジェクトを平均的な位置・サイズで切り取り画像認識処理を行った。
それぞれの入力画像について、オブジェクト毎(リアウィンドウ・オブジェクトO1,右テールランプ・オブジェクトO2,左テールランプ・オブジェクトO3及びナンバープレート・オブジェクトO4)に算出された尤度比(S410で算出される尤度比)を図10〜図13 に示す。図10,図11,図12及び図13はそれぞれ、作成用画像,認識用画像1,認識用画像2及び認識用画像3における結果を示す。また、図の縦軸は尤度比、横軸は鮮明度である。そして、尤度比を破線で、上限値及び下限値を実線で示す。
図10〜図13 に示すように、全ての入力画像において、どのオブジェクトについても鮮明度が高いほど尤度比が小さくなっている。これは、鮮明度が高いほどオブジェクトのデータが幅広い帯域でデータを含み、統合YUVヒストグラムも幅広い帯域に様々な要素が含まれた分布になるためである。つまり、統合YUVヒストグラムに基づいて算出された基準分布に、入力画像データとは一致しない分布が多く含まれるためであると考えられる。一方、鮮明度が低いほど尤度比が大きくなっている。これは、鮮明度が低くなるとオブジェクト内の色分布の広がりは一様になり、全ての入力画像においてオブジェクト内の分布帯域が大きく異なることがないためであると考えられる。
また認識用画像1については、作成用画像と比較して車の撮影環境・色の分布などが類似しているため、ほぼ同等の認識結果が得られている。即ち、全てのオブジェクトに対する尤度比は上限値と下限値との間に含まれている.
また認識用画像2については、リアウィンドウが太陽光を反射しており、認識用画像2の色分布は作成用画像と異なる。このため、リアウィンドウの尤度比が下限値より小さくなる場合がある。また、作成用画像では太陽光が画像上の左側から差しているため、作成用画像における右テールランプは左テールランプに対して全体的に暗いものであるのに対して、認識用画像2では右テールランプにおいても光が差し込んでいるため、認識用画像2の右テールランプは作成用画像の右テールランプに比べて明るい。このため、認識用画像2における右テールランプの尤度比は下限値に近い値となっている。また、その他のオブジェクト(左テールランプとナンバープレート)については作成用画像と類似しているため、尤度比は上限値と下限値との間に含まれている。
また認識用画像2については、リアウィンドウが太陽光を反射しており、認識用画像2の色分布は作成用画像と異なる。このため、リアウィンドウの尤度比が下限値より小さくなる場合がある。また、作成用画像では太陽光が画像上の左側から差しているため、作成用画像における右テールランプは左テールランプに対して全体的に暗いものであるのに対して、認識用画像2では右テールランプにおいても光が差し込んでいるため、認識用画像2の右テールランプは作成用画像の右テールランプに比べて明るい。このため、認識用画像2における右テールランプの尤度比は下限値に近い値となっている。また、その他のオブジェクト(左テールランプとナンバープレート)については作成用画像と類似しているため、尤度比は上限値と下限値との間に含まれている。
また認識用画像3については、右テールランプの位置に赤信号が存在する。このため、このオブジェクトにおける尤度比は右テールランプの下限値に近い値となっている。しかし、その他のオブジェクトについては作成用画像と大きく異なるため、尤度比は小さい。
したがって先行車両であるか否かを判定する場合、一つのオブジェクトの結果だけではなく、構成するオブジェクト全体で判定することにより誤認識を減らすことができると考えられる。
ここまでの結果から、基準分布が、基準データ作成用画像データのデータ分布を表現できていることがわかる。また、認識対象までの距離が変化しても尤度比の上限値・下限値を変えることで,距離の変化に対して対処できることがわかった。
(第2実施形態)
以下に、第2実施形態について図面をもとに説明する。尚、第2実施形態では、第1実施形態と異なる部分のみを説明する。
以下に、第2実施形態について図面をもとに説明する。尚、第2実施形態では、第1実施形態と異なる部分のみを説明する。
まず、第2実施形態における画像認識システム1の構成を図14に基づいて説明する。第2実施形態における画像認識システム1は、カメラ5が撮影する範囲に存在する物体までの距離を測定するレーダレーザ7が追加されている点と、基準データ群17aとは異なる基準データ群17bがデータベース17に記憶されている点以外は、第1実施形態と同じである。
また、データベース17に記憶されている基準データ作成用画像データにはそれぞれ、当該基準データ作成用画像データが撮影された撮影距離の情報(以降、距離情報と称す)が付加されている。距離情報は、例えば15m,50mなどの距離を示す情報である。
次に第2実施形態における基準データ作成処理を図15及び図16を用いて説明する。第2実施形態の基準データ作成処理において第1実施形態と異なるのは、S40,S90,S120,S130,S140,S150,S160,S170,S200及びS210の処理に代わって、それぞれS40a,S90a,S120a,S130a,S140a,S150a,S160a,S170a,S200a及びS210aの処理が行われる点である。
即ち、S30の処理が終了すると、S40aにて、S30で取得した画像データ(c,d)に付加されている距離情報を取得する。
また、S80の処理が終了すると、S90aにて、変数Pcで示される車種識別番号cが付された画像データ(c,d)について、オブジェクト毎に、例えば撮影距離r=20,40,60,80,100,120〔m〕のYUVヒストグラムを、S60で算出したYUVヒストグラムで線形補間することにより求める。即ち、例えば、同一車種で撮影距離が異なる6つの画像、即ち距離識別番号d=1,2,3,4,5,6における距離情報がそれぞれ、「15.5」,「32.5」,「48.0」,「70.5」,「88.3」,「106.5」〔m〕であるとすると、例えば撮影距離r=20〔m〕のYUVヒストグラムを求めるためには、距離情報15.5のYUVヒストグラムと距離情報32.5のYUVヒストグラムとで線形補間すればよい。そして、線形補間により求めた撮影距離r=20,40,60,80,100,120〔m〕のYUVヒストグラムをRAM15に記憶する。なお、車種識別番号c,オブジェクト識別番号k,撮影距離rのYUVヒストグラムを以降、YUVヒストグラム(c,k,r)と表記する(c=1,2,3,4,5、k=1,2,3,4、r=20,40,60,80,100,120)。
また、S80の処理が終了すると、S90aにて、変数Pcで示される車種識別番号cが付された画像データ(c,d)について、オブジェクト毎に、例えば撮影距離r=20,40,60,80,100,120〔m〕のYUVヒストグラムを、S60で算出したYUVヒストグラムで線形補間することにより求める。即ち、例えば、同一車種で撮影距離が異なる6つの画像、即ち距離識別番号d=1,2,3,4,5,6における距離情報がそれぞれ、「15.5」,「32.5」,「48.0」,「70.5」,「88.3」,「106.5」〔m〕であるとすると、例えば撮影距離r=20〔m〕のYUVヒストグラムを求めるためには、距離情報15.5のYUVヒストグラムと距離情報32.5のYUVヒストグラムとで線形補間すればよい。そして、線形補間により求めた撮影距離r=20,40,60,80,100,120〔m〕のYUVヒストグラムをRAM15に記憶する。なお、車種識別番号c,オブジェクト識別番号k,撮影距離rのYUVヒストグラムを以降、YUVヒストグラム(c,k,r)と表記する(c=1,2,3,4,5、k=1,2,3,4、r=20,40,60,80,100,120)。
またS100にて、車種識別番号cを表す変数Pcの値が5以上である場合には(S100:YES)、S120aにて、同じオブジェクトで且つ同じ撮影距離rであるYUVヒストグラムを全車種について加算する。例えば、リアウィンドウ・オブジェクトO1で撮影距離rが20のYUVヒストグラムは、車種識別番号c=1〜5毎に1つずつ存在するため、この5つのYUVヒストグラムを加算する。この加算したYUVヒストグラムを以降、統合YUVヒストグラムと称す。つまり、S120の処理により、4つのオブジェクト毎に、撮影距離rに応じて6つの統合YUVヒストグラムが生成される。なお、オブジェクト識別番号k,撮影距離rの統合YUVヒストグラムを以降、統合YUVヒストグラム(k,r)と表記する(k=1,2,3,4、r=20,40,60,80,100,120)。
次にS130aにて、オブジェクトと撮影距離rが異なる24個の統合YUVヒストグラムについて、パラメータΘ と重み係数Ωを算出する。そして、このパラメータΘ と重み係数Ωで表されるGMM分布をそれぞれのオブジェクト及び撮影距離rにおける基準分布として、データベース17内の基準データ群17bに記憶する。なお、オブジェクト識別番号k,撮影距離rの基準分布を以降、基準分布(k,r)と表記する(k=1,2,3,4、r=20,40,60,80,100,120)。
更にS130aでは、統合YUVヒストグラム(k,r)の基準分布(k,r)に対する尤度を式(5)に基づいて算出し、データベース17内の基準データ群17bに記憶する。なお、オブジェクト識別番号k,撮影距離rにおける、統合YUVヒストグラム(k,r)の基準分布(k,r)に対する尤度を以降、尤度X(k,r)と表記する(k=1,2,3,4、r=20,40,60,80,100,120)。つまり、S130aの処理により、4つのオブジェクト毎に、撮影距離rに応じて6つの基準分布(k,r)及び尤度X(k,r)が算出される。
次にS140aにて、オブジェクト識別番号kを表す変数Pkを1に、撮影距離rを表す変数Prを20に設定する。その後S150aにて、車種識別番号c=1〜5の5つの車種において、変数Pkで示されるオブジェクト識別番号k,及び変数Prで示される撮影距離rのYUVヒストグラム(c,k,r)についての基準分布(k,r)に対する尤度を式(5)に基づいて算出する。なお、YUVヒストグラム(c,k,r)についての基準分布(k,r)に対する尤度を以降、尤度Y(c,k,r)と表記する(c=1,2,3,4,5、k=1,2,3,4、r=20,40,60,80,100,120)。つまり、S140aの処理により、車種識別番号cの異なる5つの尤度Y(c,k,r)が算出される。
そしてS160aにて、S150aにて算出された5つの尤度Y(c,k,r)それぞれについて尤度比を算出する。なお、この尤度比は、Y(c,k,r)/尤度X(k,r)で計算される。
次にS170aにて、S150aにて算出された5つの尤度比の最大値と最小値を求め、その後、この最大値及び最小値を、オブジェクト識別番号k,撮影距離rにおける尤度比上限値(k,r)、及び尤度比下限値(k,r)に設定する。そして、この尤度比上限値(k,r)及び尤度比下限値(k,r)をデータベース17内の基準データ群17bに記憶する。
またS180にて、オブジェクト識別番号kを表す変数Pkの値が総オブジェクト数kmax以上である場合には(S180:YES)、S200aにて、撮影距離rを表す変数Prの値が撮影距離最大値rmax(本実施形態ではrmax=120)以上であるか否かを判断する。ここで、撮影距離rを表す変数Prの値が撮影距離最大値rmax未満である場合には(S200a:NO)、S210aにて撮影距離rを表す変数Prの値を20加算し、その後S150aに移行して上述の処理を繰り返す。一方、撮影距離rを表す変数Prの値が撮影距離最大値rmax以上である場合には(S200a:YES)、当該基準データ作成処理を終了する。
即ち、基準データ作成処理によって、基準分布(k,r),尤度X(k,r),尤度比上限値(k,r)及び尤度比下限値(k,r)がデータベース17内の基準データ群17bに記憶される(k=1,2,3,4、r=20,40,60,80,100,120)。つまり、基準データ群17bは、基準分布(k,r),尤度X(k,r),尤度比上限値(k,r)及び尤度比下限値(k,r)から構成される。
次に第2実施形態における画像認識処理を図17を用いて説明する。第2実施形態の画像認識処理において第1実施形態と異なるのは、S320,S350,S400,S410及びS420の処理に代わって、それぞれS320a,S350a,S400a,S410a及びS420aの処理が行われる点である。
まず、S310の処理が終了すると、S320aにて、S310で取得した画像において、レーダレーザ7で測定された距離がほぼ等しい領域に分割する(領域分割)。即ち、レーダレーザ7による距離の測定によって、S310で取得した画像と一対の距離データを生成し、この距離データを適用な距離範囲、例えば1m以内で等距離領域に分割した範囲について、対応する画像の領域を抜き出すことにより分割する。ここでは、n個の領域に分割されたとして、以下の説明を行う(以降、このnを総分割数nとも称す)。更にS320aでは、分割したn個の領域を識別するために1〜nまでの整数の番号を領域識別番号sとして付す。
またS340の処理が終了すると、S350aにて、選択した領域の撮影距離を計算する。即ち、選択した領域全体にわたって距離データの平均を算出し、この平均値を撮影距離とする。
またS390の処理が終了すると、S400aにて、S350aにて計算された撮影距離における基準分布(以降、補間基準分布と称す)を線形補間により算出する。即ち、例えば撮影距離が32.5の基準分布を求めるためには、撮影距離r=20の基準分布(k,20)と撮影距離r=40の基準分布(k,40)とで線形補間すればよい。更にS400aでは、S390で算出されたYUVヒストグラムのこの補間基準分布に対する尤度を算出する。なお、この尤度を以降、尤度Zと称す。
そしてS410aにて、S350aにて計算された撮影距離における尤度X(以降、補間尤度と称す)を線形補間により算出する。即ち、例えば撮影距離が32.5の補間尤度を求めるためには、撮影距離r=20の尤度X(k,20)と撮影距離r=40の尤度X(k,40)とで線形補間すればよい。更にS410aでは、S400aで算出された尤度Zの、補間尤度に対する尤度比(以降、認識用尤度比と称す)を算出する。即ち、認識用尤度比は、(尤度Z/補間尤度)で計算される。
次にS420aにて、S350aにて計算された撮影距離における尤度比上限値(以降、補間尤度比上限値と称す)及び尤度比下限値(以降、補間尤度比下限値と称す)を線形補間により算出する。即ち、例えば撮影距離が32.5の尤度比上限値を求めるためには、撮影距離r=20の尤度比上限値(k,20)と撮影距離r=40の尤度比上限値(k,40)とで線形補間すればよい。また、補間尤度比下限値も同様にして求められる。更にS420aでは、S410aで算出された認識用尤度比が、補間尤度比下限値以上且つ補間尤度比上限値以下の範囲にあるか否かを判断する。ここで、補間尤度比下限値以上且つ補間尤度比上限値以下の範囲にある場合には(S420a:YES)、S430に移行する。一方、補間尤度比下限値以上且つ補間尤度比上限値以下の範囲にない場合には(S420a:NO)、S440に移行する。
以上説明したように、第2実施形態の画像認識システム1によれば、先行車両を認識するための、YUVヒストグラムと基準分布との比較において、撮影距離に応じて最適な基準分布を採用することができる。このため、先行車両までの距離が変化しても、安定して先行車両を認識することができる。
以上説明した第2実施形態において、レーダレーザ7及び図17におけるS350aの処理は本発明における距離測定手段、図17におけるS390の処理は本発明における特徴量抽出手段、データベース17は本発明における第2記憶手段、図17のS400a,S420a,S430及びS440の処理と図5のS450〜S490の処理は本発明における第2判定手段である。
また、基準分布(k,r)は本発明における基準データ、基準データ群17bは本発明における基準データ群である。
(他の実施形態)
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態にて実施することが可能である。
(他の実施形態)
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態にて実施することが可能である。
上記実施形態では、距離に応じて鮮明度が変化するものを示したが、天候(晴れ,曇り,雨など),時刻(昼,夕,夜など),太陽光の入射方向の変化等といった、入力画像が撮影される撮影環境によっても鮮明度は変化することがあるため、同じ鮮明度であっても、撮影環境に応じて異なる基準分布を選択することが望ましい。
上記実施形態では、画像データに対して高速フーリエ変換を行うことにより鮮明度を算出したが、画像データに対してエッジ強調処理を行い、エッジ強調処理された画像に含まれるエッジの量に基づいて鮮明度を算出するように構成してもよい。即ち、周知のラプラシアンフィルタまたはソーベルフィルタなどを用いてエッジ画像を生成し、このエッジ画像に含まれる各画素のうち、所定の閾値以上の値をもつ画素数を計数してエッジ量を算出する。
上記実施形態では、レーダレーザ7による距離測定によって、取得した画像と一対の距離データを生成し、取得した画像を領域分割した(S320a)が、特開平9−61094に開示されているように、時間的に連続した2枚の画像から、動きベクトル検出方式によって移動物体を捉えてその輪郭を算出し、その輪郭から概形を特定することにより、領域分割してもよい。或いは2つのステレオ・カメラ画像を用いて距離画像を算出することにより、一定の距離範囲に存在する領域に分割してもよい。または、1枚のカメラ画像を用いて、色が類似する画素をまとめて領域分割してもよい。
上記実施形態では、基準データ生成処理を行うものを示したが、基準データ生成処理は必ずしも画像認識システム1で実行される必要はない。即ち、予めオフラインで実行しておき、生成された基準データ群のみをデータベース17に格納するようにしてもよい。尚、この場合は、ユーザI/F21において操作キー21aが不要となる。以上の構成とすることにより、基準データ生成処理を省略できるとともに、データベース17内に画像データ(基準データ作成用画像データ)を格納する必要がなくなるため、データベース17の容量を削減することができる。さらに操作キー21aが不要となるため、画像認識装置3をより簡便に構成できる。
上記実施形態では、画像認識処理は、車両のイグニッションキーがキーシリンダに挿入され、キーがオンに変更された状態である間、繰り返し実行されるものを示したが、この画像認識処理を実行させるための認識処理実行スイッチを画像認識装置3が備え、この認識処理実行スイッチが操作されると、CPU11が画像認識処理を開始するように構成してもよい。より具体的には、クルーズコントロールを開始させるためのクルーズコントロール開始スイッチを備え、このクルーズコントロール開始スイッチが操作され、クルーズコントロールが開始されるのと連動して、CPU11が画像認識処理を開始するように構成してもよい。
1…画像認識システム、3…画像認識装置、5…カメラ、7…レーダレーザ、11…CPU、13…ROM、15…RAM、17…データベース、17a,17b…基準データ群、19…入出力部、21…ユーザI/F、21a…操作キー、21b…表示パネル。
Claims (6)
- 入力画像を複数の部分領域画像に分割し、該部分領域画像毎に画像認識を行う画像認識方法であって、
前記部分領域画像の鮮明さの度合いを示す鮮明度を算出する第1ステップと、
前記部分領域画像から、該部分領域画像を構成する各画素の特徴を表す特徴量を抽出し、該特徴量の分布を表す特徴データを生成する第2ステップと、
予め設定された所定対象物が示され且つ該所定対象物の鮮明度が互いに異なる複数の基準画像のそれぞれについて前記特徴量の分布を表す基準データを予め生成しておくことにより用意された基準データ群の中から、前記第1ステップにより算出された鮮明度に対応した基準データを選択し、該選択した基準データと、前記第2ステップにより生成された特徴データとを比較し、該比較結果に基づいて、前記部分領域画像中に前記所定対象物が示されているか否かを判定する第3ステップと、
からなることを特徴とする画像認識方法。 - 入力画像を複数の部分領域画像に分割し、該部分領域画像毎に画像認識を行う画像認識装置であって、
前記部分領域画像の鮮明さの度合いを示す鮮明度を算出する鮮明度算出手段と、
前記部分領域画像から、該部分領域画像を構成する各画素の特徴を表す特徴量を抽出し、該特徴量の分布を表す特徴データを生成する特徴量抽出手段と、
予め設定された所定対象物が示され且つ該所定対象物の鮮明度が互いに異なる複数の基準画像のそれぞれについて前記特徴量の分布を表す基準データを予め生成しておくことにより用意された基準データ群を記憶する第1記憶手段と、
前記鮮明度算出手段により算出された鮮明度の値に基づいて、該鮮明度に対応した前記基準データを前記第1記憶手段から抽出し、該抽出した基準データと、前記特徴量抽出手段により抽出された特徴データとを比較し、該比較結果に基づいて、前記部分領域画像中に前記所定対象物が示されているか否かを判定する第1判定手段と、
を備えることを特徴とする画像認識装置。 - 前記特徴量は、色情報である、
ことを特徴とする請求項2に記載の画像認識装置。 - 前記鮮明度算出手段は、前記部分領域画像に対して2次元フーリエ変換し、該変換により得られる空間周波数分布に基づいて前記鮮明度を算出する、
ことを特徴とする請求項2または請求項3に記載の画像認識装置。 - 前記鮮明度算出手段は、前記部分領域画像に対してエッジ強調処理を行い、該エッジ強調処理された画像に含まれるエッジの量に基づいて前記鮮明度を算出する、
ことを特徴とする請求項2または請求項3に記載の画像認識装置。 - 入力画像を複数の部分領域画像に分割し、該部分領域画像毎に画像認識を行う画像認識装置であって、
前記部分領域画像の中に示される物体と当該画像認識装置との間の距離である物体距離を測定する距離測定手段と、
前記部分領域画像から、該部分領域画像を構成する各画素の特徴を表す特徴量を抽出し、該特徴量の分布を表す特徴データを生成する特徴量抽出手段と、
予め設定された所定対象物が示され且つ該所定対象物の物体距離が互いに異なる複数の基準画像のそれぞれについて前記特徴量の分布を表す基準データを予め生成しておくことにより用意された基準データ群を記憶する第2記憶手段と、
前記距離測定手段により測定された物体距離に基づいて、該物体距離に対応した前記基準データを前記第2記憶手段から抽出し、該抽出した基準データと、前記特徴量抽出手段により抽出された特徴データとを比較し、該比較結果に基づいて、前記部分領域画像中に前記所定対象物が示されているか否かを判定する第2判定手段と、
を備えることを特徴とする画像認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004163541A JP2005346287A (ja) | 2004-06-01 | 2004-06-01 | 画像認識方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004163541A JP2005346287A (ja) | 2004-06-01 | 2004-06-01 | 画像認識方法および装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005346287A true JP2005346287A (ja) | 2005-12-15 |
Family
ID=35498617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004163541A Withdrawn JP2005346287A (ja) | 2004-06-01 | 2004-06-01 | 画像認識方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005346287A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009538558A (ja) * | 2006-05-22 | 2009-11-05 | アクシス アクチボラグ | ビデオ監視カメラが検出した対象物の特性を識別する方法および機器 |
US8180158B2 (en) | 2006-07-17 | 2012-05-15 | Panasonic Corporation | Image processing device and image processing method for detecting a specific shape from an image |
EP2682899A2 (en) | 2012-07-03 | 2014-01-08 | Clarion Co., Ltd. | Environment recognition device |
KR101570602B1 (ko) | 2014-02-10 | 2015-11-19 | 연세대학교 산학협력단 | 이미지 선명도 측정 장치 및 방법 |
JP2017227622A (ja) * | 2016-06-17 | 2017-12-28 | 株式会社デンソーテン | レーダ装置及びレーダ装置の制御方法 |
JP2018013497A (ja) * | 2010-01-22 | 2018-01-25 | グーグル エルエルシー | 交通信号マップ作成及び検出 |
CN111382776A (zh) * | 2018-12-26 | 2020-07-07 | 株式会社日立制作所 | 物体识别装置以及物体识别方法 |
CN114387450A (zh) * | 2022-01-11 | 2022-04-22 | 平安科技(深圳)有限公司 | 图片特征提取方法、装置、存储介质及计算机设备 |
-
2004
- 2004-06-01 JP JP2004163541A patent/JP2005346287A/ja not_active Withdrawn
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009538558A (ja) * | 2006-05-22 | 2009-11-05 | アクシス アクチボラグ | ビデオ監視カメラが検出した対象物の特性を識別する方法および機器 |
JP4742168B2 (ja) * | 2006-05-22 | 2011-08-10 | アクシス アーベー | ビデオ監視カメラが検出した対象物の特性を識別する方法および機器 |
US8472714B2 (en) | 2006-05-22 | 2013-06-25 | Axis Ab | Identification apparatus and method for identifying properties of an object detected by a video surveillance camera |
US8478040B2 (en) | 2006-05-22 | 2013-07-02 | Axis Ab | Identification apparatus and method for identifying properties of an object detected by a video surveillance camera |
US8180158B2 (en) | 2006-07-17 | 2012-05-15 | Panasonic Corporation | Image processing device and image processing method for detecting a specific shape from an image |
JP2018013497A (ja) * | 2010-01-22 | 2018-01-25 | グーグル エルエルシー | 交通信号マップ作成及び検出 |
CN103522962A (zh) * | 2012-07-03 | 2014-01-22 | 歌乐株式会社 | 环境识别装置 |
EP2682899A2 (en) | 2012-07-03 | 2014-01-08 | Clarion Co., Ltd. | Environment recognition device |
KR101570602B1 (ko) | 2014-02-10 | 2015-11-19 | 연세대학교 산학협력단 | 이미지 선명도 측정 장치 및 방법 |
JP2017227622A (ja) * | 2016-06-17 | 2017-12-28 | 株式会社デンソーテン | レーダ装置及びレーダ装置の制御方法 |
CN111382776A (zh) * | 2018-12-26 | 2020-07-07 | 株式会社日立制作所 | 物体识别装置以及物体识别方法 |
JP2020106966A (ja) * | 2018-12-26 | 2020-07-09 | 株式会社日立製作所 | 物体認識装置および物体認識方法 |
US11232589B2 (en) | 2018-12-26 | 2022-01-25 | Hitachi, Ltd. | Object recognition device and object recognition method |
JP7049983B2 (ja) | 2018-12-26 | 2022-04-07 | 株式会社日立製作所 | 物体認識装置および物体認識方法 |
CN114387450A (zh) * | 2022-01-11 | 2022-04-22 | 平安科技(深圳)有限公司 | 图片特征提取方法、装置、存储介质及计算机设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6615933B2 (ja) | 知的地形特定のための方法及び装置、車両搭載端末、並びに車両 | |
KR101856401B1 (ko) | 차선 데이터의 처리 방법, 장치, 저장매체 및 기기 | |
US7623681B2 (en) | System and method for range measurement of a preceding vehicle | |
US8908924B2 (en) | Exterior environment recognition device and exterior environment recognition method | |
US7724962B2 (en) | Context adaptive approach in vehicle detection under various visibility conditions | |
US8345100B2 (en) | Shadow removal in an image captured by a vehicle-based camera using an optimized oriented linear axis | |
Kühnl et al. | Monocular road segmentation using slow feature analysis | |
US20120008021A1 (en) | Shadow Removal in an Image Captured by a Vehicle-Based Camera for Clear Path Detection | |
US8319854B2 (en) | Shadow removal in an image captured by a vehicle based camera using a non-linear illumination-invariant kernel | |
WO2016175234A1 (ja) | 色画像処理方法、色画像処理プログラム、物体認識方法及び装置 | |
JP5151472B2 (ja) | 距離画像生成装置、環境認識装置、及びプログラム | |
CN106407951B (zh) | 一种基于单目视觉的夜间前方车辆检测方法 | |
US20130342694A1 (en) | Method and system for use of intrinsic images in an automotive driver-vehicle-assistance device | |
JP4674179B2 (ja) | 影認識方法及び影境界抽出方法 | |
KR101483742B1 (ko) | 지능형 차량의 차선 검출방법 | |
JP2013030183A (ja) | 環境認識装置及びプログラム | |
KR101178508B1 (ko) | 차량 충돌 경보 시스템 및 방법 | |
JP6753134B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及び画像処理プログラム | |
JP2009163682A (ja) | 画像識別装置及びプログラム | |
CN112699885A (zh) | 一种基于对抗生成网络gan的语义分割训练数据增广方法和系统 | |
JP2005346287A (ja) | 画像認識方法および装置 | |
CN112990049A (zh) | 用于车辆自动驾驶的aeb紧急制动方法、装置 | |
Ilehag et al. | Classification and representation of commonly used roofing material using multisensorial aerial data | |
JP7264428B2 (ja) | 道路標識認識装置及びそのプログラム | |
Zhang et al. | Night time vehicle detection and tracking by fusing sensor cues from autonomous vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060824 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20081107 |