JP2018124963A - 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム - Google Patents
画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム Download PDFInfo
- Publication number
- JP2018124963A JP2018124963A JP2017148010A JP2017148010A JP2018124963A JP 2018124963 A JP2018124963 A JP 2018124963A JP 2017148010 A JP2017148010 A JP 2017148010A JP 2017148010 A JP2017148010 A JP 2017148010A JP 2018124963 A JP2018124963 A JP 2018124963A
- Authority
- JP
- Japan
- Prior art keywords
- image
- probability density
- density function
- image processing
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/45—Analysis of texture based on statistical description of texture using co-occurrence matrix computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
Description
例えば、特許文献1の「画像認識装置」は、予め標準画像から特徴点とその特徴量を抽出しておく。そして、入力画像中から特徴点とその特徴量を算出し、標準画像における特徴量と類似する特徴点同士を、対応点として設定する。
次いで、入力画像における各対応点(特徴点)ごとに、対応する標準画像の特徴点の特徴量(位置情報等含む)に基づいて基準点を算出して入力画像平面に投票する。
そして、ある小領域内に所定閾値以上の投票値があった場合は、入力画像中に対象物が存在していると判断する。
しかし、精度を向上させる場合、量子化の間隔を細かくする必要があるが、量子化の間隔を細かくすると特徴量が膨大になり、処理時間が増加する問題があった。
(2)請求項2に記載の発明では、前記画像入力手段から認識対象を含む複数の認識対象画像を入力し、前記確率密度関数出力手段に前記複数の認識対象画像に基づく認識対象確率密度関数を出力させる認識対象学習手段と、前記出力させた認識対象確率密度関数を用いて前記認識対象を画像認識する基準となる基準確率密度関数を生成する基準確率密度関数生成手段と、前記生成した基準確率密度関数を、当該基準確率密度関数を規定するパラメータによって出力する基準確率密度関数出力手段と、を具備したことを特徴とする請求項1に記載の画像処理装置を提供する。
(3)請求項3に記載の発明では、前記画像入力手段から認識対象を含まない複数の非認識対象画像を入力し、前記確率密度関数出力手段に前記非認識対象画像による非認識対象確率密度関数を出力させる非認識対象学習手段と、前記出力させた前記認識対象確率密度関数と、前記非認識対象確率密度関数と、の相関を計量する計量情報を生成する計量情報生成手段と、を具備し、前記基準確率密度関数生成手段は、前記生成した計量情報を用いて前記基準確率密度関数を生成することを特徴とする請求項2に記載の画像処理装置を提供する。
(4)請求項4に記載の発明では、前記計量情報生成手段が、前記認識対象確率密度関数に対する前記非認識対象確率密度関数の計量と、前記非認識対象確率密度関数に対する前記認識対象確率密度関数の計量と、が対称性を有する前記計量情報を生成することを特徴とする請求項3に記載の画像処理装置を提供する。
(5)請求項5に記載の発明では、前記生成した計量情報に従って複数のサンプルを発生させるサンプル発生手段を具備し、前記基準確率密度関数生成手段は、前記発生させたサンプルの出現頻度の分布に基づいて前記基準確率密度関数を生成することを特徴とする請求項3、又は請求項4に記載の画像処理装置を提供する。
(6)請求項6に記載の発明では、前記認識対象確率密度関数と、前記非認識対象確率密度関数は、それぞれ所定の個数の基底関数を混合して生成されており、前記基準確率密度関数生成手段は、前記所定の個数よりも少ない個数の基底関数を混合して前記基準確率密度関数を生成することを特徴とする請求項3、請求項4又は請求項5に記載の画像処理装置を提供する。
(7)請求項7に記載の発明では、前記入力した画像の解像度を変換する解像度変換手段を具備し、前記画素組合せ取得手段は、前記解像度を変換した画素も組合せの対象とすることを特徴する請求項1から請求項6までの内の何れか1の請求項に記載の画像処理装置を提供する。
(8)請求項8に記載の発明では、前記計量情報が、前記認識対象確率密度関数と、前記非認識対象確率密度関数と、の差分を用いた差分確率密度関数であることを特徴とする請求項3、又は請求項4に記載の画像処理装置を提供する。
(9)請求項9に記載の発明では、前記計量情報が、前記認識対象確率密度関数と、前記非認識対象確率密度関数と、の比を用いた比確率密度関数であることを特徴とする請求項3、又は請求項4に記載の画像処理装置を提供する。
(10)請求項10に記載の発明では、前記比確率密度関数が、更に前記認識対象確率密度関数と、前記非認識対象確率密度関数と、の差分を用いていることを特徴とする請求項9に記載の画像処理装置を提供する。
(11)請求項11に記載の発明では、請求項2に記載の画像処理装置が出力した基準確率密度関数を取得する基準確率密度関数取得手段と、画像認識の対象となる対象画像を取得する対象画像取得手段と、前記取得した基準確率密度関数を用いて前記取得した対象画像の特徴量を取得する対象画像特徴量取得手段と、前記取得した特徴量を用いて前記対象画像が画像認識対象を含んでいるか否かを判断する判断手段と、を具備したことを特徴とする画像認識装置を提供する。
(12)請求項12に記載の発明では、前記対象画像特徴量取得手段は、前記取得した対象画像を請求項1に記載の画像処理装置の画像入力手段に入力して、当該画像処理装置の出現頻度取得手段から前記対象画像における勾配方向の共起の出現頻度の分布を取得し、前記取得した出現頻度の分布が前記取得した基準確率密度関数から生成される確率に基づいて前記対象画像の特徴量を取得することを特徴とする請求項7に記載の画像認識装置を提供する。
(13)請求項13に記載の発明では、画像を入力する画像入力機能と、前記入力した画像から2つの画素の組合せを取得する画素組合せ取得機能と、前記取得した組合せに係る2つの画素の輝度の勾配方向の共起を取得する共起取得機能と、前記取得する画素の組合せを変化させながら、前記取得する共起の出現頻度の分布を取得する出現頻度取得機能と、前記取得した出現頻度の分布に対応する確率密度関数を生成する確率密度関数生成機能と、前記生成した確率密度関数を、当該確率密度関数を規定するパラメータによって出力する確率密度関数出力機能と、をコンピュータで実現する画像処理プログラムを提供する。
(14)請求項14に記載の発明では、請求項2に記載の画像処理装置が出力した基準確率密度関数を取得する基準確率密度関数取得機能と、画像認識の対象となる対象画像を取得する対象画像取得機能と、前記取得した基準確率密度関数を用いて前記取得した対象画像の特徴量を取得する対象画像特徴量取得機能と、前記取得した特徴量を用いて前記対象画像が画像認識対象を含んでいるか否かを判断する判断機能と、をコンピュータで実現する画像認識プログラムを提供する。
画像処理装置8は、輝度の勾配方向の角度を直交する座標軸の座標値に対応させた特徴面15を用意し、画像の輝度勾配共起ペアを当該特徴面15にプロットする。共起ペアの取得は、複数の解像度間に渡って行う。
画像処理装置8は、画像全体に渡って共起ペアをプロットした後、指定された混合数に基づいてこれらをクラスタリングして共起ペアのクラスタを形成する。
画像処理装置8は、共起ペアの分布に基づいてGMMを動的に形成するため、ヒストグラム(GMMによる確率密度の分布)のビンの位置や幅が固定値ではなく、画像に適した値に設定することができる。
そして、画像処理装置8は、歩行者画像のGMMと背景画像のGMMの差分を計算して、これに基づく再学習用のGMMを形成する。
差分により両者の重なる部分が弱められ、これによって特徴的な部分だけが残り、より画像認識に適した分布が得られる。
この混合数を先に指定された混合数よりも小さく設定すると、画像を解析する際の特徴次元数が下がるため、計算コストを低減することができる。
どの程度混合数を減らすかは、必要とされる画像認識の能力が得られる範囲で行う。
画像処理装置8は、当該特徴量を識別器に入力して当該対象画像に歩行者が含まれているか判断する。
GMMは、母数(平均値、分散共分散行列など)などを表すパラメータによって規定されるため、量子化の細分化による特徴量の増大という問題を回避することができる。
図1は、本実施の形態に係る画像処理を説明するための図である。
本実施の形態の画像処理装置8は、画像から特徴量を抽出する画像処理装置としての機能と、これを用いて画像認識処理を行う画像認識装置としての機能を併せ持っている装置であって、同じ画像の異なる解像度間に渡る共起をみることにより画像から特徴量を抽出する。
このように画像処理装置8は、画像を入力する画像入力手段を備えている。
図では、図示しやすいように4×4に区分しているが、標準的な値は、例えば、4×8である。
なお、ブロック領域3A、3B、・・・を特に区別しない場合は、単にブロック領域3と記す。
このように、画像処理装置8は、画像の解像度を変換する解像度変換手段を備えている。
図では、ブロック領域3Aの部分の高解像度画像11、中解像度画像12、低解像度画像13を示しており、升目は画素を模式的に表している。
なお、以下では、輝度の勾配方向を単に勾配方向と記す。
なお、画素n個分の距離をオフセット距離nと呼ぶことにする。
なお、図1(d)に示した12の特徴面15(1a)〜15(3d)は、図1(a)で区分したブロック領域3A、3B、・・・毎に作成される。
以下、複数の特徴面全体をさす場合には特徴面15という。
このように特徴面15は、画像中にある特定のオフセット(注目画素5からの相対位置)を持つ2つの勾配方向ペアがどのような出現頻度を持つかを表現している。
元画像2の端部では、勾配方向を算出することができないが、これについては、適当な任意の方法で処理する。
なお、画像処理装置8は、先に注目画素5とオフセット画素1aで使用した特徴面15(1a)とは、異なる新たな特徴面15を用意し、これに投票する。このように、画像処理装置8は、注目画素5とオフセット画素の相対的な位置関係の組合せごとに特徴面15を生成する。
そして、高解像度画像11内で注目画素5を順次移動しながら、注目画素5とオフセット画素1bとの共起を取って共起対応点51を当該特徴面15(1b)にプロットする。
画像処理装置8は、以上の処理をブロック領域3B、3C、・・・に対しても行い、元画像2の特徴を抽出した複数の特徴面15を生成する。
このように画像処理装置8は、ブロック領域3A、3B、3C・・・毎に、複数の特徴面15(1a)〜15(3d)を生成する。
そして、画像処理装置8は、取得する画素の組合せを変化させながら、共起の出現頻度の分布を特徴面15による散布図によって取得する出現頻度取得手段を備えており、これによって、特徴面15で表される共起特徴空間に勾配方向ペアの出現を写像している。
そして、画像処理装置8は、これら特徴面15の各々について、以下のようにしてGMM(混合ガウスモデル)を生成する。
特徴面15にプロットされた共起対応点51、51、・・・は、画像の特徴に応じて集まる傾向があり、クラスタ60a、60b、・・・は、画像の特徴を反映したものとなる。
画像認識の際の特徴次元は、混合数Kに依存するため、どこまで画像の特徴を損なわずに、混合数Kを小さくできるかは、重要な事項の一つである。
なお、図1(f)の縦軸では、p(x|θ)をp(x)と略記している。また、以下では、特に必要の無い場合は、確率密度関数をp(x)と略記する。
GMMは、共起対応点が分布する確率を表す確率密度関数として機能しており、画像処理装置8は、勾配方向の共起の出現頻度の分布に対応する確率密度関数をGMMで生成する確率密度関数生成手段を備えている。
ここで、xは、共起対応点51の分布を表すベクトル量でありθは母数(μj、Σj)(ただし、j=1、2、・・・、K)を表すベクトル量である。
πjは、混合係数と呼ばれ、j番目のガウス分布を選択する確率を表している。μj、Σjは、それぞれ、j番目のガウス分布の平均値と、分散共分散行列を表している。πjとθにより確率密度関数53、即ち、GMMが一意的に定まる。
EMアルゴリズムは、説明は省略するが、尤度を最大化するπjと母数(μj、Σj)を推定するアルゴリズムであり、画像処理装置8は、EMアルゴリズムを適用することによりπj、θを決定し、これによってp(x|θ)を求める(推定する)。
画像処理装置8は、量子化した勾配方向による共起ヒストグラムの代わりに勾配方向の分布をGMMで表すため、勾配方向ペアの分布をこれらパラメータで表すことができ、量子化の細分化に伴う情報量の増大を回避することができる。
本実施の形態では、一例として、歩行者を画像認識対象とする。そこで、歩行者の特徴を学習するために、歩行者が様々な態様で写っている歩行者画像を構成する元画像2a、2a、・・・と、歩行者の背景となる背景画像を構成する元画像2b、2b・・・を学習画像として多数(例えば、各1万枚程度)用意する。
このようにして、画像処理装置8は、ブロック領域3ごとにオフセット画素ごとの特徴面15を各元画像2a、2a、・・・について生成すると、対応する特徴面15(即ち、同じブロック領域3の同じオフセット画素の特徴面15)を重ね合わせた特徴面15aをブロック領域3ごと、及びオフセット画素ごとに生成する。
ここでpは、検出対象(ここでは、画像認識対象である歩行者)が写っているという意味で、positiveのpである。このような画像認識対象が写っている画像は、ポジティブ画像とも称される。
このように、画像処理装置8は、入力手段から認識対象を含む複数の認識対象画像を入力し、出力手段に当該複数の認識対象画像に基づく認識対象確率密度関数(fp(x))を出力させる認識対象学習手段を備えている。
このようにして、画像処理装置8は、ブロック領域3ごとにオフセット画素ごとの特徴面15を各元画像2b、2b、・・・について生成すると、対応する特徴面15を重ね合わせた特徴面15bをブロック領域3ごと、及びオフセット画素ごとに生成する。
ここでnは、検出対象(ここでは、画像認識対象である歩行者)が写っていないという意味で、negativeのnである。このような画像認識対象が写っていない画像は、ネガティブ画像とも称される。
以上のようにして、画像処理装置8は、歩行者画像の特徴量をfp(x)によって抽出すると共に、背景画像の特徴量をfn(x)によって抽出する。
一方、fn(x)は、背景、即ち、歩行者ではない領域に基底関数が配置されることが考えられ、歩行者でないものの特徴を反映したものになると思われる。実際に車窓から背景を撮影すると、建造物の縦方向のエッジ部分が多いためか、歩行者とは異なる分布が得られる。
そこで、本実施の形態では、fp(x)とfn(x)の相関を計量し、これを用いて歩行者の特徴量を規定することとした。
換言するなら、計量によりfp(x)とfn(x)が配置される計量空間が規定され、両者の相関の強弱が当該計量空間における両者の距離(即ち計量)によって決定されるのである。
計量を表す数式は、各種定義することができ、例えば、両者の差分を用いた計量、両者の比を用いた計量、あるいは、差分と比を用いた計量など、歩行者の特徴を好適に表すものを採用することができる。
ここでは、一例として、fp(x)とfn(x)の差分によってfp(x)とfn(x)の相関を計量する。
この時、共起分布は、確率密度分布に基づいて生成されていることから、その確率密度分布が持つ情報量の差異を考慮した基準が得られる。
fp(x)は、歩行者画像の共起対応点の分布による特徴を表しており、fn(x)は、背景画像の共起対応点の分布による特徴を表しているが、両者の特徴が重なっている場合がある。
そこで、本実施の形態では、図3(a)に示したように、g(x)=fp(x)−fn(x)として両者の差分を取ることとした。
例えば、ある重なり部分の歩行者画像側の値が0.6で、背景画像側の値が0.2であった場合、この部分は、差分によって0.6−0.2=0.4だけ歩行者の特徴量としての説明力を有するものとなり、歩行者画像側の値が0.4で、背景画像側の値が0.4であった場合、この部分は、0となって歩行者としても背景としても説明力を持たないことになる。
差分の絶対値を取ることにより、ポジティブ画像に現れてネガティブ画像に現れない、また、ポジティブ画像に現れて、ネガティブ画像に現れる重要な特徴を得ることができ、検出精度を向上することができる。
そして、この例で示したの計量情報は、認識対象確率密度関数と、非認識対象確率密度関数と、の差分を用いた差分確率密度関数となっている。
なお、本実施の形態では、単純にfp(x)とfn(x)の差分を計算したが、後述の変形例で説明するKL特徴量やJS特徴量を用いて計量情報を計算してもよい。
差分確率密度関数|g(x)|は、このまま用いることも可能であるが、画像処理装置8は、図4(a)に示したように、これを正規化したh(x)=|g(x)|/∫|g(x)|dxを再学習して基準GMMを生成する。
より詳細には、画像処理装置8は、h(x)の累積分布関数H(x)=∫h(t)dt(積分はt=0からt=xまで)を生成し、これの逆関数H−1(x)(−1は上付文字)に従って一様分布乱数を発生させる。これにより、画像処理装置8は、h(x)に従ったサンプルの分布57を得る。
このように、画像処理装置8は、計量情報(ここでは、差分確率密度関数)に従って複数のサンプルを発生させるサンプル発生手段を備えている。
画像処理装置8は、基準GMM55を規定するパラメータ(混合係数πj、母数θなど)をEMアルゴリズムによって求めて出力する。
画像認識の対象画像の特徴量の次元は、後述するように、混合数×オフセット画素数×解像度数×ブロック領域数となるため、混合数を減らすと特徴量の次元も減り、画像処理に要する負荷を低減することができる。
負担率γ(nk)は、ある共起対応点xnがk番目のガウス分布から生成される確率を表している。
そして、画像処理装置8は、正規化した特徴量を、例えば、SVM(サポートベクターマシン)やAdaBoostなどの識別器に入力して画像認識の判定を行う。
なお、これは、識別器を限定するものではなく、計算コストや精度の兼ね合いから使用者が自由に選択することができる。
そして、画像処理装置8は、学習で使用した機能を用いて対象画像から勾配方向の共起を取って負担率を求めるため、対象画像における勾配方向の共起の出現頻度の分布を取得し、当該出現頻度の分布が基準確率密度関数から生成される確率、即ち負担率に基づいて対象画像の特徴量を取得する対象画像特徴量取得手段と、当該特徴量を用いて対象画像が画像認識対象を含んでいるか否かを判断する判断手段を備えている。
画像処理装置8は、例えば、パーソナルコンピュータによって構成されている。
これは一例であって、特徴量抽出用の専用のハードウェアを半導体装置で形成し、これを車載カメラなどに搭載するように構成することもできる。
CPU81は、中央処理装置であって、記憶装置85が記憶する画像認識プログラムに従って動作し、上述した画像からの特徴量抽出する画像処理や、抽出した特徴量を用いた画像認識処理などを行う。
RAM83は、読み書きが可能なメモリであって、CPU81が特徴量抽出処理や画像認識処理を行う際のワーキングメモリを提供する。
画像認識プログラムは、CPU81に画像処理機能や画像認識処理機能を発揮させるプログラムである。
これにより、学習用画像や認識対象画像を読み込むことができる。
入力部86は、操作担当者からの入力を受け付けるキーボード、マウスなどの入力デバイスを備えており、各種プログラムやデータの読み込みや、操作担当者からの操作を受け付ける。
出力部87は、操作担当者に各種の情報を提示するディスプレイ、プリンタなどの出力デバイスを備えており、画像認識プログラムの操作画面、及び、特徴量抽出処理や画像認識処理の結果を出力する。
通信ネットワークやインターフェースに接続したカメラから動画を受信し、これに対してリアルタイムで画像認識処理を行うこともできる。
図6(a)は、基準GMMの混合数を変化させた場合の実験結果を示している。
図では、基準GMMを混合数KをK=64で生成した場合、K=32として生成した場合、及びCoHOG(Co−occurrence HOG)を用いた場合を比較している。
このグラフでは、縦軸を正検出率、横軸を誤検出率としており、実験データを示す曲線の下側の面積が大きいほど高性能と評価される。
なお、画像処理装置8は、高解像度画像11で注目画素5に隣接する画素、中解像度画像12で注目画素5に隣接する画素、及び低解像度画像13で注目画素5に隣接する画素について共起を見ているため、多重解像度での局所領域内における2画素間の勾配ペアに着目している。
このようにfp(x)を単独で用いた場合よりも、fp(x)とfn(x)の差分を学習させたg’(x)を用いると、歩行者特有の特徴のみを検出することができ、より精度を高めることができる。
以下の処理は、CPU81が画像認識プログラムに従って行うものである。
まず、画像処理装置8は、特徴を抽出する対象となる元画像2の入力を記憶装置84などから受け付けてRAM83に読み込む(ステップ5)。
次に、画像処理装置8は、元画像2をブロック領域3に区分し、当該区分の位置をRAM83に記憶する(ステップ10)。
なお、元画像2をそのまま高解像度画像11として使用する場合は、元画像2の画素を解像度変換せずに高解像度画像11の画素として使用する。
次に、画像処理装置8は、高解像度画像11内、高解像度画像11と中解像度画像12の間、及び高解像度画像11と低解像度画像13の間で勾配方向の共起を取って特徴面15にプロットし、RAM83に記憶する(ステップ30)。これにより当該ブロック領域3Aによる特徴面15が得られる。
次に、画像処理装置8は、全ての画素についてプロットしたか否かを判断する(ステップ35)。
まだ、プロットを行っていない画素がある場合(ステップ35;N)、画像処理装置8は、ステップ20に戻って次の画素を選択し、これについて特徴面15へのプロットを行う。
まだ、プロットを行っていないブロック領域3がある場合(ステップ40;N)、画像処理装置8は、ステップ15に戻って次のブロック領域3を選択し、これについて特徴面15へのプロットを行う。
一方、全てのブロック領域3についてプロットした場合(ステップ40;Y)、画像処理装置8は、RAM83の配列から、全てのブロック領域3ごとのオフセット画素ごとに生成した特徴面15をRAM83に出力する(ステップ45)。
まず、画像処理装置8は、ポジティブ画像として提供されている歩行者画像を記憶装置84から読み込んでRAM83に記憶する(ステップ50)。
次に、画像処理装置8は、RAM83に読み込んだ歩行者画像を元画像2としてプロット処理を行い、ブロック領域3ごと、オフセット画素ごとの特徴面15を生成してRAM83に記憶する(ステップ55)。
そして、画像処理装置8は、重畳した歩行者画像の特徴面15ごとにEMアルゴリズムを適用してfp(x)(ポジティブGMM)を生成して、そのパラメータをRAM83に記憶する(ステップ70)。
次に、画像処理装置8は、RAM83に読み込んだ背景画像を元画像2としてプロット処理を行い、ブロック領域3ごと、オフセット画素ごとの特徴面15を生成してRAM83に記憶する(ステップ80)。
そして、画像処理装置8は、重畳した背景画像の特徴面15ごとにEMアルゴリズムを適用してfn(x)(ネガティブGMM)を生成してRAM83に記憶する(ステップ95)。
更に、画像処理装置8は、RAM83に記憶した|g(x)|から特徴面15ごとのh(x)を生成し、逆関数定理を用いることによりh(x)に従って特徴面15ごとにサンプルを発生させてRAM83に記憶する(ステップ105)。
以上の処理により、画像認識に用いる基準GMMが生成される。
ここでは、一例として、車載カメラで歩行者を追跡する場合について説明する。
画像処理装置8は、車両に搭載されており、車外(例えば、車両前方)を被写体とするカメラと接続されている。
車両は、画像処理装置8によって歩行者を追跡してこれを車両の制御系に出力し、制御系は、これに基づいて運転者のハンドル操作やブレーキ操作などを支援して安全性を高める。
次に、画像処理装置8は、RAM83に記憶した動画フレームにおいて、歩行者を検出するための矩形の観測領域(注目画像領域)を設定する(ステップ155)。
初回の歩行者検出では、歩行者がどこに写っているかわからないため、画像処理装置8は、例えば、適当な初期値に基づいて白色雑音による乱数(パーティクル)を発生させて、これに基づいて適当な大きさの観測領域を適当な位置に設定する。
次に、画像処理装置8は、対象画像を元画像2としてプロット処理を行い、勾配方向の共起による特徴量を対象画像から抽出してRAM83に記憶する(ステップ165)。
そして、画像処理装置8は、特徴面15ごとに計算した負担率γを全ての特徴面15について連結して対象画像全体の特徴を表す特徴量とし(ステップ175)、これを正規化してRAM83に記憶する(ステップ180)。
次いで、画像処理装置8は、その結果をRAM83に出力する(ステップ190)。
画像処理装置8は、類比の判断結果から、動画フレーム内で歩行者を当該観測領域内に認識できたかいなかを判断する(ステップ195)。
すなわち、類比の判断結果が類似していない場合、画像処理装置8は、動画フレーム内で歩行者を当該観測領域内に認識できなかったと判断し(ステップ195;N)、ステップ155に戻って、更に動画フレームに前回とは異なる観測領域を設定して、歩行者の認識を繰り返す。
そして、画像処理装置8は、更に認識対象の追跡を継続するか否かを判断する(ステップ200)。この判断は、例えば、車両が目的地に到着するなどして走行を停止した場合に追跡を継続しないと判断し、車両が走行している場合は追跡すると判断する。
一方、追跡を継続すると判断した場合(ステップ200;Y)、画像処理装置8は、ステップ150に戻って、次の動画フレームに対して同様の画像認識処理を行う。
これは、歩行者が1つ前の動画フレームで検出された付近に今回の動画フレームでも存在すると考えられるからである。
なお、この手法は、車載カメラ以外に監視カメラや、その他の動く対象を動画に基づいて追跡するシステムに適用することができる。
更に、前方を走行する車両を画像認識によって追跡して、これに追随走行する所謂コンボイ走行に適用することも可能である。
あるいは、CoHOGで行うように単一の解像度内で共起を取って特徴面15を生成することもできる。
図10は、変形例1を説明するための図である。
上に説明した実施の形態では、g(x)の絶対値|g(x)|を用いて基準GMMを生成した。
|g(x)|は、fp(x)による分布とfn(x)による分布が混在しているため、これを正規化したh(x)に従ってサンプルを発生させると、fp(x)が寄与して発生したサンプルとfn(x)が寄与して発生したサンプルが混在することになる。
そこで、本変形例では、fp(x)によるサンプルとfn(x)によるサンプルを別々のクラスタに分けて基準GMMを生成する。
そして、画像処理装置8は、図10(b)に示したように、g(x)>0の部分を用いてサンプルを発生させ、混合数をK/2としてGMMpを生成する。
更に、画像処理装置8は、図10(c)に示したように、g(x)<0の部分の符号を反転させた後、これを用いてサンプルを発生させ、混合数をK/2としてGMMnを生成する。
なお、サンプルを発生させる前に、g(x)>0の部分と、g(x)<0の部分は、例えば、∫|g(x)|dxで割るなどして規格化する。
変形例は、実施の形態に比べて計算量が増えるため、コンピュータのリソースが十分にあり、精度が必要な場合は、変形例1が適している。
本変形例では、KL特徴量を用いてfp(x)とfn(x)の相関を計量する。
図11(a)に示したように、画像処理装置8は、fp(x)とfn(x)を用いてk(fp,fn)とk(fn,fp)を計算する。
k(fp,fn)とk(fn,fp)は、KL特徴量と呼ばれる量であり、k(fp,fn)は、図11(b)に示した式で表される。k(fn,fp)は、この式でfpとfnを入れ替えた式となる。
k(fp,fn)は、fp(x)から見たfn(x)の相関の計量を表しており、k(fn,fp)は、fn(x)から見たfp(x)の相関の計量を表している。
そして、k(fp,fn)は、このfp(x)とfn(x)の比でもあり差分でもある量にfp(x)を乗じることにより、fp(x)で重み付けし、fp(x)が大きいところが強調されるようになっている。
このように、KL特徴量で表された計量情報は、認識対象確率密度関数と、非認識対象確率密度関数と、の比を用いた比確率密度関数であり、更に認識対象確率密度関数と、非認識対象確率密度関数と、の差分も用いている。
また、図11(d)に示したように、fn(x)>fp(x)の領域では、g(x)=k(fn,fp)とし、その他の領域はg(x)=0としてサンプルを発生させ、混合数をK/2としてGMMnを生成する。
そして、画像処理装置8は、図11(e)に示したように、基準GMM=GMMp+GMMnによって基準GMMを生成する。
本変形例では、対数を用いて比と差分の双方を含んだ計量を規定したが、この他に、比による項と差分による項を線形、あるいは非線形に結合した計量を規定することも可能である。
この第3変形例では、JS特徴量を用いてfp(x)とfn(x)の相関を計量する。
JS特徴量では、次の数式Aに示したfp(x)とfn(x)の平均であるa(x)を用いて、数式Bで計算される。
数式B:JS(fp,fn)=(1/2)k(fp,a)+(1/2)k(fn,a)
一方、KL特徴量では、k(fp,fn)とk(fn,fp)が一般に等しくなく、fp(x)から見たfn(x)の相関の計量と、fn(x)から見たfp(x)の相関の計量は、異なっている。
このように、計量情報生成手段は、認識対象確率密度関数に対する非認識対象確率密度関数の計量と、非認識対象確率密度関数に対する認識対象確率密度関数の計量と、が対称性を有する計量情報を生成している。
図12(a)は、K=64(Kは、GMMの混合数)の場合、図12(b)は、K=32の場合、図12(c)は、K=16の場合を表している。
これらの実験では、JS特徴量の他に、KL特徴量、fp(x)だけを用いた場合、CoHOG、MRCoHOG(CoHOGを改良したもの)を用いた場合も比較のために表してある。
図12(b)のグラフに示したように、混合数を64から32に半減した場合、他の手法では、画像認識能力が軒並み低下するのに対し、JS特徴量を用いた手法では、K=64の場合からほとんど低下していない。
図12(c)のグラフに示したように、混合数を32から16に更に半減した場合、JS特徴量を用いた手法も画像認識能力が低下するものの、他の手法の低下に比べると、その程度は著しく小さい。
車載カメラで車両の周囲を撮影し、歩行者を画像認識する場合、車載する画像処理装置8は、収納空間や振動に対する耐性の観点などから、なるべく小型であることが望ましい。また、ネットワーク通信を用いたサーバによる大きな画像認識処理を要するシステムよりも単純なスタンドアローンの装置が望ましい。
JS特徴量を用いた画像処理装置8は、GMMの混合数を小さくすることができるため、サーバとネットワークで通信するシステムに適用できるほか、コンパクトなスタンドアローンの車載用の画像処理装置8に好適に用いることができる。
(1)従来行われていた勾配方向の量子化と、これによる共起ヒストグラムの生成に代わって、連続値による勾配方向の共起を特徴面15に写像してGMMを生成することができる。
(2)従来例の量子化して作成された共起ヒストグラムには投票が行われないビンも存在しており、その箇所のメモリの確保、計算実行が行われ、計算コストの増加や検出精度の低下を招くことがある。これに対し、本実施形態の画像処理装置8は、検出対象物体を表現するのに特に重要な特徴をGMMのパラメータによって重点的に抽出し、これを用いて計算すればよいので、計算量の増加を防ぎつつ、精度の向上を図ることができる。
(3)共起分布の学習時に歩行者画像(検出対象画像)の特徴量と背景画像(対象外画像)の特徴量の差を元に再度共起の分布を作成することで、より対象物体を表現するのに特に重要な特徴を得ることができ、検出精度を向上させることができる。
(4)fp(x)とfn(x)の差分を取ることにより、識別に無効となるfp(x)とfn(x)が等確率となる生起確率を抑制して、生起確率に偏りがある特徴が生起しやすい確率密度分布を生成することができ、これに逆関数法を適用して再学習を行うことができる。
(5)再学習により混合数の調節が可能であるため、これによって、用途・環境・計算機リソースなどに応じて処理時間や検出精度を自由に調節することができる。
(6)ビン幅の設定による機械学習の精度への影響やビンの境界付近に蓄積される離散化誤差を回避することができる。
(7)変形例1、2では、差分の結果から、fp(x)とfn(x)を分離することができる。
(8)変形例3では、計量に対称性を持たせたJS特徴量を使用することで、低いGMM次元であっても高い画像認識を行うことができる。すなわち、GMM次元を下げることで認識処理の負担を軽減すると共に、より高速な認識が可能になる。
3 ブロック領域
5 注目画素
8 画像処理装置
11 高解像度画像
12 中解像度画像
13 低解像度画像
15 特徴面
51 共起対応点
53 GMM
55 基準GMM
57 分布
60 クラスタ
81 CPU
82 ROM
83 RAM
84 記憶装置
85 記憶媒体駆動装置
86 入力部
87 出力部
Claims (14)
- 画像を入力する画像入力手段と、
前記入力した画像から2つの画素の組合せを取得する画素組合せ取得手段と、
前記取得した組合せに係る2つの画素の輝度の勾配方向の共起を取得する共起取得手段と、
前記取得する画素の組合せを変化させながら、前記取得する共起の出現頻度の分布を取得する出現頻度取得手段と、
前記取得した出現頻度の分布に対応する確率密度関数を生成する確率密度関数生成手段と、
前記生成した確率密度関数を、当該確率密度関数を規定するパラメータによって出力する確率密度関数出力手段と、
を具備したことを特徴する画像処理装置。 - 前記画像入力手段から認識対象を含む複数の認識対象画像を入力し、前記確率密度関数出力手段に前記複数の認識対象画像に基づく認識対象確率密度関数を出力させる認識対象学習手段と、
前記出力させた認識対象確率密度関数を用いて前記認識対象を画像認識する基準となる基準確率密度関数を生成する基準確率密度関数生成手段と、
前記生成した基準確率密度関数を、当該基準確率密度関数を規定するパラメータによって出力する基準確率密度関数出力手段と、
を具備したことを特徴とする請求項1に記載の画像処理装置。 - 前記画像入力手段から認識対象を含まない複数の非認識対象画像を入力し、前記確率密度関数出力手段に前記非認識対象画像による非認識対象確率密度関数を出力させる非認識対象学習手段と、
前記出力させた前記認識対象確率密度関数と、前記非認識対象確率密度関数と、の相関を計量する計量情報を生成する計量情報生成手段と、
を具備し、
前記基準確率密度関数生成手段は、前記生成した計量情報を用いて前記基準確率密度関数を生成することを特徴とする請求項2に記載の画像処理装置。 - 前記計量情報生成手段は、前記認識対象確率密度関数に対する前記非認識対象確率密度関数の計量と、前記非認識対象確率密度関数に対する前記認識対象確率密度関数の計量と、が対称性を有する前記計量情報を生成することを特徴とする請求項3に記載の画像処理装置。
- 前記生成した計量情報に従って複数のサンプルを発生させるサンプル発生手段を具備し、
前記基準確率密度関数生成手段は、前記発生させたサンプルの出現頻度の分布に基づいて前記基準確率密度関数を生成することを特徴とする請求項3又は請求項4に記載の画像処理装置。 - 前記認識対象確率密度関数と、前記非認識対象確率密度関数は、それぞれ所定の個数の基底関数を混合して生成されており、
前記基準確率密度関数生成手段は、前記所定の個数よりも少ない個数の基底関数を混合して前記基準確率密度関数を生成することを特徴とする請求項3、請求項4、又は請求項5に記載の画像処理装置。 - 前記入力した画像の解像度を変換する解像度変換手段を具備し、
前記画素組合せ取得手段は、前記解像度を変換した画素も組合せの対象とすることを特徴する請求項1から請求項6までの内の何れか1の請求項に記載の画像処理装置。 - 前記計量情報は、前記認識対象確率密度関数と、前記非認識対象確率密度関数と、の差分を用いた差分確率密度関数であることを特徴とする請求項3、又は請求項4に記載の画像処理装置。
- 前記計量情報は、前記認識対象確率密度関数と、前記非認識対象確率密度関数と、の比を用いた比確率密度関数であることを特徴とする請求項3、又は請求項4に記載の画像処理装置。
- 前記比確率密度関数は、更に前記認識対象確率密度関数と、前記非認識対象確率密度関数と、の差分を用いていることを特徴とする請求項9に記載の画像処理装置。
- 請求項2に記載の画像処理装置が出力した基準確率密度関数を取得する基準確率密度関数取得手段と、
画像認識の対象となる対象画像を取得する対象画像取得手段と、
前記取得した基準確率密度関数を用いて前記取得した対象画像の特徴量を取得する対象画像特徴量取得手段と、
前記取得した特徴量を用いて前記対象画像が画像認識対象を含んでいるか否かを判断する判断手段と、
を具備したことを特徴とする画像認識装置。 - 前記対象画像特徴量取得手段は、
前記取得した対象画像を請求項1に記載の画像処理装置の画像入力手段に入力して、当該画像処理装置の出現頻度取得手段から前記対象画像における勾配方向の共起の出現頻度の分布を取得し、
前記取得した出現頻度の分布が前記取得した基準確率密度関数から生成される確率に基づいて前記対象画像の特徴量を取得することを特徴とする請求項11に記載の画像認識装置。 - 画像を入力する画像入力機能と、
前記入力した画像から2つの画素の組合せを取得する画素組合せ取得機能と、
前記取得した組合せに係る2つの画素の輝度の勾配方向の共起を取得する共起取得機能と、
前記取得する画素の組合せを変化させながら、前記取得する共起の出現頻度の分布を取得する出現頻度取得機能と、
前記取得した出現頻度の分布に対応する確率密度関数を生成する確率密度関数生成機能と、
前記生成した確率密度関数を、当該確率密度関数を規定するパラメータによって出力する確率密度関数出力機能と、
をコンピュータで実現する画像処理プログラム。 - 請求項2に記載の画像処理装置が出力した基準確率密度関数を取得する基準確率密度関数取得機能と、
画像認識の対象となる対象画像を取得する対象画像取得機能と、
前記取得した基準確率密度関数を用いて前記取得した対象画像の特徴量を取得する対象画像特徴量取得機能と、
前記取得した特徴量を用いて前記対象画像が画像認識対象を含んでいるか否かを判断する判断機能と、
をコンピュータで実現する画像認識プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18748166.8A EP3579182A4 (en) | 2017-01-31 | 2018-01-31 | IMAGE PROCESSING DEVICE, IMAGE RECOGNITION DEVICE, IMAGE PROCESSING PROGRAM AND IMAGE RECOGNITION PROGRAM |
US16/480,989 US11468572B2 (en) | 2017-01-31 | 2018-01-31 | Image processing device, image recognition device, image processing program, and image recognition program |
PCT/JP2018/003225 WO2018143278A1 (ja) | 2017-01-31 | 2018-01-31 | 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム |
CN201880009329.0A CN110235177B (zh) | 2017-01-31 | 2018-01-31 | 图像处理装置、图像识别装置、以及存储介质 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017016221 | 2017-01-31 | ||
JP2017016221 | 2017-01-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018124963A true JP2018124963A (ja) | 2018-08-09 |
JP7072765B2 JP7072765B2 (ja) | 2022-05-23 |
Family
ID=63111527
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017148010A Active JP7072765B2 (ja) | 2017-01-31 | 2017-07-31 | 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11468572B2 (ja) |
EP (1) | EP3579182A4 (ja) |
JP (1) | JP7072765B2 (ja) |
CN (1) | CN110235177B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020196918A1 (ja) * | 2019-03-28 | 2020-10-01 | 株式会社エクォス・リサーチ | 画像処理装置、及び画像処理プログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113198181A (zh) * | 2021-05-27 | 2021-08-03 | 星漫互动(苏州)网络科技有限公司 | 适用于大型游戏场景的编辑方法及系统 |
CN113426136B (zh) * | 2021-07-06 | 2024-04-09 | 网易(杭州)网络有限公司 | 异常告警方法、装置、计算机设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009301104A (ja) * | 2008-06-10 | 2009-12-24 | Chube Univ | 物体検出装置 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4988408B2 (ja) | 2007-04-09 | 2012-08-01 | 株式会社デンソー | 画像認識装置 |
DE102007050568A1 (de) * | 2007-08-04 | 2009-02-05 | Continental Teves Ag & Co. Ohg | Verfahren und Einrichtung zur Objekterkennung in einem Bild |
MX2010002253A (es) * | 2008-07-01 | 2010-03-17 | Panasonic Corp | Metodo de evaluacion de señal reproducida, dispositivo de evaluacion de señal reproducida y dispositivo de disco optico equipado con los mismos. |
JP4792069B2 (ja) * | 2008-09-03 | 2011-10-12 | 株式会社日立製作所 | 画像認識装置 |
US8995714B2 (en) * | 2009-03-04 | 2015-03-31 | Nec Corporation | Information creation device for estimating object position and information creation method and program for estimating object position |
JP5229053B2 (ja) * | 2009-03-30 | 2013-07-03 | ソニー株式会社 | 信号処理装置、および信号処理方法、並びにプログラム |
US8639042B2 (en) * | 2010-06-22 | 2014-01-28 | Microsoft Corporation | Hierarchical filtered motion field for action recognition |
AU2012219026B2 (en) * | 2011-02-18 | 2017-08-03 | Iomniscient Pty Ltd | Image quality assessment |
JP5771442B2 (ja) * | 2011-05-09 | 2015-08-26 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
TWI458341B (zh) * | 2011-08-10 | 2014-10-21 | Univ Nat Taipei Technology | 用於顯示裝置之影像品質提升方法 |
JP2013161126A (ja) * | 2012-02-01 | 2013-08-19 | Honda Elesys Co Ltd | 画像認識装置、画像認識方法および画像認識プログラム |
US10559377B2 (en) * | 2013-01-09 | 2020-02-11 | Biomed Concepts Inc. | Graphical user interface for identifying diagnostic and therapeutic options for medical conditions using electronic health records |
CN103914811B (zh) * | 2014-03-13 | 2016-10-19 | 中国科学院长春光学精密机械与物理研究所 | 一种基于高斯混合模型的图像增强算法 |
KR102330322B1 (ko) * | 2014-09-16 | 2021-11-24 | 삼성전자주식회사 | 영상 특징 추출 방법 및 장치 |
US10366277B2 (en) * | 2015-09-22 | 2019-07-30 | ImageSleuth, Inc. | Automated methods and systems for identifying and characterizing face tracks in video |
US10482196B2 (en) * | 2016-02-26 | 2019-11-19 | Nvidia Corporation | Modeling point cloud data using hierarchies of Gaussian mixture models |
-
2017
- 2017-07-31 JP JP2017148010A patent/JP7072765B2/ja active Active
-
2018
- 2018-01-31 CN CN201880009329.0A patent/CN110235177B/zh active Active
- 2018-01-31 EP EP18748166.8A patent/EP3579182A4/en active Pending
- 2018-01-31 US US16/480,989 patent/US11468572B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009301104A (ja) * | 2008-06-10 | 2009-12-24 | Chube Univ | 物体検出装置 |
Non-Patent Citations (2)
Title |
---|
岩田壮平,大塚広道,榎田修一,久野和宏: "異なるフィルタサイズにより抽出された勾配方向の共起に基づく歩行者検出", 第21回 画像センシングシンポジウム ダイジェスト集 [CD-ROM], JPN6018014641, June 2015 (2015-06-01), pages 3 - 21, ISSN: 0004597769 * |
岩田壮平,榎田修一: "多重解像度処理を導入したCoHOGに基づく物体検出", 画像電子学会誌 [CD-ROM], vol. 第45巻,第1号, JPN6018014643, 30 January 2016 (2016-01-30), pages 42 - 52, ISSN: 0004597768 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020196918A1 (ja) * | 2019-03-28 | 2020-10-01 | 株式会社エクォス・リサーチ | 画像処理装置、及び画像処理プログラム |
JP2020166342A (ja) * | 2019-03-28 | 2020-10-08 | 株式会社エクォス・リサーチ | 画像処理装置、及び画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN110235177A (zh) | 2019-09-13 |
JP7072765B2 (ja) | 2022-05-23 |
EP3579182A4 (en) | 2020-09-23 |
US20200005467A1 (en) | 2020-01-02 |
EP3579182A1 (en) | 2019-12-11 |
CN110235177B (zh) | 2023-10-20 |
US11468572B2 (en) | 2022-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111027401B (zh) | 一种摄像头和激光雷达融合的端到端目标检测方法 | |
Anand et al. | Crack-pot: Autonomous road crack and pothole detection | |
KR102143108B1 (ko) | 차선 인식 모델링 방법, 장치, 저장 매체 및 기기, 및 인식 방법, 장치, 저장 매체 및 기기 | |
CN111950394B (zh) | 一种车辆变道的预测方法、装置及计算机存储介质 | |
CN108645375B (zh) | 一种用于车载双目系统快速车辆测距优化方法 | |
US9928426B1 (en) | Vehicle detection, tracking and localization based on enhanced anti-perspective transformation | |
JP7091686B2 (ja) | 立体物認識装置、撮像装置および車両 | |
CN109313699B (zh) | 用于对一车辆的输入图像进行目标识别的装置和方法 | |
CN109977968B (zh) | 一种深度学习分类后比较的sar变化检测方法 | |
JP7072765B2 (ja) | 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム | |
WO2018143278A1 (ja) | 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム | |
CN114663598A (zh) | 三维建模方法、装置和存储介质 | |
JP2013069045A (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
JP7165353B2 (ja) | 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム | |
Cai et al. | 3D vehicle detection based on LiDAR and camera fusion | |
CN111435457A (zh) | 对传感器获取的采集进行分类的方法 | |
CN117523428B (zh) | 基于飞行器平台的地面目标检测方法和装置 | |
Saadeldin et al. | Real-time vehicle counting using custom YOLOv8n and DeepSORT for resource-limited edge devices | |
US20220180546A1 (en) | Image processing device and image processing program | |
Alfahdawi et al. | Object Recognition System for Autonomous Vehicles Based on PCA and 1D-CNN | |
Madake et al. | Vision-Based Weather Condition Recognition for Driver Assistance | |
Lagahit et al. | Exploring Ground Segmentation from LIDAR Scanning-Derived Images Using Convolutional Neural Networks | |
Ratheesh et al. | A Comparative CNN based Analysis of Classification and Detection of Potholes | |
CN116778449A (zh) | 一种用于提高自动驾驶三维目标检测效率的检测方法 | |
JPH1196375A (ja) | 時系列画像動き場計測方法および装置ならび時系列画像動き場計測プログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170731 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200731 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20210728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210922 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220408 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220422 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7072765 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |