JP2020042781A - 多焦点距離視覚に基づく障害物感知方法、装置、設備及び記憶媒体 - Google Patents
多焦点距離視覚に基づく障害物感知方法、装置、設備及び記憶媒体 Download PDFInfo
- Publication number
- JP2020042781A JP2020042781A JP2019128121A JP2019128121A JP2020042781A JP 2020042781 A JP2020042781 A JP 2020042781A JP 2019128121 A JP2019128121 A JP 2019128121A JP 2019128121 A JP2019128121 A JP 2019128121A JP 2020042781 A JP2020042781 A JP 2020042781A
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- detection
- focus camera
- sequences
- detection result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 170
- 230000015654 memory Effects 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000004927 fusion Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Vascular Medicine (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】多焦点距離視覚に基づく障害物感知方法及び装置を提供する。【解決手段】方法は、長焦点カメラと短焦点カメラを用いて障害物の複数の時刻での検出結果をそれぞれ取得するステップと、長焦点カメラと短焦点カメラによりそれぞれ取得された検出結果を用いて目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、各追跡シーケンスには、同一障害物についての複数の時刻での検出結果が含まれるステップと、少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併するステップと、を含む。【効果】異なる焦点距離カメラからの追跡シーケンスを合併することにより、多焦点距離視覚に基づく障害物感知を実現し、従来技術における追跡視野と視距が両立できない問題を解決することができる。【選択図】図３
Description
本発明は自動運転車の技術分野に関し、特に多焦点距離視覚に基づく障害物感知方法、装置、設備及びコンピュータ可読記憶媒体に関する。
自動運転車の感知システムに対して、有効感知距離は非常に重要な指標である。短焦点カメラは視野が広くて、視野範囲における障害物が分断し難く、障害物の関連付け及び追跡に寄与するが、感知距離が短い問題を抱える一方、長焦点カメラは視野が狭いが、障害物単体の面積がより大きく、視覚測定がさらに正確であるとともに、小障害物を検出しやすく、中遠距離の障害物検出に適用できる。
従来の障害物感知技術は単独の短焦点カメラのみ又は長焦点カメラのみを用いて障害物を検出し追跡するため、視野と視距が両立できない。すなわち、短焦点カメラを用いて障害物を検出し追跡する場合、カバー範囲が大きいが、その視距が短すぎる一方、長焦点カメラを用いて障害物を検出し追跡する場合、その視距が長いが、カバー範囲が小さい。
本発明の実施例は、少なくとも従来技術における上記技術的問題を解決するために、多焦点距離視覚に基づく障害物感知方法を提供する。
第一態様によれば、本発明の実施例は、多焦点距離視覚に基づく障害物感知方法を提供し、当該方法は、
複数の時刻で、長焦点カメラと短焦点カメラを用いて障害物の検出結果をそれぞれ取得するステップと、
長焦点カメラと短焦点カメラによりそれぞれ取得された検出結果を用いて目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、各追跡シーケンスには、同一障害物についての複数の時刻での検出結果が含まれるステップと、
前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るステップと、を含む。
複数の時刻で、長焦点カメラと短焦点カメラを用いて障害物の検出結果をそれぞれ取得するステップと、
長焦点カメラと短焦点カメラによりそれぞれ取得された検出結果を用いて目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、各追跡シーケンスには、同一障害物についての複数の時刻での検出結果が含まれるステップと、
前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るステップと、を含む。
第一態様に合わせて、本発明の第一態様の第一実施形態において、前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行いことは、
前記少なくとも２つの追跡シーケンスから任意に２つの追跡シーケンスを選択するステップと、
各時刻に対して、選択された２つの追跡シーケンスから検出結果をそれぞれ取得し、前記検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ−ｏｖｅｒ−Ｕｎｉｏｎ）を算出するステップと、
すべての時刻に対して算出されたＩＯＵの平均値を求めステップと、
前記平均値が予め設定された閾値より大きい場合、選択された２つの追跡シーケンスのマッチングが成功すると判定するステップと、を含む。
前記少なくとも２つの追跡シーケンスから任意に２つの追跡シーケンスを選択するステップと、
各時刻に対して、選択された２つの追跡シーケンスから検出結果をそれぞれ取得し、前記検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ−ｏｖｅｒ−Ｕｎｉｏｎ）を算出するステップと、
すべての時刻に対して算出されたＩＯＵの平均値を求めステップと、
前記平均値が予め設定された閾値より大きい場合、選択された２つの追跡シーケンスのマッチングが成功すると判定するステップと、を含む。
第一態様に合わせて、本発明の第一態様の第二実施形態において、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併することは、
前記任意の２つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得るステップを含む。
前記任意の２つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得るステップを含む。
第一態様、第一態様の第一実施形態、第一態様の第二実施形態に合わせて、本発明の第一態様の第三実施形態において、
新たな検出結果を取得し、それぞれ前記新たな検出結果を合併後の追跡シーケンスと関連検出を行い、
関連検出が失敗する場合、前記新たな検出結果を含む新たな追跡シーケンスを作成し、
関連検出が成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加すること、を更に含む。
新たな検出結果を取得し、それぞれ前記新たな検出結果を合併後の追跡シーケンスと関連検出を行い、
関連検出が失敗する場合、前記新たな検出結果を含む新たな追跡シーケンスを作成し、
関連検出が成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加すること、を更に含む。
第二態様によれば、本発明の実施例は、多焦点距離視覚に基づく障害物感知装置をさらに提供し、該障害物感知装置は、
長焦点カメラと短焦点カメラにより複数の時刻でそれぞれ取得された障害物の検出結果を用いて目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、前記各追跡シーケンスには、同一障害物についての複数の時刻での検出結果が含まれるための初期処理モジュールと、
前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るための合併モジュールと、を備える。
長焦点カメラと短焦点カメラにより複数の時刻でそれぞれ取得された障害物の検出結果を用いて目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、前記各追跡シーケンスには、同一障害物についての複数の時刻での検出結果が含まれるための初期処理モジュールと、
前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るための合併モジュールと、を備える。
第二態様に合わせて、本発明の第二態様の第一実施形態において、前記合併モジュールは、前記少なくとも２つの追跡シーケンスから任意に２つの追跡シーケンスを選択し、各時刻に対して、選択された２つの追跡シーケンスから検出結果をそれぞれ取得し、前記検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのＩＯＵを算出し、すべての時刻に対して算出されたＩＯＵの平均値を求め、前記平均値が予め設定された閾値より大きい場合、選択された２つの追跡シーケンスのマッチングが成功すると判定するために用いられる。
第二態様に合わせて、本発明の第二態様の第二実施形態において、合併モジュールは、マッチング検出が成功する場合、前記任意の２つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得るために用いられる。
第二態様、第二態様の第一実施形態、第二態様の第二実施形態に合わせて、本発明の第二態様の第三実施形態において、前記装置は、
新たな検出結果を取得し、前記新たな検出結果を合併後の追跡シーケンスと関連検出をそれぞれ行い、関連検出が失敗する場合、該新たな検出結果を含む新たな追跡シーケンスを作成し、関連検出が成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加するための関連付けモジュールをさらに備える。
新たな検出結果を取得し、前記新たな検出結果を合併後の追跡シーケンスと関連検出をそれぞれ行い、関連検出が失敗する場合、該新たな検出結果を含む新たな追跡シーケンスを作成し、関連検出が成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加するための関連付けモジュールをさらに備える。
上記技術案のいずれかは以下の利点又は有益な効果を有する。
本発明の実施例によれば、長焦点カメラと短焦点カメラを用いて障害物の検出結果をそれぞれ取得し、それぞれのカメラにおいて別々に目標追跡を行い、異なる追跡シーケンスを形成し、その後、追跡シーケンスがマッチングすると判定すると、異なるカメラからの追跡シーケンスを合併することにより、従来技術における追跡視野と視距が両立できない問題を解決する。
上記概説は明細書のためのものであって、いかなる方式で制限するためのものではない。上記説明される模式的な態様、実施形態及び特徴を除き、本発明のさらなる態様、実施形態及び特徴は、図面及び以下の詳細な説明によって明らかになる。
図面において、特に断らない限り、同一符号は同一又は類似の部材又は要素を示す。これらの図面は必ずしも縮尺に応じて作成されるものではない。なお、これらの図面は本発明に開示されているいくつかの実施形態を示しているが、本発明の範囲を限定するものではない。
以下では、幾つかの例示的な実施例のみを簡単に説明する。当業者であれば、本発明の趣旨又は範囲を逸脱せずに、説明した実施例に様々な変更を施すことができると理解できる。従って、図面と説明は本質的に例示的であり、限定的ではないとみなされるべきである。
本発明の実施例は主に多焦点距離視覚に基づく障害物感知方法及び装置を提供する。以下では、下記実施例による技術案について詳細に説明する。
実施例１
本実施例は多焦点距離視覚に基づく障害物感知方法を提供する。
本実施例は多焦点距離視覚に基づく障害物感知方法を提供する。
本実施例では、自動運転車の感知システムには、画像を撮影するための長焦点カメラと短焦点カメラとが同時に設置される。図１は本発明の実施例１に係る長焦点カメラと短焦点カメラの設置方式及び視野範囲を示す模式図である。図１において、自動運転車のヘッドの同一位置に長焦点カメラと短焦点カメラが設置され、例えば、長焦点カメラは焦点距離が１２ｍｍ、短焦点カメラは焦点距離が６ｍｍである。図１において、階調が濃く且つ角度が小さい扇形領域は長焦点カメラの視野範囲であり、階調が浅く且つ角度が大きい扇形領域は短焦点カメラの視野範囲である。
なお、本実施例では、長焦点カメラと短焦点カメラが自動運転車のヘッド位置に設置されることのみを例示するが、本発明のほかの実施例では、長焦点カメラと短焦点カメラは自動運転車のほかの位置に設置されてもよく、自動運転車の異なる位置に複数組の長焦点カメラと短焦点カメラが設置されてもよい。
図２ａ及び図２ｂは自動運転車のヘッド位置に設置された長焦点カメラと短焦点カメラによりそれぞれ撮影された画像である。
図２ａは長焦点カメラにより撮影された画像の模式図であり、図２ｂに比べて、図２ａにおける遠方の物体が明瞭に視認されるが、視野範囲が小さい。図２ｂは短焦点カメラにより撮影された画像の模式図であり、図２ａに比べて、図２ｂにおける視野範囲が大きいが、遠方の物体が明瞭に視認されない。
以上からわかるように、図２ａにおける全画像は図２ｂに含まれ、図２ａを適切な比率で縮小すると、縮小後の画像が図２ｂにおける画像の一部と重なる。
図３は本発明の実施例１に係る多焦点距離視覚に基づく障害物感知方法の模式図であり、当該方法は、下記のステップＳ１１０〜Ｓ１３０を含む。
Ｓ１１０では、複数の時刻で、長焦点カメラと短焦点カメラを用いて、障害物の検出結果をそれぞれ取得する。
本実施例及び明細書のほかの実施例では、「障害物」とは、広義に理解され、例えば、自動車の周囲の通行人、自転車、自転電動車、他の非自動車又は自動車は、本車（自動運転車）に対して、障害物とすると考えられてもよい。
本実施例及び明細書のほかの実施例では、「障害物」とは、広義に理解され、例えば、自動車の周囲の通行人、自転車、自転電動車、他の非自動車又は自動車は、本車（自動運転車）に対して、障害物とすると考えられてもよい。
障害物の検出結果を取得した後、初期時、それぞれのカメラにおいて別々に目標追跡を行い、すなわち、下記ステップＳ１２０を実行する。
Ｓ１２０では、長焦点カメラと短焦点カメラによりそれぞれ取得された検出結果を用いて、目標追跡を行い、少なくとも２つの追跡シーケンス（ｔｒａｃｋ）を得ることができ、各追跡シーケンスに同一障害物についての複数の時刻での検出結果が含まれる。
本ステップでは、焦点距離が異なる２つのカメラにより取得された検出結果に対して目標追跡をそれぞれ行い、同一障害物に対して、長焦点カメラと短焦点カメラがともに検出結果を取得する場合、該障害物に対して２つの追跡シーケンスを形成でき、これらの２つの追跡シーケンスがそれぞれ長焦点カメラと短焦点カメラからのものである。
目標追跡に対する具体的な手順は、従来技術と同じ方式を採用してもよく、すなわち、検出結果に対して類似度の算出を行い、類似度行列を解くことで、マッチングを行い、検出結果の関連付けを実現し、それにより追跡シーケンスを得る。
Ｓ１３０では、前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチング検出が成功する場合、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得る。
本ステップでは、マッチング検出が成功すると、２つの追跡シーケンスが異なるカメラからの同一障害物に対する追跡シーケンスであることを物語っている、従って、それらを合併して１つの追跡シーケンスを形成し、カメラ間の追跡シーケンス融合を実現できる。
図４は、本発明の実施例１におけるステップＳ１３０を示すフローチャートであり、ステップＳ１３０は、ステップＳ１３１〜Ｓ１３４を含む。
Ｓ１３１では、任意の２つの追跡シーケンスに含まれる検出結果を取得する。
例えば、既存の少なくとも２つの追跡シーケンスのうち、任意の２つの追跡シーケンスＴａとＴｂとを抽出し、ＴａとＴｂとが複数の検出結果をそれぞれ含む。
Ｓ１３２では、各時刻に対して、前記任意の２つの追跡シーケンスから検出結果をそれぞれ取得し、前記検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのＩＯＵを算出する。
Ｓ１３３では、すべての時刻に対して算出されたＩＯＵの平均値を求め、前記平均値が予め設定された閾値より大きい場合、前記任意の２つの追跡シーケンスのマッチングが成功すると判定する。
Ｓ１３４では、マッチングが成功する場合、前記任意の２つの追跡シーケンスにおける検出結果を合併することにより、合併後の追跡シーケンスを得る。
具体的には、追跡シーケンスＴａとＴｂにおいて、下記の公式に示すように、各時刻の検出結果はｄｉとｄｊを含み、
ここで、ｄｉが追跡シーケンスＴａに属する検出結果であり、ｄｊが追跡シーケンスＴｂに属する検出結果であり、且つ、ｄｉとｄｊは、同一時刻におけるものである。
上記２つの検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ−ｏｖｅｒ−Ｕｎｉｏｎ）を算出する。純回転モデルを用いて投影を行うことができる。
ＩＯＵの値が１に近いほど、２つの検出結果の重なり部分が多く、２つの検出結果が同一障害物に対して撮影して得られる可能性が高い。
２つの追跡シーケンスのすべての同一時刻に対する検出結果について、上記ＩＯＵの平均値を求め、該平均値が予め設定された閾値より大きい場合、該任意の２つの追跡シーケンスのマッチングが成功すると判定する。
マッチングが成功すると、マッチングに成功する２つの追跡シーケンスを合併でき、例えば、合併して得られた追跡シーケンスがｔｒａｃｋ＝｛ｄ１，ｄ２，ｄ３，…ｄｎ｝であり、ここで、ｄｉ（ｉ＝１，２，…，ｎ）は、長焦点カメラからの検出結果であってもよいし、短焦点カメラからの検出結果であってもよい。
図５は本発明の実施例に係る追跡シーケンス合併効果を示す模式図である。図５において、長焦点カメラと短焦点カメラからの２つの追跡シーケンスがマッチングすると判定した後、長焦点カメラの追跡シーケンスにおける各検出結果（図５において三角形で示す）と短焦点カメラの追跡シーケンスにおける各検出結果（図５において円形で示す）を１つの追跡シーケンスに合併する。
実施例２
本発明の実施例は、別の多焦点距離視覚に基づく障害物感知方法を提供する。図６は、本発明の実施例２に係る多焦点距離視覚に基づく障害物感知方法の模式図であり、該方法は以下のステップＳ１１０〜Ｓ１４０を含む。
本発明の実施例は、別の多焦点距離視覚に基づく障害物感知方法を提供する。図６は、本発明の実施例２に係る多焦点距離視覚に基づく障害物感知方法の模式図であり、該方法は以下のステップＳ１１０〜Ｓ１４０を含む。
Ｓ１１０では、複数の時刻で、長焦点カメラと短焦点カメラを用いて障害物の検出結果をそれぞれ取得する。
Ｓ１２０では、長焦点カメラと短焦点カメラによりそれぞれ取得された検出結果を用いて目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、各追跡シーケンスに同一障害物についての複数の時刻での検出結果が含まれる。
Ｓ１３０では、前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチング検出が成功する場合、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得る。
上記ステップＳ１１０〜Ｓ１３０は、実施例１におけるステップＳ１１０〜Ｓ１３０の具体的な方式と同様であるため、ここで重複説明を省略する。
ステップＳ１１０〜Ｓ１３０では、初期段階における追跡シーケンスの合併を完了する。後続では、新たな検出結果について、どのカメラからのものかに関わらず、新たな検出結果を合併後の追跡シーケンスと直接に関連付けらせ、すなわち、下記ステップＳ１４０を実行する。
Ｓ１４０では、新たな検出結果を取得する場合、それぞれ前記新たな検出結果を合併後の追跡シーケンスと関連検出を行い、関連検出が失敗する場合、該新たな検出結果を含む新たな追跡シーケンスを作成し、関連検出が成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加する。
上記手順によれば、本実施例は、長焦点カメラと短焦点カメラからの追跡シーケンスに対する融合を実現し、それにより、多焦点距離視覚に基づく感知を実現する。
実施例３
本実施例は、多焦点距離視覚に基づく障害物感知装置を提供する。図７は、本発明の実施例３に係る多焦点距離視覚に基づく障害物感知装置の模式図であり、該障害物感知装置は、
長焦点カメラと短焦点カメラにより複数の時刻でそれぞれ取得された障害物の検出結果を用いて、目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、各追跡シーケンスに同一障害物についての複数の時刻での検出結果が含まれるための初期処理モジュール７０１と、
前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るための合併モジュール７０２と、を備える。
本実施例は、多焦点距離視覚に基づく障害物感知装置を提供する。図７は、本発明の実施例３に係る多焦点距離視覚に基づく障害物感知装置の模式図であり、該障害物感知装置は、
長焦点カメラと短焦点カメラにより複数の時刻でそれぞれ取得された障害物の検出結果を用いて、目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、各追跡シーケンスに同一障害物についての複数の時刻での検出結果が含まれるための初期処理モジュール７０１と、
前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るための合併モジュール７０２と、を備える。
具体的には、上記合併モジュール７０２は、
少なくとも２つの追跡シーケンスから２つの追跡シーケンスを選択し、
各時刻に対して、選択された２つの追跡シーケンスから検出結果をそれぞれ取得し、検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのＩＯＵを算出し、
すべての時刻に対して算出されたＩＯＵの平均値を求め、平均値が予め設定された閾値より大きい場合、選択された２つの追跡シーケンスのマッチングが成功すると判定する。
少なくとも２つの追跡シーケンスから２つの追跡シーケンスを選択し、
各時刻に対して、選択された２つの追跡シーケンスから検出結果をそれぞれ取得し、検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのＩＯＵを算出し、
すべての時刻に対して算出されたＩＯＵの平均値を求め、平均値が予め設定された閾値より大きい場合、選択された２つの追跡シーケンスのマッチングが成功すると判定する。
マッチング検出が成功する場合、これらの２つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得る。
例えば、任意の２つの追跡シーケンスＴａとＴｂにおいて、下記の公式に示すように、各時刻の検出結果はｄｉとｄｊを含み、
ここで、ｄｉが追跡シーケンスＴａに属する検出結果であり、ｄｊが追跡シーケンスＴｂに属する検出結果であり、且つ、ｄｉとｄｊは、タイムスタンプが同じで、すなわち、同一時刻におけるものである。
上記２つの検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果のＩＯＵを算出する。純回転モデルを用いて投影を行うことができる。
ＩＯＵの値が１に近いほど、２つの検出結果の重なり部分が多く、２つの検出結果が同一障害物に対して撮影して得られる可能性が高い。
２つの追跡シーケンスのすべての同一時刻に対する検出結果について、上記ＩＯＵの平均値を求め、該平均値が予め設定された閾値より大きい場合、該任意の２つの追跡シーケンスのマッチングが成功すると判定する。
マッチングが成功すると、マッチングに成功する２つの追跡シーケンスを合併でき、すなわち、マッチングに成功する２つの追跡シーケンスの検出結果を合併し、合併後の追跡シーケンスを得ることができる。
例えば、合併後の追跡シーケンスがｔｒａｃｋ＝｛ｄ１，ｄ２，ｄ３，…ｄｎ｝であり、ここで、ｄｉ（ｉ＝１，２，…，ｎ）は、長焦点カメラからの検出結果であってもよいし、短焦点カメラからの検出結果であってもよい。
以上からわかるように、本発明の実施例に係る多焦点距離視覚に基づく障害物感知装置は、長焦点カメラと短焦点カメラからの追跡シーケンスの融合を実現し、それにより、多焦点距離視覚に基づく感知を実現する。
実施例４
本実施例は、別の多焦点距離視覚に基づく障害物感知装置を提供する。図８は、本発明の実施例４に係る多焦点距離視覚に基づく障害物感知装置の模式図であり、該障害物感知装置は、
長焦点カメラと短焦点カメラにより複数の時刻でそれぞれ取得された障害物の検出結果を用いて目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、各追跡シーケンスに同一障害物についての複数の時刻での検出結果が含まれるための初期処理モジュール７０１と、
前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るための合併モジュール７０２と、を備える。
本実施例は、別の多焦点距離視覚に基づく障害物感知装置を提供する。図８は、本発明の実施例４に係る多焦点距離視覚に基づく障害物感知装置の模式図であり、該障害物感知装置は、
長焦点カメラと短焦点カメラにより複数の時刻でそれぞれ取得された障害物の検出結果を用いて目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、各追跡シーケンスに同一障害物についての複数の時刻での検出結果が含まれるための初期処理モジュール７０１と、
前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るための合併モジュール７０２と、を備える。
具体的には、上記合併モジュール７０２は、
少なくとも２つの追跡シーケンスから２つの追跡シーケンスを選択し、
各時刻に対して、選択された２つの追跡シーケンスから検出結果をそれぞれ取得し、検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのＩＯＵを算出し、
すべての時刻に対して算出されたＩＯＵの平均値を求め、平均値が予め設定された閾値より大きい場合、選択された２つの追跡シーケンスのマッチングが成功すると判定する。
少なくとも２つの追跡シーケンスから２つの追跡シーケンスを選択し、
各時刻に対して、選択された２つの追跡シーケンスから検出結果をそれぞれ取得し、検出結果が異なるカメラからのものである場合、長焦点カメラからの検出結果を短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのＩＯＵを算出し、
すべての時刻に対して算出されたＩＯＵの平均値を求め、平均値が予め設定された閾値より大きい場合、選択された２つの追跡シーケンスのマッチングが成功すると判定する。
マッチング検出が成功する場合、これらの２つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得る。
本実施例に係る装置は、新たな検出結果を取得し、それぞれ新たな検出結果を合併後の追跡シーケンスと関連検出を行い、関連検出が失敗する場合、該新たな検出結果を含む新たな追跡シーケンスを作成し、関連検出が成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加する関連付けモジュール８０３をさらに備える。
以上からわかるように、本発明の実施例に係る多焦点距離視覚に基づく障害物感知装置は、長焦点カメラと短焦点カメラの追跡シーケンスの融合を実現し、それにより、多焦点距離視覚に基づく感知を実現する。合併後、新たな検出結果に対して、新たな検出結果と合併後の追跡シーケンスとの類似度を算出して関連付け、それにより、新たな検出結果と２つのカメラの検出結果とを直接に追跡検出することを実現する。
実施例５
本発明の実施例５は、多焦点距離視覚に基づく障害物感知設備を提供する。図９は、本発明の実施例５に係る多焦点距離視覚に基づく障害物感知設備の構成模式図であり、該障害物感知設備は、
障害物の検出結果を取得するための長焦点カメラ９１０と、
障害物の検出結果を取得するための短焦点カメラ９２０と、
メモリ９３０及びプロセッサ９４０を備え、前記メモリ９３０にコンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサ９４０により実行されると、上記実施例に係る多焦点距離視覚に基づく障害物感知方法を実現できるコントローラと、を備える。前記メモリ９３０とプロセッサ９４０の数は、１つ又は複数であってもよい。
本発明の実施例５は、多焦点距離視覚に基づく障害物感知設備を提供する。図９は、本発明の実施例５に係る多焦点距離視覚に基づく障害物感知設備の構成模式図であり、該障害物感知設備は、
障害物の検出結果を取得するための長焦点カメラ９１０と、
障害物の検出結果を取得するための短焦点カメラ９２０と、
メモリ９３０及びプロセッサ９４０を備え、前記メモリ９３０にコンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサ９４０により実行されると、上記実施例に係る多焦点距離視覚に基づく障害物感知方法を実現できるコントローラと、を備える。前記メモリ９３０とプロセッサ９４０の数は、１つ又は複数であってもよい。
前記設備は、外部装置と通信し、データのインタラクティブ伝送を行うための通信インターフェース９５０をさらに備える。
メモリ９３０は、高速ＲＡＭメモリを含む可能性もあるし、さらに不揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば少なくとも１つの磁気ディスクメモリを含む可能性もある。
メモリ９３０は、高速ＲＡＭメモリを含む可能性もあるし、さらに不揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば少なくとも１つの磁気ディスクメモリを含む可能性もある。
メモリ９３０、プロセッサ９４０及び通信インターフェース９５０が独立して実現する場合、メモリ９３０、プロセッサ９４０及び通信インターフェース９５０はバスで互いに接続され、且つ相互間の通信を実現することができる。前記バスは業界標準アーキテクチャ（ＩＳＡ、Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ペリフェラルコンポーネント（ＰＣＩ、Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス又は拡張業界標準アーキテクチャ（ＥＩＳＡ、Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス等であってもよい。前記バスはアドレスバス、データバス、制御バス等に分けられてもよい。示しやすくするために、図９では１本のみの太線で示すが、１本のみのバス又は１つのタイプのみのバスを有すると示さない。
選択的に、具体的に実現する時、メモリ９３０、プロセッサ９４０及び通信インターフェース９５０が１枚のチップに統合される場合、メモリ９３０、プロセッサ９４０及び通信インターフェース９５０は、内部インターフェースによって、相互間の通信を実現することができる。
本明細書の説明において、用語「一実施例」、「いくつかの実施例」、「例」、「具体例」、又は「いくつかの例」等の説明とは、該実施例又は例を参照すると説明した具体的な特徴、構造、材料又は特性が本発明の少なくとも１つの実施例又は例に含まれることを意味する。且つ、説明される具体的な特徴、構造、材料又は特性はいずれか１つ又は複数の実施例又は例で適切な方式で結合してもよい。また、矛盾しない限り、当業者は本明細書に説明される様々な実施例又は例、及び様々な実施例又は例の特徴を結合及び組み合わせすることができる。
また、用語の「第一」、「第二」は説明のためのものに過ぎず、相対重要性を指示又は示唆し、又は指示された技術的特徴の数を暗示すると理解すべきではない。従って、「第一」、「第二」で制限された特徴は少なくとも１つの該特徴を明示的又は暗示的に含んでもよい。本発明の説明において、特に明確且つ具体的に制限しない限り、「複数」の意味は２つ又は２つ以上である。
当業者であれば、フローチャートにおける、又はここでほかの方式で説明されるいかなる過程又は方法についての説明は、確定の論理機能又は過程を実現するための１つ又は複数のステップの実行可能命令のコードを含むモジュール、セグメント又は部分を示すと理解されてもよく、且つ本発明の好適な実施形態の範囲はほかの実現を含み、指示又は検討される順序通りでなくてもよく、関わる機能に基づいて、ほぼ同時に、又は逆順序で機能を実行してもよいと理解すべきである。
フローチャートに示す、又はここでほかの方式で説明される論理及び／又はステップは、例えば、論理機能を実現するための実行可能命令の順序付けリストであると見なされてもよく、具体的にいかなるコンピュータ可読媒体に実現されてもよく、命令実行システム、装置又はデバイス（例えばコンピュータに基づくシステム、プロセッサを含むシステム又は命令実行システム、装置又はデバイスから命令を受信し且つ命令を実行するシステム）の使用に備え、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用される。本明細書については、「コンピュータ可読媒体」はプログラムを包含、記憶、通信、伝播又は伝送することにより、命令実行システム、装置又はデバイス、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用されるいかなる装置であってもよい。コンピュータ可読媒体のさらなる具体例（非網羅的リスト）は、１つ又は複数の配線を有する電気接続部（電子装置）、ポータブルコンピュータケース（磁気装置）、ランダムアクセスメモリー（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去再書込み可能な読出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリー）、光ファイバー装置、及び携帯型読み出し専用メモリー（ＣＤＲＯＭ）を含む。また、コンピュータ可読媒体は更にその上に前記プログラムを印刷できる用紙又はほかの適切な媒体であってもよい理由は、例えば用紙又はほかの媒体を光学的に走査し、次に編集、解釈し、又は必要な時にほかの適切な方式で処理して、電子方式で前記プログラムを取得し、次にそれをコンピュータメモリに記憶することができるためである。
本発明の各部分はハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせで実現されてもよいと理解すべきである。上記実施形態において、複数のステップ又は方法は、メモリに記憶される、且つ適切な命令実行システムで実行するソフトウェア又はファームウェアで実現されてもよい。例えば、ハードウェアで実現する場合は、別の実施形態と同様に、データ信号に対して論理機能を実現する論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する確定用途向け集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の本分野での公知技術のうちのいずれか１つ又はそれらの組み合わせで実現してもよい。
当業者であれば、上記実施例方法におけるステップの全部又は一部の実現がプログラムによって関連するハードウェアを命令して完了させてもよく、前記プログラムがコンピュータ可読記憶媒体に記憶されてもよく、実行時に、該プログラムは方法実施例のステップの１つ又はそれらの組み合わせを含むと理解される。
また、本発明の各実施例における各機能ユニットが１つの処理モジュールに統合されてもよく、各ユニットが独立して物理的に存在してもよく、２つ又は２つ以上のユニットが１つのモジュールに統合されてもよい。上記統合モジュールはハードウェアのタイプで実現されてもよいし、ソフトウェア機能モジュールのタイプで実現されてもよい。前記統合モジュールはソフトウェア機能モジュールのタイプで実現され、且つ独立した製品として販売又は使用される時、１つのコンピュータ可読記憶媒体に記憶されてもよい。前記記憶媒体は読み出し専用メモリ、磁気ディスク又は光ディスク等であってもよい。
以上のように、本発明の実施例に係る多焦点距離視覚に基づく障害物感知方法、装置、設備及びコンピュータ可読記憶媒体によれば、長焦点カメラと短焦点カメラを用いて障害物の検出結果をそれぞれ取得し、それぞれのカメラにおいて別々に目標追跡を行い、異なる追跡シーケンスを形成し、その後、追跡シーケンのスマッチングが成功すると判定する場合、異なるカメラからの追跡シーケンスを合併し、それにより、多焦点距離視覚に基づく障害物感知を実現し、従来技術における追跡視野と視距とが両立できない問題を解決することができる。
以上の説明は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲を制限するためのものではなく、当業者が本発明に開示される技術的範囲内に容易に想到し得る種々の変更又は置換は、いずれも本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲に準じるべきである。
Claims (10)
- 多焦点距離視覚に基づく障害物感知方法であって、
複数の時刻で、長焦点カメラと短焦点カメラとを用いて、障害物の検出結果をそれぞれ取得するステップと、
前記長焦点カメラと前記短焦点カメラによりそれぞれ取得された検出結果を用いて目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、前記各追跡シーケンスには、同一障害物についての前記複数の時刻での検出結果が含まれるステップと、
前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るステップと、を含むことを特徴とする多焦点距離視覚に基づく障害物感知方法。 - 前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行うことは、
前記少なくとも２つの追跡シーケンスから任意に２つの追跡シーケンスを選択するステップと、
各時刻に対して、選択された２つの追跡シーケンスから検出結果をそれぞれ取得し、前記検出結果が異なるカメラからのものである場合、前記長焦点カメラからの検出結果を前記短焦点カメラの結像平面に投影し、投影後の検出結果と短焦点カメラからの検出結果とのＩＯＵを算出するステップと、
すべての時刻に対して算出されたＩＯＵの平均値を求めステップと、
前記平均値が予め設定された閾値より大きい場合、選択された２つの追跡シーケンスのマッチングが成功すると判定するステップと、を含むことを特徴とする請求項１に記載の方法。 - 前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併することは、
前記任意の２つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得るステップを含むことを特徴とする請求項１に記載の方法。 - 新たな検出結果を取得し、それぞれ前記新たな検出結果を前記合併後の追跡シーケンスと関連検出を行い、
関連検出が失敗する場合、前記新たな検出結果を含む新たな追跡シーケンスを作成し、
関連検出が成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加すること、をさらに含むことを特徴とする請求項１乃至３のいずれか１項に記載の方法。 - 多焦点距離視覚に基づく障害物感知装置であって、
長焦点カメラと短焦点カメラにより複数の時刻でそれぞれ取得された障害物の検出結果を用いて目標追跡を行い、少なくとも２つの追跡シーケンスを得ることができ、前記各追跡シーケンスには、同一障害物についての前記複数の時刻での検出結果が含まれるための初期処理モジュールと、
前記少なくとも２つの追跡シーケンスのうちの任意の２つの追跡シーケンスを用いてマッチング検出を行い、マッチングが成功すると、前記任意の２つの追跡シーケンスを１つの追跡シーケンスに合併し、合併後の追跡シーケンスを得るための合併モジュールと、を備えることを特徴とする多焦点距離視覚に基づく障害物感知装置。 - 前記合併モジュールは、前記少なくとも２つの追跡シーケンスから任意に２つの追跡シーケンスを選択し、各時刻に対して、選択された２つの追跡シーケンスから検出結果をそれぞれ取得し、前記検出結果が異なるカメラからのものである場合、前記長焦点カメラからの検出結果を前記短焦点カメラの結像平面に投影し、投影後の検出結果と前記短焦点カメラからの検出結果とのＩＯＵを算出し、すべての時刻に対して算出されたＩＯＵの平均値を求め、前記平均値が予め設定された閾値より大きい場合、選択された２つの追跡シーケンスのマッチングが成功すると判定するために用いられることを特徴とする請求項５に記載の装置。
- 前記合併モジュールは、マッチング検出が成功する場合、前記任意の２つの追跡シーケンスにおける検出結果を合併し、合併後の追跡シーケンスを得るために用いられることを特徴とする請求項５に記載の装置。
- 新たな検出結果を取得し、それぞれ前記新たな検出結果を前記合併後の追跡シーケンスと関連検出を行い、関連検出が失敗する場合、前記新たな検出結果を含む新たな追跡シーケンスを作成し、関連付けが成功する場合、前記新たな検出結果を前記合併後の追跡シーケンスに追加する関連付けモジュールをさらに備えることを特徴とする請求項５乃至７のいずれか1項に記載の装置。
- 多焦点距離視覚に基づく障害物感知設備であって、
障害物の検出結果を取得するための長焦点カメラと、
障害物の検出結果を取得するための短焦点カメラと、
メモリ及びプロセッサを備え、前記メモリにコンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサにより実行されると、請求項１乃至４のいずれか１項に記載の方法を実現するコントローラと、を備えることを特徴とする多焦点距離視覚に基づく障害物感知設備。 - コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、前記プログラムがプロセッサにより実行されると、請求項１乃至４のいずれか１項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811068019.4 | 2018-09-13 | ||
| CN201811068019.4A CN109165629B (zh) | 2018-09-13 | 2018-09-13 | 多焦距视觉障碍物感知方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020042781A true JP2020042781A (ja) | 2020-03-19 |
| JP6811291B2 JP6811291B2 (ja) | 2021-01-13 |
Family
ID=64879132
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019128121A Active JP6811291B2 (ja) | 2018-09-13 | 2019-07-10 | 多焦点距離視覚に基づく障害物感知方法、装置、設備、記憶媒体、及びプログラム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11126875B2 (ja) |
| EP (1) | EP3623993A1 (ja) |
| JP (1) | JP6811291B2 (ja) |
| CN (1) | CN109165629B (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109703460B (zh) * | 2019-01-11 | 2021-01-12 | 合肥思艾汽车科技有限公司 | 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法 |
| CN111242986B (zh) * | 2020-01-07 | 2023-11-24 | 阿波罗智能技术(北京)有限公司 | 跨相机的障碍物跟踪方法、装置、设备、系统及介质 |
| CN111222579B (zh) * | 2020-01-09 | 2023-10-03 | 北京百度网讯科技有限公司 | 跨相机的障碍物关联方法、装置、设备、电子系统及介质 |
| CN114612546A (zh) * | 2020-07-16 | 2022-06-10 | 华为技术有限公司 | 一种目标距离确定方法及装置 |
| CN111950515B (zh) * | 2020-08-26 | 2022-10-18 | 重庆邮电大学 | 一种基于语义特征金字塔网络的小人脸检测方法 |
| CN112364793A (zh) * | 2020-11-17 | 2021-02-12 | 重庆邮电大学 | 基于长短焦多相机车辆环境下的目标检测和融合方法 |
| CN113869422B (zh) * | 2021-09-29 | 2022-07-12 | 北京易航远智科技有限公司 | 多相机目标匹配方法、系统、电子设备及可读存储介质 |
Family Cites Families (59)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7212330B2 (en) * | 2004-03-22 | 2007-05-01 | Angstrom, Inc. | Three-dimensional imaging system for pattern recognition |
| CN101542523B (zh) * | 2007-04-13 | 2012-07-25 | 松下电器产业株式会社 | 检测装置、检测方法及检测用集成电路 |
| US20090232388A1 (en) | 2008-03-12 | 2009-09-17 | Harris Corporation | Registration of 3d point cloud data by creation of filtered density images |
| US8611585B2 (en) * | 2008-04-24 | 2013-12-17 | GM Global Technology Operations LLC | Clear path detection using patch approach |
| US8605947B2 (en) * | 2008-04-24 | 2013-12-10 | GM Global Technology Operations LLC | Method for detecting a clear path of travel for a vehicle enhanced by object detection |
| CN101441076B (zh) * | 2008-12-29 | 2010-06-02 | 东软集团股份有限公司 | 一种检测障碍物的方法和装置 |
| US20110025548A1 (en) * | 2009-07-31 | 2011-02-03 | Gm Global Technology Operations, Inc. | System and method for vehicle sensor fusion |
| WO2011029203A1 (en) * | 2009-09-14 | 2011-03-17 | Viion Systems Inc. | Saccadic dual-resolution video analytics camera |
| CN102959941B (zh) | 2010-07-02 | 2015-11-25 | 索尼电脑娱乐公司 | 信息处理系统、信息处理装置及信息处理方法 |
| CN103258338A (zh) | 2012-02-16 | 2013-08-21 | 克利特股份有限公司 | 利用真实数据来驱动仿真的虚拟环境的方法和系统 |
| CN102663196B (zh) | 2012-04-17 | 2014-04-16 | 中南大学 | 一种基于虚拟现实的汽车起重机吊装仿真方法 |
| US9082014B2 (en) | 2013-03-14 | 2015-07-14 | The Nielsen Company (Us), Llc | Methods and apparatus to estimate demography based on aerial images |
| US9025825B2 (en) * | 2013-05-10 | 2015-05-05 | Palo Alto Research Center Incorporated | System and method for visual motion based object segmentation and tracking |
| CN104376297B (zh) | 2013-08-12 | 2017-06-23 | 株式会社理光 | 道路上的线型指示标志的检测方法和装置 |
| JP5919243B2 (ja) | 2013-10-18 | 2016-05-18 | 本田技研工業株式会社 | 運転訓練装置及び運転訓練方法 |
| CN103914830B (zh) | 2014-02-22 | 2017-02-01 | 小米科技有限责任公司 | 直线检测方法和装置 |
| CN104899855A (zh) | 2014-03-06 | 2015-09-09 | 株式会社日立制作所 | 三维障碍物检测方法和装置 |
| CN104020674B (zh) | 2014-04-21 | 2017-01-25 | 华南农业大学 | 车辆Bug避障算法的Matlab仿真可视化平台 |
| CN104183014B (zh) | 2014-08-13 | 2017-01-18 | 浙江大学 | 一种面向城市增强现实的高融合度信息标注方法 |
| KR101687073B1 (ko) | 2014-10-22 | 2016-12-15 | 주식회사 만도 | 터널 높이 추정 장치 및 터널 높이 추정 방법 |
| CN104331910B (zh) * | 2014-11-24 | 2017-06-16 | 沈阳建筑大学 | 一种基于机器视觉的轨道障碍物检测系统 |
| CN104457569B (zh) | 2014-11-27 | 2017-06-16 | 大连理工大学 | 一种大型复合板材几何参数视觉测量方法 |
| US9443164B2 (en) * | 2014-12-02 | 2016-09-13 | Xerox Corporation | System and method for product identification |
| CN104950883A (zh) | 2015-05-14 | 2015-09-30 | 西安电子科技大学 | 一种基于距离网格地图的移动机器人路径规划方法 |
| TWI630132B (zh) | 2015-06-04 | 2018-07-21 | 國立虎尾科技大學 | 3D animation car accident scene reconstruction method |
| CN104933708A (zh) | 2015-06-07 | 2015-09-23 | 浙江大学 | 一种基于多谱三维特征融合的植被环境中障碍物检测方法 |
| US20170092000A1 (en) | 2015-09-25 | 2017-03-30 | Moshe Schwimmer | Method and system for positioning a virtual object in a virtual simulation environment |
| JP6464075B2 (ja) | 2015-11-11 | 2019-02-06 | 日本電信電話株式会社 | Ｗｈａｔ−ｉｆシミュレーション装置、方法、及びプログラム |
| WO2017095817A1 (en) | 2015-11-30 | 2017-06-08 | Luminar Technologies, Inc. | Lidar system with distributed laser and multiple sensor heads and pulsed laser for lidar system |
| CN105761308B (zh) | 2016-02-29 | 2018-09-07 | 武汉大学 | 一种地面LiDAR和影像数据融合的遮挡区域建筑物立面重建方法 |
| US10690495B2 (en) * | 2016-03-14 | 2020-06-23 | Canon Kabushiki Kaisha | Ranging apparatus and moving object capable of high-accuracy ranging |
| CN105844600B (zh) | 2016-04-27 | 2018-03-16 | 北京航空航天大学 | 一种空间目标三维点云光顺去噪方法 |
| CN105957145A (zh) | 2016-04-29 | 2016-09-21 | 百度在线网络技术（北京）有限公司 | 道路障碍物识别方法和装置 |
| CN106204457A (zh) * | 2016-07-19 | 2016-12-07 | 科盾科技股份有限公司 | 一种用于抓捕目标的方法和抓捕器 |
| CN107818293A (zh) | 2016-09-14 | 2018-03-20 | 北京百度网讯科技有限公司 | 用于处理点云数据的方法和装置 |
| GB201616097D0 (en) * | 2016-09-21 | 2016-11-02 | Univ Oxford Innovation Ltd | Segmentation of path proposals |
| WO2018053833A1 (zh) | 2016-09-26 | 2018-03-29 | 深圳市锐明技术股份有限公司 | 一种成对车道线的快速检测方法和装置 |
| JP6548690B2 (ja) | 2016-10-06 | 2019-07-24 | 株式会社アドバンスド・データ・コントロールズ | シミュレーションシステム、シミュレーションプログラム及びシミュレーション方法 |
| RO132599A2 (ro) | 2016-11-23 | 2018-05-30 | Centrul It Pentru Ştiinţă Şi Tehnologie S.R.L. | Echipament modular pentru inspecţia drumurilor rutiere, incluzând carosabilul şi zona adiacentă, destinat pentru a fi montat pe vehicule nespecializate |
| CN106599832A (zh) | 2016-12-09 | 2017-04-26 | 重庆邮电大学 | 一种基于卷积神经网络的多类障碍物检测与识别方法 |
| CN106845412B (zh) | 2017-01-20 | 2020-07-10 | 百度在线网络技术（北京）有限公司 | 障碍物识别方法及装置、计算机设备及可读介质 |
| CN106919908B (zh) | 2017-02-10 | 2020-07-28 | 百度在线网络技术（北京）有限公司 | 障碍物识别方法及装置、计算机设备及可读介质 |
| CN108492356A (zh) | 2017-02-13 | 2018-09-04 | 苏州宝时得电动工具有限公司 | 增强现实系统及其控制方法 |
| US10067509B1 (en) * | 2017-03-10 | 2018-09-04 | TuSimple | System and method for occluding contour detection |
| CN106997049B (zh) | 2017-03-14 | 2020-07-03 | 奇瑞汽车股份有限公司 | 一种基于激光点云数据的检测障碍物的方法和装置 |
| CN107103627B (zh) | 2017-04-27 | 2020-12-11 | 深圳市天双科技有限公司 | 一种基于车道线的汽车全景摄像头外部参数标定方法 |
| US10621779B1 (en) * | 2017-05-25 | 2020-04-14 | Fastvdo Llc | Artificial intelligence based generation and analysis of 3D models |
| CN107657237B (zh) | 2017-09-28 | 2020-03-31 | 东南大学 | 基于深度学习的汽车碰撞检测方法及系统 |
| CN107659774B (zh) * | 2017-09-30 | 2020-10-13 | 北京拙河科技有限公司 | 一种基于多尺度相机阵列的视频成像系统及视频处理方法 |
| CN107678306B (zh) | 2017-10-09 | 2021-04-16 | 驭势（上海）汽车科技有限公司 | 动态场景信息录制和仿真回放方法、装置、设备及介质 |
| JP7039254B2 (ja) * | 2017-10-31 | 2022-03-22 | キヤノン株式会社 | レンズ制御装置、該レンズ制御装置を備える撮像装置、及びレンズ制御方法 |
| US10643320B2 (en) * | 2017-11-15 | 2020-05-05 | Toyota Research Institute, Inc. | Adversarial learning of photorealistic post-processing of simulation with privileged information |
| CN107832806A (zh) | 2017-12-06 | 2018-03-23 | 四川知创空间孵化器管理有限公司 | 一种车牌类型判别方法和系统 |
| EP3591490B1 (en) * | 2017-12-15 | 2021-12-01 | Autel Robotics Co., Ltd. | Obstacle avoidance method and device, and unmanned aerial vehicle |
| CN108156419A (zh) * | 2017-12-22 | 2018-06-12 | 湖南源信光电科技股份有限公司 | 基于多特征联合与Camshift算法的多焦距镜头联动成像摄像机系统 |
| CN108010360A (zh) * | 2017-12-27 | 2018-05-08 | 中电海康集团有限公司 | 一种基于车路协同的自动驾驶环境感知系统 |
| CN107993512A (zh) | 2018-01-03 | 2018-05-04 | 深圳市欣横纵技术股份有限公司 | 一种核安保Table Top Tool系统及使用方法 |
| CN108256506B (zh) | 2018-02-14 | 2020-11-24 | 北京市商汤科技开发有限公司 | 一种视频中物体检测方法及装置、计算机存储介质 |
| CN108583620B (zh) * | 2018-04-02 | 2019-08-30 | 交控科技股份有限公司 | 列车辅助追踪预警的处理器和预警系统 |
-
2018
- 2018-09-13 CN CN201811068019.4A patent/CN109165629B/zh active Active
-
2019
- 2019-07-04 EP EP19184448.9A patent/EP3623993A1/en not_active Ceased
- 2019-07-10 JP JP2019128121A patent/JP6811291B2/ja active Active
- 2019-07-11 US US16/508,918 patent/US11126875B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20200089976A1 (en) | 2020-03-19 |
| JP6811291B2 (ja) | 2021-01-13 |
| CN109165629A (zh) | 2019-01-08 |
| CN109165629B (zh) | 2019-08-23 |
| US11126875B2 (en) | 2021-09-21 |
| EP3623993A1 (en) | 2020-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6811291B2 (ja) | 多焦点距離視覚に基づく障害物感知方法、装置、設備、記憶媒体、及びプログラム | |
| CN109813328B (zh) | 一种驾驶路径规划方法、装置及车辆 | |
| JP6782821B2 (ja) | 自動運転車両の位置検出方法、自動運転車両の位置検出装置及びコンピュータ読み取り可能記憶媒体 | |
| EP3886053A1 (en) | Slam mapping method and system for vehicle | |
| JP6469220B2 (ja) | 走行車線判別装置および走行車線判別方法 | |
| US10755420B2 (en) | Method and apparatus for tracking object | |
| US11935250B2 (en) | Method, device and computer-readable storage medium with instructions for processing sensor data | |
| JP2019102049A (ja) | 車線検出のための方法及び装置 | |
| JP2020126636A (ja) | 自動駐車システム内のセマンティックセグメンテーションを利用した駐車領域を検出するための方法及び装置 | |
| CN109684944B (zh) | 障碍物检测方法、装置、计算机设备和存储介质 | |
| CN112507852A (zh) | 一种车道线识别方法、装置、设备及存储介质 | |
| WO2020024845A1 (zh) | 定位方法和装置 | |
| JP6216624B2 (ja) | 年齢層判定装置および年齢層判定プログラム | |
| US11195305B2 (en) | Method and device for identifying stereoscopic object, and vehicle and storage medium | |
| WO2020037553A1 (zh) | 图像处理方法及装置、移动设备 | |
| CN110099273B (zh) | 增强现实内容显示方法及装置 | |
| CN115249407A (zh) | 指示灯状态识别方法、装置、电子设备、存储介质及产品 | |
| Casella et al. | Toward a navigation framework for fetoscopy | |
| CN113534805A (zh) | 机器人回充控制方法、装置和存储介质 | |
| CN115115700B (zh) | 物体的姿态估计方法、装置、电子设备及存储介质 | |
| TWI838018B (zh) | 車輛控制方法、電腦設備及儲存介質 | |
| JP2019087083A (ja) | 走行車線認識装置、走行車線認識方法及びプログラム | |
| CN113907694B (zh) | 一种双目内窥镜对准方法及对准系统 | |
| CN113140120B (zh) | 确定交通指示信息的方法及装置 | |
| JP2023066924A (ja) | 視線情報処理装置、視線情報処理方法及び視線情報処理用プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190710 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200709 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201006 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201113 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201214 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6811291 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |