JP2016071846A - 単眼カメラに基づく障害物検知方法及び装置 - Google Patents

単眼カメラに基づく障害物検知方法及び装置 Download PDF

Info

Publication number
JP2016071846A
JP2016071846A JP2015092099A JP2015092099A JP2016071846A JP 2016071846 A JP2016071846 A JP 2016071846A JP 2015092099 A JP2015092099 A JP 2015092099A JP 2015092099 A JP2015092099 A JP 2015092099A JP 2016071846 A JP2016071846 A JP 2016071846A
Authority
JP
Japan
Prior art keywords
feature point
frame image
target
point set
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015092099A
Other languages
English (en)
Other versions
JP6031554B2 (ja
Inventor
紅緋 于
Hongfei Yu
紅緋 于
威 劉
Wei Liu
威 劉
淮 袁
Huai Yuan
淮 袁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Corp
Original Assignee
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Corp filed Critical Neusoft Corp
Publication of JP2016071846A publication Critical patent/JP2016071846A/ja
Application granted granted Critical
Publication of JP6031554B2 publication Critical patent/JP6031554B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】単眼カメラに基づく障害物検知方法及び装置を提供する。【解決手段】前記方法は、単眼カメラが撮影した目標フレーム画像及びその隣接フレーム画像を取得することと、隣接フレーム画像の最適な特徴点集合が得られるように、隣接フレーム画像の初期特徴点集合において、不安定な特徴点を削除することと、いくつかの目標特徴点部分集合が得られるように、目標特徴点集合に対して、部分集合の分割を行うことと、各目標特徴点部分集合に対して、その対応する地面投影点集合内における点の目標フレームの時点と隣接フレームの時点とでの距離変化値に基づいて、当該目標特徴点部分集合が障害物に属するか否かを判断することと、障害物に属すると判断される全ての目標特徴点部分集合の和集合を前記目標フレーム画像における障害物点集合として確定することとを含む。本出願の実施例において、障害物点の検知確度、及び障害物の検知効率を向上させることができる。【選択図】図１

Description

本出願は、画像処理技術分野に関し、特に、単眼カメラに基づく障害物検知方法及び装置に関する。
技術の進歩に伴い、人々の生活では、自動車及びナビゲーションの適用はますます普及して、視覚に基づく障害物検知も車両ドライバーアシスタンスやロボットナビゲーションなどの分野において重要に適用されている。障害物検知に使用可能なセンサには、単眼カメラ、ステレオカメラ、レーザー、レーダや赤外線センサなどがあり、そのうち単眼カメラは、取り付けの容易化、小型化、低コストなどの長所によって、障害物検知分野においてより広い適用前景を有している。
従来の技術において、単眼カメラに基づく障害物検知方法が様々あって、例えば、外観特徴に基づく方法がある。外観特徴に基づく方法は、実現する際に、検知しようとする障害物のテスクチャ、カラー、エッジ、対称性や形状などの特徴トレーニング分類器を利用して検知することができる。
しかし、このような方法は、歩行者や車両などの特定のタイプの障害物を検知するのみに適応可能であって、複数のタイプの障害物を検知する必要があれば、複数の分類器をトレーニングする必要があるが、複数の分類器をトレーニングするプロセスは面倒で複雑であるため、従来の技術は、障害物検知を行う場合に、効率が低く、且つエラーを起こしやすい。
本出願が解決しようとする技術的問題は、従来の技術が外観特徴に基づいて障害物検知を行う場合に複数の分類器をトレーニングする必要がある状況をできるだけ避けることで、障害物検知のプロセスをより容易化することによって、障害物検知の効率を向上するだけではなく、同時に障害物検知の確度を保証するための単眼カメラに基づく障害物検知方法を提供することである。
本出願は、上記方法を実際に実現・適用することを保証するための単眼カメラに基づく障害物検知装置をさらに提供する。
上記問題を解決するために、本出願は、単眼カメラに基づく障害物検知方法を開示し、
前記単眼カメラが撮影した目標フレーム画像及びその隣接フレーム画像を取得することと、
隣接フレーム画像の最適な特徴点集合が得られるように、前記隣接フレーム画像の、予め設定された変換モデルによって算出された変換画像の上で前記隣接フレーム画像の初期特徴点集合を追跡して得られた結果に基づいて、前記隣接フレーム画像の初期特徴点集合において、不安定な特徴点を削除することと、
いくつかの目標特徴点部分集合が得られるように、隣接フレーム画像の最適な特徴点集合を前記目標フレーム画像において追跡することによって得られた目標特徴点集合に対して、部分集合の分割を行うことと、
各目標特徴点部分集合に対して、その対応する地面投影点集合内における点の目標フレームの時点と隣接フレームの時点とでの距離変化値に基づいて、当該目標特徴点部分集合が障害物に属するか否かを判断することと、
障害物に属すると判断される全ての目標特徴点部分集合の和集合を前記目標フレーム画像における障害物点集合として確定することと、を含む方法。
隣接フレーム画像の最適な特徴点集合が得られるように、前記隣接フレーム画像の変換画像の上で前記隣接フレーム画像の初期特徴点集合を追跡して得られた結果に基づいて、前記隣接フレーム画像の初期特徴点集合において、不安定な特徴点を削除することは、
前記隣接フレーム画像の初期特徴点集合が得られるように、予め設定された特徴点検出アルゴリズムを使用して前記隣接フレーム画像における特徴点を検知することと、
予め設定された変換モデルによって、前記隣接フレーム画像の変換画像を計算することと、
前記初期特徴点集合にマッチングする追跡特徴点集合が得られるように、予め設定された特徴点追跡アルゴリズムを使用して、前記初期特徴点集合を前記変換画像において追跡することと、
前記初期特徴点集合と追跡特徴点集合における各特徴点の差値が予め設定された差値の閾値より大きいか否かを判断して、そうであれば、対応する初期特徴点を初期特徴点集合において削除することと、
削除後の初期特徴点集合を隣接フレーム画像の最適な特徴点集合として確定することと、を含んでもよい。
目標特徴点集合に対して、部分集合の分割を行うことは、具体的に、いくつかの目標特徴点部分集合が得られるように、予め設定された横移動ステップと縦移動ステップに従って分割を行うことであって、
目標特徴点集合が得られるように、予め設定された特徴点追跡アルゴリズムを使用して、前記最適な特徴点集合を前記目標フレーム画像において追跡することと、
予め設定されたサブブロック長とサブブロック幅に従って、前記目標フレーム画像のうちのいずれかの隅において、第一の目標特徴点部分集合を分割することと、
前記第一の目標特徴点部分集合の対応するサブブロックを横移動ステップ及び／又は縦移動ステップに従って移動し、毎回移動した後のサブブロックの対応する画素点集合を目標特徴点部分集合として確定し、前記目標フレーム画像における画素点の全てが分割されるまでであり、なお、前記横移動ステップと縦移動ステップはそれぞれ対応するようにサブブロック長とサブブロック幅より小さいか等しいことと、
を含んでもよい。
各目標特徴点部分集合の対応する地面投影点集合内における画素点の目標フレームの時点と前のフレームの時点とでの距離変化値に基づいて、前記目標フレーム画像の障害物点を確定することは、
前記目標特徴点部分集合における画素点の対応する地面投影点集合を確定することと、
いずれかの地面投影点集合に対して、目標フレームの時点と前のフレームの時点とでの各地面投影点の距離変化合計の平均値を計算することと、
前記距離変化合計の平均値が予め設定された距離変化の閾値より大きいか否かを判断し、そうであれば、当該いずれかの地面投影点集合の対応する目標特徴点部分集合における特徴点を障害物点として確定し、さもなければ、続いて次の地面投影点集合を選択して距離変化合計の平均値を計算し、前記判断ステップを繰り返し、全ての地面投影点集合の判断が完了するまでであることと、を含み、
なお、前記平均値は、距離変化合計を目標特徴点部分集合における特徴点対の数量で除算して得られた値であって、前記特徴点対は、目標特徴点部分集合におけるいずれかの二つの特徴点により構成される一つの特徴点対であってもよい。
前記単眼カメラが目標キャリアに取り付けられて、その結像平面の画素座標系がｏ＿ｕｖであると、前記目標特徴点部分集合における画素点の対応する地面投影点集合を確定することは、
前記単眼カメラの光心を原点として、世界座標系Ｏ＿ＸＹＺを確立し、ＯＹ軸が垂直に地面に向いて、ＯＺ軸が地面に平行し且つ前記単眼カメラの取付キャリアに平行することと、
前記単眼カメラの光心を原点として、カメラ座標系Ｏ＿Ｘ’Ｙ’Ｚ’を確立し、ＯＺ’軸が前記単眼カメラの光軸に重なり、ＯＸ’とＯＹ’軸がそれぞれ結像平面のｏｕ軸とｏｖ軸に平行し、なお、カメラ座標系は、世界座標系を順次にＸ軸周りにα、Ｙ軸周りにβ、Ｚ軸周りにγ角度に回転して得られ、αと、βと、γは、前記単眼カメラが取り付けられた後に、外部パラメータのキャリブレーションアルゴリズムによって確定されることと、
カメラ座標系における座標と世界座標系における座標との間の変換関係、及びカメラ座標系における座標と結像平面における座標との間の対応関係によって、目標特徴点部分集合における画素点の対応する地面投影点集合を確定し、前記地面投影点集合が｛（Ｘ，Ｈ，Ｚ）｝であって、Ｈが前記単眼カメラから地面までの高さであることと、を含み、
なお、カメラ座標系の座標（Ｘ’，Ｙ’，Ｚ’）と世界座標系の座標（Ｘ，Ｙ，Ｚ）との間の変換関係は
であって、
であり、
カメラ座標系における座標と結像平面における座標との間の対応関係は、
であり、Ｆは前記単眼カメラの投影モデルであって、前記単眼カメラの、オフラインキャリブレーションアルゴリズムによって得られたカメラ内部パラメータによって確定してもよい。
本出願は、単眼カメラに基づく障害物検知装置を開示し、
前記単眼カメラが撮影した目標フレーム画像及びその隣接フレーム画像を取得するための取得モジュールと、
隣接フレーム画像の最適な特徴点集合が得られるように、前記隣接フレーム画像の、予め設定された変換モデルによって算出された変換画像の上で前記隣接フレーム画像の初期特徴点集合を追跡して得られた結果に基づいて、前記隣接フレーム画像の初期特徴点集合において、不安定な特徴点を削除するための事前追跡モジュールと、
いくつかの目標特徴点部分集合が得られるように、隣接フレーム画像の最適な特徴点集合を前記目標フレーム画像において追跡することによって得られた目標特徴点集合に対して、部分集合の分割を行うための部分集合分割モジュールと、
各目標特徴点部分集合に対して、その対応する地面投影点集合内における点の目標フレームの時点と隣接フレームの時点とでの距離変化値に基づいて、当該目標特徴点部分集合が障害物に属するか否かを判断するための判断モジュールと、
障害物に属すると判断される全ての目標特徴点部分集合の和集合を前記目標フレーム画像における障害物点集合として確定するための確定モジュールと、
を含む。
前記事前追跡モジュールは、
前記隣接フレーム画像の初期特徴点集合が得られるように、予め設定された特徴点検出アルゴリズムを使用して前記隣接フレーム画像における特徴点を検知するための特徴点検知サブモジュールと、
予め設定された変換モデルによって、前記隣接フレーム画像の変換画像を計算するための計算サブモジュールと、
前記初期特徴点集合にマッチングする追跡特徴点集合が得られるように、予め設定された特徴点追跡アルゴリズムを使用して、前記初期特徴点集合を前記変換画像において追跡するための追跡サブモジュールと、
前記初期特徴点集合と追跡特徴点集合における各特徴点の差値が予め設定された差値の閾値より大きいか否かを判断するための第一の判断サブモジュールと、
前記第一の判断サブモジュールの結果がＹｅｓである場合、対応する初期特徴点を初期特徴点集合において削除するための削除サブモジュールと、
削除後の初期特徴点集合を隣接フレーム画像の最適な特徴点集合として確定するための第一の確定サブモジュールと、
を含んでもよい。
前記部分集合分割モジュールは、
目標特徴点集合が得られるように、予め設定された特徴点追跡アルゴリズムを使用して、前記最適な特徴点集合を前記目標フレーム画像において追跡するための特徴点追跡サブモジュールと、
予め設定されたサブブロック長とサブブロック幅に従って、前記目標フレーム画像のうちのいずれかの隅において、第一の目標特徴点部分集合を分割するための第一の分割サブモジュールと、
前記第一の目標特徴点部分集合の対応するサブブロックを横移動ステップ及び／又は縦移動ステップに従って移動するための移動サブモジュールと、
前記目標フレーム画像における全ての画素点が分割されるまで、毎回移動した後のサブブロックの対応する画素点集合を目標特徴点部分集合として確定するための第二の分割サブモジュールと、を含み、
なお、前記横移動ステップと縦移動ステップはそれぞれ対応するように、サブブロック長とサブブロック幅より小さいか等しくてもよい。
前記判断モジュールは、
前記目標特徴点部分集合における画素点の対応する地面投影点集合を確定するための第二の確定サブモジュールと、
いずれかの地面投影点集合に対して、目標フレームの時点と前のフレームの時点とでの各地面投影点の距離変化合計の平均値を計算するための距離計算サブモジュールと、
前記距離変化合計の平均値が予め設定された距離変化の閾値より大きいか否かを判断するための第二の判断サブモジュールと、
前記第二の判断サブモジュールの結果がＹｅｓである場合、当該いずれかの地面投影点集合の対応する目標特徴点部分集合における特徴点を障害物点として確定するための第三の確定サブモジュールと、
前記第二の判断サブモジュールの結果がＮｏである場合、続いて次の地面投影点集合を選択して前記距離計算サブモジュールをトリガーし、全ての地面投影点集合の判断が完了するまでであるトリガーサブモジュールと、を含み、
なお、前記平均値は、距離変化合計を目標特徴点部分集合における特徴点対の数量で除算して得られた値であって、前記特徴点対は、目標特徴点部分集合におけるいずれかの二つの特徴点により構成される一つの特徴点対であってもよい。
前記第二の確定サブモジュールは、
前記単眼カメラの光心を原点として、ＯＹ軸が垂直に地面に向いて、ＯＺ軸が地面に平行し且つ前記単眼カメラの取付キャリアに平行する世界座標系Ｏ＿ＸＹＺを確立するための世界座標系確立サブモジュールと、
前記単眼カメラの光心を原点として、ＯＺ’軸が単眼カメラの光軸に重なり、ＯＸ’とＯＹ’軸がそれぞれ結像平面のｏｕ軸とｏｖ軸に平行するカメラ座標系Ｏ＿Ｘ’Ｙ’Ｚ’を確立するためのカメラ座標系確立サブモジュールと、なお、カメラ座標系が、世界座標系を順次にＸ軸周りにα、Ｙ軸周りにβ、Ｚ軸周りにγ角度に回転して得られ、αと、βと、γが、前記単眼カメラが取り付けられた後に、外部パラメータのキャリブレーションアルゴリズムによって確定され、
カメラ座標系における座標と世界座標系における座標との間の変換関係、及びカメラ座標系における座標と結像平面における座標との間の対応関係によって、目標特徴点部分集合における画素点の対応する地面投影点集合｛（Ｘ，Ｈ，Ｚ）｝（Ｈが前記単眼カメラから地面までの高さである）を確定するための第四の確定サブモジュールと、を含み、
なお、カメラ座標系の座標（Ｘ’，Ｙ’，Ｚ’）と世界座標系の座標（Ｘ，Ｙ，Ｚ）との間の変換関係は
であって、
であり、
カメラ座標系における座標と結像平面における座標との間の対応関係は、
であり、Ｆは前記単眼カメラの投影モデルであって、前記単眼カメラの、オフラインキャリブレーションアルゴリズムによって得られるカメラ内部パラメータによって確定してもよい。
従来の技術に比べると、本出願は以下のような長所を含み、
本出願の実施例において、隣接フレーム画像の変換画像を事前追跡することにより、隣接フレーム画像における誤マッチングしやすい特徴点を削除することができ、得られた最適な特徴点集合は、目標フレーム画像において追跡する時に、誤マッチングを避けることによって、障害物点の検出確度が向上する。また、本出願は、目標フレーム画像における目標特徴点部分集合に対して、その地面投影点の距離変化を判断することによって障害物点を検知することを使用して、複数の分類器をトレーニングする必要がなくなって、障害物の検知のプロセスをより容易化し、さらに、障害物検知の効率が向上する。さらに、本出願は、さらにいずれかのタイプの障害物を検知でき、そして、自車両運動パラメータ情報を利用する必要がなく、カメラのタイプによって限られない。
本出願を実施するいずれかの製品は必ずしも以上のような全ての長所を同時に達成する必要がないことはいうまでもない。
図１は本出願の単眼カメラに基づく障害物検知方法実施例のフローチャートである。 図２ａ、図２ｂは本出願の方法実施例における変換画像生成プロセスの模式図である。 図２ａ、図２ｂは本出願の方法実施例における変換画像生成プロセスの模式図である。 図３ａ、図３ｂ、図３ｃ、図３ｄは本出願の方法実施例における事前追跡に基づく安定な特徴点の検知及び誤マッチングの除去効果の模式図である。 図３ａ、図３ｂ、図３ｃ、図３ｄは本出願の方法実施例における事前追跡に基づく安定な特徴点の検知及び誤マッチングの除去効果の模式図である。 図３ａ、図３ｂ、図３ｃ、図３ｄは本出願の方法実施例における事前追跡に基づく安定な特徴点の検知及び誤マッチングの除去効果の模式図である。 図３ａ、図３ｂ、図３ｃ、図３ｄは本出願の方法実施例における事前追跡に基づく安定な特徴点の検知及び誤マッチングの除去効果の模式図である。 図４は本出願の方法実施例における目標フレーム画像に対してサブブロックの分割を行う模式図である。 図５は本出願の方法実施例における単眼カメラの取付模式図である。 図６は本出願の方法実施例における地面点の異なる時点での距離分析の模式図である。 図７は本出願の方法実施例における障害物点の異なる時点での距離分析の模式図である。 図８ａ、図８ｂは本出願の方法実施例における障害物特徴点検知結果の模式図である。 図８ａ、図８ｂは本出願の方法実施例における障害物特徴点検知結果の模式図である。 図９は本出願の単眼カメラに基づく障害物検知装置の実施例の構成ブロック図である。
本出願の実施例における技術的方案をより明らかに説明するために、図面の簡単な説明で、実施例の説明に使用する必要がある図面を簡単に紹介して、明らかに、図面の簡単な説明に説明する図面は本出願のいくつかの実施例であって、当業者にとって、創造的な労働をしない前提で、これらの図面に基づいて他の図面を得ることができる。
以下、本出願の実施例における図面を結合して、本出願の実施例における技術的方案を明確かつ完全に説明する。明らかに、記載された実施例は、本出願の一部の実施例に過ぎず、全ての実施例ではない。本出願の実施例に基づいて、当業者が創造的な労働をしない前提で得られた全ての他の実施例は本出願の保護範囲に属するものである。
本出願は、多数の汎用または専用コンピューティング装置環境または構成に適用可能である。例えば、パーソナルコンピュータ、サーバーコンピュータ、ハンドヘルドデバイスや携帯デバイス、タブレット型デバイス、マルチプロセッサ装置、以上のいずれかの装置またはデバイスを含む分散コンピューティング環境などが挙げられる。
本出願は、プログラムモジュールなどのコンピュータによって実行可能なコンピュータ実行可能命令の一般的なコンテキストで記述される。一般的に、プログラムモジュールは、特定のジョブを実行する、或いは特定の抽象データタイプを実現するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。分散コンピューティング環境において本出願を実践してもよく、例えば、これらの分散コンピューティング環境において、通信ネットワークによって接続されるリモート処理デバイスによってジョブを実行する。分散コンピューティング環境において、プログラムモジュールは、記憶デバイスを含むローカルとリモートコンピュータ記憶媒介に位置できる。
図１を参照し、本出願の単眼カメラに基づく障害物検知方法実施例のフローチャートを示した。本実施例は、以下のようなステップを含むことができる。
ステップ１０１：前記単眼カメラが撮影した目標フレーム画像及びその隣接フレーム画像を取得する。
本実施例が、障害物検知のプロセスにおいて、使用するカメラは単眼カメラであってもよく、まず、当該単眼カメラが撮影した目標フレーム画像Ｉｔ及び当該目標フレーム画像の隣接フレーム画像Ｉｔ−１を取得する。なお、ｔは時間を表す。
ステップ１０２：隣接フレーム画像の最適な特徴点部分集合が得られるように、前記隣接フレーム画像の変換画像の上で前記隣接フレーム画像の初期特徴点集合を追跡して得られた結果に基づいて、前記隣接フレーム画像の初期特徴点集合において、不安定な特徴点を削除する。
本出願の実施例において、隣接フレーム画像Ｉｔ−１の上で特徴点検知を行った後、その変換画像の上で特徴点事前追跡を行うようにして、不安定な特徴点を除去することによって、続いて追跡する時に誤マッチングの特徴点の発生を避ける。なお、変換画像は予め設定された変換モデルによって計算されるものである。
なお、実際の適用において、ステップ１０２は、具体的に以下のようなステップを含むことができる。
ステップＡ１：前記隣接フレーム画像の初期特徴点集合が得られるように、予め設定された特徴点検知アルゴリズムを使用して、前記隣接フレーム画像における特徴点を検知する。
本実施例において、隣接フレーム画像の初期特徴点集合Ｓｔ−１が得られるように、予め設定された特徴点検知アルゴリズム、例えば、ｈａｒｒｉｓ角点検知アルゴリズムを使用して、隣接フレーム画像Ｉｔ−１における特徴点を検知することができる。勿論、当業者は他の特徴点検知アルゴリズムを使用してもよい。
ステップＡ２：予め設定された変換モデルによって、前記前のフレーム画像の変換画像を計算する。
本ステップにおいて、予め設定された変換モデルによって、隣接フレーム画像Ｉｔ−１の変換画像Ｉ’ｔ−１を計算する。実際の適用において、正確な障害物点検知を行うには、対応するように、ｔ−１時点での隣接フレーム画像Ｉｔ−１における特徴点集合の、ｔ時点での目標フレーム画像Ｉｔにおける相応的な特徴点集合を正確に得る必要がある。本ステップにおいて、まず、隣接フレーム画像Ｉｔ−１の対応する変換画像Ｉ’ｔ−１を計算し、当該変換画像は、できるだけ目標フレーム画像Ｉｔに類似する、または注目の移動方向に相関することを要求する。式（１）は、参考可能な変化画像Ｉ’ｔ−１を計算する方法を表す。
なお、
は一つの整数の画素座標変化値であって、その値は例えば、
であってもよい。勿論、当業者は実際の需要に応じて、４や６などのその他の値を取ってもよい。また、実際の需要に応じて、一定の範囲内（例えば、４〜６）において
をトラバーサルすることで、複数の仮想的な隣接フレーム画像
を生成することによって，複数回の事前追跡検証を行って、より正確な変換画像が得られる。
図２ａと図２ｂを参照し、変換画像生成プロセスの模式図である。図２ａにおいて、隣接フレーム画像には、障害物２０１と、障害物２０２と、障害物２０３と、障害物２０４の４つの障害物がある。そして、図２ｂにおいて、画素点のｙ座標は、
のシフトが発生するため、障害物２０３と障害物２０４は一部のみ見えて、余り部分は対応する画素値がない
領域であれば、図２ａの隣接フレーム画像などと同じ輝度値の画素点を充填する。
ステップＡ３：前記初期特徴点集合にマッチングする追跡特徴点集合が得られるように、予め設定された特徴点追跡アルゴリズムを使用して、前記初期特徴点集合を前記変換画像において追跡する。
本ステップにおいて、隣接フレーム画像Ｉｔ−１における初期特徴点集合を変換画像Ｉ’ｔ−１において事前追跡する。具体的には、マッチングされる追跡特徴点集合Ｓ’ｔ−１が得られるように、例えば、Ｌｕｃａｓ ａｎｄ Ｋａｎａｄｅ’ｓ特徴点追跡方法を使用して、初期特徴点集合Ｓｔ−１を変換画像Ｉ’ｔ−１において事前追跡する。
本実施例において、変換モデル式（１）によって、初期特徴点集合Ｓｔ−１と追跡特徴点集合Ｓ’ｔ−１における特徴点の対応関係を分かり、Ｓｔ−１における特徴点（ｘｔ−１，ｙｔ−１）と、そのＳ’ｔ−１におけるマッチング点（ｘ’ｔ−１，ｙ’ｔ−１）に対して、その対応関係は式（２）のように表す。
ステップＡ３：前記初期特徴点集合と追跡特徴点集合における各特徴点の差値が予め設定された差値の閾値より大きいか否かを判断して、そうであれば、ステップ４に入る。
本ステップにおいて、Ｓ’ｔ−１とＳｔ−１における相互にマッチングされる初期特徴点と追跡特徴点の間のリアルな差異値を計算して、リアルな差異値が予め設定された差値の閾値より大きいか否かを判断する。具体的には、判断方式は、式（３）を参照することができる。
なお、Ｔ１とＴ２は、当業者によって実際の需要に応じて自分で設定でき、例えば、両方をＴ１＝Ｔ２＝０．５に設定する。勿論、Ｔ１とＴ２の具体的な数値の変更は、本出願の実現に影響を与えない。
ステップＡ４：対応する初期特徴点を初期特徴点集合において削除する。
ステップＡ３の判断結果がＹｅｓである場合、対応する初期特徴点は予め設定された変換モデル（式（１））に符合しない特徴点であって、初期特徴点集合Ｓｔ−１から当該特徴点を削除することを説明する。ステップＡ３の判断結果がＮｏである場合、対応する初期特徴点を削除する必要がなく、初期特徴点集合Ｓｔ−１における全ての特徴点が判断されるまで、ステップＡ３を続けて実行して他の特徴点を判断することができる。
ステップＡ５：不合格特徴点を削除した後の初期特徴点集合を隣接フレーム画像の最適な特徴点集合として確定する
ステップＡ１〜ステップＡ４により、隣接フレーム画像Ｉｔ−１における誤マッチングが発生しにくい最適な特徴点集合Ｓｔ−１が得られて、後で当該集合を使用して目標フレーム画像Ｉｔにおいて追跡して、よいマッチング特徴点集合が得られる。
図３ａ、図３ｂ、図３ｃ、図３ｄに示すように、図３ａは、Ｉｔ−１とＩｔによって発生する特徴点マッチングベクトルの模式図であって、矢印方向は、目標フレーム画像Ｉｔにおけるマッチング点位置へ向いて、点線矢印は誤マッピングの特徴点を表す。図３ｂは隣接フレーム画像Ｉｔ−１と変換画像Ｉ’ｔ−１によって得られた点マッチングベクトルの模式図であって、矢印方向はＩ’ｔ−１におけるマッチング点の位置へ向く。図３ｃは予め設定された変換モデル（式（１））によって得られた隣接フレーム画像Ｉｔ−１と変換画像Ｉ’ｔ−１との間の点マッチングベクトルの理論値の模式図である。図３ｄは、変換画像での誤差が大きい特徴点を除去して得られた目標フレーム画像Ｉｔと隣接フレーム画像Ｉｔ−１との間の点マッチングベクトルの模式図である。
次いで、図１に戻って、ステップ１０３に入り、いくつかの目標特徴点部分集合が得られるように、隣接フレーム画像の最適な特徴点集合を前記目標フレーム画像において追跡することによって得られた目標特徴点集合に対して部分集合の分割を行う。
本ステップにおいて、予め設定された追跡アルゴリズム、例えば、Ｌｕｃａｓ ａｎｄ Ｋａｎａｄｅ’ｓ特徴点追跡方法を使用して、特徴点集合Ｓｔ−１を目標フレーム画像Ｉｔにおいて追跡して、マッチングの目標特徴点集合Ｓｔを取得する。ステップ１０２で既にｔ−１時刻での特徴点を事前追跡して、誤追跡しやすい特徴点が除去されたため、得られた集合ＳｔとＳｔ−１の間の誤マッチング特徴点が大幅に減少される。
具体的に実現する場合に、目標特徴点集合に対して部分集合の分割を行う方法は様々あって、本出願において、最も簡単かつ迅速なサブブロックの分割方式で説明する。なお、サブブロックの分割を行う時に、本ステップは、以下のようなステップを含むことができる。
ステップＢ１：目標特徴点集合が得られるように、予め設定された特徴点追跡アルゴリズムを使用して、前記最適な特徴点集合を前記目標フレーム画像において追跡する。
ステップＢ２：予め設定されたサブブロック長とサブブロック幅に従って、前記目標フレーム画像のうちのいずれかの隅において、第一の目標特徴点部分集合を分割する。
目標特徴点集合Ｓｔを取得した後に、それに対して部分集合の分割を行う。まず、目標フレーム画像Ｉｔに対してサブブロックの分割を行って、サブブロック間に重なり合う部分があってもよい。図４を参照し、目標フレーム画像に対してサブブロックの分割を行う模式図である。なお、各サブブロックの予め設定されたサブブロック長とサブブロック幅はそれぞれ
であって、サブブロック中心の横移動ステップと縦移動ステップはそれぞれ、
と
である。なお、サブブロック長と、サブブロック幅と、横移動ステップと、縦移動ステップの数値は当業者によって自分で設定されてもよく、例えば、本出願の実施例において、
に設定されてもよい。勿論、具体的な数値の変更は本出願の実現に影響を与えない。
ステップＢ３：前記目標フレーム画像における画素点の全てが分割されるまで、前記第一の目標特徴点部分集合の対応するサブブロックを横移動ステップ及び／又は縦移動ステップに従って移動し、毎回移動した後のサブブロックの対応する画素点集合を目標特徴点部分集合として確定し、なお、前記横移動ステップと縦移動ステップはそれぞれ対応するように、サブブロック長とサブブロック幅より小さい。
具体的には、まず、サブブロック長とサブブロック幅に従って、目標フレーム画像の左上角に、第一のサブブロックが分割されて、そのうちの画素点集合が第一の目標特徴点部分集合として確定される。そして、第一の目標特徴点部分集合の対応するサブブロックを横移動ステップと縦移動ステップに従って、それぞれ移動し、毎回移動した後のサブブロックに覆われる画素点集合を目標特徴点集合として確定し、前記目標フレーム画像における全ての画素点が分割されるまでである。このように後の障害物特徴点検知プロセスにおいて、目標特徴点部分集合ごとに判断する。
なお、サブブロックの間に重なり合う部分があることを保証するために、横移動ステップと縦移動ステップは、それぞれ対応するようにサブブロック長とサブブロック幅より小さい。これにより、目標フレーム画像における同一の特徴点が異なる部分集合に分割されるようにすることで、ある目標特徴点部分集合のうちの障害物特徴点が背景特徴点よりもはるかに少ないため、障害物検知結果が不完全になることを防止することができる。
上記サブブロック分割方法の主な目的は、特徴点に対して部分集合の分割を行って、特徴点集合の距離変化値を計算することである。実際の適用において、当業者は、サブブロック分割方式に代わり、他の方法を使用して特徴点部分集合の分割を行ってもよい。例えば、特徴点位置、特徴点オプティカルフローサイズ、方向などによって、クラスリングして、いくつかの特徴点部分集合を得る。
次いで、ステップ１０４に入り、各目標特徴点部分集合に対して、その対応する地面投影点集合内における画素点の目標フレームの時点と隣接フレームの時点とでの距離変化値に基づいて、当該目標特徴点部分集合が障害物に属するか否かを判断する。
続いて、各目標特徴点部分集合に対して、その対応する地面投影点集合内における画素点の目標フレームの時点と隣接フレームの時点とでの距離変化値に基づいて、当該目標特徴点部分集合が障害物に属するか否かを判断する。具体的に実施する時に、本ステップは、サブステップＣ１〜Ｃ５を含むことができる。
ステップＣ１：前記目標特徴点部分集合における画素点の対応する地面投影点集合を確定する。
本出願の実施例において、単眼カメラが目標キャリア（例えば、車ボディまたは他のモバイルプラットフォーム）に取り付けけられ、図５を参照し、単眼カメラの取付模式図である。単眼カメラの結像平面の画素座標系はｏ＿ｕｖであれば、サブステップＣ１はさらにサブステップＤ１〜Ｄ３を含むことができる。
ステップＤ１：前記単眼カメラの光心を原点として、ＯＹ軸が垂直に地面に向いて、ＯＺ軸が地面に平行し且つ前記単眼カメラの取付キャリアに平行する世界座標系Ｏ＿ＸＹＺを確立する。
図５における単眼カメラの光心を原点として、世界座標系Ｏ＿ＸＹＺを確立し、ＯＹ軸が垂直に地面に向いて、ＯＺ軸が地面に平行し且つ単眼カメラが取り付けられた車ボディに平行する。
ステップＤ２：前記単眼カメラの光心を原点として、ＯＺ’軸が前記単眼カメラの光軸に重なり、ＯＸ’とＯＹ’軸がそれぞれ結像平面のｏｕ軸とｏｖ軸に平行するカメラ座標系Ｏ＿Ｘ’Ｙ’Ｚ’を確立する。
カメラの光心を原点としてカメラ座標系Ｏ＿Ｘ’Ｙ’Ｚ’を確立し、なお、ＯＺ’軸が単眼カメラの光軸に重なり、ＯＸ’とＯＹ’軸がそれぞれ結像平面のｏｕ軸とｏｖ軸に平行する。単眼カメラの光心から地面までの高さはＨであって、Ｈの値は事前に測定して確定される。カメラ座標系は、世界座標系が順次にＸ軸周りにα、Ｙ軸周りにβ、Ｚ軸周りにγ角度に回転されて得られ、αと、βと、γは、前記単眼カメラが取り付けられた後に固定値であって、外部パラメータのキャリブレーションアルゴリズムによって確定される。
ステップＤ３：カメラ座標系における座標と世界座標系における座標との間の変換関係、及びカメラ座標系における座標と結像平面における座標との間の対応関係によって、目標特徴点部分集合における画素点の対応する地面投影点集合を確定し、前記地面投影点集合が｛（Ｘ，Ｈ，Ｚ）｝であって、Ｈが前記単眼カメラから地面までの高さである。
世界座標系とカメラ座標系をそれぞれ確立した後、空間中のいずれかの点Ｐに対して、カメラ座標系における座標（Ｘ’，Ｙ’，Ｚ’）と世界座標系における座標（Ｘ，Ｙ，Ｚ）との間に式（４）に示すような変換関係が存在する。
なお、Ｒの計算方式は式（５）のように表す。
なお、
なお、カメラ座標系における、前記単眼カメラによって撮影される点Ｐ（Ｘ’，Ｙ’，Ｚ’）について、結像平面においてそれに対応する点ｐ（ｕ，ｖ）が唯一に存在し、カメラ座標系における座標（Ｘ’，Ｙ’，Ｚ’）と結像平面における座標ｐ（ｕ，ｖ）との間の対応関係は次の式（６）のように表す。
なお、Ｆは単眼カメラの投影モデルであって、単眼カメラのカメラタイプ（例えば、平面カメラ、フィッシュアイカメラ）とオフラインキャリブレーションアルゴリズムによって得られるカメラ内部パラメータによって確定する。
平面カメラに対して、式（６）は以下のような式（７）に変換することができる。
なお、
ｕ０とｖ０は単眼カメラの内部パラメータであって、
は単眼カメラの焦点距離であって、ｄｘとｄｙはそれぞれ画素幅と高さの物理的サイズであって、
は光軸と結像平面との交点の画素座標である。幾何学的な関係により、図５に示した直線ＯＰの上に、同じ結像点ｐ（ｕ，ｖ）を有する無数の点があって、この場合、関数Ｆは不可逆的であるが、地面の点に対して、関数Ｆは可逆的である。これは、世界座標系において、地面点が確定のＹ座標値（Ｙ＝Ｈ）を有するので、地面点と画像点に一対一の対応関係があるからである。目標フレーム画像のうち消失線の下にあるいずれかの特徴点に対して、式（４）と式（６）によって、それの世界座標系における地面投影点集合（Ｘ，Ｈ，Ｚ）を計算することができる。
画像のうち消失線の上にある特徴点に対して、それが必ず地面より高いため、障害物領域の特徴点として確定でき、考慮する必要がなく、本出願の障害物特徴点検知は、消失線の下にある特徴点のみに対して行う。
ステップＣ２：いずれかの地面投影点集合に対して、目標フレーム時点と隣接フレーム時点での各地面投影点の距離変化の合計の平均値を計算する。
各目標特徴点部分集合に対して、目標特徴点のｔ−１時点とｔ時点での相互の距離変化値によって、現在特徴点部分集合が障害物特徴点部分集合であるか否かを判断する。同一の目標特徴点部分集合に属する特徴点に対して、それが地面特徴点であれば、地面投影点座標はそれの三次元空間中の実座標であって、地面投影点間の距離が異なる時点での世界座標系においてそのまま保持する。ある目標特徴点部分集合に障害物上の特徴点が含まれると、地面投影点間の距離が異なる時点で世界座標系において変更され、これに基づいて、障害物特徴点検知を行う。
そこで、本ステップにおいてｔ−１時点とｔ時点での各地面投影点の距離変化値を計算する。具体的には、目標フレーム画像Ｉｔにおける第ｋ個の特徴点部分集合
に対して、それの対応するｔ−１時点でのマッチング特徴点集合は
である。なお、ｎｋは点の個数を表す。目標特徴点部分集合におけるいずれかの二つの特徴点
と
に対して、式（４）と式（６）によって対応するｔ時点とｔ−１時点での地面投影点
及び
を計算することができる。
具体的に、特徴点
と
は地面投影点であれば、図６を参照し、地面点の異なる時点での距離分析の模式図であって、地面特徴点のｔ時点での距離
とｔ−１時点での距離
が等しい、即ち、次のような式を満足する。
特徴点
と
のうち少なくとも一つが障害物点であれば、図７を参照し、障害物点の異なる時点での距離分析の模式図であって、そのｔ時点での距離
（即ち、セグメント
の長さ）とｔ−１時点での距離
（即ちセグメント
の長さ）が等しくない。
ステップＣ３：前記距離変化合計の平均値が予め設定された距離変化の閾値より大きいか否かを判断し、そうであれば、ステップＣ４に入り、さもなければ、ステップＣ５に入る。
本ステップにおいて、目標特徴点部分集合
に対して、目標特徴点の地面投影点のｔ−１時点とｔ時点での距離変化合計の平均値
を統計し、統計方式は、以下のように示す式（９）を参照する。
なお、
であるが、距離変化の閾値Ｔ３は当業者によって実際の需要に応じて自分で設置されて、例えば、Ｔ３＝０．１である。距離変化合計の平均値が距離変化の閾値より大きい、即ち、
の時に、現在目標特徴点部分集合を障害物特徴点として確定できる。なお、距離変化合計を目標特徴点部分集合における特徴点対の数量で除算して得られた値は平均値
であって、目標特徴点部分集合におけるいずれかの二つの相互に異なる特徴点によって一つの特徴点対を構成し、そのうちの特徴点の全てをトラバーサルした後、目標特徴点部分集合における特徴点対の数量、即ち、
が得られる。勿論、Ｔ３の具体的な数値は、本出願の実現に影響を与えない。
ステップＣ４：当該いずれかの地面投影点集合の対応する目標特徴点部分集合における特徴点を障害物点として確定する。
距離合計が予め設定された距離の閾値より大きい地面投影点集合の対応する目標特徴点部分集合を障害物点として確定する。
ステップＣ５：全ての地面投影点集合が判断されるまで、続けて地面投影点集合を選択して、距離変化合計の平均値を計算し、ステップＣ３を繰り返す。
全ての地面投影点集合が判断されるまで、続いて他の地面投影点集合に対して、距離変化合計の平均値を計算し、当該距離変換合計の平均値が予め設定された距離閾値より大きいか否かを判断する。この場合、全ての障害物点集合は既に確定された。
ステップ１０５：障害物に属すると判断される全ての目標特徴点部分集合の和集合を前記目標フレーム画像における障害物点の集合として確定する。
式（９）によって、障害物に属すると検知される全ての目標特徴点部分集合の和集合を最後の障害物点の集合として確定する。具体的に、障害物特徴点検知結果は、図８を参照できる。図８ａは原画像であって、図８ｂは、障害物特徴点検知結果の模式図であって、そのうち、黒影部分は検知された障害物特徴点を表す。
具体的な実施例を紹介した後、図１に戻って、ステップ１０４以降に、異なる実施例において、さらに以下のステップを含むことができる。
ステップ１０５：前記目標フレーム画像の障害物点の集合を出力する。
目標フレーム画像の障害物点集合が検知された後、それをユーザーに出力する。
これにより、本出願の実施例において、隣接フレーム画像の変換画像を事前追跡することにより、隣接フレーム画像における誤マッチングしやすい特徴点を削除することができ、得られた最適な特徴点集合は、目標フレーム画像において追跡する時に、誤マッチングをできるだけ避けることによって、障害物点の検出確度が向上する。また、本出願は、目標フレーム画像における目標特徴点部分集合に対して、その地面投影点の距離変化を判断することによって障害物点を検知することを使用して、複数の分類器をトレーニングする必要がなくなって、障害物の検知のプロセスをより容易化し、さらに、障害物検知の効率が向上する。さらに、本出願は、任意のタイプの障害物を検知でき、そして、自車両運動パラメータ情報を利用する必要がなく、カメラのタイプによって限られない。
前記の方法実施例に対して、簡単に説明するために、それを一連の動作の組み合わせとして記述したが、当業者が理解すべきことは、本出願は、説明した動作順序によって限定されない。本出願によって、あるステップは他の順序を使用するか、或いは、同時に行ってもよい。また、当業者がさらに理解すべきことは、明細書で説明した実施例は共に最適な実施例に属して、係る動作とモジュールは、本出願において必ずしも必要なものではない。
前記本出願の単眼カメラに基づく障害物検知方法実施例によって提供される方法に対応して、図９に示すように、本出願はさらに、単眼カメラに基づく障害物検知装置の実施例を提供し、本実施例において、当該装置は以下のようなモジュールを含むことができる。
取得モジュール９０１は、前記単眼カメラが撮影した目標フレーム画像及びその隣接フレーム画像を取得するためのものである。
事前追跡モジュール９０２は、隣接フレーム画像の最適な特徴点集合が得られるように、前記隣接フレーム画像の、予め設定された変換モデルによって算出された変換画像の上で前記隣接フレーム画像の初期特徴点集合を追跡して得られた結果に基づいて、前記隣接フレーム画像の初期特徴点集合において、不安定な特徴点を削除するためのものである。
なお、事前追跡モジュール９０２は具体的に、
前記隣接フレーム画像の初期特徴点集合が得られるように、予め設定された特徴点検出アルゴリズムを使用して前記隣接フレーム画像における特徴点を検知するための特徴点サブモジュールと、予め設定された変換モデルによって、前記隣接フレーム画像の変換画像を計算するための計算サブモジュールと、前記初期特徴点集合にマッチングする追跡特徴点集合が得られるように、予め設定された特徴点追跡アルゴリズムを使用して、前記初期特徴点集合を前記変換画像において追跡するための追跡サブモジュールと、前記初期特徴点集合と追跡特徴点集合における各特徴点の差値が予め設定された差値の閾値より大きいか否かを判断するための第一の判断サブモジュールと、前記第一の判断サブモジュールの結果がＹｅｓである場合、対応する初期特徴点を初期特徴点集合において削除するための削除サブモジュールと、削除後の初期特徴点集合を隣接フレーム画像の最適な特徴点集合として確定するための第一の確定サブモジュールとを含むことができる。
部分集合分割モジュール９０３は、いくつかの目標特徴点部分集合が得られるように、隣接フレーム画像の最適な特徴点集合を前記目標フレーム画像において追跡することによって得られた目標特徴点集合に対して、予め設定されたサブブロック長とサブブロック幅に従って分割を行うためのものである。
部分集合分割モジュール９０３は具体的には、
予め設定された特徴点追跡アルゴリズムを使用して、目標特徴点集合が得られるように、前記最適な特徴点集合を前記目標フレーム画像において追跡するための特徴点追跡サブモジュールと、予め設定されたサブブロック長とサブブロック幅に従って、前記目標フレーム画像のうちのいずれかの隅において、第一の目標特徴点部分集合を分割するための第一の分割サブモジュールと、前記第一の目標特徴点部分集合の対応するサブブロックを横移動ステップ及び／又は縦移動ステップに従って移動するための移動サブモジュールと、前記目標フレーム画像における全ての画素点が分割されるまで、毎回移動した後のサブブロックの対応する画素点集合を目標特徴点部分集合として確定するための第二の分割サブモジュールと、を含み、なお、前記横移動ステップと縦移動ステップはそれぞれ対応するように、サブブロック長とサブブロック幅より小さいか等しい。
判断モジュール９０４は、各目標特徴点部分集合に対して、その対応する地面投影点集合内における画素点の目標フレームの時点と隣接フレームの時点とでの距離変化値に基づいて、当該目標特徴点部分集合が障害物に属するか否かを判断するためのものである。
判断モジュール９０４は具体的には、
前記目標特徴点部分集合における画素点の対応する地面投影点集合を確定するための第二の確定モジュールと、いずれかの地面投影点集合に対して、目標フレーム時点と前のフレーム時点とでの各地面投影点の距離変化合計の平均値を計算するための距離計算サブモジュールと、前記距離変化合計の平均値が予め設定された距離変化の閾値より大きいか否かを判断するための第二の判断サブモジュールと、前記第二の判断サブモジュールの結果がＹｅｓである場合、当該いずれかの地面投影点集合の対応する目標特徴点部分集合における特徴点を障害物点として確定するための第三の確定サブモジュールと、前記第二の判断サブモジュールの結果がＮｏである場合、全ての地面投影点集合が判断されるまで、続いて次の地面投影点集合を選択して前記距離計算サブモジュールをトリガーするためのトリガーサブモジュールと、を含む。
なお、前記第二の確定サブモジュールは、
前記単眼カメラの光心を原点として、ＯＹ軸が垂直に地面に向いて、ＯＺ軸が地面に平行し且つ前記単眼カメラの取付キャリアに平行する世界座標系Ｏ＿ＸＹＺを確立するための世界座標系確立サブモジュールと、前記単眼カメラの光心を原点として、ＯＺ’軸が単眼カメラの光軸に重なり、ＯＸ’とＯＹ’軸がそれぞれ結像平面のｏｕ軸とｏｖ軸に平行するカメラ座標系Ｏ＿Ｘ’Ｙ’Ｚ’を確立するためのカメラ座標系確立サブモジュールと、カメラ座標系が、世界座標系が順次にＸ軸周りにα、Ｙ軸周りにβ、Ｚ軸周りにγ角度に回転されて得られたものであって、αと、βと、γが、前記単眼カメラが取り付けられた後に、外部パラメータのキャリブレーションアルゴリズムによって確定されるものであり、カメラ座標系における座標と世界座標系における座標との間の変換関係、及びカメラ座標系における座標と結像平面における座標との間の対応関係によって、目標特徴点部分集合における画素点の対応する地面投影点集合｛（Ｘ，Ｈ，Ｚ）｝（Ｈが前記単眼カメラから地面までの高さである）を確定するための第四の確定サブモジュールと、を含み、なお、カメラ座標系の座標（Ｘ’，Ｙ’，Ｚ’）と世界座標系の座標（Ｘ，Ｙ，Ｚ）との間の変換関係は
であって、なお、
であり、なお、カメラ座標系における座標と結像平面における座標との間の対応関係は、
であり、Ｆは前記単眼カメラの投影モデルであって、前記単眼カメラの、オフラインキャリブレーションアルゴリズムによって得られるカメラ内部パラメータによって確定するものである。
確定モジュール９０５は障害物に属すると判断される全ての目標特徴点部分集合の和集合を前記目標フレーム画像における障害物点の集合として確定する。
選択的には、異なる実施例において、当該装置はさらに、
前記目標フレーム画像の障害物点集合を出力するための出力モジュール９６を含む。
本装置の実施例において、隣接フレーム画像の変換画像を事前追跡することにより、隣接フレーム画像における誤マッチングしやすい特徴点を削除することができ、得られた最適な特徴点集合は、目標フレーム画像において追跡する時に、誤マッチングをできるだけ避けることによって、障害物点の検出確度が向上する。また、本出願は、目標フレーム画像における目標特徴点部分集合に対して、その地面投影点の距離変化を判断することによって障害物点を検知することを使用して、複数の分類器をトレーニングする必要がなくなって、障害物の検知のプロセスをより容易化し、さらに、障害物検知の効率が向上する。さらに、本出願は、さらに任意のタイプの障害物を検知でき、そして、自車両運動パラメータ情報を利用する必要がなく、カメラのタイプによって限られない。
注意すべきことは、本明細書における各実施例はプログレッシブ方法で記述し、各実施例によって主に説明されるのは他の実施例と異なるところであって、各実施例の間の同じまたは類似の部分は相互に参照すればよい。装置類の実施例について、それが方法の実施例と基本的に類似するため、記述が比較的に簡単で、相関するところは、方法の実施例の部分の説明を参照すればよい。
最後、更に注意すべきことは、本文において、第一と第二などの関係を示す用語とは、単に、一方のエンティティまたは操作を他方のエンティティまたは操作と区別するためのものであって、必ずしもこれらのエンティティまたは操作の間にいかなるこのような実際の関係または順序があることを意味するのではない。そして、用語「包括」、「含む」またはそのいかなる他の変形は、非排他的な包含を含むことを意味することで、一連の要素を含むプロセス、方法、物品、またはデバイスは、それらの要素を含むだけではなく、更に明確に記載されていない他の要素を含み、或いは、更にこのようなプロセス、方法、物品、またはデバイスに固有する要素を含む。より多い制限が存在しない場合、「．．．を一つ含む」という文によって限定される要素は、前記要素を含むプロセス、方法、物品またはデバイスに他の同じ要素がさらに含まれることを排除しない。
以上で、本出願によって提供した単眼カメラに基づく障害物検知方法及び装置を詳述したが、本文において、具体的な例を使用して本出願の原理及び実施形態を説明した。以上の実施例の説明は、本出願の方法及びその核心思想の理解を助けるために過ぎない。同時に、当業者にとって、本出願の思想によって、具体的な実施方法及び適用範囲において変更することもあり、以上のように、本明細書の内容は本出願を限定するものとして解釈されるべきではない。

Claims (10)

  1. 単眼カメラに基づく障害物検知方法であって、
    前記単眼カメラが撮影した目標フレーム画像及びその隣接フレーム画像を取得することと、
    隣接フレーム画像の最適な特徴点集合が得られるように、前記隣接フレーム画像の、予め設定された変換モデルによって算出された変換画像の上で前記隣接フレーム画像の初期特徴点集合を追跡して得られた結果に基づいて、前記隣接フレーム画像の初期特徴点集合において、不安定な特徴点を削除することと、
    いくつかの目標特徴点部分集合が得られるように、隣接フレーム画像の最適な特徴点集合を前記目標フレーム画像において追跡することによって得られた目標特徴点集合に対して、部分集合の分割を行うことと、
    各目標特徴点部分集合に対して、その対応する地面投影点集合内における点の目標フレームの時点と隣接フレームの時点とでの距離変化値に基づいて、当該目標特徴点部分集合が障害物に属するか否かを判断することと、
    障害物に属すると判断される全ての目標特徴点部分集合の和集合を前記目標フレーム画像における障害物点集合として確定することと、
    を含む方法。
  2. 隣接フレーム画像の最適な特徴点集合が得られるように、前記隣接フレーム画像の変換画像の上で前記隣接フレーム画像の初期特徴点集合を追跡して得られた結果に基づいて、前記隣接フレーム画像の初期特徴点集合において、不安定な特徴点を削除することは、
    前記隣接フレーム画像の初期特徴点集合が得られるように、予め設定された特徴点検出アルゴリズムを使用して前記隣接フレーム画像における特徴点を検知することと、
    予め設定された変換モデルによって、前記隣接フレーム画像の変換画像を計算することと、
    前記初期特徴点集合にマッチングする追跡特徴点集合が得られるように、予め設定された特徴点追跡アルゴリズムを使用して、前記初期特徴点集合を前記変換画像において追跡することと、
    前記初期特徴点集合と追跡特徴点集合における各特徴点の差値が予め設定された差値の閾値より大きいか否かを判断して、そうであれば、対応する初期特徴点を初期特徴点集合において削除することと、
    削除後の初期特徴点集合を隣接フレーム画像の最適な特徴点集合として確定することと、
    を含む請求項１に記載の方法。
  3. 目標特徴点集合に対して、部分集合の分割を行うことは、具体的に、いくつかの目標特徴点部分集合が得られるように、予め設定された横移動ステップと縦移動ステップに従って分割を行うことであって、
    目標特徴点集合が得られるように、予め設定された特徴点追跡アルゴリズムを使用して、前記最適な特徴点集合を前記目標フレーム画像において追跡することと、
    予め設定されたサブブロック長とサブブロック幅に従って、前記目標フレーム画像のうちのいずれかの隅において、第一の目標特徴点部分集合を分割することと、
    前記第一の目標特徴点部分集合の対応するサブブロックを横移動ステップ及び／又は縦移動ステップに従って移動し、毎回移動した後のサブブロックの対応する画素点集合を目標特徴点部分集合として確定し、前記目標フレーム画像における画素点の全てが分割されるまでであり、なお、前記横移動ステップと縦移動ステップはそれぞれ対応するようにサブブロック長とサブブロック幅より小さいか等しいことと、
    を含む請求項１に記載の方法。
  4. 各目標特徴点部分集合の対応する地面投影点集合内における画素点の目標フレームの時点と前のフレームの時点とでの距離変化値に基づいて、前記目標フレーム画像の障害物点を確定することは、
    前記目標特徴点部分集合における画素点の対応する地面投影点集合を確定することと、
    いずれかの地面投影点集合に対して、目標フレームの時点と前のフレームの時点とでの各地面投影点の距離変化合計の平均値を計算することと、
    前記距離変化合計の平均値が予め設定された距離変化の閾値より大きいか否かを判断し、そうであれば、当該いずれかの地面投影点集合の対応する目標特徴点部分集合における特徴点を障害物点として確定し、さもなければ、続いて次の地面投影点集合を選択して距離変化合計の平均値を計算し、前記判断ステップを繰り返し、全ての地面投影点集合の判断が完了するまでであることと、を含み、
    なお、前記平均値は、距離変化合計を目標特徴点部分集合における特徴点対の数量で除算して得られた値であって、前記特徴点対は、目標特徴点部分集合におけるいずれかの二つの特徴点により構成される一つの特徴点対である請求項１に記載の方法。
  5. 前記単眼カメラが目標キャリアに取り付けられて、その結像平面の画素座標系がｏ＿ｕｖであると、前記目標特徴点部分集合における画素点の対応する地面投影点集合を確定することは、
    前記単眼カメラの光心を原点として、世界座標系Ｏ＿ＸＹＺを確立し、ＯＹ軸が垂直に地面に向いて、ＯＺ軸が地面に平行し且つ前記単眼カメラの取付キャリアに平行することと、
    前記単眼カメラの光心を原点として、カメラ座標系Ｏ＿Ｘ’Ｙ’Ｚ’を確立し、ＯＺ’軸が前記単眼カメラの光軸に重なり、ＯＸ’とＯＹ’軸がそれぞれ結像平面のｏｕ軸とｏｖ軸に平行し、なお、カメラ座標系は、世界座標系を順次にＸ軸周りにα、Ｙ軸周りにβ、Ｚ軸周りにγ角度に回転して得られ、αと、βと、γは、前記単眼カメラが取り付けられた後に、外部パラメータのキャリブレーションアルゴリズムによって確定されることと、
    カメラ座標系における座標と世界座標系における座標との間の変換関係、及びカメラ座標系における座標と結像平面における座標との間の対応関係によって、目標特徴点部分集合における画素点の対応する地面投影点集合を確定し、前記地面投影点集合が｛（Ｘ，Ｈ，Ｚ）｝であって、Ｈが前記単眼カメラから地面までの高さであることと、を含み、
    なお、カメラ座標系の座標（Ｘ’，Ｙ’，Ｚ’）と世界座標系の座標（Ｘ，Ｙ，Ｚ）との間の変換関係は
    であって、
    であり、
    カメラ座標系における座標と結像平面における座標との間の対応関係は、
    であり、Ｆは前記単眼カメラの投影モデルであって、前記単眼カメラの、オフラインキャリブレーションアルゴリズムによって得られたカメラ内部パラメータによって確定する請求項４に記載の方法。
  6. 単眼カメラに基づく障害物検知装置であって、
    前記単眼カメラが撮影した目標フレーム画像及びその隣接フレーム画像を取得するための取得モジュールと、
    隣接フレーム画像の最適な特徴点集合が得られるように、前記隣接フレーム画像の、予め設定された変換モデルによって算出された変換画像の上で前記隣接フレーム画像の初期特徴点集合を追跡して得られた結果に基づいて、前記隣接フレーム画像の初期特徴点集合において、不安定な特徴点を削除するための事前追跡モジュールと、
    いくつかの目標特徴点部分集合が得られるように、隣接フレーム画像の最適な特徴点集合を前記目標フレーム画像において追跡することによって得られた目標特徴点集合に対して、部分集合の分割を行うための部分集合分割モジュールと、
    各目標特徴点部分集合に対して、その対応する地面投影点集合内における点の目標フレームの時点と隣接フレームの時点とでの距離変化値に基づいて、当該目標特徴点部分集合が障害物に属するか否かを判断するための判断モジュールと、
    障害物に属すると判断される全ての目標特徴点部分集合の和集合を前記目標フレーム画像における障害物点集合として確定するための確定モジュールと、
    を含む装置。
  7. 前記事前追跡モジュールは、
    前記隣接フレーム画像の初期特徴点集合が得られるように、予め設定された特徴点検出アルゴリズムを使用して前記隣接フレーム画像における特徴点を検知するための特徴点検知サブモジュールと、
    予め設定された変換モデルによって、前記隣接フレーム画像の変換画像を計算するための計算サブモジュールと、
    前記初期特徴点集合にマッチングする追跡特徴点集合が得られるように、予め設定された特徴点追跡アルゴリズムを使用して、前記初期特徴点集合を前記変換画像において追跡するための追跡サブモジュールと、
    前記初期特徴点集合と追跡特徴点集合における各特徴点の差値が予め設定された差値の閾値より大きいか否かを判断するための第一の判断サブモジュールと、
    前記第一の判断サブモジュールの結果がＹｅｓである場合、対応する初期特徴点を初期特徴点集合において削除するための削除サブモジュールと、
    削除後の初期特徴点集合を隣接フレーム画像の最適な特徴点集合として確定するための第一の確定サブモジュールと、
    を含む請求項６に記載の装置。
  8. 前記部分集合分割モジュールは、
    目標特徴点集合が得られるように、予め設定された特徴点追跡アルゴリズムを使用して、前記最適な特徴点集合を前記目標フレーム画像において追跡するための特徴点追跡サブモジュールと、
    予め設定されたサブブロック長とサブブロック幅に従って、前記目標フレーム画像のうちのいずれかの隅において、第一の目標特徴点部分集合を分割するための第一の分割サブモジュールと、
    前記第一の目標特徴点部分集合の対応するサブブロックを横移動ステップ及び／又は縦移動ステップに従って移動するための移動サブモジュールと、
    前記目標フレーム画像における全ての画素点が分割されるまで、毎回移動した後のサブブロックの対応する画素点集合を目標特徴点部分集合として確定するための第二の分割サブモジュールと、を含み、
    なお、前記横移動ステップと縦移動ステップはそれぞれ対応するように、サブブロック長とサブブロック幅より小さいか等しい請求項６に記載の装置。
  9. 前記判断モジュールは、
    前記目標特徴点部分集合における画素点の対応する地面投影点集合を確定するための第二の確定サブモジュールと、
    いずれかの地面投影点集合に対して、目標フレームの時点と前のフレームの時点とでの各地面投影点の距離変化合計の平均値を計算するための距離計算サブモジュールと、
    前記距離変化合計の平均値が予め設定された距離変化の閾値より大きいか否かを判断するための第二の判断サブモジュールと、
    前記第二の判断サブモジュールの結果がＹｅｓである場合、当該いずれかの地面投影点集合の対応する目標特徴点部分集合における特徴点を障害物点として確定するための第三の確定サブモジュールと、
    前記第二の判断サブモジュールの結果がＮｏである場合、続いて次の地面投影点集合を選択して前記距離計算サブモジュールをトリガーし、全ての地面投影点集合の判断が完了するまでであるトリガーサブモジュールと、を含み、
    なお、前記平均値は、距離変化合計を目標特徴点部分集合における特徴点対の数量で除算して得られた値であって、前記特徴点対は、目標特徴点部分集合におけるいずれかの二つの特徴点により構成される一つの特徴点対である請求項８に記載の装置。
  10. 前記第二の確定サブモジュールは、
    前記単眼カメラの光心を原点として、ＯＹ軸が垂直に地面に向いて、ＯＺ軸が地面に平行し且つ前記単眼カメラの取付キャリアに平行する世界座標系Ｏ＿ＸＹＺを確立するための世界座標系確立サブモジュールと、
    前記単眼カメラの光心を原点として、ＯＺ’軸が単眼カメラの光軸に重なり、ＯＸ’とＯＹ’軸がそれぞれ結像平面のｏｕ軸とｏｖ軸に平行するカメラ座標系Ｏ＿Ｘ’Ｙ’Ｚ’を確立するためのカメラ座標系確立サブモジュールと、なお、カメラ座標系が、世界座標系を順次にＸ軸周りにα、Ｙ軸周りにβ、Ｚ軸周りにγ角度に回転して得られ、αと、βと、γが、前記単眼カメラが取り付けられた後に、外部パラメータのキャリブレーションアルゴリズムによって確定され、
    カメラ座標系における座標と世界座標系における座標との間の変換関係、及びカメラ座標系における座標と結像平面における座標との間の対応関係によって、目標特徴点部分集合における画素点の対応する地面投影点集合｛（Ｘ，Ｈ，Ｚ）｝（Ｈが前記単眼カメラから地面までの高さである）を確定するための第四の確定サブモジュールと、を含み、
    なお、カメラ座標系の座標（Ｘ’，Ｙ’，Ｚ’）と世界座標系の座標（Ｘ，Ｙ，Ｚ）との間の変換関係は
    であって、
    であり、
    カメラ座標系における座標と結像平面における座標との間の対応関係は、
    であり、Ｆは前記単眼カメラの投影モデルであって、前記単眼カメラの、オフラインキャリブレーションアルゴリズムによって得られるカメラ内部パラメータによって確定する請求項９に記載の装置。
JP2015092099A 2014-09-26 2015-04-28 単眼カメラに基づく障害物検知方法及び装置 Active JP6031554B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410512682.4 2014-09-26
CN201410512682.4A CN104299244B (zh) 2014-09-26 2014-09-26 基于单目相机的障碍物检测方法及装置

Publications (2)

Publication Number Publication Date
JP2016071846A true JP2016071846A (ja) 2016-05-09
JP6031554B2 JP6031554B2 (ja) 2016-11-24

Family

ID=52318966

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015092099A Active JP6031554B2 (ja) 2014-09-26 2015-04-28 単眼カメラに基づく障害物検知方法及び装置

Country Status (4)

Country Link
US (1) US9521317B2 (ja)
JP (1) JP6031554B2 (ja)
CN (1) CN104299244B (ja)
DE (1) DE102015207676B4 (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017045116A1 (en) 2015-09-15 2017-03-23 SZ DJI Technology Co., Ltd. System and method for supporting smooth target following
EP3368957B1 (en) 2015-10-30 2022-02-09 SZ DJI Technology Co., Ltd. Systems and methods for uav path planning and control
CN106326866B (zh) * 2016-08-25 2020-01-17 北京奇虎科技有限公司 车辆碰撞的预警方法及装置
CN106777269A (zh) * 2016-12-28 2017-05-31 深圳市佳都实业发展有限公司 用于构建动态地图的机器人及机器人构建动态地图的方法
CN108510590A (zh) * 2017-02-24 2018-09-07 北京图森未来科技有限公司 一种生成三维边界框的方法及装置
JP6894725B2 (ja) * 2017-03-09 2021-06-30 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
JP6976733B2 (ja) * 2017-06-14 2021-12-08 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN107301646B (zh) * 2017-06-27 2019-09-17 深圳市云洲创新科技有限公司 基于单目视觉的无人船智能避障方法和装置
CN109591698A (zh) * 2017-09-30 2019-04-09 上海欧菲智能车联科技有限公司 盲区检测系统、盲区检测方法和车辆
US10671862B2 (en) 2018-01-30 2020-06-02 Wipro Limited Method and system for detecting obstacles by autonomous vehicles in real-time
CN110197104B (zh) * 2018-02-27 2022-03-29 杭州海康威视数字技术股份有限公司 基于车辆的测距方法及装置
CN108427940B (zh) * 2018-04-04 2023-11-17 徐育 基于深度相机的饮水机出水智能控制装置及其控制方法
US10884422B2 (en) * 2018-04-16 2021-01-05 Baidu Usa Llc Method for generating trajectories for autonomous driving vehicles (ADVS)
TWI721324B (zh) 2018-10-10 2021-03-11 鴻海精密工業股份有限公司 電子裝置及立體物體的判斷方法
CN111047639B (zh) * 2018-10-12 2023-08-18 深圳富联富桂精密工业有限公司 单目测距装置
CN111326023B (zh) * 2018-12-13 2022-03-29 丰翼科技(深圳)有限公司 一种无人机航线预警方法、装置、设备及存储介质
CN111358361B (zh) * 2018-12-26 2021-08-24 珠海市一微半导体有限公司 扫地机器人避线的控制方法、控制装置和计算机存储介质
CN109657638B (zh) * 2018-12-28 2021-04-27 百度在线网络技术（北京）有限公司 障碍物定位方法、装置和终端
CN111401114B (zh) * 2019-02-12 2023-09-19 深圳市艾为智能有限公司 一种基于受限光流场横穿物体检测装置的横穿物体检测方法
CN110136047B (zh) * 2019-05-22 2022-12-27 长沙莫之比智能科技有限公司 一种车载单目图像中静止目标三维信息获取方法
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
CN110634136B (zh) * 2019-09-17 2022-09-13 北京华捷艾米科技有限公司 一种管道壁破损检测方法、装置及系统
CN110530273B (zh) * 2019-09-23 2024-04-02 易思维(杭州)科技股份有限公司 基于结构光测量的涂胶信息检测方法
CN111027381A (zh) * 2019-11-06 2020-04-17 杭州飞步科技有限公司 利用单目相机识别障碍物的方法、装置、设备及存储介质
CN111127562B (zh) * 2019-12-11 2023-03-28 长安大学 一种单目面阵相机的标定方法及自动标定系统
CN111046809B (zh) * 2019-12-16 2023-09-12 昆山微电子技术研究院 一种障碍物检测方法、装置、设备及计算机可读存储介质
CN111368883B (zh) * 2020-02-21 2024-01-19 浙江大华技术股份有限公司 基于单目摄像头的避障方法、计算装置及存储装置
CN111311656B (zh) * 2020-02-21 2023-06-27 辽宁石油化工大学 一种适用于车载鱼眼相机的运动目标检测方法和装置
CN113554703B (zh) * 2020-04-23 2024-03-01 北京京东乾石科技有限公司 机器人定位方法、装置、系统和计算机可读存储介质
CN112114664A (zh) * 2020-08-21 2020-12-22 青岛小鸟看看科技有限公司 一种基于虚拟现实的安全提醒方法、装置和头戴式一体机
CN114255405A (zh) * 2020-09-25 2022-03-29 山东信通电子股份有限公司 一种隐患目标识别方法与装置
CN112560769B (zh) * 2020-12-25 2023-08-29 阿波罗智联(北京)科技有限公司 用于检测障碍物的方法、电子设备、路侧设备和云控平台
CN112711263A (zh) * 2021-01-19 2021-04-27 未来机器人（深圳）有限公司 仓储自动导引车避障方法、装置、计算机设备和存储介质
CN112767373B (zh) * 2021-01-27 2022-09-02 大连理工大学 一种基于单目相机的机器人室内复杂场景避障方法
CN112507992B (zh) * 2021-02-04 2021-05-07 腾讯科技（深圳）有限公司 道路图像之间的拍摄距离确定方法、装置、设备及介质
CN113391642B (zh) * 2021-05-28 2022-06-03 西南交通大学 一种基于单目视觉的无人机自主避障方法及系统
CN113192130B (zh) * 2021-05-31 2022-12-06 网易（杭州）网络有限公司 一种间距检测的方法和装置
CN113819890B (zh) * 2021-06-04 2023-04-14 腾讯科技（深圳）有限公司 测距方法、装置、电子设备及存储介质
CN113313052B (zh) * 2021-06-15 2024-05-03 杭州萤石软件有限公司 悬崖区域检测及移动机器人控制方法、装置及移动机器人
CN113268066B (zh) * 2021-07-19 2021-11-12 福勤智能科技（昆山）有限公司 一种检测目标物的方法、装置、计算机设备及存储介质
CN113553958B (zh) * 2021-07-27 2023-10-27 浙江大学 一种高速公路绿化带检测方法和装置
CN115578463B (zh) * 2022-11-24 2023-04-07 苏州魔视智能科技有限公司 一种单目图像物体识别方法、装置及电子设备
CN116147567B (zh) * 2023-04-20 2023-07-21 高唐县空间勘察规划有限公司 基于多元数据融合的国土测绘方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009129001A (ja) * 2007-11-20 2009-06-11 Sanyo Electric Co Ltd 運転支援システム、車両、立体物領域推定方法
US20100121577A1 (en) * 2008-04-24 2010-05-13 Gm Global Technology Operations, Inc. Three-dimensional lidar-based clear path detection
JP2012512446A (ja) * 2008-12-15 2012-05-31 ニューソフト コーポレーション 画像中の障害物を識別する方法および装置
JP2014029604A (ja) * 2012-07-31 2014-02-13 Denso It Laboratory Inc 移動体認識システム、移動体認識プログラム、及び移動体認識方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0115433D0 (en) * 2001-06-23 2001-08-15 Lucas Industries Ltd An object location system for a road vehicle
US7248718B2 (en) * 2004-02-19 2007-07-24 Siemens Corporate Research, Inc. System and method for detecting a passing vehicle from dynamic background using robust information fusion
KR100630088B1 (ko) * 2004-12-28 2006-09-27 삼성전자주식회사 옵티컬 플로우를 이용한 차량 감시 장치 및 방법
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
CN101458814B (zh) * 2007-12-13 2012-02-01 东软集团股份有限公司 一种用于从图像中分割对象感兴趣区域的方法和装置
US8751154B2 (en) 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
CN101408978B (zh) * 2008-11-27 2010-12-01 东软集团股份有限公司 一种基于单目视觉的障碍物检测方法及装置
CN101436300B (zh) * 2008-12-10 2012-10-31 东软集团股份有限公司 障碍物分割方法及装置
EP2541498B1 (en) * 2011-06-30 2017-09-06 Harman Becker Automotive Systems GmbH Method of determining extrinsic parameters of a vehicle vision system and vehicle vision system
RU2544775C1 (ru) * 2011-09-12 2015-03-20 Ниссан Мотор Ко., Лтд. Устройство обнаружения трехмерных объектов
US8903127B2 (en) * 2011-09-16 2014-12-02 Harman International (China) Holdings Co., Ltd. Egomotion estimation system and method
US8848978B2 (en) * 2011-09-16 2014-09-30 Harman International (China) Holdings Co., Ltd. Fast obstacle detection
CN102508246B (zh) * 2011-10-13 2013-04-17 吉林大学 车辆前方障碍物检测跟踪方法
CN104509090B (zh) * 2012-07-27 2016-08-24 歌乐牌株式会社 车载用图像识别装置
US8831290B2 (en) * 2012-08-01 2014-09-09 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining poses of vehicle-mounted cameras for in-road obstacle detection
US9969337B2 (en) * 2014-09-03 2018-05-15 Sharp Laboratories Of America, Inc. Methods and systems for mobile-agent navigation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009129001A (ja) * 2007-11-20 2009-06-11 Sanyo Electric Co Ltd 運転支援システム、車両、立体物領域推定方法
US20100121577A1 (en) * 2008-04-24 2010-05-13 Gm Global Technology Operations, Inc. Three-dimensional lidar-based clear path detection
JP2012512446A (ja) * 2008-12-15 2012-05-31 ニューソフト コーポレーション 画像中の障害物を識別する方法および装置
JP2014029604A (ja) * 2012-07-31 2014-02-13 Denso It Laboratory Inc 移動体認識システム、移動体認識プログラム、及び移動体認識方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6016024571; 佐伯晋， 外２名: '"数値地図情報に含まれない障害物を考慮した視覚障害者自立歩行支援システム"' ロボティクス・メカトロニクス講演会 '１１ 講演論文集 , 20110526, ｐ．２１２５-２１２８, 一般社団法人日本機械学会 *
JPN6016024572; 山口晃一郎，　外２名: '"車載単眼カメラによる車両前方の障害物検出"' 情報処理学会研究報告 第２００５巻，　第１１２号, 20051118, ｐ．６９-７６, 社団法人情報処理学会 *

Also Published As

Publication number Publication date
US20160093052A1 (en) 2016-03-31
US9521317B2 (en) 2016-12-13
JP6031554B2 (ja) 2016-11-24
CN104299244A (zh) 2015-01-21
CN104299244B (zh) 2017-07-25
DE102015207676B4 (de) 2024-07-18
DE102015207676A1 (de) 2016-03-31

Similar Documents

Publication Publication Date Title
JP6031554B2 (ja) 単眼カメラに基づく障害物検知方法及び装置
US20200334905A1 (en) Systems and Methods for 3D Facial Modeling
JP7173772B2 (ja) 深度値推定を用いた映像処理方法及び装置
CN109993793B (zh) 视觉定位方法及装置
CN110176032B (zh) 一种三维重建方法及装置
CN105335955A (zh) 对象检测方法和对象检测装置
WO2023016271A1 (zh) 位姿确定方法、电子设备及可读存储介质
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN111753739B (zh) 物体检测方法、装置、设备以及存储介质
EP3293700A1 (en) 3d reconstruction for vehicle
CN112102342B (zh) 平面轮廓识别方法、装置、计算机设备和存储介质
JP2014164601A (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
CN111127522A (zh) 基于单目相机的深度光流预测方法、装置、设备及介质
CN112150518B (zh) 一种基于注意力机制的图像立体匹配方法及双目设备
CN107590444A (zh) 静态障碍物的检测方法、装置及存储介质
WO2023016182A1 (zh) 位姿确定方法、装置、电子设备和可读存储介质
Burlacu et al. Obstacle detection in stereo sequences using multiple representations of the disparity map
WO2023284358A1 (zh) 相机标定方法、装置、电子设备及存储介质
Lu et al. Stereo disparity optimization with depth change constraint based on a continuous video
Hoa et al. Efficient determination of disparity map from stereo images with modified sum of absolute differences (SAD) algorithm
CN105138979A (zh) 基于立体视觉的运动人体头部检测方法
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN115222815A (zh) 障碍物距离检测方法、装置、计算机设备和存储介质
US11417063B2 (en) Determining a three-dimensional representation of a scene
Kurka et al. Automatic estimation of camera parameters from a solid calibration box

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161024

R150 Certificate of patent or registration of utility model

Ref document number: 6031554

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250