JP2021508387A - 先行車との距離の検出方法及びシステム - Google Patents

先行車との距離の検出方法及びシステム Download PDF

Info

Publication number
JP2021508387A
JP2021508387A JP2019563448A JP2019563448A JP2021508387A JP 2021508387 A JP2021508387 A JP 2021508387A JP 2019563448 A JP2019563448 A JP 2019563448A JP 2019563448 A JP2019563448 A JP 2019563448A JP 2021508387 A JP2021508387 A JP 2021508387A
Authority
JP
Japan
Prior art keywords
vehicle
distance
target
frame
rgb image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019563448A
Other languages
English (en)
Other versions
JP6851505B2 (ja
Inventor
▲るぅ▼ ▲陸▼
▲るぅ▼ ▲陸▼
▲くん▼ ▲梅▼
▲くん▼ ▲梅▼
浩然 ▲銭▼
浩然 ▲銭▼
▲暢▼ ▲謝▼
▲暢▼ ▲謝▼
恒 王
恒 王
谷▲飛▼ ▲孫▼
谷▲飛▼ ▲孫▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongan Information Technology Service Co Ltd
Zhongan Information Technology Service Co Ltd
Original Assignee
Zhongan Information Technology Service Co Ltd
Zhongan Information Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongan Information Technology Service Co Ltd, Zhongan Information Technology Service Co Ltd filed Critical Zhongan Information Technology Service Co Ltd
Publication of JP2021508387A publication Critical patent/JP2021508387A/ja
Application granted granted Critical
Publication of JP6851505B2 publication Critical patent/JP6851505B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本開示は、先行車との距離の検出方法及びシステムに関するものである。先行車との距離の検出方法は、自車の前方視野のＲＧＢ画像と深度画像とを取得すること、ＲＧＢ画像において目標領域枠を設定すること、ＲＧＢ画像における複数の車両に対応するサイズデータを抽出すること、前記複数の車両における車両毎に、前記車両のサイズデータに基づいて、ＲＧＢ画像において前記車両の約束枠を確定し、前記車両の約束枠と前記目標領域枠との重畳率を計算し、前記車両のサイズデータと、前記車両の約束枠のＲＧＢ画像における位置と、前記目標領域枠のＲＧＢ画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算すること、前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、深度画像に基づいて前記先行車目標車両と自車との車距を得ること、を含む。

Description

本開示は、距離検出技術分野に関するものであり、特に先行車との距離検出方法及びシステムに関するものである。
経済の発展に従って、自動車の保有量がますます増加しており、安全運転が無視できない問題となっており、統計分析によれば、交通事故総数に対する自動車両の追突事故の割合は依然として高く、自動車両の追突事故の発生を減るために、車距の検出と早期警報技術が生まれて、その検出と早期警報の原理は、車距が閾値に近接する時、運転手に対して衝突注意又は自動にブレーキ対策を行って、追突事故の発生を減る。
常用な車距の検出と早期警報技術は、二つの種類を含み、一つは、普通なカメラに基づく視覚解決技術案であり、先ず目標識別を行い、そして単目又は双目距離測定アルゴリズムに基づいて先行車との距離を得て早期警報を行うことであり、他の一つは、ミリ波レーダーによって前方領域へ電磁波を送信しエコーを受信して前方物体の距離、速度及び角度を検出し、先行車との距離を得て早期警報を行うことである。このような二つの早期警報技術は、それぞれに長所と短所があり、普通なカメラに基づく解決技術案のコストが低く、高い精度で先行車の視野における位置を識別して、更に多い意味情報を提供することができるが、視覚解決技術案の距離測定の距離と距離測定の精度は、ミリ波レーダーよりはるかに低い。逆に、ミリ波レーダーは、距離測定の精度が高いが、視野が相対的に狭く、どの意味情報を戻すこともできなく、二次元空間において先行車の位置を正確に識別することができない。
以下、本開示を簡単に示して、本開示の幾つかの技術案についての基本理解を提供する。しかし、この概要は本開示の網羅的な概要ではないことを理解されたい。本開示の主な部分又は重要な部分を確定することを意図するものではなく、また本開示の範囲を限定することを意図するものでもない。その目的は、単純にこの開示に関する幾つかの概念を簡単な形で示すことであり、これは、後で説明する詳細な説明の前置きとして使用される。
本開示は、距離測定の精度と位置决めの正確さとを同時に確保することができる先行車との距離の検出方法及びシステムを提供することを目的とする。
上記目的を実現するために、本開示の一つの側面は、先行車との距離の検出方法であって、
自車の前方視野のＲＧＢ画像と深度画像とを取得すること、
前記ＲＧＢ画像において目標領域枠を設定すること、
前記ＲＧＢ画像における複数の車両に対応するサイズデータを抽出すること、
前記複数の車両における車両毎に、
前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両の約束枠を確定すること、
前記車両の約束枠と前記目標領域枠との重畳率を計算すること、
前記車両のサイズデータと、前記車両の約束枠の前記ＲＧＢ画像における位置と、前記目標領域枠の前記ＲＧＢ画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算すること、
前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、前記深度画像に基づいて前記先行車目標車両と自車との車距を得ること、を含む先行車との距離の検出方法を提供する。
幾つかの実施例において、前記の自車の前方視野のＲＧＢ画像と深度画像とを取得することは、
自車に取り付けた深度カメラを利用して前記ＲＧＢ画像と前記深度画像とを同時に採集すること、又は
自車に取り付けた２Ｄカメラを利用して前記ＲＧＢ画像を採集し、自車に取り付けたミリ波レーダー／距離センサを利用して前記深度画像を採集すること、を含む。
幾つかの実施例において、前記の前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両の約束枠を確定することは、
前記ＲＧＢ画像において仮想座標系を作成すること、
前記仮想座標系に基づいて前記ＲＧＢ画像における前記車両の左上角点の座標を抽出し、前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両を含む矩形状の約束枠をレンダリングすること、を含む。
幾つかの実施例において、前記の前記車両の約束枠と前記目標領域枠との重畳率を計算することは、
Intersection Over Union（ＩＯＵ）の数式である
Figure 2021508387
を採用して前記車両の約束枠と前記目標領域枠との
（外１）
Figure 2021508387
を計算し、前記重畳率とし、
但し、
（外２）
Figure 2021508387
は前記車両の約束枠の面積を表し、
（外３）
Figure 2021508387
は前記目標領域枠の面積を表すこと、を含む。
幾つかの実施例において、前記の前記車両のサイズデータと、前記車両の約束枠の前記ＲＧＢ画像における位置と、前記目標領域枠の前記ＲＧＢ画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算することは、
正規化距離の数式である
Figure 2021508387
を採用して前記車両と前記目標領域枠との正規化距離を計算し、
但し、
（外４）
Figure 2021508387
は前記約束枠の中心点の横座標値を表し、
（外５）
Figure 2021508387
は前記約束枠の中心点の縦座標値を表し、
（外６）
Figure 2021508387
は前記目標領域枠において予め確定されたターゲット点の横座標値を表し、
（外７）
Figure 2021508387
は前記ターゲット点の縦座標値を表し、
（外８）
Figure 2021508387
は前記車両の幅データを表し、
（外９）
Figure 2021508387
は前記車両の高データを表すこと、を含む。
幾つかの実施例において、前記目標領域枠は、前記ＲＧＢ画像から選定された自車の真前面の台形領域枠であり、前記ターゲット点は、前記目標領域枠の中心点である。
幾つかの実施例において、前記の前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、深度画像に基づいて前記先行車目標車両と自車との車距を得ることは、
前記複数の車両から前記重畳率が第一の重畳率閾値より大きい又は前記正規化距離が距離閾値より小さい車両を選別して、第一の目標車両集合とすること、
前記第一の目標車両集合から前記重畳率が第二の重畳率閾値より大きい車両を選別して、第二の目標車両集合とし、但し、前記第二の重畳率閾値は前記第一の重畳率閾値より小さいこと、
前記第二の目標車両集合から前記重畳率が最も大きい車両を選別して前記先行車目標車両とすること、
前記深度画像から前記先行車目標車両に対応する車距を抽出して前記先行車目標車両と自車との車距とすること、を含む。
幾つかの実施例において、前記先行車との距離の検出方法は、
現在時刻を中心とする予定長さの時間ウィンドウにおける、先行車目標車両と自車との車距に対して、順番に中央値フィルタリング、異常ウィンドウ検出処理及びカルマンフィルタリングを行って、最適化した先行車目標車両と自車との車距を得、
但し、前記異常ウィンドウ検出処理は、前記予定長さ時間ウィンドウにおける異常ウィンドウを検出し、前記異常ウィンドウ前後の時間ウィンドウにおける車距値に基づいて計算した車距フィッティング結果を使用して、前記異常ウィンドウにおける車距値を代替することを更に含む。
本開示の他の側面は、先行車との距離の検出システムであって、
自車の前方視野のＲＧＢ画像と深度画像とを取得するように配置された画像取得手段と、
前記ＲＧＢ画像において予め目標領域枠を設定するように配置された目標領域枠設定手段と、
前記ＲＧＢ画像における複数の車両に対応するサイズデータを抽出するように配置されたサイズデータ抽出手段と、
前記複数の車両における車両毎に、前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両の約束枠を確定するように配置された約束枠確定手段と、
前記複数の車両における車両毎に、前記車両の約束枠と前記目標領域枠との重畳率を計算するように配置された重畳率計算手段と、
前記複数の車両における車両毎に、前記車両のサイズデータと、前記車両の約束枠の前記ＲＧＢ画像における位置と、前記目標領域枠の前記ＲＧＢ画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算するように配置された距離計算手段と、
前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、前記深度画像に基づいて前記先行車目標車両と自車との車距を得るように配置された先行車目標車両確定手段と、を含む、先行車との距離の検出システムを提供する。
幾つかの実施例において、前記画像取得手段は、
自車に取り付けた深度カメラを利用して前記ＲＧＢ画像と前記深度画像とを同時に採集すること、又は
自車に取り付けた２Ｄカメラを利用して前記ＲＧＢ画像を採集し、自車に取り付けたミリ波レーダー／距離センサを利用して前記深度画像を採集するように配置されている。
幾つかの実施例において、前記約束枠確定手段は、
前記ＲＧＢ画像において仮想座標系を作成すること、
前記仮想座標系に基づいて前記ＲＧＢ画像における前記車両の左上角点の座標を抽出し、前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両を含む矩形状の約束枠をレンダリングするように配置されている。
幾つかの実施例において、前記重畳率計算手段は、
ＩＯＵの数式である
Figure 2021508387
を採用して前記車両の約束枠と前記目標領域枠との
（外１０）
Figure 2021508387
を計算し、前記重畳率とし、
但し、
（外１１）
Figure 2021508387
は前記車両の約束枠の面積を表し、
（外１２）
Figure 2021508387
は前記目標領域枠の面積を表すように配置されている。
幾つかの実施例において、前記距離計算手段は、
正規化距離の数式である
Figure 2021508387
を採用して前記車両と前記目標領域枠との正規化距離を計算し、
但し、
（外１３）
Figure 2021508387
は前記約束枠の中心点の横座標値を表し、
（外１４）
Figure 2021508387
は前記約束枠の中心点の縦座標値を表し、
（外１５）
Figure 2021508387
は前記目標領域枠において予め確定されたターゲット点の横座標値を表し、
（外１６）
Figure 2021508387
は前記ターゲット点の縦座標値を表し、
（外１７）
Figure 2021508387
は前記車両の幅データを表し、
（外１８）
Figure 2021508387
は前記車両の高データを表すように配置されている。
幾つかの実施例において、前記目標領域枠は、前記ＲＧＢ画像から選定された自車の真前面の台形領域枠であり、前記ターゲット点は、前記目標領域枠の中心点である。
幾つかの実施例において、前記先行車目標車両確定手段は、
前記複数の車両から前記重畳率が第一の重畳率閾値より大きい又は前記正規化距離が距離閾値より小さい車両を選別して、第一の目標車両集合とすること、
前記第一の目標車両集合から前記重畳率が第二の重畳率閾値より大きい車両を選別して、第二の目標車両集合とし、但し、前記第二の重畳率閾値は前記第一の重畳率閾値より小さいこと、
前記第二の目標車両集合から前記重畳率が最も大きい車両を選別して前記先行車目標車両とすること、
前記深度画像から前記先行車目標車両に対応する車距を抽出して前記先行車目標車両と自車との車距とするように配置されている。
幾つかの実施例において、前記先行車との距離の検出システムは、
現在時刻を中心とする予定長さの時間ウィンドウにおける先行車目標車両と自車との車距に対して、順番に中央値フィルタリング、異常ウィンドウ検出処理及びカルマンフィルタリングを行って、最適化した先行車目標車両と自車との車距を得え、
但し、前記異常ウィンドウ検出処理は、前記予定長さ時間ウィンドウにおける異常ウィンドウを検出し、前記異常ウィンドウ前後の時間ウィンドウにおける車距値に基づいて計算した車距フィッティング結果を使用して、前記異常ウィンドウにおける車距値を代替するように配置された運動フィルタリング手段を更に含む。
本開示の更に他の側面は、コンピュータプログラムを記憶しているコンピュータが読み取り可能な記憶媒体であって、前記プログラムがプロセッサによって実行される時、前記プロセッサに、
自車の前方視野のＲＧＢ画像と深度画像とを取得すること、
前記ＲＧＢ画像において目標領域枠を設定すること、
前記ＲＧＢ画像における複数の車両に対応するサイズデータを抽出すること、
前記複数の車両における車両毎に、
前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両の約束枠を確定すること、
前記車両の約束枠と前記目標領域枠との重畳率を計算すること、
前記車両のサイズデータ、前記車両の約束枠の前記ＲＧＢ画像における位置と前記目標領域枠の前記ＲＧＢ画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算すること、
前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、前記深度画像に基づいて前記先行車目標車両と自車との車距を得ること、を実行させる、コンピュータが読み取り可能な記憶媒体を提供する。
本開示の一つ又は複数の実施例によると、距離測定の精度と位置决めの正確さとを同時に確保する先行車との距離の検出方法及びシステムを実現することができる。
ここで説明した図面は、本開示の更なる理解を提供するためのものであり、本開示の一部を構成し、本開示の模式的な実施例及びその説明は、本開示を解釈するためのものであり、本開示の不適切な制限を構成しない。図面において、
図１は、本開示の実施例による先行車との距離の検出方法のフロー模式図である。 図２は、本開示の実施例による先行車との距離の検出システムの例示的な結構ブロック図である。 図３は、本開示の実施例の計算設備を実現することができる典型的な配置ブロック図である。
本開示の上記目的、特徴及び利点をより明確にするために、以下、本開示の実施例における図面を参照して、本開示の実施例における技術案を明確且つ完全に記述する。明らかに、記述された実施例は、本開示の一部の実施例に過ぎず、すべての実施例でない。本開示における実施例によると、当業者が創造的な仕事をしないという前提の下で得られた全ての他の実施例は、いずれも本開示の保護の範囲に含まれている。
図１は、本開示の実施例による先行車との距離の検出方法のフロー模式図である。
図１に示すように、ステップＳ１０１において、自車の前方視野のＲＧＢ画像と深度画像を取得する。
幾つかの実施例において、自車（例えば車の先端）に取り付けた画像採集手段によってリアルタイムに自車の前方視野のＲＧＢ画像と深度画像を採集することができる。ＲＧＢ画像において現在視野の全ての車両を含むことができる。また、深度画像からは、ＲＧＢ画像における各車両と自車との車距情報を抽出することができる。
幾つかの実施例において、自車に取り付けた深度カメラを利用して前方視野のＲＧＢ画像と深度画像を同時に採集することができる。他の幾つかの実施例において、自車に取り付けた２Ｄカメラを利用して前方視野のＲＧＢ画像を採集し、自車の先端に取り付けたミリ波レーダー／距離センサを利用して前方視野の深度画像を採集することができる。
具体的に実施する過程において、深度カメラを選択したら、採集された自車の前方視野のＲＧＢ画像と深度画像とが自動的にマッチングされ、即ち深度カメラを取り付ける時、再びマッチングを調整する必要がなく、深度画像から直接に各車両の車距を抽出することができ、２Ｄカメラとミリ波レーダー／距離センサと組み合わせ技術案を選択したら、２Ｄカメラとミリ波レーダー／距離センサを取り付ける時、それが出力したＲＧＢ画像と深度画像がマッチング対応させることができるように、それに対してマッチング補正を行う必要がある。例えば、深度カメラは、インテルＲｅａｌＳｅｎｓｅアクティブ赤外線ステレオ深度カメラＤ４３５であることができる。
ステップＳ１０２において、ＲＧＢ画像において目標領域枠を設定する。
目標領域枠は、先行車が現れる可能性がある領域を表す。幾つかの実施例において、目標領域枠を自車の真前面に設定することができる。幾つかの実施例において、目標領域枠は、台形領域枠であることができる。幾つかの実施例において、目標領域枠において一つの固定点をターゲット点として選別することができ、該ターゲット点は、先行車が現れる期待位置を代表することができる。幾つかの実施例において、ターゲット点は、目標領域枠の中心点であることができる。
幾つかの実施例において、ＲＧＢ画像から深度カメラ又は２Ｄカメラの真前面の台形領域を目標領域枠として選定することができ、目標領域枠の中心点を選定してターゲット点と定義することができる。もちろん、実際の操作過程において、エンジニアの経験に基づいて、目標領域枠とターゲット点の設置を微調整してもよい。例えば、深度カメラが車の先端の左前方に取り付けられた時、目標領域枠とターゲット点は、ＲＧＢ画像の中部の左寄りの位置に設置してもよい。
ステップＳ１０３において、ＲＧＢ画像における複数の車両に対応するサイズデータを抽出する。
幾つかの実施例において、車両検出アルゴリズムを採用してＲＧＢ画像における全ての車両を識別し、それに応じて各車両のサイズデータを抽出することができる。幾つかの実施例において、車両のサイズデータは、車両の幅データ、高データ等を含むことができる。
幾つかの実施例において、予めトレーニングされた車両検出モデルを採用してＲＧＢ画像における全ての車両を取得し、そのうち各車両のサイズデータを識別することができる。但し、車両検出モデルは、例えば、目標検出アルゴリズム（例えばＦａｓｔｅｒ ＲＣＮＮ、ＳＳＤ、ＹＯＬＯ等）を採用し、ＣＯＣＯデータセットを利用してトレーニングを行うことで得ることができる。
ステップＳ１０４において、複数の車両における車両毎に、該車両のサイズデータに基づいて、ＲＧＢ画像において該車両の約束枠を確定する。
幾つかの実施例において、ＲＧＢ画像において、仮想座標系を作成することができる。例えば、深度カメラ又は２Ｄカメラを原点として、ＲＧＢ画像において、仮想座標系を作成することができる。そして、仮想座標系に基づいてＲＧＢ画像における各車両の左上角点の座標を抽出し、取得された対応車両のサイズデータに基づいて、ＲＧＢ画像において該車両を含む矩形状の約束枠をレンダリングする。
具体的に実施する時、車両の左上角点の座標を取得することができ、且つ車両のサイズデータ（例えば幅と高データ）も知られているので、車両の左上角点に基づいて、車両のＲＧＢ画像における幅を矩形状の約束枠の幅とし、車両の画像における高さを矩形状の約束枠の長さとすることで、早くＲＧＢ画像において車両に対応する矩形状の約束枠をレンダリングすることができる。
もちろん、以上の方法において、ＲＧＢ画像における車両の他の点（例えば右上角点、左下角点、右下角点等）の座標を抽出して約束枠をレンダリングしてもよい。また、約束枠の形状は、矩形状に限定されておらず、必要に応じて設計されたいずれの形状でもよい。
ステップＳ１０５において、複数の車両における車両毎に、該車両の約束枠と目標領域枠との重畳率を計算する。
幾つかの実施例において、車両の約束枠の面積と目標領域枠の面積とに基づいて、車両と目標領域とのＩＯＵを計算して、重畳率とすることができる。
具体的に、ＩＯＵの数式である
Figure 2021508387
を採用して各車両の約束枠と目標領域枠との
（外１９）
Figure 2021508387
を計算することができ、但し、
（外２０）
Figure 2021508387
は車両の約束枠の面積を表し、
（外２１）
Figure 2021508387
は目標領域枠の面積を表す。
ステップＳ１０６において、複数の車両における車両毎に、該車両のサイズデータと、該車両の約束枠のＲＧＢ画像における位置と、目標領域枠のＲＧＢ画像における位置に基づいて、該車両と前記目標領域枠との正規化距離を計算する。
幾つかの実施例において、正規化距離の数式である
Figure 2021508387
を採用して、前記車両と前記目標領域枠との正規化距離を計算することができ、但し、
（外２２）
Figure 2021508387
は約束枠の中心点の横座標値を表し、
（外２３）
Figure 2021508387
は約束枠の中心点の縦座標値を表し、
（外２４）
Figure 2021508387
はターゲット点の横座標値を表し、
（外２５）
Figure 2021508387
はターゲット点の縦座標値を表し、
（外２６）
Figure 2021508387
は前記車両の幅データを表し、
（外２７）
Figure 2021508387
は前記車両の高データを表す。
ステップＳ１０７において、前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、深度画像に基づいて前記先行車目標車両と自車との車距を得る。
幾つかの実施例において、車両毎に対応する重畳率と正規化距離に基づいて、監視なし先行車選別アルゴリズムを採用して先行車目標車両を確定することができる。
該監視なし先行車選別アルゴリズムは、以下のようである。
それぞれにＲＧＢ画像における複数の車両に対応する重畳率と正規化距離を統計する。
複数の車両から重畳率が第一の重畳率閾値より大きい又は正規化距離が距離閾値より小さい車両を選別して、第一の目標車両集合とする。
第一の目標車両集合から重畳率が第二の重畳率閾値より大きい車両を選別して、第二の目標車両集合とし、但し、第二の重畳率閾値が第一の重畳率閾値より低い。
第二の目標車両集合から重畳率が最も大きい車両を選別して、前記先行車目標車両とする。
深度画像から前記先行車目標車両に対応する車距を抽出して、先行車目標車両と自車との車距とする。
上記第一の重畳率閾値、第二の重畳率閾値及び距離閾値は、実際の経験に基づいて任意に選定することができ、本開示は、閾値の選定を限定しない。
説明すべきことは、上記実施例は、監視なし先行車選別アルゴリズムを採用して先行車目標車両の位置决を行ってもよく、ニューラルネットワークによる先行車選別アルゴリズムを採用して先行車目標車両の位置决を行ってもよく、具体的な方法は、
事前トレーニングによってラベリング付けトレーニングサンプルセットＳ＝｛ｘｉ， ｙｉ｝を生成して先行車目標車両を選別し、但し、ｘｉは車両特徴を表し、それぞれ重畳率
（外２８）
Figure 2021508387
、正規化距離
（外２９）
Figure 2021508387
及び自車との車距である三つの次元のベクターを含み、ｙｉは先行車目標車両の選別結果を表し、ｙｉは、ｘｉにおける三つの次元のベクター値に応じて、自動的に識別結果を出力する。例えば、ｙｉの出力が１であると、該車両が先行車目標車両であると表し、ｙｉの出力が０であると、該車両が先行車目標車両でないと表す。分類器は、異なるニューラルネットワーク組立てを選択してサンプルセットに対してトレーニングを行うことができ、ニューラルネットワーク組立ては、ＡｌｅｘＮｅｔ、ＶＧＧ等であることができる。
本実施例が提供した先行車との距離の検出方法において、ＲＧＢ画像と深度画像との組合の方式を採用して、ＲＧＢ画像における各車両の位置决及び自車との距離を得ることができ、距離測定の精度及び位置决の正確さを同時に確保することができる。また、各車両の重畳率と正規化距離に基づいて監視なし先行車選別アルゴリズムを採用して先行車目標車両を確定し、同時に深度画像を組み合わせて先行車目標車両車距を得、先行車との距離に対する高精度、高速検出が実現される。
本開示の実施例において、得られた先行車目標車両と自車との車距を最適化させてもよい。
幾つかの実施例において、現在時刻を中心とする予定長さの時間ウィンドウにおける、先行車目標車両と自車との車距に対して、順番に中央値フィルタリング、異常ウィンドウ検出処理及びカルマンフィルタリングを行って、最適化した先行車目標車両と自車との車距を得ることができる。
目標検出アルゴリズムの精度が１００％でないので、幾つかの前または後のフレームのジャンプの孤立ノイズによって一定の誤検出率が発生し、孤立ノイズは、中央値フィルタリングを利用して削除することができる。但し、中央値フィルタリングは、常用なシーケンスフィルタリングアルゴリズムであり、目標検出アルゴリズムによる誤検出による孤立ノイズは、塩及びコショウノイズと類似しているので、パルスの特性が現れ、中央値フィルタリングを採用することでそれを去除することができ、即ち現在時刻を中心とする長さがＴｎである時間ウィンドウにおいて、先行車目標車両車距を並べ替えた後、中央値を現在時刻のフィルタリング後の距離として選択することができ、例えば、Ｔｎが一般的に５であると效果がよい。
隣の車線の干渉等の要素による選別エラーが発生する場合が有り、先行の閾値比較法によって上記干渉要素をフィルタリングする時、比較的に高い誤選別概率が存在することになる。実験から分かるように、該誤選別が検出結果において一つの維持時間がＴｅである異常ウィンドウ（中央値フィルタリングにおけるノイズ点と区別）と現れ、該異常ウィンドウは孤立ウィンドウとも呼ばれる。孤立ウィンドウの前後の時刻の値は、おおよそ連続している。異常ウィンドウ検出によって孤立ウィンドウ前後の先行車目標車両車距に対してフィッティングを行い、孤立ウィンドウ内の値の代わりに、車距フィッティング結果を採用して、上記干渉要素に対する高精度フィルタリングを実現することができる。例えば、３次多項式関数フィッティングを採用して孤立ウィンドウ前後の先行車目標車両車距に対してフィッティングを行い、孤立ウィンドウ内の値の代わりに、該関数の補間計算結果を、車距フィッティング結果とすことができる。
中央値フィルタリングと異常ウィンドウ検出に介して、ＲＧＢ画像識別による視覚エラーが基本的に消去され、深度画像計測による計測エラーは、カルマンフィルタリングを採用して消去することができる。カルマンフィルタリングは、最適化の自己回帰データ処理アルゴリズムの一つであり、状態が線形変化に近く、計測結果がガウスノイズの干渉を受ける動的システムにおいて、該回帰データ処理アルゴリズムは、状態移行方程と計測分散とが共に既知である場合に、計測値に対してフィルタリングを行い、ロボットナビゲーション、制御、センサデータ融合、レーダーミサイル追跡、及びコンピュータグラフィックス処理の分野に応用することができる。カルマンフィルタリングの状態移行方程は、以下のようである。
Figure 2021508387
Ｘ（ｋ）はｋ時刻でのシステムの状態変数を表し、即ち本実施例における先行車目標車両と自車との車距及び先行車目標車両のスピードを表し、Ａは状態移行マトリックスであり、１次定速モデルを採用して得ることができ、ＢＵ（ｋ）は周辺制御項を表し、Ｗ（ｋ）は他の不明干渉による状態変化であり、更に多い情報がない場合に、分散既知のガウスノイズで代替することができ、分散が大きいほど、該状態方程式に対する自信が小さいことを代表し、即ち先行車との距離の運動のランダムレベルが高いと見ることができる。
具体的に実施する時、誤検出と検査漏れにかかわる時間ウィンドウが約１−１５フレームであり、ピークノイズと類似している性質が現れ、本実施例において、先行車目標車両と自車との車距に対して、順番に中央値フィルタリングと異常ウィンドウ検出処理を行うことで、誤検出及び検査漏れのノイズを去除し、先行車目標車両選別の正確さを向上することができる。また、先行車目標車両と自車との車距に対してカルマンフィルタリングを行って、最適化した先行車目標車両と自車との車距を得、車距の計測精度を保証することができる。
図２は、本開示の実施例による先行車との距離の検出システムの例示的な結構ブロック図である。
幾つかの実施例において、システム２００は、処理回路２０１を含むことができる。システム２００の処理回路２０１は、システム２００の色々な機能を提供する。幾つかの実施例において、システム２００の処理回路２０１は、以上図１を参照して記述した先行車との距離の検出方法を実行するように配置されることができる。
処理回路２０１とは、計算システムにおいて機能を実行するデジタル回路システム、アナログ回路システム又は混合シグナル（アナログとデジタルとの組み合わせ）回路システムの色々な実現であることができる。処理回路は、例えば集積回路（ＩＣ）、専用集積回路（ＡＳＩＣ）という回路、単一のプロセッサコアの一部又は回路、全体のプロセッサコア、単一のプロセッサ、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）のプログラマブルハードウェア設備、及び／又は複数のプロセッサを含むシステムを含むことができる。
幾つかの実施例において、処理回路２０１は、画像取得手段２０２、目標領域設定手段２０３、サイズデータ抽出手段２０４、約束枠確定手段２０５、重畳率計算手段２０６、距離計算手段２０７、先行車目標車両確定手段２０８を含むことができる。
画像取得手段２０２は、自車の前方視野のＲＧＢ画像と深度画像とを取得するように配置されており、目標領域枠設定手段２０３は、ＲＧＢ画像において予め目標領域枠を設定するように配置されており、サイズデータ抽出手段２０４は、ＲＧＢ画像における複数の車両に対応するサイズデータを抽出するように配置されており、約束枠確定手段２０５は、前記複数の車両における車両毎に、前記車両のサイズデータに基づいて、ＲＧＢ画像において前記車両の約束枠を確定するように配置されており、重畳率計算手段２０６は、前記複数の車両における車両毎に、前記車両の約束枠と前記目標領域枠との重畳率を計算するように配置されており、距離計算手段２０７は、前記複数の車両における車両毎に、前記車両のサイズデータと、前記車両の約束枠のＲＧＢ画像における位置と、前記目標領域枠のＲＧＢ画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算するように配置されており、先行車目標車両確定手段２０８は、前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、深度画像に基づいて前記先行車目標車両と自車との車距を得るように配置されている。上記手段２０２〜２０８は、前述図１に示す先行車との距離の検出方法におけるステップＳ１０１〜ステップＳ１０７をそれぞれに実行するように配置されることができる。
幾つかの実施例において、システム２００は、メモリ（図示しない）を含んでもよい。システム２００のメモリは、処理回路２０１によって生成された情報及びシステム２００を操作するためのプログラムとデータを記憶することができる。メモリは、揮発性メモリ及び／又は不揮発性メモリであることができる。例えば、メモリは、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、読み取り専用メモリ（ＲＯＭ）及びフラッシュメモリを含むことができるが、これに限定されない。また、システム２００は、チップレベルで実現することができ、又は他の周辺部材を含んで設備レベルで実現することもできる。
幾つかの実施例において、システム２００は、現在時刻を中心とする予定長さの時間ウィンドウにおける先行車目標車両と自車との車距に対して、順番に中央値フィルタリング、異常ウィンドウ検出処理及びカルマンフィルタリングを行って、最適化した先行車目標車両と自車との車距を得るように配置された運動フィルタリング手段（図示しない）を含むことができ、但し、前記異常ウィンドウ検出処理は、前記予定長さ時間ウィンドウにおける異常ウィンドウを検出し、前記異常ウィンドウ前後の時間ウィンドウにおける車距値に基づいて計算した車距フィッティング結果を使用して、前記異常ウィンドウにおける車距値を代替する。
もちろん、上記各手段は、それが実現した具体的な機能に基づいて区別したロジックモジュールだけであり、具体的な実現方式を限制するためのものでない。実際に実現する時、上記各手段は、独立の物理的実体として実現されることができ、又は単一の実体（例えば、プロセッサ（ＣＰＵ又はＤＳＰ等）、集積回路等）で実現してもよい。
本開示の実施例が提供した先行車との距離の検出システムは、本開示の実施例が提供した先行車との距離の検出方法と同一の発明の構想に属しており、本開示のいずれかの実施例が提供した先行車との距離の検出方法を実行することができ、先行車との距離の検出方法を実行する方法に相応する機能モジュールと有益な効果を有す。本実施例において詳しく説明していない技術的な詳細は、本開示の実施例が提供した先行車との距離の検出方法を参照することができ、ここで繰り返さない。
図３は、本開示の実施例の計算設備を実現することができる典型的な配置ブロック図である。
計算設備３００は、本開示の上記技術案を応用することができるハードウェア設備の例である。計算設備３００は、処理及び／又は計算を実行するように配置されるいずれかの機器であることができる。計算設備３００は、ワークステーション、サーバ、デスクトップコンピュータ、ノートコンピュータ、タブレットコンピュータ、パーソナルデータアシスタント（ＰＤＡ）、スマートフォン、車載コンピュータ又は以上の組み合わせであることができるが、これに限定されない
図３に示すように、計算設備３００は、一つ又は複数のインターフェースを介してバス３０２と接続又は通信することができる一つ又は複数の部品を含むことができる。バス３０２は、業界標準アーキテクチャ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ，ＩＳＡ）バス、マイクロチャネルアーキテクチャ（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ，ＭＣＡ）バス、強化ＩＳＡ（ＥＩＳＡ）バス、ビデオエレクトロニクス標準化協会（ＶＥＳＡ）ローカルバス、及び周辺機器の相互接続（ＰＣＩ）バス等を含むことができるが、これに限定されない。計算設備３００は、例えば一つ又は複数のプロセッサ３０４、一つ又は複数の入力設備３０６、及び一つ又は複数の出力設備３０８を含むことができる。一つ又は複数のプロセッサ３０４は、いずれかの種類のプロセッサであることができ、且つ一つ又は複数の通用プロセッサ又は専用プロセッサ（例えば専用処理チップ）を含むことができるが、これに限定されない。プロセッサ３０４は、例えば図２中の処理回路２０１に対応することができ、本開示の先行車との距離の検出システムの各手段の機能を実現するように配置されている。入力設備３０６は、計算設備へ情報を入力することができるいずれかのタイプの入力設備であることができ、且つマウス、キーボード、タッチスクリーン、マイク及び／又は遠隔コントローラを含むことができるが、これに限定されない。出力設備３０８は、情報を表すことができるいずれかのタイプの設備であることができ、且つディスプレイ、スピーカー、ビデオ／オーディオ出力端末、バイブレーター及び／又はプリンターを含むことができるが、これに限定されない。
計算設備３００は、不揮発性ストレージ３１４を含む又はそれと接続してもよく、該不揮発性ストレージ３１４は、いずれかの不揮発性且つデータ記憶を実現することができるストレージであることができ、且つディスクドライブ、光ストレージ、ソリッドステートメモリ、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ又はいずれかの他の磁気媒体、圧縮ディスク又はいずれかの他の光媒体、キャッシュメモリ及び／又はいずれかの他のメモリチップ又はモジュール、及び／又はコンピュータがそれからデータ、指令及び／又はコードを読み出することができる他のいずれかの媒体を含むことができるが、これに限定されない。計算設備３００は、ランダムアクセスメモリ（ＲＡＭ）３１０と読み取り専用メモリ（ＲＯＭ）３１２とを含んでもよい。ＲＯＭ ３１２は、不揮発性方式で実行されるプログラム、実用のプログラム又はコースを記憶することができる。ＲＡＭ ３１０は、揮発性データ記憶を提供し、計算設備３００の操作に関する指令を記憶することができる。計算設備３００は、データリンク３１８に接続されるネットワーク／バスインターフェース３１６を含んでもよい。ネットワーク／バスインターフェース３１６は、周辺装置及び／又はネットワークと通信することができるいずれかの種類の設備又はシステムであることができ、且つモデム、ネットワークカード、赤外線通信設備、無線通信設備及び／又はチップセット（例えばブルートゥース（登録商標）設備、８０２．１１設備、ＷｉＦｉ設備、ＷｉＭａｘ設備、セルラ通信施設等）を含むことができるが、これに限定されない。
また、本開示の一つ又は複数の実施例は、以下のように実施することができる。
技術案１：
先行車との距離の検出装置であって、
一つ又は複数のプロセッサと、
コンピュータが実行可能な指令を記憶しているメモリと、を含み、
前記コンピュータが実行可能な指令が前記一つ又は複数のプロセッサによって実行される時、前記一つ又は複数のプロセッサに、
自車の前方視野のＲＧＢ画像と深度画像とを取得すること、
前記ＲＧＢ画像において目標領域枠を設定すること、
前記ＲＧＢ画像における複数の車両に対応するサイズデータを抽出すること、
前記複数の車両における車両毎に、
前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両の約束枠を確定すること、
前記車両の約束枠と前記目標領域枠との重畳率を計算すること、
前記車両のサイズデータと、前記車両の約束枠の前記ＲＧＢ画像における位置と、前記目標領域枠の前記ＲＧＢ画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算すること、
前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、前記深度画像に基づいて前記先行車目標車両と自車との車距を得ること、を実行させる。
技術案２：
技術案１に記載された先行車との距離の検出装置において、前記コンピュータが実行可能な指令が前記一つ又は複数のプロセッサによって実行される時、前記一つ又は複数のプロセッサに、
自車に取り付けた深度カメラを利用して前記ＲＧＢ画像と前記深度画像とを同時に採集すること、又は
自車に取り付けた２Ｄカメラを利用して前記ＲＧＢ画像を採集し、自車に取り付けたミリ波レーダー／距離センサを利用して前記深度画像を採集すること、を実行させる。
技術案３：
技術案１に記載された先行車との距離の検出装置において、前記コンピュータが実行可能な指令が前記一つ又は複数のプロセッサによって実行される時、前記一つ又は複数のプロセッサに、
前記ＲＧＢ画像において仮想座標系を作成すること、
前記仮想座標系に基づいて前記ＲＧＢ画像における前記車両の左上角点の座標を抽出し、前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両を含む矩形状の約束枠をレンダリングすること、を実行させる。
技術案４：
技術案１に記載された先行車との距離の検出装置において、前記コンピュータが実行可能な指令が前記一つ又は複数のプロセッサによって実行される時、前記一つ又は複数のプロセッサに、
Intersection Over Union（ＩＯＵ）の数式である
Figure 2021508387
を採用して前記車両の約束枠と前記目標領域枠との
（外３０）
Figure 2021508387
を計算し、前記重畳率とし、
但し、
（外３１）
Figure 2021508387
は前記車両の約束枠の面積を表し、
（外３２）
Figure 2021508387
は前記目標領域枠の面積を表すこと、を実行させる。
技術案５：
技術案１に記載された先行車との距離の検出装置において、前記コンピュータが実行可能な指令が前記一つ又は複数のプロセッサによって実行される時、前記一つ又は複数のプロセッサに、
正規化距離の数式である
Figure 2021508387
を採用して前記車両と前記目標領域枠との正規化距離を計算し、
但し、
（外３３）
Figure 2021508387
は前記約束枠の中心点の横座標値を表し、
（外３４）
Figure 2021508387
は前記約束枠の中心点の縦座標値を表し、
（外３５）
Figure 2021508387
は前記目標領域枠において予め確定されたターゲット点の横座標値を表し、
（外３６）
Figure 2021508387
は前記ターゲット点の縦座標値を表し、
（外３７）
Figure 2021508387
は前記車両の幅データを表し、
（外３８）
Figure 2021508387
は前記車両の高データを表すこと、を実行させる。
技術案６：
技術案５に記載された先行車との距離の検出装置において、前記目標領域枠は、前記ＲＧＢ画像から選定された自車の真前面の台形領域枠であり、前記ターゲット点は、前記目標領域枠の中心点である。
技術案７：
技術案１に記載された先行車との距離の検出装置において、前記コンピュータが実行可能な指令が前記一つ又は複数のプロセッサによって実行される時、前記一つ又は複数のプロセッサに、
前記複数の車両から前記重畳率が第一の重畳率閾値より大きい又は前記正規化距離が距離閾値より小さい車両を選別して、第一の目標車両集合とすること、
前記第一の目標車両集合から前記重畳率が第二の重畳率閾値より大きい車両を選別して、第二の目標車両集合とし、但し、前記第二の重畳率閾値は前記第一の重畳率閾値より小さいこと、
前記第二の目標車両集合から前記重畳率が最も大きい車両を選別して前記先行車目標車両とすること、
前記深度画像から前記先行車目標車両に対応する車距を抽出して前記先行車目標車両と自車との車距とすること、を実行させる。
技術案８：
技術案１に記載された先行車との距離の検出装置において、前記コンピュータが実行可能な指令が前記一つ又は複数のプロセッサによって実行される時、前記一つ又は複数のプロセッサに、
現在時刻を中心とする予定長さの時間ウィンドウにおける先行車目標車両と自車との車距に対して、順番に中央値フィルタリング、異常ウィンドウ検出処理及びカルマンフィルタリングを行って、最適化した先行車目標車両と自車との車距を得、
但し、前記異常ウィンドウ検出処理は、前記予定長さ時間ウィンドウにおける異常ウィンドウを検出し、前記異常ウィンドウ前後の時間ウィンドウにおける車距値に基づいて計算した車距フィッティング結果を使用して、前記異常ウィンドウにおける車距値を代替することを、実行させる。
上記の全ての選択可能な技術案は、任意の組合を採用して本開示の選択可能な実施例を形成することができ、ここで繰り返さない。本開示が提供した幾つかの実施例において、開示された方法、装置及びデバイスは、他の方法によって実現できることを理解されたい。例えば、以上に記述した装置の実施例は、模式的なものに過ぎず、例えば、前記モジュールの区別は、一つのロジック機能区別に過ぎず、実際に実現する時、他の区別方式でもよく、例えば複数のモジュール又はユニットは、他のシステムに組合又は集積してもよく、又は、幾つかの特徴は、省略してもよく、又は、実行しなくてもよい。
説明すべきことは、本開示の記述において、「第一の」、「第二の」という術語等は、例示のみを目的としており、相対的な重要性と順序を指示又は暗示するものでない。なお、本開示の記述において、特に明記しない限り、「複数の」の意味は、２個以上である。
前述の実施例の様々な態様、実施形態、具体的な実施又は特徴は、単一又は任意の組み合わせで使用することができる。ソフトウェア、ハードウェア又はハードウェアとソフトウェアとの組み合わせによって前述実施例の各技術案を実現することができる。
例えば、前述の実施例は、コンピュータが読み取り可能な媒体上のコンピュータが読み取り可能なコードとして体現することができる。コンピュータが読み取り可能な媒体は、データを記憶することができるいずれかのデータストレージであり、前記データは、その後にコンピュータシステムによって読み出されることができる。コンピュータが読み取り可能な媒体の例は、読み取り専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、ハードディスクドライブ、ソリッドステートドライブ及び光データストレージを含む。コンピュータが読み取り可能な媒体は、ネットワークに接続されたコンピュータシステムに分布されコンピュータが読み取り可能なコードを分布式方式で記憶及び実行させてもよい。
例えば、前述の実施例は、ハードウェア回路の形式を採用することができる。ハードウェア回路は、組み合わせ式ロジック回路、タイムストレージ（例えばフロッピーディスク、トリガー、ラッチ等）、有限状態マシン、例えばスタティックランダムアクセスメモリ又は埋め込みダイナミックランダムアクセスメモリのメモリ、カスタムデザイン回路、プログラマブルロジックアレイ等のいずれかの組み合わせを含むことができる。
以上のように、本開示の発明を実施するための形態だけであり、本開示の保護の範囲はこれに限定されず、当業者は、本開示の技術の範囲内に、簡単に変更や置換を思い付くことができ、いずれも本開示の保護の範囲内に含まれている。従って、本開示の保護の範囲は、下記の請求の範囲に依頼すべきだ。

Claims (17)

  1. 先行車との距離の検出方法であって、
    自車の前方視野のＲＧＢ画像と深度画像とを取得すること、
    前記ＲＧＢ画像において目標領域枠を設定すること、
    前記ＲＧＢ画像における複数の車両に対応するサイズデータを抽出すること、
    前記複数の車両における車両毎に、
    前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両の約束枠を確定すること、
    前記車両の約束枠と前記目標領域枠との重畳率を計算すること、
    前記車両のサイズデータと、前記車両の約束枠の前記ＲＧＢ画像における位置と、前記目標領域枠の前記ＲＧＢ画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算すること、
    前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、前記深度画像に基づいて前記先行車目標車両と自車との車距を得ること、を含む
    ことを特徴とする先行車との距離の検出方法。
  2. 前記の自車の前方視野のＲＧＢ画像と深度画像とを取得することは、
    自車に取り付けた深度カメラを利用して前記ＲＧＢ画像と前記深度画像とを同時に採集すること、又は
    自車に取り付けた２Ｄカメラを利用して前記ＲＧＢ画像を採集し、自車に取り付けたミリ波レーダー／距離センサを利用して前記深度画像を採集すること、を含む
    ことを特徴とする請求項１に記載された方法。
  3. 前記の前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両の約束枠を確定することは、
    前記ＲＧＢ画像において仮想座標系を作成すること、
    前記仮想座標系に基づいて前記ＲＧＢ画像における前記車両の左上角点の座標を抽出し、前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両を含む矩形状の約束枠をレンダリングすること、を含む
    ことを特徴とする請求項１に記載された方法。
  4. 前記の前記車両の約束枠と前記目標領域枠との重畳率を計算することは、
    Intersection Over Union（ＩＯＵ）の数式である
    Figure 2021508387
    を採用して前記車両の約束枠と前記目標領域枠との
    （外３９）
    Figure 2021508387
    を計算し、前記重畳率とすること、を含み、
    但し、
    （外４０）
    Figure 2021508387
    は前記車両の約束枠の面積を表し、
    （外４１）
    Figure 2021508387
    は前記目標領域枠の面積を表す
    ことを特徴とする請求項１に記載された方法。
  5. 前記の前記車両のサイズデータと、前記車両の約束枠の前記ＲＧＢ画像における位置と、前記目標領域枠の前記ＲＧＢ画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算することは、
    正規化距離の数式である
    Figure 2021508387
    を採用して前記車両と前記目標領域枠との正規化距離を計算すること、を含み
    但し、
    （外４２）
    Figure 2021508387
    は前記約束枠の中心点の横座標値を表し、
    （外４３）
    Figure 2021508387
    は前記約束枠の中心点の縦座標値を表し、
    （外４４）
    Figure 2021508387
    は前記目標領域枠において予め確定されたターゲット点の横座標値を表し、
    （外４５）
    Figure 2021508387
    は前記ターゲット点の縦座標値を表し、
    （外４６）
    Figure 2021508387
    は前記車両の幅データを表し、
    （外４７）
    Figure 2021508387
    は前記車両の高データを表す
    ことを特徴とする請求項１に記載された方法。
  6. 前記目標領域枠は、前記ＲＧＢ画像から選定された自車の真前面の台形領域枠であり、前記ターゲット点は、前記目標領域枠の中心点である
    ことを特徴とする請求項５に記載された方法。
  7. 前記の前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、深度画像に基づいて前記先行車目標車両と自車との車距を得ることは、
    前記複数の車両から前記重畳率が第一の重畳率閾値より大きい又は前記正規化距離が距離閾値より小さい車両を選別して、第一の目標車両集合とすること、
    前記第一の目標車両集合から前記重畳率が第二の重畳率閾値より大きい車両を選別して、第二の目標車両集合とし、但し、前記第二の重畳率閾値は前記第一の重畳率閾値より小さいこと、
    前記第二の目標車両集合から前記重畳率が最も大きい車両を選別して前記先行車目標車両とすること、
    前記深度画像から前記先行車目標車両に対応する車距を抽出して前記先行車目標車両と自車との車距とすること、を含む
    ことを特徴とする請求項１に記載された方法。
  8. 現在時刻を中心とする予定長さの時間ウィンドウにおける先行車目標車両と自車との車距に対して、順番に中央値フィルタリング、異常ウィンドウ検出処理及びカルマンフィルタリングを行って、最適化した先行車目標車両と自車との車距を得、
    但し、前記異常ウィンドウ検出処理は、前記予定長さ時間ウィンドウにおける異常ウィンドウを検出し、前記異常ウィンドウ前後の時間ウィンドウにおける車距値に基づいて計算した車距フィッティング結果を使用して、前記異常ウィンドウにおける車距値を代替すること、を更に含む
    ことを特徴とする請求項１に記載された方法。
  9. 先行車との距離の検出システムであって、
    自車の前方視野のＲＧＢ画像と深度画像とを取得するように配置された画像取得手段と、
    前記ＲＧＢ画像において予め目標領域枠を設定するように配置された目標領域枠設定手段と
    前記ＲＧＢ画像における複数の車両に対応するサイズデータを抽出するように配置されたサイズデータ抽出手段と、
    前記複数の車両における車両毎に、前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両の約束枠を確定するように配置された約束枠確定手段と、
    前記複数の車両における車両毎に、前記車両の約束枠と前記目標領域枠との重畳率を計算するように配置された重畳率計算手段と、
    前記複数の車両における車両毎に、前記車両のサイズデータと、前記車両の約束枠の前記ＲＧＢ画像における位置と、前記目標領域枠の前記ＲＧＢ画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算するように配置された距離計算手段と、
    前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、前記深度画像に基づいて前記先行車目標車両と自車との車距を得るように配置された先行車目標車両確定手段と、を含む
    ことを特徴とする先行車との距離の検出システム。
  10. 前記画像取得手段は、
    自車に取り付けた深度カメラを利用して前記ＲＧＢ画像と前記深度画像とを同時に採集すること、又は
    自車に取り付けた２Ｄカメラを利用して前記ＲＧＢ画像を採集し、自車に取り付けたミリ波レーダー／距離センサを利用して前記深度画像を採集するように配置された
    ことを特徴とする請求項９に記載されたシステム。
  11. 前記約束枠確定手段は、
    前記ＲＧＢ画像において仮想座標系を作成すること、
    前記仮想座標系に基づいて前記ＲＧＢ画像における前記車両の左上角点の座標を抽出し、前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両を含む矩形状の約束枠をレンダリングするように配置された
    ことを特徴とする請求項９に記載されたシステム。
  12. 前記重畳率計算手段は、
    Intersection Over Union（ＩＯＵ）の数式である
    Figure 2021508387
    を採用して前記車両の約束枠と前記目標領域枠との
    （外４８）
    Figure 2021508387
    を計算し、前記重畳率とし、
    但し、
    （外４９）
    Figure 2021508387
    は前記車両の約束枠の面積を表し、
    （外５０）
    Figure 2021508387
    は前記目標領域枠の面積を表すように配置された
    ことを特徴とする請求項９に記載されたシステム。
  13. 前記距離計算手段は、
    正規化距離の数式である
    Figure 2021508387
    を採用して前記車両と前記目標領域枠との正規化距離を計算し、
    但し、
    （外５１）
    Figure 2021508387
    は前記約束枠の中心点の横座標値を表し、
    （外５２）
    Figure 2021508387
    は前記約束枠の中心点の縦座標値を表し、
    （外５３）
    Figure 2021508387
    は前記目標領域枠において予め確定されたターゲット点の横座標値を表し、
    （外５４）
    Figure 2021508387
    は前記ターゲット点の縦座標値を表し、
    （外５５）
    Figure 2021508387
    は前記車両の幅データを表し、
    （外５６）
    Figure 2021508387
    は前記車両の高データを表すように配置された
    ことを特徴とする請求項９に記載されたシステム。
  14. 前記目標領域枠は、前記ＲＧＢ画像から選定された自車の真前面の台形領域枠であり、前記ターゲット点は、前記目標領域枠の中心点である
    請求項１３に記載されたシステム。
  15. 前記先行車目標車両確定手段は、
    前記複数の車両から前記重畳率が第一の重畳率閾値より大きい又は前記正規化距離が距離閾値より小さい車両を選別して、第一の目標車両集合とすること、
    前記第一の目標車両集合から前記重畳率が第二の重畳率閾値より大きい車両を選別して、第二の目標車両集合とし、但し、前記第二の重畳率閾値は前記第一の重畳率閾値より小さいこと、
    前記第二の目標車両集合から前記重畳率が最も大きい車両を選別して前記先行車目標車両とすること、
    前記深度画像から前記先行車目標車両に対応する車距を抽出して前記先行車目標車両と自車との車距とするように配置された
    ことを特徴とする請求項９に記載されたシステム。
  16. 現在時刻を中心とする予定長さの時間ウィンドウにおける先行車目標車両と自車との車距に対して、順番に中央値フィルタリング、異常ウィンドウ検出処理及びカルマンフィルタリングを行って、最適化した先行車目標車両と自車との車距を得、
    但し、前記異常ウィンドウ検出処理は、前記予定長さ時間ウィンドウにおける異常ウィンドウを検出し、前記異常ウィンドウ前後の時間ウィンドウにおける車距値に基づいて計算した車距フィッティング結果を使用して、前記異常ウィンドウにおける車距値を代替するように配置された運動フィルタリング手段、を更に含む
    ことを特徴とする請求項９に記載されたシステム。
  17. コンピュータプログラムを記憶しているコンピュータが読み取り可能な記憶媒体であって、
    前記プログラムがプロセッサによって実行される時、前記プロセッサに、
    自車の前方視野のＲＧＢ画像と深度画像とを取得すること、
    前記ＲＧＢ画像において目標領域枠を設定すること、
    前記ＲＧＢ画像における複数の車両に対応するサイズデータを抽出すること、
    前記複数の車両における車両毎に、
    前記車両のサイズデータに基づいて、前記ＲＧＢ画像において前記車両の約束枠を確定すること、
    前記車両の約束枠と前記目標領域枠との重畳率を計算すること、
    前記車両のサイズデータと、前記車両の約束枠の前記ＲＧＢ画像における位置と、前記目標領域枠の前記ＲＧＢ画像における位置に基づいて、前記車両と前記目標領域枠との正規化距離を計算すること、
    前記複数の車両における車両毎に対応する重畳率と正規化距離に基づいて、前記複数の車両から先行車目標車両を確定し、前記深度画像に基づいて前記先行車目標車両と自車との車距を得ること、を実行させる
    ことを特徴とするコンピュータが読み取り可能な記憶媒体。
JP2019563448A 2018-11-15 2019-07-15 先行車との距離の検出方法及びシステム Active JP6851505B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811359075.3 2018-11-15
CN201811359075.3A CN109541583B (zh) 2018-11-15 2018-11-15 一种前车距离检测方法及系统
PCT/CN2019/095980 WO2020098297A1 (zh) 2018-11-15 2019-07-15 一种前车距离检测方法及系统

Publications (2)

Publication Number Publication Date
JP2021508387A true JP2021508387A (ja) 2021-03-04
JP6851505B2 JP6851505B2 (ja) 2021-03-31

Family

ID=65847562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019563448A Active JP6851505B2 (ja) 2018-11-15 2019-07-15 先行車との距離の検出方法及びシステム

Country Status (4)

Country Link
JP (1) JP6851505B2 (ja)
CN (1) CN109541583B (ja)
SG (1) SG11202010955SA (ja)
WO (1) WO2020098297A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020154523A (ja) * 2019-03-19 2020-09-24 株式会社Ｓｕｂａｒｕ 車外環境検出装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109541583B (zh) * 2018-11-15 2020-05-01 众安信息技术服务有限公司 一种前车距离检测方法及系统
CN110401786A (zh) * 2019-04-24 2019-11-01 解晗 数字设备开关控制机构
CN112580402A (zh) * 2019-09-30 2021-03-30 广州汽车集团股份有限公司 一种单目视觉行人测距方法及其系统、车辆、介质
CN110794397B (zh) * 2019-10-18 2022-05-24 北京全路通信信号研究设计院集团有限公司 一种基于相机和雷达的目标检测方法及系统
CN111009166B (zh) * 2019-12-04 2021-06-01 上海市城市建设设计研究总院（集团）有限公司 基于bim和驾驶模拟器的道路三维视距验算方法
CN111369824B (zh) * 2020-01-22 2020-12-15 星汉智能科技股份有限公司 一种基于图像识别定位的引导泊车方法及系统
CN111746545A (zh) * 2020-06-29 2020-10-09 中国联合网络通信集团有限公司 车距检测方法及装置，和车距提醒方法及装置
CN113781665A (zh) * 2020-07-28 2021-12-10 北京沃东天骏信息技术有限公司 一种标注信息的审核方法和装置
CN111931864B (zh) * 2020-09-17 2020-12-25 南京甄视智能科技有限公司 基于顶点距离与交并比多重优化目标检测器的方法与系统
CN112241717B (zh) * 2020-10-23 2021-11-16 北京嘀嘀无限科技发展有限公司 前车检测方法、前车检测模型的训练获取方法及装置
WO2022095023A1 (zh) * 2020-11-09 2022-05-12 驭势（上海）汽车科技有限公司 一种交通流信息的确定方法、装置、电子设备和存储介质
CN112949544A (zh) * 2021-03-17 2021-06-11 上海大学 一种基于3d卷积网络的动作时序检测方法
CN113421298A (zh) * 2021-06-17 2021-09-21 深圳市高格通讯技术有限公司 车辆测距方法、车辆控制装置、车辆及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010262665A (ja) * 2010-06-25 2010-11-18 Aisin Aw Co Ltd 車載装置及び車両認識方法
CN105469052A (zh) * 2015-11-25 2016-04-06 东方网力科技股份有限公司 一种车辆检测跟踪方法和装置
JP2016191988A (ja) * 2015-03-30 2016-11-10 富士重工業株式会社 車外環境認識装置
JP2017016194A (ja) * 2015-06-26 2017-01-19 富士重工業株式会社 車外環境認識装置
CN107202983A (zh) * 2017-05-19 2017-09-26 深圳佑驾创新科技有限公司 基于图像识别和毫米波雷达融合的自动刹车方法和系统
JP2018142268A (ja) * 2017-02-28 2018-09-13 株式会社東芝 車両画像処理装置、及び、車両画像処理システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100588902C (zh) * 2006-12-19 2010-02-10 北京中星微电子有限公司 一种车距检测方法及装置
US9406145B2 (en) * 2014-01-31 2016-08-02 Applied Concepts, Inc. Mobile radar and visual tracking coordinate transformation
CN104837007B (zh) * 2014-02-11 2018-06-05 阿里巴巴集团控股有限公司 一种数字图像质量分级的方法和装置
US20160132728A1 (en) * 2014-11-12 2016-05-12 Nec Laboratories America, Inc. Near Online Multi-Target Tracking with Aggregated Local Flow Descriptor (ALFD)
US10145951B2 (en) * 2016-03-30 2018-12-04 Aptiv Technologies Limited Object detection using radar and vision defined image detection zone
CN107463890B (zh) * 2017-07-20 2019-11-29 浙江零跑科技有限公司 一种基于单目前视相机的前车检测与跟踪方法
CN108764108A (zh) * 2018-05-22 2018-11-06 湖北省专用汽车研究院 一种基于贝叶斯统计决策的前车检测方法
CN109541583B (zh) * 2018-11-15 2020-05-01 众安信息技术服务有限公司 一种前车距离检测方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010262665A (ja) * 2010-06-25 2010-11-18 Aisin Aw Co Ltd 車載装置及び車両認識方法
JP2016191988A (ja) * 2015-03-30 2016-11-10 富士重工業株式会社 車外環境認識装置
JP2017016194A (ja) * 2015-06-26 2017-01-19 富士重工業株式会社 車外環境認識装置
CN105469052A (zh) * 2015-11-25 2016-04-06 东方网力科技股份有限公司 一种车辆检测跟踪方法和装置
JP2018142268A (ja) * 2017-02-28 2018-09-13 株式会社東芝 車両画像処理装置、及び、車両画像処理システム
CN107202983A (zh) * 2017-05-19 2017-09-26 深圳佑驾创新科技有限公司 基于图像识别和毫米波雷达融合的自动刹车方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020154523A (ja) * 2019-03-19 2020-09-24 株式会社Ｓｕｂａｒｕ 車外環境検出装置
JP7291505B2 (ja) 2019-03-19 2023-06-15 株式会社Subaru 車外環境検出装置

Also Published As

Publication number Publication date
CN109541583B (zh) 2020-05-01
SG11202010955SA (en) 2020-12-30
CN109541583A (zh) 2019-03-29
WO2020098297A1 (zh) 2020-05-22
JP6851505B2 (ja) 2021-03-31

Similar Documents

Publication Publication Date Title
JP6851505B2 (ja) 先行車との距離の検出方法及びシステム
RU2694154C2 (ru) Формирование моделированных данных датчиков для обучения и проверки достоверности моделей обнаружения
US9052393B2 (en) Object recognition system having radar and camera input
US11527077B2 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
US20180025640A1 (en) Using Virtual Data To Test And Train Parking Space Detection Systems
JP6794436B2 (ja) 非障害物エリア検出のためのシステムおよび方法
JP2021523443A (ja) Ｌｉｄａｒデータと画像データの関連付け
Alonso et al. Lane-change decision aid system based on motion-driven vehicle tracking
US20140205139A1 (en) Object recognition system implementing image data transformation
CN110867132B (zh) 环境感知的方法、装置、电子设备和计算机可读存储介质
Dey et al. VESPA: A framework for optimizing heterogeneous sensor placement and orientation for autonomous vehicles
CN113228040A (zh) 多级对象行进方向估计
WO2022099530A1 (zh) 点云数据运动分割方法、装置、计算机设备和存储介质
JP7135665B2 (ja) 車両制御システム、車両の制御方法及びコンピュータプログラム
US20210331679A1 (en) Method for Determining a Drivable Area
Gluhaković et al. Vehicle detection in the autonomous vehicle environment for potential collision warning
JPWO2017145541A1 (ja) 移動体
CN111857135A (zh) 用于车辆的避障方法、装置、电子设备和计算机存储介质
Berriel et al. A particle filter-based lane marker tracking approach using a cubic spline model
US20220171975A1 (en) Method for Determining a Semantic Free Space
JP6411933B2 (ja) 車両状態判定装置
Faisal et al. Object detection and distance measurement using AI
JP2024012160A (ja) 目標状態推定方法、装置、電子機器及び媒体
US20220319054A1 (en) Generating scene flow labels for point clouds using object labels
US20220406070A1 (en) Method and device for recognizing an object for a vehicle including a mono camera, and camera system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210309

R150 Certificate of patent or registration of utility model

Ref document number: 6851505

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250