JP2017056935A5 - - Google Patents

Download PDF

Info

Publication number
JP2017056935A5
JP2017056935A5 JP2016177291A JP2016177291A JP2017056935A5 JP 2017056935 A5 JP2017056935 A5 JP 2017056935A5 JP 2016177291 A JP2016177291 A JP 2016177291A JP 2016177291 A JP2016177291 A JP 2016177291A JP 2017056935 A5 JP2017056935 A5 JP 2017056935A5
Authority
JP
Japan
Prior art keywords
cluster
trajectory
identified
automatic driving
clusters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016177291A
Other languages
English (en)
Other versions
JP2017056935A (ja
JP6298128B2 (ja
Filing date
Publication date
Priority claimed from US14/852,806 external-priority patent/US9576185B1/en
Application filed filed Critical
Publication of JP2017056935A publication Critical patent/JP2017056935A/ja
Publication of JP2017056935A5 publication Critical patent/JP2017056935A5/ja
Application granted granted Critical
Publication of JP6298128B2 publication Critical patent/JP6298128B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

明示された本発明の特徴及び条件は、特定の実施形態と関連して説明されてきたが、本発明は、開示した実施形態に限定されるものではなく、逆に、添付のクレームの精神及び範囲内に包含する様々な修正及び同様の変更を網羅することを意図すると理解される。その範囲は、法の下認められる全ての変更及び同様の構造を包含するように、広い解釈が許容される。
本明細書に開示される発明は以下の実施形態を含む。
(1)自動運転の方法であって、3Dセンサを用いて、車両の周辺環境内の複数のオブジェクトを示す複数の3次元点を生成すること、及び、コンピュータ装置を用いて、前記複数の3次元点から、前記車両の周辺環境内の前記同じオブジェクトを示す複数の3次元点クラスタの時系列を一つの軌跡として特定し、前記軌跡内の前記複数のクラスタに対して特定された複数の局所特徴に基づいて、前記オブジェクトのためのクラスタベース分類器を特定し、前記軌跡に対して特定された複数の大域特徴に基づいて、前記オブジェクトのための軌跡ベース分類器を特定し、前記クラスタベース分類器が特定されたクラスタ上の情報量に基づいて前記クラスタベース分類器を重み付けし、且つ、前記重みを情報量の増加に伴って増加させながら、前記オブジェクトを分類するために前記クラスタベース分類器及び前記軌跡ベース分類器を統合し、及び、前記オブジェクトの分類に基づいて、経路に沿って前記車両を走行させること、を含む方法。
(2)上記(1)に記載の自動運転の方法であって、前記クラスタ上の情報量は、前記クラスタから前記クラスタベース分類器が特定された前記クラスタ内の3次元点の量である、方法。
(3)上記(1)又は(2)に記載の自動運転の方法であって、クラスタベース分類器が特定された前記クラスタからの情報量が閾値を下回る場合、前記クラスタベース分類器はゼロに重み付される、方法。
(4)上記(1)〜(3)のいずれかに記載の自動運転の方法であって、各クラスタベース分類器は、複数のオブジェクトクラスの中から前記オブジェクトが属するオブジェクトクラスの予測を含む、方法。
(5)上記(1)〜(4)のいずれかに記載の自動運転の方法であって、各クラスタベース分類器は、複数のクラスの中から前記オブジェクトが属する1つのクラスの1対多の対数オッズ又は複数のクラスの中から前記オブジェクトが1つに属する確率のうち、少なくとも1つを含む、方法。
(6)上記(1)〜(5)のいずれかに記載の自動運転の方法であって、各軌跡ベース分類器は、複数のオブジェクトクラスの中から前記オブジェクトが属するオブジェクトクラスの予測を含む、方法。
(7)上記(1)〜(6)のいずれかに記載の自動運転の方法であって、各軌跡ベース分類器は、複数のクラスの中から前記オブジェクトが属する1つのクラスの1対多の対数オッズ又は複数のクラスの中から前記オブジェクトが1つに属する確率のうち、少なくとも1つを含む、方法。
(8)上記(1)〜(7)のいずれかに記載の自動運転の方法であって、前記軌跡ベース分類器及び前記重み付き前記クラスタベース分類器の組合せは、複数のクラスの中から前記オブジェクトが属するオブジェクトクラスの確率を含む、方法。
(9)上記(1)〜(8)のいずれかに記載の自動運転の方法であって、前記軌跡ベース分類器及び前記重み付きクラスタベース分類器の組合せは、複数のクラスの中から前記オブジェクトが属する1つのクラスの1対多の対数オッズ又は複数のクラスの中から前記オブジェクトが1つに属する確率のうち、少なくとも1つを含む、方法。
(10)上記(1)〜(9)のいずれかに記載の自動運転の方法であって、前記コンピュータ装置を用いて、前記軌跡内の前記複数のクラスタに基づいて前記局所特徴を特定することをさらに含む、方法。
(11)上記(10)に記載の自動運転の方法であって、前記局所特徴は、前記軌跡内の前記複数のクラスタのアピアランスに基づく、方法。
(12)上記(1)〜(11)のいずれかに記載の自動運転の方法であって、前記コンピュータ装置を用いて、前記軌跡に基づいて前記大域特徴を特定することをさらに含む、方法。
(13)上記(12)に記載の自動運転の方法であって、前記大域特徴は、前記軌跡内の前記複数のクラスタの前記動作に基づく、方法。
(14)上記(1)〜(13)のいずれかに記載の自動運転の方法であって、前記コンピュータ装置を用いて、前記軌跡内の各クラスタに対して、前記クラスタの境界ボックスを特定し、及び、前記クラスタのための局所特徴として前記境界ボックスの高さ、幅及び長さを特定すること、をさらに含む、方法。
(15)上記(1)〜(14)のいずれかに記載の自動運転の方法であって、前記コンピュータ装置を用いて、前記軌跡内の各クラスタに対して、前記クラスタの境界ボックスを特定し、及び、前記クラスタのための局所特徴として前記境界ボックスの体積を特定すること、をさらに含む、方法。
(16)上記(1)〜(15)のいずれかに記載の自動運転の方法であって、前記コンピュータ装置を用いて、前記軌跡内の各クラスタに対して、前記クラスタの境界ボックスを特定し、境界ボックスの前記重心を特定し、及び、前記クラスタのための局所特徴として特定された前記境界ボックスの重心に対する距離を特定すること、をさらに含む、方法。
(17)上記(1)〜(16)のいずれかに記載の自動運転の方法であって、前記コンピュータ装置を用いて、前記軌跡に対して、前記軌跡内の前記複数のクラスタの速度を特定し、及び、前記軌跡のための大域特徴として前記速度を特定すること、をさらに含む、方法。
(18)上記(1)〜(17)のいずれかに記載の自動運転の方法であって、前記コンピュータ装置を用いて、前記軌跡に対して、前記軌跡内の前記複数のクラスタの加速度を特定し、及び、前記軌跡のための大域特徴として前記加速度を特定すること、をさらに含む、方法。

Claims (18)

  1. 自動運転の方法であって、
    3Dセンサを用いて、車両の周辺環境内の複数のオブジェクトを示す複数の3次元点を生成すること
    コンピュータ装置を用いて、前記複数の3次元点から、前記車両の周辺環境内の前記同じオブジェクトを示す複数の3次元点クラスタの時系列を一つの軌跡として特定すること
    前記コンピュータ装置を用いて、前記軌跡内の前記複数のクラスタに対して特定された複数の局所特徴に基づいて、前記オブジェクトのためのクラスタベース分類器を特定すること
    前記コンピュータ装置を用いて、前記軌跡に対して特定された複数の大域特徴に基づいて、前記オブジェクトのための軌跡ベース分類器を特定すること
    前記コンピュータ装置を使用することによって、前記クラスタベース分類器が特定された前記複数のクラスタ上の情報量に基づいて前記クラスタベース分類器を重み付けし、且つ、前記重みを情報量の増加に伴って増加させながら、前記オブジェクトを分類するために前記クラスタベース分類器及び前記軌跡ベース分類器を統合すること、及び
    前記コンピュータ装置を使用して、前記オブジェクトの分類に基づいて、経路に沿って前記車両を走行させること、
    を含む方法。
  2. 請求項に記載の自動運転の方法であって、前記複数のクラスタ上の情報量は、前記複数のクラスタから前記クラスタベース分類器が特定された前記複数のクラスタ内の3次元点の量である、方法。
  3. 請求項1又は2に記載の自動運転の方法であって、前記複数のクラスタベース分類器のうちの一つの前記クラスタベース分類器からの前記クラスタの情報量が閾値を下回るとき、前記クラスタベース分類器はゼロに重み付される、方法。
  4. 請求項1〜3のいずれか一項に記載の自動運転の方法であって、各クラスタベース分類器は、複数のオブジェクトクラスの中から前記オブジェクトが属するオブジェクトクラスの予測を含む、方法。
  5. 請求項1〜4のいずれか一項に記載の自動運転の方法であって、各クラスタベース分類器は、複数のオブジェクトクラスの中から前記オブジェクトが属する1つのオブジェクトクラスの1対多の対数オッズ又は前記複数のオブジェクトクラスの中から前記オブジェクトが1つに属する確率のうち、少なくとも1つを含む、方法。
  6. 請求項1〜5のいずれか一項に記載の自動運転の方法であって、各軌跡ベース分類器は、複数のオブジェクトクラスの中から前記オブジェクトが属するオブジェクトクラスの予測を含む、方法。
  7. 請求項1〜6のいずれか一項に記載の自動運転の方法であって、各軌跡ベース分類器は、複数のオブジェクトクラスの中から前記オブジェクトが属する1つのオブジェクトクラスの1対多の対数オッズ又は前記複数のオブジェクトクラスの中から前記オブジェクトが1つに属する確率のうち、少なくとも1つを含む、方法。
  8. 請求項1〜7のいずれか一項に記載の自動運転の方法であって、前記軌跡ベース分類器及び前記重み付き前記クラスタベース分類器の組合せは、複数のオブジェクトクラスの中から前記オブジェクトが属するオブジェクトクラスの確率を含む、方法。
  9. 請求項1〜8のいずれか一項に記載の自動運転の方法であって、前記軌跡ベース分類器及び前記重み付きクラスタベース分類器の組合せは、複数のオブジェクトクラスの中から前記オブジェクトが属する1つのオブジェクトクラスの1対多の対数オッズ又は前記複数のオブジェクトクラスの中から前記オブジェクトが1つに属する確率のうち、少なくとも1つを含む、方法。
  10. 請求項1〜9に記載の自動運転の方法であって、前記コンピュータ装置を用いて、前記軌跡内の前記複数のクラスタに基づいて前記局所特徴を特定することをさらに含む、方法。
  11. 請求項10に記載の自動運転の方法であって、前記局所特徴は、前記軌跡内の前記複数のクラスタのアピアランスに基づいて特定される、方法。
  12. 請求項1〜11のいずれか一項に記載の自動運転の方法であって、前記コンピュータ装置を用いて、前記軌跡に基づいて前記大域特徴を特定することをさらに含む、方法。
  13. 請求項12に記載の自動運転の方法であって、前記大域特徴は、前記軌跡内の前記複数のクラスタの前記動作に基づいて特定される、方法。
  14. 請求項1〜13のいずれか一項に記載の自動運転の方法であって、
    前記軌跡内の各クラスタに対して、前記コンピュータ装置を用いて、
    前記クラスタの境界ボックスを特定し、及び、
    前記クラスタのための局所特徴として特定された前記境界ボックスの高さ、幅及び長さを特定すること、
    をさらに含む、方法。
  15. 請求項1〜14のいずれか一項に記載の自動運転の方法であって、
    前記軌跡内の各クラスタに対して、前記コンピュータ装置を用いて、
    前記クラスタの境界ボックスを特定し、及び、
    前記クラスタのための局所特徴として特定された前記境界ボックスの体積を特定すること、
    をさらに含む、方法。
  16. 請求項1〜15のいずれか一項に記載の自動運転の方法であって、
    前記軌跡内の各クラスタに対して、前記コンピュータ装置を用いて、
    前記クラスタの境界ボックスを特定し、
    特定された前記境界ボックスの重心を特定し、及び、
    前記クラスタのための局所特徴として特定された前記境界ボックスの特定された前記重心に対する距離を特定すること、
    をさらに含む、方法。
  17. 請求項1〜16のいずれか一項に記載の自動運転の方法であって、
    前記軌跡に対して、前記コンピュータ装置を用いて、
    前記軌跡内の前記複数のクラスタの速度を特定し、及び、
    前記軌跡のための大域特徴として特定された前記速度を特定すること、
    をさらに含む、方法。
  18. 請求項1〜17のいずれか一項に記載の自動運転の方法であって、
    前記軌跡に対して、前記コンピュータ装置を用いて、
    前記軌跡内の前記複数のクラスタの加速度を特定し、及び、
    前記軌跡のための大域特徴として特定された前記加速度を特定すること、
    をさらに含む、方法。
JP2016177291A 2015-09-14 2016-09-12 3dセンサにより検出されたオブジェクトの分類 Active JP6298128B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/852,806 2015-09-14
US14/852,806 US9576185B1 (en) 2015-09-14 2015-09-14 Classifying objects detected by 3D sensors for autonomous vehicle operation

Publications (3)

Publication Number Publication Date
JP2017056935A JP2017056935A (ja) 2017-03-23
JP2017056935A5 true JP2017056935A5 (ja) 2018-02-01
JP6298128B2 JP6298128B2 (ja) 2018-03-20

Family

ID=58017693

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016177291A Active JP6298128B2 (ja) 2015-09-14 2016-09-12 3dセンサにより検出されたオブジェクトの分類

Country Status (3)

Country Link
US (1) US9576185B1 (ja)
JP (1) JP6298128B2 (ja)
DE (1) DE102016116029B4 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10121082B2 (en) * 2015-10-07 2018-11-06 Honda Motor Co., Ltd. System and method for providing laser camera fusion for identifying and tracking a traffic participant
EP3381016A4 (en) * 2015-11-26 2019-06-12 Sportlogiq Inc. SYSTEMS AND METHODS FOR OBJECT TRACKING AND LOCATION IN VIDEOS WITH ADAPTIVE IMAGE REPRESENTATION
US9961261B2 (en) * 2016-06-20 2018-05-01 Gopro, Inc. Image alignment using a virtual gyroscope model
US10740658B2 (en) * 2016-09-08 2020-08-11 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities
WO2018178284A1 (en) * 2017-03-30 2018-10-04 Agc Glass Europe Glass for autonomous car
US10710579B2 (en) * 2017-06-01 2020-07-14 Waymo Llc Collision prediction system
US11392133B2 (en) 2017-06-06 2022-07-19 Plusai, Inc. Method and system for object centric stereo in autonomous driving vehicles
US11573573B2 (en) 2017-06-06 2023-02-07 Plusai, Inc. Method and system for distributed learning and adaptation in autonomous driving vehicles
US11042155B2 (en) 2017-06-06 2021-06-22 Plusai Limited Method and system for closed loop perception in autonomous driving vehicles
EP3671279B1 (en) 2017-08-18 2024-08-14 Koito Manufacturing Co., Ltd. Recognition sensor, control method therefor, automobile, vehicle light fixture, object identification system, and object identification method
US10713940B2 (en) 2017-10-31 2020-07-14 Waymo Llc Detecting and responding to traffic redirection for autonomous vehicles
US10401862B2 (en) 2017-10-31 2019-09-03 Waymo Llc Semantic object clustering for autonomous vehicle decision making
CN108460791A (zh) * 2017-12-29 2018-08-28 百度在线网络技术(北京)有限公司 用于处理点云数据的方法和装置
CN108230379B (zh) * 2017-12-29 2020-12-04 百度在线网络技术(北京)有限公司 用于融合点云数据的方法和装置
JP7174037B2 (ja) 2018-03-15 2022-11-17 株式会社小糸製作所 オブジェクト識別システム、自動車、車両用灯具、オブジェクトの種類の識別方法
CN111989709B (zh) 2018-04-05 2024-07-02 株式会社小糸制作所 运算处理装置、对象识别系统、对象识别方法、汽车、车辆用灯具
EP3779872A4 (en) * 2018-04-05 2021-05-19 Koito Manufacturing Co., Ltd. WORK PROCESSING DEVICE, OBJECT IDENTIFICATION SYSTEM, LEARNING PROCEDURE, AUTOMOTIVE AND LIGHTING DEVICE FOR VEHICLE
CN110555449B (zh) * 2018-05-30 2023-03-24 百度在线网络技术(北京)有限公司 用于输出信息的方法和装置
US10845818B2 (en) * 2018-07-30 2020-11-24 Toyota Research Institute, Inc. System and method for 3D scene reconstruction of agent operation sequences using low-level/high-level reasoning and parametric models
US10754338B2 (en) 2018-08-14 2020-08-25 GM Global Technology Operations LLC Controlling an autonomous vehicle based upon labels assigned to objects represented in sensor data
US10878580B2 (en) 2018-10-15 2020-12-29 Tusimple, Inc. Point cluster refinement processing of image data for LiDAR-based vehicle tracking system and method
US10878282B2 (en) * 2018-10-15 2020-12-29 Tusimple, Inc. Segmentation processing of image data for LiDAR-based vehicle tracking system and method
US10984540B2 (en) * 2018-10-15 2021-04-20 Tusimple, Inc. Tracking and modeling processing of image data for LiDAR-based vehicle tracking system and method
US10983530B2 (en) * 2018-10-31 2021-04-20 Wipro Limited Method and system for determining an accurate position of an autonomous vehicle
WO2020110802A1 (ja) 2018-11-30 2020-06-04 株式会社小糸製作所 車載用物体識別システム、自動車、車両用灯具、分類器の学習方法、演算処理装置
EP3889639A4 (en) 2018-11-30 2022-01-05 Koito Manufacturing Co., Ltd. TELEMETRY SENSOR, VEHICLE FIRE AND TELEMETRY METHOD
US10891518B1 (en) 2018-12-14 2021-01-12 Waymo Llc Auto labeler
CN109726692A (zh) * 2018-12-29 2019-05-07 重庆集诚汽车电子有限责任公司 基于深度学习的高清摄像头3d目标检测系统
CN111837136A (zh) * 2019-02-19 2020-10-27 深圳市大疆创新科技有限公司 基于本地感测的自主导航以及相关联的系统和方法
US11630209B2 (en) 2019-07-09 2023-04-18 Waymo Llc Laser waveform embedding
EP3795940A1 (de) * 2019-09-19 2021-03-24 sentronics metrology GmbH Vorrichtung und verfahren zur inspektion von flachen objekten und zum erfassen von grenzschichten dieser objekte
US11597406B2 (en) * 2020-02-19 2023-03-07 Uatc, Llc Systems and methods for detecting actors with respect to an autonomous vehicle
CN113870347A (zh) * 2020-06-30 2021-12-31 北京市商汤科技开发有限公司 目标车辆的控制方法、装置、电子设备及存储介质
JP7001795B1 (ja) * 2020-11-13 2022-01-20 株式会社ネクスティエレクトロニクス シミュレーション用のデータ生成装置、方法及びコンピュータプログラム
CN114387305A (zh) * 2021-12-30 2022-04-22 驭势科技(北京)有限公司 拖车队列跟踪方法、装置、计算机设备及存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3516856B2 (ja) * 1998-01-30 2004-04-05 富士重工業株式会社 車外監視装置
JP4239689B2 (ja) 2003-05-30 2009-03-18 スズキ株式会社 車両用警報システム及び車両用警報発生方法
US7522066B2 (en) 2006-02-23 2009-04-21 Rockwell Automation Technologies, Inc. Systems and methods that evaluate distance to potential hazards utilizing overlapping sensing zones
US7720260B2 (en) * 2006-09-13 2010-05-18 Ford Motor Company Object detection system and method
EP2107503A1 (en) * 2008-03-31 2009-10-07 Harman Becker Automotive Systems GmbH Method and device for generating a real time environment model for vehicles
KR100946723B1 (ko) 2008-04-12 2010-03-12 재단법인서울대학교산학협력재단 차량의 조향 방법 및 그 장치
US8744122B2 (en) * 2008-10-22 2014-06-03 Sri International System and method for object detection from a moving platform
FR2953313B1 (fr) * 2009-11-27 2012-09-21 Thales Sa Systeme optronique et procede d'elaboration d'images en trois dimensions dedies a l'identification
DE112011104992T5 (de) * 2011-03-01 2014-01-23 Toyota Jidosha Kabushiki Kaisha Zustandsschätzvorrichtung
CN102685382B (zh) * 2011-03-18 2016-01-20 安尼株式会社 图像处理装置和方法、及移动体防碰撞装置
US8605998B2 (en) * 2011-05-06 2013-12-10 Toyota Motor Engineering & Manufacturing North America, Inc. Real-time 3D point cloud obstacle discriminator apparatus and associated methodology for training a classifier via bootstrapping
DE102011101246A1 (de) 2011-05-11 2012-11-15 Conti Temic Microelectronic Gmbh Redudante objektdetektion für fahrerassistenzsysteme
FR2981772B1 (fr) * 2011-10-21 2017-12-22 Thales Sa Procede de reconstruction 3d d'un objet d'une scene
DE102012014300A1 (de) 2012-07-19 2013-01-17 Daimler Ag Verfahren zur Objekterkennung in einer Umgebung eines Kraftwagens sowie Fahrerassistenzsystem zur Objekterkennung in einer Umgebung eines Kraftwagens
US9383753B1 (en) * 2012-09-26 2016-07-05 Google Inc. Wide-view LIDAR with areas of special attention
US8473144B1 (en) * 2012-10-30 2013-06-25 Google Inc. Controlling vehicle lateral lane positioning
US9110163B2 (en) * 2013-06-14 2015-08-18 Microsoft Technology Licensing, Llc Lidar-based classification of object movement
US8989944B1 (en) * 2013-11-26 2015-03-24 Google Inc. Methods and devices for determining movements of an object in an environment
US9091558B2 (en) * 2013-12-23 2015-07-28 Automotive Research & Testing Center Autonomous driver assistance system and autonomous driving method thereof
US9664779B2 (en) * 2014-07-03 2017-05-30 GM Global Technology Operations LLC Object classification for vehicle radar systems

Similar Documents

Publication Publication Date Title
JP2017056935A5 (ja)
US11854136B2 (en) Monitoring a scene to analyze an event using a plurality of image streams
CN105096340B (zh) 用于检测静态和动态对象以及控制车辆的方法和系统
US10614324B2 (en) Method and apparatus for identifying static obstacle
US11034348B2 (en) Agent prioritization for autonomous vehicles
US20240345591A1 (en) Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
AU2014278279B2 (en) Lidar-based classification of object movement
US11398150B2 (en) Navigation analysis for a multi-lane roadway
GB2588013A (en) Operation of a vehicle using multiple motion constraints
US11926318B2 (en) Systems and methods for detecting a vulnerable road user in an environment of a vehicle
MY191057A (en) Driving evaluation device
WO2020132108A1 (en) Multi-stage object heading estimation
JP2016118906A (ja) 異常検出装置
JP2012079117A5 (ja)
CN109927727A (zh) 用于判定附近车辆的动作的设备和方法
CN104875740B (zh) 用于管理跟随空间的方法、主车辆以及跟随空间管理单元
CN105151044B (zh) 车辆辅助驾驶方法及装置
US11507101B2 (en) Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
US12046048B2 (en) Systems and methods for utilizing models to detect dangerous tracks for vehicles
JP2014002477A (ja) 車群管理装置
US11938966B1 (en) Vehicle perception system validation
JP2019536045A (ja) 静止状態判定方法および装置
Garg et al. A novel approach for vehicle specific road/traffic congestion
JP6848847B2 (ja) 静止物体地図情報生成装置
Catalán et al. Classifying Drivers' Behavior in Public Transport Using Inertial Measurement Units and Decision Trees