CN108700879A - 自动驾驶车辆中的对象识别 - Google Patents

自动驾驶车辆中的对象识别 Download PDF

Info

Publication number
CN108700879A
CN108700879A CN201880001084.7A CN201880001084A CN108700879A CN 108700879 A CN108700879 A CN 108700879A CN 201880001084 A CN201880001084 A CN 201880001084A CN 108700879 A CN108700879 A CN 108700879A
Authority
CN
China
Prior art keywords
data
database
road
automatic driving
driving vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880001084.7A
Other languages
English (en)
Inventor
任大齐
马苏德·莫塔扎维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN108700879A publication Critical patent/CN108700879A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93275—Sensor installation details in the bumper area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Library & Information Science (AREA)
  • Traffic Control Systems (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)

Abstract

一种自动驾驶车辆中的对象识别系统包括用于存储指令和图像特征数据库的非瞬时性存储器。一个或多个处理器与存储器通信。一个或多个处理器执行指令以下载与出发点和目的地之间的路线相关联的道路对象数据库。从自动驾驶车辆的多个传感器中接收传感器数据并与道路对象数据库中的数据进行比较。如果在道路对象数据库中未找到传感器数据，将传感器数据与图像特征数据库中的数据进行比较。如果在图像特征数据库中未找到传感器数据，通过无线信道将传感器数据传输到互联网耦合数据库。根据道路对象数据库、图像特征数据库或互联网耦合数据库中的至少一个数据库解读传感器数据。

Description

自动驾驶车辆中的对象识别
相关申请案交叉申请
本申请要求于2017年2月2日递交的发明名称为“自动驾驶车辆中的对象识别”的第15/423,085号美国申请案的在先申请优先权，该在先申请的内容以引入的方式并入本文。
技术领域
本发明涉及自动驾驶车辆，尤其涉及自动驾驶汽车中的信息识别。
背景技术
随着自动驾驶车辆被开发用于在公共道路上行驶，车辆需能够识别对象，以获知车辆是否应避开对象、停止车辆还是忽略对象。由于一些车辆可能会以较高的速度行驶，对象识别应该相对较快。
通常，自动驾驶车辆从图像中提取特征点，以生成特征点描述符。然后可将这些提取的特征点与已知对象的数据库的特征点比较。当使用包含大量特征点描述符的数据库进行搜索时，该方法耗时长且效率低下。
发明内容
现描述各种示例从而以简化的形式引入概念的选择，这些概念将在以下具体实施方式中进行进一步的描述。本发明内容的目的不在于识别权利要求书保护的主题的关键或必要特征，也不在于限制权利要求书保护的主题的范围。
第一个示例为一种自动驾驶车辆中的对象识别系统。该系统包括：包括指令和图像特征数据库的非瞬时性存储器以及与存储器通信的一个或多个处理器。一个或多个处理器执行指令以：下载与出发点和目的地之间的路线相关联的道路对象数据库；从自动驾驶车辆的多个传感器中接收传感器数据；将传感器数据与道路对象数据库中的数据进行比较；如果在道路对象数据库中未找到传感器数据，将传感器数据与图像特征数据库中的数据进行比较；如果在图像特征数据库中未找到传感器数据，通过无线信道将传感器数据传输到互联网耦合数据库；根据道路对象数据库、图像特征数据库或互联网耦合数据库中的至少一个解读传感器数据；通过自动驾驶车辆执行解读操作。
第二个示例为一种用于自动驾驶车辆识别道路对象的计算机实现的方法。该方法包括：下载与出发点和目的地之间的路线相关联的道路对象数据库。从自动驾驶车辆的多个传感器中接收传感器数据。将传感器数据与道路对象数据库、图像特征数据库或互联网耦合数据库中的一个中的数据进行比较，其中，按照道路对象数据库、图像特征数据库和互联网耦合数据库的顺序将传感器数据与每个数据库中的数据进行比较。根据道路对象数据库、图像特征数据库或互联网耦合数据库中的至少一个解读传感器数据。通过自动驾驶车辆执行解读操作。
第三个示例为一种用于自动驾驶车辆中的对象识别的基于图的方法。该方法包括：生成静态数据库和流数据库，所述静态数据库包括具有自动驾驶车辆的起点和目的地之间的路线的关联元数据的参考固定道路对象，所述流数据库包括从车辆传感器中采集的传感器数据以及关联元数据。将静态数据库中的对象分为固定对象和临时对象。随着车辆移动根据来自传感器流数据的对象更新流数据库。从传感器流数据中关联对象的时间和位置。将流数据库与静态数据库进行比较，从而从传感器流数据中识别对象。
附图说明
图1为示例实施例提供的自动驾驶车辆系统图；
图2为示例实施例提供的一种通过自动驾驶车辆识别道路对象的方法流程图；
图3为示例实施例提供的一种搜索不同数据库的方法图；
图4为示例实施例提供的一种包括客户端、服务器、基于云的资源的用于实现算法和执行方法的自动驾驶车辆计算机系统框图；
图5为示例实施例提供的数据流模式图。
具体实施方式
自动驾驶车辆系统使用某种图像识别形式来确定车辆在道路上、在正确的车道中并避开障碍物。传统方法包括使用成像设备(例如相机)捕捉道路和周围对象的图像。然后从图像中提取特征点。特征点可包括形状、线条、边缘、角落和角度。然后使用特征点搜索图像特征点数据库，尝试确定成像特征点的匹配。然后可使用搜索结果确定图像中的对象。由于特定特征点的处理器密集型搜索，该过程效率低下且耗时长。执行该过程的时间在高速公路速度下可能导致危险情况，此时需要快速识别对象以保持安全速度。
所公开实施例使用连续捕捉的图像进行与路线相关联的预加载道路数据库的连续实时流搜索。在每次出行前下载道路对象数据库，该道路对象数据库通常包含仅与出发点和目的地之间的可能路线相关联的有限数量的待识别对象。这样，可以在比传统数据库小得多的数据库上更快地进行数据库搜索。如果在预加载的道路对象数据库中找不到图像，可访问传统特征点数据库以找到对象。如果在传统特征点数据库中也找不到图像，可将图像传输到基于互联网的数据库以进行搜索。
图1为示例实施例提供的自动驾驶车辆系统图。图1中的系统的元件仅出于说明目的，包括更多或更少组件的其他系统可用于执行本文公开的任何方法。后续结合图4讨论该系统的一种实现方式的更详细描述。
车辆101可以是具备有或没有驾驶员时在公共道路和高速公路上行驶的能力的汽车。自动驾驶车辆系统可以辅助驾驶员，也可以在没有任何驾驶员干预时完全控制车辆101。车辆101包括内燃机、电动机或两者都包括以提供机车动力。驾驶能力可以通过伺服系统辅助的机械传动装置和联动装置完成，或者完全由控制器100控制的伺服控制完成。
该系统可包括控制器100，控制器100包括如图4所示的处理器和存储器。控制器100可用于执行本文描述的任何方法。系统的所有其他组件以某种方式耦合到控制器100，使得这些组件由控制器100控制和/或监测。
多个雷达传感器110、111、112和113分布在整个车辆101的外部。例如，多个雷达传感器110-112的子集耦合到车辆101的前部，从而定位车辆101前方的对象。一个或多个其他雷达传感器113可位于车辆101的后部，从而在车辆后退时定位车辆后方的对象。其他雷达传感器可位于车辆101的侧面，从而定位从侧面靠近车辆101的例如其他车辆等对象，为了清楚起见未示出。
激光雷达(light detection and ranging，简称LIDAR)传感器120可安装在车辆101上，例如，将LIDAR传感器120安装在车辆顶部安装的旋转结构中。然后旋转LIDAR传感器120能以360°模式传输车辆周围的光信号，从而随着车辆移动不断映射车辆周围所有对象。
相机、摄像机或其他类似图像采集传感器等成像传感器130可安装在车辆上，从而随着车辆移动捕捉图像。出于说明目的，在车辆101的前部示出成像传感器130，但在其他实施例中，可以在车辆101的所有侧面放置多个成像传感器130，从而以360°模式捕捉车辆101周围的图像。成像传感器130不仅可以捕捉可见光谱图像，还可以捕捉红外光谱图像。
耦合到天线141的无线电140可位于车辆101中，从而为系统提供无线通信。无线电140用于操作任何无线通信技术或无线标准，包括但不限于WiFi(IEEE 802.11)、蜂窝(例如，全球移动通信系统(Global System for Mobile Communications，简称GSM)、码分多址(Code Division Multiple Access，简称CDMA)、时分多址(Time Division MultipleAccess，简称TDMA))、和/或长期演进(Long Term Evolution，简称LTE)。无线电140可包括多个无线电，使得控制器100可以使用多种无线电技术通过无线信道进行通信。
全球定位系统(Global Positioning System，简称GPS)传感器150可位于车辆101上，从而向控制器100提供与车辆101的位置相关的地理坐标和坐标生成时间。GPS 150包括用于接收GPS卫星信号的天线以及耦合到天线的GPS接收器。例如，当在图像中或另一传感器观察到对象时，GPS 150可提供发现物的地理坐标和时间。
图2为示例实施例提供的一种通过自动驾驶车辆识别道路对象的方法流程图。该方法首先在块201中接收出行目的地，此时，确定车辆的当前位置并将其设置为出行出发点。目的地可由用户/乘客输入。
块203中，控制器100确定从出发点到目的地的所有可能且合理路线。例如，用户可以设置用户偏好，以指示控制器100避开高速公路行驶。用户还可以设置偏好，以指示控制器100尽可能多地使用高速公路行驶以更快到达目的地。控制器100可使用车辆101中的无线电140访问互联网站点以获得各种路线的交通、天气报告和/或封闭道路，从而确定最高效路线或找到由于施工或自然灾害而封闭的路线。这样，当确定从出发点到目的地的可能路线时，控制器100可以根据用户偏好、交通、施工、自然灾害和/或天气对某些路线进行不同加权。
块205中，控制器100下载与所有刚确定路线相关联的道路对象数据库。道路对象数据库包括沿着出发点和目的地之间的每条路线的道路、十字路口、建筑物和其他固定对象等固定对象的地理坐标。
因为道路对象数据库针对每次出行可能根据所选路线发生变化，因此在每次出行前预先下载道路对象数据库并将其存储在临时存储器(例如，随机存取存储器(randomaccess memory，简称RAM))中。道路对象数据库中的每个对象可包括对象标识(例如对象号码)、对象名称(例如购物中心、办公楼)、街道地址、地理坐标(例如经纬度)和图像。由于雪和冰可能会稍微改变图像，因此图像可以采取多个图像的形式，显示不同图像角度和不同季节。
为了进行比较，在车辆的永久存储器(例如，闪存、光盘、磁盘)中存储另一个相对更大的数据库且针对每次出行通常不会改变。该数据库可称为图像特征数据库或留存数据库。该数据库是存储在自动驾驶车辆存储器中的通用数据库，并不像道路对象数据库那样专用于任何特定路线。
块207中，控制器100接收并采集特定时间点和地理位置的所有传感器数据。例如，控制器100可访问图像传感器130、雷达传感器110-113、LIDAR 120或与GPS 150确定的地理位置相关联的任何其他传感器数据。
块209中，将传感器数据与下载的道路对象数据库进行比较。由于下载的道路对象数据库更小且不依赖于从图像中提取特征，因此与传统特征提取/特征搜索方法相比，该搜索实质上可能更快。由于车辆可能正在移动且不断采集连续图像等传感器数据，因此可以将块209中的下载道路对象数据库搜索称为数据库流查询，如图3所示。
图3为示例实施例提供的一种搜索不同数据库的方法图。流查询不断采集道路视图流300中道路视图(例如道路视图1-N)301-302并且不断查询数据库307。这些道路视图301-302不仅包括图像还包括其他传感器数据(例如雷达、LIDAR、可见光图像、红外图像)。
在连续查询305中使用道路视图301-302，使得在采集每个道路视图301-302时将其输入到查询处理307中。查询处理307可进行任何必要格式化，以访问下载的道路对象数据库存储器309。例如，可以从传感器数据中提取地理位置和街道地址用于在数据库309中搜索存储的图像。然后可以将采集的图像与该特定位置的存储图像进行比较，以确定其是否在数据库309中。
再次参考图2，如果在块211中找到道路视图301和302，则过程进行到块217，解读传感器数据并生成车辆命令(例如，减速、停止、加速、左转或右转)。由于下载的道路对象数据库包括固定对象，因此在下载的道路对象数据库中可能找不到动态变化的对象(例如，人、其他车辆、动物)。因此，如果在块211中在下载的道路对象数据库中未找到传感器数据，则在块212中，该方法搜索存储在车辆存储器中的留存图像特征数据库，在每次出行前留存图像特征数据库通常不会更新。结合图3更具体描述了留存图像特征数据库搜索。
从格式化搜索请求320开始搜索图像特征数据库。例如，搜索请求可以采取多个对象321的形式。
生成每个对象可包括从传感器数据中提取特征。例如，特征可以包括图像线条、角度、开口、形状、颜色、纹理或其组合。这些特征被格式化为对象321并输入到查询处理330中。查询处理330可以将查询格式化为任何必要格式，以搜索留存图像特征数据库。
留存图像特征数据库通常长期存储在驱动器340上。驱动器可以为硬盘驱动器(hard disk drive，简称HDD)(例如磁驱动器)、光盘驱动器、磁带机、固态磁盘(solidstate drive，简称SSD)或这些技术的任意组合。当前路线相关的数据可临时加载到主存储器341中以进行更快搜索。
再次参考图2，如果在图像特征数据库中未找到传感器数据，则在块213中，将传感器数据传输到云端(例如，基于互联网的服务器)以进行更强大搜索。然后可使用传感器数据访问可能包含使用互联网搜索引擎进行互联网搜索的数据库。车辆接收互联网搜索结果。
当上述搜索209、212和215中的任何一个成功找到传感器数据中的对象的匹配时，在块221中可使用搜索结果更新不包含该对象的一个或多个数据库。这样，未来该特定对象的任何搜索都会成功。然后方法返回到块217中的解读。
如果没有搜索返回匹配，则将决策树应用于未知对象。首先，出于安全原因需要做出决策以判断未知对象对驾驶员是否重要。如果对象是未知事物但不在道路上或看上去接近道路，则驾驶员可以忽略该对象。自动驾驶车辆可以继续行驶，该未知对象的图像将被保存在记录中以供机器或人进一步研究。
如果未知对象出现在道路上、交通标志或对车辆安全很重要的任何其他重要地点，则自动驾驶车辆可以采取紧急措施来避开对象，包括避开对象或在安全地点停车。可以向管理中心发送援助请求。
块217中还根据搜索结果生成操作决策和命令。例如，搜索结果可以不断指示道路线的存在和道路线的类型(例如，虚线、黄线、白线)。解读块217可以使用线类型确定有必要生成命令，从而在线内驾驶车辆、驾驶车辆穿过虚线以改变车道(取决于目的地或传感器数据找到的本车道中的其它车辆)或驾驶车辆到出口坡道或转弯。
在另一示例中，搜索结果可能已经确定道路中的对象是人的图像且人离车辆较近(如雷达或LIDAR传感器数据确定的)。解读块217可生成命令以停止车辆或绕过人行驶。
在块219中执行块217生成的命令。例如，如果生成停止命令，则命令车辆使用制动器。如果生成定向移动命令，则命令车辆转向命令的方向。
图4为示例实施例提供的一种包括客户端、服务器、基于云的资源的用于实现算法和执行方法的自动驾驶车辆计算机系统400框图。该框图仅出于说明目的，其他系统可以具有不同的架构且仍然能够实现本文公开的任何方法。
自动驾驶车辆计算机系统400可包括处理器单元402(例如，中央处理器(centralprocessing unit，简称CPU)、图形处理单元(graphics processing unit，简称GPU)、处理器内核或其任意组合)和存储器404。处理器单元402可包括一个或多个处理器。车辆的各种元件可以通过互联链路(即总线)408进行相互通信。处理器402和存储器404的组合也可称为计算机，以执行本文公开的任何方法。
存储器404可包括至少一个非瞬时性计算机可读介质，在该非瞬时性计算机可读介质上存储了体现或用于本文描述的技术、方法或功能中的任意一种或多种的一组或多组数据结构或指令424(例如，软件、固件)。在执行方法时，指令424还可以至少部分地存在于处理器402等附加计算机可读存储器中。
处理器402、存储器404或存储设备416中的一个或任意组合可以构成非瞬时性计算机可读介质。当软件由设备的底层硬件执行时，硬件执行本文描述的方法的指定操作。
存储器404可包括易失性存储器和/或非易失性存储器。例如，存储器404可包括随机存取存储器(random access memory，简称RAM)、只读存储器(read-only memory，简称ROM)、可擦除可编程只读存储器(erasable programmable read only memory，简称EPROM)和电可擦除可编程只读存储器(electrically erasable programmable read-onlymemory，简称EEPROM)、闪存或其它存储器技术中的一种或多种。存储设备416可包括固态硬盘(solid state disk，简称SSD)、磁盘、光盘或任何其他形式的大容量存储器。
自动驾驶车辆计算机系统400还可以包括显示单元410和耦合到总线408的字母数字输入设备412(例如，小键盘、键盘)。在一示例中，显示单元410和输入设备412可共同构成触摸屏显示器。
自动驾驶车辆计算机系统400还可以包括车辆控制块418。根据本文描述的方法，车辆控制块418生成必要信号和控制，以控制自动驾驶车辆的各种机械系统。
一个或多个传感器421可包括位置、图像和运动传感器，例如加速度计、罗盘、陀螺仪、高度计、气压计、温度计、垂直速度传感器、雷达、LIDAR和/或GPS接收器。传感器421还可以包括成像传感器，以生成图像帧。每帧包括多个像素(例如图像元素)。
网络接口和无线电420可包括用于通过无线或有线信道进行通信的任何必要电路。例如，网络接口和无线电420可包括具有适当天线的一个或多个射频(radiofrequency，简称RF)发送器和/或接收器(即无线电)。
网络490可以是WiFi网络、蜂窝网络、对等网络、局域网(local area network，简称LAN)或广域网(wide area network，简称WAN)，包括互联网。自动驾驶车辆计算机系统被设计为在单个系统设施内不断将数据流备份到存储器404中。由于流数据存储在存储器中，所公开的系统能够在必要时倒回参考流以查看数据。
图5为示例实施例提供的数据流模式图。通过作为用于自动驾驶车辆识别道路对象的基于图的方法的一部分的流数据的逻辑模式快照说明该数据流模式。基于图的概念是基于数据库使用对象地理坐标和采集数据识别对象的时间。
块501-504表示用于所选路线的参考数据库508(例如静态数据库)的内容。块505-506表示包括雷达和相机的汽车传感器捕捉的流数据库509。块507表示流数据快照的时间和位置(例如，地理坐标、纬度、经度)。
流数据和静态数据快照对应于汽车沿着所选路线从道路活动持续捕捉的内容。快照还包括用户元数据，例如具有数据采集相关位置和时间的对象图像。下面详细描述了该模式。
基于图的数据模式设计包括两类(即流数据、静态数据)。静态数据501对应于用户从汽车的相机中持续生成的内容。静态数据501可称为元数据，元数据包括相机图像中检测到的对象、对象名称和简档、对象类别、对象位置和图像捕捉时间。元数据501还可以包括用户简档、街道地图、街景数据等。
参考数据库中的固定对象502包括施工(例如道路状况)及其位置、建筑物及其位置、交通灯位置等。这些对象在参考数据库508中不会经常改变。
临时对象503表示相机检测到的临时出现在道路上的对象，包括人、汽车、动物等。这些对象可随时间发生改变，因此，参考数据库508中对应的临时对象数据经常更新。对象及其相关属性(例如，时间、位置)提供信息用于发现街道目标变化、更新等。
附加信息504包括天气、道路状况、所选路线发生的事件等。附加信息也可以发生改变。但是，信息504与季节和历史记录有关。参考数据库508可以包括特定位置的历史信息，从而为自动驾驶车辆行驶提供有用信息。
频繁更新(例如采集)流数据509，包括流数据的各种来源。传感器流数据包括在道路505上观察到的对象和天气和道路状况等附加信息506。当观察对象进入车辆传感器视野时，可以将对象插入流数据库中。
配置来自传感器的流数据为以恒定但较快的速率采集数据。流数据可以以1兆比特每秒(Mbps)到12太比特每秒(Tbps)的范围传输。对象的流数据可以为每秒不同输入元素速率。该速率可配置，以匹配参考数据流。流之间结果的协议是通过简单比较其是否返回相同元素。
流数据509根据时间和位置507查询所选路线上的观察对象509和参考对象508。时间和位置数据507用于同步数据流并确保在同一时间和地点的数据库中比较对象，以便考虑到不同的太阳角度和季节变化。除相机之外的多个传感器可以观察来自传感器数据的对象。例如，可以使用雷达、LIDAR或任何其他传感器。在一实施例中，可以根据多个传感器的数据执行系统执行的每个比较。该感测可以返回简单查询或复杂对象的副本。解读这些不匹配，当确定新对象已经出现且在静态数据库508中未找到时触发处理器更新新对象。而且，通过比较，如果在静态数据库508中找到新感测的对象，临时对象将被忽略且不被更新。
可将流数据库与静态数据库进行比较，从而从传感器流数据中识别对象。然后自动驾驶车辆控制可以根据对象的身份及其相对于道路的位置忽略或操作识别出的对象。
在一些实施例中，来自传感器流数据的一些观察对象数据序列可以具有与对应的参考固定道路对象数据序列不同的对象数据序列长度。例如，已知道路上的新道路施工可能会导致这种情况。当发生这种情况时，关联的时间和位置用于识别观察对象数据序列和参考固定道路对象数据序列之间的任何类似区域。时间和位置信息用于对齐序列。确定观察对象数据序列和参考固定道路对象数据序列之间的差异。根据观察对象数据序列和参考道路对象数据序列之间的差异更新静态数据库。
以上结合附图进行描述所述附图是描述的一部分并通过图解说明的方式示出可以实施本发明的具体实施例。这些实施例将充分详细描述使本领域技术人员能够实施本发明而且应该明白的是可以使用其它实施例并且在不脱离本发明的范围的情况下可以做出结构上、逻辑上、电学上的改变。因此以下示例实施例的描述并不当作限定，本发明的范围由所附权利要求书界定。
本文描述的功能或算法可以在一实施例中的软件中实施。该软件可包含计算机可执行指令，这些计算机可执行指令存储在计算机可读介质上或者计算机可读存储设备上，如一个或多个非瞬时性存储器或其它类型的本地或联网的硬件存储设备。此外，这些功能对应模块，这些模块可以是软件、硬件、固件或其任意组合。多个功能可根据需要在一个或多个模块中执行，所描述的实施例仅为示例。该软件可在数字信号处理器、ASIC、微处理器上执行或者在个人计算机、服务器、或其它计算机系统等其它类型的计算机系统上运行的处理器上执行，从而将这些计算机系统转换成一个专门编程的机器。
虽然上文详细描述了几个实施例但是可能进行其它修改。例如为了获得期望的结果附图中描绘的逻辑流不需要按照所示的特定顺序或者先后顺序。可以提供其它步骤或者从所描述的流程中去除步骤，所描述的系统中可以添加或移除其它组件。其它实施例可以在所附权利要求书的范围内。

Claims (20)

1.一种自动驾驶车辆中的对象识别系统，其特征在于，所述系统包括：
非瞬时性存储器，包括指令和图像特征数据库；
与存储器通信的一个或多个处理器，所述一个或多个处理器执行所述指令以执行：
下载与出发点和目的地之间的路线相关联的道路对象数据库；
从所述自动驾驶车辆的多个传感器中接收传感器数据；
将所述传感器数据与所述道路对象数据库中的数据进行比较；
如果在所述道路对象数据库中未找到所述传感器数据，将所述传感器数据与所述图像特征数据库中的数据进行比较；
如果在所述图像特征数据库中未找到所述传感器数据，通过无线信道将所述传感器数据传输到互联网耦合数据库；
根据所述道路对象数据库、图像特征数据库或互联网耦合数据库中的至少一个数据库解读传感器数据；
通过所述自动驾驶车辆执行解读操作。
2.根据权利要求1所述的系统，其特征在于，所述多个传感器包括加速度计、罗盘、陀螺仪、高度计、气压计、温度计、雷达、激光雷达LIDAR和/或全球定位系统GPS接收器。
3.根据权利要求1所述的系统，其特征在于，如果在所述道路对象数据库或图像特征数据库中未找到所述传感器数据，所述一个或多个处理器还执行指令以更新所述道路对象数据库或图像特征数据库中的一个或多个。
4.根据权利要求1所述的系统，其特征在于，所述一个或多个处理器还控制传感器和存储器之间的传感器数据流处理。
5.根据权利要求1所述的系统，其特征在于，所述系统还包括至少一个无线电，用于操作无线通信技术，所述无线通信技术包括IEEE 802.11标准、全球移动通信系统GSM、码分多址CDMA、时分多址TDMA、蓝牙或长期演进LTE中的一个或多个。
6.根据权利要求1所述的系统，其特征在于，所述一个或多个处理器还执行指令以确定所述出发点和目的地之间的可能路线。
7.根据权利要求1所述的系统，其特征在于，所述一个或多个处理器还执行指令以根据用户偏好、交通、施工、自然灾害或天气中的一个或多个对一条或多条路线进行不同加权。
8.根据权利要求1所述的系统，其特征在于，所述一个或多个处理器还执行指令以下载所述道路对象数据库，所述道路对象数据库包括所述出发点和目的地之间的道路、十字路口、建筑物或固定对象的地理坐标中的一个或多个。
9.根据权利要求8所述的系统，其特征在于，针对不同路线下载所述道路对象数据库，所述图像特征数据库存储在所有路线的非瞬时性存储器中。
10.根据权利要求1所述的系统，其特征在于，所述一个或多个处理器还执行指令以通过不断采集包括传感器数据的道路流视图来进行道路对象数据库流查询。
11.一种用于自动驾驶车辆识别道路对象的计算机实现的方法，其特征在于，所述方法包括：
下载与出发点和目的地之间的路线相关联的道路对象数据库；
从所述自动驾驶车辆的多个传感器中接收传感器数据；
将所述传感器数据与所述道路对象数据库、图像特征数据库或互联网耦合数据库中的一个数据库中的数据进行比较，其中，按照所述道路对象数据库、图像特征数据库和互联网耦合数据库的顺序将传感器数据与每个数据库中的数据进行比较；
根据所述道路对象数据库、图像特征数据库或互联网耦合数据库中的至少一个数据库解读所述传感器数据；
通过所述自动驾驶车辆执行解读操作。
12.根据权利要求11所述的方法，其特征在于，还包括：确定所述出发点和目的地之间的路线。
13.根据权利要求11所述的方法，其特征在于，将所述传感器数据与所述图像特征数据库进行比较包括：
从所述传感器数据中提取图像特征；
从提取的图像特征中生成搜索对象；
根据所述搜索对象搜索所述图像特征数据库。
14.根据权利要求11所述的方法，其特征在于，将所述传感器数据与所述道路对象数据库进行比较包括：
不断将道路图像与所述道路对象数据库进行比较。
15.根据权利要求11所述的方法，其特征在于，所述执行解读操作包括控制所述自动驾驶车辆。
16.一种用于自动驾驶车辆中的对象识别的基于图的方法，其特征在于，所述方法包括：
生成静态数据库和流数据库，所述静态数据库包括具有所述自动驾驶车辆的起点和目的地之间的路线的关联元数据的参考固定道路对象，所述流数据库包括从车辆传感器中采集的传感器数据以及关联元数据；
将所述静态数据库中的对象分为固定对象和临时对象；
随着车辆移动根据来自传感器流数据的对象更新所述流数据库；
从所述传感器流数据中关联对象的时间和位置；
将所述流数据库与静态数据库进行比较，从而从所述传感器流数据中识别对象。
17.根据权利要求16所述的方法，其特征在于，还包括：
将天气信息和道路状况信息与所述静态数据库中的固定道路对象相关联；
将人分类为临时对象。
18.根据权利要求16所述的方法，其特征在于，所述自动驾驶车辆包括GPS跟踪设备，用于生成时间和位置，所述方法还包括：使用来自所述传感器流数据的对象的更新的时间和位置更新所述流数据库。
19.根据权利要求16所述的方法，其特征在于，来自所述传感器流数据的对象包括对象数据序列，所述方法还包括：
当来自所述传感器流数据的观察对象数据序列包括与对应的参考固定道路对象数据序列不同的对象数据序列长度时，关联的时间和位置用于识别观察所述对象数据序列和所述参考固定道路对象数据序列之间的任何类似区域；
确定所述观察对象数据序列和所述参考固定道路对象数据序列之间的差异；
根据所述观察对象数据序列和所述参考道路对象数据序列之间的差异更新所述静态数据库。
20.根据权利要求16所述的方法，其特征在于，来自所述传感器流数据的对象由所述自动驾驶车辆的多个传感器感测。
CN201880001084.7A 2017-02-02 2018-01-24 自动驾驶车辆中的对象识别 Pending CN108700879A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/423,085 US10929462B2 (en) 2017-02-02 2017-02-02 Object recognition in autonomous vehicles
US15/423,085 2017-02-02
PCT/CN2018/074041 WO2018141223A1 (en) 2017-02-02 2018-01-24 Object recognition in autonomous vehicles

Publications (1)

Publication Number Publication Date
CN108700879A true CN108700879A (zh) 2018-10-23

Family

ID=62979864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880001084.7A Pending CN108700879A (zh) 2017-02-02 2018-01-24 自动驾驶车辆中的对象识别

Country Status (3)

Country Link
US (1) US10929462B2 (zh)
CN (1) CN108700879A (zh)
WO (1) WO2018141223A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111284483A (zh) * 2018-11-22 2020-06-16 大众汽车有限公司 用于支持自动化行驶的车辆的方法和系统
CN111381269A (zh) * 2018-12-28 2020-07-07 沈阳美行科技有限公司 车辆定位方法、装置、电子设备、计算机可读存储介质
US10860028B2 (en) * 2017-08-14 2020-12-08 Honda Motor Co., Ltd. Vehicle control apparatus, vehicle control method, and program
CN113246858A (zh) * 2019-02-27 2021-08-13 百度在线网络技术（北京）有限公司 车辆行驶状态图像生成方法、设备和系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11360808B2 (en) * 2017-04-09 2022-06-14 Intel Corporation Efficient thread group scheduling
US10397497B1 (en) * 2017-08-14 2019-08-27 Apple Inc. Solar invariant imaging system for object detection
FR3077382B1 (fr) * 2018-01-30 2020-02-21 Transdev Group Procede et dispositif electronique de controle de la vitesse d'un vehicule autonome, programme d'ordinateur, vehicule autonome et plateforme de supervision associes
US11052918B2 (en) * 2018-06-13 2021-07-06 City University Of Hong Kong System and method for controlling operation of an autonomous vehicle
JPWO2020110915A1 (ja) * 2018-11-30 2021-10-14 ソニーグループ株式会社 情報処理装置、および情報処理システム、並びに情報処理方法
KR102653342B1 (ko) * 2019-05-20 2024-04-02 현대모비스 주식회사 자율 주행 장치 및 방법
CN111008320A (zh) * 2019-12-17 2020-04-14 北京明略软件系统有限公司 数据处理方法、装置及电子设备
JP2021193524A (ja) * 2020-06-08 2021-12-23 トヨタ自動車株式会社 制御装置、システム、プログラム、端末装置、及び調整方法
CN113553508A (zh) * 2021-07-28 2021-10-26 中国第一汽车股份有限公司 一种路况模型生成方法、装置、存储介质及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020059296A1 (en) * 1998-04-14 2002-05-16 Giichi Hayashi System for and method of providing map information
CN101351685A (zh) * 2006-05-29 2009-01-21 丰田自动车株式会社 自身车辆位置测定装置
CN101641610A (zh) * 2007-02-21 2010-02-03 电子地图北美公司 用于包含绝对及相对坐标的车辆导航及领航的系统及方法
CN102208035A (zh) * 2010-03-31 2011-10-05 爱信艾达株式会社 图像处理系统及位置测量系统
CN102460074A (zh) * 2009-06-01 2012-05-16 罗伯特·博世有限公司 用于组合三维位置和二维强度地图绘制进行定位的方法和装置
CN102656532A (zh) * 2009-10-30 2012-09-05 悠进机器人股份公司 用于移动机器人位置识别的地图的生成及更新方法
CN105210128A (zh) * 2013-04-10 2015-12-30 谷歌公司 地图构建活跃的和不活跃的施工地带以用于自主驾驶
CN105674993A (zh) * 2016-01-15 2016-06-15 武汉光庭科技有限公司 基于双目相机的高精度视觉定位地图生成系统及方法
CN105741595A (zh) * 2016-04-27 2016-07-06 常州加美科技有限公司 一种基于云端数据库的无人驾驶车辆导航行车方法
CN105865419A (zh) * 2015-01-22 2016-08-17 青岛通产软件科技有限公司 基于地面特征的移动机器人的自主精确定位系统及方法
CN105929823A (zh) * 2016-04-29 2016-09-07 大连楼兰科技股份有限公司 基于现有地图的自动驾驶系统及其驾驶方法
US20170010106A1 (en) * 2015-02-10 2017-01-12 Mobileye Vision Technologies Ltd. Crowd sourcing data for autonomous vehicle navigation

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPP009697A0 (en) 1997-10-29 1997-11-20 Canon Information Systems Research Australia Pty Ltd Image interpretation method and apparatas
US7065716B1 (en) 2000-01-19 2006-06-20 Xerox Corporation Systems, methods and graphical user interfaces for previewing image capture device output results
US6629104B1 (en) 2000-11-22 2003-09-30 Eastman Kodak Company Method for adding personalized metadata to a collection of digital images
US20030039410A1 (en) 2001-08-23 2003-02-27 Beeman Edward S. System and method for facilitating image retrieval
US7430002B2 (en) 2001-10-03 2008-09-30 Micron Technology, Inc. Digital imaging system and method for adjusting image-capturing parameters using image comparisons
US8015204B2 (en) 2001-10-16 2011-09-06 Microsoft Corporation Scoped access control metadata element
US7197158B2 (en) 2002-06-28 2007-03-27 Microsoft Corporation Generation of metadata for acquired images
US7355528B2 (en) * 2003-10-16 2008-04-08 Hitachi, Ltd. Traffic information providing system and car navigation system
US20060288006A1 (en) 2003-10-23 2006-12-21 Xerox Corporation Methods and systems for attaching keywords to images based on database statistics
US20050091232A1 (en) 2003-10-23 2005-04-28 Xerox Corporation Methods and systems for attaching keywords to images based on database statistics
US7872669B2 (en) * 2004-01-22 2011-01-18 Massachusetts Institute Of Technology Photo-based mobile deixis system and related techniques
US7437005B2 (en) 2004-02-17 2008-10-14 Microsoft Corporation Rapid visual sorting of digital files and data
US7421125B1 (en) 2004-03-10 2008-09-02 Altor Systems Inc. Image analysis, editing and search techniques
US8132204B2 (en) 2004-04-07 2012-03-06 Visible World, Inc. System and method for enhanced video selection and categorization using metadata
US8423125B2 (en) 2004-11-09 2013-04-16 Spectrum Dynamics Llc Radioimaging
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
US7580952B2 (en) 2005-02-28 2009-08-25 Microsoft Corporation Automatic digital image grouping using criteria based on image metadata and spatial information
US7702681B2 (en) 2005-06-29 2010-04-20 Microsoft Corporation Query-by-image search and retrieval system
JP4810420B2 (ja) 2006-02-24 2011-11-09 キヤノン株式会社 画像処理装置及び画像処理方法、サーバ及びその制御方法、プログラム並びに記憶媒体
US8996983B2 (en) 2006-05-09 2015-03-31 Koninklijke Philips N.V. Device and a method for annotating content
US7870140B2 (en) 2006-06-12 2011-01-11 D&S Consultants, Inc. System and method of incorporating user preferences in image searches
US8631012B2 (en) 2006-09-29 2014-01-14 A9.Com, Inc. Method and system for identifying and displaying images in response to search queries
US20080104099A1 (en) 2006-10-31 2008-05-01 Motorola, Inc. Use of information correlation for relevant information
US8478760B2 (en) 2006-11-17 2013-07-02 Oracle International Corporation Techniques of efficient query over text, image, audio, video and other domain specific data in XML using XML table index with integration of text index and other domain specific indexes
JP2008165303A (ja) 2006-12-27 2008-07-17 Fujifilm Corp コンテンツ登録装置、及びコンテンツ登録方法、及びコンテンツ登録プログラム
US8473525B2 (en) 2006-12-29 2013-06-25 Apple Inc. Metadata generation for image files
KR101474353B1 (ko) * 2007-11-23 2014-12-23 삼성전자주식회사 자바 레코드 관리 시스템을 이용한 위치서비스의 랜드마크정보를 공유하기 위한 방법 및 장치
US8200025B2 (en) 2007-12-07 2012-06-12 University Of Ottawa Image classification and search
US8131018B2 (en) * 2008-02-08 2012-03-06 Tk Holdings Inc. Object detection and recognition system
US8611585B2 (en) * 2008-04-24 2013-12-17 GM Global Technology Operations LLC Clear path detection using patch approach
US8370293B2 (en) 2008-08-21 2013-02-05 Terarecon Inc. Workflow template management for medical image data processing
US8744665B2 (en) 2009-07-28 2014-06-03 Yujin Robot Co., Ltd. Control method for localization and navigation of mobile robot and mobile robot using the same
US8660355B2 (en) * 2010-03-19 2014-02-25 Digimarc Corporation Methods and systems for determining image processing operations relevant to particular imagery
KR101116434B1 (ko) * 2010-04-14 2012-03-07 엔에이치엔(주) 이미지를 이용한 쿼리 제공 방법 및 시스템
US8738623B2 (en) 2010-05-21 2014-05-27 Benjamin Henry Woodard Global reverse lookup public opinion directory
US8725738B1 (en) 2010-10-29 2014-05-13 Gemvision Corporation, LLC System of organizing, displaying and searching data
US9140792B2 (en) * 2011-06-01 2015-09-22 GM Global Technology Operations LLC System and method for sensor based environmental model construction
US8195394B1 (en) * 2011-07-13 2012-06-05 Google Inc. Object detection and classification for autonomous vehicles
JP5724755B2 (ja) 2011-08-26 2015-05-27 株式会社リコー 撮像システム
US9476970B1 (en) * 2012-03-19 2016-10-25 Google Inc. Camera based localization
US8718861B1 (en) * 2012-04-11 2014-05-06 Google Inc. Determining when to drive autonomously
GB201216788D0 (en) * 2012-09-20 2012-11-07 Tom Tom Dev Germany Gmbh Method and system for determining a deviation in the course of a navigable stretch
US9489635B1 (en) * 2012-11-01 2016-11-08 Google Inc. Methods and systems for vehicle perception feedback to classify data representative of types of objects and to request feedback regarding such classifications
US8855849B1 (en) * 2013-02-25 2014-10-07 Google Inc. Object detection based on known structures of an environment of an autonomous vehicle
US9495602B2 (en) 2013-10-23 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Image and map-based detection of vehicles at intersections
US9563199B1 (en) * 2013-11-27 2017-02-07 Google Inc. Assisted perception for autonomous vehicles
US9165477B2 (en) * 2013-12-06 2015-10-20 Vehicle Data Science Corporation Systems and methods for building road models, driver models, and vehicle models and making predictions therefrom
US9274782B2 (en) 2013-12-20 2016-03-01 International Business Machines Corporation Automated computer application update analysis
US9550419B2 (en) * 2014-01-21 2017-01-24 Honda Motor Co., Ltd. System and method for providing an augmented reality vehicle interface
US9384402B1 (en) * 2014-04-10 2016-07-05 Google Inc. Image and video compression for remote vehicle assistance
US9628565B2 (en) * 2014-07-23 2017-04-18 Here Global B.V. Highly assisted driving platform
KR101610502B1 (ko) 2014-09-02 2016-04-07 현대자동차주식회사 자율주행차량의 주행환경 인식장치 및 방법
US9459626B2 (en) * 2014-12-11 2016-10-04 Here Global B.V. Learning signs from vehicle probes
US9285805B1 (en) * 2015-07-02 2016-03-15 Geodigital International Inc. Attributed roadway trajectories for self-driving vehicles
US9463794B1 (en) * 2015-09-04 2016-10-11 Google Inc. Stop sign detection and response
US10323952B2 (en) * 2016-04-26 2019-06-18 Baidu Usa Llc System and method for presenting media contents in autonomous vehicles

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020059296A1 (en) * 1998-04-14 2002-05-16 Giichi Hayashi System for and method of providing map information
CN101351685A (zh) * 2006-05-29 2009-01-21 丰田自动车株式会社 自身车辆位置测定装置
CN101641610A (zh) * 2007-02-21 2010-02-03 电子地图北美公司 用于包含绝对及相对坐标的车辆导航及领航的系统及方法
CN102460074A (zh) * 2009-06-01 2012-05-16 罗伯特·博世有限公司 用于组合三维位置和二维强度地图绘制进行定位的方法和装置
CN102656532A (zh) * 2009-10-30 2012-09-05 悠进机器人股份公司 用于移动机器人位置识别的地图的生成及更新方法
CN102208035A (zh) * 2010-03-31 2011-10-05 爱信艾达株式会社 图像处理系统及位置测量系统
CN105210128A (zh) * 2013-04-10 2015-12-30 谷歌公司 地图构建活跃的和不活跃的施工地带以用于自主驾驶
CN105865419A (zh) * 2015-01-22 2016-08-17 青岛通产软件科技有限公司 基于地面特征的移动机器人的自主精确定位系统及方法
US20170010106A1 (en) * 2015-02-10 2017-01-12 Mobileye Vision Technologies Ltd. Crowd sourcing data for autonomous vehicle navigation
CN105674993A (zh) * 2016-01-15 2016-06-15 武汉光庭科技有限公司 基于双目相机的高精度视觉定位地图生成系统及方法
CN105741595A (zh) * 2016-04-27 2016-07-06 常州加美科技有限公司 一种基于云端数据库的无人驾驶车辆导航行车方法
CN105929823A (zh) * 2016-04-29 2016-09-07 大连楼兰科技股份有限公司 基于现有地图的自动驾驶系统及其驾驶方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10860028B2 (en) * 2017-08-14 2020-12-08 Honda Motor Co., Ltd. Vehicle control apparatus, vehicle control method, and program
CN111284483A (zh) * 2018-11-22 2020-06-16 大众汽车有限公司 用于支持自动化行驶的车辆的方法和系统
US11520350B2 (en) 2018-11-22 2022-12-06 Volkswagen Aktiengesellschaft Process and system for supporting an autonomous vehicle
CN111381269A (zh) * 2018-12-28 2020-07-07 沈阳美行科技有限公司 车辆定位方法、装置、电子设备、计算机可读存储介质
CN111381269B (zh) * 2018-12-28 2023-09-05 沈阳美行科技股份有限公司 车辆定位方法、装置、电子设备、计算机可读存储介质
CN113246858A (zh) * 2019-02-27 2021-08-13 百度在线网络技术（北京）有限公司 车辆行驶状态图像生成方法、设备和系统

Also Published As

Publication number Publication date
WO2018141223A1 (en) 2018-08-09
US20180217607A1 (en) 2018-08-02
US10929462B2 (en) 2021-02-23

Similar Documents

Publication Publication Date Title
CN108700879A (zh) 自动驾驶车辆中的对象识别
US11422554B2 (en) Self-aware system for adaptive navigation
CN107228676B (zh) 来自连接的车辆队列的地图更新
US9576200B2 (en) Background map format for autonomous driving
WO2020263214A1 (en) Phantom traffic jam detection and avoidance
US11753020B2 (en) Update system and electronic control device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181023

RJ01 Rejection of invention patent application after publication