CN106461774B - 基于雷达提示视觉成像的高级驾驶员辅助系统 - Google Patents

基于雷达提示视觉成像的高级驾驶员辅助系统 Download PDF

Info

Publication number
CN106461774B
CN106461774B CN201580018932.1A CN201580018932A CN106461774B CN 106461774 B CN106461774 B CN 106461774B CN 201580018932 A CN201580018932 A CN 201580018932A CN 106461774 B CN106461774 B CN 106461774B
Authority
CN
China
Prior art keywords
vehicle
image
processing unit
capture device
multiple images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580018932.1A
Other languages
English (en)
Other versions
CN106461774A (zh
Inventor
K.罗森布拉姆
E.达甘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Royal Vision Technology Co Ltd
Original Assignee
Royal Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Royal Vision Technology Co Ltd filed Critical Royal Vision Technology Co Ltd
Priority to CN201910248611.0A priority Critical patent/CN109884618B/zh
Publication of CN106461774A publication Critical patent/CN106461774A/zh
Application granted granted Critical
Publication of CN106461774B publication Critical patent/CN106461774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G01S13/426—Scanning radar, e.g. 3D radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318—Controlling the steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9319—Controlling the accelerator
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93273—Sensor installation details on the top of the vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Abstract

用于车辆的导航系统可以包括配置为获取车辆的环境的多个图像的至少一个图像捕捉装置和检测车辆的环境中的对象并提供包括指示车辆和所述对象之间的范围或范围变化率中的至少一个的范围信息的输出的雷达传感器。所述系统还可以包括至少一个处理装置，被编程为：从所述至少一个图像捕捉装置接收所述多个图像；从所述雷达传感器接收所述输出；对于来自所述多个图像之中第一图像中的多个图像片段的每个以及对于来自所述多个图像之中第二图像中的对应的图像片段，确定光流的指示符。使用基于所述雷达传感器的输出连同对于所述第一图像中的多个图像片段的每个以及所述第二图像中的对应的图像片段确定的所述光流的指示符确定的范围信息，对于多个成像区域的每个计算至少一个指示延伸焦距的值；识别目标对象区域，其包括共享基本上相似的延伸焦距的所述成像区域的至少一个子集；以及基于所识别的目标对象区域引起系统响应。

Description

基于雷达提示视觉成像的高级驾驶员辅助系统
相关申请的交叉引用
本申请要求于2014年2月20日提交的美国临时专利申请No.61/942,088的优先权的权利。通过引用将前述申请全部并入本文。
技术领域
本公开一般涉及车辆导航，更具体地，涉及相对于检测到的对象融合雷达和视觉信息进行导航的系统和方法。
背景技术
为了帮助车辆的导航，无论在驾驶员辅助系统还是自主车辆中，可以采用各种传感器。这样的传感器可以包括雷达单元和摄像机等。这些传感器可以从车辆的环境收集信息，并使用所收集的信息相对于存在于车辆的环境中的各种对象、危险等做出导航决定。例如，传感器可以收集与道路中的对象、其他车辆、灯杆、护栏、行人等相关联的信息。从车载(onboard)传感器系统收集到的信息可以使得驾驶员辅助或自主驾驶系统能够识别车辆的环境中的对象，并采取适当的动作以减少或最小化碰撞的风险。
发明内容
根据本公开的实施例提供用于自主车辆导航的系统和方法。所公开的实施例可以使用摄相机和/或雷达来提供自主车辆导航特征。
根据所公开的实施例，用于车辆的导航系统可以包括：至少一个图像捕捉装置，配置为获取车辆的环境的多个图像；以及雷达传感器，检测在车辆的环境中的对象并提供指示在所述车辆和所述对象之间的范围和/或范围变化率的输出。所述系统还可以包括至少一个处理装置，被编程为：从所述至少一个图像捕捉装置接收所述多个图像；从所述雷达传感器接收所述输出；对于来自所述多个图像之中的第一图像中的多个图像段的每个以及来自所述多个图像之中的第二图像中的对应的图像段，确定光流的指示符；至少基于从雷达传感器的输出确定的范围和/或范围变化率信息，确定指示与所述多个图像中的所述对象相关联的期望光膨胀的值；确定所述第二图像的一个或多个区域，在所述一个或多个区域中，指示与所述对象相关联的期望光膨胀的值基本上与光流的指示符匹配；识别目标对象区域，至少包括所确定的第二图像的一个或多个区域的子集；以及基于所识别的目标对象区域引起系统响应。
所公开的实施例还可以包括包含导航系统的车辆。所述导航系统可以包括：至少一个图像捕捉装置，配置为获取车辆的环境的多个图像；以及雷达传感器，检测在车辆的环境中的对象并提供指示在所述车辆和所述对象之间的范围和/或范围变化率的输出。所述系统还可以包括至少一个处理装置，被编程为：从所述至少一个图像捕捉装置接收所述多个图像；从所述雷达传感器接收所述输出；对于来自所述多个图像之中的第一图像中的多个图像段的每个以及来自所述多个图像之中的第二图像中的对应的图像段，确定光流的指示符；至少基于从雷达传感器的输出确定的范围和/或范围变化率信息，确定指示与所述多个图像中的所述对象相关联的期望光膨胀的值；确定所述第二图像的一个或多个区域，在所述一个或多个区域中，指示与所述对象相关联的期望光膨胀的值基本上与光流的指示符匹配；识别目标对象区域，至少包括所确定的第二图像的一个或多个区域的子集；以及基于所识别的目标对象区域引起系统响应。
所公开的实施例还可以包括用于基于雷达检测和视觉图像数据来导航车辆的方法。所述方法可以包括：获取车辆的环境的多个图像；使用雷达传感器检测车辆的环境中的对象，并提供指示所述对象和车辆之间的范围和/或范围变化率的雷达传感器的输出；在一个或多个处理装置处接收来自所述至少一个图像捕捉装置的所述多个图像和来自雷达传感器的所述输出；对于来自所述多个图像之中的第一图像中的多个图像段的每个以及来自所述多个图像之中的第二图像中的对应的图像段，确定光流的指示符；基于由所述雷达传感器提供的范围信息和所确定的光流的指示符，识别具有基本上共同的延伸焦点的目标对象区域；以及基于所识别的目标对象区域引起系统响应。
所公开的实施例可以包括用于车辆的导航系统。所述系统可以包括：至少一个图像捕捉装置，配置为获取车辆的环境的多个图像；雷达传感器，检测在车辆的环境中的对象并提供指示在所述车辆和所述对象之间的范围和/或范围变化率的输出；以及至少一个处理装置。所述至少一个处理装置可以被编程为：从所述至少一个图像捕捉装置接收所述多个图像；从所述雷达传感器接收所述输出；对于来自所述多个图像之中的第一图像中的多个图像段的每个以及来自所述多个图像之中的第二图像中的对应的图像段，确定光流的指示符；基于由所述雷达传感器提供的范围和/或范围变化率信息和所确定的光流的指示符，识别具有基本上共同的延伸焦点的目标对象区域；以及基于所识别的目标对象区域引起系统响应。
根据其他所公开的实施例，非瞬时计算机可读存储介质可以存储程序指令，所述程序指令由至少一个处理装置执行并执行任何本文所描述的方法。
前面的一般性描述和接下来的详细描述仅是示例性和说明性的，并不限制权利要求。
附图说明
并入本公开中并构成本公开的一部分的附图示出所公开的各种实施例。附图中：
图1是根据所公开的实施例的示例系统的图示表示。
图2A是包括根据所公开实施例的系统的示例车辆的图示性侧视图表示。
图2B是根据所公开实施例的图2A所示的车辆和系统的图示性顶视图表示。
图2C是包括根据所公开实施例的系统的车辆的另一实施例的图示性顶视图表示。
图2D是包括根据所公开实施例的系统的车辆的又一实施例的图示性顶视图表示。
图2E是包括根据所公开实施例的系统的车辆的又一实施例的图示性顶视图表示。
图2F是根据所公开实施例的示例车辆控制系统的图示性表示。
图3A是根据所公开实施例的包括后视镜和用于车辆成像系统的用户界面的车辆的内部的图示性表示。
图3B是根据所公开实施例的配置为定位在后视镜之后并相对于车辆挡风玻璃的摄像机安装的示例的例示。
图3C是根据所公开实施例的图3B所示的摄像机安装从不同的视角的例示。
图3D是根据所公开实施例的配置为定位在后视镜之后并与车辆挡风玻璃相对的摄像机安装的示例的例示。
图4是根据所公开实施例的配置为存储用于执行一个或多个操作的指令的存储器的示例框图。
图5A示出是根据所公开实施例的用于基于单眼图像分析引起一个或多个导航响应的示例处理的流程图。
图5B是示出根据所公开实施例的用于在一组图像中检测一个或多个车辆和/或行人的示例性处理的流程图。
图5C是示出根据所公开实施例的用于在一组图像中检测道路标记和/或车道几何信息的示例处理的流程图。
图5D是示出根据所公开实施例的用于在一组图像中检测交通灯的示例处理的流程图。
图5E是示出根据所公开实施例的用于基于车辆路径引起一个或多个导航响应的示例处理的流程图。
图5F是示出根据所公开实施例的用于确定前方车辆是否正在改变车道的示例处理的流程图。
图6是示出根据所公开实施例的用于基于立体图像分析引起一个或多个导航响应的示例处理的流程图。
图7是示出根据所公开实施例的用于基于三组图像的分析引起一个或多个导航响应的示例处理的流程图。
图8是根据所公开的实施例的示例系统的图示性表示。
图9A是包括根据所公开的实施例的系统的示例车辆的图示性侧视图表示。
图9B是根据所公开的实施例的图9A所示的车辆和系统的图示性顶视图表示。
图9C是包括根据所公开的实施例的系统的车辆的另一实施例的图示性顶视图表示。
图9D是包括根据所公开的实施例的系统的车辆的又一实施例的图示性顶视图表示。
图9E是包括根据所公开的实施例的系统的车辆的又一实施例的图示性顶视图表示。
图10车辆可以在其中行驶的环境的图示性表示。
图11A表示车辆的环境内的对象的图像。
图11B表示车辆的环境内的对象的另一图像，从其可以确定相对于图11A的图像的光流。
图12A表示相对于图11A的对象的水平光流图。
图12B表示相对于图11A的对象的垂直光流图。
图13表示根据所公开的示例实施例的从光流信息和雷达范围信息得到的目标对象区域。
具体实施方式
接下来的详细描述参考附图。只要可能，在附图和接下来的描述中使用相同的参考标号来指代相同或相似的部分。尽管本文描述了若干示例性实施例，但是修改、改编和其他实现方式是可能的。例如，可以对附图中示出的组件做出替换、添加或修改，并且可以通过对所公开的方法进行步骤的替换、重新排序、移除或添加来对本文描述的示例性方法进行修改。因此，接下来的详细描述并不限于所公开的实施例和示例。相反，适当的范围由所附权利要求限定。
图1是根据所公开的示例实施例的系统100的框图表示。取决于特定实现方式的要求，系统100可以包括各种组件。在一些实施例中，系统100可以包括处理单元110、图像获取单元120、位置传感器130、一个或多个存储器单元140、150、地图数据库160和用户界面170。处理单元110可以包括一个或多个处理装置。在一些实施例中，处理单元110可以包括应用处理器180、图像处理器190或任何其他合适的处理装置。类似地，取决于特定应用的要求，图像获取单元120可以包括任意数量的图像获取装置和组件。在一些实施例中，图像获取单元120可以包括一个或多个图像捕捉装置(例如，摄像机)，诸如图像捕捉装置122、图像捕捉装置124和图像捕捉装置126。系统100还可以包括将处理装置110通信地连接到图像获取装置120的数据接口128。例如，数据接口128可以包括用于将由图像获取装置120获取的图像数据发送到处理单元110的任何有线和/或无线链路或多个链路。
应用处理器180和图像处理器190两者都可以包括各种类型的处理装置。例如，应用处理器180和图像处理器190的任一者或两者可以包括微处理器、预处理器(诸如图像预处理器)、图形处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、存储器或适用于运行应用和适用于图像处理和分析的任何其他类型的装置。在一些实施例中，应用处理器180和/或图像处理器190可以包括任何类型的单核或多核处理器、移动装置微控制器、中央处理单元等。可以使用各种处理装置，包括例如可从诸如 等制造商获得的处理器，并且可以包括各种架构(例如，x86处理器、等)。
在一些实施例中，应用处理器180和/或图像处理器190可以包括可从获得的任何EyeQ系列处理器芯片。这些处理器设计每个包括具有本地存储器和指令集的多个处理单元。这种处理器可以包括用于从多个图像传感器接收图像数据的视频输入，并且还可以包括视频输出能力。在一个示例中，使用在332兆赫兹下操作的90纳米-微米技术。架构由两个浮点式超线程32位RISC CPU(核)、五个视觉计算引擎(VCE)、三个矢量微代码处理器丹那利(Denali)64位移动DDR控制器、128位内部声能互连、双16位视频输入和18位视频输出控制器、16通道DMA和若干外围设备构成。MIPS34K CPU管理这五个VCE、三个VMPTM和DMA、第二MIPS34K CPU和多通道DMA以及其他外围设备。这五个VCE、三个和MIPS34K CPU可以执行多功能捆绑应用所需要的密集视觉计算。在另一实例中，作为第三代处理器并且比强健六倍的可以在所公开的实施例中使用。
任何本文所公开的处理装置可以被配置为执行某些功能。配置诸如任何所描述的EyeQ处理器或其他控制器或微处理器的处理装置以执行某些功能可以包括对计算机可执行指令的编程并使处理装置在操作期间可获得这些指令以用于执行。在一些实施例中，配置处理装置可以包括直接利用架构指令对处理装置编程。在其他实施例中，配置处理装置可以包括将可执行指令存储在操作期间处理装置可访问的存储器上。例如，处理装置在操作期间可以访问该存储器以获得并执行所存储的指令。
尽管图1描绘包含在处理单元110中的两个单独的处理装置，但是可以使用更多或更少的处理装置。例如，在一些实施例中，可以使用单个处理装置完成应用处理器180和图像处理器190的任务。在其他实施例中，这些任务可以由两个以上的处理装置执行。
处理单元110可以包括各种类型的装置。例如，处理单元110可以包括诸如控制器、图像预处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、存储器或任何其他类型用于图像处理和分析的装置的各种装置。图像预处理器可以包括用于捕捉、数字化和处理来自图像传感器的影像的视频处理器。CPU可以包括任何数量的微控制器或微处理器。支持电路可以是任何数量的本领域公知的电路，包括高速缓存、电源、时钟和输入输出电路。存储器可以存储软件，该软件在由处理器执行时控制系统的操作。存储器可以包括数据库和图像处理软件。存储器可以包括任何数量的随机存取存储器、只读存储器、闪速存储器、盘驱动器、光存储、磁带存储、可移动存储和其他类型的存储。在一个实例中，存储器可以与处理单元110分离。在另一实例中，存储器可以被集成到处理单元110中。
每个存储器140、150可以包括软件指令，该软件指令在由处理器(例如，应用处理器180和/或图像处理器190)执行时可以控制系统100的各个方面的操作。这些存储器单元可以包括各种数据库和图像处理软件。存储器单元可以包括随机存取存储器、只读存储器、闪速存储器、盘驱动器、光存储、磁带存储、可移动存储和/或任何其他类型的存储器。在一些实施例中，存储器单元140、150可以与应用处理器180和/或图像处理器190分离。在其他实施例中，这些存储器单元可以被集成到应用处理器180和/或图像处理器190中。
位置传感器130可以包括任何类型的适用于确定与系统100的至少一个组件相关联的位置的装置。在一些实施例中，位置传感器130可以包括GPS接收器。这种接收器可以通过处理由全球定位系统卫星广播的信号来确定用户位置和速度。可以使得来自位置传感器130的位置信息对于应用处理器180和/或图像处理器190可用。
用户界面170可以包括任何适用于向系统100的一个或多个用户提供信息或从系统100的一个或多个用户接收输入的装置。在一些实施例中，用户界面170可以包括用户输入装置，包括例如触摸屏、麦克风、键盘、指针装置、跟踪转轮、摄像机、旋钮、按钮等。利用这种输入装置，用户能够通过键入指令或信息、提供语音命令、使用按钮、指针或眼睛跟踪能力在屏幕上选择菜单选项、或通过任何其他适用于向系统100传送信息的技术来向系统100提供信息输入或命令。
用户界面170可以配备有一个或多个配置为向用户提供和从用户接收信息并处理该信息用于由例如应用处理器180使用的处理装置。在一些实施例中，这种处理装置可以执行指令以识别和跟踪眼睛运动、接收和解释语音命令、识别和解释在触摸屏上做出的触摸和/或手势、响应键盘输入或菜单选择等。在一些实施例中，用户界面170可以包括显示器、扬声器、触觉装置和/或任何其他用于向用户提供输出信息的装置。
地图数据库160可以包括任何类型的用于存储对系统100有用的地图数据的数据库。在一些实施例中，地图数据库160可以包括与各种项目在参考坐标系统中的位置有关的数据，各种项目包括道路、水特征、地理特征、商业区、感兴趣的点、餐馆、加油站等。地图数据库160不仅可以存储这些项目的位置，而且可以存储与这些项目有关的描述符，包括例如与任何所存储的特征相关联的名称。在一些实施例中，地图数据库160可以物理上定位为与系统100的其他部件一起。替代或另外地，地图数据库160或其一部分可以相对于系统100的其他组件(例如，处理单元110)远程地定位。在这种实施例中，来自地图数据库160的信息可以经过与网络的有线或无线数据连接(例如，经过蜂窝网络和/或因特网等)而下载。
图像捕捉装置122、124和126每个可以包括任何类型的适用于从环境捕捉至少一个图像的装置。此外，可以使用任何数量的图像捕捉装置来获取用于输入到图像处理器的图像。一些实施例可以仅包括单个图像捕捉装置，而其他实施例可以包括两个、三个或甚至四个或更多个图像捕捉装置。以下将参考图2B-图2E进一步描述图像捕捉装置122、124和126。
系统100或其各种组件可以合并到各种不同的平台中。在一些实施例中，系统100可以被包括在车辆200上，如图2A所示。例如，车辆200可以配备有处理单元110和如上关于图1描述的系统100的任何其他组件。而在一些实施例中，车辆200可以仅配备有单个图像捕捉装置(例如，摄像机)，在其他实施例中，诸如结合图2B-图2E所讨论的那些，可以使用多个图像捕捉装置。例如，图2A中所示的车辆200的图像捕捉装置122和124的任一个可以是ADAS(高级驾驶员辅助系统)成像集的一部分。
包括在车辆200上作为图像获取单元120的一部分的图像捕捉装置可以被定位在任何合适的位置处。在一些实施例中，如图2A-图2E和图3A-图3C所示，图像捕捉装置122可以位于后视镜附近。这个位置可以提供与车辆200的驾驶员的视线类似的视线，其可以帮助确定什么是驾驶员可见的和什么是驾驶员不可见的。图像捕捉装置122可以定位在后视镜附近的任意位置处，但是将图像捕捉装置122放置在后视镜的驾驶员一侧可以进一步帮助获得表示驾驶员的视场和/或视线的图像。
还可以使用其他用于图像获取单元120的图像捕捉装置的位置。例如，图像捕捉装置124可以位于车辆200的保险杠上或保险杠中。这种位置尤其可以适用于具有宽视场的图像捕捉装置。位于保险杠的图像捕捉装置的视线可以与驾驶员的视线不同，并且因此，保险杠图像捕捉装置和驾驶员可能不总是看到相同的对象。图像捕捉装置(例如，图像捕捉装置122、124和126)还可以位于其他位置中。例如，图像捕捉装置可以位于车辆200的侧视镜的一个或两者之上或之中、车辆200的车顶上、车辆200的引擎罩上、车辆200的后备箱(trunk)上、车辆200的侧面上、安装在车辆200的任何车窗上，定位在车辆200的任何车窗的后面或定位在任何车窗的前面、以及安装在车辆200的前面和/或背面上的灯光轮廓(lightfigure)中或其附近等。
除了图像捕捉装置，车辆200还可以包括系统100的各种其他组件。例如，处理单元110可以与车辆的引擎控制单元(ECU)集成或者分离地被包括在车辆200上。车辆200还可以配备有诸如GPS接收器的位置传感器130，并且还可以包括地图数据库160和存储器单元140和150。
图2A是根据所公开的实施例的示例车辆成像系统的图示性侧视图表示。图2B是图2A中所示的实施例的图示性顶视图例示。如图2B所示，所公开的实施例可以包括车辆200，该车辆200在其主体中包括系统100，该系统100具有位于车辆200的后视镜附近和/或靠近驾驶员的第一图像捕捉装置122、位于车辆200的保险杠区域(例如，保险杠区域210的一个)之上或之中的第二图像捕捉装置124、以及处理单元110。
如图2C所示，图像捕捉装置122和124可以都位于车辆200的后视镜附近和/或靠近驾驶员。此外，尽管图2B和图2C示出了两个图像捕捉装置122和124，应理解的是，其他实施例可以包括两个以上的图像捕捉装置。例如，在图2D和图2E中所示的实施例中，第一、第二和第三图像捕捉装置122、124和126被包括在车辆200的系统100中。
如图2D所示，图像捕捉装置122可以位于车辆200的后视镜附近和/或靠近驾驶员，并且图像捕捉装置124和126可以位于车辆200的保险杠区域(例如，保险杠区域210的一个)之上或之中。并且如图2E所示，图像捕捉装置122、124和126可以位于车辆200的后视镜附近和/或靠近驾驶席。所公开的实施例不限于图像捕捉装置的任何特定数量和配置，并且图像捕捉装置可以位于车辆200内或车辆200上的任何合适的位置中。
应理解的是，所公开的实施例不限于车辆，并且可以被应用在其他情景中。还应理解，所公开的实施例不限于车辆200的特定类型，并且可以适用于所有类型的车辆，包括汽车、卡车、拖车和其他类型的车辆。
第一图像捕捉装置122可以包括任何合适类型的图像捕捉装置。图像捕捉装置122可以包括光轴。在一个实例中，图像捕捉装置122可以包括具有全局快门的Aptina M9V024WVGA传感器。在其他实施例中，图像捕捉装置122可以提供1280×960像素的分辨率，并且可以包括滚动快门。图像捕捉装置122可以包括各种光学元件。在一些实施例中，可以包括一个或多个镜头，例如以为图像捕捉装置提供期望的焦距和视场。在一些实施例中，图像捕捉装置122可以与6毫米镜头或12毫米镜头相关联。在一些实施例中，如图2D所示，图像捕捉装置122可以配置为捕捉具有期望的视场(FOV)202的图像。例如，图像捕捉装置122可以配置为具有常规FOV，诸如在40度到56度的范围内，包括46度FOV、50度FOV、52度FOV，或更大的。可替代地，图像捕捉装置122可以配置为具有在23至40度的范围内的窄FOV，诸如28度FOV或36度FOV。此外，图像捕捉装置122可以配置为具有在100至180度的范围内的宽FOV。在一些实施例中，图像捕捉装置122可以包括广角保险杠摄相机或者具有高达180度的FOV的摄像机。
第一图像捕捉装置122可以获取多个关于与车辆200相关联的的场景的第一图像。多个第一图像的每个可以作为一系列的图像扫描线而被获取，其可使用滚动快门来捕捉。每个扫描线可以包括多个像素。
第一图像捕捉装置122可以具有与每个第一系列图像扫描线的获取相关联的扫描速率。扫描速率可以指代图像传感器可以以该扫描速率获取与包含在特定扫描线中的每个像素相关联的图像数据。
图像捕捉装置122、124和126可以包含任何合适的类型和数量的图像传感器，例如，包括CCD传感器或CMOS传感器等。在一个实施例中，可以采用CMOS图像传感器以及滚动快门，以使得一行中的每个像素一次被读取一个，并且各行的扫描以逐行基础继续进行，直到已经捕捉了整个图像帧。在一些实施例中，可以相对于帧从顶部到底部顺序地捕捉各行。
滚动快门的使用可能导致不同行中的像素在不同的时间被曝光和捕捉，这可能引起所捕捉的图像帧中的扭曲和其他图像伪像。另一方面，当图像捕捉装置122配置为利用全局或同步快门操作时，所有像素可以以相同量的时间并且在共同曝光时段期间被曝光。其结果是，在从采用全局快门的系统收集的帧中的图像数据表示在特定时间的整个FOV(诸如FOV 202)的快照。相对照，在滚动快门应用中，帧中的每行在不同时间被曝光并且数据被捕捉。因此，在具有滚动快门的图像捕捉装置中，移动对象可能出现失真。将在下面更详细地描述这种现象。
第二图像捕捉装置124和第三图像捕捉装置126可以是任何类型的图像捕捉装置。类似于第一图像捕捉装置122，图像捕捉装置124和126的每个可以包括光轴。在一个实施例中，图像捕捉装置124和126的每个可以包括具有全局快门的Aptina M9V024 WVGA传感器。可替代地，图像捕捉装置124和126的每个可以包括滚动快门。类似于图像捕捉装置122，图像捕捉装置124和126可以配置为包括各种镜头和光学元件。在一些实施例中，与图像捕捉装置124和126相关联的镜头可以提供与关联于图像捕捉装置122的FOV(诸如FOV 202)相同比该FOV更窄的FOV(诸如FOV 204和206)。例如，图像捕捉装置124和126可以具有40度、30度、26度、23度、20度或更小的FOV。
图像捕捉装置124和126可以获取多个关于与车辆200相关联的场景的第二和第三图像。该多个第二和第三图像的每个可以作为第二和第三系列的图像扫描线而被获取，这可以使用滚动快门进行捕捉。每个扫描线或行可以具有多个像素。图像捕捉装置124和126可以具有与被包含在第二和第三系列中的每个图像扫描线的获取相关联的第二和第三扫描速率。
每个图像捕捉装置122、124和126可以位于相对于车辆200的任何合适的位置和方向处。可以选择图像捕捉装置122、124和126的相对位置以帮助将从图像捕捉装置获取的信息融合在一起。例如，在一些实施例中，与图像捕捉装置124相关联的FOV(诸如FOV 204)可能部分地或完全地和与图像捕捉装置122相关联的FOV(例如FOV 202)以及与图像捕捉装置126相关联的FOV(例如FOV 206)重叠。
图像捕捉装置122、124和126可以定位在车辆200上的任何合适的相对高度处。在一个实例中，在图像捕捉装置122、124和126之间可以存在高度差，其可以提供足够的视差信息以使能立体分析。例如，如图2A所示，两个图像捕捉装置122和124在不同的高度处。例如，在图像捕捉装置122、124和126之间还可以存在横向位移差，为处理单元110的立体分析给出了额外的视差信息。如图2C和图2D所示，横向位移的差异可以通过dx表示。在一些实施例中，图像捕捉装置122、124和126之间可能存在前向或后向位移(例如，范围位移)。例如，图像捕捉装置122可以定位在图像捕捉装置124和/或图像捕捉装置126之后0.5到2米或以上。这种类型的位移可以使得图像捕捉装置之一能够覆盖其他(一个或多个多个)图像捕捉装置的潜在盲点。
图像捕捉装置122可以具有任何合适的分辨率能力(例如，与图像传感器相关联的像素的数量)，并且与图像捕捉装置122相关联的(一个或多个多个)图像传感器的分辨率可以比与图像捕捉装置124和126相关联的(一个或多个)图像传感器的分辨率更高、更低、或者与之相同。在一些实施例中，与图像捕捉装置122和/或图像捕捉装置124和126相关联的(一个或多个)图像传感器可以具有640×480、1024×768、1280×960的分辨率，或任何其他合适的分辨率。
帧速率(例如，在图像捕捉装置继续捕捉与下一个图像帧相关联的像素数据之前获取一个图像帧的一组像素数据的速率)可以是可控的。与图像捕捉装置122相关联的帧速率可以比与图像捕捉装置124和126相关联的帧速率更高、更低或与之相同。与图像捕捉装置122、124和126相关联的帧速率可以取决于可能影响帧速率的定时的各种因素。例如，图像捕捉装置122、124和126的一个或多个可以包括在获取与图像捕捉装置122、124和/或126中的图像传感器的一个或多个像素相关联的图像数据之前或之后施加的可选择的像素延迟时段。通常，可以根据用于该装置的时钟速率(例如，每个时钟周期一个像素)获取对应于每个像素的图像数据。另外，在包括滚动快门的实施例中，图像捕捉装置122、124和126的一个或多个可以包括在获取与图像捕捉装置122、124和/或126中的图像传感器的一行像素相关联的图像数据之前或之后施加的可选择的水平消隐时段。此外，图像捕捉装置122、124和126的一个或多个图像可以包括在获取与图像捕捉装置122、124和126的图像帧相关联的图像数据之前或之后施加的可选择的垂直消隐时段。
这些定时控制可以使能与图像捕捉装置122、124和126相关联的帧速率的同步，即便每个的线扫描率速率不同。此外，如将在下面更详细地讨论的，这些可选择的定时控制以及其他因素(例如，图像传感器分辨率、最大线扫描速率等)可以使能从图像捕捉装置122的FOV与图像捕捉装置124和126的一个或多个FOV重叠的区域的图像捕捉的同步，即便图像捕捉装置122的视场不同于图像捕捉装置124和126的FOV。
图像捕捉装置122、124和126中的帧速率定时可以取决于相关联的图像传感器的分辨率。例如，假定对于两个装置线扫描速率类似，如果一个装置包括具有640×480的分辨率的图像传感器，并且另一装置包括具有1280×960的分辨率的图像传感器，则需要更多的时间来从具有更高分辨率的传感器获取一帧图像数据。
可能影响图像捕捉装置122、124和126中的图像数据获取的定时的另一个因素是最大线扫描速率。例如，从被包含在图像捕捉装置122、124和126中的图像传感器获取一行图像数据将需要某个最低时间量。假定没有添加像素延迟时段，则用于获取一行图像数据的此最低时间量将与用于特定装置的最大线扫描速率有关。提供较高的最大线扫描速率的装置具有提供比具有较低的最大线扫描速率的装置更高的帧速率的潜力。在一些实施例中，图像捕捉装置124和126的一个或多个可以具有高于与图像捕捉装置122相关联的最大线扫描速率的最大线扫描速率。在一些实施例中，图像捕捉装置124和/或126的最大线扫描速率可以是图像捕捉装置122的最大线扫描速率的1.25、1.5、1.75或2倍或更多倍。
在另一实施例中，图像捕捉装置122、124和126可以具有相同的最大线扫描速率，但图像捕捉装置122可以以小于或等于其最大扫描速率的扫描速率而操作。该系统可以配置为使得图像捕捉装置124和126的一个或多个以等于图像捕捉装置122的线扫描速度的线扫描速率而操作。在其他实例中，该系统可以配置为使得图像捕捉装置124和/或图像捕捉装置126的线扫描速率可以是图像捕捉装置122的线扫描速度的1.25、1.5、1.75、或2倍或更多倍。
在一些实施例中，图像捕捉装置122、124和126可以是不对称的。也就是说，它们可包括具有不同视场(FOV)和焦距的摄像机。例如，图像捕捉装置122、124和126的视场可以包括关于车辆200的环境的任何期望的区域。在一些实施例中，图像捕捉装置122、124和126的一个或多个可以配置为从在车辆200前面、车辆200后面、车辆200的侧面、或其组合的环境获取图像数据。
此外，与每个图像捕捉装置122、124和/或126相关联的焦距可以是可选择的(例如，通过包括适当的镜头等)，使得每个装置在相对于车辆200的期望的距离范围处获取对象的图像。例如，在一些实施例中，图像捕捉装置122、124和126可以获取离车辆几米之内的接近对象的图像。图像捕捉装置122、124和126还可以配置为获取离车辆更远的范围处(例如，25米、50米、100米、150米或更远)的对象的图像。此外，图像捕捉装置122、124和126的焦距可以被选择以使得一个图像捕捉装置(例如，图像捕捉装置122)可以获取相对靠近车辆(例如，在10米内或20米内的)对象的图像，而其他图像捕捉装置(例如，图像捕捉装置124和126)可以获取离车辆200较远的(例如，大于20米、50米、100米、150米等的)对象的图像。
根据一些实施例，一个或多个图像捕捉装置122、124和126的FOV可以具有广角。例如，具有140度的FOV可能是有利的，尤其是对于可以被用于在捕捉车辆200附近的区域的图像的图像捕捉装置122、124和126。例如，图像捕捉装置122可以被用来捕捉车辆200的右侧或左侧的区域的图像，并且在这种实施例中，可能期望图像捕捉装置122具有宽FOV(例如，至少140度)。
与每个图像捕捉装置122、124和126相关联的FOV可以取决于各自的焦距。例如，随着焦距增加，对应的视场减小。
图像捕捉装置122、124和126可以配置为具有任何合适的视场。在一个特定示例中，图像捕捉装置122可以具有46度的水平FOV，图像捕捉装置124可以具有23度的水平FOV，并且图像捕捉装置126可以具有在23度和46度之间的水平FOV。在另一实例中，图像捕捉装置122可以具有52度的水平FOV，图像捕捉装置124可以具有26度的水平FOV，并且图像捕捉装置126可以具有在26度和52度之间的水平FOV。在一些实施例中，图像捕捉装置122的FOV与图像捕捉装置124和/或图像捕捉装置126的FOV的比率可以从1.5到2.0变化。在其他实施例中，该比率可以在1.25与2.25之间变化。
系统100可以配置为使得图像捕捉装置122的视场至少部分地或完全地与图像捕捉装置124和/或图像捕捉装置126的视场重叠。在一些实施例中，系统100可以配置为使得图像捕捉装置124和126的视场例如落入(例如，窄于)图像捕捉装置122的视场并且与图像捕捉装置122的视场共享共同的中心。在其他实施例中，图像捕捉装置122、124和126可以捕捉相邻的FOV，或者可以在他们FOV中具有部分重叠。在一些实施例中，图像捕捉装置122、124和126的视场可以对齐，以使得较窄FOV图像捕捉装置124和/或126的中心可以位于较宽FOV装置122的视场的下半部分中。
图2F是根据所公开的实施例的示例车辆控制系统的图示性表示。如图2F所指示的，车辆200可以包括节流(throuttling)系统220、制动系统230和转向系统240。系统100可以经过一个或多个数据链路(例如，任何用于传输数据的有线和/或无线链路)向节流系统220、制动系统230和转向系统240的一个或多个提供输入(例如，控制信号)。例如，基于对由图像捕捉装置122、124和/或126获取的图像的分析，系统100可以向节流系统220、制动系统230和转向系统240的一个或多个提供控制信号以导航车辆200(例如，通过引起加速度、转向、车道变换等)。此外，系统100可以从节流系统220、制动系统230和转向系统240的一个或多个接收指示车辆200的运行条件(例如，速度、车辆200是否正在制动和/或转向等)的输入。以下结合图4-图7提供进一步的细节。
如图3A所示，车辆200还可以包括用于与车辆200的驾驶员或乘客进行交互的用户界面170。例如，车辆应用中的用户界面170可以包括触摸屏320、旋钮330、按钮340和麦克风350。车辆200的驾驶员或乘客还可以使用手柄(例如，位于车辆200的转向杆上或附近，包括例如转向信号手柄)、按钮(例如，位于车辆200的方向盘上)等与系统100交互。在一些实施例中，麦克风350可以位于与后视镜310相邻。类似地，在一些实施例中，图像捕捉装置122可以定位为靠近后视镜310。在一些实施例中，用户界面170还可以包括一个或多个扬声器360(例如，车辆音频系统的扬声器)。例如，系统100可以经由扬声器360提供各种通知(例如，警报)。
图3B-图3D是根据所公开的实施例的配置为位于后视镜(例如，后视镜310)后面并与车辆挡风玻璃相对的示例摄像机安装370的例示。如图3B所示，摄像机安装370可以包括图像捕捉装置122、124和126。图像捕捉装置124和126可以位于遮光板380的后面，其中遮光板380可以相对于车辆挡风玻璃齐平(flush)并且包括薄膜和/或防反射材料的合成物。例如，遮光板380可被放置为使得它相对于具有匹配斜面的车辆的挡风玻璃对齐。在一些实施例中，图像捕捉装置122、124和126的每个可以位于遮光板380的后面，例如在图3D中所描绘的。所公开的实施例不限于图像捕捉装置122、124和126、摄像机安装370和遮光板380的任何特定配置。图3C是图3B所示的摄像机安装370从前面视角的例示。
如受益于本公开的本领域技术人员将理解的，可以对前述所公开的实施例做出许多变型和/或修改。例如，并非所有组件对于系统100的操作是必要的。此外，任何组件可以位于系统100的任何适当的部件中并且组件可以被重新布置成各种配置同时提供所公开的实施例的功能。因此，前述配置是示例性的，并且不管上述讨论的配置如何，系统100都可以提供广阔范围的功能以分析车辆200的周围并响应于该分析而导航车辆200。
如在下面更详细讨论的并且根据各种所公开的实施例，系统100可以提供各种关于自主驾驶和/或驾驶员辅助技术的特征。例如，系统100可以分析图像数据、位置数据(例如，GPS位置信息)、地图数据、速度数据和/或来自包含在车辆200中的传感器的数据。系统100可以从例如图像获取单元120、位置传感器130以及其他传感器收集数据用于分析。此外，系统100可以分析所收集的数据以确定车辆200是否应该采取某个动作，然后无需人工干预而自动采取所确定的动作。例如，当车辆200无需人工干预而导航时，系统100可以自动地控制车辆200的制动、加速、和/或转向(例如，通过向节流系统220、制动系统230和转向系统240的一个或多个发送控制信号)。此外，系统100可以分析所收集的数据，并基于对所收集的数据的分析向车辆乘员发出警告和/或警报。下面提供关于系统100提供的各种实施例的额外的细节。
面向前方的多成像系统
如上所讨论的，系统100可以提供使用多摄相机系统的驾驶辅助功能。多摄相机系统可以使用面向车辆的前进方向的一个或多个摄相机。在其他实施例中，多摄相机系统可以包括面向车辆的侧面或面向车辆的后面的一个或多个摄像机。在一个实施例中，例如，系统100可以使用双摄像机成像系统，其中，第一摄相机和第摄二相机(例如，图像捕捉装置122和124)可以位于车辆(例如，车辆200)的前面和/或侧面处。第一摄相机可以具有大于、小于、或部分重叠于第二摄相机的视场的视场。此外，第一摄相机可以连接到第一图像处理器以执行对由第一摄像机提供的图像的单眼图像分析，并且第二摄相机可以连接到第二图像处理器以执行对由第二摄像机提供的图像的单眼图像分析。第一和第二图像处理器的输出(例如，处理后的信息)可以被组合。在一些实施例中，第二图像处理器可以从第一摄相机和第二摄相机两者接收图像以执行立体分析。在另一实施例中，系统100可以使用三摄相机成像系统，其中每个摄相机具有不同的视场。因此，这种系统可以基于从位于车辆的前方和侧面的不同的距离处的对象得到的信息做出决定。对单眼图像分析的参考可以参考基于从单个视点(例如，从单个摄相机)捕捉的图像执行图像分析的实例。立体图像分析可以参考基于利用图像捕捉参数的一个或多个变化而捕捉的两个或多个图像执行图像分析的实例。例如，捕捉到的适用于执行立体图像分析的图像可以包括以下捕捉的图像：从两个或多个不同的位置、从不同的视场、使用不同的焦距、与视差信息一起等捕捉的图像。
例如，在一个实施例中，系统100可以使用图像捕捉装置122-126实现三摄相机配置。在这种配置中，图像捕捉装置122可以提供窄视场(例如，34度或从大约20度至45度的范围选择的其他值等)，图像捕捉装置124可以提供宽视场(例如，150度或从大约100度至大约180度的范围选择的其他值)，并且图像捕捉装置126可以提供中间的视场(例如，46度或从大约35度至大约60度的范围选择的其他值)。在一些实施例中，图像捕捉装置126可以担当主摄像机或基本摄像机。图像捕捉装置122-126可以位于后视镜310的后面并且基本上并排(例如，相距6厘米)。此外，在一些实施例中，如以上所讨论的，图像捕捉装置122-126的一个或多个可以被安装在与车辆200的挡风玻璃齐平的遮光板380的后面。这种遮挡可以作用以减少任何来自车内的反射对图像捕捉装置122-126的影响。
在另一实施例中，如以上结合图3B和3C所讨论的，宽视场摄像机(例如，上述示例中的图像捕捉装置124)可以被安装得低于窄视场摄像机和主视场摄像机(例如，上述的示例中的图像捕捉装置122和126)。这种配置可以提供从宽视场摄像机的自由的视线。为减少反射，摄相机可以被安装得靠近车辆200的挡风玻璃，并且在摄相机上可以包括偏振器以衰减(damp)反射光。
三摄相机系统可以提供某些性能特性。例如，一些实施例可以包括通过一个摄像机基于来自另一摄相机的检测结果来验证对象的检测的能力。在上面讨论的三摄像机配置中，处理单元110可以包括例如三个处理装置(例如，三个如以上所讨论的EyeQ系列处理器芯片)，其中每个处理装置专用于处理由图像捕捉设备122-126的一个或多个捕捉的图像。
在三摄相机系统中，第一处理装置可以从主摄相机和窄视场摄像机二者接收图像，并执行对窄FOV摄相机的视觉处理以例如检测其他车辆、行人、车道标记、交通标志、交通灯和其他道路对象。此外，第一处理装置可以计算来自主摄像机和窄摄相机的图像之间的像素的视差，并创建车辆200的环境的3D重建。然后，第一处理装置可以将该3D重建与3D地图数据或与基于来自另一摄相机的信息计算的3D信息进行组合。
第二处理装置可以从主摄像机接收图像，并执行视觉处理以检测其他车辆、行人、车道标记、交通标志、交通灯和其他道路对象。另外，第二处理装置可以计算摄相机位移，并且基于该位移计算连续图像之间的像素的视差，并创建场景的3D重建(例如，运动恢复结构(structure from motion))。第二处理装置可以将基于3D重建的运动恢复结构发送到第一处理装置以与立体3D图像进行组合。
第三处理装置可以从宽FOV摄相机接收图像，并处理该图像以检测车辆、行人、车道标记、交通标志、交通灯和其他道路对象。第三处理装置还可以执行额外的处理指令来分析图像，以识别图像中移动的对象，诸如改变车道的车辆、行人等。
在一些实施例中，使得基于图像的信息的流被独立地捕捉和处理可以提供用于在系统中提供冗余的机会。这种冗余可以包括例如使用第一图像捕捉装置和从该装置处理的图像以验证和/或补充通过从至少第二图像捕捉装置捕捉和处理图像信息而获得的信息。
在一些实施例中，系统100将两个图像捕捉装置(例如，图像捕捉装置122和124)用在为车辆200提供导航辅助中，并使用第三图像捕捉装置(例如，图像捕捉装置126)来提供冗余并验证从其他两个图像捕捉装置接收到的数据的分析。例如，在这种配置中，图像捕捉装置122和124可以提供用于通过系统100的立体分析的图像以导航车辆200，而图像捕捉装置126可以提供用于通过系统100的单眼分析的图像以提供冗余和基于从图像捕捉装置122和/或图像捕捉装置124捕捉的图像而获得的信息的验证。即，图像捕捉装置126(和对应的处理装置)可以被视为提供用于提供对从图像捕捉装置122和124得到的分析的检查的冗余子系统(例如，提供自动紧急制动(AEB)系统)。
本领域的技术人员将认识到，上述摄像机配置、摄相机放置、摄像机数量、摄像机位置等仅为示例。在不脱离所公开的实施例的范围下，这些组件和关于整个系统描述的其他组件可以被组装并且在各种不同的配置中使用。关于使用多摄像机系统以提供驾驶员辅助和/或自主车辆功能的进一步的细节如下。
图4是根据所公开的实施例的可以存储/编程有用于执行一个或多个操作的指令的存储器140和/或150的示例功能框图。尽管以下参考存储器140，但是本领域的技术人员将认识到，指令可以存储在存储器140和/或150中。
如图4所示，存储器140可以存储单眼图像分析模块402、立体图像分析模块404、速度和加速度模块406以及导航响应模块408。所公开的实施例不限于存储器140的任何特定配置。此外，应用处理器180和/或图像处理器190可以执行在被包含在存储器140中的任何模块402-408中所存储的指令。本领域的技术人员将理解，在下面的讨论中，对处理单元110的参考可以单独地或统一地指代应用处理器180和图像处理器190。因此，任何以下处理的步骤可以由一个或多个处理装置来执行。
在一个实施例中，单眼图像分析模块402可以存储指令(诸如计算机视觉软件)，该指令在由处理单元110执行时，执行对由图像捕捉装置122、124和126的一个获取的一组图像的单眼图像分析。在一些实施例中，处理单元110可以将来自一组图像的信息与额外的感测信息(例如，来自雷达的信息)组合以执行单眼图像分析。如以下结合图5A-图5D所描述的，单眼图像分析模块402可以包括用于在该组图像内检测一组特征的指令，所述特征诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、危险对象以及任何其他与车辆的环境相关联的特征。基于该分析，系统100(例如，经由处理单元110)可以引起车辆200中的一个或多个导航响应，诸如转向、车道变换、加速度的改变等，如以下结合导航响应模块408所讨论的。
在一个实施例中，立体图像分析模块404可以存储指令(诸如，计算机视觉软件)，该指令在由处理单元110执行时，执行对由从任意图像捕捉装置122、124和126中选择的图像捕捉装置的组合而获取的第一组和第二组图像的立体图像分析。在一些实施例中，处理单元110可以将来自第一组和第二组图像的信息与额外的感测信息(例如，来自雷的达信息)组合以执行立体图像分析。例如，立体图像分析模块404可以包括用于基于由图像捕捉装置124获取的第一组图像和由图像捕捉装置126获取的第二组图像执行立体图像分析的指令。如下面结合图6所描述的，立体图像分析模块404可以包括用于检测第一组和第二组图像内的一组特征的指令，所述特征诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、危险对象等。基于该分析，处理单元110可以引起车辆200中的一个或多个导航响应，诸如转向、车道变换、加速度的改变等，如以下结合导航响应模块408所讨论的。
在一个实施例中，速度和加速度模块406可以存储被配置为对从车辆200中配置为引起车辆200的速度和/或加速度的改变的一个或多个计算和机电装置收到的数据进行分析的软件。例如，处理单元110可以执行与速度和加速度模块406相关联的指令，以基于从单眼图像分析模块402和/或立体图像分析模块404的执行而得到的数据计算车辆200的目标速度。这种数据可以包括例如目标位置、速度和/或加速度、车辆200相对于附近车辆、行人或道路对象的位置和/或速度、车辆200相对于道路的车道标记等的位置信息等。此外，处理单元110可以基于感测输入(例如，来自雷达的信息)和来自车辆200的其他系统、诸如节流系统220、制动系统230和/或转向系统240的输入计算车辆200的目标速度。基于计算的目标速度，处理单元110可以向车辆200的节流系统220、制动系统230和/或转向系统的240发送电子信号来触发速度和/或加速度的变化，例如通过物理地压下制动器或放松(ease upoff)车辆200的加速器。
在一个实施例中，导航响应模块408可以存储可由处理单元110执行以基于从单眼图像分析模块402和/或立体声图像分析模块404的执行而得到的数据来确定期望的导航响应的软件。这种数据可以包括与附近的车辆、行人和道路对象相关联的位置和速度信息、车辆200的目标位置信息等。另外，在一些实施例中，导航响应可以(部分地或完全地)基于地图数据、车辆200的预定位置、和/或车辆200与从单眼图像分析模块402和/或立体声图像分析模块404的执行检测到的一个或多个对象之间的相对速度或相对加速度。导航响应模块408还可以基于感测输入(例如，来自雷达的信息)和来自车辆200的其他系统、诸如车辆200的节流系统220、制动系统230和转向系统240的输入确定期望的导航响应。基于期望的导航响应，处理单元110可以向车辆200的节流系统220、制动系统230和转向系统240发送电子信号以触发期望的导航响应，例如通过转动车辆200的方向盘以实现预定角度的旋转。在一些实施例中，处理单元110可以使用导航响应模块408的输出(例如，期望的导航响应)作为对速度和加速度模块406的执行的输入，用于计算车辆200的速度的改变。
图5A是示出根据所公开的实施例的用于基于单眼图像分析引起一个或多个导航响应的示例处理500A的流程图。在步骤510，处理单元110可以经由在处理单元110和图像获取单元120之间的数据接口128接收多个图像。例如，包含在图像获取单元120中的摄相机(诸如具有视场202的图像捕捉装置122)可以捕捉车辆200的前面(例如，或者车辆的侧面或后面)区域的多个图像并经过数据连接(例如，数字、有线、USB、无线、蓝牙等)将它们发送到处理单元110。在步骤520，处理单元110可以执行单眼图像分析模块402来分析该多个图像，如以下结合图5B-5D进一步详细描述的。通过执行该分析，处理单元110可以在该组图像内检测一组特征，诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯等。
在步骤520，处理单元110还可以执行单眼图像分析模块402来检测各种道路危险，诸如例如卡车轮胎的部件、倒下的道路标志、松散货物、小动物等。道路危险可能在结构、形状、大小和颜色上变化，这可能使这种危险的检测更加困难。在一些实施例中，处理单元110可以执行单眼图像分析模块402来对该多个图像执行多帧分析以检测道路危险。例如，处理单元110可以估计连续图像帧之间的摄像机运动，并计算帧之间的像素中的视差来构建道路的3D地图。然后，处理单元110可以使用该3D地图来检测路面、以及存在于路面上的危险。
在步骤530，处理单元110可以执行导航响应模块408以基于在步骤520中执行的分析和如以上结合图4描述的技术引起一个或多个导航响应。导航响应可以包括例如转向、车道变换、加速度变化等。在一些实施例中，处理单元110可以使用从速度和加速度模块406的执行得到的数据来引起一个或多个导航响应。此外，多个导航响应可能同时地、按照顺序地或以其任意组合而发生。例如，处理单元110可以通过例如按照顺序地向车辆200的转向系统240和节流系统220发送控制信号，使得车辆200变换一个车道然后加速。可替代地，处理单元110可以通过例如同时向车辆200的制动系统230和转向系统240发送控制信号，使得车辆200制动，同时变换车道。
图5B是示出根据所公开的实施例的用于在一组图像中检测一个或多个的车辆和/或行人的示例处理500B的流程图。处理单元110可以执行单眼图像分析模块402来实现过程500B。在步骤540，处理单元110可以确定表示可能的车辆和/或行人的一组候选对象。例如，处理单元110可以扫描一个或多个图像，将该图像与一个或多个预定模式比较，并且在每个图像内识别可能包含感兴趣的对象(例如，车辆、行人或其部分)的可能的位置。预定模式可以以实现高“伪命中”率和低“漏掉”率的这种方式来设计。例如，处理单元110可以使用与预定模式的相似性的低阈值用于将候选对象识别为可能的车辆或行人。这样做可以允许处理单元110减少漏掉(例如，未识别出)表示车辆或行人的候选对象的可能性。
在步骤542，处理单元110可以基于分类标准过滤该组候选对象以排除某些候选(例如，不相关或较不相关的对象)。这种标准可以从与存储在数据库(例如，存储在存储器140中的数据库)中的对象类型相关联的各种属性得到。属性可以包括对象形状、尺寸、纹理、位置(例如，相对于车辆200)等。因此，处理单元110可以使用一组或多组标准来从该组候选对象中拒绝伪候选。
在步骤544，处理单元110可以分析多帧图像，以确定在该组候选对象中的对象是否表示车辆和/或行人。例如，处理单元110可以跨连续帧来跟踪检测到的候选对象并累积与检测到的对象相关联的逐帧数据(例如，大小、相对于车辆200的位置等)。此外，处理单元110可以估计检测到的对象的参数并将该对象的逐帧位置数据与预测的位置比较。
在步骤546，处理单元110可以构造一组对于检测到的对象的测量。这种测量可以包括例如与检测到的对象相关联的位置、速度和加速度值(相对于车辆200)。在一些实施例中，处理单元110可以基于使用一系列基于时间的观察的诸如卡尔曼滤波器或线性二次估计(LQE)的估计技术和/或基于对于不同对象类型(例如，汽车、卡车、行人、自行车、道路标志等)可用的建模数据来构建该测量。卡尔曼滤波器可以基于对象的比例的测量，其中比例测量与要碰撞的时间(例如，车辆200达到对象的时间量)成比例。因此，通过执行步骤540-546，处理单元110可以识别在该组捕捉的图像内出现的车辆和行人，并得到与该车辆和行人相关联的信息(例如，位置、速度、大小)。基于该识别和所得到的信息，处理单元110可以引起车辆200中的一个或多个导航响应，如以上结合图5A所描述的。
在步骤548，处理单元110可以执行对一个或多个图像的光流分析，以减少检测到“伪命中”和漏掉表示车辆或行人的候选对象的可能性。光流分析可以指代例如在与其他车辆和行人相关联的一个或多个图像中分析相对于车辆200的运动模式，并且其区别于路面运动。处理单元110可以通过跨越在不同时间捕捉到的多个图像帧观察对象的不同位置来计算候选对象的运动。处理单元110可以使用该位置和时间值作为对用于计算候选对象的运动的数学模型的输入。因此，光流分析可以提供检测车辆200附近的车辆和行人的另一种方法。处理单元110可以结合步骤540-546执行光流分析，以提供检测车辆和行人的冗余，并提高系统100的可靠性。
图5C是示出根据所公开的实施例的用于在一组图像中检测道路标记和/或车道几何信息的示例性处理500C的流程图。处理单元110可以执行单眼图像分析模块402来实现处理500C。在步骤550，处理单元110可以通过扫描一个或多个图像来检测一组对象。为了检测车道标记、车道几何信息以及其他相关的道路标记的片段，处理单元110可以过滤该组对象以排除那些杯确定为不相关的(例如，小坑洼、小石块等)。在步骤552，处理单元110可以将在步骤550中检测到的属于相同的道路标记或车道标记的片段分组在一起。基于该分组，处理单元110可以产生表示所检测到的片段的模型，诸如数学模型。
在步骤554，处理单元110可以构建与所检测的片段相关联的一组测量。在一些实施例中，处理单元110可以创建所检测的片段从图像平面到现实世界平面上的投影。该投影可以使用具有与诸如所检测的道路的位置、斜率、曲率和曲率导数的物理属性对应的系数的三次多项式来表征。在产生该投影中，处理单元110可以考虑路面的变化、以及与车辆200相关联的俯仰(pitch)和滚转速率。此外，处理单元110可以通过分析出现在路面上的位置和运动提示来对道路标高进行建模。此外，处理单元110可以通过跟踪一个或多个图像中的一组特征点来估计与车辆200相关联的俯仰和滚转速率。
在步骤556，处理单元110可以通过例如跨连续图像帧跟踪所检测到的片段并累积与检测到的片段相关联的逐帧数据来执行多帧分析。由于处理单元110执行多帧分析，在步骤554中构建的该组测量可以变得更可靠并且与越来越高的置信水平相关联。因此，通过执行步骤550-556，处理单元110可以识别在该组捕捉的图像中出现的道路标记并得到车道几何信息。基于该识别和所得到的信息，处理单元110可以引起车辆200中的一个或多个导航响应，如以上结合图5A所描述的。
在步骤558，处理单元110可以考虑额外的信息源，以进一步产生车辆200的在其周围的环境中的安全模型。处理单元110可以使用该安全模型来定义其中系统100可以以安全的方式执行车辆200的自主控制的环境。为产生该安全模型，在一些实施例中，处理单元110可以考虑其他车辆的位置和运动、所检测的道路边缘和栅栏、和/或从地图数据(诸如来自地图数据库160的数据)提取的一般道路形状描述。通过考虑额外的信息源，处理单元110可以提供用于检测道路标记和车道几何结构的冗余并增加系统100的可靠性。
图5D是示出了根据所公开的实施例的用于在一组图像中检测交通灯的示例处理500D的流程图。处理单元110可以执行单眼图像分析模块402来实现处理500D。在步骤560，处理单元110可以扫描该组图像，并识别出现在图像中的可能包含交通灯的位置处的对象。例如，处理单元110可以过滤所识别的对象来构造一组候选对象，排除不可能对应于交通灯的那些对象。过滤可以基于与交通灯相关联的诸如形状、尺寸、纹理、位置(例如，相对于车辆200)等的各种属性来进行。这种属性可以基于交通灯和交通控制信号的多个示例并存储在数据库中。在一些实施例中，处理单元110可以对反映可能的交通灯的候选对象组执行多帧分析。例如，处理单元110可以跨连续图像帧跟踪候选对象，估计候选对象的现实世界位置，并过滤掉那些移动的对象(其不可能是交通灯)。在一些实施例中，处理单元110可以对候选对象执行颜色分析，并识别出现在可能的交通灯内的所检测到的颜色的相对位置。
在步骤562，处理单元110可以分析交叉口的几何结构。该分析可以基于以下的任意组合：(i)在车辆200的任一侧检测到的车道的数量、(ii)在道路上检测到的标记(如箭头标记)、和(iii)从地图数据(例如，来自地图数据库160的数据)提取的交叉口的描述。处理单元110可以使用从单眼分析模块402的执行得到的信息进行分析。此外，处理单元110可以确定在步骤560中检测到的交通灯和在车辆200附近出现的车道之间的对应性。
在步骤564，随着车辆200接近交叉口，处理单元110可以更新与所分析的交叉口几何结构和所检测到的交通灯相关联的置信度水平。例如，被估计为出现在交叉口处的交通灯的数量与实际出现在交叉口处的交通灯的数量相比可能影响置信度水平。因此，基于该置信度水平，处理单元110可以将控制委托给车辆200的驾驶员以便改进安全条件。通过执行步骤560-564，处理单元110可以识别出现在该组捕捉的图像内的交通灯并分析交叉口几何信息。基于该识别和分析，处理单元110可以引起车辆200中一个或多个导航响应，如以上结合图5A所描述的。
图5E是示出了根据所公开的实施例的用于基于车辆路径引起车辆中的一个或多个导航响应的示例处理500E的流程图。在步骤570，处理单元110可以构建与车辆200相关联的初始车辆路径。车辆路径可以使用以坐标(x,z)表达的一组点来表示，并且该组点中两个点之间的距离di可以落入1至5米的范围中。在一个实施例中，处理单元110可以使用诸如左和右道路多项式的两个多项式来构建初始车辆路径。处理单元110可以计算该两个多项式之间的几何中点并将被包含在得到的车辆路径中的每个点偏移(offset)预定的偏移(例如，智能车道偏移)，如果有的话(零偏移可以对应于在车道的中间行驶)。偏移可以在垂直于在车辆路径中的任何两点之间的线段的方向上。在另一个实施例中，处理单元110可以使用一个多项式和估计的车道宽度来将车辆路径的每个点偏移估计的车道宽度的一半加上预定偏移(例如，智能车道偏移)。
在步骤572，处理单元110可以更新在步骤570构建的车辆路径。处理单元110可以使用更高的分辨率来重建在步骤570构建的车辆路径，以使得表示车辆路径的该组点中两个点之间的距离dk小于上述距离di。例如，该距离dk可以落入0.1至0.3米的范围中。处理单元110可以使用抛物线样条算法(parabolic spline algorithm)重建车辆路径，这可以产生对应于车辆路径的总长度的累积距离向量S(即，基于表示车辆路径的该组点)。
在步骤574，处理单元110可以基于在步骤572构建的更新的车辆路径来确定前视点(look-ahead point)(以坐标表达为(xi,zi))。处理单元110可以从累积距离向量S提取前视点，并且该前视点可以与前视距离和前视时间相关联。可以具有范围为从10米至20米的下限的前视距离可以被计算为车辆200的速度和前视时间的乘积。例如，随着车辆200的速度下降，前视距离也可以减小(例如，直到它到达下限)。范围可以从0.5到1.5秒的前视时间可以与关联于引起车辆200中的导航响应的诸如航向误差(heading error)跟踪控制环路的一个或多个控制环路的增益成反比。例如，该航向误差跟踪控制环路的增益可以取决于横摆角速率环路、转向致动器环路、汽车横向动力学等的带宽。因此，航向误差跟踪控制环路的增益越高，前视时间越低。
在步骤576，处理单元110可以基于在步骤574中确定的前视点来确定航向误差和横摆角速率命令。处理单元110可以通过计算前视点的反正切，例如arctan(xi/zi)来确定航向误差。处理单元110可以将横摆角率命令确定为航向误差和高水平控制增益的乘积。如果前视距离不在下限处，则高水平控制增益可以等于：(2/前视时间)。否则，高水平控制增益可以等于：(2*车辆200的速度/前视距离)。
图5F是示出了根据所公开的实施例的用于确定前方车辆是否正在改变车道的示例处理500F的流程图。在步骤580，处理单元110可以确定与前方车辆(例如，在车辆200前方行驶的车辆)相关联的导航信息。例如，处理单元110可以使用以上结合图5A和图5B所描述的技术来确定前方车辆的位置、速度(例如，方向和速度)和/或加速度。处理单元110还可以使用以上结合图5E所描述的技术来确定一个或多个道路多项式、前视点(与车辆200相关联)和/或追踪轨迹(snail trail)(例如，描述前车所采取的路径的一组点)。
在步骤582，处理单元110可以分析在步骤580中确定的导航信息。在一个实施例中，处理单元110可以计算追踪轨迹和道路多项式(例如，沿着该轨迹)之间的距离。如果沿着该轨迹的这个距离的变化(variance)超过预定的阈值(例如，在直路上0.1至0.2米，在适度弯曲道路上0.3至0.4米，以及在急转弯道路上0.5至0.6米)，则处理单元110可以确定前方车辆很可能正在改变车道。在检测到多个车辆在车辆200前方行驶的情形中，处理单元110可以比较与每个车辆相关联的追踪轨迹。基于该比较，处理单元110可以确定追踪轨迹与其他车辆的追踪轨迹不匹配的车辆很可能正在改变车道。处理单元110可以额外地将(与前方车辆相关联的)追踪轨迹的曲率与其中前方车辆正在行驶的道路段的期望曲率相比较。期望曲率可以从地图数据(例如，来自地图数据库160的数据)、从道路多项式、从其他车辆的追踪轨迹、从关于道路现有知识等提取。如果追踪轨迹的曲率和道路段的期望曲率的差异超过预定的阈值，则处理单元110可以确定前方车辆很可能正在改变车道。
在另一个实施例中，处理单元110可以在特定时间段(例如，0.5至1.5秒)将前方车辆的瞬时位置与(与车辆200相关联的)前视点相比较。如果前方车辆的瞬时位置与前视点之间的距离在特定时间段期间变化，并且变化的累积总和超过预定阈值(例如，直路上0.3至0.4米，适度弯曲道路上0.7至0.8米，以及急转弯道路上1.3至1.7米)，则处理单元110可以确定前方车辆很可能正在改变车道。在另一实施例中，处理单元110可以通过将沿着追踪轨迹行驶的横向距离与该追踪路径的期望曲率相比较来分析该追踪轨迹的几何结构。期望曲率半径可以根据公式确定：(δz 2+δx 2)/2/(δx)，其中δx表示行驶的横向距离以及δz表示的行驶的纵向距离。如果行驶的横向距离和期望曲率之间的差异超过预定阈值(例如，500至700米)，则处理单元110可以确定前方车辆很可能正在改变车道。在另一个实施例中，处理单元110可以分析前方车辆的位置。如果前方车辆的位置遮挡了道路多项式(例如，前车覆盖在道路多项式的上方)，则处理单元110可以确定前方车辆很可能正在改变车道。在前方车辆的位置是使得在前方车辆的前方检测到另一车辆并且这两个车辆的追踪轨迹不平行的情况下，处理单元110可以确定(较近的)前方车辆很可能正在改变车道。
在步骤584，处理单元110可以基于在步骤582进行的分析确定前方车辆200是否正在改变车道。例如，处理单元110可以基于在步骤582执行的各个分析的加权平均来做出该确定。在这种方案下，例如，由处理单元110基于具体类型的分析做出的前方车辆很可能正在改变通道的决定可以被分配值“1”(以及“0”用来表示前方车辆不太可能正在改变车道的确定)。在步骤582中执行的不同分析可以被分配不同的权重，并且所公开的实施例不限于分析和权重的任何特定组合。
图6是示出了根据所公开的实施例的用于基于立体图像分析引起一个或多个导航响应的示例处理600的流程图。在步骤610，处理单元110可以经由数据接口128接收第一和第二多个图像。例如，被包含在图像获取单元120的摄相机(诸如具有视场202和204的图像捕捉装置122和124)可以捕捉在车辆200前方的区域的第一和第二多个图像，并经过数字连接(例如，USB、无线、蓝牙等)将它们发送到处理单元110。在一些实施例中，处理单元110可以经由两个或多个数据接口接收该第一和第二多个图像。所公开的实施例不限于任何特定的数据接口配置或协议。
在步骤620，处理单元110可以执行立体图像分析模块404来执行对第一和第二多个图像的立体图像分析，以创建在车辆前方的道路的3D地图并检测图像内的特征，诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、道路危险等。立体图像分析可以以类似于以上结合图5A-图5D描述的步骤的方式来执行。例如，处理单元110可以执行立体图像分析模块404以在第一和第二多个图像内检测候选对象(例如，车辆、行人、道路标志、交通灯、道路危险等)，基于各种标准过滤掉候选对象的子集，并对剩余的候选对象执行多帧分析、构建测量、并确定置信度水平。在执行上述步骤中，处理单元110可以考虑来自第一和第二多个图像二者的信息，而不是来自单独一组图像的信息。例如，处理单元110可以分析出现在第一和第二多个图像二者中的候选对象的像素级数据(或来自捕捉的图像的两个流中的其他数据子集)的差异。作为另一示例，处理单元110可以通过观察该对象出现在多个图像的一个中但不出现在另一个中、或者关于可能存在关于出现在两个图像流中的对象的其他差异，来估计候选对象(例如，相对于车辆200)的位置和/或速度。例如，可以基于与出现在图像流的一个或二者中的对象相关联的轨迹、位置、移动特性等特征来确定相对于车辆200的位置、速度和/或加速度。
在步骤630中，处理单元110可以执行导航响应模块408，以基于在步骤620中执行的分析和如以上结合图4所描述的技术而引起车辆200中的一个或多个导航响应。导航响应可以包括例如转向、车道变换、加速度的改变、速度的改变、制动等。在一些实施例中，处理单元110可以使用从速度和加速度模块406的执行得到的数据来引起该一个或多个导航响应。此外，多个导航响应可以同时地、按照顺序地、或以其任意组合而发生。
图7是示出了根据所公开的实施例的用于基于三组图像的分析来引起一个或多个导航响应的示例处理700的流程图。在步骤710中，处理单元110可以经由数据接口128接收第一、第二和第三多个图像。例如，被包含在图像获取单元120的摄像机(诸如具有视场202、204和206的图像捕捉装置122、124和126)可以捕捉在车辆200前方和/或侧面的区域的第一、第二和第三多个图像并且经过数字连接(例如，USB、无线、蓝牙等)将它们发送到处理单元110。在一些实施例中，处理单元110可以经由三个或更多数据接口接收第一、第二和第三多个图像。例如，图像捕捉装置122、124、126的每个可以具有用于向处理单元110传送数据的相关联的数据接口。所公开的实施例不限于任何特定的数据接口配置或协议。
在步骤720，处理单元110可以分析该第一、第二和第三多个图像以检测图像内的特征，诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、道路危险等。该分析可以以类似于以上结合图5A-图5D和图6所描述的步骤的方式来执行。例如，处理单元110可以对第一、第二和第三多个图像的每个执行单眼图像分析(例如，经由单眼图像分析模块402的执行以及基于以上结合图5A-图5D所描述的步骤)。可替代地，处理单元110可对第一和第二多个图像、第二和第三多个图像和/或第一和第三多个图像执行立体图像分析(例如，经由立体图像分析模块404的执行以及基于以上结合图6所描述的步骤)。对应于第一、第二和/或第三多个图像的分析的处理后的信息可以进行组合。在一些实施例中，处理单元110可以执行单眼和立体图像分析的组合。例如，处理单元110可以对第一多个图像执行单眼图像分析(例如，经由单眼图像分析模块402的执行)并且对第二和第三多个图像执行立体图像分析(例如，经由立体图像分析模块404的执行)。图像捕捉装置122、124和126—包括它们各自的位置和视场202、204和206—的配置可以影响对第一、第二和第三多个图像进行的分析的类型。所公开的实施例不限于图像捕捉装置122、124和126的特定配置或对第一、第二和第三多个图像进行的分析的类型。
在一些实施例中，处理单元110可以基于在步骤710和720所获取和分析的图像对系统100执行测试。这种测试可以提供对于图像获取装置122、124和126的某些配置的系统100的整体性能的指示符。例如，处理单元110可以确定“伪命中”(例如，其中系统100不正确地确定车辆或行人的存在的情况)和“漏掉”的比例。
在步骤730，处理单元110可以基于从第一、第二和第三多个图像中的两个得到的信息引起车辆200中的一个或多个导航响应。第一、第二和第三多个图像中的两个的选择可以取决于各种因素，诸如例如在多个图像的每个中检测到的对象的数量、类型和大小。处理单元110还可以基于图像质量和分辨率、图像中反映的有效视场、捕捉的帧的数量、实际出现在帧中的感兴趣的一个或多个对象的程度(例如，其中出现对象的帧的百分比、出现在每个这种帧中的对象的比例)等进行选择。
在一些实施例中，处理单元110可以通过确定从一个图像源得到的信息与从其他图像源得到的信息的符合的程度，选择从第一、第二和第三多个图像中的两个得到的信息。例如，处理单元110可以将从图像捕捉装置122、124和126的每个得到的处理后的信息组合(无论通过单眼分析、立体分析、还是两者的任意组合)，并确定在从图像捕捉装置122、124和126的每个捕捉的图像之间一致的视觉指示符(例如，车道标记、检测到的车辆及其位置和/或路径、检测到的交通灯等)。处理单元110还可以排除在捕捉到的图像之间不一致的信息(例如，车辆改变车道、指示车辆太靠近车辆200的车道模型等)。因此，处理单元110可以基于一致和不一致的信息的确定来选择从第一、第二和第三多个图像的两个得到的信息。
导航响应可以包括例如转向、车道变换、制动、加速度的改变等。处理单元110可以基于在步骤720所执行的分析和如以上结合图4所描述的技术引起一个或多个导航响应。处理单元110还可以使用从速度和加速度模块406的执行得到的数据引起一个或多个导航响应。在一些实施例中，处理单元110可以基于在车辆200与在第一、第二和第三多个图像的任意者内检测到的对象之间的相对位置、相对速度和/或相对加速度来引起一个或多个导航响应。多个导航响应可以同时地、按顺序地或以其任意组合而发生。
用于车辆导航的雷达提示(Rader-Cued)视觉系统
雷达系统提供了用于检测车辆周围的环境中的对象的可能性，甚至是在可视性可能差的条件下。因此，出于帮助导航的目的，对在车辆上包括雷达传感器系统感兴趣。例如，驾驶辅助系统、碰撞警告/避免系统、自主车辆和半自主车辆全部可以从雷达系统提供的潜在目标对象检测能力中受益。
尽管雷达传感器可以提供准确的测距信息，但是它们也可能表现出某些缺点。首先，雷达传感器可能产生频繁的“鬼影(ghost)”检测，这可能导致在车辆导航或碰撞避免系统中的假阳性。例如当对象存在于车辆的邻近并且这些对象表现出良好的雷达反射性、但是对车辆很少构成或不构成威胁时，这种不想要的鬼影检测可能产生。这种对象可以包括具有非直立外形或微小尺寸的那些对象。井盖、汽水罐、小杂物等可能导致雷达鬼影检测。在一些情况下，甚至在没有对象存在时可能会发生鬼影检测。
其次，雷达传感器可能提供可能不适合于某些车辆应用的角分辨率和角精确度特性。例如，前向碰撞警告系统和车辆导航系统(自主或驾驶员辅助)可能需要关于目标对象相对于车辆或者车辆的行驶的路径的角位置的精确信息。
为了提高基于雷达的传感器系统的可靠性和可用性，这种雷达系统可以与包括一个或多个图像获取装置的图像传感器系统组合地部署在车辆上。雷达和图像系统可以串联使用，以减少或消除由雷达系统进行的鬼影检测的发生，并精确地确定目标对象相对于车辆的角位置和目标对象在图像获取装置的视场内占据的实体(solid)视角的一个或多个。根据来自雷达的范围信息以及从图像系统得到的空间位置信息的组合，碰撞警告系统、驾驶员辅助系统以及其他类型的车辆导航系统的性能可以增强。
图8提供了系统100以及以上关于图1、图2A、图2B、图2C、图2D、图2E等描述的与系统100相关联的所有相同的部件和特征的图示性表示。在图8所示的实施例中，包括一个或多个雷达传感器802的雷达单元801被包含在系统100中。雷达单元801可以提供直接或例如经由数据接口128间接地到应用处理器180(或任何其他合适的基于逻辑的装置)的输出。
在一些实施例中，雷达单元801可以与包括单个图像捕捉装置或多个图像捕捉装置的图像获取单元120组合。在一些情况下，雷达单元801可以被包含在配备有如图9A，图9B和图9C所示的两个图像捕捉装置(例如，图像捕捉装置122和图像捕捉装置124)的车辆上。在其他实施例中，雷达单元801可以被包含在配备有如图8、图9D和图9E所示的三个图像捕捉装置(例如，图像捕捉装置122、图像捕捉装置124和图像捕捉装置126)的车辆上。
雷达单元801可以位于相对于车辆200的任何合适的位置处。在一些情况下，如图9A-9E所示，雷达单元801可以位于车辆的车顶上。在其他情况下，雷达单元801可以位于挡风玻璃的前面或后面、在通气格栅(grill)中、在前保险杠之中或之上(在一些朝向后面的情形中在后保险杠之中或之上)、或在侧板之中或之上(例如，用于盲点检测)、或在车辆200上的任何其他可行的位置处。
雷达单元801可以包括在车辆导航应用中对识别目标对象的存在有用的任何合适类型的雷达。例如，在一些实施例中，雷达单元801可以包括机械扫描雷达。在其他实施例中，可以使用减少或消除来自雷达单元801的移动部分的电子扫描雷达。可以采用任何合适的频率或频率范围。例如，可以使用在79千兆赫兹、77千兆赫兹、25千兆赫兹或24千兆赫兹的频率下操作的雷达单元。这种单元可以提供各种检测范围以及各种扫描角。在一些实施例中，雷达单元801可以具有100米、200米、250米或更远的检测范围，并且可以提供高达360度的扫描角。
在所公开的实施例中，雷达单元801可以提供关于车辆200的环境中的一个或多个目标对象的信息。这种信息可以包括例如在车辆200附近的一个或多个目标对象的存在的指示和到该一个或多个目标对象的距离(范围)的指示。在一些情况下，可以从雷达单元801得到额外的信息，诸如雷达范围变化率(range rate)(例如，目标对象正在相对于车辆200朝向或远离移动的速率)。从雷达单元801提供的雷达范围和/或雷达范围变化率信息可以用作车辆200和目标对象之间将要接触的时间的指示符。
在操作期间，雷达单元801可以直接或间接地向应用处理器180提供相对于目标对象的雷达范围、雷达角和/或雷达范围变化率。使用此信息，应用处理器180可以确定车辆200和目标对象之间将要接触的时间。
除了雷达信息之外，应用处理器180和/或图像处理器190还可以接收由一个或多个图像捕捉装置122、124或126捕捉的图像数据。该图像数据可以以在预定时间间隔捕捉的一系列图像帧的形式被接收。
使用所接收的雷达信息连同多个图像，处理单元110可以确定具体雷达检测是否关联到现实世界目标对象。如果目标对象被验证，处理单元110可以识别目标对象的物理属性，诸如对象的边缘、对象相对于路面或其他表面的高度、以及目标对象相对于车辆200的角位置。
更具体地，用于验证和定位目标对象的处理可以包括在从图像获取单元120接收的多个图像的一个或多个中识别粗略的感兴趣区域(ROI)。例如，基于与具体雷达检测相关联的角度和范围，并且知晓与供应了某个图像的图像获取装置相关联的各种参数的值(例如，摄相机/雷达校准值、摄相机焦距、和摄像机在道路上方的高度)，处理单元110可以确定所获取的图像的哪个区域可能包括与具体雷达检测相关联的目标对象。所获取的图像中的这种感兴趣的粗略区域可以由所获取的图像的、在其中可能发现目标对象的区域的左、右、上、下边界来指定。
接着，可以确定在所获取的图像中的感兴趣的粗略区域与所获取的第二图像的对应区域之间的光流。从概念上讲，至少一对所获取的图像之间的光流可以与该图像中对应点的改变的角位置相关联。作为一个示例，当车辆在道路上直接朝向目标对象行驶时，随着车辆移动到更加接近目标对象，目标对象将在驾驶员看来在所有方向上径向地延伸(expand)。类似地，在从位于车辆中或车辆上的图像捕捉装置随着时间捕捉到的图像中，在图像中捕捉的目标对象将看起来相对于在图像序列中稍早捕捉的图像在所有方向上径向地延伸。在地平线的中心处在车辆的正前方的非移动点被称为延伸焦点，其中从移动车辆捕捉的图像序列中的对象看起来源自于该地平线。
关于移动中的对象，如果目标对象正相对于静止世界移动，则FOE将反映主车辆和目标对象之间的相对移动。例如，如果车辆正从右侧接近(例如在交叉路口处)，FOE将在图像的右侧。如果车辆和目标对象在碰撞过程中，FOE将在目标对象上。因为FOE取决于目标的移动，因此FOE在从场景的一个或多个图像内的目标周围分离出目标时是有用的。
在实践中，两个图像之间的光流、更具体地在第一图像中的感兴趣区域内的具体特征点与第二图像中的感兴趣的区域中的对应特征点之间的光流可以以多种方式来确定。作为第一步骤，可以确定来自两个图像的对应特征点的对。在一项技术中，可以通过定义在第一图像的感兴趣的区域中的具体特征点周围的(或者围绕第一图像的感兴趣的区域中的每个像素的)区块(patch)来确定一对对应特征点。然后，可以将来自第一图像的每个定义的区块与来自第二图像的在相对于来自第一图像的所选区块的预定搜索区域内(例如在预定或者可选择的像素范围内)的区块进行比较。根据每个区块比较，可以基于比较的区块的相似性来确定相关得分。来自第二图像的提供与来自第一图像的包含感兴趣的特征点的区块的最高相关得分的区块确定该特征点在第二图像中的位置。
用于确定来自两个图像的对应特征点的对的另一技术涉及基于所检测的特征点的匹配或配准。例如，可以通过图像分析在第一图像中检测某些特征点(例如，图像数据中的对象的角或其他明确定义的点)。还可以在第二图像中检测类似的特征点。可以在来自第一图像和第二图像二者的检测的特征点周围定义区块。在感兴趣区域(例如，包括10个特征点、20个特征点、50个特征点或更多的区域)内可以检测任何数量的特征点。可以通过将第一图像的每个单独区块与第二图像的每个区块进行比较来对于每个为第一图像定义的区块计算相关得分。具有最高相关得分的区块对(一个来自第一图像并且一个来自第二图像)指示具体的检测到的特征点在第一图像和第二图像二者中的位置。
一旦已经知晓第一图像中一组特征点(或区块或其他合适的图像片段)和第二图像中的对应组的特征点(或区块或其他合适的图像片段)的位置，可以确定图像之间的光流。例如，对于该对图像中的每个对应对的特征点(区块或图像片段)，可以确定导致特征点从它们在第一图像中的位置移动到它们在第二图像中的位置的运动。这种运动表示该对图像的对应点之间的光流。在对于第一图像定义的感兴趣区域内部的光流可被表示为一组{(x,y,u,v)i}四坐标(quadruple)，表示在这些位置测量的图像位置(x,y)i和2D流(u,v)i。
如果在图像捕捉装置的一个或多个上采用滚动快门，则在该图像中观察到的垂直运动可以指示或者起因于以下事实：两个点曾在稍微不同的时间被成像。例如，如果滚动快门从上到下地扫描N行的上向流，意味着成像之间的时间小于一帧(N行扫描时间)。为获得光流的更精确的估计，可以通过在矢量方向延伸达帧时间/(帧时间-N*行时间)来校正流向量。
接着，可以基于从雷达单元801获得的信息来确定期望光膨胀(opticalinflation)值(ds)。例如，使用到目标对象的雷达范围、在目标对象和车辆之间的雷达范围变化率以及捕捉的图像之间的时间(dt)，感兴趣的区域中的期望光膨胀值可以表示为：
光膨胀(ds)＝dt/TTC＝dt*(范围变化率)/范围；
其中，TTC是目标对象和车辆之间将要接触的时间。
使用期望光膨胀值和所确定的光流信息，在感兴趣的区域内可以分离出目标对象。例如，使用一组{(x,y,u,v)i}四坐标以及光膨胀(ds)期望作为输入，可以确定其中光流基本上与期望光膨胀匹配的合意的(consensus)一组像素{(x,y)}。这样的合意的一组像素(多个图像中的感兴趣区域的图像段、点、或其他部分)可以表示由目标对象所占据的多个图像中的目标对象区域。与此目标对象区域相关联的点、像素、图像段等可以共享共同的延伸焦点，与感兴趣的区域内的不对应于目标对象的其他图像区域相反。对于那些其他图像区域(例如，与道路或背景对象相关联的图像部分)，对于那些区域确定的光流将可能不与基于目标对象范围和范围变化率确定的期望光膨胀相匹配，这是因为背景对象和道路(除了位于与目标对象相同的范围处的道路的部分)将具有不同于目标对象的范围。
关于延伸焦点(FOE)及其与TTC或将要接触时间的关系，在所捕捉的图像中的所有静止点将共享相同的真实FOE，其对应于车辆200正行驶的方向。对于直立对象，如果对该对象的TTC是可用的(例如，基于雷达单元801的输出)，对于对象的图像中的每个点的估计的FOE可以基于光流(即，图像中点的运动)得到。如果对于图像中的每个点的TTC是可用的，并且可以从一帧到另一帧跟踪图像中的每个点，则对于图像中的所有点可以得到相同的FOE。然而在实践中，TTC可能仅对于单个由雷达检测到的对象或一组由雷达检测到的对象可用，而不是对于与具体图像相关联的每个点可用。基于对于单个检测到的对象的TTC值得到FOE可能对与该对象相关联的所有成像点产生相同的FOE(假设TTC对于该对象的所有点有效)。另一方面，使用与目标对象相关联的TTC得到与在不同于所检测的目标对象的范围处的背景对象或前景对象相关联的FOE可能得到与对于目标对象所得到的FOE不同的ROE。得到的FOE值的这些差异可以被用于分离图像内的目标对象，以确认雷达检测对应于一个实际对象并且确定目标对象相对于车辆200的尺寸、形状和空间定向。
进一步详细地检查用于在图像帧中分离目标对象的处理，当接近道路中的直立目标对象时，可以使用作为图像中位置、TTC和FOE的函数的模型描述图像中的像素/区块的光流。雷达可以检测从帧1中的距离Z1移动到帧2中的距离Z2的对象。具有坐标(x1，y1)的目标对象上的特征可以在帧1中被检测到并被跟踪到帧2中的坐标(x2，y2)。可以假定该点位于离光轴恒定横向距离X处且在道路上方的恒定高度Y处。使用针孔摄相机模型，图像中的特征点的运动(Δx,Δy)可由以下给出：
x1＝x0+X·f/Z1，y1＝y0-(cH-Y)·f/Z1
x2＝x0+X·f/Z2，y2＝y0-(cH-Y)·f/Z2
其中，摄相机的焦距由f给出且其高度由cH给出。FOE是未知的且由(x0，y0)给出。
因此，运动方程可以被参数化为如下：
Δx＝S·(x-x0)
Δy＝S·(y-y0)
其中标尺(scale)S＝(Z1-Z2)/Z2描述了对象相对于FOE在图像中的延伸。假设目标对象和车辆之间的相对速度保持恒定，将与对象接触的时间(TTC)可以从标尺S得到如下：
S≡-ΔZ/Z
在实践中，给定了从雷达目标获得的TTC，可以通过如下点的最大并集描述合意的一组特征点：这些点的观察到的运动可以通过某个固定的FOE来描述。这个合意的组的大小将定义在由雷达目标定义的感兴趣的区域内存在具有如从雷达目标获得的TTC的实际的直立对象的可能性。
任何适当的方法可以用于在图像中检测对应于如从雷达目标获得的期望的TTC的一组像素。在一个实施例中，可以使用优化技术，以使得给定一组N个特征点观察到的运动和雷达标尺(减去范围除以范围变化率)，我们可以推导出最佳地描述所观察到的运动的估计的FOE(即，预测在“最接近”所观察到的运动的意义上是最优的运动的模型)。观察到的运动向量足够接近(欧几里得距离度量)期望的运动向量的点的数量将定义该合意的组。
在另一个实施例中，可以使用霍夫变换方法。在这种方法中，对于每个跟踪的点i，可以得到FOE{x0(S，Δxi，xi)，y0(S，Δyi，yi)}作为该点的位置、在图像中测量的平移、和期望的TTC或标尺的函数。二维直方图(霍夫变换)可以通过对获得的FOE离散化来构建。然后，可以按顺序确定在直方图中的获得了最高票数的值以定义对该值做出贡献的合意的一组点。
作为基于雷达信息以及视觉图像信息的目标识别处理的输出，在图像中可以识别出目标对象区域。此目标对象区域可以由包围符合期望的光膨胀并共享符合基于检测到的雷达信息而确定的TTC的共同FOE的合意的一组像素{(x，y)}的图像边界框(或其他形状)来勾画。使用该目标对象区域，可以识别物理目标对象的边缘，并相对于车辆200对其进行定位。此外，可以确定目标对象的高度、形状、宽度或任何其他尺寸特性。将所获取的图像中的目标对象区域与图像获取装置的已知参数(例如，焦距、在道路上方的高度、相对于车辆200的方位等)相结合，可以使能够确定目标对象相对于车辆200的角方位。
这种信息在确定目标对象是否存在于车辆200的路径中可以是有帮助的。例如，如果基于目标对象区域在某一图像中的位置，处理单元110确定目标对象落入车辆200的行驶路径内，则处理单元200可以引起多个系统响应的任意者。在一些实施例中，系统响应可以包括导航响应，诸如制动、改变转向方向等。如果处理单元110确定允许车辆200继续沿当前行驶方向可能导致与目标对象的碰撞，则处理单元可以警告车辆200的驾驶员，自动地改变转向方向，自动施加车辆的制动等。例如，处理单元110可以向车辆的驾驶员提供通知(例如，经由用户界面170的可听见的声音或可视指示符)和/或向节流系统220、制动系统230和转向系统240的一个或多个提供控制信号以导航车辆200。在一些实施例中，处理单元110可以继续分析图像和/或雷达输出，以确定系统响应是否应中断(例如，如果对象已经移出车辆200的路径，则终止施加制动)。
图10至13表示用于在一个或多个图像内识别目标对象区域的处理的各个阶段。例如，图10描绘场景1001，包括车辆200在其上行驶的道路1002。图10可以表示从例如车辆200的面向前方的视角看到的场景1001。根据上述讨论，当车辆200沿着道路1002行驶时场景1001的真实FOE将看起来位于点1004。定位在道路1002的一个车道中的是以垃圾桶1006的形式的直立的危险。随着车辆200接近垃圾桶1006，雷达单元801可以获取相对于车辆200和垃圾桶1006的范围和范围变化率信息。根据该信息，可以确定车辆200和垃圾桶1006之间的TTC。
随着车辆200接近垃圾桶1006，可以通过图像获取装置122、124和/或126的一个或多个获取包括垃圾桶1006的场景的图像。如上所述，雷达信息也可以用于识别在所检测的目标对象可能位于其中的捕捉到的图像内的感兴趣区域。图11A和图11B示出基于与通过雷达单元801进行的垃圾桶1006的检测相关联的信息所确定的、来自一对获取的图像中的每一个图像的代表性感兴趣区域。当车辆200沿着道路1002的中心行驶时，可以获取示出垃圾桶1006的一系列图像。由于车辆沿道路1002在FOE 1004的方向上的运动，在序列中稍后捕捉的垃圾桶1006的图像将示出垃圾桶1006在图像帧内延伸以及在图像帧内向下和并向右移动(如由图11A和图11B所表示的)。
可以确定从图11A中所示的图像区域到图11B中的图像区域的光流。例如，基于任何以上讨论的方法，可以从图11A所示的帧到图12A所示的帧确定在垃圾桶1006上的任何所选择的目标或参考点1008、1010和1012(或者任何其他数量的目标或参考点)的移动。在一些情况下，目标或参考点可以符合图像中的可与周围的环境相区别的特征(例如，对象的角、对象的小的暗区或亮区、光源、手柄、凸块等)。这种目标或参考点可以在随后的图像容易地识别，并且可以提供在一个或多个随后的图像中所识别的参考点与从原始图像中选取的参考点相对应的高水平的置信度。所确定的运动构成所测量的光流，其为2D向量(u,v)。
图12A提供图11A和图11B之间的水平的光流的标绘值的图示性表示。类似地，图12B提供了图11A和图11B之间的垂直的光流的标绘值的图示性表示。使用雷达范围和雷达范围变化率信息，可以将期望光膨胀幅度确定为标尺因子。并且，给定了来自雷达的标尺，可以确定共享共同FOE的所有像素、点、图像片段、区块等。光流确定是可分离的，意味着可以对测量的垂直流和测量的水平流单独确定或者求解。因此，对于例如与图12B的图像中的垂直位置(y)相关联的、给定的雷达确定的标尺和垂直流，可以使用下面的表达式：
FOE.y＝y-V/(标尺-1)，其中V是垂直流动，并且标尺是从雷达范围和范围变化率值得到的光膨胀幅度。
因此，将这个表达式应用到由图12B所表示的垂直流数据并通过雷达确定的标尺因子进行缩放，可以获得类似于图13中所示的绘图。图13包括与图像中的如下点相符合的目标对象区域1301：对于所测量的雷达范围和雷达速率值，这些点共享共同的FOE。目标对象区域1301与垃圾桶1006相符合，并且可用于确认实际的目标对象的存在以及在空间上相对于车辆200对垃圾桶1006定位(不仅使用雷达范围和雷达速率测量，而且还使用与捕捉垃圾桶1006的图像的(一个或多个)图像获取装置相关联的已知特性。因此，对于垃圾桶1006，边缘位置、大小和形状特性等都可以被确定，并且如果垃圾桶1006存在于车辆200的路径中，则系统100可以向车辆200的驾驶员提供警告或引起一个或多个导航改变发生。
当前所描述的实施例可以在车辆的导航系统中以独立的能力而操作。然而，在一些实施例中，雷达提示导航系统可以与车辆的一个或多个其他导航系统集成或结合操作。例如，在一些情况下，雷达提示视觉导航系统可以与高级驾驶员辅助系统(ADAS)一起操作或进行集成，并且可以用于向ADAS系统提供至少一些功能性。用于交通标志识别(TSR)的导航辅助模块、车道偏离警告(LDW)、智能前灯控制(IHC)和/或交通灯检测全部可以从雷达提示输出受益。例如，在一些实施例中，随着车辆200接近交叉路口，可以观察到存在于两个或更多图像中的所识别的光源的光流。对于在车辆200的周围环境中的静止对象，可以将这种光源的光流与从雷达单元801可得到的将要接触时间(TTC)值相比较(例如，可以基于雷达范围变化率和车辆速度确定这样的TTC值)。在对于静止对象的TTC值与对于所获取的图像中的光源观察到的光流一致的情况下，例如应用处理器180可以确定该光源是交通灯或是可能的交通灯。如果光源被确定为是交通灯，则系统可以进一步确定与该光源相关联的颜色。如果光源是红色或黄色，则可以对驾驶员发出减速以停止的警告。可替代地，该系统可以自动地施加制动并将车辆减速到停止。如果该光源是绿色，则可以认为不需要导航改变。
当前公开的系统还可以根据不同的模式而操作。例如，在一些情况下，可能从以宽检测模式操作导航系统而受益。例如，在城市环境中车辆速度可能降低，但在车辆200周围的诸如行人、灯、交叉路口、垃圾桶等的潜在目标对象的数量可能更高，该系统可以选择宽操作模式。在诸如乡村道路的其他环境中，例如，速度可能高于城市中的速度，并且潜在目标对象的数量可能较少，导航系统可以选择窄操作模式。在一些实施例中，宽操作模式可以与来自具有比另一个可用的具有较窄的视场的图像捕捉装置更宽的视场的图像捕捉装置的图像的分析相关联。导航系统可以基于任何合适的因素选择特定的摄相机(或者其中镜头是可选择的或可调节的镜头)用于图像捕捉或图像分析。例如，在某些情况下应用处理器可以选择图像获取装置122用于图像捕捉或用于图像流分析，并在其他情况下可以选择图像获取装置124或126。在一些实施例中，可以基于从雷达单元801获得的雷达范围或范围变化率信息、基于车辆速度、基于从所捕捉的图像和/或雷达信息得到的所识别的环境或目标对象密度、或使用任何其他合适的参数来选择摄相机、镜头、或图像流。
出于说明的目的已经呈现了前面的描述。它不是穷举性的并且不限于所公开的实施例的精确形式。本领域技术人员通过考虑所公开的实施例的说明和实践，修改和改编将是显而易见的。另外，尽管所公开的实施例的方面被描述为存储在存储器中，本领域的技术人员将理解，这些方面也可以存储在其他类型的计算机可读介质上，诸如辅助存储设备，例如，硬盘或CD ROM、或其他形式的RAM或ROM、USB介质、DVD、蓝光、或其他光驱动介质。
基于书面说明和所公开的方法的计算机程序在有经验的开发人员的技术范围内。可以使用任何本领域技术人员已知的技术来创建或可以结合现有的软件来设计各种程序或程序模块。例如，程序段或程序模块可以以或通过.NET Framework、.NET CompactFramework(以及相关的语言，诸如Visual Basic，C等)、JAVA、C++、Objective-C、HTML、HTML/AJAX组合、XML或者包含Java小程序的HTML来设计。
此外，虽然已经在本文中描述了说明性实施例，但是本领域技术人员基于本公开将认识到具有(例如，遍及各个实施例的方面的)等同的要素、修改、省略、组合、改编和/或改变的任何以及所有实施例的范围。权利要求书中的限定将基于权利要求书中采用的语言宽泛地解释，并且不限于在本说明书中或在本申请的审查期间所描述的示例。示例将被理解为非排他性的。此外，所公开的方法的步骤可以以任何方式修改，包括通过重新排序步骤和/或插入或删除步骤。因此，意图是说明书和示例被视为仅是说明性的，真正的范围和精神由以下权利要求及其等同物的全部范围来表示。

Claims (22)

1.一种用于车辆的导航系统，所述系统包括：
至少一个图像捕捉装置，配置为获取车辆的环境的多个图像；
雷达传感器，检测在车辆的环境中的对象并提供包括范围信息的输出，所述范围信息指示在所述车辆和所述对象之间的范围或范围变化率的至少一个；以及
至少一个处理装置，被编程为：
从所述至少一个图像捕捉装置接收所述多个图像；
从所述雷达传感器接收所述输出；
对于来自所述多个图像之中的第一图像中的多个图像段的每个以及来自所述多个图像之中的第二图像中的对应的图像段，确定光流的指示符；
至少基于来自所述雷达传感器的输出的所述范围信息，确定指示与在所述多个图像中的所述对象相关联的期望光膨胀的值；
确定所述第二图像的一个或多个区域，在所述一个或多个区域中，指示与所述对象相关联的期望光膨胀的值基本上与所述光流的指示符匹配；
识别目标对象区域，至少包括所确定的所述第二图像的一个或多个区域的子集；以及
基于所识别的目标对象区域引起系统响应。
2.根据权利要求1所述的导航系统，其中所述目标对象区域与共同的延伸焦点相关联。
3.根据权利要求1所述的导航系统，其中所述至少一个处理装置进一步被编程为基于所确定的所述目标对象区域的定位来确定所述对象相对于所述车辆的角位置。
4.根据权利要求1所述的导航系统，其中所述至少一个处理装置进一步被编程为基于所识别的目标对象区域来确定所述对象相对于所述车辆的定位。
5.根据权利要求1所述的导航系统，其中，如果所述至少一个处理装置确定所述车辆的当前行驶方向可能导致与所述对象的碰撞，则所述系统响应包括车辆的制动或当前行驶方向的改变的至少一个。
6.根据权利要求1所述的导航系统，其中所述系统响应是包括制动的导航响应。
7.根据权利要求1所述的导航系统，其中所述系统响应是包括车辆的行驶方向的改变的导航响应。
8.根据权利要求1所述的导航系统，其中所述至少一个处理装置进一步被编程为基于所识别的目标对象区域来识别所述对象的边缘。
9.根据权利要求1所述的导航系统，其中所述至少一个处理装置进一步被编程为基于所识别的目标对象区域来确定所述对象的高度。
10.根据权利要求1所述的导航系统，其中所述雷达传感器的输出包括所述车辆与所述对象之间将要接触的时间的指示符。
11.根据权利要求1所述的导航系统，其中所述至少一个处理装置被配置为在确定所述光流的指示符时应对通过使用滚动快门来获取所述多个图像而导致的至少一个效果。
12.根据权利要求1所述的导航系统，其中所述至少一个处理装置被配置为基于来自所述雷达传感器的所述范围信息从至少第一模式和第二模式之中选择操作模式，其中所述第一模式与宽于所述第二模式的图像捕捉视场相关联。
13.一种包括导航系统的车辆，所述导航系统包括：
至少一个图像捕捉装置，配置为获取车辆的环境的多个图像；
雷达传感器，检测在车辆的环境中的对象并提供包括范围信息的输出，所述范围信息指示在所述车辆和所述对象之间的范围或范围变化率的至少一个；以及
至少一个处理装置，被编程为：
从所述至少一个图像捕捉装置接收所述多个图像；
从所述雷达传感器接收所述输出；
对于来自所述多个图像之中的第一图像中的多个图像段的每个以及来自所述多个图像之中的第二图像中的对应的图像段，确定光流的指示符；
至少基于所述雷达传感器的输出中的所述范围信息，确定指示与在所述多个图像中的所述对象相关联的期望光膨胀的值；
确定所述第二图像的一个或多个区域，在所述一个或多个区域中，指示与所述对象相关联的期望光膨胀的值基本上与所述光流的指示符匹配；
识别目标对象区域，至少包括所确定的所述第二图像的一个或多个区域的子集；以及
基于所识别的目标对象区域引起系统响应。
14.根据权利要求13所述的车辆，其中所述至少一个处理装置进一步被编程为基于所确定的所述目标对象区域的定位来确定所述对象相对于所述车辆的角位置。
15.根据权利要求13所述的车辆，其中所述至少一个处理装置进一步被编程为基于所识别的目标对象区域来确定所述对象相对于所述车辆的定位。
16.根据权利要求13所述的车辆，其中，如果所述至少一个处理装置确定所述车辆的当前行驶方向可能导致与所述对象的碰撞，则所述系统响应包括车辆的制动或当前行驶方向的改变的至少一个。
17.根据权利要求13所述的车辆，其中所述至少一个处理装置进一步被编程为基于所识别的目标对象区域来识别所述对象的边缘。
18.根据权利要求13所述的车辆，其中所述至少一个处理装置进一步被编程为基于所识别的目标对象区域来确定所述对象的高度。
19.根据权利要求13所述的车辆，其中所述雷达传感器的输出包括所述车辆与所述对象之间将要接触的时间的指示符。
20.根据权利要求13所述的车辆，其中所述处理装置进一步被配置为在所述多个图像的至少一个中识别光源，基于所述光流的指示符和所述雷达传感器的输出来确定所述光源是否为交通灯，并且如果确定所述交通灯为黄色或红色则引起所述车辆的制动的自动应用。
21.一种用于基于雷达检测和视觉图像数据来导航车辆的方法，所述方法包括：
获取车辆的环境的多个图像；
使用雷达传感器检测在所述车辆的环境中的对象，并提供包括范围信息的雷达传感器的输出，所述范围信息指示在所述车辆和所述对象之间的范围或范围变化率的至少一个；
在一个或多个处理装置处接收来自所述至少一个图像捕捉装置的所述多个图像和来自所述雷达传感器的所述输出；
对于来自所述多个图像之中的第一图像中的多个图像段的每个以及来自所述多个图像之中的第二图像中的对应的图像段，确定光流的指示符；
基于由雷达传感器提供的所述范围信息和所确定的光流的指示符，识别具有基本上共同的延伸焦点的目标对象区域；以及
基于所识别的目标对象区域引起系统响应。
22.一种用于车辆的导航系统，所述系统包括：
至少一个图像捕捉装置，配置为获取车辆的环境的多个图像；
雷达传感器，检测在所述车辆的环境中的对象并提供包括范围信息的输出，所述范围信息指示在所述车辆和所述对象之间的范围或范围变化率的至少一个；以及
至少一个处理装置，被编程为：
从所述至少一个图像捕捉装置接收所述多个图像；
从所述雷达传感器接收所述输出；
对于来自所述多个图像之中的第一图像中的多个图像段的每个以及来自所述多个图像之中的第二图像中的对应的图像段，确定光流的指示符；
基于由雷达传感器提供的所述范围信息和所确定的光流的指示符，识别具有基本上共同的延伸焦点的目标对象区域；以及
基于所识别的目标对象区域引起系统响应。
CN201580018932.1A 2014-02-20 2015-02-20 基于雷达提示视觉成像的高级驾驶员辅助系统 Active CN106461774B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910248611.0A CN109884618B (zh) 2014-02-20 2015-02-20 车辆的导航系统、包括导航系统的车辆和导航车辆的方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461942088P 2014-02-20 2014-02-20
US61/942,088 2014-02-20
PCT/IB2015/000673 WO2015125022A2 (en) 2014-02-20 2015-02-20 Navigation based on radar-cued visual imaging

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910248611.0A Division CN109884618B (zh) 2014-02-20 2015-02-20 车辆的导航系统、包括导航系统的车辆和导航车辆的方法

Publications (2)

Publication Number Publication Date
CN106461774A CN106461774A (zh) 2017-02-22
CN106461774B true CN106461774B (zh) 2019-04-23

Family

ID=53276196

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910248611.0A Active CN109884618B (zh) 2014-02-20 2015-02-20 车辆的导航系统、包括导航系统的车辆和导航车辆的方法
CN201580018932.1A Active CN106461774B (zh) 2014-02-20 2015-02-20 基于雷达提示视觉成像的高级驾驶员辅助系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910248611.0A Active CN109884618B (zh) 2014-02-20 2015-02-20 车辆的导航系统、包括导航系统的车辆和导航车辆的方法

Country Status (4)

Country Link
US (3) US9664789B2 (zh)
EP (1) EP3108264A2 (zh)
CN (2) CN109884618B (zh)
WO (1) WO2015125022A2 (zh)

Families Citing this family (176)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160048975A9 (en) 2004-07-02 2016-02-18 Trackman A/S Assembly comprising a radar and an imaging element
WO2006002639A1 (en) 2004-07-02 2006-01-12 Interactive Sports Games A/S A method and apparatus for determining a deviation between an actual direction of a launched projectile and a predetermined direction
US10393870B2 (en) 2005-03-03 2019-08-27 Trackman A/S Determination of spin parameters of a sports ball
CN109884618B (zh) * 2014-02-20 2023-05-26 御眼视觉技术有限公司 车辆的导航系统、包括导航系统的车辆和导航车辆的方法
WO2015186002A2 (en) 2014-06-03 2015-12-10 Mobileye Vision Technologies Ltd. Systems and methods for detecting an object
JP5959073B2 (ja) * 2014-09-30 2016-08-02 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 検出装置、検出方法、及び、プログラム
DE102014114999A1 (de) * 2014-10-15 2016-04-21 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen zumindest eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
US9855890B2 (en) * 2014-12-11 2018-01-02 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle interaction with external environment
US10088322B2 (en) * 2014-12-16 2018-10-02 Ford Global Technologies, Llc Traffic control device detection
JP6532229B2 (ja) * 2014-12-18 2019-06-19 株式会社デンソーテン 物体検出装置、物体検出システム、物体検出方法及びプログラム
EP3048557B1 (de) * 2015-01-20 2019-09-25 Aptiv Technologies Limited Verfahren zum Ermitteln einer Lage eines Fahrzeugmerkmals
EP3299240A4 (en) * 2015-05-19 2019-01-30 LG Electronics Inc. DEVICE FOR ASSISTING THE DRIVING OF A VEHICLE AND VEHICLE
JP6444835B2 (ja) 2015-09-07 2018-12-26 株式会社東芝 画像処理装置、画像処理プログラムおよび画像処理システム
US9566986B1 (en) 2015-09-25 2017-02-14 International Business Machines Corporation Controlling driving modes of self-driving vehicles
CN114612877A (zh) * 2016-01-05 2022-06-10 御眼视觉技术有限公司 用于估计未来路径的系统和方法
US10145951B2 (en) * 2016-03-30 2018-12-04 Aptiv Technologies Limited Object detection using radar and vision defined image detection zone
US9846228B2 (en) 2016-04-07 2017-12-19 Uhnder, Inc. Software defined automotive radar systems
WO2017175190A1 (en) 2016-04-07 2017-10-12 Uhnder, Inc. Adaptive transmission and interference cancellation for mimo radar
US10261179B2 (en) 2016-04-07 2019-04-16 Uhnder, Inc. Software defined automotive radar
WO2017187304A2 (en) 2016-04-25 2017-11-02 Uhnder, Inc. Digital frequency modulated continuous wave radar using handcrafted constant envelope modulation
WO2017187278A1 (en) 2016-04-25 2017-11-02 Uhnder, Inc. Pmcw – pmcw interference mitigation
WO2017187299A2 (en) 2016-04-25 2017-11-02 Uhnder, Inc. Successive signal interference mitigation
US9791551B1 (en) 2016-04-25 2017-10-17 Uhnder, Inc. Vehicular radar system with self-interference cancellation
US9575160B1 (en) 2016-04-25 2017-02-21 Uhnder, Inc. Vehicular radar sensing system utilizing high rate true random number generator
EP3449272B1 (en) 2016-04-25 2022-11-02 Uhnder, Inc. Vehicle radar system with a shared radar and communication system, and method for managing such a system in a vehicle
WO2017187306A1 (en) 2016-04-25 2017-11-02 Uhnder, Inc. Adaptive filtering for fmcw interference mitigation in pmcw radar systems
WO2017187242A1 (en) 2016-04-25 2017-11-02 Uhnder, Inc. On-demand multi-scan micro doppler for vehicle
US10573959B2 (en) 2016-04-25 2020-02-25 Uhnder, Inc. Vehicle radar system using shaped antenna patterns
JP6493365B2 (ja) * 2016-05-19 2019-04-03 株式会社デンソー 車両制御装置、車両制御方法
US9753121B1 (en) 2016-06-20 2017-09-05 Uhnder, Inc. Power control for improved near-far performance of radar systems
US10104496B2 (en) * 2016-07-01 2018-10-16 Laird Technologies, Inc. Telematics devices and systems
US10379214B2 (en) 2016-07-11 2019-08-13 Trackman A/S Device, system and method for tracking multiple projectiles
JP6616257B2 (ja) * 2016-07-13 2019-12-04 株式会社Ｓｏｋｅｎ 位置推定装置
WO2018051288A1 (en) 2016-09-16 2018-03-22 Uhnder, Inc. Virtual radar configuration for 2d array
IT201600094858A1 (it) * 2016-09-21 2018-03-21 St Microelectronics Srl Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo
US10444339B2 (en) 2016-10-31 2019-10-15 Trackman A/S Skid and roll tracking system
KR102631964B1 (ko) * 2016-11-23 2024-01-31 엘지이노텍 주식회사 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체
US10989791B2 (en) * 2016-12-05 2021-04-27 Trackman A/S Device, system, and method for tracking an object using radar data and imager data
US10279786B2 (en) * 2016-12-06 2019-05-07 Aptiv Technologies Limited Automatic braking system
KR20180070198A (ko) * 2016-12-16 2018-06-26 현대자동차주식회사 차량 및 차량의 제어방법
CN106515578A (zh) * 2016-12-22 2017-03-22 百度在线网络技术（北京）有限公司 无人车驾驶状态的识别装置、识别方法及无人车
CN107426519B (zh) * 2017-01-16 2018-04-24 胡佳威 携带网络多媒体设备的车辆
US10866306B2 (en) 2017-02-10 2020-12-15 Uhnder, Inc. Increasing performance of a receive pipeline of a radar with memory optimization
WO2018146530A1 (en) 2017-02-10 2018-08-16 Uhnder, Inc. Reduced complexity fft-based correlation for automotive radar
US11454697B2 (en) 2017-02-10 2022-09-27 Uhnder, Inc. Increasing performance of a receive pipeline of a radar with memory optimization
FR3062944B1 (fr) * 2017-02-10 2021-05-14 Continental Automotive France Procede de detection de faux-positifs relatifs a un feu de signalisation
US11372416B2 (en) 2017-03-01 2022-06-28 Mobileye Vision Technologies Ltd. Systems and methods for navigating with sensing uncertainty
US10444342B2 (en) * 2017-03-08 2019-10-15 Gm Global Technology Operations Llc. Control of host device using three-dimensional position and velocity
US10311312B2 (en) 2017-08-31 2019-06-04 TuSimple System and method for vehicle occlusion detection
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
US11587304B2 (en) 2017-03-10 2023-02-21 Tusimple, Inc. System and method for occluding contour detection
US10067509B1 (en) 2017-03-10 2018-09-04 TuSimple System and method for occluding contour detection
US10671873B2 (en) 2017-03-10 2020-06-02 Tusimple, Inc. System and method for vehicle wheel detection
EP3373037B1 (en) * 2017-03-10 2023-06-28 The Hi-Tech Robotic Systemz Ltd Single casing advanced driver assistance system
US9953236B1 (en) 2017-03-10 2018-04-24 TuSimple System and method for semantic segmentation using dense upsampling convolution (DUC)
US11151447B1 (en) * 2017-03-13 2021-10-19 Zoox, Inc. Network training process for hardware definition
US10209718B2 (en) 2017-03-14 2019-02-19 Starsky Robotics, Inc. Vehicle sensor system and method of use
US10471963B2 (en) 2017-04-07 2019-11-12 TuSimple System and method for transitioning between an autonomous and manual driving mode based on detection of a drivers capacity to control a vehicle
US9952594B1 (en) 2017-04-07 2018-04-24 TuSimple System and method for traffic data collection using unmanned aerial vehicles (UAVs)
US10710592B2 (en) 2017-04-07 2020-07-14 Tusimple, Inc. System and method for path planning of autonomous vehicles based on gradient
US10552691B2 (en) 2017-04-25 2020-02-04 TuSimple System and method for vehicle position and velocity estimation based on camera and lidar data
US10558864B2 (en) 2017-05-18 2020-02-11 TuSimple System and method for image localization based on semantic segmentation
US10481044B2 (en) 2017-05-18 2019-11-19 TuSimple Perception simulation for improved autonomous vehicle control
US20180341821A1 (en) * 2017-05-26 2018-11-29 Dura Operating, Llc Method and system for generating and using a perception scene graph in motor vehicle applications
US10913434B2 (en) 2017-06-01 2021-02-09 Aptiv Technologies Limited Automatic braking system for slow moving objects
US10474790B2 (en) 2017-06-02 2019-11-12 TuSimple Large scale distributed simulation for realistic multiple-agent interactive environments
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
CN112214027A (zh) * 2017-06-14 2021-01-12 御眼视觉技术有限公司 自主导航的导航信息的融合构架和分批对齐
CN109141347A (zh) * 2017-06-28 2019-01-04 京东方科技集团股份有限公司 车载摄像机测距方法及装置、存储介质和电子设备
EP3422042B1 (en) * 2017-06-29 2020-03-18 Aptiv Technologies Limited Method to determine the orientation of a target vehicle
CN110799804A (zh) * 2017-06-30 2020-02-14 深圳市大疆创新科技有限公司 地图生成系统和方法
US10493988B2 (en) 2017-07-01 2019-12-03 TuSimple System and method for adaptive cruise control for defensive driving
US10303522B2 (en) 2017-07-01 2019-05-28 TuSimple System and method for distributed graphics processing unit (GPU) computation
US10308242B2 (en) 2017-07-01 2019-06-04 TuSimple System and method for using human driving patterns to detect and correct abnormal driving behaviors of autonomous vehicles
US10737695B2 (en) 2017-07-01 2020-08-11 Tusimple, Inc. System and method for adaptive cruise control for low speed following
US10752246B2 (en) 2017-07-01 2020-08-25 Tusimple, Inc. System and method for adaptive cruise control with proximate vehicle detection
CN110997488A (zh) * 2017-07-28 2020-04-10 高通股份有限公司 动态控制用于处理传感器输出数据的参数的系统和方法
US11029693B2 (en) 2017-08-08 2021-06-08 Tusimple, Inc. Neural network based vehicle dynamics model
US10360257B2 (en) 2017-08-08 2019-07-23 TuSimple System and method for image annotation
US10496891B2 (en) * 2017-08-17 2019-12-03 Harman International Industries, Incorporated Driver assistance system and method for object detection and notification
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10303956B2 (en) 2017-08-23 2019-05-28 TuSimple System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10678234B2 (en) 2017-08-24 2020-06-09 Tusimple, Inc. System and method for autonomous vehicle control to minimize energy cost
US10783381B2 (en) 2017-08-31 2020-09-22 Tusimple, Inc. System and method for vehicle occlusion detection
US10782694B2 (en) 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10656644B2 (en) 2017-09-07 2020-05-19 Tusimple, Inc. System and method for using human driving patterns to manage speed control for autonomous vehicles
US10782693B2 (en) 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10552979B2 (en) 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
US10671083B2 (en) 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
JP6617126B2 (ja) * 2017-09-15 2019-12-11 本田技研工業株式会社 走行制御システムおよび車両の制御方法
US10733465B2 (en) 2017-09-20 2020-08-04 Tusimple, Inc. System and method for vehicle taillight state recognition
EP3462212B1 (en) * 2017-09-28 2022-03-16 Aptiv Technologies Limited Radar system of a vehicle and method for detecting an object in standstill situation
US10970564B2 (en) 2017-09-30 2021-04-06 Tusimple, Inc. System and method for instance-level lane detection for autonomous vehicle control
US10962979B2 (en) 2017-09-30 2021-03-30 Tusimple, Inc. System and method for multitask processing for autonomous vehicle computation and control
US10768626B2 (en) 2017-09-30 2020-09-08 Tusimple, Inc. System and method for providing multiple agents for decision making, trajectory planning, and control for autonomous vehicles
CN107633695B (zh) * 2017-09-30 2020-10-23 深圳市德赛微电子技术有限公司 一种感知型智能交通终端装置
US10410055B2 (en) 2017-10-05 2019-09-10 TuSimple System and method for aerial video traffic analysis
US10841496B2 (en) * 2017-10-19 2020-11-17 DeepMap Inc. Lidar to camera calibration based on edge detection
US10739775B2 (en) 2017-10-28 2020-08-11 Tusimple, Inc. System and method for real world autonomous vehicle trajectory simulation
US10812589B2 (en) 2017-10-28 2020-10-20 Tusimple, Inc. Storage architecture for heterogeneous multimedia data
US10666730B2 (en) 2017-10-28 2020-05-26 Tusimple, Inc. Storage architecture for heterogeneous multimedia data
US10657390B2 (en) 2017-11-27 2020-05-19 Tusimple, Inc. System and method for large-scale lane marking detection using multimodal sensor data
US10528851B2 (en) 2017-11-27 2020-01-07 TuSimple System and method for drivable road surface representation generation using multimodal sensor data
US10528823B2 (en) 2017-11-27 2020-01-07 TuSimple System and method for large-scale lane marking detection using multimodal sensor data
US10877476B2 (en) 2017-11-30 2020-12-29 Tusimple, Inc. Autonomous vehicle simulation system for analyzing motion planners
US10860018B2 (en) 2017-11-30 2020-12-08 Tusimple, Inc. System and method for generating simulated vehicles with configured behaviors for analyzing autonomous vehicle motion planners
US11067686B2 (en) * 2017-12-01 2021-07-20 Electromagnetic Systems, Inc. Obstacle position and extent measurement by automotive radar
US11105890B2 (en) 2017-12-14 2021-08-31 Uhnder, Inc. Frequency modulated signal cancellation in variable power mode for radar applications
US20200283163A1 (en) * 2017-12-14 2020-09-10 Saab Ab Flight vision system and method for presenting images from the surrounding of an airborne vehicle in a flight vision system
WO2019137788A1 (en) * 2018-01-09 2019-07-18 Motherson Innovations Company Limited Method and device for detecting a roadside object
CN112004729B (zh) 2018-01-09 2023-12-01 图森有限公司 具有高冗余的车辆的实时远程控制
CN115834617A (zh) 2018-01-11 2023-03-21 图森有限公司 用于自主车辆操作的监视系统
JP6845166B2 (ja) * 2018-01-18 2021-03-17 株式会社Ｓｏｋｅｎ 車両レーダシステム
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
US10685239B2 (en) 2018-03-18 2020-06-16 Tusimple, Inc. System and method for lateral vehicle detection
EP3640105A1 (en) * 2018-03-20 2020-04-22 Mobileye Vision Technologies Ltd. Modified responsibility sensitivity safety model
DE102018204438B3 (de) * 2018-03-22 2019-05-02 Conti Temic Microelectronic Gmbh Vorrichtung mit einer Sensorbaugruppe und einer Streulichtblende
WO2019195191A1 (en) * 2018-04-02 2019-10-10 Phantom Al, Inc. Dynamic image region selection for visual inference
CN111902694A (zh) * 2018-04-03 2020-11-06 御眼视觉技术有限公司 用于确定导航参数的系统和方法
CN110378184A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
CN116129376A (zh) 2018-05-02 2023-05-16 北京图森未来科技有限公司 一种道路边缘检测方法和装置
US11079488B2 (en) * 2018-05-14 2021-08-03 GM Global Technology Operations LLC DBSCAN parameters as function of sensor suite configuration
US10706563B2 (en) * 2018-05-15 2020-07-07 Qualcomm Incorporated State and position prediction of observed vehicles using optical tracking of wheel rotation
US10852420B2 (en) * 2018-05-18 2020-12-01 Industrial Technology Research Institute Object detection system, autonomous vehicle using the same, and object detection method thereof
US11260849B2 (en) * 2018-05-23 2022-03-01 Baidu Usa Llc Method for determining lane changing trajectories for autonomous driving vehicles
US11099579B2 (en) * 2018-05-31 2021-08-24 Nissan North America, Inc. System for determining the number of remote vehicles following a host vehicle
US11104334B2 (en) 2018-05-31 2021-08-31 Tusimple, Inc. System and method for proximate vehicle intention prediction for autonomous vehicles
CN109031304A (zh) * 2018-06-06 2018-12-18 上海国际汽车城（集团）有限公司 基于视觉和毫米波雷达地图特征的隧道内车辆定位方法
EP3807128B1 (en) * 2018-06-13 2024-01-31 Ride Vision Ltd. A rider assistance system and method
US10782691B2 (en) 2018-08-10 2020-09-22 Buffalo Automation Group Inc. Deep learning and intelligent sensing system integration
US10683067B2 (en) 2018-08-10 2020-06-16 Buffalo Automation Group Inc. Sensor system for maritime vessels
US10936907B2 (en) * 2018-08-10 2021-03-02 Buffalo Automation Group Inc. Training a deep learning system for maritime applications
EP3842304A3 (en) 2018-08-14 2021-09-15 Mobileye Vision Technologies Ltd. Systems and methods for navigating with safe distances
US10962980B2 (en) * 2018-08-30 2021-03-30 Ford Global Technologies, Llc System and methods for reverse braking during automated hitch alignment
US10839234B2 (en) 2018-09-12 2020-11-17 Tusimple, Inc. System and method for three-dimensional (3D) object detection
AU2019339418A1 (en) 2018-09-13 2021-05-13 Tusimple, Inc. Remote safe driving methods and systems
KR102616205B1 (ko) * 2018-10-08 2023-12-21 주식회사 에이치엘클레무브 후방 경보 장치, 그 방법 및 제어 시스템
CN109459750B (zh) * 2018-10-19 2023-05-23 吉林大学 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法
US10796402B2 (en) 2018-10-19 2020-10-06 Tusimple, Inc. System and method for fisheye image processing
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
US11270162B2 (en) * 2018-10-30 2022-03-08 Here Global B.V. Method and apparatus for detecting objects of interest in an environment
US11428781B2 (en) 2018-11-01 2022-08-30 Robert Bosch Gmbh System and method for radar-based localization in sparse environment
US11474225B2 (en) 2018-11-09 2022-10-18 Uhnder, Inc. Pulse digital mimo radar system
CN109581358B (zh) * 2018-12-20 2021-08-31 奇瑞汽车股份有限公司 障碍物的识别方法、装置及存储介质
JP7069061B2 (ja) * 2019-01-31 2022-05-17 株式会社デンソー 物体判定装置
US11092456B2 (en) * 2019-03-08 2021-08-17 Aptiv Technologies Limited Object location indicator system and method
US11681017B2 (en) 2019-03-12 2023-06-20 Uhnder, Inc. Method and apparatus for mitigation of low frequency noise in radar systems
US11035945B2 (en) * 2019-04-18 2021-06-15 GM Global Technology Operations LLC System and method of controlling operation of a device with a steerable optical sensor and a steerable radar unit
CN109946661A (zh) * 2019-04-26 2019-06-28 陕西师范大学 一种车载雷达数据处理算法验证系统
JP2020188323A (ja) * 2019-05-10 2020-11-19 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像方法
CN110245611B (zh) * 2019-06-14 2021-06-15 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
JP6773854B2 (ja) * 2019-07-10 2020-10-21 株式会社東芝 検出装置、検出方法、および検出プログラム
CN110781816A (zh) * 2019-10-25 2020-02-11 北京行易道科技有限公司 车辆在车道中的横向定位方法、装置、设备及存储介质
US11176682B2 (en) * 2019-11-27 2021-11-16 Nvidia Corporation Enhanced optical flow estimation using a varied scan order
CN110888113B (zh) * 2019-12-04 2023-07-25 腾讯科技（深圳）有限公司 车载雷达控制方法、装置、设备和存储介质
WO2021144711A2 (en) 2020-01-13 2021-07-22 Uhnder, Inc. Method and system for intefrence management for digital radars
WO2021167928A1 (en) 2020-02-21 2021-08-26 Crown Equipment Corporation Modify vehicle parameter based on vehicle position information
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
CN111582189B (zh) * 2020-05-11 2023-06-23 腾讯科技（深圳）有限公司 交通信号灯识别方法、装置、车载控制终端及机动车
CN113763457B (zh) * 2020-06-03 2023-08-25 杭州海康威视数字技术股份有限公司 落差地形的标定方法、装置、电子设备和存储介质
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
KR20220000073A (ko) * 2020-06-25 2022-01-03 현대모비스 주식회사 거리센서를 이용한 장애물 검출 시스템 및 방법
EP3961255A1 (en) * 2020-08-28 2022-03-02 Aptiv Technologies Limited Driver assistance system for a vehicle, vehicle and a driver assistance method implementable by the system
CN112258571B (zh) * 2020-09-25 2023-05-30 上海数川数据科技有限公司 一种基于单目视觉的室内行人定位方法
US20220153262A1 (en) * 2020-11-19 2022-05-19 Nvidia Corporation Object detection and collision avoidance using a neural network
US11536608B2 (en) 2021-01-04 2022-12-27 Argo AI, LLC Systems and methods for characterizing spectral reflectance of real world objects
US11733369B2 (en) 2021-02-11 2023-08-22 Waymo Llc Methods and systems for three dimensional object detection and localization
WO2022104296A1 (en) * 2021-12-29 2022-05-19 Innopeak Technology, Inc. Camera radar fusion for advanced driver assistance system (adas) with radar and mobile phone

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007049706A1 (de) * 2007-10-17 2009-04-23 Robert Bosch Gmbh Verfahren zur Schätzung der Relativbewegung von Video-Objekten und Fahrerassistenzsystem für Kraftfahrzeuge
CN102414715A (zh) * 2009-04-23 2012-04-11 丰田自动车株式会社 物体检测装置
CN102428385A (zh) * 2009-05-19 2012-04-25 丰田自动车株式会社 物体探测设备

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4257703A (en) * 1979-03-15 1981-03-24 The Bendix Corporation Collision avoidance using optical pattern growth rate
US5515448A (en) * 1992-07-28 1996-05-07 Yazaki Corporation Distance measuring apparatus of a target tracking type
US6822563B2 (en) * 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US5638116A (en) * 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
JPH11353565A (ja) * 1998-06-09 1999-12-24 Yazaki Corp 車両用衝突警報方法及び装置
JP2001233150A (ja) * 2000-02-22 2001-08-28 Yazaki Corp 車両用危険判断装置及び、車両用周辺監視装置
US7027615B2 (en) 2001-06-20 2006-04-11 Hrl Laboratories, Llc Vision-based highway overhead structure detection system
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
JP2003333586A (ja) * 2002-05-17 2003-11-21 Pioneer Electronic Corp 撮像装置、撮像装置の制御方法
US7433494B2 (en) * 2002-09-19 2008-10-07 Denso Corporation Moving body detecting apparatus
WO2005024754A1 (ja) * 2003-09-02 2005-03-17 Fujitsu Limited 車載用画像処理装置
DE602005007006D1 (de) 2004-04-08 2008-07-03 Mobileye Technologies Ltd Kollisionswarnsystem
US7493202B2 (en) * 2004-11-12 2009-02-17 Takata Corporation Vehicle safety control system by image processing
US7706978B2 (en) * 2005-09-02 2010-04-27 Delphi Technologies, Inc. Method for estimating unknown parameters for a vehicle object detection system
US8164628B2 (en) * 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US7711147B2 (en) * 2006-07-28 2010-05-04 Honda Motor Co., Ltd. Time-to-contact estimation device and method for estimating time to contact
JP4367475B2 (ja) * 2006-10-06 2009-11-18 アイシン精機株式会社 移動物体認識装置、移動物体認識方法及びコンピュータプログラム
DE102007049516A1 (de) 2006-10-13 2008-04-24 A.D.C. Automotive Distance Control Systems Gmbh System zur Bestimmung von Objekten
WO2008043852A1 (de) * 2006-10-13 2008-04-17 Continental Teves Ag & Co. Ohg System zur bestimmung von objekten
US8855848B2 (en) * 2007-06-05 2014-10-07 GM Global Technology Operations LLC Radar, lidar and camera enhanced methods for vehicle dynamics estimation
JP5649568B2 (ja) * 2008-05-21 2015-01-07 アー・デー・ツェー・オートモーティブ・ディスタンス・コントロール・システムズ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 車両と歩行者との衝突を回避するための運転者援助システム
JP4453775B2 (ja) * 2008-06-27 2010-04-21 トヨタ自動車株式会社 物体検出装置
EP3975138A1 (en) * 2008-10-06 2022-03-30 Mobileye Vision Technologies Ltd. Bundling of driver assistance systems
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
US20100225522A1 (en) * 2009-03-06 2010-09-09 Demersseman Bernard Guy Sensor system for detecting an impending collision of a vehicle
EP2430615A2 (en) * 2009-05-08 2012-03-21 Scientific Systems Company Inc. Method and system for visual collision detection and estimation
JP5483535B2 (ja) * 2009-08-04 2014-05-07 アイシン精機株式会社 車両周辺認知支援装置
EP2485203B1 (en) * 2009-09-30 2020-02-19 Panasonic Intellectual Property Management Co., Ltd. Vehicle-surroundings monitoring device
US8232872B2 (en) * 2009-12-03 2012-07-31 GM Global Technology Operations LLC Cross traffic collision alert system
US8704887B2 (en) * 2010-12-02 2014-04-22 GM Global Technology Operations LLC Multi-object appearance-enhanced fusion of camera and range sensor data
EP2463843B1 (en) 2010-12-07 2015-07-29 Mobileye Vision Technologies Ltd. Method and system for forward collision warning
US9233659B2 (en) * 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
US8744169B2 (en) * 2011-05-31 2014-06-03 Toyota Motor Europe Nv/Sa Voting strategy for visual ego-motion from stereo
JP5772321B2 (ja) * 2011-07-12 2015-09-02 アイシン精機株式会社 車両検出装置、車両検出方法及びプログラム
EP2578464B1 (en) * 2011-10-06 2014-03-19 Honda Research Institute Europe GmbH Video-based warning system for a vehicle
EP2831621B1 (en) * 2012-03-26 2016-07-13 Robert Bosch GmbH Multi-surface model-based tracking
JP6035904B2 (ja) * 2012-06-29 2016-11-30 株式会社デンソー 電子機器
JP2014010636A (ja) * 2012-06-29 2014-01-20 Denso Corp 電子機器
JP5944781B2 (ja) * 2012-07-31 2016-07-05 株式会社デンソーアイティーラボラトリ 移動体認識システム、移動体認識プログラム、及び移動体認識方法
JP5812064B2 (ja) * 2012-11-22 2015-11-11 株式会社デンソー 物標検出装置
SE537279C2 (sv) * 2013-07-12 2015-03-24 BAE Systems Hägglunds AB System och förfarande för behandling av taktisk informationhos stridsfordon
JP5884794B2 (ja) * 2013-08-29 2016-03-15 株式会社デンソー 衝突可能性判定装置およびプログラム
JP5892129B2 (ja) * 2013-08-29 2016-03-23 株式会社デンソー 道路形状認識方法、道路形状認識装置、プログラムおよび記録媒体
CN109884618B (zh) * 2014-02-20 2023-05-26 御眼视觉技术有限公司 车辆的导航系统、包括导航系统的车辆和导航车辆的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007049706A1 (de) * 2007-10-17 2009-04-23 Robert Bosch Gmbh Verfahren zur Schätzung der Relativbewegung von Video-Objekten und Fahrerassistenzsystem für Kraftfahrzeuge
CN102414715A (zh) * 2009-04-23 2012-04-11 丰田自动车株式会社 物体检测装置
CN102428385A (zh) * 2009-05-19 2012-04-25 丰田自动车株式会社 物体探测设备

Also Published As

Publication number Publication date
US10274598B2 (en) 2019-04-30
US20190235073A1 (en) 2019-08-01
US20150234045A1 (en) 2015-08-20
US10690770B2 (en) 2020-06-23
WO2015125022A3 (en) 2015-11-26
CN109884618B (zh) 2023-05-26
WO2015125022A2 (en) 2015-08-27
CN106461774A (zh) 2017-02-22
EP3108264A2 (en) 2016-12-28
CN109884618A (zh) 2019-06-14
US9664789B2 (en) 2017-05-30
US20170248694A1 (en) 2017-08-31

Similar Documents

Publication Publication Date Title
CN106461774B (zh) 基于雷达提示视觉成像的高级驾驶员辅助系统
US10984261B2 (en) Systems and methods for curb detection and pedestrian hazard assessment
JP7081875B2 (ja) 検出された障壁に基づく車両のナビゲーション
CN106536299B (zh) 基于检测对象制动车辆的系统和方法
JP6997106B2 (ja) 車両をナビゲートするためのシステム、方法およびコンピュータプログラム
CN110235026A (zh) 基于对齐的图像和激光雷达信息的车辆导航
CN109891194A (zh) 用于导航车道合并和车道分离的系统和方法
JP2019505034A (ja) 車両のレーン割込みの自動予測及び利他的応答
CN107111742A (zh) 在导航中对车道限制和施工区域的识别和预测

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant