CN112417943A - 利用算法天际线检测的经改进高级驾驶员辅助系统(adas)操作 - Google Patents

利用算法天际线检测的经改进高级驾驶员辅助系统(adas)操作 Download PDF

Info

Publication number
CN112417943A
CN112417943A CN202010842111.2A CN202010842111A CN112417943A CN 112417943 A CN112417943 A CN 112417943A CN 202010842111 A CN202010842111 A CN 202010842111A CN 112417943 A CN112417943 A CN 112417943A
Authority
CN
China
Prior art keywords
skyline
location
image
image frames
identifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010842111.2A
Other languages
English (en)
Inventor
G·戈洛夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Micron Technology Inc
Original Assignee
Micron Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Micron Technology Inc filed Critical Micron Technology Inc
Publication of CN112417943A publication Critical patent/CN112417943A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Abstract

本申请案涉及利用算法天际线检测的经改进高级驾驶员辅助系统ADAS操作。揭示通过预处理图像数据来改进高级驾驶员辅助系统ADAS的技术。在一个实施例中，揭示一种方法，所述方法包括：接收由安装在车辆上的图像传感器捕获的一或多个图像帧；识别天际线在所述一或多个图像帧中的位置，所述位置包括所述天际线的水平位置；基于所述天际线的所述位置来裁剪一或多个未来图像帧，所述裁剪产生包括所述对应的未来图像帧的子集的经裁剪图像；及在高级驾驶员辅助系统ADAS处处理所述经裁剪图像。

Description

利用算法天际线检测的经改进高级驾驶员辅助系统(ADAS) 操作
版权声明
本申请案包含受版权保护的材料。版权所有者不反对任何人复制呈现在专利和商标局文件或记录中的专利揭示内容，但无论如何在其它方面保留所有版权权利。
技术领域
本申请案涉及一种高级驾驶员辅助系统(ADAS)，且特定来说涉及利用算法天际线检测的经改进高级驾驶员辅助系统(ADAS)操作。
背景技术
所揭示实施例针对自主驾驶车辆，且具体地针对用于通过消除由此一系统处理的无关图形数据来改进高级驾驶员辅助系统(ADAS)的操作的系统。
当前，许多车辆采用高级驾驶员辅助系统。ADAS为响应于所定义输入提供反馈或自动控制车辆的系统。ADAS的一个实例为盲点检测系统。另一实例为维持车辆相对于其它车辆的安全跟随距离的系统。
通常，ADAS依赖于安装在装有ADAS的车辆上的一或多个相机捕获的图像数据。此等相机将图像的帧传输到电子控制单元(ECU)，所述电子控制单元处理图像并产生适合于ADAS类型的输出信号。作为一个实例，在安全的跟随距离ADAS中，捕获从车辆的前部拍摄的图像并将其发送到适当的ECU。作为响应，ECU使用各种图像处理技术分析图像，以识别车辆或其它对象是否在车辆前部的一定距离内。然后，ECU将指示处理的结果的信号输出到用户接口(例如，仪表板接口)。
尽管当前的系统能够检测由车辆相机捕获的图像帧中的对象(例如，其它车辆)，但其具有多种缺陷。通常，车载相机传输整个图像帧。然而，这些帧通常包含大量不相关的信息。特别地，图像的一部分包含与对象检测无关的天空。通过传输包含无关部分的完整帧，当前的集中式ADAS系统会消耗额外能量，并在车辆网络中引入不必要的等待时间。
因此，需要纠正现有ADAS架构的这些及其它缺陷。
发明内容
本文中所揭示用于使用图像预处理技术来改进ADAS的方法、计算机可读媒体及装置。
所揭示实施例描述用于预处理由安装在车辆中的图像传感器捕获的图像帧的技术。所描述的预处理包括识别由图像传感器捕获的一组帧的天际线部分。作为响应，对由图像传感器所捕获的未来图像帧进行裁剪，且然后由一或多个ADAS ECU处理这些经裁剪帧。在一些实施例中，所有处理都在相机内执行，且仅将经裁剪图像数据发送到ADAS ECU。在其它实施例中，相机仅经装备以根据预先配置的水平边界位置来裁剪图像帧。此预先配置的水平边界位置由ADAS ECU计算，且周期性更新以补偿不断变化的天际线位置。
在一个实施例中，揭示一种方法，所述方法包括：接收由安装在车辆上的图像传感器捕获的一或多个图像帧；识别天际线在所述一或多个图像帧中的位置，所述位置包括所述天际线的水平位置；基于所述天际线的所述位置来裁剪一或多个未来图像帧，所述裁剪产生包括所述对应的未来图像帧的子集的经裁剪图像；及在高级驾驶员辅助系统(ADAS)处处理所述经裁剪图像。
在另一实施例中，揭示一种非暂时性计算机可读存储媒体，用于有形地存储能够由计算机处理器执行的计算机程序指令，所述计算机程序指令定义以下步骤：接收由安装在车辆上的图像传感器捕获的一或多个图像帧；识别天际线在所述一或多个图像帧中的位置，所述位置包括所述天际线的水平位置；基于所述天际线的所述位置来裁剪一或多个未来图像帧，所述裁剪产生包括所述对应的未来图像帧的子集的经裁剪图像；并在高级驾驶员辅助系统(ADAS)中处理所述经裁剪图像。
在另一实施例中，揭示一种装置，所述装置包括处理器及用于在其上有形地存储由处理器执行的程序逻辑的存储媒体，所述所存储程序逻辑使处理器执行以下操作：接收由安装在车辆上的图像传感器捕获的一或多个图像帧，识别天际线在一或多个图像帧中的位置，所述位置包括所述天际线的水平位置，基于所述天际线的所述位置裁剪一或多个未来的图像帧，所述裁剪产生经裁剪图像包括所述对应的未来图像帧的子集，及在高级驾驶员辅助系统(ADAS)处处理所述经裁剪图像。
实施例提供超过现有ADAS系统的众多优点。首先，经裁剪图像的经缩减大小产生经由车辆数据总线传输的较少数据。此缩减增加可用于其它应用程序的带宽，以及增加横跨总线的所感知数据传送速率，不仅改进ADAS ECU的操作，还改进总线上任何其它ECU的操作。其次，由于排除潜在对象在对象检测期间触发误报，将图像仅裁剪为ADAS处理的相关部分会导致基础ADAS处理例程的准确性改进。第三，由于ADAS ECU处理的帧不足，因此缩减了ECU的功耗，且因此，由于降低图像处理期间的功耗，从而改进整个车辆的操作。这些因素和其它因素表示对现有ADAS的重大技术改进，其详细信息将在下文更详细地描述。
附图说明
从以下对附图中所说明实施例的描述，本发明的前述及其它目的、特征及优点将变得显而易见，在附图中，贯穿各个视图，参考符号指代相同部分。图式不一定按比例绘制，而是将重点放在说明本发明的说明原理。
图1为根据本发明的一些实施例说明由车辆图像传感器捕获的图像的图。
图2A为根据本发明的一些实施例说明用于通过缩减图像帧大小来增强ADAS操作的系统的框图。
图2B为根据本发明的一些实施例说明用于通过缩减图像帧大小来增强ADAS操作的替代系统的框图。
图3为根据本发明的一些实施例说明用于预处理所捕获图像以用于增强的ADAS处理的方法的流程图。
图4为根据本发明的一些实施例说明用于识别一系列图像帧中的天际线的方法的流程图。
图5为根据本发明的一些实施例说明用于识别图像帧中的天际线的方法的流程图。
图6为根据本发明的一些实施例的车辆的框图。
具体实施方式
图1为根据本发明的一些实施例说明由车辆图像传感器捕获的图像的图。
所说明实施例包含由安装在车辆上的图像传感器记录的单个帧100。帧100包含括各种特征，包含天空部分102及陆地部分104。这两个部分由天际线106分离。
在所说明实施例中，出于阐释的目的，简化帧100的各种特征，且所揭示实施例不打算限于任何特定类型的帧。例如，帧100未说明必须在此帧中捕获的其它车辆、道路危险以及各种其它现实世界对象。另外，天际线106经说明为水平线；然而，在现实世界实施例中，天际线106可包括高度变化的线。在所说明实施例中，天空部分102及陆地部分104沿着第一轴线(经标记为y轴线)邻近放置。两个部分102、104横跨第二轴线(经标记为x轴线)扩展。
在所说明实施例中，ADAS ECU主要识别部分或全部出现在陆地部分104内的对象。例如，车道标记、其它车辆、危险及其它对象通常至少部分地(且更经常地，全部地)出现在陆地部分104中。相比之下，出现在天空部分102中的对象通常未被ADAS系统识别。例如，任何ADAS处理例程均未识别云、城市天际线、飞机、鸟类、天体及其它空中对象。
在一些实施例中，可使用现有图像传感器来捕获帧100。在一些实施例中，容纳这些图像传感器的相机经修改以预处理帧100。在其它实施例中，ADAS ECU经修改以预处理帧100。因此，在一些实施例中，不需要改变基础图像传感器或其在车辆上的布置。在其它实施例中，可以维护现有的图像传感器、相机及ADAS ECU硬件，且可更新ECU的固件或软件以实施所揭示实施例。这些实施例中的每一个在图2A及2B中以及贯穿本发明的其余部分中被更充分地描述。
图2A为根据本发明的一些实施例说明用于通过缩减图像帧大小来增强ADAS操作的系统的框图。
在所说明实施例中，将相机(202a、202b、202n；统称为202)安装在车辆系统200a内。这些相机202经由总线208连接到ADAS ECU 210。
所说明ADAS ECU 210包括安装在汽车内的计算装置。ECU 210的形状因数并不打算为限制性，而是通常包括处理器、存储器、输入/输出外围装置及其它标准硬件。通常，ECU210经由总线208接收数据，并经由总线208将数据传输到其它装置(包括相机及其它ECU)。在所说明实施例中，总线208可包括控制器区域网络CAN总线、FlexRay总线、面向媒体的系统输送(MOST)总线或其它合适类型的总线。通常，CAN总线通常用于将ADAS ECU连接到其它装置，但本发明不限于特定类型的总线。
在所说明实施例中，相机202经由总线208将图像数据传输到ADAS ECU 210。此图像数据包含捕获车辆周围环境的图像帧。例如，车道辅助的ADAS ECU(或其功能)接收车辆周围道路的图像。在一些实施例中，ECU 210从多个相机202接收帧。在其它实施例中，ECU210从单个相机接收帧流。即，尽管被说明为包含多个相机202，但在一些实施例中，系统200a可仅包含单个相机(例如，202a)。
在所说明实施例中，相机202a包含图像传感器204及天际线检测逻辑206。在一些实施例中，每一相机202配备有对应的传感器及天际线检测逻辑。在一些实施例中，仅相机202的子集配备有此类传感器及天际线检测逻辑。
在所说明实施例中，传感器204可包括能够记录区域的数字图像的任何类型的图像传感器。在一些实施例中，图像传感器204包括互补金属氧化物半导体(CMOS)图像传感器，但可使用其它特定类型的传感器。在所说明实施例中，图像传感器204捕获图像数据的单个帧。这些帧中的每一个被传输到天际线检测逻辑206。在一些实施例中，此传送包括单个帧的传送。在其它实施例中，传送包含以批量处理模式传输的多个帧。批量传送期间使用的特定间隔并不打算为限制性。在一些实施例中，使用单个图像传感器204，而在其它实施例中，可使用多个图像传感器。
在一个实施例中，天际线检测逻辑206包括用于对从图像传感器204接收的一或多个帧执行图像处理的专用电路系统。在一个实施例中，天际线检测逻辑206包括专用处理器或场可编程门阵列或类似的专用装置。在其它实施例中，天际线检测逻辑206包括由通用中央处理单元(CPU)、图形处理单元(GPU)或其它处理元件执行的固件、软件或其组合。贯穿说明书，且最显著是在图3到5的说明书中，更详细地描述由天际线检测逻辑206执行的操作。简而言之，天际线检测逻辑206经配置以接收原始图像帧并检测由图像传感器204捕获的图像的天际线。在执行此处理之后，天际线检测逻辑206然后仅传输图像帧的包含陆地部分(例如，陆地部分104)的所述部分。
因此，在所说明实施例中，ECU 210仅接收由图像传感器204捕获的给定帧的子集。具体地，天际线检测逻辑206经由总线208将所捕获图像的陆地部分传输到ECU 210。作为响应，ECU 210经配置以根据预先配置的处理例程来处理此陆地部分。在所说明实施例中，由ECU 210执行的特定处理不打算为限制性，且ECU 210可执行任何类型的ADAS处理。响应于所述处理，ECU 210然后将数据及/或指令传输到系统200a的一或多个其它组件，包含相机202及其它装置(未说明)。
图2B为根据本发明的一些实施例说明用于通过缩减图像帧大小来增强ADAS操作的替代系统的框图。
系统200b的组件202a、202b、202n、208及210先前在图2A的描述中进行论述，且为清楚起见，本文中不再重复对那些组件的描述。
在所说明实施例中，图3到5中所描述的方法分布在相机202与ECU 210之间。具体地，相机202中的一或多个配备有图像裁剪与传输逻辑212。在所说明实施例中，图像裁剪与传输逻辑212经配置以从图像传感器204接收图像帧并根据在相机202a中预先配置的水平位置来裁剪帧。如下文更详细地描述，此预先配置的水平位置由ECU 210设置。因此，与图2A相比，图像裁剪与传输逻辑212的处理逻辑在复杂性上缩减。因此，每一相机202包含更少的组件并缩减相机使用的总功率。如同天际线检测逻辑206，图像裁剪与传输逻辑212经配置以将经裁剪帧发送到ECU 210。此外，图像裁剪与传输逻辑212可包括硬件、固件、软件或其组合。
与图2A相比，天际线检测逻辑214位于ECU 210内，且可包括硬件、固件、软件或其组合。在所说明实施例中，天际线检测逻辑214经配置以在由给定图像传感器204捕获的图像帧中识别表示天际线的水平位置或位置范围。
在所说明实施例中，天际线检测逻辑214识别从图像传感器204接收的多个原始帧中的天际线。在一个实施例中，如果相机202的预先配置水平位置未经设置或非新的，那么相机202a将全帧传输到ECU 210。例如，在启动时，预先配置的水平位置可为空。因此，图像裁剪与传输逻辑212不能裁剪图像帧，而是将整个帧传输到ECU 210。替代地，或结合前述内容，相机202a可以记录预先配置水平位置的时长且在预定间隔(例如十分钟)之后使预先配置水平位置“期满”。在期满时，将预先配置水平位置设置为空，且将完整帧再次传输到ECU210。
在所说明实施例中，ECU 210经配置以首先确定是否已接收到全帧或经裁剪帧。在一个实施例中，ECU 210经配置有每一相机202的分辨率。替代地，ECU 210可探测相机202以获得其分辨率。然后，ECU 210将分辨率与图像帧尺寸进行比较，以确定是否接收到整个图像帧或是否接收到小于整个图像帧。
如果接收到经裁剪图像帧，那么ECU 210根据ECU 210所采用的处理例程来处理经裁剪图像帧，所述处理例程并非限制性的。然而，如果ECU 210确定已接收到完整图像帧，则ECU 210处理图像帧以识别天际线。ECU 210然后使用将所识别的天际线的水平位置传输回相机202a。相机202a将所识别天际线的此水平位置存储为预先配置的水平位置，且开始裁剪后续的帧。在一些实施例中，在计算天际线位置时，ECU 210可对全帧执行ADAS处理以避免在ADAS处理中的延迟。可替代地，ECU 210可首先识别天际线，裁剪帧，且然后执行ADAS处理，因此模拟从相机202a接收的经裁剪帧。在以下图3至5中更详细地描述由天际线检测逻辑214所采用的天际线检测例程的各种细节。
图3为根据本发明的一些实施例说明用于预处理所捕获图像以用于增强的ADAS处理的方法的流程图。在一些实施例中，在图3的描述中所论述的方法可由ADAS ECU、专用相机逻辑或两者的组合来执行(如上文所论述)。
在框302中，车辆启动。在所说明实施例中，框302包括车辆电子子系统的初始化及启动，所述电子子系统包含ECU、输入/输出装置及其它计算机化装置。在一些实施例中，框302可包含汽车(即，非数字)组件的启动；然而，这不是必需的。
在框304中，所述方法检测当前是否为白天。在一个实施例中，白天包括可见太阳的24小时一天的一部分。在一个实施例中，所述方法利用当前时间来确定当前是否为白天。例如，所述方法可以利用已知的日落及日出时间来确定当前时间是否在当天的日出及日落之间。在其它实施例中，所述方法可利用图像辨识来确定由车辆相机所捕获的图像帧是否包含太阳。在其它实施例中，所述方法可分析由相机捕获的帧的亮度(或其它属性)，以确定平均帧亮度(或其它属性)是否高于预先配置的阈值。在一些实施例中，框304为任选的。在这些实施例中，相机可包括红外相机，且因此可在晚上检测天际线。
如果所述方法确定车辆在非白天期间启动，那么所述方法结束。在一些实施例中，所述方法基于检测到日光的缺乏来过早地结束以避免无关处理。具体地，当使用可见光谱相机时，在夜间期间检测天际线可能很困难(或不可能)。因此，由于不能保证结果，因此所述方法绕过本文中所描述的天际线检测方法。
接下来，在框306中，所述方法确定包含执行所述方法的组件的车辆是移动还是闲置。在一些实施例中，框306为任选的。具体地，在所说明实施例中，框306经实施以防止在车辆静止时对帧进行不必要的图像处理。在一些实施例中，仅在车辆运动时(例如，车道辅助、距离检测等)，ADAS ECU处理这些帧才起作用。因此，在框306中，所述方法绕过进一步的处理，直到车辆运动。
如果车辆在白天期间处于运动中，那么所述方法前进到框308。
在框308中，所述方法捕获一或多个帧。如上文所论述，捕获帧可由安装在车辆中的相机经由一或多个图像传感器来执行。通常，图像帧包括具有固定宽度及高度的帧，其由捕获图像帧的相机的分辨率决定。图像帧的特定形式并不打算为限制性，且通常，任何类型的帧都可在框308中捕获并随后进行处理。
在框310中，所述方法预处理图像帧以识别天际线。在图4中更充分地描述了此过程，本文中不再重复其揭示内容。通常，框310包括基于在框308中捕获的图像帧来识别天际线的水平位置。水平位置可包括整数，所述整数表示沿着出现天际线的图像帧的高度的位置。替代地，水平位置可包括沿着出现天际线的图像帧的高度的位置的值的范围(例如，“桶”)。
在一些实施例中，当在框308中捕获帧时，所述方法将完整帧传输到ADAS ECU以进行处理。即，当所述方法试图定位天际线时，所述方法还可以处理全帧图像以避免执行框310时处理中的间隙。
在框312中，所述方法基于所识别天际线来裁剪帧。在一个实施例中，在框312中经裁剪帧包括在框308中捕获帧之后接收的帧。在一些实施例中，这些帧被称为未来图像帧。在所说明实施例中，裁剪图像包括在预先配置的水平位置处分割图像。如果给定图像帧具有h的高度，那么预先配置的水平位置包括介于0与h之间的值。在另一实施例中，给定图像的高度经分割为n个区域
Figure BDA0002641807440000081
例如，可将100个像素高度划分为20个桶，每一桶包括5个像素。因此，在此实施例中，h1将包括高度像素范围0到4，h2将包括高度像素范围5到9，且hn将包括高度像素96到100(96、100全包含在内)。在此桶形实施例中，预先配置的水平位置可包括这些桶i中的一个的识别符。在所说明实施例中，裁剪图像可使用现有的图像处理库来完成，但通常包含选择出现在图像帧的预先配置水平位置与底线之间的线的子集，并将此线子集存储或传输为经裁剪图像。
在框314中，所述方法将经裁剪图像帧传输到ADAS ECU。如上文所描述，在框314中，相机经由诸如CAN总线的总线将经裁剪图像帧传输到一或多个ADAS ECU。在一个实施例中，所述方法传输单个经裁剪图像帧。在其它实施例中，所述方法批量传输一组经裁剪图像帧。
在框316中，所述方法在对应ADAS ECU处处理经裁剪帧。如上文所论述，处理经裁剪帧可包括根据ADAS ECU的需要对经裁剪帧执行对象识别。对经裁剪帧执行的特定处理并不打算为限制性，且在框316中可以使用由ADAS系统执行的任何类型的处理。
在框318中，方法确定车辆是否仍在操作。如果车辆仍在操作，那么所述方法继续上文所描述步骤304到316。如果车辆并非仍在操作，那么所述方法结束且在检测到车辆重新启动时重新开始。
图4为根据本发明的一些实施例说明用于识别一系列图像帧中的天际线的方法的流程图。在一些实施例中，在图4的描述中所论述的方法可由ADAS ECU、专用相机逻辑或两者的组合来执行(如上文所论述)。
在框402中，所述方法选择帧。
在一个实施例中，如先前所论述，所述方法接收由车辆上的图像传感器捕获的一或多个原始图像帧。在一个实施例中，所述方法接收单个帧，然而在其它实施例中，所述方法批量接收帧，从而允许快速处理多个连续帧。
在框404中，所述方法识别与在框402中选择的帧内的天际线相对应的水平线的线数目。此每帧处理在图5中更详细地描述，且本文中不重复详细描述。通常，框404的输出为整数值，所述整数值识别天际线位于何处(相对于图像帧的高度)。通过分析给定帧的直线的亮度值来计算此值。然而，在其它实施例中，可使用神经网络或其它机器学习模型来计算水平线，所述神经网络或其它机器学习模型是使用具有已知天际线点的图像训练。
在框406中，所述方法确定是否还有更多帧可用于处理。如果更多帧可用于处理，那么所述方法针对每一剩余帧重新执行框402及404。块406的输出因此包括与在块402中接收的每一帧相对应的水平线数目的集合。在一些实施例中，在框402中接收的一组帧包括固定数目个连续帧。替代地，在框402中接收的一组帧包括在预先配置的时间间隔期间捕获的一组帧。
在框408中，所述方法对所识别线数目执行高斯分析。在一个实施例中，所述方法将图像帧的高度分割成多个“桶”或多个高度值范围(例如[0…9]、[10…19]、…[n-9…n])。然后，所述方法迭代每一线数目，且使每一桶的计数器递增。结果为高斯分布。下表1中提供此分布的实例。在表1中，处理100个图像帧，其中每一图像帧具有100个像素的高度及10个像素的桶大小。
桶 线数目
0…9 1
10…19 0
20…29 0
30…39 14
40…49 75
50…59 9
60…69 0
70…79 0
80…89 1
90…99 0
表1
在框410中，所述方法使用高斯分布来选择最大桶值(也称为最大截面值)。在一个实施例中，最大桶值包括具有最多线数目的桶。
参考表1，桶[0…9]及[80…89]具有值1，其指示处理期间的异常值。相比之下，所识别天际线中的98％在30…59范围内。此处，最大桶值包括桶40…49。因此，此桶(或高度值范围)用作天际线的位置。
在一些实施例中，在一或多条线之间可能几乎没有变化。在一些实施例中，所述方法可将桶分组为单个更大桶。例如，下表2说明此情况。
Figure BDA0002641807440000091
Figure BDA0002641807440000101
表2
此处，桶[30…39]及[40…49]具有相同数目个经识别为天际线的线。在一个实施例中，所述方法可组合这些值，且将30…49的较大桶视为最大桶值。在另一实施例中，在检测到此关系时，所述方法可继续处理帧以“打破”桶之间的关系，且基于打破关系的下一帧来选择最大桶值。在其它实施例中，所述方法可处理固定数目个额外帧，且然后重新分析桶以确定最大桶值。在一些实施例中，当两个或多于两个桶具有相同的最大桶值时，所述方法可执行这些操作中的一或多个。另外，如果两个或多于两个桶具有在彼此的预先配置(小)距离内的线数目值，那么所述方法可执行这些操作中的一或多个，如表3中所说明。
桶 线数目
0…9 1
10…19 0
20…29 0
30…39 45
40…49 50
50…59 3
60…69 0
70…79 0
80…89 1
90…99 0
表3
此处，桶[40…49]为最大桶值，但桶[30…39]足够接近于桶[40…49]。在这些情况下，所述方法可采用如上文所论述的进一步处理，以确保选择恰当的最大桶值。
在框412中，在识别最大桶值之后，所述方法将此最大桶值存储为天际线边界值，并将此值返回到调用方法(例如，图3中所说明的方法)。如在图3的描述中所描述，调用方法然后使用此最大桶值来裁剪未来的帧。
图5为根据本发明的一些实施例说明用于识别图像帧中的天际线的方法的流程图。在一些实施例中，在图5的描述中所论述的方法可由ADAS ECU、专用相机逻辑或两者的组合来执行(如上文所论述)。
在框502中，所述方法选择水平线。如所说明，针对在图3及4中处理的给定帧执行图5中所说明的方法。
在框504中，所述方法为水平线中的每一像素识别最大及最小亮度值。如本文中所使用，亮度是指给定线中的像素的强度。可使用图像处理库来识别亮度。对于宽度w的图像，所述方法计算一行中的每一像素的w亮度值。所述方法然后找到此行的最大值(lummax)及最小亮度值(lummin)行。
在框506中，所述方法计算亮度扩散。如本文中所使用，亮度扩散是指最大亮度值与最小亮度值之差(lumspread＝lummax-lummin)。如所说明，亮度扩散表示给定线的亮度的变化，且因此考虑横跨像素线的亮度的变化。
在一些实施例中，框504及506中的方法排除距水平线的左侧及右侧在预定距离内的像素。在此等实施例中，所述方法排除由于下伏图像传感器引起的潜在失真而导致的这些像素。替代地，或结合前述，所述方法可忽略一线内的高亮度值。通常，所述方法尝试移除超出平均亮度值预定义阈值的外围亮度值。此类值通常表示在图像传感器上的直接太阳反射，且可在处理过程中安全地忽略。
在框508中，所述方法高速缓存给定线的所计算亮度扩散值。在一些实施例中，所述方法存储用于给定帧的映射，其中线数目包括键，且亮度扩散包括相关联值，如表4中所说明，表4说明具有10个像素高度的图像帧。
线数目 亮度扩散
0 0.05
1 0.04
2 0.02
3 0.01
4 0.02
5 0.15
6 0.15
7 0.12
8 0.11
9 0.13
表4
在框510中，所述方法确定是否已处理所有线。如果所有线尚未经处理，那么所述方法针对每一剩余线执行步骤502至510，直至已处理所有线。
在框512中，所述方法识别在线之间具有超过预设阈值的亮度值的线。在一些实施例中，此预设阈值为固定值。在其它实施例中，其可包括最大差。
在所说明实施例中，所述方法处理一线且所述线立即处理所述线。所述方法计算这些线之间的亮度扩散的差：d(n-1,n)＝lumspread_n-lumspread_n-1。在一些实施例中，此差的绝对值用于识别天际线。表5中提供此计算实例，所述表对应于表4中所计算的亮度扩散：
Figure BDA0002641807440000111
Figure BDA0002641807440000121
表5
在所说明实施例中，线数目6表示在前一线之间具有最大差的线数目。如所说明，可跳过线数目零。在一些实施例中，如果预设阈值低于0.13，那么选择线数目6作为天际线线数目。在其它实施例中，由于线具有最高差而选择线数目6。在一些实施例中，当使用固定阈值时，满足阈值的第一线(当从图像的顶部到底部进行分析时)被用作天际线。
通常，上述方法由于以下事实而操作：当补偿传感器缺陷及直射阳光时，图像的天空部分通常在亮度值之间几乎没有差。即使在阴天，每一像素的实际亮度通常也很协调。相比之下，陆地部分经历更大的亮度波动，且因此导致更大的亮度扩散。因此，通过找到具有急剧的亮度改变的第一线，所述方法可以由于亮度扩散的剧烈变化而可靠地识别天空部分何时结束且陆地部分何时开始。
在步骤514中，所述方法存储所识别线数目，且将所识别线数目与通过所述方法分析的帧相关联。然后，所述方法返回此相关联以进行进一步处理(例如，如图4中所处理)。
图6为根据本发明的一些实施例的车辆的框图。
图6中所说明的系统可完全安装在车辆内。在一些实施例中，一些组件(例如，除子系统604外的组件及子系统)可包括现有的自主及非自主车辆子系统。
所述系统任选地包含任选自主车辆子系统602。在所说明实施例中，自主车辆子系统602包含地图数据库602a、雷达装置602b、激光雷达装置602c、数字相机602d、声呐装置602e，GPS接收器602f及惯性测量单元602g。自主车辆子系统602的每一组件均包括在大多数当前自主车辆中提供的标准组件。在一个实施例中，地图数据库602a存储用于路由及导航的多个高清三维地图。雷达装置602b、激光雷达装置602c、数码相机602d、声呐装置602e、GPS接收器602f及惯性测量单元602g可包括安装在如所属领域中已知的整个自主车辆的各个位置处的各种相应装置。例如，这些装置可沿着自主车辆的周边安装，以提供位置感知、避免碰撞及其它标准自主车辆功能。在一些实施例中，自主子系统602经内置到车辆中，而在其实施例中，自主子系统602包括售后系统。在所说明实施例中，相机602d可包括在图2A及2B的描述中所描述的相机202。
车辆子系统606另外包含在系统内。车辆子系统606包含各种防抱死制动系统606a，发动机控制单元606b及传输控制单元606c。这些组件可用于响应于由自主车辆子系统602及/或ADAS子系统604产生的数据来控制车辆的操作。自主车辆子系统602与车辆子系统606之间的标准自主车辆交互在本领域中通常为已知的，且本文中不详细描述。
所述系统的处理侧包含一或多个处理器610、短期存储器612、RF系统614、图形处理单元(GPU)616、长期存储器618及一或多个接口620。
一或多个处理器610可包括中央处理单元、FPGA或支持自主车辆的操作所需的任何范围的处理装置。存储器612包括DRAM或其它合适的易失性RAM，用于处理器610所需的数据的临时存储。RF系统614可包括蜂窝收发器及/或卫星收发器。长期存储器618可包括一或多个大容量固态驱动器(SSD)。通常，长期存储618可用于存储例如高清地图、路由数据以及需要永久或半永久存储的任何其它数据。GPU 616可包括一或多个高吞吐量GPU装置，用于处理从自动驾驶车辆子系统602a接收的数据。最终，接口620可包括定位在自主车辆内的各种显示单元(例如，仪表板屏幕)。
所述系统额外包含ADAS子系统604，所述ADAS子系统执行前述图所说明的方法所需的操作。ADAS子系统604包含盲点ADAS 604a及距离ADAS 604b，其执行盲点算法及距离检测算法。这些系统的输出以所描述的方式控制车辆子系统606的组件。示范性ADAS子系统组件604a、604b并不打算为限制性，且可代替组件604a、604b或与其组合使用各种其它ADAS子系统组件。通常，任何ADAS子系统组件可包括图2A及2B中所述的ECU。
每一装置经由总线608连接。在一个实施例中，总线608可包括控制器局域网(CAN)总线。在一些实施例中，可使用其它总线类型(例如，FlexRay或MOST总线)。另外，每一子系统可包含一或多个额外总线以处置内部子系统通信(例如，用于较低带宽通信的LIN总线)。
然而，上文所揭示的标的物可各种不同的形式体现，且因此所涵盖或所主张标的物打算解释为不限于本文中所阐述的任何示范性实施例；提供实例实施例仅仅是为了说明。同样，打算所主张或所涵盖的标的物合理范围广泛。除其它事项外，例如，标的物可体现为方法、装置、组件或系统。因此，实施例可例如采取硬件、软件、固件或其任何组合(除了软件本身)的形式。因此，至少在限制意义上理解以下详细描述。
贯穿说明书及权利要求书，术语可具有超出明确陈述含义的上下文中建议或暗示的细微含义。同样地，如本文中所使用的短语“在一个实施例中”不一定指代相同的实施例，且如本文中所使用的短语“在另一实施例中”不一定指代不同实施例。例如，所主张标的物意欲全部或部分地包含实例实施例的组合。
通常，可至少部分地根据上下文的使用来理解术语。例如，如本文中所使用的例如“和”、“或”或“及/或”之类的术语可包含各种含义，其可至少部分地取决于使用此类术语的上下文。通常，“或”如果用于关联列表(例如，A、B或C)意欲意指A、B及C(此处以包含性意义下使用)，以及A、B或C(此处以不包含性意义使用)。另外，如本文中所使用的术语“一或多个”，至少部分地取决于上下文，可用于以单数形式描述任何特征、结构或特性，或可用于以复数意义描述特征、结构或特性的组合。类似地，例如“一”、“一”或“所述”的术语可以再次理解为传达单数用法或传达复数用法，至少部分地取决于上下文。另外，术语“基于”可理解为不一定打算传达一组排他的因素，且可以代替地至少部分地取决于上下文而允许存在不一定必须明确描述的其它因素。
参考框图以及方法及装置的操作说明来描述本发明。应理解，可借助于模拟或数字硬件及计算机程序指令来实施框图或操作说明的框图或操作说明中的每一框及框图或操作说明中的框的组合。这些计算机程序指令可被提供给通用计算机的处理器以改变其如本文中所详述的功能，专用计算机、ASIC或其他可编程数据处理设备，使得经由计算机或其它可编程数据处理设备的处理器执行的指令实施框图或一或多个操作框中所指定的功能/动作。在一些替代实施方案中，框中所述的功能/动作可不按操作说明中指出的顺序发生。例如，取决于所涉及的功能性/动作，实际上可大体上同时执行连续示出的两个框，或有时可以相反顺序执行所述框。
这些计算机程序指令可经提供到通用计算机的处理器以变更其功能为特殊用途；专用计算机、ASIC或其它可编程数据处理设备，使得经由计算机或其它可编程数据处理设备的处理器执行的指令实施框图或一或多个操作框中所指定的功能/动作，由此根据本文中的实施例变换其功能性。
为了本发明的目的，计算机可读媒体(或计算机可读存储媒体/多种媒体)存储计算机数据，所述数据可包含可由计算机以机器可读形式执行的计算机程序代码(或计算机可执行指令)。作为实例而非限制性，计算机可读媒体可包括用于数据的有形或固定存储的计算机可读存储媒体，或用于瞬时解释含有代码的信号的通信媒体。如本文中所使用的计算机可读存储媒体是指物理或有形存储(与信号相反)，且包含以任何有形信息存储方法或技术实施的易失性及非易失性，可移动及不可移动媒体，例如计算机可读指令、数据结构、程序模块或其它数据。计算机可读存储媒体包含但不限于RAM、ROM、EPROM、EEPROM、快闪存储器或其它固态存储技术、CD-ROM、DVD或其它光学存储、磁卡带、磁带、磁盘存储或其它磁性存储装置，或可用于有形存储所要信息、数据或指令并可由计算机或处理器存取的任何其它物理或材料媒体。
出于本发明的目的，模块为执行或促进本文中所描述的过程、特征及/或功能(有或没有人类互动或增强)的软件、硬件或固件(或其组合)系统、过程或功能性或其组件。模块可包含子模块。模块的软件组件可存储在计算机可读媒体上，以由处理器执行。模块可与一或多台服务器集成在一起，或可由一或多台服务器加载并执行。一或多个模块可经分组为引擎或应用程序。
所属领域的技术人员将认识到，可以许多方式来实施本发明的方法及系统，且如此不受前述示范性实施例及实例的限制。换句话说，由单个或多个组件，以硬件及软件或固件的各种组合以及各个功能来执行的功能元件可在客户端级别或服务器级别或两者上的软件应用之间分布。就此来说，本文中所描述的不同实施例的特征的任何数目可经组合成单个或多个实施例，且具有少于或大于本文中所描述的所有特征的替代实施例为可能的。
功能性也可全部或部分地以现在已知或将要已知的方式分布在多个组件之间。因此，在实现本文中所描述的功能、特征、接口及偏好时，多种软件/硬件/固件组合为可能的。此外，本发明的范围涵盖用于执行所描述的特征、功能及接口的常规已知方式，以及可对本文中所描述的硬件、软件或固件组件进行的那些变化及修改，如将由所属领域技术人员现在和以后理解。
此外，通过实例的方式提供在本发明中呈现并描述为流程图的方法的实施例，以提供对技术的更完整的理解。所揭示方法不限于本文中所提出的操作及逻辑流程。设想替代实施例，其中各种操作中的次序变更，且其中描述为较大操作的一部分的子操作被独立地执行。
尽管出于本发明的目的已描述了各种实施例，但此类实施例不应被认为将本发明的教示限于那些实施例。可对上文所描述元件及操作进行各种改变及修改，以获得仍然落在本发明中描述的系统及过程的范围内的结果。

Claims (20)

1.一种方法，其包括：
接收由安装在车辆上的图像传感器捕获的一或多个图像帧；
识别天际线在所述一或多个图像帧中的位置，所述位置包括所述天际线的水平位置；
基于所述天际线的所述位置来裁剪一或多个未来图像帧，所述裁剪产生包括所述对应未来图像帧的子集的经裁剪图像；及
在高级驾驶员辅助系统ADAS处处理所述经裁剪图像。
2.根据权利要求1所述的方法，其进一步包括在识别所述天际线所述一或多个图像帧中的所述位置之前确定当前时间对应于白天且所述车辆在运动中。
3.根据权利要求1所述的方法，所述识别天际线的位置包括识别与所述一或多个图像帧中的每一个相对应的水平线数目，所述水平线数目表示所述天际线在每一相应帧中的所述位置。
4.根据权利要求3所述的方法，其进一步包括：
对所述水平线数目执行高斯分析，所述高斯分析产生高斯分布；
识别所述高斯分布的最大桶值；及
使用所述最大桶值作为所述天际线的所述位置。
5.根据权利要求3所述的方法，其中识别给定图像帧的水平线数目包括：
计算第一水平线的第一亮度扩散；
计算第二水平线的第二亮度扩散，所述第二水平线位于所述第一水平线之后；
计算所述第二亮度扩散与所述第一亮度扩散之间的差；
当所述差大于预定阈值时，使用所述第一水平线的数目作为所述图像帧的所述水平线数目。
6.根据权利要求5所述的方法，所述第一或第二亮度扩散包括相应水平线的最大亮度值与最小亮度值之间的差。
7.根据权利要求1所述的方法，所述接收所述一或多个图像帧包括在预定时间段内接收一组图像帧。
8.一种非暂时性计算机可读存储媒体，其用于有形地存储能够由计算机处理器执行的计算机程序指令，所述计算机程序指令定义以下步骤：
接收由安装在车辆上的图像传感器捕获的一或多个图像帧；
识别天际线在所述一或多个图像帧中的位置，所述位置包括所述天际线的水平位置；
基于所述天际线的所述位置来裁剪一或多个未来图像帧，所述裁剪产生包括所述对应未来图像帧的子集的经裁剪图像；及
在高级驾驶员辅助系统ADAS处处理所述经裁剪图像。
9.根据权利要求8所述的非暂时性计算机可读存储媒体，所述程序指令进一步定义以下步骤：在识别所述天际线在所述一或多个图像帧中的所述位置之前确定当前时间对应于白天且所述车辆在运动中。
10.根据权利要求8所述的非暂时性计算机可读存储媒体，所述识别天际线的位置包括识别与所述一或多个图像帧中的每一个相对应的水平线数目，所述水平线数目表示所述天际线在每一相应帧中的所述位置。
11.根据权利要求10所述的非暂时性计算机可读存储媒体，所述程序指令进一步定义以下步骤：
对所述水平线数目执行高斯分析，所述高斯分析产生高斯分布；
识别所述高斯分布的最大桶值；及
使用所述最大桶值作为所述天际线的所述位置。
12.根据权利要求10所述的非暂时性计算机可读存储媒体，其中识别给定图像帧的水平线数目包括：
计算第一水平线的第一亮度扩散；
计算第二水平线的第二亮度扩散，所述第二水平线位于所述第一水平线之后；
计算所述第二亮度扩散与所述第一亮度扩散之间的差；
当所述差大于预定阈值时，使用所述第一水平线的数目作为所述图像帧的所述水平线数目。
13.根据权利要求12所述的非暂时性计算机可读存储媒体，所述第一或第二亮度扩散包括相应水平线的最大亮度值与最小亮度值之间的差。
14.根据权利要求8所述的非暂时性计算机可读存储媒体，所述接收所述一或多个图像帧包括在预定时间段内接收一组图像帧。
15.一种装置，其包括：
处理器；及
存储媒体，其用于在其上有形地存储由所述处理器执行的程序逻辑，所述所存储程序逻辑使所述处理器执行以下操作：
接收由安装在车辆上的图像传感器捕获的一或多个图像帧，
识别天际线在所述一或多个图像帧中的位置，所述位置包括所述天际线的水平位置，
基于所述天际线的所述位置来裁剪一或多个未来图像帧，所述裁剪产生包括所述对应未来图像帧的子集的经裁剪图像，及
在高级驾驶员辅助系统ADAS处处理所述经裁剪图像。
16.根据权利要求15所述的装置，所述所存储程序逻辑进一步使所述处理器执行以下操作：在识别所述天际线在所述一或多个图像帧中的所述位置之前，确定当前时间对应于白天且所述车辆在运动中。
17.根据权利要求15所述的装置，所述识别天际线的位置包括识别与所述一或多个图像帧中的每一个相对应的水平线数目，所述水平线数目表示所述天际线在每一相应帧中的所述位置。
18.根据权利要求17所述的装置，所述存储程序逻辑进一步使所述处理器执行以下操作：
对所述水平线数目执行高斯分析，所述高斯分析产生高斯分布；
识别所述高斯分布的最大桶值；及
使用所述最大桶值作为所述天际线的所述位置。
19.根据权利要求17所述的装置，其中识别给定图像帧的水平线数目包括：
计算第一水平线的第一亮度扩散；
计算第二水平线的第二亮度扩散，所述第二水平线位于所述第一水平线之后；
计算所述第二亮度扩散与所述第一亮度扩散之间的差；
当所述差大于预定阈值时，使用所述第一水平线的数目作为所述图像帧的所述水平线数目。
20.根据权利要求19所述的装置，所述第一或第二亮度扩散包括相应水平线的最大亮度值与最小亮度值之间的差。
CN202010842111.2A 2019-08-21 2020-08-20 利用算法天际线检测的经改进高级驾驶员辅助系统(adas)操作 Pending CN112417943A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/546,794 2019-08-21
US16/546,794 US11594036B2 (en) 2019-08-21 2019-08-21 Advanced driver-assistance system (ADAS) operation utilizing algorithmic skyline detection

Publications (1)

Publication Number Publication Date
CN112417943A true CN112417943A (zh) 2021-02-26

Family

ID=74646245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010842111.2A Pending CN112417943A (zh) 2019-08-21 2020-08-20 利用算法天际线检测的经改进高级驾驶员辅助系统(adas)操作

Country Status (2)

Country Link
US (1) US11594036B2 (zh)
CN (1) CN112417943A (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
AU2019357615B2 (en) 2018-10-11 2023-09-14 Tesla, Inc. Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
DE102019214587A1 (de) * 2019-09-24 2021-03-25 Conti Temic Microelectronic Gmbh Verarbeitung verlustbehaftet komprimierten ADAS-Sensordaten für Fahrerassistenzsysteme

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100097455A1 (en) * 2008-04-24 2010-04-22 Gm Global Technology Operations, Inc Clear path detection using a vanishing point
CN101966846A (zh) * 2009-05-08 2011-02-09 通用汽车环球科技运作公司 通过物体检测优化的检测车辆行驶的畅通路径的方法
CN103697855A (zh) * 2014-01-07 2014-04-02 中国人民解放军国防科学技术大学 一种基于海天线检测的船体水平姿态测量方法
KR101645717B1 (ko) * 2015-01-28 2016-08-12 (주)한양정보통신 첨단 운전자 보조 시스템의 적응적 보정 장치 및 방법
CN106371114A (zh) * 2015-07-23 2017-02-01 现代自动车株式会社 用于车辆的定位设备和方法
CN106558051A (zh) * 2015-09-25 2017-04-05 浙江大学 一种改进的从单幅图像检测道路的方法
CN108022214A (zh) * 2016-11-02 2018-05-11 哈尔滨工业大学 一种适用于无人机雾天飞行的地平线检测方法
CN108171225A (zh) * 2018-03-14 2018-06-15 海信集团有限公司 车道检测方法、装置、终端及存储介质
US20180176483A1 (en) * 2014-12-29 2018-06-21 Metaio Gmbh Method and sytem for generating at least one image of a real environment
CN108229438A (zh) * 2018-02-05 2018-06-29 海信集团有限公司 车道线检测方法、装置、终端和存储介质
US20190034740A1 (en) * 2017-07-27 2019-01-31 Here Global B.V. Method, apparatus, and system for vanishing point/horizon estimation using lane models
US20190103026A1 (en) * 2017-09-29 2019-04-04 Uber Technologies, Inc. Image Processing for Vehicle Collision Avoidance System

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2131042A (en) * 1935-09-28 1938-09-27 William S Halstead Radio traffic control system
US2279151A (en) * 1938-02-21 1942-04-07 Panoramic Radio Corp Panoramic radio receiving system
JP2001236509A (ja) * 2000-02-24 2001-08-31 Minolta Co Ltd 被写体の傾き検出装置および方法
US6559933B1 (en) * 2001-12-06 2003-05-06 Honeywell International Inc. Method and apparatus for detecting a terrain-masked helicopter
IL164650A0 (en) * 2004-10-18 2005-12-18 Odf Optronics Ltd An application for the extraction and modeling of skyline for and stabilization the purpese of orientation
WO2010088465A1 (en) * 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
US8284997B2 (en) * 2009-03-11 2012-10-09 Honeywell International Inc. Vision-based vehicle navigation system and method
US8204329B2 (en) * 2009-06-17 2012-06-19 Sony Corporation System and method for image quality enhancement by reducing the effects of air pollution and haze
US9165196B2 (en) * 2012-11-16 2015-10-20 Intel Corporation Augmenting ADAS features of a vehicle with image processing support in on-board vehicle platform
IL226752A (en) * 2013-06-04 2017-02-28 Padowicz Ronen Independent navigation system and method
CN107409188B (zh) * 2015-03-19 2021-06-11 金泰克斯公司 用于基于照相机的显示系统的图像处理
WO2017042710A1 (en) * 2015-09-09 2017-03-16 Lightmetrics Technologies Pvt. Ltd. System and method for detecting objects in an automotive environment
JP6834537B2 (ja) * 2017-01-30 2021-02-24 株式会社リコー 表示装置、移動体装置、表示装置の製造方法及び表示方法。
SG11201802247XA (en) * 2016-12-09 2018-07-30 Hitachi Int Electric Inc Marine intrusion detection system and method
WO2019117572A1 (ko) * 2017-12-11 2019-06-20 엘지전자 주식회사 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
US10713502B2 (en) * 2017-12-19 2020-07-14 Micron Technology, Inc. Providing autonomous vehicle assistance
US10755111B2 (en) * 2018-01-29 2020-08-25 Micron Technology, Inc. Identifying suspicious entities using autonomous vehicles
US10635844B1 (en) * 2018-02-27 2020-04-28 The Mathworks, Inc. Methods and systems for simulating vision sensor detection at medium fidelity
DE112019000122T5 (de) * 2018-02-27 2020-06-25 Nvidia Corporation Echtzeiterfassung von spuren und begrenzungen durch autonome fahrzeuge
JP6701253B2 (ja) * 2018-03-22 2020-05-27 株式会社Ｓｕｂａｒｕ 車外環境認識装置
US10807592B2 (en) * 2018-06-18 2020-10-20 Micron Technology, Inc. Vehicle navigation using object data received from other vehicles
US10838423B2 (en) * 2018-08-07 2020-11-17 GM Global Technology Operations LLC Intelligent vehicle navigation systems, methods, and control logic for deriving road segment speed limits
US10976747B2 (en) * 2018-10-29 2021-04-13 Here Global B.V. Method and apparatus for generating a representation of an environment

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100097455A1 (en) * 2008-04-24 2010-04-22 Gm Global Technology Operations, Inc Clear path detection using a vanishing point
CN101966846A (zh) * 2009-05-08 2011-02-09 通用汽车环球科技运作公司 通过物体检测优化的检测车辆行驶的畅通路径的方法
CN103697855A (zh) * 2014-01-07 2014-04-02 中国人民解放军国防科学技术大学 一种基于海天线检测的船体水平姿态测量方法
US20180176483A1 (en) * 2014-12-29 2018-06-21 Metaio Gmbh Method and sytem for generating at least one image of a real environment
KR101645717B1 (ko) * 2015-01-28 2016-08-12 (주)한양정보통신 첨단 운전자 보조 시스템의 적응적 보정 장치 및 방법
CN106371114A (zh) * 2015-07-23 2017-02-01 现代自动车株式会社 用于车辆的定位设备和方法
CN106558051A (zh) * 2015-09-25 2017-04-05 浙江大学 一种改进的从单幅图像检测道路的方法
CN108022214A (zh) * 2016-11-02 2018-05-11 哈尔滨工业大学 一种适用于无人机雾天飞行的地平线检测方法
US20190034740A1 (en) * 2017-07-27 2019-01-31 Here Global B.V. Method, apparatus, and system for vanishing point/horizon estimation using lane models
US20190103026A1 (en) * 2017-09-29 2019-04-04 Uber Technologies, Inc. Image Processing for Vehicle Collision Avoidance System
CN108229438A (zh) * 2018-02-05 2018-06-29 海信集团有限公司 车道线检测方法、装置、终端和存储介质
CN108171225A (zh) * 2018-03-14 2018-06-15 海信集团有限公司 车道检测方法、装置、终端及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
TOMASZ PRACZYK: "A quick algorithm for horizon line detection in marine images", 《JOURNAL OF MARINE SCIENCE AND TECHNOLOGY 》, pages 166 - 177 *
UMAMAHESWARI V 等: "Steering angle estimation for autonomous vehicle navigation using hough and euclidean transform", 《2015 IEEE INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING, INFORMATICS, COMMUNICATION AND ENERGY SYSTEMS (SPICES)》, pages 1 - 5 *
杨世保: "无人机着陆位姿参数视觉估计研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 138 - 1323 *
涂兵 等: "区域协方差与中值校正融合的天际线检测算法研究", 《计算机科学》, no. 03, pages 313 - 322 *
潘建武: "天际线检测关键算法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, pages 031 - 274 *

Also Published As

Publication number Publication date
US20210056317A1 (en) 2021-02-25
US11594036B2 (en) 2023-02-28

Similar Documents

Publication Publication Date Title
CN112417943A (zh) 利用算法天际线检测的经改进高级驾驶员辅助系统(adas)操作
US11062167B2 (en) Object detection using recurrent neural network and concatenated feature map
EP3229468B1 (en) Image processing device, image processing method, program, and system
TWI816903B (zh) 感測器裝置、參數設定方法
US20160217335A1 (en) Stixel estimation and road scene segmentation using deep learning
CN111436216A (zh) 用于彩色点云生成的方法和系统
CN103186887B (zh) 图像除雾装置和图像除雾方法
EP3839888B1 (en) Compute device and method for detection of occlusions on a camera
EP3779872A1 (en) Operation processing device, object identifying system, learning method, automobile, and lighting appliance for vehicle
CN116258940A (zh) 一种多尺度特征及自适应权重的小目标检测方法
CN110880003B (zh) 一种图像匹配方法、装置、存储介质及汽车
CN112241963A (zh) 基于车载视频的车道线识别方法、系统和电子设备
CN115334250B (zh) 一种图像处理方法、装置及电子设备
CN116363628A (zh) 标志检测方法、装置、非易失性存储介质及计算机设备
US20220254167A1 (en) Object detection apparatus, object detection method, and object detection program
CN111753663B (zh) 目标检测方法及装置
CN114359346A (zh) 点云数据处理方法、装置、非易失性存储介质及处理器
CN111160370B (zh) 车头位置估计方法、装置、计算机设备和存储介质
US11827216B2 (en) Optimal sensor reading for low latency object detection
CN115776610B (zh) 用于货运车辆货物监控的摄像头拍摄控制方法和装置
CN117611800A (zh) 一种基于yolo的目标接地点检测及测距方法
CN115223142A (zh) 高动态目标检测方法、装置、车辆及存储介质
Bansal et al. Analysis of the cmu localization algorithm under varied conditions
CN116721394A (zh) 单目三维目标检测方法、模型训练方法及对应装置
ApinayaPrethi et al. Fog detection and visibility measurement using SVM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination