CN112446338A - 部分帧感知方法 - Google Patents

Abstract

一种部分帧感知方法，包括：接收倒置图像的底部部分，检测倒置图像的底部部分中的感兴趣的交通区域，将所检测到的感兴趣的交通区域流传输到感知处理器，接收倒置图像的顶部部分，检测倒置图像的顶部部分中的感兴趣的静止区域，以及将所检测到的感兴趣的静止区域流传输到感知处理器。

Description

部分帧感知方法

技术领域

本公开涉及高级驾驶辅助系统(ADAS)，并且具体地涉及利用部分帧来检测对象。

背景技术

高级驾驶辅助系统是汽车工业中最快增长的技术之一。ADAS提供诸如自动紧急制动和车道辅助的功能，其被认为能够减少交通事故。ADAS功能建立在对周围环境的快速感知上。

当前的ADAS系统利用全帧感知来做出判定。这种全帧的使用不会将对道路对象的感知优先于对建筑物和标志的感知。

寻求一种方法来减少用于道路对象的感知的时间。

发明内容

一种部分帧感知方法的第一示例，包括以下步骤中的至少一个：接收倒置图像的底部部分，检测倒置图像的底部部分中的感兴趣的交通区域(traffic area)，将所检测到的感兴趣的交通区域流传输到感知处理器，接收倒置图像的顶部部分，检测倒置图像的顶部部分中的感兴趣的静止区域，并且将所检测到的感兴趣的静止区域流传输到感知处理器。

一种部分帧感知方法的第二示例，包括以下步骤中的至少一个：接收倒置图像的底部部分，将倒置图像的底部部分存储到底部帧缓冲器中，检测倒置图像的底部部分中的感兴趣的交通区域，接收倒置图像的顶部部分，将所述倒置图像的顶部部分存储到顶部帧缓冲器中，并且检测倒置图像的顶部部分中的感兴趣的静止区域。

附图说明

在附图中：

图1是根据本公开的一个实施例的第一示例系统图；

图2是根据本公开的一个实施例的第一示例系统图；

图3是根据本公开的一个实施例的示例四晶体管感光体；

图4是根据本公开的一个实施例的示例系统；

图5是用于全帧感知的示例时序；

图6是根据本公开的一个实施例的捕获的帧的示例；

图7是根据本公开的一个实施例的用于部分帧感知的示例时序；

图8是根据本公开的一个实施例的部分帧感知方法的第一示例；和

图9是根据本发明一个实施例的部分帧感知方法的第二示例。

具体实施方式

下面列出的实施例仅为了说明该装置和方法的应用，而不是为了限制范围。对这种装置和方法的等同形式的修改将被归在权利要求的范围内。

贯穿以下说明书和权利要求，使用某些术语来指代特定系统部件。如本领域技术人员将理解的，不同的公司可以用不同的名称来指代部件和/或方法。本文无意区分名称不同但功能相同的部件和/或方法。

在以下讨论以及在权利要求中，术语“包括”和“包含”以开放式方式使用，因此可以被解释为“包括但不限于…”。此外，术语“耦合”旨在表示间接或直接连接。因此，如果第一设备耦合到第二设备，则该连接可以是通过直接连接或者通过经由其它设备和连接的间接连接进行的。

图1描述了示例混合计算系统100，其可用于实施与过程500和600的一个或多个部分或步骤的操作相关联的神经网络。在该示例中，与混合系统相关联的处理器包括现场可编程门阵列(FPGA)122、图形处理器单元(GPU)120和中央处理单元(CPU)118。

中央处理单元118、图形处理器单元120和现场可编程门阵列122具有提供神经网络的能力。CPU是可以执行许多不同功能的通用处理器，其通用性导致执行多个不同任务的能力，然而，其对多个数据流的处理是有限的，并且其关于神经网络的功能是非常有限的。GPU是图形处理器，其具有能够依次处理多个并行任务的许多小处理内核。FPGA是现场可编程设备，它具有被重新配置并可以以硬连线电路的方式来执行任何可以被编程到CPU或GPU中的功能的能力。由于FPGA的编程是以电路的形式，因此其速度比CPU快许多倍，并且明显快于GPU。

系统可以包含其他类型的处理器，例如加速处理单元(APU)(所述加速处理单元包括CPU并且在芯片上具有GPU元件)和专门用于执行高速数字数据处理的数字信号处理器(DSP)。专用集成电路(ASIC)还可以执行FPGA的硬连线功能；但是，设计和生产ASIC的交付时段(lead time)大约为三个月，而不是对FPGA进行编程可用的快速周转实施方式。

图形处理器单元120、中央处理单元118和现场可编程门阵列122彼此连接并连接到存储器接口控制器112。FPGA通过可编程逻辑电路到存储器互连130连接到存储器接口。使用该附加设备，是因为FPGA在非常大的带宽下运行的事实并且是为了将FPGA的用于执行存储器任务的电路最小化。存储器接口和控制器112还连接到永久存储器盘110、系统存储器114和只读存储器(ROM)116。

图2的系统可用于编程和训练FPGA。GPU利用非结构化数据工作，并且可以用于训练，一旦已训练了数据，就可以找到确定性推理模型(deterministic inference model)，并且CPU可以使用由GPU确定的模型数据对FPGA进行编程。

存储器接口和控制器连接到中央互连124，中央互连还连接到GPU 120、CPU 118和FPGA 122。中央互连124还连接到输入和输出接口128(所述输入和输出接口128连接到相机132和网络接口126)。

图2描述了第二示例混合计算系统200，其可用于实施与过程500的一个或多个部分或步骤的操作相关联的神经网络。在该示例中，与混合系统相关联的处理器包括现场可编程门阵列(FPGA)210和中央处理单元(CPU)220。

FPGA电连接到与直接存储器存取(DMA)218接口连接的FPGA控制器212。DMA连接到输入缓冲器214和输出缓冲器216，输入缓冲器214和输出缓冲器216都耦合到FPGA以分别将数据缓存进入FPGA和将数据从FPGA缓存出来。DMA 218具有两个先进先出(FIFO)缓冲器，一个用于主CPU，另一个用于FPGA；DMA允许将数据写入适当的缓冲器和从适当的缓冲器读取数据。

在DMA的CPU侧是主交换机228，主交换机228将数据和命令往返传送到DMA。DMA还连接到同步动态随机存取存储器(SDRAM)控制器224，其允许数据在FPGA和CPU 220之间往返传送，并且SDRAM控制器还连接到外部SDRAM 226和CPU 220。主交换机228连接到外围设备接口230，其中外围设备接口230连接到相机232。闪存控制器222控制永久性存储器并连接到CPU 220。

图3是示例四晶体管(4T)光电二极管的示意图。在4T操作中，积分时段结束，接着是浮动扩散节点的复位。在传输晶体管切换为采样并清空光电二极管之前，对该复位值进行采样。这被称为相关双采样，并且被用于降低热噪声和固定模式噪声。由于浮动扩散节点在信号处均被读取并被复位，所以当两个信号彼此相减时，该浮动扩散节点被去除。

四晶体管(4T)有源像素(active pixel)操作具有复位时段、积分时段和读出时段。钉扎式光电二极管(pinned photodiode)310在一端连接到地312，而在另一端连接到传输晶体管314的源极。浮动扩散节点316连接到传输晶体管314的漏极、复位晶体管318的源极和源极跟随器晶体管320的栅极。复位晶体管318的漏极连接到参考电压326，其源极连接到浮动扩散节点316。源极跟随器晶体管320使其栅极连接到浮动扩散节点316，且其漏极连接到像素电源(PixVdd)，且其源极连接到行选择晶体管322的漏极。行选择晶体管322使其漏极连接到源极跟随器晶体管320的源极，且其源极连接到位线324。

当RST和TX晶体管沟道被导通(open)以对浮动节点充电以复位电压时，复位时段(预充电)发生，从而将光电二极管置于反向偏置状态。当TX晶体管沟道被关断(close)且电荷正被光电二极管累积时，积分时段(曝光)发生。在积分时段结束之后，读出时段(采样)发生，RS和RST晶体管沟道被导通以对浮动节点复位值进行采样，然后TX晶体管沟道被导通以采样信号值并清空二极管，这被称为相关双采样(CDS)。

滚动快门CMOS传感器可以通过在像素阵列的行上滚动来操作。同一行内的像素将在复位时段、积分时段和读出时段期间一起操作，并共享TX和RS信号。行的处理时间是等效的，其被称为hts，并且在时钟周期中测量该行的处理时间。包括像素读出的像素功能被定时以在行处理时间内完成。按行测量积分时段，这被称为曝光并且单位为行。也按行测量帧时间，这被称为vts并且单位为行。

图4描述了示例拜耳阵列(Bayer pattern)2×2像素共享半行滚动快门CMOS图像传感器架构。在该示例中，光电二极管阵列410连接到公共行RS0…RSN 412。这些行被连接到x解码器420,x解码器420从模拟控制模块428接收阵列控制信号424。列连接到位线414，而输出连接到通向行缓冲器416的模数转换器418。行缓冲器416连接到缓冲器控制422。缓冲器控制422传输和接收来自数据重组异步先进先出(FIFO)缓冲器438数据。行数据436被发送到图像信号处理器(ISP)434，图像信号处理器434将行数据432发送到MIPI DVP模块430，MIPI DVP模块430继而将数据输出到物理层440，从而将行数据442发送到芯片外帧缓冲器444。

图5描述了全帧时序，图像捕获发生在510处，并且描述了感知启用(perceptionengagement)512到项目检测514。下面示出用于全帧时序的总延迟计算。

总延迟＝T_曝光+T_片上延迟+T_系统延迟+T_{帧缓冲_wr}+T_感知处理

总延迟＝T_片上延迟+T_系统延迟+T_感知处理+hts*(M+N)

图6描述了全帧图像610，其被分成两部分：交通部分612以及静止部分614，交通部分612与ADAS判定最相关；静止部分614与ADAS判定次要相关。

与ADAS感知系统最相关的大多数交通位于图像的下半部分。所公开的感知系统使用一个或多个反置(reserved)相机或一个或多个图像传感器的翻转-采样功能来从底部行对图像进行采样。图像被切割成可能交叠的至少两个部分，当在M个总行中具有P行的相对高度(P/M)的图像底部部分被存储在帧缓冲器中时，所公开的感知系统可以被尽可能快地启用。图像的其他较不相关的部分，即在M个总行中具有Q行的高度(Q/M)的图像上部，随后将被处理。在该示例中，顶部部分P和底部部分Q的高度可以等于或超过总的帧高度M(P+Q>＝M)。所公开的感知系统在感测环境的交通部分时可以具有较低的延迟时间，因为帧缓冲器写入时间将减少，并且对静止部分的感测也具有较低的延迟，因为与当前的感知系统相比，处理数据时间减少。

图7描述了部分帧时序，图像捕获在710处发生，并且底部帧感知在712处开始，并在714(底部项目检测)处结束。然后，顶部帧感知在716处开始，并且在718处检测项目。用于帧的底部部分和帧的顶部部分的延迟计算如下所示。

底部感知延迟＝T_曝光+T_片上延迟+T_系统延迟+P/M*T_{帧缓冲_wr}+P/M*T_感知处理

底部感知延迟＝T_片上延迟+T_系统延迟+P/M*T_感知处理+hts*(P+N)

顶部感知延迟＝T_曝光+T_片上延迟+T_系统延迟+P/M*T_{帧缓冲_wr}+(P+Q)/M*T_感知处理

顶部感知延迟＝T_片上延迟+T_系统延迟+(P+Q)/M*T_感知处理+hts*(P+N)

其中

T_曝光被定义为像素需要多少传感器处理行用于积分。

T_曝光＝N*hts。

T_片上延迟被定义为从在读出阶段期间导通某一行像素的传输门(transition gate)到这一行像素通过MIPI PHY输出的等待时间。

T_系统延迟被定义为某一行像素从CMOS图像传感器(CIS)传输到系统帧缓冲器的等待时间。

T_{帧缓冲_wr}被定义为写入一个全帧所需的帧缓冲器的时间。

帧缓冲器写入的机制是基于滚动快门CIS架构和像素阵列结构。尽管缓冲器有很宽的带宽，由于CIS每个行处理时间(hts)产生一个行数据，系统帧缓冲器能够接受相同的输入数据速率。并且系统帧缓冲器也将以与CIS输出图像数据相同的方式而被逐行写入。总的一个帧写入时间将取决于CIS行处理时间(hts)和图像垂直尺寸。等于hts*M

与当前的感知系统相比，所公开的系统将减少如下所示的延迟。

底部部分延迟减少＝(M-P)/M*T_感知处理+hts*(M-P)＝(M-P)/M*(T_感知处理+hts*M)

总延迟减少＝hts*(M-P)-(P+Q-M)/M*T_延迟处理

在帧被减半的系统中，总延迟将减少半帧。使用其中一个相机采样图像的底部部分、另一个相机采样图像的顶部部分的双相机系统，如果使用上一页设置，则帧速率可以从30fps增加到60fps。

图8描述了一种部分帧感知方法，包括：接收810倒置图像的底部部分，检测812倒置图像的底部部分中的感兴趣的交通区域，将所检测到的感兴趣的交通区域流传输814到感知处理器，接收816倒置图像的顶部部分，检测818倒置图像的顶部部分中的感兴趣的静止区域，以及将所检测到的感兴趣的静止区域流传输820到感知处理器。

图9描述了一种部分帧感知方法，包括接收910倒置图像的底部部分，将倒置图像的底部部分存储912到底部帧缓冲器中，检测914倒置图像的底部部分中的感兴趣的交通区域，接收916倒置图像的顶部部分，将倒置图像的顶部部分存储918到顶部帧缓冲器中，以及检测920倒置图像的顶部部分中的感兴趣的静止区域。

图8和图9的方法可以从反置相机接收倒置图像。该方法还可以包括：基于翻转非倒置图像来将非倒置图像倒置；以及对倒置图像的底部部分和倒置图像的顶部部分中的至少一个进行不对称滤波。该方法可以包括将倒置图像的底部部分和倒置图像的顶部部分进行整合，和/或将倒置图像的顶部部分存储到顶部帧缓冲器中，并将倒置图像的底部部分存储到底部帧缓冲器中。该方法还可以包括接收非倒置图像并倒置该非倒置图像，和/或可以从第一相机接收倒置图像的底部部分，并且可以从第二相机接收倒置图像的顶部部分。

本领域的技术人员将了解，本文描述的各种说明性块、模块、元件、部件、方法和算法可实施为电子硬件、计算机软件或两者的组合。为了说明硬件和软件的这种可互换性，上面已经在它们的功能方面总体描述了各种说明性的块、模块、元件、部件、方法和算法。这种功能是实施为硬件还是软件取决于特定的应用和施加在整个系统上的设计约束。本领域技术人员可针对每一特定应用以不同方式实施所描述的功能。在不脱离本主题技术的范围的情况下，各种部件和块可以被不同地布置(例如，以不同的顺序布置，或者以不同的方式划分)。

应当理解，所公开的过程中的步骤的特定顺序或层次是示例方法的说明。基于设计偏好，可以理解，可以重新安排过程中步骤的特定顺序或层级。一些步骤可以同时执行。所附方法权利要求以样本顺序呈现各个步骤的元素，并且不意味着限制于所呈现的特定顺序或层级。

提供前面的描述是为了使本领域的任何技术人员能够实践这里描述的各个方面。前面的描述提供了本主题技术的各种示例，并且本主题技术不限于这些示例。对于本领域技术人员来说，对这些方面的各种修改将是显而易见的，并且这里定义的一般原理可以应用于其它方面。因此，权利要求不旨在限于本文中所示的方面，而是旨在使全部范围与权利要求的语言表述相一致，其中，除非特别声明，否则以单数形式提及的元素并非旨在表示“一个且只有一个”，而是表示“一个或多个”。除非另有特别说明，术语“一些”是指一个或多个。男性的代词(例如，他的)包括女性和中性(例如，她的和它的)，反之亦然。标题和副标题(如果有的话)仅是为了方便起见，并不限制本发明。谓语词“被配置以”、“可操作以”和“被编程以”并不意味着对主语进行任何特定的有形或无形修饰，而是旨在互换使用。例如，被配置以监视和控制操作或部件的处理器，还可以意味着，处理器被编程以监视和控制操作，或者处理器可操作以监视和控制操作。同样，被配置以执行代码的处理器可以被解释为，被编程以执行代码或可操作以执行代码的处理器。

诸如“方面”之类的短语并不意味着该方面对于本主题技术是必不可少的，也不意味着该方面适用于本主题技术的所有配置。与一方面有关的公开可以应用于所有配置，或者一个或多个配置。一个方面可以提供一个或多个示例。诸如“方面”的短语可以指一个或多个方面，反之亦然。诸如“实施例”的短语并不意味着该实施例对于本主题技术是必不可少的，也不意味着该实施例适用于本主题技术的所有配置。与实施例有关的公开可以适用于所有实施例或一个或多个实施例。实施例可以提供一个或多个示例。诸如“实施例”的短语可以指一个或多个实施例，反之亦然。诸如“配置”之类的短语并不意味着该配置对于本主题技术是必不可少的，也不意味着该配置适用于本主题技术的所有配置。与配置有关的公开可以适用于所有配置或一个或多个配置。一种配置可以提供一个或多个示例。诸如“配置”的短语可以指一个或多个配置，反之亦然。

本文使用的词语“示例”意味着“用作示例或说明”。本文中被描述为“示例”的任何方面或设计不必被解释为比其他方面或设计更优选或更有优势。

本领域普通技术人员已知或以后将知道的，贯穿本公开所描述的各个方面的元件的所有结构和功能等同物均通过引用明确地并入本文，并且意在由权利要求所涵盖。而且，无论在权利要求中是否明确叙述了这种公开，本文公开的内容都不旨在捐献给公众。除非使用短语“用于……的装置”明确叙述权利要求中的元素，或者在方法权利要求的情况下，使用短语“用于……的步骤”叙述权利要求中的要素，否则任何权利要求的要素均不得根据35 U.S.C.§112第六段的规定进行解释。此外，关于在说明书或权利要求中使用术语“包含”、“具有”等术语，这样的术语旨在意味为包括，类似于当“包括”在权利要求中被用作连接词时，对“包括”的解释那样。

对“一个实施例”、“一实施例”、“一些实施例”、“各种实施例”或类似表述的引用指示特定要素或特征被包括在本发明的至少一个实施例中。尽管这些短语可以出现在各个地方，但是这些短语不一定指的是同一实施例。结合本公开，本领域技术人员将能够设计和结合适于实施上述功能的各种机制中的任何一种。

应当理解，本公开仅教导了说明性实施例的一个示例，并且本领域技术人员在阅读了本公开之后可以容易地设计出本发明的许多变型，并且本发明的范围将由以下权利要求确定。

Claims (20)

1.一种部分帧感知方法，包括：

接收倒置图像的底部部分；

检测所述倒置图像的所述底部部分中的感兴趣的交通区域；

将所检测到的所述感兴趣的交通区域流传输到感知处理器；

接收所述倒置图像的顶部部分；

检测所述倒置图像的所述顶部部分中的感兴趣的静止区域；以及

将所检测到的所述感兴趣的静止区域流传输到所述感知处理器。

2.根据权利要求1所述的部分帧感知方法，其中所述倒置图像是从反置相机接收。

3.根据权利要求1所述的部分帧感知方法，还包括基于翻转非倒置图像来将所述非倒置图像倒置。

4.根据权利要求1所述的部分帧感知方法，还包括对所述倒置图像的所述底部部分进行不对称滤波。

5.根据权利要求1所述的部分帧感知方法，还包括对所述倒置图像的所述顶部部分进行不对称滤波。

6.根据权利要求1所述的部分帧感知方法，还包括将所述倒置图像的所述底部部分和所述倒置图像的所述顶部部分进行整合。

7.根据权利要求1所述的部分帧感知方法，还包括将所述倒置图像的所述顶部部分存储到顶部帧缓冲器。

8.根据权利要求1所述的部分帧感知方法，还包括将所述倒置图像的所述底部部分存储到底部帧缓冲器。

9.根据权利要求1所述的部分帧感知方法，还包括接收非倒置图像并将所述非倒置图像倒置。

10.根据权利要求1所述的部分帧感知方法，其中所述倒置图像的所述底部部分是从第一相机接收，并且所述倒置图像的所述顶部部分是从第二相机接收。

11.一种部分帧感知方法，包括：

接收倒置图像的底部部分；

将所述倒置图像的所述底部部分存储到底部帧缓冲器中；

检测所述倒置图像的所述底部部分中的感兴趣的交通区域；

接收所述倒置图像的顶部部分；

将所述倒置图像的所述顶部部分存储到顶部帧缓冲器中；以及

检测所述倒置图像的所述顶部部分中的感兴趣的静止区域。

12.根据权利要求11所述的部分帧感知方法，其中所述倒置图像是从反置相机接收。

13.根据权利要求11所述的部分帧感知方法，还包括基于翻转非倒置图像来将所述非倒置图像倒置。

14.根据权利要求11所述的部分帧感知方法，还包括对所述倒置图像的所述底部部分进行不对称滤波。

15.根据权利要求11所述的部分帧感知方法，还包括对所述倒置图像的所述顶部部分进行不对称滤波。

16.根据权利要求11所述的部分帧感知方法，还包括将所述倒置图像的所述底部部分与所述倒置图像的所述顶部部分进行整合。

17.根据权利要求11所述的部分帧感知方法，还包括将所检测到的所述感兴趣的交通区域流传输到所述感知处理器。

18.根据权利要求11所述的部分帧感知方法，还包括将所检测到的所述感兴趣的静止区域流传输到所述感知处理器。

19.根据权利要求11所述的部分帧感知方法，还包括接收非倒置图像并将所述非倒置图像倒置。

20.根据权利要求11所述的部分帧感知方法，其中所述倒置图像的所述底部部分是从第一相机接收，并且所述倒置图像的所述顶部部分是从第二相机接收。

Images