CN105554499A - 成像雷达数据的基于多普勒的压缩 - Google Patents

Abstract

本发明提供了成像雷达数据的基于多普勒的压缩，更具体地提供了一种处理图像序列的方法。该方法接收图像序列。每个图像包括多个像素。像素包括径向速度信息。该方法基于径向速度信息来压缩图像序列。该方法在存储设备中存储压缩的图像序列。

Description

成像雷达数据的基于多普勒的压缩

相关申请的交叉引用

本申请是2014年9月19日提交的美国临时专利申请第62/052,700号的非临时申请，其公开内容通过引用整体并入本文。

技术领域

本发明的主题涉及处理图像序列，并且更具体地使用序列中的图像的像素的径向速度信息来压缩图像序列。

背景技术

由高分辨率成像雷达生成的图像可以比由常规的雷达系统生成的图像或常规的摄像系统生成的图像携带多得多的信息。也就是说，由高分辨率成像雷达生成的图像的数据的尺寸经常远大于由常规的雷达系统或常规的摄像系统生成图像的尺寸。具有更大尺寸的图像由于尺寸的原因需要更长的时间来处理、存储、或传输。因此，期望提供用于更快的图像处理和用于存储图像的更小的存储空间的压缩高分辨率成像雷达生成的图像的方法和系统。

发明内容

在本发明的一个示例性实施例中，提供了一种处理图像序列的方法。该方法接收图像序列。每个图像包括多个像素。每个像素包括径向速度信息。该方法基于径向速度信息来压缩图像序列。该方法在存储设备中存储压缩的图像序列。

在本发明的另一示例性实施例中，提供了一种处理图像序列的系统。该系统包括配置为生成图像序列的雷达。每个图像包括多个像素并且每个像素包括径向速度信息。该系统进一步包括配置为基于径向速度信息来压缩图像序列的编码器。该系统包括配置为存储压缩的图像序列的存储设备。

当结合所附附图时，从下面的本发明的详细描述中，本发明的上述特征和优点以及其他特征和优点是清楚的。

本发明还公开了下面的方案。

方案1：一种用于处理图像序列的计算机实现方法，其包括：

接收图像序列，每个图像包括多个像素，每个所述像素包括径向速度信息；

基于所述径向速度信息由计算机压缩所述图像序列；以及

将经过压缩的所述图像序列存储在存储设备中。

方案2：如方案1所述的方法，其中所述压缩所述图像序列包括压缩所述径向速度信息。

方案3：如方案1所述的方法，其中所述压缩所述图像序列包括：

识别所述图像序列中的一个图像中的一组像素；

基于所述一组像素的所述径向速度信息来识别所述图像序列中的另一个图像的另一组像素的位置；以及

基于所述另一组像素来压缩所述一组像素。

方案4：如方案3所述的方法，进一步包括基于所述一组像素的所述径向速度信息来识另所述图像序列内的所述另一个图像的位置。

方案5：如方案1所述的方法，其中所述径向速度信息表征由雷达基于目标相对于所述雷达的运动所测量的所述像素的径向速度。

方案6：如方案5所述的方法，其中所述图像的每个像素进一步包括：

表征所述目标与所述雷达之间的距离的范围信息；

表征从所述雷达到所述目标的仰角角度的仰角信息；

表征从所述雷达到所述目标的方位角角度的方位角信息；以及

表征由所述目标反射的雷达信号的幅度和相位的强度信息。

方案7：如方案1所述的方法，进一步包括向远程系统发送所述经过压缩的图像序列。

方案8：如方案7所述的方法，其中所述远程系统是交通工具、远程信息处理系统和云系统中的一者。

方案9：如方案1所述的方法，进一步包括使用被修改为利用所述径向速度信息的视频压缩技术，从而压缩所述图像序列。

方案10：如方案1所述的方法，进一步包括：

接收经过压缩的图像序列，每个经过压缩的图像包括多个像素，每个所述像素进一步包括经过压缩的径向速度信息；以及

通过解压缩所述径向速度信息来解压缩所述经过压缩的图像序列。

方案11：一种处理图像序列的系统，其包括：

雷达，其配置为生成图像序列，每个图像包括多个像素，每个像素包括径向速度信息；

编码器，其配置为基于所述径向速度信息来压缩所述图像序列；以及

存储设备，其配置为存储经过压缩的图像序列。

方案12：如方案11所述的系统，其中所述编码器被配置为通过压缩所述径向速度信息来压缩所述图像序列。

方案13：如方案11所述的系统，其中所述编码器被配置为通过如下步骤来压缩所述图像序列：

识别所述图像序列中的一个图像中的一组像素；

基于所述一组像素的所述径向速度信息来识别所述图像序列中的另一个图像的另一组像素的位置；以及

基于所述另一组像素来压缩所述一组像素。

方案14：如方案13所述的系统，其中编码器被进一步配置为基于所述一组像素的所述径向速度信息来识别所述图像序列内的所述另一个图像的位置。

方案15：如方案11所述的系统，其中径向速度信息表征由雷达基于所述目标相对于所述雷达的运动来测量的所述像素的径向速度。

方案16：如方案15所述的系统，其中图像的每个像素进一步包括：

表征所述目标与所述雷达之间的距离的范围信息；

表征从所述雷达到所述目标的仰角角度的仰角信息；

表征从所述雷达到所述目标的方位角角度的方位角信息；以及

表征由所述目标反射的雷达信号的幅度和相位的强度信息。

方案17：如方案11所述的系统，进一步包括配置为向远程系统发送所述经过压缩的图像序列的发送机。

方案18：如方案17所述的系统，其中所述远程系统是交通工具、远程信息处理系统和云系统中的一者。

方案19：如方案11所述的系统，其中所述编码器被配置为使用被修改为利用所述径向速度信息的视频压缩技术，从而压缩所述图像序列。

方案20：如方案11所述的系统，进一步包括解码器，其配置为：

接收经过压缩的图像序列，每个经过压缩的图像包括多个像素，每个所述像素进一步包括经过压缩的径向速度信息；以及

通过解压缩所述径向速度信息来解压缩所述经过压缩的图像序列。

附图说明

在下面实施例的详细描述中，仅通过示例的方式呈现其他特征、优点和细节，该详细描述参考附图，其中：

图1示出根据本发明的实施例的雷达和图像处理系统；

图2示出根据本发明的实施例的编码器和解码器的框图；以及

图3为图示根据本发明的实施例的处理图像序列的方法的流程图。

具体实施方式

下面的描述实质上仅是示例性的并且不意图限制本公开、它的应用或用途。应该理解的是贯穿整个附图，相应的附图标记表征相同或相应部分及特征。

如上面所讨论的，由高分辨率成像雷达生成的图像可以携带比由常规的雷达系统生成的图像或者由常规的摄像系统生成的图像更多的信息。这是因为由高分辨率成像雷达生成的图像中示出的目标是由示出目标的更多细节的更大数量的像素表示，而由常规的雷达系统生成的图像中示出的目标是可以用更少数量的像素(即，点)表示目标的较低分辨率的图像。此外，由高分辨率成像雷达生成的图像携带比由常规的摄像系统生成的图像更多的信息，这是因为常规的摄像系统不具有用于图像中的像素的径向速度信息。

在实施例中，由高分辨率成像雷达生成的图像包括除了由常规的雷达生成的图像包括的范围信息、仰角信息、方位角信息、以及强度信息以外的径向速度信息。具体地，在实施例中，由高分辨率图像雷达生成的图像中的每个像素包括径向速度信息、范围信息、仰角信息、方位角信息和强度信息。像素的径向速度信息表征由雷达基于目标相对于雷达的运动而测量的像素的径向速度。像素的范围信息表征目标与雷达之间的距离。仰角信息表征雷达到目标的仰角角度。方位角信息表征雷达到目标的方位角角度。强度信息表征由目标反射的的雷达信号的幅度和相位。通常来讲，本发明实施例的方法和系统使用图像中的像素的径向速度信息，从而压缩图像序列。

根据本发明的示例性实施例，图1示出了图像处理系统100和雷达102。在实施例中，图像处理系统100包括一个或多个模块和子模块，诸如，编码器104、解码器106、数据存储器108、处理模块110和收发器112。如本文所使用的，术语“模块”或“子模块”指专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用、或组式)和存储器、组合逻辑电路、和/或提供所描述的功能的其他适合的组件。当以软件实现时，模块或子模块能够被实现为存储器，作为由处理电路可读并且存储由用于执行方法的处理电路执行的指令的非瞬态机器可读存储介质。此外，图1中所示的模块和子模块可以被组合和/或被进一步划分。在实施例中，图像处理系统100和雷达102在交通工具或移动平台上运行。交通工具或移动平台的非限制性实施例包括载人或无人陆上飞行器、载人或无人水上飞行器、载人或无人空中飞行器、以及载入或无人宇宙飞行器。

雷达102生成图像处理系统100周围环境的高分辨率图像(或帧)。雷达102捕获雷达数据的连续图像114，连续图像114被传送到编码器104或处理模块110进行图像处理和分析。在实施例中，雷达102被配置为对可以出现在雷达102的范围内的一个或多个移动目标150执行多普勒分析以生成雷达102捕获的图像的每个像素的径向速度信息。除了径向速度信息，雷达102还生成图像的每个像素的范围信息、仰角信息、以及方位角信息。此外，雷达102生成表征像素的一个或多个强度值的每个像素的强度信息。在实施例中，强度信息是复数形式以表征反射的雷达信号的幅度和相位。

编码器104压缩从雷达102接收的图像序列114以降低图像序列的数据大小。在实施例中，编码器104使用图像中的像素的径向速度信息，从而压缩图像序列。具体地，对于序列中的图像的每个像素，编码器104使用径向速度信息来识别对应于像素的序列中的另一个图像中的另一个像素的位置。编码器104基于该另一个图像中的相应像素来降低图像中的每个像素的数据大小。使用相应像素的被识别的位置，编码器104生成指向相应像素的位置的向量(例如，图像的图像标识符或帧号，包括图像中的相应像素、相应像素的坐标，等)。编码器104使用向量和像素与相应的像素之间的强度差来替代像素的强度信息。因为向量和强度差具有比像素的强度信息小得多的数据大小，所以实现了像素的数据大小的降低。此外，编码器104还可以压缩径向速度信息本身，从而降低像素的数据大小。编码器104在数据存储器108中存储压缩的图像序列。关于编码器104的更多细节将在下面参考图2来进一步地描述。

收发器112可以访问数据存储器108中的压缩的图像序列以通过一个或多个网络(未示出)将压缩的图像序列传输到远程系统(例如，另一个交通工具、远程信息处理服务器、云系统，等)。收发器112还通过一个或多个网络接收来自远程系统的压缩的图像序列并在数据存储器108中存储这些图像。

解码器106可以访问被存储在数据存储器108中的压缩的图像序列以解压缩图像。如上面提到的，压缩的图像序列可以由编码器104生成或由收发器112从远程系统接收。对于压缩的图像序列中的图像中的像素，解码器106使用像素的向量来定位同一图像或另一个图像中的相应的像素并向像素添加强度差和相应的像素的强度值来恢复像素的强度值。关于解码器106的更多细节将在下面参考图2进一步描述。

处理模块110处理从解码器106接收的未压缩的图像序列。例如，处理模块100分析未压缩的图像以识别并定位图像中的任何目标。

图2示出图1的编码器104和解码器106的框图。具体地，图2的上半部分图示了编码器104，并且图2的下半部分图示了解码器106。在实施例中，编码器104包括一个或多个子模块，诸如预测器202、量化器204、减法器208以及符号编码器206。

预测器202接收来自雷达102(图2中未示出)的图像序列114。预测器202执行图像间预测编码(即，时间编码)。也就是说，对于序列114中的特定图像的每个特定像素，预测器202识别可以包括相应像素的序列中的另一个图像的位置。例如，预测器202基于雷达102捕获图像的帧速率来确定序列中每两个连续图像之间的时间间隔并且使用这些时间间隔和像素的径向速度信息来识别序列中的该另一个图像的位置。预测器202接下来识别已被识别的具有与相应的像素相似的(多个)强度值的图像的像素。

在实施例中，预测器202还可以使用特定像素的径向速度信息来执行图像内预测编码(即，空间编码)。也就是说，预测器202可以使用特定像素的径向速度信息来识别特定图像的相应的像素。例如，预测器202可以识别具有相似的径向速度信息的特定图像中的一组其他像素并且识别具有与相应的像素相似的(多个)强度值的该组中的像素。

在实施例中，预测器202可以使用一组像素的径向速度信息来识别特定图像的一组邻近像素的一组相应的像素。也就是说，在这些实施例中，预测器202基于每个像素组而不是基于每个像素来执行预测编码。在实施例中，一组像素是用于预测器202的最小编码单元(MCU)块(例如，8×8、16×8、或16×16像素)。在实施例中，预测器202处理的一组像素是宏块。

对于序列中的特定图像的每个特定像素或像素组，预测器202生成指向相应的像素或像素组的向量。该向量表征包括相应的像素或像素组的图像(即，序列中的特定图像或另一个图像)的位置、以及那个图像中的该像素或像素组的位置。

量化器204对相应的像素的强度值进行向上取整运算(roundup)，至最接近的整数。减法器208从图像序列114中的像素的强度值中减去这些向上取整的强度值210以计算被提供到符号编码器206的212处的强度差。在实施例中，除了量化像素的强度值以外，或者替代量化像素的强度值，量化器204还量化212处的强度差。

同样，在实施例中，量化器204对相应的像素的径向速度值(即，幅度和相位值)向上取整，至最接近的整数。减法器208从图像序列114中的像素的径向速度值中减去这些向上取整的径向速度值210以计算被提供到符号编码器206的径向速度强度差212。在实施例中，除了量化像素的强度值以外，或者替代量化像素的强度值，量化器204量化212处的径向速度差。

在实施例中，符号编码器206对212处的强度和径向速度差执行熵编码(例如，哈夫曼(Huffman)编码、算术编码，等)以进一步降低序列中的每个图像的数据大小。符号编码器206的输出214表示被压缩的图像序列。

正如能够被认知的，预测器、量化器以及符号编码器是用于压缩图像序列的常规的视频编码系统的常见组件。常规的视频编码系统的预测器、量化器以及符号编码器的其他特征是已知的，并且因此，为了描述和阐述的简明，本公开中未进行描述。例如，可以对序列中的图像的像素执行的离散余弦变换(DCT)未被描述。然而，与常规的视频编码系统的预测器相比，预测器202通过使用径向速度信息来执行预测编码。此外，与常规的视频编码系统的符号编码器相比，符号编码器206对像素的径向速度信息执行熵编码。照此，图像处理系统100可以通过适应或修改技术来利用一个或多个常规的视频压缩技术，以利用序列中的图像的像素的径向速度信息。常规的视频压缩技术的示例包括H.261、H.263、H.264或H.265标准中规定的MPEG(动态图像专家组)和HEVC(高性能视频编码)技术。

图2的下半部分示出了解码器106，在实施例中，解码器106包括符号解码器218、加法器220、以及预测器222。如上面所提到的，解码器106从数据存储器108(图2中未示出)检索压缩的图像序列(例如，压缩的图像序列216)。压缩的图像序列可以已经由编码器104压缩或者可以来自于远程系统(图2中未示出)。解码器106解开或反转编码器(例如，编码器104)对图像序列执行的编码处理，从而解压缩被压缩的图像序列。

符号解码器218对压缩的图像序列216执行熵解码(例如，哈夫曼编码、算术编码，等)。压缩的图像序列216可以包括图像中的像素的原始强度和径向速度值与相应的像素的强度和径向速度值之间的熵编码的差。因此，符号解码器218的输出是强度和径向速度差。

对于每个像素或每个像素组，预测器222使用表征包括相应的像素或像素组的序列中的图像的位置和相应的像素或像素组的位置的向量来确定相应的像素组的强度和径向速度值。加法器220将强度和径向速度差与相应的像素或像素组的强度和径向速度值相加以恢复像素或像素组的强度和径向速度值。照此，未被压缩的图像序列由解码器106输出。

现在参考图3，并继续参考图1和图2，流程图图示了压缩图像序列的方法。在实施例中，所述方法能够由图1和图2的图像处理系统100执行。如鉴于本公开能够理解到的，所述方法的操作顺序不受图3中图示的执行顺序的限制，而是可以以可应用的并且根据本公开的一个或多个变化的顺序来执行。在实施例中，所述方法能够被调度以基于预先确定的事件运行，和/或在图像处理系统100操作期间连续运行。

在块310，图像处理系统100接收来自雷达102的图像序列。图像序列包括由雷达102生成的序列中的图像的每个像素的径向速度信息、范围信息、仰角信息、方位角信息和强度信息。

在块320，图像处理系统100基于径向速度信息来压缩图像序列。具体地，对于序列中的特定图像中的每个特定像素或像素组，图像处理系统100使用像素或像素组的径向速度信息来识别可以包括相应的像素或相应的像素组的序列中的另一个图像的位置。图像处理系统100接下来识别已被识别的具有与相应的像素或相应的像素组相似的强度值的图像的像素或像素组。图像处理系统100还可以使用特定像素或特定像素组的径向速度信息来识别特定图像中的相应的像素或相应的像素组。图像处理系统100确定特定像素或特定像素组的强度值与相应的像素或相应的像素组的强度值之间的差。图像处理系统100还确定特定像素或特定像素组的径向速度值与相应的像素或相应的像素组的径向速度值之间的差。图像处理系统100通过例如对强度和径向速度差向上取整至最接近的整数来量化强度和径向速度差。图像处理系统100接下来对强度和径向速度差执行熵编码。

在块330，图像处理系统100在数据存储器108中存储压缩的图像序列。在一些情况下，图像处理系统100向远程系统发送压缩的图像序列。

尽管已经参考示例性实施例描述了本发明，所属领域的技术人员将理解到的是在不脱离本发明的范围的情况下可以对本发明的要素作出各种变化并且可以替代等价物。另外，在不脱离本发明实质范围的情况下，根据本发明的教导可以作出众多变型以适应特定情况或材料。因此，意在本发明不受限于公开的特定实施例，而是本发明将包括落入本申请的范围内的全部实施例。

Claims (10)

1.一种用于处理图像序列的计算机实现方法，其包括：

接收图像序列，每个图像包括多个像素，每个所述像素包括径向速度信息；

基于所述径向速度信息由计算机压缩所述图像序列；以及

将经过压缩的所述图像序列存储在存储设备中。

2.如权利要求1所述的方法，其中所述压缩所述图像序列包括压缩所述径向速度信息。

3.如权利要求1所述的方法，其中所述压缩所述图像序列包括：

识别所述图像序列中的一个图像中的一组像素；

基于所述一组像素的所述径向速度信息来识别所述图像序列中的另一个图像的另一组像素的位置；以及

基于所述另一组像素来压缩所述一组像素。

4.如权利要求3所述的方法，进一步包括基于所述一组像素的所述径向速度信息来识别所述图像序列内的所述另一个图像的位置。

5.如权利要求1所述的方法，其中所述径向速度信息表征由雷达基于目标相对于所述雷达的运动所测量的所述像素的径向速度。

6.如权利要求5所述的方法，其中所述图像的每个像素进一步包括：

表征所述目标与所述雷达之间的距离的范围信息；

表征从所述雷达到所述目标的仰角角度的仰角信息；

表征从所述雷达到所述目标的方位角角度的方位角信息；以及

表征由所述目标反射的雷达信号的幅度和相位的强度信息。

7.如权利要求1所述的方法，进一步包括向远程系统发送所述经过压缩的图像序列。

8.如权利要求7所述的方法，其中所述远程系统是交通工具、远程信息处理系统和云系统中的一者。

9.如权利要求1所述的方法，进一步包括使用被修改为利用所述径向速度信息的视频压缩技术，从而压缩所述图像序列。

10.一种处理图像序列的系统，其包括：

雷达，其配置为生成图像序列，每个图像包括多个像素，每个像素包括径向速度信息；

编码器，其配置为基于所述径向速度信息来压缩所述图像序列；以及

存储设备，其配置为存储经过压缩的图像序列。