CN112492298B - 一种采集图像的方法及装置 - Google Patents

Abstract

本说明书公开了一种采集图像的方法及装置。确定各帧内数据包和各帧间数据包，并根据帧间数据包，确定前端设备输出的单帧图像对应的所有帧内数据包，之后，根据单帧图像对应的帧内数据包的数据量以及图像格式，确定单帧图像的图像宽度，并根据单帧图像对应的所有帧内数据包的数量，确定单帧图像的图像高度，然后根据图像宽度以及图像高度，确定单帧图像的输出分辨率，并根据输出分辨率以及单帧图像的原始分辨率，对单帧图像对应的所有帧内数据包进行处理，确定前端设备采集的图像并发送到后端设备。如此，可针对前端设备输出的不同图像分辨率，采取不同的图像采集模式，对图像数据进行实时采集。

Description

一种采集图像的方法及装置

技术领域

本说明书涉及计算机领域，尤其涉及一种采集图像的方法及装置。

背景技术

随着计算机技术的发展，图像采集技术的进步，前端设备采集的图像分辨率也多种多样。一般前端设备中不仅包含图像传感器和存储采集图像所需的配置文件的存储器，往往还包含图像信号处理器(Image Signal Processor，ISP)芯片，来对图像传感器采集的原始图像进行白平衡处理、曝光增益值调整等图像处理。

在现有技术中，在图像传感器采集到图像后，会将已知原始分辨率的图像数据发送至ISP芯片，之后，经过ISP芯片处理后的图像数据会发送至嵌入式设备，由嵌入式设备根据ISP芯片发送的图像数据，确定每帧图像的图像数据，再将每帧图像数据传输至后端设备进行存储。一般现有技术中的嵌入式设备为现场可编程逻辑门阵列(Field ProgrammableGate Array，FPGA)芯片，根据需要对FPGA芯片进行编译，得到实现上述功能的嵌入式设备。

其中，由于经过ISP芯片处理后的图像的分辨率可能改变，而嵌入式设备需要确定ISP芯片输出的图像分辨率，才能进行帧判断等处理，并输出到后端设备，因此ISP芯片输出的图像数据对应的图像分辨率需要预先约定，并由采集图像系统的处理器，如，中央处理器(Central Processing Unit，CPU)，进阶精简指令集机器(Advanced RISC Machine，ARM)处理器等，将预设的图像分辨率配置到嵌入式设备中。当嵌入式设备是FPGA芯片时，则还需要根据约定的图像分辨率对FPGA芯片进行编译。

但是，若需要ISP芯片进行图像处理，且处理后的图像分辨率与预先约定的分辨率不同时，则需要根据变更后的图像分辨率对该嵌入式设备进行重新编译，再将图像传输至后端设备进行存储。这个过程需要等待的时间较长，时效性差。尤其是在一个嵌入式设备通过多个通道接收多个前端设备发送的图像数据时，不同前端设备的图像传感器采集到的图像的原始分辨率可能不同，经过ISP芯片处理后的图像数据也都可能会有改变，此时，嵌入式设备需要针对多个前端设备发送的图像数据进行对应代码的重新编译，则需要耗费更多的时间。

发明内容

本说明书提供一种采集图像的方法及装置，以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种采集图像的方法，所述方法具体包括：

根据前端设备发送的串行图像数据，确定各帧内数据包以及各帧间数据包，其中，单个所述帧内数据包中包括所述前端设备采集的单帧图像的一行图像数据，所述帧间数据包用于标识一帧图像数据的开始或结束；

根据所述帧间数据包，确定所述前端设备输出的单帧图像对应的所有帧内数据包；

确定所述前端设备采集图像的图像格式，并根据所述单帧图像对应的帧内数据包的数据量以及所述图像格式，确定所述单帧图像的图像宽度；

根据所述单帧图像对应的所有帧内数据包的数量，确定所述单帧图像的图像高度；

根据所述图像宽度以及所述图像高度，确定所述单帧图像的输出分辨率，并根据所述输出分辨率以及所述单帧图像的原始分辨率，对所述单帧图像对应的所有帧内数据包进行处理，确定所述前端设备采集的图像并发送到后端设备。

可选地，根据前端设备发送的串行图像数据，确定各帧内数据包以及各帧间数据包，具体包括：

接收前端设备发送的串行图像数据，根据预设的输出协议，将所述串行图像数据进行解串；

根据同步信号，确定解串后的数据中的各数据包；

根据解串得到所述各数据包的顺序以及所述各数据包的内容，确定各帧内数据包以及各帧间数据包。

可选地，所述前端设备有多个；

根据前端设备发送的串行图像数据，确定各帧内数据包以及各帧间数据包具体包括：

通过不同的数据通道传输分别就接收各前端设备传输的串行图像数据；

针对每个数据通道，根据前端设备通过该数据通道发送的串行图像数据，确定各帧内数据包以及各帧间数据包，所述串行图像数据中携带有发送所述串行图像数据的前端设备的设备标识。

可选地，根据所述单帧图像对应的帧内数据包的数据量以及所述图像格式，具体包括：

根据所述单帧图像对应的帧内数据包中的头部信息，确定所述帧内数据包的数据量；

根据确定出的数据量以及所述图像格式，确定所述单帧图像的图像宽度；

其中，所述前端设备采集图像的图像格式包括：预设的单像素字节数、预设的像素深度以及预设的并行度。

可选地，根据所述输出分辨率以及所述单帧图像的原始分辨率，确定所述前端设备采集的图像，具体包括：

判断所述单帧图像的图像宽度是否等于原始分辨率的图像宽度，以及所述单帧图像的图像高度是否等于原始分辨率的图像高度；

若判断结果均为是，则以一个帧内数据包对应一行图像，对所述单帧图像进行采集；

若任一判断结果为否，则根据所述原始分辨率，对所述单帧图像进行处理，确定至少一帧图像数据进行采集。

可选地，根据所述原始分辨率，对所述单帧图像进行处理，确定至少一帧图像数据进行采集，具体包括：

当所述单帧图像的图像宽度等于原始分辨率的图像宽度，且所述单帧图像的图像高度与原始分辨率的图像高度成预设倍数关系，则根据所述单帧图像中的奇数行图像，确定一帧图像数据进行采集，根据所述单帧图像中的偶数行图像，确定一帧图像数据进行采集；

当所述单帧图像的图像高度等于原始分辨率的图像宽度，且所述单帧图像的图像高度与原始分辨率的图像宽度成预设倍数关系，则根据所述单帧图像中每行图像中的前半行图像，确定一帧图像数据进行采集，根据每行图像中的后半行图像，确定一帧图像数据进行采集；

当所述单帧图像的图像高度大于原始分辨率的图像高度，图像宽度也大于原始分辨率的图像宽度，按照所述原始分辨率，将所述单帧图像指定区域的图像，作为一帧图像进行采集。

可选地，所述方法还包括：

当所述单帧图像的图像高度小于原始分辨率的图像高度，或图像宽度小于原始分辨率的图像宽度，则不根据所述单帧图像进行图像采集。

本说明书提供了一种采集图像的装置，所述装置具体包括：

数据包确定模块，用于根据前端设备发送的串行图像数据，确定各帧内数据包以及各帧间数据包，其中，单个所述帧内数据包中包括所述前端设备采集的单帧图像的一行图像数据，所述帧间数据包用于标识一帧图像数据的开始或结束；

数量确定模块，用于根据所述帧间数据包，确定所述前端设备输出的单帧图像对应的所有帧内数据包；

图像宽度确定模块，用于确定所述前端设备采集图像的图像格式，并根据所述单帧图像对应的帧内数据包的数据量以及所述图像格式，确定所述单帧图像的图像宽度；

图像高度确定模块，用于根据所述单帧图像对应的所有帧内数据包的数量，确定所述单帧图像的图像高度；

图像采集模块，用于根据所述图像宽度以及所述图像高度，确定所述单帧图像的输出分辨率，并根据所述输出分辨率以及所述单帧图像的原始分辨率，对所述单帧图像对应的所有帧内数据包进行处理，确定所述前端设备采集的图像并发送到后端设备。

本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述采集图像的方法。

本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述采集图像的方法。

本说明书采用的上述至少一个技术方案能够达到以下有益效果：

在本说明书提供的采集图像的方法中，通过确定各帧内数据包和各帧间数据包，并根据帧间数据包，确定前端设备输出的单帧图像对应的所有帧内数据包，之后，根据单帧图像对应的帧内数据包的数据量以及图像格式，确定单帧图像的图像宽度，并根据单帧图像对应的所有帧内数据包的数量，确定单帧图像的图像高度，然后根据图像宽度以及图像高度，确定单帧图像的输出分辨率，并根据输出分辨率以及单帧图像的原始分辨率，对单帧图像对应的所有帧内数据包进行处理，确定前端设备采集的图像并发送到后端设备。

从上述方法中可以看出，本方法可针对前端设备输出的不同图像分辨率，采取不同的图像采集模式，对图像数据进行实时采集，即使是在一个嵌入式设备通过多个通道接收多个前端设备发送的图像数据时，无需进行对应代码的重新编译，也可快速确定图像采集模式来采集图像。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：

图1为本说明书中一种现有采集图像的设备的结构示意图；

图2为本说明书提供的一种采集图像的方法的流程示意图；

图3为本说明书提供的一种采集图像的设备的结构示意图；

图4为本说明书提供的一种数据包发送顺序的示意图；

图5为本说明书提供的一种上下多图的示意图；

图6为本说明书提供的一种左右多图的示意图；

图7为本说明书提供的一种检测判断模块的结构示意图；

图8为本说明书提供的一种采集图像的装置示意图；

图9为本说明书提供的对应于图2的电子设备的结构示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

目前，在图像采集技术领域中，在前端设备中的图像传感器采集到图像后，会将已知原始分辨率的图像数据发送至ISP芯片，经过ISP芯片处理后的图像数据会通过数据通道传输至嵌入式设备，由嵌入式设备根据接收到的图像数据，确定每帧图像对应的数据，再将每帧图像对应的数据传输至后端设备进行存储。ISP芯片可以对图像传感器采集的原始图像进行白平衡处理、曝光增益值调整、畸变矫正等图像处理，经过这些处理后，前端设备输出的该图像的分辨率，即输出分辨率，相较于图像的原始分辨率有可能会改变。

上述结构如图1所示。图1为现有采集图像的设备的结构示意图，包括前端设备、嵌入式设备以及后端设备。

以该嵌入式设备是FPGA芯片为例，当前端设备输出的图像的输出分辨率改变时，则需要对FPGA芯片进行重新编译，才能对前端设备输出的改变了分辨率的图像进行采集，尤其是当FPGA芯片通过多个通道接收多个前端设备发送的图像数据时，则需要进行多次编译，且编译过程漫长，耗时较多。因此，在现有技术中，为了避免对FPGA芯片进行重新编译，减少耗时，一些前端设备的输出分辨率需要是固定的，但也导致输出的图像分辨率不能适应一些图像处理需求，图像采集的灵活度也更差。

为了解决现有图像采集技术领域中，针对前端设备输出的图像分辨率改变的情形，无法实时采集图像，甚至需要嵌入式设备重新编译相应代码，导致图像采集过程耗时较长的情况，本申请提供了一种采集图像的方法。

本说明书提供的采集图像的过程可由嵌入式设备执行，该嵌入式设备具体是FPGA芯片。

图2为本说明书中一种采集图像的方法的流程示意图，具体包括以下步骤：

S100：根据前端设备发送的串行图像数据，确定各帧内数据包以及各帧间数据包。

在本说明书中，为了实现在前端设备输出的图像的输出分辨率变化时，不需要重新编译耗费时间，也能进行图像采集，该嵌入式设备可在获取前端设备发送的数据后，可基于前端设备的采集图像的原始分辨率，判断如何对获取的图像对应数据进行处理，以进行图像采集。

在本说明书一个或多个实施例中，为了提高数据传输效率，该前端设备可将数据进行串行处理后在发送，则该嵌入式设备可以根据前端设备发送的串行图像数据，确定各帧内数据包以及各帧间数据包。其中，单个帧内数据包中包括该前端设备采集的单帧图像的一行图像数据，该帧间数据包用于标识一帧图像数据的开始或结束。在各帧内数据包传输前以及各帧间数据包传输前都会产生同步信号。

具体的，该嵌入式设备为FPGA芯片，该FPGA芯片至少可包括：解串器和检测判断模块。当然，上述该FPGA芯片中的检测判断模块，只是基于FPGA芯片中实现不同功能的可配置逻辑片的统称，可视为是FPGA芯片中的特定功能模块。于是，首先FPGA芯片可以通过解串器接收前端设备发送的串行图像数据，并根据预设的第一输出协议，将该串行图像数据进行解串。之后，根据预设的第二输出协议在解串得到数据包时，生成同步信号，并将同步信号和该数据包一并发送至检测判断模块。然后，检测判断模块可根据接收到的同步信号，确定解串后的数据中的各数据包，并根据解串得到各数据包的顺序以及各数据包的内容，确定各帧内数据包以及各帧间数据包。

其中，以该预设的第一输出协议是移动产业处理器接口(Mobile IndustryProcessor Interface，MIPI)的D-PHY协议，该预设的第二输出协议是PPI协议为例，进行后续说明。

在本说明书一个或多个实施例中，前端设备与嵌入式设备通过物理接口进行连接，该物理接口可以是MIPI联盟的串行器(SERializer)/解串器(DESerializer)接口，即SerDes接口。该检测判断模块可以通过该SerDes接口接收前端设备经串行器串化后高速传输的串行图像数据，并根据MIPID-PHY协议，通过解串器将接收到的串行图像数据进行解串，然后根据PPI协议生成数据包。

图3为本说明书提供一种采集图像的设备的结构示意图，包括前端设备、嵌入式设备和后端设备。其中，前端设备包括图像传感器和ISP芯片。嵌入式设备包括检测判断模块、系统总线协议化模块以及帧缓存控制器。在前端设备中，由图像传感器采集的图像数据会经过ISP芯片处理后，通过串行器串行传输至嵌入式设备。在嵌入式设备中，在将前端设备传输的图像数据解串后，会将解串后的数据经过检测判断模块处理，并将处理后的图像数据传输到系统总线协议化模块，再由帧存控制器传输到后端设备进行存储。

S102：根据所述帧间数据包，确定所述前端设备输出的单帧图像对应的所有帧内数据包。

在本说明书一个或多个实施例中，解串器在基于PPI协议向该检测判断模块发送数据包时，针对每个数据包，该数据包的头部信息中包含有该数据包具体携带有何种数据的标识，用于区分该数据包是帧内数据包(即包含有图像数据的数据包)还是帧间数据包(用于区分不同帧的数据包)。

并且，根据PPI协议，数据包发送顺序可如图4所示。图4为本说明书提供的一种数据包发送顺序的示意图。其中，由于帧间数据包不传输图像数据，所以帧间数据包中包含的数据量少，数据包较短，通常也可以称之为短包，即图中的Short包，而帧内数据包中包含了一行图像数据，传输的数据量较大，数据包较长，通常也可以称之为长包，即图中的Long包。解串器根据各长包短包的传输顺序，向检测判断模块传输各数据包。图中长箭头首端所指方向的数据包是该检测判断模块先接收的数据包，长箭头尾端方向的数据包是该检测判断模块后接收的数据包。对于每帧图像对应的数据包，在传输该单帧图像对应的帧内数据包前会先传输到一个帧间数据包，该帧间数据包用以标记该单帧图像对应的帧内数据包的开始传输，然后，在该单帧图像对应的所有帧内数据包都依次传输完毕后，会再传输一个帧间数据包，该帧间数据包用以标记该单帧图像对应的帧内数据包的接收完毕。因此，该检测判断模块可以根据各单帧图像对应的帧间数据包来确定该单帧图像的所有帧内数据包，以及确定该单帧图像对应的所有帧内数据包的数量。

具体的，该检测判断模块可按照接收数据包的顺序，确定在接收到两个帧间数据包之间接收到的所有帧内数据包，为对应一帧图像的数据包，即单帧图像对应的帧内数据包。

S104：确定所述前端设备采集图像的图像格式，并根据所述单帧图像对应的帧内数据包的数据量以及所述图像格式，确定所述单帧图像的图像宽度。

在本说明书一个或多个实施例中，在该检测判断模块接收到前端设备发送的图像数据，并确定出单帧图像对应的所有帧内数据包的数量后，若想确定该单帧图像的输出分辨率，还需分别确认该单帧图像经ISP芯片处理后输出的图像宽度与图像高度。

在本说明书一个或多个实施例中，可以根据该单帧图像对应的帧内数据包的数据量以及图像格式，确定该单帧图像的图像宽度。具体的，可以根据该单帧图像对应的帧内数据包中的头部信息，确定该帧内数据包的数据量，并根据确定出的数据量以及该图像格式，确定该单帧图像的图像宽度。

其中，该前端设备采集图像的图像格式包括：预设的单像素字节数、预设的像素深度以及预设的并行度。其中，单像素字节数即一个像素所占的字节数，像素深度即存储每个像素所用的位数。以该前端设备中采集图像的图像格式为YUV422格式为例，在该格式下，1个像素占2字节，则该图像格式对应的单像素字节数为2，像素深度为8bit即1字节，假设预设的并行度为1，若经过ISP芯片处理的图像的输出分辨率为1920×1080，则传输该图像的一行图像数据需要传输的数据量为1920×1×2×1＝3840字节。于是，在未知图像的输出分辨率时，由于图像格式是预设的，且可以通过帧内数据包中的头部信息确定该帧内数据包的数据量，即该图像的一行图像数据的数据量，因此该检测判断模块可以通过确定前端设备的图像格式对应的单像素字节数、像素深度以及并行度三者的乘积，并将确定出的该帧内数据包的数据量除以该乘积，便可得到该图像的输出分辨率对应的图像宽度。根据一行图像数据的数据量、该图像的图像宽度以及该图像数据对应的图像格式间的关系可以确定出一个公式：

其中，WIDTH表示图像宽度，DATA_NUM表示一行图像数据的数据量，BYTE_NUM表示单像素字节数、BPP表示像素深度、CHANNEL_NUM表示并行度。

在本说明书一个或多个实施例中，前端设备采集图像的图像格式可以是预先设置并存储在前端设备中的，在嵌入式设备需要确定一帧图像的图像宽度时，可以先从前端设备获取该图像对应的图像格式的具体单像素字节数、像素深度以及并行度，然后根据上述公式，确定图像宽度的具体值。

S106：根据所述单帧图像对应的所有帧内数据包的数量，确定所述单帧图像的图像高度。

在本说明书一个或多个实施例中，由于单个帧内数据包中包括前端设备采集的单帧图像的一行图像数据，所以可以根据该单帧图像对应的所有帧内数据包的数量，确定该单帧图像的图像数据的总行数，即该单帧图像的图像高度。

S108：根据所述图像宽度以及所述图像高度，确定所述单帧图像的输出分辨率，并根据所述输出分辨率以及所述单帧图像的原始分辨率，对所述单帧图像对应的所有帧内数据包进行处理，确定所述前端设备采集的图像并发送到后端设备。

在本说明书一个或多个实施例中，在该检测判断模块确定出前端设备输出的单帧图像对应的图像宽度以及图像高度后，便可确定出该单帧图像对应的输出分辨率，进而根据该输出分辨率以及该单帧图像的原始分辨率，确定图像输入模式，并根据图像输入模式确定图像采集模式，进行采集。其中，图像输入模式包括普通单图模式、上下多图模式、左右多图模式、待裁剪图模式以及残帧模式，不同图像输入模式分别对应不同的图像采集模式。

在本说明书一个或多个实施例中，具体的，该检测判断模块可以判断该单帧图像的图像宽度是否等于原始分辨率的图像宽度，以及该单帧图像的图像高度是否等于原始分辨率的图像高度。若判断结果均为是，则说明经ISP芯片处理后，前端设备传输给嵌入式设备的图像为输出分辨率与原始分辨率一致的图像，则确定图像输入模式为普通单图模式，并确定该普通单图模式对应的图像采集模式，并以一个帧内数据包对应一行图像，对该单帧图像的全部图像数据进行采集。

以该单帧图像的原始分辨率为1920×1080为例，在确定出该单帧图像的输出分辨率后，可以将该单帧图像的输出分辨率与该单帧图像的原始分辨率进行对比。若该单帧图像的输出分辨率为1920×1080，即该单帧图像的输出分辨率对应的图像宽度为1920，该单帧图像的输出分辨率对应的图像宽度为1080，分别与该单帧图像的原始分辨率对应的图像宽度与图像高度相等，则该检测判断模块确定图像输入模式为普通单图模式，并确定该普通单图模式对应的图像采集模式，以一个帧内数据包对应一行图像数据，并通过一个数据通道对该单帧图像的图像数据进行采集。

若任一判断结果为否，说明经ISP芯片处理后，前端设备传输给嵌入式设备的图像的输出分辨率与原始分辨率不一致，则根据该原始分辨率，对该单帧图像进行处理，确定至少一帧图像数据进行采集。具体的，当该单帧图像的图像宽度等于原始分辨率的图像宽度，且该单帧图像的图像高度与原始分辨率的图像高度成预设倍数关系时，确定图像输入模式为上下多图模式，并确定上下多图模式对应的图像采集模式。其中，该预设倍数关系可以根据ISP芯片可以处理输出的图像分辨率情况具体设置，本说明书在此不做限制。假设预设倍数关系是2，即二倍，则该检测判断模块根据该单帧图像中的奇数行图像，通过数据通道1确定一帧图像数据进行采集，并根据该单帧图像中的偶数行图像，通过数据通道2确定一帧图像数据进行采集。

在本说明书一个或多个实施例中，依然以该单帧图像的原始分辨率为1920×1080为例，若该单帧图像的输出分辨率为1920×2160，即该输出分辨率的图像高度是原始分辨率的图像高度的二倍，该输出分辨率的图像宽度与原始分辨率的图像宽度相等，则该检测判断模块确定图像输入模式为上下多图模式，并确定该上下多图模式对应的图像采集模式。在该单帧图像的所有图像数据中，奇数行的数据是原始图像的图像数据，偶数行的数据是经ISP算法处理过的图像数据，如图5所示，图5为本说明书提供一种上下多图的示意图，如图所示，图中奇数行的图像数据皆为A类数据，是原始图像的图像数据，图中偶数行的图像数据皆为B类数据，是经ISP算法处理过的图像数据。此时，该检测判断模块可以通过数据通道1对奇数行的图像数据进行采集，并通过数据通道2对偶数行的图像数据进行采集。

在本说明书一个或多个实施例中，当该单帧图像的图像高度等于原始分辨率的图像宽度，且该单帧图像的图像高度与原始分辨率的图像宽度成预设倍数关系，依然假设预设倍数关系是2，即二倍，则该检测判断模块确定图像输入模式为左右多图模式，并确定该左右多图模式对应的图像采集模式。此时，该检测判断模块根据该单帧图像中每行图像数据中的前半行图像数据，通过数据通道1确定一帧图像数据进行采集，根据每行图像数据中的后半行图像数据，通过数据通道2确定一帧图像数据进行采集。

沿用上例，若该单帧图像的输出分辨率为3840×1080，即该输出分辨率的图像宽度是原始分辨率的图像宽度的二倍，该输出分辨率的图像高度与原始分辨率的图像高度相等，则该检测判断模块确定图像输入模式为左右多图模式，并确定该左右多图模式对应的图像采集模式。在该单帧图像的所有图像数据中，每行图像数据的前半段是原始图像的图像数据，每行图像数据的后半段是经ISP算法处理过的图像数据。如图6所示，图6为本说明书提供一种左右多图的示意图，图中每行图像数据的前半段是A类数据，即原始图像的图像数据，每行图像数据的后半段是B类数据，即经ISP算法处理过的图像数据。此时，该检测判断模块可以通过数据通道1对每行图像数据的前半段进行采集，并通过数据通道2对每行图像数据的后半段进行采集。

在本说明书一个或多个实施例中，当该单帧图像的图像高度大于原始分辨率的图像高度，图像宽度也大于原始分辨率的图像宽度，该检测判断模块则确定图像输入模式为待裁剪图模式，并确定该待裁剪图模式对应的图像采集模式，按照原始分辨率，将该单帧图像指定区域的图像数据，作为一帧图像数据，并通过一个数据通道进行采集。其中，该指定区域划定的分辨率大小与原始分辨率一致，该指定区域的位置具体可根据需要设置，本说明书在此不做限制。

在本说明书一个或多个实施例中，当该单帧图像的图像高度小于原始分辨率的图像高度，或图像宽度小于原始分辨率的图像宽度，该检测判断模块则确定图像输入模式为残帧模式，不根据该单帧图像进行图像数据的采集。在本说明书一个或多个实施例中，在根据前端设备采集的单帧图像的输出分辨率确定出不同图像输入模式对应的不同图像采集模式后，嵌入式设备可以对该单帧图像对应的所有帧内数据包进行处理，确定前端设备采集的图像，并发送到后端设备进行存储。其中该后端设备可以是双倍速率同步动态随机存储器(Double Data Rate SDRAM，DDR SDRAM)。

因为本申请中的嵌入式设备是FPGA芯片，因此在上述S104～S108步骤中，不同的步骤可由FPGA中不同的逻辑片来执行，则在图3中所述的检测判断模块，也可视为是由不同功能模块组成的，如图7所示，图7为本说明书提供的一种检测判断模块的结构示意图。图中可见，检测判断模块包括分辨率检测模块、模式判断模块以及分流采集模块。FPGA的物理层传输的图像数据分别通过两个通路到达分流采集模块，其一是物理层与分流采集模块直接进行数据传输的通路，其二是物理层先将图像数据传输到分辨率检测模块，由分辨率检测模块将图像数据传输到模式判断模块，最后再由模式判断模块将图像数据传输到分流采集模块的通路。如此可确保分流采集模块能够实时根据模式判断模块确定出的图像输入模式以及图像采集模式对物理层传输的图像数据进行采集，并通过不同的数据通道将图像数据传输至系统总线协议化模块。其中，该物理层是基于MIPI D-PHY的高速、低功耗的物理层。

基于图2所示的采集图像的方法，确定各帧内数据包和各帧间数据包，并根据帧间数据包，确定前端设备输出的单帧图像对应的所有帧内数据包，之后，根据单帧图像对应的帧内数据包的数据量以及图像格式，确定单帧图像的图像宽度，并根据单帧图像对应的所有帧内数据包的数量，确定单帧图像的图像高度，然后根据图像宽度以及图像高度，确定单帧图像的输出分辨率，并根据输出分辨率以及单帧图像的原始分辨率，确定图像采集模式，最后，根据图像采集模式，对单帧图像对应的所有帧内数据包进行处理，确定前端设备采集的图像并发送到后端设备。

从上述方法中可以看出，本方法可针对前端设备输出的不同图像分辨率，采取不同的图像采集模式，对图像数据进行实时采集，即使是在一个嵌入式设备通过多个通道接收多个前端设备发送的图像数据时，无需进行对应代码的重新编译，也可快速确定图像采集模式来采集图像。

另外，在本说明书步骤S100中，该前端设备可以有多个，该检测判断模块可以通过不同的数据通道分别接收各前端设备传输的串行图像数据，并针对每个数据通道，根据前端设备通过该数据通道发送的串行图像数据，确定各帧内数据包以及各帧间数据包，该串行图像数据中携带有发送该串行图像数据的前端设备的设备标识。该前端设备可以是相机等设备，具体可以根据需要设置，本说明书在此不做限制。以该前端设备是相机为例，假设一台嵌入式设备接入4台相机，并通过4个数据通道接收各相机传输的串行图像数据，该嵌入式设备可以通过各串行图像数据中携带的设备标识，确定哪些串行图像数据是由哪个相机采集并传输给嵌入式设备的。

在本说明书一个或多个实施例中，当一个嵌入式设备同时接入多个前端设备时，嵌入式设备依然能够实时且快速地通过不同数据通道分别接收各前端设备传输的串行图像数据，并在无需重新编译嵌入式设备的情况下，根据检测判断模块确定出的图像输入模式对应的图像采集模式，对图像数据进行采集，采集图像的时效性好且采集效率高。确保了当需要对多个前端设备从不同方向不同角度采集的图像进行环视拼接等拼接处理时，即使这些图像都是由ISP芯片进行过畸变矫正等复杂处理的图像，嵌入式设备依然可以在接收各前端设备传输的图像数据的同时，准确确定各个前端设备对应的图像以及图像输入模式，以根据相应的图像采集模式，高效且灵活地对各前端设备对应的图像进行采集。

另外，在本说明书中该采集图像的方法可用于无人配送，具体可应用于使用无人车进行配送的领域中，该无人车可设置多个朝向不同的前段设备，则当无人车进行配送时，在各前端设备采集到图像后，可分别通过该采集图像的方法进行处理，处理后的图像可作为对无人车进行路线规划或控制无人车的参考依据。例如在无人车配送外卖或快递时，可将通过上述采集图像的方法，采集各前端设备的图像并进行环视拼接，例如，拼接得到360°的广角图像，再将环视拼接的图像输入对应的无人车控制模型，使该控制模型输出无人车的控制策略，或者输出规划的行驶轨迹，以达到能够规划更优轨迹或输出更准确的控制策略的效果。

需要说明的是，在本说明书中，上述采集图像的方法并不仅限于无人车配送领域，有移动功能的机器人在移动过程中，也可通过执行该采集图像的方法确定出机器人需要的图像数据，以确定控制策略。或者具有无人驾驶功能的车辆，在实现无人驾驶功能时，也可通过执行该采集图像的方法，根据采集到的图像进行运动状态的规划。再或者，智能车辆在控制车辆运动状态时，也可根据通过该方法采集到的图像进行运动状态的规划，例如，利用车辆在使用自适应巡航控制(Adaptive Cruise Control，ACC)功能时，通过该采集图像的方法获取车辆周围的图像，以控制车辆的运动状态，等等。类似的，本说明书提供的上述采集图像的方法也可应用于视屏监控、无人机，无人驾驶货轮等需要通过一个或多个摄像头进行图像采集的设备，以通过上述采集图像的方法，对图像数据进行处理，以相应实现设备的部分功能。

以上为本说明书的一个或多个实施例提供的采集图像的方法，基于同样的思路，本说明书还提供了相应的采集图像的装置，如图8所示。

图8为本说明书提供的一种采集图像的装置示意图，该装置包括：数据包确定模块、数量确定模块、图像宽度确定模块、图像高度确定模块、采集模式确定模块，图像采集模块，其中：

数据包确定模块201，用于根据前端设备发送的串行图像数据，确定各帧内数据包以及各帧间数据包，其中，单个所述帧内数据包中包括所述前端设备采集的单帧图像的一行图像数据，所述帧间数据包用于标识一帧图像数据的开始或结束.

数量确定模块202，用于根据所述帧间数据包，确定所述前端设备输出的单帧图像对应的所有帧内数据包。

图像宽度确定模块203，用于确定所述前端设备采集图像的图像格式，并根据所述单帧图像对应的帧内数据包的数据量以及所述图像格式，确定所述单帧图像的图像宽度。

图像高度确定模块204，用于根据所述单帧图像对应的所有帧内数据包的数量，确定所述单帧图像的图像高度。

采集模式确定模块205，用于根据所述图像宽度以及所述图像高度，确定所述单帧图像的输出分辨率，并根据所述输出分辨率以及所述单帧图像的原始分辨率，对所述单帧图像对应的所有帧内数据包进行处理，确定所述前端设备采集的图像并发送到后端设备。

可选地，所述数据包确定模块201，接收前端设备发送的串行图像数据，根据预设的输出协议，将所述串行图像数据进行解串，根据同步信号，确定解串后的数据中的各数据包，根据解串得到所述各数据包的顺序以及所述各数据包的内容，确定各帧内数据包以及各帧间数据包。可选地，所述数据包确定模块201，通过不同的数据通道分别接收各前端设备传输的串行图像数据，针对每个数据通道，根据前端设备通过该数据通道发送的串行图像数据，确定各帧内数据包以及各帧间数据包，所述串行图像数据中携带有发送所述串行图像数据的前端设备的设备标识。

可选地，所述图像宽度确定模块203，根据所述单帧图像对应的帧内数据包中的头部信息，确定所述帧内数据包的数据量，根据确定出的数据量以及所述图像格式，确定所述单帧图像的图像宽度，其中，所述前端设备采集图像的图像格式包括：预设的单像素字节数、预设的像素深度以及预设的并行度。

可选地，所述采集模式确定模块205，判断所述单帧图像的图像宽度是否等于原始分辨率的图像宽度，以及所述单帧图像的图像高度是否等于原始分辨率的图像高度，若判断结果均为是，则以一个帧内数据包对应一行图像，对所述单帧图像进行采集，若任一判断结果为否，则根据所述原始分辨率，对所述单帧图像进行处理，确定至少一帧图像数据进行采集。

可选地，当所述单帧图像的图像宽度等于原始分辨率的图像宽度，且所述单帧图像的图像高度与原始分辨率的图像高度成预设倍数关系，则根据所述单帧图像中的奇数行图像，确定一帧图像数据进行采集，根据所述单帧图像中的偶数行图像，确定一帧图像数据进行采集，当所述单帧图像的图像高度等于原始分辨率的图像宽度，且所述单帧图像的图像高度与原始分辨率的图像宽度成预设倍数关系，则根据所述单帧图像中每行图像中的前半行图像，确定一帧图像数据进行采集，根据每行图像中的后半行图像，确定一帧图像数据进行采集，当所述单帧图像的图像高度大于原始分辨率的图像高度，图像宽度也大于原始分辨率的图像宽度，按照所述原始分辨率，将所述单帧图像指定区域的图像，作为一帧图像进行采集。

可选地，当所述单帧图像的图像高度小于原始分辨率的图像高度，或图像宽度小于原始分辨率的图像宽度，则不根据所述单帧图像进行图像采集。本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图2提供的采集图像的方法。

本说明书还提供了图9所示的电子设备的结构示意图。如图9所示，在硬件层面，该电子设备包括处理器、内部总线以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图2提供的采集图像的方法。

当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种采集图像的方法，其特征在于，所述方法具体包括：

根据前端设备发送的串行图像数据，确定各帧内数据包以及各帧间数据包，其中，单个所述帧内数据包中包括所述前端设备采集的单帧图像的一行图像数据，所述帧间数据包用于标识一帧图像数据的开始或结束；

根据所述帧间数据包，确定所述前端设备输出的单帧图像对应的所有帧内数据包；

确定所述前端设备采集图像的图像格式，并根据所述单帧图像对应的帧内数据包的数据量以及所述图像格式，确定所述单帧图像的图像宽度；

根据所述单帧图像对应的所有帧内数据包的数量，确定所述单帧图像的图像高度；

根据所述图像宽度以及所述图像高度，确定所述单帧图像的输出分辨率，并根据所述输出分辨率以及所述单帧图像的原始分辨率，对所述单帧图像对应的所有帧内数据包进行处理，确定所述前端设备采集的图像并发送到后端设备。

2.如权利要求1所述的方法，其特征在于，根据前端设备发送的串行图像数据，确定各帧内数据包以及各帧间数据包，具体包括：

接收前端设备发送的串行图像数据，根据预设的输出协议，将所述串行图像数据进行解串；

根据同步信号，确定解串后的数据中的各数据包；

根据解串得到所述各数据包的顺序以及所述各数据包的内容，确定各帧内数据包以及各帧间数据包。

3.如权利要求1所述的方法，其特征在于，所述前端设备有多个；

根据前端设备发送的串行图像数据，确定各帧内数据包以及各帧间数据包，具体包括：

通过不同的数据通道分别接收各前端设备传输的串行图像数据；

针对每个数据通道，根据前端设备通过该数据通道发送的串行图像数据，确定各帧内数据包以及各帧间数据包，所述串行图像数据中携带有发送所述串行图像数据的前端设备的设备标识。

4.如权利要求1所述的方法，其特征在于，根据所述单帧图像对应的帧内数据包的数据量以及所述图像格式，确定所述单帧图像的图像宽度，具体包括：

根据所述单帧图像对应的帧内数据包中的头部信息，确定所述帧内数据包的数据量；

根据确定出的数据量以及所述图像格式，确定所述单帧图像的图像宽度；

其中，所述前端设备采集图像的图像格式包括：预设的单像素字节数、预设的像素深度以及预设的并行度。

5.如权利要求1所述的方法，其特征在于，根据所述输出分辨率以及所述单帧图像的原始分辨率，对所述单帧图像对应的所有帧内数据包进行处理，确定所述前端设备采集的图像，具体包括：

判断所述单帧图像的图像宽度是否等于原始分辨率的图像宽度，以及所述单帧图像的图像高度是否等于原始分辨率的图像高度；

若判断结果均为是，则以一个帧内数据包对应一行图像，对所述单帧图像进行采集；

若任一判断结果为否，则根据所述原始分辨率，对所述单帧图像进行处理，确定至少一帧图像数据进行采集。

6.如权利要求5所述的方法，其特征在于，根据所述原始分辨率，对所述单帧图像进行处理，确定至少一帧图像数据进行采集，具体包括：

当所述单帧图像的图像宽度等于原始分辨率的图像宽度，且所述单帧图像的图像高度与原始分辨率的图像高度成预设倍数关系，则根据所述单帧图像中的奇数行图像，确定一帧图像数据进行采集，根据所述单帧图像中的偶数行图像，确定一帧图像数据进行采集；

当所述单帧图像的图像高度等于原始分辨率的图像高度，且所述单帧图像的图像宽度与原始分辨率的图像宽度成预设倍数关系，则根据所述单帧图像中每行图像中的前半行图像，确定一帧图像数据进行采集，根据每行图像中的后半行图像，确定一帧图像数据进行采集；

当所述单帧图像的图像高度大于原始分辨率的图像高度，图像宽度也大于原始分辨率的图像宽度，按照所述原始分辨率，将所述单帧图像指定区域的图像，作为一帧图像进行采集。

7.如权利要求5所述的方法，其特征在于，所述方法还包括：

当所述单帧图像的图像高度小于原始分辨率的图像高度，或图像宽度小于原始分辨率的图像宽度，则不根据所述单帧图像进行图像采集。

8.一种采集图像的装置，其特征在于，所述装置具体包括：

数据包确定模块，用于根据前端设备发送的串行图像数据，确定各帧内数据包以及各帧间数据包，其中，单个所述帧内数据包中包括所述前端设备采集的单帧图像的一行图像数据，所述帧间数据包用于标识一帧图像数据的开始或结束；

数量确定模块，用于根据所述帧间数据包，确定所述前端设备输出的单帧图像对应的所有帧内数据包；

图像宽度确定模块，用于确定所述前端设备采集图像的图像格式，并根据所述单帧图像对应的帧内数据包的数据量以及所述图像格式，确定所述单帧图像的图像宽度；

图像高度确定模块，用于根据所述单帧图像对应的所有帧内数据包的数量，确定所述单帧图像的图像高度；

图像采集模块，用于根据所述图像宽度以及所述图像高度，确定所述单帧图像的输出分辨率，并根据所述输出分辨率以及所述单帧图像的原始分辨率，对所述单帧图像对应的所有帧内数据包进行处理，确定所述前端设备采集的图像并发送到后端设备。

9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～7任一项所述的方法。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～7任一项所述的方法。

Images