CN109167923A - 图像传输方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种图像传输方法、装置、电子设备和存储介质。其中方法包括：获取图像传感器采集的图像序列，并将图像序列中的多帧图像分割为一个或者多个帧组，然后，确定每个帧组中的参考帧图像，并计算帧组中相邻两帧图像之间的差值，以及根据分组顺序，将每个帧组的参考帧图像以及相邻两帧图像之间的差值依次发送给应用程序处理器。由此，将部分图像进行帧间差传输，减少了传输的数据量，减少了传输带宽，降低了传输所使用的功耗。

Description

图像传输方法、装置、电子设备和存储介质

技术领域

本申请涉及图像技术领域，尤其涉及一种图像传输方法、装置、电子设备和存储介质。

背景技术

随着移动终端技术的不断发展，移动终端所具备的功能也越来越多样化，其中拍照功能已成为移动终端的基本功能之一。目前，移动终端中的摄像头模组与移动终端中的应用处理器(Application Processor，简称AP)之间一般是传输原始图像，然后，AP根据原始图像得到目标图像。

然而，在需要多帧原始图像合成目标图像的场景(例如，通过移动终端拍摄高动态范围图像(High-Dynamic Range，简称HDR)或者全景图像中)，或者视频场景中，此时，摄像头模组需要将每一帧原始图像发送给AP。其中，每帧原始图像中的数量是由于像素数量乘以每个像素的位数组成。例如1200w像素的摄像头，传输一帧原始图像，每个像素有12B位，一个字节8B，那12B＝1.5字节，传输该帧原始图像的总数据量1200x1.5＝8M。这样，在需要向AP传输多帧原始图像时，向AP传输每一帧原始图像，使得摄像头模组与AP之间的数据传输量大，所需要的功耗较大。

发明内容

本申请的目的旨在至少在一定程度上解决上述的技术问题之一。

为此，本申请的第一个目的在于提出一种图像传输方法。该方法通过将部分图像进行帧间差传输，减少了传输的数据量，减少了传输带宽，降低了传输所使用的功耗。

本申请的第二个目的在于提出一种图像传输装置。

本申请的第三个目的在于提出一种电子设备。

本申请的第四个目的在于提出一种计算机可读存储介质。

本申请的第五个目的在于提出一种计算机程序产品。

为达到上述目的，本申请第一方面实施例提出的图像传输方法，包括：获取图像传感器采集的图像序列，所述图像序列包括按时间顺序排列的多帧图像；将所述图像序列中的所述多帧图像分割为一个或者多个帧组；确定每个所述帧组中的参考帧图像，并计算所述帧组中相邻两帧图像之间的差值；根据分组顺序，将每个所述帧组的所述参考帧图像以及所述相邻两帧图像之间的差值依次发送给应用程序处理器。

为达到上述目的，本申请第二方面实施例提出的图像传输装置，包括：获取模块，用于获取图像传感器采集的图像序列，所述图像序列包括按时间顺序排列的多帧图像；分组模块，用于将所述图像序列中的所述多帧图像分割为一个或者多个帧组；确定模块，用于确定每个所述帧组中的参考帧图像，并计算所述帧组中相邻两帧图像之间的差值；发送模块，用于根据分组顺序，将每个所述帧组的所述参考帧图像以及所述相邻两帧图像之间的差值依次发送给应用程序处理器。

为达到上述目的，本申请第三方面实施例提出的电子设备，包括摄像头模组和应用处理器，所述摄像头模组包括图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现本申请第一方面实施例的图像传输方法。

为达到上述目的，本申请第四方面实施例提出的非临时性计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本申请第一方面实施例所述的图像传输方法。

本申请第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行本申请第一方面实施例所述的图像传输方法。

根据本申请实施例的图像传输方法、装置和电子设备，获取图像传感器采集的图像序列，并将图像序列中的多帧图像分割为一个或者多个帧组，然后，确定每个帧组中的参考帧图像，并计算帧组中相邻两帧图像之间的差值，以及根据分组顺序，将每个帧组的参考帧图像以及相邻两帧图像之间的差值依次发送给应用程序处理器。由此，通过将部分图像进行帧间差传输，减少了传输的数据量，减少了传输带宽，降低了传输所使用的功耗。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本申请一个实施例的图像传输方法的流程图；

图2是根据相邻两帧图像之间的相似度，将图像序列中的多帧图像分割为一个或者多个帧组的细化流程图；

图3是摄像头模组端与AP端传输图像数据的示例图；

图4是根据本申请一个实施例的图像传输装置的结构示意图；

图5是根据本申请一个实施例的电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的图像传输方法、装置、电子设备和存储介质。

图1是根据本申请一个实施例的图像传输方法的流程图。

如图1所示，该图像传输方法可以包括：

步骤101，获取图像传感器采集的图像序列，图像序列包括按时间顺序排列的多帧图像。

其中，需要理解的是，该图像传输方法应用在图像传输装置中，该图像传输装置位于摄像头模组端。

其中，摄像头模组端位于电子设备中，例如，电子设备可以为移动终端、便携式设备、平板电脑等。

作为一种示例性的实施方式，获取图像传感器采集的图像序列，可以包括：获取图像传感器顺序采集的多帧图像；每当获取一帧图像，将获取的一帧图像存储在缓存中，以在缓存中生成图像序列。由此，将图像传感器所采集的每帧图像进行缓存，方便后续基于缓存中的图像序列中的每帧图像进行后续处理。

步骤102，将图像序列中的多帧图像分割为一个或者多个帧组。

其中，需要理解的是，每个帧组中的帧图像的数量可以相同，也可以不同。

作为一种示例性的实施方式，为了进一步降低摄像头模组与AP之间的数据传输量，对于每个帧组，每个帧组中的第一帧图像和最后一帧图像之间的相似度大于零。

其中，需要理解的是，在不同应用场景中，将图像序列中的多帧图像分割为一个或者多个帧组的方式不同，举例说明如下：

作为一种示例，可将图像序列中的多帧图像以N帧为组进行分割，以得到一个或者多个帧组，其中，N为大于或者等于2的正整数。

其中，需要说明的是，在通过图像传感器采集图像序列的过程中，通常短时间内相邻两帧图像之间存在一定的相似性，作为一种示例性的实施方式，在可将图像序列中的多帧图像以N帧为组进行分割，以得到一个或者多个帧组之前，还可以获取图像传感器采集的历史图像序列，并对历史图像序列中所有相邻两帧图像之间的相似性进行分析，并根据分析结果，确定N的取值。

例如，N为3，假设图像序列包括5帧图像，分别为1、2、3、4、5帧图像，在获取上述图像序列后，可将1-3帧图像分为一个帧组A，4和5帧图像分为帧组B。

作为另一种示例，根据相邻两帧图像之间的相似度，将图像序列中的多帧图像分割为一个或者多个帧组。

其中，根据相邻两帧图像之间的相似度，将图像序列中的多帧图像分割为一个或者多个帧组的过程，如图2所示，可以包括：

步骤201，针对图像序列中的每帧图像，计算相邻两帧图像之间的相似度。

步骤202，如果相邻两帧图像之间的相似度大于预设阈值，则将相邻的两帧图像划分到同一个帧组中。

其中，预设阈值是预先设置的两帧图像之间的相似度的阈值。

步骤203，如果相邻两帧图像之间的相似度小于或者等于预设阈值，则将相邻的两帧图像划分到不同的帧组中。

例如，预设阈值为50％，假设图像序列中包括4帧图像，分别用1-4帧图像表示，对于图像序列中的每帧图像，可先计算第1帧图像与第2帧图像之间的相似度，如果第1帧图像和第2帧图像之间的相似度大于50％，则确定第1帧图像和第2帧图像属于同一个帧组A，然后，计算第2帧图像和第3帧图像之间的相似度，如果第2帧图像和第3帧图像之间的相似度大于50％，则确定第3帧图像同样属于帧组A，然后，继续计算第3帧图像和第4帧图像之间的相似度，如果第3帧图像和第4帧图像之间的相似度小于50％，则将第4帧图像划分到另一个帧组B中。

步骤103，确定每个帧组中的参考帧图像，并计算帧组中相邻两帧图像之间的差值。

其中，需要理解的是，在不同应用场景中，确定每个帧组中的参考帧图像的方式不同，例如，可将每个帧组中的任意一个帧图像作为参考帧图像，又例如，可将每个帧组中的中间帧作为参考帧图像，又例如，为了方便后续AP快速得到每个帧组中的每帧图像，可将每个帧组中的第一帧图像作为参考帧图像。

其中，需要说明的是，该实施例以每个帧组中将第一帧图像作为参考帧图像为例进行描述。

步骤104，根据分组顺序，将每个帧组的参考帧图像以及相邻两帧图像之间的差值依次发送给应用程序处理器。

举例而言，例如，图像序列中包括6帧图像，并将6帧图像划分为两个帧组，分别为帧组A和帧组B，对于帧组A，第1帧图像为参考帧图像、第1帧图像和第2帧图像之间的差值帧1，第3帧图像与第4帧图像之间的差值帧2；对于帧组B，第4帧图像为参考帧图像、第4帧图像和第5帧图像之间的差值帧3，第5帧图像和第6帧图像之间的差值帧4。假设利用MIPI接口向AP传输图像数据，由于MIPI接口为串行接口，因此，在通过MIPI接口向AP传输图像数据时，图像数据传输的先后顺序为：第一帧图像、差值帧1、差值帧2、第四帧图像、差值帧3、差值帧4。其中，需要理解的是，为了方便AP可确定每帧图像对应的分组，在传输图像数据时，向AP传输具有分组标识的图像数据。对应地，AP在接收到图像数据时，为了提高显示的实时性，在接收到第一帧图像时，可显示第一帧图像。对应地，在接收到差值帧1时，可根据第一帧图像和差值帧1进行解码计算，以得到完整的第二帧图像。在接收到差值帧2时，根据第2帧图像和差值帧2进行解码计算，得到完整的第三帧图像。对应地，在接收到第4帧，可显示第四帧图像。对应地，在接收到差值帧3时，可根据第4帧图像和差值帧3进行解码计算，以得到完整的第5帧图像。对应地，在接收到差值帧4时，可根据第4帧图像和差帧4进行解码计算，以得到完整的第6帧图像。由此，通过参考帧图像和差值帧穿插传输，从而在保证传输效率的同时，提高了显示的实时性。其中，摄像头模组端与AP端传输图像数据的示例图，如图3所示。

又例如，在图像传感器采集当前帧图像后，可判断当前帧图像是否为图像传感器所采集的第i帧或者第N*M+i帧图像，其中，N为大于或者等于2的正整数，M为大于或者等于1的正整数。如果确定当前帧图像为图像传感器采集的第i帧或者第N*M+i帧图像，则直接将当前帧图像传输给AP，如果确定当前帧图像不为图像传感器所采集的第i帧或者第N*M+i帧图像，从缓存中获取当前帧图像的上一帧图像，并根据上一帧图像与当前帧图像之间的差值，以得到当前帧图像对应的差值帧，并将差值帧发送给AP。对应地，AP端在接收到差值帧后，可根据所确定的上一帧图像和差值帧进行解码，以得到当前帧图像。由此，通过将两帧图像之间的差值帧发送给AP，减少了图像数据传输量，降低了传输图像数据所需要的功耗，进一步而言，可提高电子设备的续航时长。

本申请实施例的图像传输方法，获取图像传感器采集的图像序列，并将图像序列中的多帧图像分割为一个或者多个帧组，然后，确定每个帧组中的参考帧图像，并计算帧组中相邻两帧图像之间的差值，以及根据分组顺序，将每个帧组的参考帧图像以及相邻两帧图像之间的差值依次发送给应用程序处理器。由此，通过在图像数据传输过程中将部分图像进行帧间差传输，减少了传输的数据量，减少了传输带宽，降低了传输所使用的功耗。

与上述几种实施例提供的图像传输方法相对应，本申请的一种实施例还提供一种图像传输装置，由于本申请实施例提供的图像传输装置与上述几种实施例提供的图像传输方法相对应，因此在前述图像传输方法的实施方式也适用于本实施例提供的图像传输装置，在本实施例中不再详细描述。

图4是根据本申请一个实施例的图像传输装置的结构示意图。

如图4所示，该图像传输装置可以包括获取模块110、分组模块120、确定模块130和发送模块140，其中：

获取模块110，用于获取图像传感器采集的图像序列，图像序列包括按时间顺序排列的多帧图像。

分组模块120，用于将图像序列中的多帧图像分割为一个或者多个帧组。

确定模块130，用于确定每个帧组中的参考帧图像，并计算帧组中相邻两帧图像之间的差值。

发送模块140，用于根据分组顺序，将每个帧组的参考帧图像以及相邻两帧图像之间的差值依次发送给应用程序处理器。

在本申请的一个实施例中，确定模块130，具体用于：将每个帧组中的第一帧图像作为参考帧图像。

在本申请的一个实施例中，分组模块120，具体用于：将图像序列中的多帧图像以N帧为组进行分割，以得到一个或者多个帧组，其中，N为大于或者等于2的正整数。

其中，N是根据短时间内相邻帧图像之间的相似性预先预定的。

其中，需要说明的是，在通过图像传感器采集图像序列的过程中，通常短时间内相邻两帧图像之间存在一定的相似性，作为一种示例性的实施方式，在可将图像序列中的多帧图像以N帧为组进行分割，以得到一个或者多个帧组之前，还可以获取图像传感器采集的历史图像序列，并对历史图像序列中所有相邻两帧图像之间的相似性进行分析，并根据分析结果，确定N的取值。

在本申请的另一个实施例中，分组模块120，具体用于：根据相邻两帧图像之间的相似度，将图像序列中的多帧图像分割为一个或者多个帧组。

作为一种示例性的实施方式，为了进一步降低摄像头模组与AP之间的数据传输量，对于每个帧组，每个帧组中的第一帧图像和最后一帧图像之间的相似度大于零。

在本申请的一个实施例中，分组模块120，具体用于：针对图像序列中的每帧图像，计算相邻两帧图像之间的相似度；如果相邻两帧图像之间的相似度大于预设阈值，则将相邻的两帧图像划分到同一个帧组中；如果相邻两帧图像之间的相似度小于或者等于预设阈值，则将相邻的两帧图像划分到不同的帧组中。

在本申请的一个实施例中，获取模块110，具体用于：获取图像传感器顺序采集的多帧图像；每当获取一帧图像，将获取的一帧图像存储在缓存中，以在缓存中生成图像序列。

根据本申请实施例的图像传输装置，获取图像传感器采集的图像序列，并将图像序列中的多帧图像分割为一个或者多个帧组，然后，确定每个帧组中的参考帧图像，并计算帧组中相邻两帧图像之间的差值，以及根据分组顺序，将每个帧组的参考帧图像以及相邻两帧图像之间的差值依次发送给应用程序处理器。由此，通过在图像数据传输过程中将部分图像进行帧间差传输，减少了传输的数据量，减少了传输带宽，降低了传输所使用的功耗。

为了实现上述实施例，本申请还提出了一种电子设备。

图5是根据本申请一个实施例的电子设备的结构示意图。

如图5所示，该电子设备5可以包括：摄像头模组10和应用处理器20，摄像头模组10可以包括图像传感器100、存储器101、处理器102及存储在存储器101上并可在处理器102上运行的计算机程序103，处理器102执行计算机程序103时，实现本申请上述任一个实施例的图像传输方法。

其中，需要说明的是，摄像头模组10与应用处理器20之间可通过接口连接。

为了实现上述实施例，本申请还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现本申请上述任一个实施例的图像传输方法。

在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

1.一种图像传输方法，其特征在于，包括：

获取图像传感器采集的图像序列，所述图像序列包括按时间顺序排列的多帧图像；

将所述图像序列中的所述多帧图像分割为一个或者多个帧组；

确定每个所述帧组中的参考帧图像，并计算所述帧组中相邻两帧图像之间的差值；

根据分组顺序，将每个所述帧组的所述参考帧图像以及所述相邻两帧图像之间的差值依次发送给应用程序处理器。

2.根据权利要求1所述的方法，其特征在于，所述确定每个所述帧组中的参考帧图像，包括：

将每个所述帧组中的第一帧图像作为所述参考帧图像。

3.根据权利要求1所述的方法，其特征在于，所述将所述图像序列中的多帧图像分割为一个或者多个帧组，包括：

将所述图像序列中的所述多帧图像以N帧为组进行分割，以得到一个或者多个帧组，其中，N为大于或者等于2的正整数；或者，

根据相邻两帧图像之间的相似度，将所述图像序列中的所述多帧图像分割为一个或者多个帧组。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述帧组中的第一帧图像与最后一帧图像之间的相似度大于零。

5.根据权利要求2所述的方法，其特征在于，所述根据相邻两帧图像之间的相似度，将所述图像序列中的所述多帧图像分割为一个或者多个帧组，包括：

针对所述图像序列中的每帧图像，计算相邻两帧图像之间的相似度；

如果相邻两帧图像之间的相似度大于预设阈值，则将相邻的两帧图像划分到同一个帧组中；

如果相邻两帧图像之间的相似度小于或者等于预设阈值，则将相邻的两帧图像划分到不同的帧组中。

6.根据权利要求1-3任一项所述的方法，其特征在于，所述获取图像传感器采集的图像序列，包括：

获取所述图像传感器顺序采集的多帧图像；

每当获取一帧图像，将获取的一帧图像存储在缓存中，以在所述缓存中生成所述图像序列。

7.一种图像传输装置，其特征在于，包括：

获取模块，用于获取图像传感器采集的图像序列，所述图像序列包括按时间顺序排列的多帧图像；

分组模块，用于将所述图像序列中的所述多帧图像分割为一个或者多个帧组；

确定模块，用于确定每个所述帧组中的参考帧图像，并计算所述帧组中相邻两帧图像之间的差值；

发送模块，用于根据分组顺序，将每个所述帧组的所述参考帧图像以及所述相邻两帧图像之间的差值依次发送给应用程序处理器。

8.根据权利要求7所述的装置，其特征在于，所述确定模块，具体用于：

将每个所述帧组中的第一帧图像作为所述参考帧图像。

9.根据权利要求7所述的装置，其特征在于，所述分组模块，具体用于：

将所述图像序列中的所述多帧图像以N帧为组进行分割，以得到一个或者多个帧组，其中，N为大于或者等于2的正整数；或者，

根据相邻两帧图像之间的相似度，将所述图像序列中的所述多帧图像分割为一个或者多个帧组。

10.根据权利要求7-9任一项所述的装置，其特征在于，所述帧组中的第一帧图像与最后一帧图像之间的相似度大于零。

11.根据权利要求8所述的装置，其特征在于，所述分组模块，具体用于：

针对所述图像序列中的每帧图像，计算相邻两帧图像之间的相似度；

如果相邻两帧图像之间的相似度大于预设阈值，则将相邻的两帧图像划分到同一个帧组中；

如果相邻两帧图像之间的相似度小于或者等于预设阈值，则将相邻的两帧图像划分到不同的帧组中。

12.根据权利要求7-9任一项所述的装置，其特征在于，所述获取模块，具体用于：

获取所述图像传感器顺序采集的多帧图像；

每当获取一帧图像，将获取的一帧图像存储在缓存中，以在所述缓存中生成所述图像序列。

13.一种电子设备，其特征在于，包括：摄像头模组和应用处理器，所述摄像头模组包括图像传感器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1至6中任一项所述的图像传输方法。

14.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至6中任一项所述的图像传输方法。