CN117177079B

CN117177079B - 图像合成方法、计算机装置及计算机可读存储介质

Info

Publication number: CN117177079B
Application number: CN202311443356.8A
Authority: CN
Inventors: 郑国立; 魏南金
Original assignee: Zhuhai Hongxin Technology Co ltd
Current assignee: Zhuhai Hongxin Technology Co ltd
Priority date: 2023-11-02
Filing date: 2023-11-02
Publication date: 2024-03-01
Anticipated expiration: 2043-11-02
Also published as: CN117177079A

Abstract

本发明提供一种图像合成方法、计算机装置及计算机可读存储介质，该方法包括获取多个图像源所输出的初始图像数据；判断从任一个图像源所获取的初始图像数据是否到达预设数据量，如是，则将目标初始图像数据传送至图像压缩装置，由图像压缩装置对目标初始图像数据进行压缩，获得目标初始图像数据对应的分块压缩数据，并生成分块压缩数据对应的DRI信息；根据输出图像的属性要求，将各个分块压缩数据对应的DRI信息按照预设顺序进行排列，形成输出图像的DRI信息链表；各图像源均输出一帧图像后，按照DRI信息链表读取各分块压缩数据。本发明还提供实现上述方法的计算机装置及计算机可读存储介质。本发明能够减少占用的内存资源并提高图像合成的实时性。

Description

图像合成方法、计算机装置及计算机可读存储介质

技术领域

本发明涉及图像处理的技术领域，具体地，是一种可以图像合成方法以及实现这种方法的计算机装置、计算机可读存储介质。

背景技术

现有的一些图像显示装置需要显示从多个不同的图像源所获取的图像数据，例如从多个不同的摄像头获取初始图像数据，并且将多个摄像头的初始图像数据进行合成后输出。由于从摄像头中获取的初始图像数据是未经压缩的图像数据，在图像合成后，如果不对图像数据进行压缩，将导致合并后的图像的数据量非常大，因此，通常需要将初始图像数据进行压缩。目前，常见的图像压缩装置是MJPEG图像压缩装置，这种图像压缩装置是利用标准图像压缩技术(JPEG/MJPEG)来减小图像的数据量。

为了减少图像显示装置的硬件成本，通常使用一个MJPEG图像压缩装置对多个不同摄像头的所输出的初始图像数据进行压缩、合成。现有的处理方式是将不同图像源的初始图像数据在编码压缩前进行拼接合成为一张数据量大、完整的未编码压缩的图像，然后再使用图像压缩装置对合成后的整张图像进行压缩。然而，现有的这种方法需要内存缓存合成图像的完整一帧图像的初始图像数据，内存中需要存储的数据量较大。

假设需要将两个摄像头的初始图像数据合成一张图像，每一个摄像头的分辨率都是1280×720，也就是每一个摄像头所输出的初始图像数据中，一帧图像具有1280×720个像素点，图像压缩装置需要将两帧分辨率是1280×720的图像合成一张分辨率是2560×720的图像。假设初始图像数据采用YUV420的方式进行采样，也就是每4个像素点对Y采样4次，对奇数行的像素点采样1次Cb，对偶数行的像素点采样1次Cr，数据采样结构如图1所示。

现有的图像合成方法中，在进行两帧分辨率为1280×720的初始图像数据压缩合成时，需要将两帧初始图像数据均缓存到内存中，并且在内存中进行图像拼接，形成一张完成的图像后，再使用图像压缩装置进行压缩。

由于YUV420的方式中，一个像素点所需要占用的内存大小是1.5bytes，因此，缓存两帧分辨率1280×720的初始图像数据需要的内存空间是1280×720×1.5×2=2764800bytes=2.63Mbytes。可见，现有的图像合成方法需要占用较大的内存资源。

例如，公开号为CN105072342B的中国发明专利公开了一种图像合成方法，该方法是将多张图像进行合成并进行缩放等处理，但该合成方法是将具有层叠关系的图像进行合成，也就是多张图像之间是存在覆盖、遮挡的关系，并不是实现图像的拼接，因此该合成方法并不会增加图像的像素点的数量。此外，该方法需要图像源获取单元接收多张图像源，实际上每一张图像源都是一张完整的需要处理的图像，也就是一帧图像，这些图像源需要被存储在缓存器中，因此，在图像合成之前，该方法需要将大量的图像数据缓存到缓存器中，因此，导致缓存器中存储大量待处理的图像数据，占用大量的存储资源。

另外，现有的图像合成方法需要在每一个摄像头均输出完整一帧图像后才能够进行图像合成、压缩，如果某一个摄像头所输出的初始图像数据存在延时的情况，则将导致图像合成的时间较长，导致图像合成、压缩的实时性降低。

发明内容

本发明的第一目的是提供一种能够减少占用的内存资源并提高图像合成效率的图像合成方法。

本发明的第二目的是提供一种实现上述图像合成方法的计算机装置。

本发明的第三目的是提供一种实现上述图像合成方法的计算机可读存储介质。

为实现本发明的第一目的，本发明提供的图像合成方法包括获取二个以上的图像源所输出的初始图像数据；判断从任一个图像源所获取的初始图像数据是否到达预设数据量，如从一个图像源所获取的初始图像数据到达预设数据量，则将到达预设数据量的目标初始图像数据传送至图像压缩装置，由图像压缩装置对目标初始图像数据进行压缩，获得目标初始图像数据对应的分块压缩数据，并生成分块压缩数据对应的DRI信息；根据输出图像的属性要求，将各个分块压缩数据对应的DRI信息按照预设顺序进行排列，形成输出图像的DRI信息链表；各图像源均输出一帧图像后，按照DRI信息链表读取各分块压缩数据，形成合成后的输出图像；其中，预设数据量为初始图像数据中，在图像的行方向上一行像素点的所有最小编码单元的集合的数据量，且预设数据量小于图像源生成的一帧图像的数据量。

由上述方案可见，在每一个图像源输出的初始图像数据到达一定的数据量后，即由数据压缩装置对一定数据量的初始图像数据进行压缩，因此，内存针对一个图像源，只需要存储预设数据量的初始图像数据即可，不需要缓存完整的两帧图像并合成以后才进行图像压缩处理。这样，内存需要缓存的数据量大幅度减少，能够减少图像合成过程中所占用的内存资源。

另外，在图像源还没有输出完整一帧图像前，图像压缩装置就已经开始进行图像压缩处理，在多个图像源均输出完整一帧图像后，随即可以按照DRI信息链表对分块压缩数据进行组织并形成合成后的输出图像。这样，不需要在多个图像源均输出完整一帧图像数据以后才开始图像压缩的操作，可以提高合成图像输出的实时性。

并且，由于在图像的行方向上一行像素点的所有最小编码单元的集合是一个MCU行的数据，内存每次将一个MCU行的数据发送至图像压缩装置进行图像压缩处理，能够使得图像压缩处理的效率最高，且占用的内存空间较小。

进一步的方案是，将各个分块压缩数据对应的DRI信息按照预设顺序进行排列包括：各图像源对应的分块压缩数据对应的DRI信息在DRI信息链表中交错排布。

由于输出的JPEG图像中，多个图像源的数据是交错的布置在JPEG图像中，因此，组织DRI信息链表的时候，以交错的方式将不同图像源的分块压缩数据的DRI信息进行布置，在读取图像的时候，只需要按照DRI信息链表读取分块压缩数据即可以获得输出图像。这样，可以提高输出合成图像的效率，提高图像输出的实时性。

更进一步的方案是，DRI信息包括对应的分块压缩数据在内存中的地址信息和长度信息。

由此可见，每一分块压缩数据均有对应的DRI信息，且每一组DRI信息均包含有分块压缩数据的地址以及长度信息，在输出合成数据的时候，可以快速的通过DRI信息获取相应的分块压缩数据。

更进一步的方案是，各图像源分别向内存写入所获取的初始图像数据。

这样，内存将分别存储各个图像源所获取的初始图像数据，并分别计算各个图像源所获取的初始图像数据是否到达预设的数据量，一旦到达预设的数据量，随即对目标初始图像数据进行压缩处理，内存所存储的数据量较少。

更进一步的方案是，图像压缩装置对目标初始图像数据进行压缩后，删除存储到内存中的目标初始图像数据。

由此可见，一旦内存所存储的初始图像数据被压缩，则随即删除已经压缩的初始图像数据，避免内存存储大量初始图像数据而导致占用大量的内存空间。

更进一步的方案是，内存同一时间仅存储一个图像源的一组目标初始图像数据。

更进一步的方案是，图像压缩装置以时分复用的方式对图像源的目标初始图像数据进行压缩。

可见，仅仅需要一个图像压缩装置即可以对多个不同的图像源的初始图像数据进行压缩，图像显示装置不需要设置多个不同的图像压缩装置，可以降低图像显示装置的生产成本。

为实现上述的第二目的，本发明提供的计算机装置包括处理器以及存储器，存储器存储有计算机程序，计算机程序被处理器执行时实现上述的图像合成方法的各个步骤。

为实现上述的第三目的，本发明提供计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的图像合成方法的各个步骤。

附图说明

图1是图像数据的存储示意图。

图2是本发明图像合成方法实施例的流程图。

图3是本发明图像合成方法实施例中DRI信息链表的示意图。

以下结合附图及实施例对本发明作进一步说明。

具体实施方式

本发明的图像合成方法用于对多个图像源输出的初始图像数据进行压缩、合成。其中，图像源可以是摄像头等用于采集图像的装置，不同的图像源所输出的初始图像数据的分辨率可以相同，也可以不同。本发明的图像合成方法是将多张图像进行合并，合成后的图像的像素点应该是各图像源输出的一帧图像的像素点之和。

本发明的方法应用在具有图像显示功能的装置上，例如图像显示装置可以是台式计算机、笔记本电脑等，也可以是智能手机、平板电脑等终端设备，图像显示装置可以设置在计算机装置上。本发明提供的计算机装置具有处理器以及存储器，处理器可以执行计算机程序并实现上述的图像合成方法。

图像合成方法实施例：

本发明的主要构思是应用一个图像压缩装置对多个不同图像源输出的初始图像数据进行压缩，对图像数据进行压缩时，对不同图像源输出的初始图像数据以预设数据量为单位进行分块，以分时复用的方式利用一个图像压缩装置对分压数据进行分块压缩，输出分块压缩数据以及分块压缩数据对应的DRI信息，同时以链表的形式记录这些分块压缩数据在内存中的存储位置。在各图像源均输出完整一帧的初始图像数据后，根据链表信息对分块压缩数据进行内存拼接，完成多个图像源输出的初始图像数据的合成压缩。

下面结合图2对本实施例的方法进行详细说明。首先，执行步骤S1，从多个图像源获取初始图像数据。本实施例中，每一个图像源可以是一个摄像头，各个图像源输出的初始图像数据的分辨率可以相同，也可以不同。例如，本实施例的图像显示装置从两个图像源获取初始图像数据，分别是图像源PIC0和图像源PIC1。优选的，本实施例分别从两个图像源中分别读取初始图像数据，两个图像源输出的初始图像数据均存储在内存中。

然后，执行步骤S2，判断从一个图像源中获取的初始图像数据是否到达预设的数据量。本实施例中，预设数据量是初始图像数据中，在图像的行方向上一行像素点的所有最小编码单元的集合的数据量。例如，本实施例以一个MCU行的数据量作为预设数据量。在Y:Cb：Cr为4:2:0的采样系统中，一个MCU块单元是4个8×8的Y单元块(block)和1个8×8的U/V单元块的集合，一个MCU行是一个图像源的初始图像数据中，在行方向上取所有MCU块的集合。

一种方式是，每个图像源在采集的数据累计到达一个MCU行后，才向图像显示装置输出一次数据，图像显示装置接每次接收一个MCU行的数据，并且将所接收到的MCU行数据写入到内存中。另一种方式是，两个图像源分别向内存写入采集的数据，内存中存储某一个图像源的初始图像数据到达一个MCU行的数据后，马上向图像压缩装置传输一个MCU行的数据。需要说明的是，每一个图像源独立的向内存输出所采集的初始图像数据，初始图像数据是逐渐传输的，如果某一个图像源传送的初始图像数据没有到达一个MCU行，则内存不会向图像压缩装置发送数据，而是继续接收该图像源的初始图像数据，直到累计满一个MCU行的数据。因此，本实施例中，每次写入到内存的数据远少于一帧图像的数据量，也就是本实施例将一帧图像划分为多个分块，每一个分块是一个MCU行的数据，内存每次只需要存储一个MCU行的数据即可，而不需要存储图像源所生成的完整一帧图像，可以减少图像合成过程中占用的存储资源。

因此，在步骤S2中，如果所有的图像源均没有累计到一个MCU行的数据，也就是图像源的初始图像数据没有到达预设数据量，则继续等待，如果到达预设数据量，则执行步骤S3，将达到预设数据量的初始图像数据输出至图像压缩装置。本实施例中，将到达一个MCU行的初始图像数据称为目标初始图像数据，目标初始图像数据也是传送至图像压缩装置的数据。

图像压缩装置接收到目标初始图像数据后，执行步骤S4，对所接收到的目标初始图像数据进行压缩处理，压缩处理后获得分块压缩数据以及该分块压缩数据对应的DRI信息。本实施例所使用的图像压缩装置是标准的图像压缩装置，采用标准图像压缩技术，如JPEG或者MJPEG实现对目标初始图像数据的压缩。

每一个MCU行的目标初始图像数据也被称为分块数据，对一个MCU行的目标初始图像数据进行压缩后，获得的压缩数据称为分块压缩数据。在获得分块压缩数据后，还同时生成该分块压缩数据的DRI信息，本实施例中，DRI信息记录了对应的分块压缩数据在内存中所处的地址信息ADDR和长度信息LENGTH。

生成分块压缩数据后，将分块压缩数据存储到内存中，也就是存储到内存对应的地址ADDR上。并且，执行步骤S5，将各个分块压缩数据对应的DRI信息按照预设的顺序排列形成DRI信息链表。本实施例中，需要按照输出的图像的属性要求对各个分块压缩数据的DRI信息进行排序，例如，针对JPEG格式的图像，两个图像源的初始图像数据需要交错的进行合成，因此，对DRI信息进行排序时，需要对两个图像源的分块压缩数据的DRI信息进行交错的排序。

参见图3，假设第一个图像源PIC0的初始图像数据的各个分块压缩数据对应的DRI信息分别是Dri_info0_00至Dri_info0_79，第二个图像源PIC1的初始图像数据的各个分块压缩数据对应的DRI信息分别是Dri_info1_00至Dri_info1_79，则组织DRI信息链表时，两个图像源的分块压缩数据的DRI信息在DRI信息链表中时交错布置的，即DRI信息链表中，按照Dri_info0_00、Dri_info1_00、Dri_info0_01、Dri_info1_01…的顺序进行排序。

优选的，针对一个图像源，内存同一时间仅仅存储一组目标初始图像数据，也就是最多存储一个MCU行的数据，因此，在图像压缩装置对一个图像源的目标初始图像数据进行压缩后，马上需要删除存储到内存中的已经压缩处理的目标初始图像数据，以避免占用内存空间。这样，在删除已经压缩的初始图像数据后，内存可以继续缓存该图像源新传输过来的初始图像数据。

并且，本实施例仅仅设置一个图像压缩装置，因此，图像压缩装置以时分复用的方式对多个图像源的目标初始图像数据进行压缩，也就是图像压缩装置需要轮流对不同图像源的初始图像数据进行压缩处理。

然后，执行步骤S6，判断各图像源是否均输出完整一帧初始图像数据，如没有，在返回执行步骤S1，继续获取各图像源的初始图像数据，如果步骤S6的判断结果为是，则执行步骤S7，按照DRI信息链表中各个DRI信息读取各个分块压缩数据，并形成合成图像，该合成图像也是需要输出的图像。

本实施例中，针对每一个图像源，读取到内存的初始图像数据仅仅是一个MCU行的数据量，假设图像源的初始图像数据一行有1280个像素点，内存缓存满一个MCU行的数据，即缓存满16行像素点的数据所需要的存储空间是1280×16×1.5×2=61440bytes=61Kbytes。相比起现有的方法需要存储两个图像源各一帧初始图像数据，即需要存储2.63Mbytes的数据，本实施例占用的内存资源非常小，能够减少内存资源的开销，降低图像显示装置的成本。

另外，针对每一个分块压缩数据的DRI信息，本实施例自动的安装图3所示的顺序进行排序，从而形成一个DRI信息链表，而这种排序获得的DRI信息链表正是最终的合成图像时分块压缩数据的排列顺序。因此，在显示合成的图像的时候，只需要按照DRI信息链表中各个DRI信息读取各个分块压缩数据，并且将各个分块压缩数据进行解码并显示即可。这样，不论是PC端显示，还是在图像解码装置中显示，都是按照正常的JPEG图像格式进行解码显示即可，而不需要再执行任何的解压操作。

由于在生成分块压缩数据的时候已经生成了对应的DRI信息，并且同步的将DRI信息按照图3所示的顺序进行排序，因此，对一个MCU行的数据压缩后随即生成DRI信息并且进行排序，由于数据压缩不需要等到接收到完整一帧图像以后才进行，而是每次接收到一个MCU行的数据即进行压缩，对当前MCU行数据进行压缩的时候就可以接收下一个MCU行的初始图像数据，因此可以提升数据接收的图像合成、压缩的效率，由此提升合成图像输出的实时性，有效避免图像显示的卡顿感。

计算机装置实施例：

本实施例的计算机装置可以是台式计算机或者笔记本电脑等，也可以是其他具有图像显示功能的电子设备，例如智能手机、平板电脑等，该计算机装置具有处理器、存储器以及存储在存储器中并可在处理器上运行的计算机程序，例如用于实现上述信息处理方法的信息处理程序，处理器执行计算机程序时实现上述的图像合成方法的各个步骤。

例如，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明的各个模块。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。

本领域技术人员可以理解，本发明的示意图仅仅是终端设备的示例，并不构成对计算机装置的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机装置还可以包括输入输出设备、网络接入设备、总线等。

本发明所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。

存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card, SMC)，安全数字(Secure Digital, SD)卡，闪存卡(FlashCard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

计算机可读存储介质：

计算机装置所存储的计算机程序如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述的图像合成方法的各个步骤。

其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

最后需要强调的是，本发明不限于上述实施方式，例如可以从三个以上的图像源接收初始图像数据，或者所生成的DRI信息包含的具体内容的改变等，这些改变也应该包括在本发明权利要求的保护范围内。

Claims

1.图像合成方法，其特征在于，包括：

获取二个以上的图像源所输出的初始图像数据，每一个图像源独立的向内存输出所采集的初始图像数据；

判断从任一个所述图像源所获取的所述初始图像数据是否到达预设数据量，如从一个所述图像源所获取的所述初始图像数据到达预设数据量，则将该图像源的到达预设数据量的目标初始图像数据传送至图像压缩装置，由所述图像压缩装置对所述目标初始图像数据进行压缩，获得所述目标初始图像数据对应的分块压缩数据，并生成所述分块压缩数据对应的DRI信息；

根据输出图像的属性要求，将各个所述分块压缩数据对应的所述DRI信息按照预设顺序进行排列，形成所述输出图像的DRI信息链表；

各所述图像源均输出一帧图像后，按照所述DRI信息链表读取各所述分块压缩数据，形成合成后的所述输出图像；

其中，所述预设数据量为所述初始图像数据中，在图像的行方向上一行像素点的所有最小编码单元的集合的数据量，且所述预设数据量小于所述图像源生成的一帧图像的数据量。

2.根据权利要求1所述的图像合成方法，其特征在于：

将各个所述分块压缩数据对应的所述DRI信息按照预设顺序进行排列包括：

各所述图像源对应的分块压缩数据对应的所述DRI信息在所述DRI信息链表中交错排布。

3.根据权利要求1所述的图像合成方法，其特征在于：

所述DRI信息包括对应的所述分块压缩数据在内存中的地址信息和长度信息。

4.根据权利要求1至3任一项所述的图像合成方法，其特征在于：

各所述图像源分别向内存写入所获取的初始图像数据。

5.根据权利要求4所述的图像合成方法，其特征在于：

所述图像压缩装置对所述目标初始图像数据进行压缩后，删除存储到所述内存中的所述目标初始图像数据。

6.根据权利要求4所述的图像合成方法，其特征在于：

所述内存同一时间仅存储一个所述图像源的一组目标初始图像数据。

7.根据权利要求1至3任一项所述的图像合成方法，其特征在于：

所述图像压缩装置以时分复用的方式对图像源的目标初始图像数据进行压缩。

8.计算机装置，其特征在于，包括处理器以及存储器，所述存储器存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的图像合成方法的各个步骤。

9.计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的图像合成方法的各个步骤。