CN108475416A

CN108475416A - 处理图像的方法和装置

Info

Publication number: CN108475416A
Application number: CN201780004671.7A
Authority: CN
Inventors: 解进; 秦东
Original assignee: Shenzhen Dajiang Innovations Technology Co Ltd
Current assignee: Shenzhen Dajiang Innovations Technology Co Ltd
Priority date: 2017-06-30
Filing date: 2017-06-30
Publication date: 2018-08-31
Also published as: US20200134799A1; WO2019000357A1

Abstract

一种处理图像的方法和装置，方法包括：从内存中读取第一部分图像数据并将第一部分图像数据存储在行缓存中，第一部分图像数据包括L行M列个像素的数据(S210)；对第一部分图像数据进行处理，生成第一部分图像并将生成的第一部分图像写入到内存中(S220)；从内存中读取第二部分图像数据并将第二部分图像数据存储在行缓存中，第二部分图像数据包括L行N列个像素的数据，第一部分图像数据和第二部分图像数据属于同一原始图像，原始图像包括L行K列像素，K大于或等于M+N(S230)；对第二部分图像数据进行处理，生成第二部分图像(S240)；从内存中读出生成的第一部分图像，拼接生成的第一部分图像和生成的第二部分图像(S250)。通过该方法，一次处理原始图像中部分列的像素的数据得到部分图像，再将两个部分图像进行拼接，由此在行缓存中一次仅存储部分列的像素的数据，能够降低对行缓存面积的要求，从而可以降低功耗。

Description

处理图像的方法和装置

版权申明

技术领域

本申请涉及图像处理领域，尤其涉及一种处理图像的方法和装置。

背景技术

现场可编程门阵列(Field Programmable Gate Array，FPGA)和专用集成电路(Application Specific Integrated Circuit，ASIC)等可以用于数据处理，尤其是图像处理。目前，在FPGA或ASIC的设计实现中，其主要功耗和面积都是由随机存取存储器(RandomAccess Memory，RAM)产生的。其中，面积是指FPGA或ASIC的芯片资源，包括逻辑资源和输入输出(Input/Output，I/O)资源。

现有的图像处理的方案中，FPGA或ASIC中的RAM尤其是静态随机存取存储器(Static Random Access Memory，SRAM)通常被用作行缓存(line buffer)。在图像处理中，图像数据(通常涉及数百行的图像数据)按行被存储在行缓存中，这会消耗非常多的SRAM的功耗和面积。

发明内容

本申请提供了一种处理图像的方法和装置，能够降低对处理图像的装置中行缓存的面积的要求，从而可以降低功耗。

第一方面提供了一种处理图像的方法，该方法包括：从内存中读取第一部分图像数据并将所述第一部分图像数据存储在行缓存中，所述第一部分图像数据包括L行M列个像素的数据；对所述第一部分图像数据进行处理，生成第一部分图像并将生成的所述第一部分图像写入到所述内存中；从所述内存中读取第二部分图像数据并将所述第二部分图像数据存储在所述行缓存中，所述第二部分图像数据包括L行N列个像素的数据，所述第一部分图像数据和所述第二部分图像数据属于同一原始图像，所述原始图像包括L行K列像素，K大于或等于M+N；对所述第二部分图像数据进行处理，生成第二部分图像；从内存中读出生成的所述第一部分图像，拼接生成的所述第一部分图像和生成的所述第二部分图像。

在第一方面的一种可能的实现方式中，所述对所述第一部分图像数据进行处理，包括：对所述第一部分图像数据进行畸变校正处理；所述对所述第二部分图像数据进行处理，包括：对所述第二部分图像数据进行畸变校正处理。

在第一方面的一种可能的实现方式中，所述对所述第一部分图像数据进行处理，生成第一部分图像，包括：从所述内存中读取第一网格信息；根据所述第一网格信息和所述第一部分图像数据，生成所述第一部分图像；所述对所述第二部分图像数据进行处理，生成第二部分图像，包括：从所述内存中读取第二网格信息；根据所述第二网格信息和所述第二部分图像数据，生成所述第二部分图像。

第二方面提供了一种处理图像的装置，该装置包括输入电路、行缓存和处理电路，所述输入电路用于从内存中读取第一部分图像数据并将所述第一部分图像数据存储在所述行缓存中，所述第一部分图像数据包括L行M列个像素的数据；所述处理电路用于对所述第一部分图像数据进行处理，生成第一部分图像并将生成的所述第一部分图像写入到所述内存中；所述输入电路还用于从所述内存中读取第二部分图像数据并将所述第二部分图像数据存储在所述行缓存中，所述第二部分图像数据包括L行N列个像素的数据，所述第一部分图像数据和所述第二部分图像数据属于同一原始图像，所述原始图像包括L行K列像素，K大于或等于M+N；所述处理电路还用于对所述第二部分图像数据进行处理，生成第二部分图像；所述输入电路还用于从内存中读出生成的所述第一部分图像，所述处理电路还用于拼接生成的所述第一部分图像和生成的所述第二部分图像。

在第二方面的一种可能的实现方式中，所述处理电路对所述第一部分图像数据进行处理，包括：对所述第一部分图像数据进行畸变校正处理；所述处理电路对所述第二部分图像数据进行处理，包括：对所述第二部分图像数据进行畸变校正处理。

在第二方面的一种可能的实现方式中，所述输入电路还用于从所述内存中读取第一网格信息；所述处理电路对所述第一部分图像数据进行处理，生成第一部分图像，包括：根据所述第一网格信息和所述第一部分图像数据，生成所述第一部分图像；所述输入电路还用于从所述内存中读取第二网格信息；所述处理电路对所述第二部分图像数据进行处理，生成第二部分图像，包括：根据所述第二网格信息和所述第二部分图像数据，生成所述第二部分图像。

应理解，所述装置可以为现场可编程门阵列FPGA或专用集成电路ASIC。

应理解，所述行缓存可以为静态随机存取存储器SRAM。

本申请第一至第二方面及相应的实现方式提供的方法和装置，K等于M+N。

本申请第一至第二方面及相应的实现方式提供的方法和装置，M等于N。

本申请第一至第二方面及相应的实现方式提供的方法和装置，一次处理原始图像中部分列的像素的数据得到部分图像，再将两个部分图像进行拼接，由此在行缓存中一次仅存储部分列的像素的数据，能够降低对行缓存面积的要求，从而可以降低功耗。

附图说明

图1是一种处理图像的方法的示意性流程图。

图2是本申请一个实施例的处理图像的方法的示意性流程图。

图3是本申请一个实施例的处理图像的装置的示意性框图。

图4是本申请另一个实施例的处理图像的方法的示意性流程图。

图5是本申请实施例的处理图像的方法的示意图。

具体实施方式

下面将结合附图，对本申请实施例中的技术方案进行描述。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。

下面首先介绍现有的图像处理的过程。图像处理包括并且不限于畸变校正、图像截取、图像旋转、线性变换、图像匹配、轮廓填充、像差校正等。图1是一种处理图像的方法的示意性流程图。图1所示的方法以由FPGA 12执行为例，其中还涉及内存14。FPGA 12包括输入电路12-2、行缓存12-4、处理电路12-6和输出电路12-8。待处理的原始图像包括L行K列像素。

现有的一种处理图像的方法包括以下步骤。

S110，输入电路12-2从内存14中读取待处理的原始图像的图像数据，原始图像的图像数据包括L行K列个像素的数据。原始图像也可以是待处理的某图像的感兴趣区域。

S120，原始图像的图像数据被写入到行缓存12-4中。对于通常的图像处理，常常需要将数百(100～500)行图像数据存放在作为行缓存的SRAM中。尤其是进行畸变校正处理时，如果原始图像的畸变很大且原始图像很宽，那么会消耗非常多的SRAM。

S130，原始图像的图像数据从行缓存12-4被传输到处理电路12-6。

S140，输入电路12-2从内存14中读取用于进行图像处理的参数，例如图像处理为畸变校正处理时，参数可以包括网格信息等。

S150，诸如网格信息的参数被出传输到处理电路12-6。

S160，处理电路12-6按照网格信息对原始图像的图像数据进行处理，得到输出图像。具体地，该处理可以为畸变校正处理，原始图像的图像数据可以包括畸变坐标，网格信息可以包括对应的校正显示坐标。处理电路12-6可以根据畸变坐标和校正显示坐标，对原始图像的像素进行处理，得到校正后的图像，即为输出图像。

S170，处理电路12-6将输出图像传输到输出电路12-8。输出电路12-8将输出图像输出给后级装置。

由上述过程可以得知，现有的图像处理对SRAM的面积有一定的要求。而SRAM的面积直接影响着FPGA或ASIC的面积。因此迫切的希望有一种处理图像的方法能够尽可能减少SRAM的使用。

针对上述问题，本申请实施例提供了一种处理图像的方法200。图2是本申请一个实施例的处理图像的方法200的示意性流程图。该方法200可以由处理图像的装置，例如FPGA或ASIC来执行。该方法200可以包括以下步骤。

S210，从内存中读取第一部分图像数据并将第一部分图像数据存储在行缓存中，第一部分图像数据包括L行M列个像素的数据。

S220，对第一部分图像数据进行处理，生成第一部分图像并将生成的第一部分图像写入到内存中。

S230，从内存中读取第二部分图像数据并将第二部分图像数据存储在行缓存中，第二部分图像数据包括L行N列个像素的数据，第一部分图像数据和第二部分图像数据属于同一原始图像，原始图像包括L行K列像素，K大于或等于M+N。

S240，对第二部分图像数据进行处理，生成第二部分图像。

S250，从内存中读出生成的第一部分图像，拼接生成的第一部分图像和生成的第二部分图像。

本申请实施例的处理图像的方法，一次处理原始图像中部分列的像素的数据得到部分图像，再将两个部分图像进行拼接，由此在行缓存中一次仅存储部分列的像素的数据，能够降低对行缓存面积的要求，从而可以降低功耗。

下面以对第一部分图像数据进行处理为对第一部分图像数据进行畸变校正处理；对第二部分图像数据进行处理为对第二部分图像数据进行畸变校正处理为例对本申请实施例的处理图像的方法进行详细的描述。当然，本申请实施例的处理图像的方法也适用于畸变校正、图像截取、图像旋转、线性变换、图像匹配、轮廓填充、像差校正等图像处理流程，本申请实施例对此不作限定。

图3是本申请实施例的处理图像的装置300的示意性框图。处理图像的装置300可以为FPGA或ASIC。装置300可以包括输入电路310、行缓存320和处理电路330。

可选地，行缓存可以为随机存取存储器(Random Access Memory，RAM)。例如，具体地可以是静态随机存取存储器(Static Random Access Memory，SRAM)。

图4是本申请实施例的处理图像的方法400的示意性流程图。图4的处理图像的方法400由装置300执行。方法400可以包括以下步骤。

S405，输入电路310从内存500中读取第一部分图像数据，第一部分图像数据包括L行M列个像素的数据。其中，第一部分图像数据属于待处理的原始图像，原始图像包括L行K列像素，K大于M。换句话说，输入电路310从内存500中读取部分列的像素的数据。

S410，第一部分图像数据被存储在行缓存320中。相对于现有的将整个原始图像的L行K列的图像数据读入并存储到行缓存，本申请实施例仅将第一部分图像数据存储在行缓存320，可以节省行缓存的面积。

S415，第一部分图像数据从行缓存320被传输到处理电路330。

S420，输入电路310从内存500中读取用于进行图像处理的参数，例如图像处理为畸变校正处理时，参数可以包括第一网格信息等。

S425，诸如第一网格信息的参数被出传输到处理电路330。

S430，处理电路330按照第一网格信息对第一部分图像数据进行处理，得到第一部分图像。具体地，该处理可以为畸变校正处理，第一部分图像数据可以包括畸变坐标，第一网格信息可以包括对应的校正显示坐标。处理电路330可以根据畸变坐标和校正显示坐标，对第一部分图像数据进行处理，得到校正后的第一部分图像。

相应地，S420至S430对应于S220中的对第一部分图像数据进行处理，生成第一部分图像，其具体包括：从内存500中读取第一网格信息；根据第一网格信息和第一部分图像数据，生成第一部分图像。

S435，将生成的第一部分图像写入到内存500中。

S440，输入电路310从内存500中读取第二部分图像数据，第二部分图像数据包括L行N列个像素的数据。其中，第二部分图像数据属于待处理的原始图像，K大于N，K大于或等于M+N。换句话说，输入电路310从内存500中读取下一部分列的像素的数据。

S445，第二部分图像数据被存储在行缓存320中。相对于现有的将整个原始图像的L行K列的像素的数据读入并存储到行缓存，在这一批图像数据处理中，本申请实施例仅将第二部分图像数据存储在行缓存320，可以节省行缓存的面积。

S450，第二部分图像数据从行缓存320被传输到处理电路330。

S455，输入电路310从内存500中读取用于进行图像处理的参数，例如图像处理为畸变校正处理时，参数可以包括第二网格信息等。

S460，诸如第二网格信息的参数被出传输到处理电路330。当然，如果S420中读取的第一网格信息可以用于处理第二部分图像数据，S455和S460可以被省略，在后续的步骤中，将第一网格信息用作第二网格信息使用。

S465，处理电路330按照第二网格信息对第二部分图像数据进行处理，得到第二部分图像。具体处理过程与处理第一部分图像数据类似，此处不再进行赘述。

相应地，S455至S465对应于S220中的对第二部分图像数据进行处理，生成第二部分图像，其具体包括：从内存500中读取第二网格信息；根据第二网格信息和第二部分图像数据，生成第二部分图像。

S470，处理电路330通过输入电路310从内存500中读出生成的第一部分图像，拼接生成的第一部分图像和生成的第二部分图像。

应理解，S470中从内存500中读出生成的第一部分图像可以在S465完成后执行，为了缩短整个处理的时间，也可以一边执行S465一边从内存500中读出生成的第一部分图像，本申请实施例对此不作限定。

可选地，如图3所示，装置300还可以包括输出电路340。S475，处理电路330将拼接后得到的输出图像传输到输出电路340。输出电路340将输出图像输出给后级装置。应理解，输出图像可以仅是将第一部分图像和第二部分图像拼接后的图像，也可以是还将其他的部分图像拼接进来之后的图像，本申请实施例对此不作限定。

可选地，作为一个实施例，原始图像被分为两部分进行处理，即K等于M+N，将第一部分图像和第二部分图像拼接后的图像即为原始图像对应的畸变校正后的图像。可选地，M可以等于N。

在一个具体的例子中，原始图像的分别率为640×480，即原始图像包括480行640列像素。图5是本申请实施例的处理图像的方法的示意图。如图5所示，原始图像可以被分为两个320×480的部分进行处理，第一部分图像数据和第二部分图像数据分别包括480行320列的图像数据，ASIC读取第一部分图像数据处理后得到第一部分图像并将第一部分图像存储在内存中。之后，ASIC读取第二部分图像数据处理后得到第二部分图像，从内存中读出存储的第一部分图像，并将第一部分图像和第二部分图像进行拼接。

本申请实施例中，原始图像也可以被分为更多的部分进行处理，例如，分为四部分。第一部分图像数据至第四部分图像数据分别包括480行160列的图像数据，分别对应处理后的第一部分图像至第四部分图像。处理电路330依次将第一部分图像至第四部分图像拼接在一起，得到原始图像对应的畸变校正后的图像。

应理解，以上例子中各部分图像数据的列数是相等的，在本申请的其他实施例中，任意两部分图像数据的列数可以是相等的，也可以是不相等的，每部分图像数据的列数可以由装置300外部的软件或硬件确定并通知装置300，本申请实施例对此不作限定。

还应理解，本申请实施例中，步骤S475中输出电路340向外输出输出图像，可以是等待所有行均处理拼接完成之后，将畸变校正拼接后的图像一并输出；也可以是每处理一行，将处理后得到的该行像素拼接在一起输出，也就是逐行输出，本申请实施例对此不作限定。

本申请实施例还提供一种计算机可读存储介质，其上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行上述方法实施例的处理图像的方法。

本申请实施例还提供一种包括指令的计算机程序产品，当计算机运行所述计算机程序产品的所述指时，所述计算机执行上述方法实施例的处理图像的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(Digital Video Disc，DVD))、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

应理解，在本申请实施例中，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种处理图像的方法，其特征在于，包括：

从内存中读取第一部分图像数据并将所述第一部分图像数据存储在行缓存中，所述第一部分图像数据包括L行M列个像素的数据；

对所述第一部分图像数据进行处理，生成第一部分图像并将生成的所述第一部分图像写入到所述内存中；

从所述内存中读取第二部分图像数据并将所述第二部分图像数据存储在所述行缓存中，所述第二部分图像数据包括L行N列个像素的数据，所述第一部分图像数据和所述第二部分图像数据属于同一原始图像，所述原始图像包括L行K列像素，K大于或等于M+N；

对所述第二部分图像数据进行处理，生成第二部分图像；

从内存中读出生成的所述第一部分图像，拼接生成的所述第一部分图像和生成的所述第二部分图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一部分图像数据进行处理，包括：

对所述第一部分图像数据进行畸变校正处理；

所述对所述第二部分图像数据进行处理，包括：

对所述第二部分图像数据进行畸变校正处理。

3.根据权利要求1或2所述的方法，其特征在于，所述对所述第一部分图像数据进行处理，生成第一部分图像，包括：

从所述内存中读取第一网格信息；

根据所述第一网格信息和所述第一部分图像数据，生成所述第一部分图像；

所述对所述第二部分图像数据进行处理，生成第二部分图像，包括：

从所述内存中读取第二网格信息；

根据所述第二网格信息和所述第二部分图像数据，生成所述第二部分图像。

4.根据权利要求1至3中任一项所述的方法，其特征在于，K等于M+N。

5.根据权利要求1至4中任一项所述的方法，其特征在于，M等于N。

6.一种处理图像的装置，其特征在于，包括输入电路、行缓存和处理电路，

所述输入电路用于从内存中读取第一部分图像数据并将所述第一部分图像数据存储在所述行缓存中，所述第一部分图像数据包括L行M列个像素的数据；

所述处理电路用于对所述第一部分图像数据进行处理，生成第一部分图像并将生成的所述第一部分图像写入到所述内存中；

所述输入电路还用于从所述内存中读取第二部分图像数据并将所述第二部分图像数据存储在所述行缓存中，所述第二部分图像数据包括L行N列个像素的数据，所述第一部分图像数据和所述第二部分图像数据属于同一原始图像，所述原始图像包括L行K列像素，K大于或等于M+N；

所述处理电路还用于对所述第二部分图像数据进行处理，生成第二部分图像；

所述输入电路还用于从内存中读出生成的所述第一部分图像，所述处理电路还用于拼接生成的所述第一部分图像和生成的所述第二部分图像。

7.根据权利要求6所述的装置，其特征在于，所述处理电路对所述第一部分图像数据进行处理，包括：

对所述第一部分图像数据进行畸变校正处理；

所述处理电路对所述第二部分图像数据进行处理，包括：

对所述第二部分图像数据进行畸变校正处理。

8.根据权利要求6或7所述的装置，其特征在于，所述输入电路还用于从所述内存中读取第一网格信息；

所述处理电路对所述第一部分图像数据进行处理，生成第一部分图像，包括：

所述输入电路还用于从所述内存中读取第二网格信息；

所述处理电路对所述第二部分图像数据进行处理，生成第二部分图像，包括：

9.根据权利要求6至8中任一项所述的装置，其特征在于，K等于M+N。

10.根据权利要求6至9中任一项所述的装置，其特征在于，M等于N。

11.根据权利要求6至10中任一项所述的装置，其特征在于，所述装置为现场可编程门阵列FPGA或专用集成电路ASIC。

12.根据权利要求6至11中任一项所述的装置，其特征在于，所述行缓存为静态随机存取存储器SRAM。