CN111083366B - 基于数据分割的图像处理方法、装置及系统 - Google Patents

Abstract

本发明公开了基于数据分割的图像处理方法、装置及系统，涉及图像信号处理技术领域。一种基于数据分割的图像处理方法，包括步骤：根据后级硬件模块处理能力，对大尺寸的原始图像进行分割处理形成多个图像区域；判断分割边界是否依赖于边界相邻像素，在判定依赖边界相邻像素时，获取分割前所述分割边界两侧像素和处理前述像素所依赖的多个关联像素并作为中间区域图像进行保存；后级硬件模块读取前述各图像区域进行图像拼接处理，用前述中间区域图像替换拼接位置处的对应区域。本发明能够在数据处理需求超过硬件模块的最大数据处理能力时，避免拼接数据中出现不正确数据，降低了大图像数据对图像处理器的处理能力的要求。

Description

基于数据分割的图像处理方法、装置及系统

技术领域

本发明涉及图像信号处理技术领域。

背景技术

在芯片设计过程中，硬件模块设计的处理能力一般都存在处理能力的上限。也就是说单次处理如果超过这个上限，该硬件模块就无法正确执行相应操作，即无法满足超过硬件模块处理能力上限的需求。

近年来，随着人们对高清画质的不断追求，数字相机技术得以快速发展，图像传感器的像素也越来越高，比如DSMC数码摄影摄像机已经具有26000万像素，其所摄录的图像为具有更高品质和更高清晰度的大尺寸图像。然而，当前主流的数字信号处理器可能难以处理包含如此高像素的大图像。

目前，业界对于这类的问题的通常解决方法主要是，对主流数字信号处理器处理器存储容量扩展，即在原来的数字信号处理器处理器的基础上外挂存储设备。当进行大图像处理时，先把一帧图像存到所连接的存储设备，然后再以分割读取的方法来处理图像。上述分割读取方法处理图像时，需要将原图像分成多个部分——比如左右两部分——先后处理，然后将多次处理的输出结果拼成所需图像。以划分为左右两部分为例，如果分割边界依赖相邻若干像素(或左或右)的处理，则可能存在“左部分图像数据处理后右边界若干像素处理不正确，以及右部分图像数据处理后左边界若干像素处理不正确”的情况。即，对分割的图像进行拼接时出现了错误的像素数据。

发明内容

本发明的目的在于：克服现有技术的不足，提供了一种基于数据分割的图像处理方法、装置及系统。本发明能够在数据处理需求超过硬件模块的最大数据处理能力时，避免拼接数据中出现不正确数据，降低了大图像数据对图像处理器的处理能力的要求。

为实现上述目标，本发明提供了如下技术方案：

一种基于数据分割的图像处理方法，包括步骤：

根据后级硬件模块处理能力，对大尺寸的原始图像进行分割处理形成多个图像区域；

判断分割边界是否依赖于边界相邻像素，在判定依赖边界相邻像素时，获取分割前所述分割边界两侧像素和处理前述像素所依赖的多个关联像素并作为中间区域图像进行保存；

后级硬件模块读取前述各图像区域进行图像拼接处理，用前述中间区域图像替换拼接位置处的对应区域。

进一步，在图像拼接处理前，获取输出图像的尺寸要求，对需要拼接的图像区域进行缩小和/或放大操作以匹配前述尺寸要求。

进一步，还包括步骤，

采集图像输入尺寸；

获取输入尺寸与输出尺寸的缩放比例；

根据前述缩放比例对前述中间区域图像进行同比例缩放处理；

用处理后的中间区域图像替换拼接处理处的对应区域。

进一步，根据要求的输出尺寸获取容许输入尺寸，步骤包括，

配置基础值base和分割区域数；

获取比base小的最大偶数M；

根据前述偶数M获取支持的最大输入尺寸作为容许输入尺寸，所述容许输入尺寸＝分割区域数*输出尺寸*(M/base)。

进一步，获取中间区域图像的步骤包括，

分析分割前分割边界两侧的像素行或像素列信息；

获取前述像素行或像素列所述依赖的像素行数或列数X；

根据预设的缩小或放大倍数N，计算需要关联的像素行或列N*X；

获取分隔边界两侧各N*X行或列像素作为中间区域图像。

进一步，图像拼接处理后，获取拼接图像中各分隔边界两侧的N*X行或列像素，用前述对应的中间区域图像进行替换。

本发明还提供了一种基于数据分割的图像处理装置，包括如下结构：

图像分割模块，用以根据后级硬件模块处理能力，对大尺寸的原始图像进行分割处理形成多个图像区域；

中间图像处理模块，用以判断分割边界是否依赖于边界相邻像素，在判定依赖边界相邻像素时，获取分割前所述分割边界两侧像素和处理前述像素所依赖的多个关联像素并作为中间区域图像进行保存；

图像拼接模块，用以读取前述各图像区域进行图像拼接处理，用前述中间区域图像替换拼接位置处的对应区域。

进一步，所述中间图像处理模块包括缩放处理子模块，用以根据图像输入尺寸和输出尺寸信息，获取缩放比例后，按缩放比例对中间区域图像进行同比例缩放，并将缩放后的中间区域图像发送到图像拼接模块。

进一步，所述中间图像处理模块包括关联像素选取子模块，用以分析分割前所述分割边界两侧的像素行或像素列信息，获取前述像素行或像素列所述依赖的像素行数或列数X，并根据预设的缩小或放大倍数N，计算需要关联的像素行或列N*X，以及获取分隔边界两侧各N*X行或列像素作为关联像素。

本发明还提供了一种基于数据分割的图像处理系统，所述系统包括：

图像输出终端，用以输出图像；

图像处理终端，用以根据原始图像和图像输出终端的最大数据处理能力确定图像分割方案，判断分割边界是否依赖于边界相邻像素，在判定依赖边界相邻像素时，获取分割前所述分割边界两侧像素和处理前述像素所依赖的多个关联像素并作为中间区域图像进行保存；以及在图像输出终端输出图像时，用前述中间区域图像替换分割边界两侧附近像素。

本发明由于采用以上技术方案，与现有技术相比，作为举例，具有以下的优点和积极效果：能够在数据处理需求超过硬件模块的最大数据处理能力时，避免拼接数据中出现不正确数据，降低了大图像数据对图像处理器的处理能力的要求。

附图说明

图1为本发明实施例提供的基于数据分割的图像处理方法的流程图。

图2至图5为本发明实施例提供的图像处理的操作示例图。

附图标记说明：

输入图像100，左侧图像110，右侧图像120，中间区域图像130，关联像素110’和120’；

拼接图像200，左侧图像210，右侧图像220，错误区域230，关联像素210’和220’。

具体实施方式

以下结合附图和具体实施例对本发明公开的基于数据分割的图像处理方法、装置及系统作进一步详细说明。应当注意的是，下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的，它们可以被相互组合从而达到更好的技术效果。在下述实施例的附图中，各附图所出现的相同标号代表相同的特征或者部件，可应用于不同实施例中。因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

需说明的是，本说明书所附图中所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定发明可实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在不影响发明所能产生的功效及所能达成的目的下，均应落在发明所揭示的技术内容所能涵盖的范围内。本发明的优选实施方式的范围包括另外的实现，其中可以不按所述的或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

实施例

参见图1所示，公开了一种基于数据分割的图像处理方法，包括如下步骤：

S100，根据后级硬件模块处理能力，对大尺寸的原始图像进行分割处理形成多个图像区域。

所述后级硬件处理模块，可以为任何数字图像处理结构，作为举例而非限制，比如可以为图像缩放模块line_buffer，其最大的数据处理能力为2048个pixe1(像素)宽度。当待处理的图像的宽度大于2048pixe1的大图像时——比如一帧3840*2160(宽度x高度)个pixe1的图像，或者5120*3408(宽度x高度)个pixe1的图像，由于所述图像超过了前述图像缩放模块的最大数据处理能力，需要对大尺寸图像进行分割处理。

本实施例中，可以根据大尺寸图像和图像缩放模块的最大数据处理能力来确定图像分割方案，已将大尺寸图像分割成该图像缩放模块能够处理的小帧图像的尺寸。所述分割后的小帧图像的尺寸，需要兼顾考虑分割次数、硬件模块的处理能力的利用率，以及后续拼接图像时对称拼接较为方便等因素。

本实施例中，优选的，采用对称分割方案。作为举例而非限制，比如对于3840*2160个pixe1的图像，对列像素3840pixe1在宽度方向对称分割成2个图像区域，每个图像区域的宽度为3840/2＝1920pixe1，则每次图像处理的小帧图像大小为1920*2160个pixe1。

S200，判断分割边界是否依赖于边界相邻像素，在判定依赖边界相邻像素时，获取分割前所述分割边界两侧像素和处理前述像素所依赖的多个关联像素并作为中间区域图像进行保存。

本实施例中，以分割成左右两部分为例进行说明。判断前述大尺寸图像的分割边界是否依赖于边界相邻像素。

对于不需要依赖其他像素的情况，只需要将原图像分成左右两部分先后处理，然后将两次处理的结果拼接处理后输出即可。

对于需要依赖相邻若干像素的情况——比如依赖左侧相邻像素和/或右侧相邻像素，分割后再拼接时，存在左部分图像数据处理后右边界若干像素处理不正确，或者右部分图像数据处理后左边界若干像素处理不正确的问题。因此，在判定分割边界依赖边界相邻像素时，可以获取分割前所述分割边界两侧像素和处理前述像素所依赖的多个关联像素并作为中间区域图像进行保存。

即，先处理中间区域图像数据，从而将分割边界两侧足够的正确数据暂存下来，以备后用。也就是说，需要保存的数据包括左部分图像数据、右部分图像数据和中间区域图像数据。

本实施例中，为了对分割处理造成的边界不正确的数据进行替换，在选取处理中间区域图像数据时，选取的区域需要足够大以备后期可以完全替换所有不正确的数据。

S300，后级硬件模块读取前述各图像区域进行图像拼接处理，用前述中间区域图像替换拼接处理处的对应区域。

拼接处理时，首先正常读取分割后的左右两部分图像数据进行常规拼接操作，然后再用中间区域图像对不正确的数据进行替换。

本实施例的一个实施方式中，在进行图像拼接处理前，还可以获取输出图像的尺寸要求，对需要拼接的图像区域进行缩小和/或放大操作以匹配前述尺寸要求。

具体步骤可以如下：采集图像输入尺寸；获取输入尺寸与输出尺寸的缩放比例；根据前述缩放比例对前述中间区域图像进行同比例缩放处理；用处理后的中间区域图像替换拼接处理处的对应区域。

进一步，还可以根据要求的输出尺寸获取容许输入尺寸，步骤可以如下：

配置基础值base和分割区域数；

获取比base小的最大偶数M；

根据前述偶数M获取支持的最大输入尺寸作为容许输入尺寸，所述容许输入尺寸＝分割区域数*输出尺寸*(M/base)。

本实施例中，获取中间区域图像的步骤具体可以包括：

分析分割前所述分割边界两侧的像素行或像素列信息；

获取前述像素行或像素列所述依赖的像素行数或列数X；

根据预设的缩小或放大倍数N，计算需要关联的像素行或列N*X；

获取分隔边界两侧各N*X行或列像素作为中间区域图像。

作为举例而非限制，比如分割边界为列分割，则可以分析分割前所述分割边界两侧的像素列信息，获取前述像素列所述依赖的像素行数或列数X，比如X＝4，即依赖相邻4个像素。水平方向及垂直方向放大倍数阈值均为不超过4倍，即放大倍数N＝4，则需要关联的像素列为16行；获取分隔边界两侧各16个列像素作为中间区域图像。

进行图像拼接处理后，获取拼接图像中各分隔边界两侧的16个列像素，用前述对应的中间区域图像进行替换。

下面结合图2至图5详细描述本实施例的应用场景。

参见图2所示，输入图像100的尺寸为3840*2160(宽度x高度)。仍以图像缩放模块line-buffer为例，其最大的数据处理能力为宽度不超过2048。输入图像100的尺寸超过了图像缩放模块的最大数据处理能力，需要进行图像分割。优先采用对称分割，继续参见图2，，输入图像100被对称分割为左侧图像110和右侧图像120，左侧图像110和右侧图像120的尺寸均为1920*2160(宽度x高度)。

然后，判定分割边界依赖边界相邻像素时，获取所述分割边界两侧像素和处理前述像素所依赖的多个关联像素并作为中间区域图像进行保存。即，先处理中间区域图像数据，从而将分割边界两侧足够的正确数据暂存下来，以备后用。

假如预设的水平方向及垂直方向放大倍数均不超过4倍，分割边界(即分割线)依赖相邻4个像素。那么需要获取分割边界(即分割线)两侧各16个像素的数据进行保存，即将分割边界左侧关联像素110’(尺寸16*2160)和分割边界右侧关联像素120’(尺寸16*2160)的数据作为中间区域图像130保存下来，参见图3所示。

待后期左右两部分图像拼接处理形成拼接图像200，参见图4所示，所述拼接图像200由左侧图像210和右侧图像220拼接而成。

所述左侧图像210和右侧图像220，分别为输入图像100的左侧图像110和右侧图像120进行缩放处理后的数据，本实施例中，是左右两部分图像数据按1920x2160放大至2048x2160处理。拼接图像200具有错误区域230，所述错误区域230包括左侧关联像素210’和右侧关联像素220’，左侧关联像素210’属于左侧图像210的一部分，右侧关联像素220’属于右侧图像220的一部分。

参见图5所示，用前述保存下来的正确数据中间区域图像130(分割线两侧16x2160的数据)替换分割处理所造成的不正确数据错误区域230(分割线两侧16x2160的数据)。

如果我们将32作为计算基础值，即base＝32，最大的数据处理能力为2048，分割区域数为2，则2*2048*(32/30)＝3840即是base＝32时所支持的最大输入尺寸了(硬件要求参与计算的数据必须为偶数，所以30是比32小的最大偶数了)。如果设置base＝128时，由公式2*2048*(128/126)＝4032即为所支持的最大输入尺寸。因此，我们可根据项目需求的不同，合理配置base值和分割区域数，以满足不同项目对缩放尺寸的需求。

本发明的另一实施例，还提供了一种基于数据分割的图像处理装置。

所述装置包括如下结构：

图像分割模块，用以根据后级硬件模块处理能力，对大尺寸的原始图像进行分割处理形成多个图像区域；

中间图像处理模块，用以判断分割边界是否依赖于边界相邻像素，在判定依赖边界相邻像素时，获取所述分割边界两侧像素和处理前述像素所依赖的多个关联像素并作为中间区域图像进行保存；

图像拼接模块，用以读取前述各图像区域进行图像拼接处理，用前述中间区域图像替换拼接位置处的对应区域。

所述后级硬件处理模块，可以为任何数字图像处理结构，作为举例而非限制，比如可以为图像缩放模块line_buffer，其最大的数据处理能力为2048个pixe1(像素)宽度。当待处理的图像的宽度大于2048pixe1的大图像时——比如一帧3840*2160(宽度x高度)个pixe1的图像，或者5120*3408(宽度x高度)个pixe1的图像，由于所述图像超过了前述图像缩放模块的最大数据处理能力，需要对大尺寸图像进行分割处理。具体分割处理时，可以根据大尺寸图像和图像缩放模块的最大数据处理能力来确定图像分割方案，已将大尺寸图像分割成该图像缩放模块能够处理的小帧图像的尺寸。所述分割后的小帧图像的尺寸，需要兼顾考虑分割次数、硬件模块的处理能力的利用率，以及后续拼接图像时对称拼接较为方便等因素。

优选的，采用对称分割方案。作为举例而非限制，比如对于3840*2160个pixe1的图像，对列像素3840pixe1在宽度方向对称分割成2个图像区域，每个图像区域的宽度为3840/2＝1920pixe1，则每次图像处理的小帧图像大小为1920*2160个pixe1。

以分割成左右两部分为例进行说明。判断前述大尺寸图像的分割边界是否依赖于边界相邻像素。对于不需要依赖其他像素的情况，只需要将原图像分成左右两部分先后处理，然后将两次处理的结果拼接处理后输出即可。对于需要依赖相邻若干像素的情况——比如依赖左侧相邻像素和/或右侧相邻像素，分割后再拼接时，存在左部分图像数据处理后右边界若干像素处理不正确，或者右部分图像数据处理后左边界若干像素处理不正确的问题。因此，在判定分割边界依赖边界相邻像素时，可以获取分割前所述分割边界两侧像素和处理前述像素所依赖的多个关联像素并作为中间区域图像进行保存。

本实施例中，为了对分割处理造成的边界不正确的数据进行替换，在选取处理中间区域图像数据时，选取的区域需要足够大以备后期可以完全替换所有不正确的数据。

本实施例中，所述中间图像处理模块还可以包括缩放处理子模块和关联像素选取子模块。

所述缩放处理子模块，用以根据图像输入尺寸和输出尺寸信息，获取缩放比例后，按缩放比例对中间区域图像进行同比例缩放，并将缩放后的中间区域图像发送到图像拼接模块。

所述关联像素选取子模块，用以分析分割边界两侧的像素行或像素列信息，获取前述像素行或像素列所述依赖的像素行数或列数X，并根据预设的缩小或放大倍数N，计算需要关联的像素行或列N*X，以及获取分隔边界两侧各N*X行或列像素作为关联像素。

其它技术特征参见在前实施例的描述，在此不再赘述。

本发明的另一实施例，还提供了一种基于数据分割的图像处理系统。

所述系统包括通信连接的图像输出终端和图像处理终端。

图像输出终端，包括用以输出图像的显示结构。作为举例而非限制，比如电子显示屏。

图像处理终端，用以根据原始图像和图像输出终端的最大数据处理能力确定图像分割方案，判断分割边界是否依赖于边界相邻像素，在判定依赖边界相邻像素时，获取所述分割边界两侧像素和处理前述像素所依赖的多个关联像素并作为中间区域图像进行保存；以及在图像输出终端输出图像时，用前述中间区域图像替换分割边界两侧附近像素。

其它技术特征参见在前实施例的描述，在此不再赘述。

需要说明的是，本发明中，设备或装置还可以包括通常在计算系统中找到的其它组件，诸如存储在存储器中并由处理器执行的操作系统、队列管理器、设备驱动程序、数据库驱动程序或一个或多个网络协议等。

在上面的描述中，本发明的公开内容并不旨在将其自身限于这些方面。而是，在本公开内容的目标保护范围内，各组件可以以任意数目选择性地且操作性地进行合并。另外，像“包括”、“囊括”以及“具有”的术语应当默认被解释为包括性的或开放性的，而不是排他性的或封闭性，除非其被明确限定为相反的含义。所有技术、科技或其他方面的术语都符合本领域技术人员所理解的含义，除非其被限定为相反的含义。在词典里找到的公共术语应当在相关技术文档的背景下不被太理想化或太不实际地解释，除非本公开内容明确将其限定成那样。本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (8)

1.一种基于数据分割的图像处理方法，其特征在于包括步骤：

根据后级硬件模块处理能力，对大尺寸的原始图像进行分割处理形成多个图像区域；

判断分割边界是否依赖于边界相邻像素，在判定依赖边界相邻像素时，获取分割前所述分割边界两侧像素和处理前述像素所依赖的多个关联像素并作为中间区域图像进行保存；

后级硬件模块读取前述各图像区域进行图像拼接处理，用前述中间区域图像替换拼接位置处的对应区域；

其中，获取中间区域图像的步骤包括，

分析分割前所述分割边界两侧的像素行或像素列信息；

获取前述像素行或像素列所述依赖的像素行数或列数X；

根据预设的缩小或放大倍数N，计算需要关联的像素行或列N*X；

获取分隔边界两侧各N*X行或列像素作为中间区域图像。

2.根据权利要求1所述的方法，其特征在于：在图像拼接处理前，获取输出图像的尺寸要求，对需要拼接的图像区域进行缩小和/或放大操作以匹配前述尺寸要求。

3.根据权利要求2所述的方法，其特征在于：还包括步骤，

采集图像输入尺寸；

获取输入尺寸与输出尺寸的缩放比例；

根据前述缩放比例对前述中间区域图像进行同比例缩放处理；

用处理后的中间区域图像替换拼接处理处的对应区域。

4.根据权利要求2所述的方法，其特征在于：根据要求的输出尺寸获取容许输入尺寸，步骤包括，

配置基础值base和分割区域数；

获取比base小的最大偶数M；

根据前述偶数M获取支持的最大输入尺寸作为容许输入尺寸，所述容许输入尺寸=分割区域数*输出尺寸*（M/base）。

5.根据权利要求1所述的方法，其特征在于：图像拼接处理后，获取拼接图像中各分隔边界两侧的N*X行或列像素，用前述对应的中间区域图像进行替换。

6.一种基于数据分割的图像处理装置，其特征在于包括：

图像分割模块，用以根据后级硬件模块处理能力，对大尺寸的原始图像进行分割处理形成多个图像区域；

中间图像处理模块，用以判断分割边界是否依赖于边界相邻像素，在判定依赖边界相邻像素时，获取分割前所述分割边界两侧像素和处理前述像素所依赖的多个关联像素并作为中间区域图像进行保存；

图像拼接模块，用以读取前述各图像区域进行图像拼接处理，用前述中间区域图像替换拼接位置处的对应区域；

其中，所述中间图像处理模块包括关联像素选取子模块，用以分析分割前所述分割边界两侧的像素行或像素列信息，获取前述像素行或像素列所述依赖的像素行数或列数X，并根据预设的缩小或放大倍数N，计算需要关联的像素行或列N*X，以及获取分隔边界两侧各N*X行或列像素作为关联像素。

7.根据权利要求6所述的装置，其特征在于：所述中间图像处理模块包括缩放处理子模块，用以根据图像输入尺寸和输出尺寸信息，获取缩放比例后，按缩放比例对中间区域图像进行同比例缩放，并将缩放后的中间区域图像发送到图像拼接模块。

8.一种基于数据分割的图像处理系统，其特征在于包括：

图像输出终端，用以输出图像；

图像处理终端，用以根据原始图像和图像输出终端的最大数据处理能力确定图像分割方案，判断分割边界是否依赖于边界相邻像素，在判定依赖边界相邻像素时，获取分割前所述分割边界两侧像素和处理前述像素所依赖的多个关联像素并作为中间区域图像进行保存；以及在图像输出终端输出图像时，用前述中间区域图像替换分割边界两侧附近像素；

其中，获取中间区域图像的步骤包括，

分析分割前所述分割边界两侧的像素行或像素列信息；

获取前述像素行或像素列所述依赖的像素行数或列数X；

根据预设的缩小或放大倍数N，计算需要关联的像素行或列N*X；

获取分隔边界两侧各N*X行或列像素作为中间区域图像。

Images