CN112967331A - 一种图像处理的方法、电子设备及存储介质 - Google Patents
一种图像处理的方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112967331A CN112967331A CN202110322469.7A CN202110322469A CN112967331A CN 112967331 A CN112967331 A CN 112967331A CN 202110322469 A CN202110322469 A CN 202110322469A CN 112967331 A CN112967331 A CN 112967331A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- value
- processing
- sum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 109
- 238000010606 normalization Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 48
- 239000011159 matrix material Substances 0.000 claims description 31
- 238000012216 screening Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 11
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Abstract
本发明实施例涉及图像处理领域，公开了一种图像处理的方法、电子设备及存储介质。本发明中图像处理的方法包括：获取第一图像的积分图以及平方和积分图；根据积分图和平方和积分图，同时对第一图像中至少两个像素进行局部对比度归一化LCN处理；在第一图像的各像素的LCN处理完成后，将经过LCN处理后的第一图像作为第二图像。采用本实施例，可以提高对图像处理的速度。
Description
技术领域
本发明实施例涉及图像处理领域，特别涉及一种图像处理的方法、电子设备及存储介质。
背景技术
三维重建是利用二维图像重建出三维空间信息的技术，是计算机视觉领域的重要研究课题。基于结构光原理的投影散斑系统是近年来广泛流行的深度估算方法。该深度估算方法中投射的散斑照射在物体上，由相机采集该散斑图像，通过区域生长的方式计算散斑空间分布可以实现测距。
目前，在进行区域生长之前可以对散斑图像进行局部对比度归一化(LocalContrast Normalization，简称“LCN”)处理。LCN处理是对每一个像素及其相邻的邻域进行归一化的操作。然而，在对每个像素进行归一化操作的过程中，需要获取该像素以及其邻域内的灰度均值，存在重复处理的问题，导致图像处理的速度慢。
发明内容
本发明实施方式的目的在于提供一种图像处理的方法、电子设备及存储介质，可以提高对图像处理的速度。
为解决上述技术问题，本发明的实施方式提供了一种图像处理的方法，包括：获取第一图像的积分图以及平方和积分图；根据积分图和平方和积分图，同时对第一图像中至少两个像素进行局部对比度归一化LCN处理；在第一图像的各像素的LCN处理完成后，将经过LCN处理后的第一图像作为第二图像。
本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的图像处理的方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的图像处理的方法。
本发明实施例中，由于积分图中每个点的值表示该第一图像中该点对应的像素的左上角区域内所有像素的灰度值之和，在获取积分图时，无需重新计算重复区域的像素和。通过当前像素的相邻像素的在积分图中的值即可确定该当前像素对应的积分图中的值，减少了对重复像素的计算，进而减少了运算资源的浪费。根据积分图可以快速获取到第一图像中任一区域内的像素和值；且由于采用积分图以及平方和积分图，使得当同时对该第一图像中多个像素进行LCN处理时，无需同时加载多个像素的邻域像素至不同的矢量内，即无需对图像进行多次的访问，实现对多像素进行LCN处理，从而大大提升了对第一图像进行LCN处理的速度。
另外，根据积分图和平方和积分图，同时对第一图像中至少两个像素进行局部对比度归一化LCN处理，包括：对第一图像中每个像素进行LCN处理如下：根据像素的邻域及积分图，获取邻域的像素均值；根据该邻域和平方和积分图，获取邻域的像素标准差；根据预设的LCN处理表达式、像素均值和像素标准差，生成对像素进行LCN处理后的像素值。采用积分图以及平方积分图的方式计算像素的邻域内的像素均值以及像素标准差，还可以再次减少对重复像素的计算，提高LCN处理的速度。
另外，在将经过LCN处理后的第一图像作为第二图像之后，该方法还包括：在获取第二图像的深度图像作为初始深度图像的情况下，对初始深度图像的每个深度像素进行如下处理，以获得处理后的初始深度图像作为第二图像的新的深度图像：获取深度像素的观察区域对应的像素矩阵；对像素矩阵中各深度值在第一方向进行排序，获取第一方向的排序结果，第一方向为水平方向或垂直方向；从第一方向排序后的像素矩阵中选取位于中间位置的矩阵作为筛选矩阵；对筛选矩阵中各深度值在第二方向进行排序，获取第二方向的排序结果，第二方向垂直于第一方向；根据第一方向的排序结果和第二方向的排序结果，确定观察区域的中值；将中值替换深度像素的深度值。通过从第一方向的排序结果中获取筛选矩阵，减小了获取中值的范围，提高对该深度图像进行中值滤波的速度。
另外，根据第一方向的排序结果和第二方向的排序结果，确定观察区域的中值，包括：若第一方向为垂直方向且筛选矩阵为3*n的矩阵，则根据第二方向的排序结果，获取第一方向的排序结果中最小值所在行的最大值，获取第一方向的排序结果中最大值所在行的最小值，获取剩余行中数值位于中间位置的深度值作为中间值，其中，n为大于2的整数；若第一方向为水平方向且筛选矩阵为n*3的矩阵，则根据第二方向的排序结果，获取第一方向的排序结果中最小值所在列的最大值，获取第一方向的排序结果中最大值所在列的最小值，获取剩余列中数值处于中间位置的深度值作为中间值；获取最大值、中间值以及最小值中数值处于中间位置的深度值作为中值。从第一方向的排序结果中最大值所在行中获取当前行中的最小值，使得选出的值尽可能靠近中间位置的值，采用本示例中的方式，可以减少排序的次数，进而提高中值滤波的速度。
另外，在根据积分图和平方和积分图，同时对第一图像中至少两个像素进行局部对比度归一化LCN处理之前，该方法还包括：调用单指令流多数据流SIMD指令集，其中，每条SIMD指令用于指示对像素进行LCN处理。
另外，若第一图像的尺寸为i*j，i和j均为大于0的整数；获取第一图像的积分图，包括：针对第一图像中第i行第j列的像素进行如下处理：获取积分图中第i行第j-1列位置指示的累加和；获取第一图像中第j列的第一行位置至第i行的像素和值作为第j列的像素和值；叠加第j列的像素和值与第i行第j-1列位置指示的累加和，将叠加后的像素和值作为积分图中第i行第j列位置指示的累加和；或者，针对第一图像中第i行第j列的像素进行如下处理：获取积分图中第i-1行第j列位置指示的累加和；获取第一图像中第i行的第一列位置至第j列的像素和值作为第i行的像素和值；叠加第i-1行第j列位置指示的累加和与第i行的像素和值，将叠加后的像素和值作为积分图中第i行第j列位置指示的累加和。该方式可以提高积分图中各个值的获取速度，即提高获取积分图的速度。
另外，在获取第一图像的积分图以及平方和积分图之前，该方法还包括：获取初始图像；将初始图像分割为至少两个第一图像；为每个第一图像分配不同处理线程，以并行处理每个第一图像。
另外，还包括：在监听到第二图像的深度图像后，销毁处理线程，将获得的每个深度图像进行合并。在获取深度图像之后，销毁线程，及时减少系统开销。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明第一实施例提供的一种图像处理的方法的流程图；
图2是根据本发明第二实施例提供的一种图像处理的方法的流程图；
图3是根据本发明第二实施例提供的一种图像处理的方法中积分图获取的示意图；
图4是根据本发明第二实施例提供的一种图像处理的方法中积分图获取的示意图；
图5是根据本发明第二实施例提供的一种图像处理的方法中积分图获取的示意图；
图6是根据本发明第二实施例提供的一种图像处理的方法中像素的邻域示意图；
图7是根据本发明第三实施例提供的一种图像处理的方法的流程图；
图8是根据本发明第三实施例提供的一种图像处理的方法中观察区域的示意图；
图9是根据本发明第三实施例提供的一种图像处理的方法中第二方向排序的结果示意图；
图10是根据本发明第四实施例提供的一种电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
目前，在进行区域生长之前，可以对散斑图像进行局部对比度归一化(LocalContrast Normalization，简称“LCN”)处理。LCN处理是对每一个像素及其邻域进行归一化的操作：计算该像素及其邻域(例如3x3窗口)内的灰度均值记为avg，每个像素减去该均值avg，再除以这个邻域窗口(例如3x3窗口)拉成的9维向量的欧几里德范数。该LCN处理的表达式如公式(1)所示：
其中，avg表示位于像素(i,j)的邻域内的灰度均值；std表示像素(i,j)的邻域内的标准差；G'(i，j)表示像素(i,j)归一化后的灰度值，G(i，j)表示像素(i,j)的灰度值。
对每个像素进行LCN处理，由于需要获取像素的邻域内的像素均值和标准差，导致不断对重叠区域进行重复计算，不断重复访问图像中的像素，消耗了大量的资源，也导致LCN处理速度慢。
本发明的第一实施方式涉及一种图像处理的方法，其流程如图1所示。
步骤101：获取第一图像的积分图以及平方和积分图。
步骤102：根据积分图和平方和积分图，同时对第一图像中至少两个像素进行局部对比度归一化LCN处理。
步骤103：在第一图像的各像素的LCN处理完成后，将经过LCN处理后的第一图像作为第二图像。
本发明实施例中，由于积分图中每个点的值表示该第一图像中该点对应的像素的左上角区域内所有像素的灰度值之和，在获取积分图时，无需重新计算重复区域的像素和。通过当前像素的相邻像素的在积分图中的值即可确定该当前像素对应的积分图中的值，减少了对重复像素的计算，进而减少了运算资源的浪费。根据积分图可以快速获取到第一图像中任一区域内的像素和值；且由于采用积分图以及平方和积分图，使得当同时对该第一图像中多个像素进行LCN处理时，无需同时加载多个像素的邻域像素至不同的矢量内，即无需对图像进行多次的访问，实现对多像素进行LCN处理，大大提升了对第一图像进行LCN处理的速度。
本发明的第二实施方式涉及一种图像处理的方法，本实施方式是对第一实施方式的详细介绍，其流程如图2所示。
步骤201：获取初始图像。
本示例中的图像的处理方法可以应用于电子设备，该电子设备可以实现获取物体的深度信息的功能。本示例中初始图像可以是由结构光系统采集到的散斑图像。
步骤202：将初始图像分割为至少两个第一图像。
可以将初始图像划分为面积相等的N个图像块，N为大于1的整数。将划分得到的图像块作为第一图像，N的数值可以根据实际需要进行设置。
步骤203：为每个第一图像分配不同处理线程，以并行处理每个第一图像。
具体地，为了进一步提高对图像处理的速度，可以为每个第一图像分配处理线程，每个线程可以绑定不同的CPU内核，以各自对第一图像进行处理。可以在所有第一图像处理完成之后合并为完整的图像。通过分配处理线程的方式，可以充分利用了闲置的计算资源。
处理线程可以对第一图像进行如下步骤204至步骤206的预处理，以生成第二图像；还可以对第二图像进行深度信息恢复处理等等。
步骤204：获取第一图像的积分图以及平方和积分图。
在一个例子中，若第一图像的尺寸为i*j，i和j均为大于0的整数；针对第一图像中第i行第j列的像素进行如下处理：获取积分图中第i行第j-1列位置指示的累加和；获取第一图像中第j列的第一行位置至第i行的像素和值作为第j列的像素和值；叠加第i行第j-1列的位置指示的累加和与第j列的像素和值，将叠加后的像素和值作为积分图中第i行第j列位置指示的累加和。
具体地，积分图中的任意一点(x,y)的值是指从第一图像的左上角到这个点的所构成的矩形区域内所有的像素的灰度值之和。I表示积分图，G表示第一图像，则I(x,y)＝sum(G(i,j))，其中，0<＝i<＝x,0<＝j<＝y。第一图像中第i行第j列的像素对应积分图中对应位置指示的累加和的获取方式如图3所示，由两块区域得到，其中，Integral(i-1,j)为已知的累加和，表示第i-1行第j列位置指示的累加和，如图3中的斜线区域，图3中标记为I(i-1,j)。ColumnSum(i)表示第i行的像素和值，如图3中的黑色区域，标记为C(i)，该Integral(i,j)的计算方式如公式(2)所示：Integral(i,j)＝Integral(i-1,j)+ColumnSum(i)公式(2)；
在另一个例子中，针对第一图像中第i行第j列的像素进行如下处理：获取积分图中第i-1行第j列位置指示的累加和；获取第一图像中第i行的第一列位置至第j列的像素和值作为第i行的像素和值；叠加第i-1行第j列位置指示的累加和与第i行的像素和值，将叠加后的像素和值作为积分图中第i行第j列的像素位置指示的累加和。其中，本示例中的每个位置指示的累加和为第一图像中对应位置的像素的左上角区域内所有像素的灰度值累加后的值。该方式如图4所示，Integral(i,j-1)表示第i行第j-1列位置指示的累加和，如图4中的斜线区域。ColumnSum(j)表示第j列的像素和值，如图4中黑色区域标记的C(j)，该Integral(i,j)的计算方式如公式(3)所示：
Integral(i,j)＝Integral(i,j-1)+ColumnSum(j)公式(3)；
在另一个例子中，还可以采用如图5所示的方式获取积分图，计算方式可以如公式(4)所示。Integral(i,j)＝Integral(i,j-1)+Integral(i-1,j)-Integral(i-1,j-1)+Image(i,j)公式(4)；其中，Image(i,j)表示第一图像中像素(i,j)的灰度值，如图5中的标记的P(i,j)，Integral(i,j-1)表示第i行第j-1列位置指示的累加和，Integral(i-1,j)表示第i-1行第j列位置指示的累加和，Integral(i-1,j-1)表示第i-1行第j-1列位置指示的累加和。
需要说明的是，以上方式中，i和j为0时，该像素对应的位置指示的累加和为该像素的灰度值。
同理，可以获取平方和积分图，此处不再进行赘述。
步骤205：根据积分图和平方和积分图，同时对第一图像中至少两个像素进行局部对比度归一化LCN处理。
在一个例子中，对每个像素进行LCN处理如下：根据像素的邻域及积分图，获取邻域的像素均值；根据邻域和平方和积分图，获取邻域的像素标准差；根据预设的LCN处理表达式、像素均值和像素标准差，生成对像素进行LCN处理后的像素值。
具体地，可以调用单指令流多数据流(Single Instruction Multiple Data，SIMD)指令集，其中，每条SIMD指令用于指示对像素进行LCN处理。由于积分图中每个点对应第一图像中从左上角至该像素的像素和值，故可以根据积分图确定当前像素的邻域的像素均值。像素的邻域可以是一个K*K的区域，K可以是大于2的整数，例如，K为13。获取像素的邻域方式可以是以像素点P为中心的区域，如像素点P的8邻域，即得到邻域为3*3的区域。根据该邻域的尺寸信息，以及该像素点的位置信息，即可通过积分图计算该邻域内的像素均值。例如，像素点P的位置如图6所示，该像素点的邻域为黑色实线所示的区域，那可以获取积分图中点O(3,3)位置指示的累加和作为该像素点P的邻域内的像素均值。同理，也可以获取该像素点的邻域的像素标准差。按照公式(1)所示的方式计算该像素的局部对比度归一化的值：
其中，avg表示位于像素P(i,j)的邻域内灰度均值；std表示像素点P(i,j)的邻域内的标准差；G'(i，j)表示像素(i,j)归一化后的灰度值，G(i，j)表示像素(i,j)的灰度值。
步骤206：在第一图像的各像素的LCN处理完成后，将经过LCN处理后的第一图像作为第二图像。
步骤207：在监听到第二图像的深度图像后，销毁处理线程。
具体地，获取到第二图像后，可以使用区域生长的方式对该第二图像进行深度信息恢复处理。在启动处理线程时，电子设备可以对该处理线程进行监听；若深度信息恢复处理的操作完成后，处理线程发送用于指示完成的信号，若监听器监听到用于指示完成的信号，则销毁该处理线程。
步骤208：将获得的每个深度图像进行合并。
将获取的每个深度图像进行合并，可以将合并的图像进行输出。
本示例中的方式，不依赖任何第三方计算机视觉算法库，充分利用了多核处理器和硬件支持的SIMD指令集，实现在不同层面的并行处理，对图像处理的速度提升较大，且内存占用小，对深度恢复算法部署在边缘设备具有显著的实际应用价值。
本发明的第三实施方式涉及一种图像处理的方法。本实施方式是对上述实施方式的进一步改进，主要改进之处在于，在获取到第二图像的初始深度图像后，对该初始深度图像进行中值滤波，生成该第二图像的深度图像，其流程如图7所示。
步骤301：获取初始图像。
步骤302：将初始图像分割为至少两个第一图像。
步骤303：为每个第一图像分配不同处理线程，以并行处理每个第一图像。
步骤304：获取第一图像的积分图以及平方和积分图。
步骤305：根据积分图和平方和积分图，同时对第一图像中至少两个像素进行局部对比度归一化LCN处理。
步骤306：在第一图像的各像素的LCN处理完成后，将经过LCN处理后的第一图像作为第二图像。
步骤307：在获取第二图像的深度图像作为初始深度图像的情况下，对初始深度图像的每个深度像素进行中值滤波处理，以获得处理后的初始深度图像作为第二图像的深度图像。
在一个例子中，获取深度像素的观察区域对应的像素矩阵；对像素矩阵中各深度像素的深度值在第一方向进行排序，获取第一方向的排序结果，第一方向为水平方向或垂直方向；从第一方向排序后的像素矩阵中选取位于中间位置的矩阵作为筛选矩阵；对筛选矩阵中各深度像素的深度值在第二方向进行排序，获取第二方向的排序结果，第二方向垂直于第一方向；根据第一方向的排序结果和第二方向的排序结果，确定观察区域的中值；将中值替换深度像素的深度值。
具体地，若第一方向为垂直方向且筛选矩阵为3*n的矩阵，则根据第二方向的排序结果，获取第一方向的排序结果中最小值所在行的最大值，获取第一方向的排序结果中最大值所在行的最小值，获取剩余行中数值位于中间位置的深度值作为中间值，其中，n为大于2的整数；若第一方向为水平方向且筛选矩阵为n*3的矩阵，则根据第二方向的排序结果，获取第一方向的排序结果中最小值所在列的最大值，获取第一方向的排序结果中最大值所在列的最小值，获取剩余列中数值处于中间位置的深度值作为中间值；获取最大值、中间值以及最小值中数值处于中间位置的深度值作为中值。
为了便于理解，以3*3筛选矩阵，第一方向为水平方向，第二方向为垂直方向为例，其中，可以进行如下定义：
#define SORT(a,b){t＝a；a＝max(a,b)；b＝min(t,b)；}；
其中，该SORT(a,b)表示对a和b进行排序，max(a,b)表示取a和b中的最大值，min(t,b)表示取t和b中的最小值。
对于如图8所示的观察区域，分别对每一行排序，经历9次SORT运算后，可得到如图9所示的大小关系。下面介绍根据第一排序结果和第二排序结果确定观察区域的中值。
例如，第0行中最大值为P0，获取P0所在列(第0列)，对第0列进行第二方向的排序，经历2次SORT运算获得该列的最小值，即获取P6。第0行中最小值为P2，获取P2所在列(第2列)，对第2列进行第二方向的排序，经历2次SORT运算得到第2列的最大值，即获取P2。剩余列为第1列，对第1列进行第二方向的排序，经历3次SORT运算得到中值，即获取P4。
对P6、P2和P4进行排序，如：再经历3次SORT运算得到位于三者中间位置的值作为中值。
另一个例子中，可以对筛选矩阵中每列进行第二方向的排序，如图8所示，对于第0列中的最大值为P0，最小值为P6，第二列中的最小值为P7，最大值为P1，第二列中的最大值为P2，最小值为P8。根据第二排序结果，第0行中最大值为P0，获取P0所在列(第0列)的最小值为P6。第0行中最小值为P2，获取P2所在列(第2列)的最大值为P2；获取剩余列中的数值处于中间位置的深度值为P4。对P6、P2和P4进行排序，如：再经历3次SORT运算得到位于三者中间位置的值作为中值。
本示例中第一排序和第二排序总共只需要19次SORT运算即可获取中值，而目前其它中值滤波中需要38次比较才可以获取中值，可见，本示例中的中值滤波速度快，且易于利用SIMD指令做并行处理。
第一方向为垂直方向，第二方向为水平方向，且3*n的矩阵确定中值的方式与上述过程大致相同，此处将不再进行赘述。
步骤308：在监听到第二图像的深度图像后，销毁处理线程。
步骤309：将获得的每个深度图像进行合并。
值得一提的是，传统算法一般是对窗口内数据进行排序，然后取中值，以快速排序为例，其最坏情况时间复杂度为表示为O(n2)，O表示时间复杂度。而本示例中排序次数明显小于传统方式，减少了比较次数，避免了无意义的排序。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第四实施方式涉及一种电子设备，其结构框图如图10所示，包括至少一个处理器401；以及，与至少一个处理器401通信连接的存储器402；其中，存储器402存储有可被至少一个处理器401执行的指令，指令被至少一个处理器401执行，以使至少一个处理器401能够执行上述的图像处理的方法。
其中，存储器402和处理器401采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器401和存储器402的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器401负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本发明第五实施方式涉及一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的图像处理的方法。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
Claims (10)
1.一种图像处理的方法，其特征在于，包括：
获取第一图像的积分图以及平方和积分图；
根据所述积分图和所述平方和积分图，同时对所述第一图像中至少两个像素进行局部对比度归一化LCN处理；
在所述第一图像的各所述像素的LCN处理完成后，将经过所述LCN处理后的所述第一图像作为第二图像。
2.根据权利要求1所述的图像处理的方法，其特征在于，所述根据所述积分图和所述平方和积分图，同时对所述第一图像中至少两个像素进行局部对比度归一化LCN处理，包括：
对所述第一图像中每个像素进行所述LCN处理如下：根据所述像素的邻域及所述积分图，获取所述邻域的像素均值；
根据所述邻域和所述平方和积分图，获取所述邻域的像素标准差；
根据预设的LCN处理表达式、所述像素均值和所述像素标准差，生成对所述像素进行所述LCN处理后的像素值。
3.根据权利要求1或2所述的图像处理的方法，其特征在于，在将经过所述LCN处理后的所述第一图像作为第二图像之后，所述方法还包括：
在获取所述第二图像的深度图像作为初始深度图像的情况下，对所述初始深度图像的每个深度像素进行如下处理，以获得处理后的所述初始深度图像作为所述第二图像的新的深度图像：获取所述深度像素的观察区域对应的像素矩阵；
对所述像素矩阵中各深度值在第一方向进行排序，获取第一方向的排序结果，所述第一方向为水平方向或垂直方向；
从所述第一方向排序后的所述像素矩阵中选取位于中间位置的矩阵作为筛选矩阵；
对所述筛选矩阵中各深度值在第二方向进行排序，获取第二方向的排序结果，所述第二方向垂直于所述第一方向；
根据所述第一方向的排序结果和所述第二方向的排序结果，确定所述观察区域的中值；
将所述中值替换所述深度像素的深度值。
4.根据权利要求3所述的图像处理的方法，其特征在于，所述根据所述第一方向的排序结果和所述第二方向的排序结果，确定所述观察区域的中值，包括：
若所述第一方向为所述垂直方向且所述筛选矩阵为3*n的矩阵，则根据所述第二方向的排序结果，获取所述第一方向的排序结果中最小值所在行的最大值，获取所述第一方向的排序结果中最大值所在行的最小值，获取剩余行中数值位于中间位置的深度值作为中间值，其中，n为大于2的整数；
若所述第一方向为所述水平方向且所述筛选矩阵为n*3的矩阵，则根据第二方向的排序结果，获取所述第一方向的排序结果中最小值所在列的最大值，获取所述第一方向的排序结果中最大值所在列的最小值，获取剩余列中数值处于中间位置的深度值作为中间值；
获取所述最大值、所述中间值以及所述最小值中数值处于中间位置的深度值作为中值。
5.根据权利要求2所述的图像处理的方法，其特征在于，在所述根据所述积分图和所述平方和积分图，同时对所述第一图像中至少两个像素进行局部对比度归一化LCN处理之前，所述方法还包括：
调用单指令流多数据流SIMD指令集，其中，每条SIMD指令用于指示对所述像素进行LCN处理。
6.根据权利要求1所述的图像处理的方法，其特征在于，若所述第一图像的尺寸为i*j，i和j均为大于0的整数；所述获取第一图像的积分图，包括：
针对所述第一图像中第i行第j列的像素进行如下处理：获取所述积分图中第i行第j-1列位置指示的累加和；获取所述第一图像中第j列的第一行位置至所述第i行的像素和值作为第j列的像素和值；叠加所述第j列的像素和值与所述第i行第j-1列位置指示的累加和，将叠加后的像素和值作为所述积分图中第i行第j列位置指示的累加和；
或者，
针对所述第一图像中第i行第j列的像素进行如下处理：获取所述积分图中第i-1行第j列位置指示的累加和；获取所述第一图像中第i行的第一列位置至所述第j列的像素和值作为第i行的像素和值；叠加所述第i-1行第j列位置指示的累加和与所述第i行的像素和值，将叠加后的像素和值作为所述积分图中第i行第j列位置指示的累加和。
7.根据权利要求5所述的图像处理的方法，其特征在于，在所述获取第一图像的积分图以及平方和积分图之前，所述方法还包括：
获取初始图像；
将所述初始图像分割为至少两个所述第一图像；
为每个所述第一图像分配不同处理线程，以并行处理每个所述第一图像。
8.根据权利要求7所述的图像处理的方法，其特征在于，所述方法还包括：
在监听到所述第二图像的深度图像后，销毁处理线程；
将获得的每个所述深度图像进行合并。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8任一所述的图像处理的方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的图像处理的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110322469.7A CN112967331B (zh) | 2021-03-25 | 2021-03-25 | 一种图像处理的方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110322469.7A CN112967331B (zh) | 2021-03-25 | 2021-03-25 | 一种图像处理的方法、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112967331A true CN112967331A (zh) | 2021-06-15 |
| CN112967331B CN112967331B (zh) | 2021-12-17 |
Family
ID=76278533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110322469.7A Active CN112967331B (zh) | 2021-03-25 | 2021-03-25 | 一种图像处理的方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112967331B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114155562A (zh) * | 2022-02-09 | 2022-03-08 | 北京金山数字娱乐科技有限公司 | 手势识别方法及装置 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2981984A (en) * | 1983-06-22 | 1985-01-03 | Magann, N.M. | Mineral extraction apparatus |
| CN101753799A (zh) * | 2008-12-16 | 2010-06-23 | 无锡华润矽科微电子有限公司 | 中值滤波方法和采用该方法的中值滤波电路 |
| CN102663708A (zh) * | 2012-04-27 | 2012-09-12 | 飞依诺科技(苏州)有限公司 | 基于方向加权中值滤波的超声图像处理方法 |
| CN103364410A (zh) * | 2013-07-23 | 2013-10-23 | 三峡大学 | 一种基于模板搜索的水工混凝土结构水下表面裂缝检测方法 |
| CN103793886A (zh) * | 2014-02-14 | 2014-05-14 | 山东工商学院 | 一种基于不完全快速排序算法的图像中值滤波方法 |
| CN104217408A (zh) * | 2014-09-30 | 2014-12-17 | 成都市晶林科技有限公司 | 非制冷红外焦平面探测器图像滤波去噪方法 |
| CN107705270A (zh) * | 2017-10-27 | 2018-02-16 | 智车优行科技（北京）有限公司 | 中值滤波的处理方法和装置、电子设备、计算机存储介质 |
| CN110914835A (zh) * | 2017-07-28 | 2020-03-24 | 新加坡国立大学 | 修改用于深度学习模型的视网膜眼底图像的方法 |
| CN110956598A (zh) * | 2019-12-05 | 2020-04-03 | 开放智能机器（上海）有限公司 | 一种适用于图像中值滤波的排序系统及排序方法 |
| CN110992387A (zh) * | 2019-11-08 | 2020-04-10 | 浪潮电子信息产业股份有限公司 | 一种图像处理方法、装置及电子设备和存储介质 |
| CN111160260A (zh) * | 2019-12-30 | 2020-05-15 | 湖北航天技术研究院总体设计所 | 一种sar图像目标检测方法及系统 |
| CN111402313A (zh) * | 2020-03-13 | 2020-07-10 | 合肥的卢深视科技有限公司 | 图像深度恢复方法和装置 |
| CN111445489A (zh) * | 2019-11-18 | 2020-07-24 | 北京邮电大学 | 一种离子束入射角度确定方法及装置 |
| CN111711766A (zh) * | 2020-06-17 | 2020-09-25 | Oppo广东移动通信有限公司 | 图像处理方法及装置、终端和计算机可读存储介质 |
| CN111833276A (zh) * | 2020-07-20 | 2020-10-27 | 浙江大华技术股份有限公司 | 一种图像的中值滤波处理方法及装置 |
-
2021
- 2021-03-25 CN CN202110322469.7A patent/CN112967331B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2981984A (en) * | 1983-06-22 | 1985-01-03 | Magann, N.M. | Mineral extraction apparatus |
| CN101753799A (zh) * | 2008-12-16 | 2010-06-23 | 无锡华润矽科微电子有限公司 | 中值滤波方法和采用该方法的中值滤波电路 |
| CN102663708A (zh) * | 2012-04-27 | 2012-09-12 | 飞依诺科技(苏州)有限公司 | 基于方向加权中值滤波的超声图像处理方法 |
| CN103364410A (zh) * | 2013-07-23 | 2013-10-23 | 三峡大学 | 一种基于模板搜索的水工混凝土结构水下表面裂缝检测方法 |
| CN103793886A (zh) * | 2014-02-14 | 2014-05-14 | 山东工商学院 | 一种基于不完全快速排序算法的图像中值滤波方法 |
| CN104217408A (zh) * | 2014-09-30 | 2014-12-17 | 成都市晶林科技有限公司 | 非制冷红外焦平面探测器图像滤波去噪方法 |
| CN110914835A (zh) * | 2017-07-28 | 2020-03-24 | 新加坡国立大学 | 修改用于深度学习模型的视网膜眼底图像的方法 |
| CN107705270A (zh) * | 2017-10-27 | 2018-02-16 | 智车优行科技（北京）有限公司 | 中值滤波的处理方法和装置、电子设备、计算机存储介质 |
| CN110992387A (zh) * | 2019-11-08 | 2020-04-10 | 浪潮电子信息产业股份有限公司 | 一种图像处理方法、装置及电子设备和存储介质 |
| CN111445489A (zh) * | 2019-11-18 | 2020-07-24 | 北京邮电大学 | 一种离子束入射角度确定方法及装置 |
| CN110956598A (zh) * | 2019-12-05 | 2020-04-03 | 开放智能机器（上海）有限公司 | 一种适用于图像中值滤波的排序系统及排序方法 |
| CN111160260A (zh) * | 2019-12-30 | 2020-05-15 | 湖北航天技术研究院总体设计所 | 一种sar图像目标检测方法及系统 |
| CN111402313A (zh) * | 2020-03-13 | 2020-07-10 | 合肥的卢深视科技有限公司 | 图像深度恢复方法和装置 |
| CN111711766A (zh) * | 2020-06-17 | 2020-09-25 | Oppo广东移动通信有限公司 | 图像处理方法及装置、终端和计算机可读存储介质 |
| CN111833276A (zh) * | 2020-07-20 | 2020-10-27 | 浙江大华技术股份有限公司 | 一种图像的中值滤波处理方法及装置 |
Non-Patent Citations (5)
| Title |
|---|
| XIAOFENG ZHANG等: "Ultrasound Medical Image Denoising Based on Multi-direction Median Filter", 《2016 8TH INTERNATIONAL CONFERENCE ON INFORMATION TECHNOLOGY IN MEDICINE AND EDUCATION (ITME)》 * |
| 万洪林等: "基于方向的自适应多级中值滤波", 《通信学报》 * |
| 华显立: "数字图像中值滤波技术研究", 《电子设计工程》 * |
| 李东洋等: "水中气体目标的多波束声呐成像与检测算法", 《应用科技》 * |
| 王一丁等: "《数字图像处理》", 31 August 2015, 西安电子科技大学出版社 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114155562A (zh) * | 2022-02-09 | 2022-03-08 | 北京金山数字娱乐科技有限公司 | 手势识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112967331B (zh) | 2021-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109859190B (zh) | 一种基于深度学习的目标区域检测方法 | |
| DE102020100684A1 (de) | Kennzeichnung von graphischen bezugsmarkierern | |
| US9053387B2 (en) | Image processing circuit and image detection device | |
| DE102019103310A1 (de) | Schätzer for einen optimalen betriebspunkt für hardware, die unter einer beschränkung der gemeinsam genutzten leistung/wärme arbeitet | |
| CN108830319B (zh) | 一种图像分类方法和装置 | |
| CN103999121A (zh) | 用于将图像基元部署至计算构造的图像流管线控制器 | |
| CN110210543B (zh) | 图像分类系统、方法、设备和存储介质 | |
| CN107527339B (zh) | 一种磁共振扫描方法、装置及系统 | |
| US10026148B2 (en) | Image recognition method, image recognition device and image recognition program | |
| CN110807362A (zh) | 一种图像检测方法、装置和计算机可读存储介质 | |
| CN112580434B (zh) | 一种基于深度相机的人脸误检优化方法、系统及人脸检测设备 | |
| DE102018128699A1 (de) | Einstellen einer Winkelabtastrate während eines Renderings unter Verwendung von Blickinformationen | |
| CN111739024B (zh) | 图像识别方法、电子设备及可读存储介质 | |
| CN112967331B (zh) | 一种图像处理的方法、电子设备及存储介质 | |
| CN111462060A (zh) | 胎儿超声图像中标准切面图像的检测方法和装置 | |
| CN105719333B (zh) | 三维图像数据处理方法及装置 | |
| CN111242066A (zh) | 大尺寸图像目标检测方法、装置及计算机可读存储介质 | |
| US9495609B2 (en) | System and method for evaluating data | |
| CN116228753B (zh) | 肿瘤预后评估方法、装置、计算机设备和存储介质 | |
| CN111951268A (zh) | 颅脑超声图像并行分割方法及装置 | |
| CN111985439A (zh) | 人脸检测方法、装置、设备和存储介质 | |
| CN116994721A (zh) | 一种数字病理切片图的快速处理系统 | |
| CN116310899A (zh) | 基于YOLOv5改进的目标检测方法及装置、训练方法 | |
| CN116486071A (zh) | 图像分块特征提取方法、装置及存储介质 | |
| DE112022001485T5 (de) | Verfahren und einrichtungen zum synthetisieren von ansichten mit sechs freiheitsgraden aus spärlichen rgb-tiefe-eingaben |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210615 Assignee: Anhui Xingtai Financial Leasing Co.,Ltd. Assignor: Hefei lushenshi Technology Co.,Ltd. Contract record no.: X2022980006062 Denomination of invention: An image processing method, electronic equipment and storage medium Granted publication date: 20211217 License type: Exclusive License Record date: 20220523 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: An image processing method, electronic equipment and storage medium Effective date of registration: 20220525 Granted publication date: 20211217 Pledgee: Anhui Xingtai Financial Leasing Co.,Ltd. Pledgor: Hefei lushenshi Technology Co.,Ltd. Registration number: Y2022980006214 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20230719 Granted publication date: 20211217 Pledgee: Anhui Xingtai Financial Leasing Co.,Ltd. Pledgor: Hefei lushenshi Technology Co.,Ltd. Registration number: Y2022980006214 |
|
| EC01 | Cancellation of recordation of patent licensing contract | ||
| EC01 | Cancellation of recordation of patent licensing contract |
Assignee: Anhui Xingtai Financial Leasing Co.,Ltd. Assignor: Hefei lushenshi Technology Co.,Ltd. Contract record no.: X2022980006062 Date of cancellation: 20230720 |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230808 Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province Patentee after: Hefei lushenshi Technology Co.,Ltd. Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing Patentee before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD. Patentee before: Hefei lushenshi Technology Co.,Ltd. |