CN116596931B - 图像处理方法、装置、设备、存储介质和程序产品 - Google Patents
图像处理方法、装置、设备、存储介质和程序产品 Download PDFInfo
- Publication number
- CN116596931B CN116596931B CN202310877081.2A CN202310877081A CN116596931B CN 116596931 B CN116596931 B CN 116596931B CN 202310877081 A CN202310877081 A CN 202310877081A CN 116596931 B CN116596931 B CN 116596931B
- Authority
- CN
- China
- Prior art keywords
- image
- sub
- preset
- tensor
- width
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 26
- 239000011324 bead Substances 0.000 claims description 50
- 238000004590 computer program Methods 0.000 claims description 19
- 238000010606 normalization Methods 0.000 claims description 9
- 230000008521 reorganization Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 abstract description 79
- 238000003466 welding Methods 0.000 description 33
- 230000007547 defect Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005215 recombination Methods 0.000 description 3
- 230000006798 recombination Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种图像处理方法、装置、设备、存储介质和程序产品，方法包括：通过将待处理的原始图像划分为多个子图像块，并将多个子图像块在通道维度进行重组，得到目标图像，其中，目标图像的通道数大于或等于多个子图像块的总通道数，目标图像的长宽比小于第二预设阈值。可见，相对于相关技术，本申请实施例中通过将原始图像划分后的所有子图像块在通道维度重组的方式，不仅可以调整原始图像的长宽比以满足检测模型对输入图像的长宽比需求，还可以提高原始图像的图像信息的完备性，使得目标图像与原始图像的一致性较好，目标图像可以满足检测模型对输入图像的分辨率要求，从而有利于提高检测模型的检测精度。
Description
技术领域
本申请涉及焊接技术领域，尤其涉及一种图像处理方法、装置、设备、存储介质和程序产品。
背景技术
顶盖焊接是电池生产过程中不可或缺的环节，其中，电池的顶盖焊接区域可以称为焊道，由于焊接时候的温度、环境、激光角度等变化，焊道上可能会存在偏光或者断焊等缺陷。由于焊道焊接是否达标直接影响电池的安全，因此，需要对焊道的焊接状态进行缺陷检测。
通常情况下，通过采集包含焊道区域的焊道图像，并基于检测模型对焊道图像进行缺陷检测，得到检测结果。由于顶盖焊接工艺的特点，焊道图像的长宽比严重失衡，会影响检测模型的检测精度。
发明内容
鉴于上述问题，本申请提供一种图像处理方法、装置、设备、存储介质和程序产品，不仅可以使得目标图像满足检测模型对输入图像的长宽比需求，还可以使得目标图像满足检测模型对输入图像的分辨率要求，从而有利于提高检测模型的检测精度。
第一方面，本申请提供了一种图像处理方法，方法包括：
将待处理的原始图像划分为多个子图像块，其中，原始图像的长宽比大于第一预设阈值，子图像块的长宽比小于第二预设阈值，子图像块的通道数与原始图像的通道数一致，第二预设阈值小于或等于第一预设阈值；
将多个子图像块在通道维度进行重组，得到目标图像；
其中，目标图像的通道数大于或等于多个子图像块的总通道数，且，目标图像的长宽比小于第二预设阈值。
本申请实施例的技术方案中，通过将原始图像划分后的所有子图像块在通道维度重组的方式，不仅可以调整原始图像的长宽比以满足检测模型对输入图像的长宽比需求，还可以提高原始图像的图像信息的完备性，使得目标图像与原始图像的一致性较好，目标图像可以满足检测模型对输入图像的分辨率要求，从而有利于提高检测模型的检测精度。
在一些实施例中，将多个子图像块在通道维度进行重组，得到目标图像，包括：
获取预设图像张量，预设图像张量的通道数与目标图像的通道数一致；
分别将多个子图像块填充至预设图像张量的对应位置处，得到目标图像。
本申请实施例的技术方案中，通过将原始图像划分后的多个子图像块填充至预设图像张量的方式，可以简单且快速地实现将原始图像划分后的所有子图像块在通道维度的重组，以便于在实现调整原始图像长宽比的基础上，还可以提高原始图像的图像信息的完备性，使得目标图像与原始图像的一致性较好，目标图像还可以满足检测模型对输入图像的分辨率要求。
在一些实施例中，将待处理的原始图像划分为多个子图像块，包括：
根据预设图像张量的高度和宽度，对原始图像进行划分处理，得到多个子图像块，以使各子图像块的高度均小于或等于预设图像张量的高度，各子图像块的宽度均小于或等于预设图像张量的宽度。
在一些实施例中，预设图像张量中的各元素的初始值为预设数值。
在一些实施例中，分别将多个子图像块填充至预设图像张量的对应位置处，得到目标图像，包括：
分别将多个子图像块填充至预设图像张量的对应位置处，得到中间图像；
对中间图像在通道维度进行归一化处理，得到目标图像，以便于目标图像的值域分布更加一致，有利于提高神经网络模型的收敛速度。
在一些实施例中，获取预设图像张量之前，方法还包括：
确定需要利用预设图像张量进行处理的图像的统一高度值和需要利用预设图像张量进行处理的图像的最大宽度值，其中，需要利用预设图像张量进行处理的图像的高度均等于统一高度值；
根据统一高度值和最大宽度值确定预设图像张量的通道数，并根据统一高度值确定预设图像张量的高度和宽度。
本申请实施例的技术方案中，通过根据需要利用预设图像张量进行处理的图像的统一高度值和最大宽度值，确定预设图像张量的尺寸信息的方式，可以使得在预设图像张量可以容纳各种需要利用预设图像张量进行处理的图像的所有子图像块的图像信息的基础上，还可以尽量减少预设图像张量的尺寸，从而不仅有利于提高检测模型的识别速率，还可以节省存储空间。
在一些实施例中，原始图像为焊道图像。
第二方面，本申请提供了一种图像处理装置，装置包括：
划分模块，用于将待处理的原始图像划分为多个子图像块，其中，原始图像的长宽比大于第一预设阈值，子图像块的长宽比小于第二预设阈值，子图像块的通道数与原始图像的通道数一致，第二预设阈值小于或等于第一预设阈值；
重组模块，用于将多个子图像块在通道维度进行重组，得到目标图像；
其中，目标图像的通道数大于或等于多个子图像块的总通道数，且，目标图像的长宽比小于第二预设阈值。
第三方面，本申请提供了一种电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述图像处理方法实施例中的步骤。
第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述图像处理方法实施例中的步骤。
第五方面，本申请提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例中的步骤。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读对下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在全部附图中，用相同的附图标号表示相同的部件。在附图中：
图1为本申请实施例提供的图像的三个维度的示意图；
图2为本申请实施例提供的应用环境的示意图一；
图3为本申请实施例提供的应用环境的示意图二；
图4为本申请一些实施例提供的图像处理方法的流程示意图；
图5为本申请实施例提供的图像划分重组的示意图；
图6为本申请一些实施例提供的子图像块重组方法的流程示意图；
图7为本申请一些实施例提供的预设图像张量的尺寸信息的确定方法的流程示意图；
图8为本申请一些实施例提供的图像处理装置的结构示意图；
图9为本申请一些实施例中电子设备的结构示意图。
具体实施方式
下面将结合附图对本申请技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本申请的技术方案，因此只作为示例，而不能以此来限制本申请的保护范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”以及它的任何变形，意图在于覆盖不排他的包含。
在本申请实施例的描述中，技术术语“第一”“第二”等仅用于区别不同对象，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量、特定顺序或主次关系。在本申请实施例的描述中，“多个”的含义是两个以上（包括两个），除非另有明确具体的限定。
本申请实施例提供的图像处理方法、装置、设备、存储介质和程序产品，可以应用于图像长宽比失衡的图像处理应用场景，例如宽度值远大于高度值的焊道图像的缺陷检测应用场景；当然，还可以应用于其它应用场景。
本申请实施例中涉及的图像长宽比可以是指图像的宽度值除以图像的高度值所得的比例。示例性地，本申请实施例中涉及的任意图像的宽度可以是指该图像中的较长边，任意图像的高度可以是指该图像中的较短边。
需要说明的是，以下实施例为了方便说明，以本申请实施例的图像处理方法应用于对焊道图像的缺陷检测场景为例进行说明。应理解，当本申请实施例的图像处理方法应用于其它场景时，其实现原理和技术效果类似。
通常情况下，在焊道的焊接状态检测过程中，通过采集包含焊道区域的焊道图像，并基于检测模型对焊道图像进行缺陷检测，得到检测结果。由于顶盖焊接工艺的特点，焊道图像的长宽比严重失衡，会影响检测模型的检测精度。
相关技术中，通过对原始焊道图像经过多次线性插值的方式调整原始焊道图像的长宽比例，实现对焊道图像尺寸的放缩。但是线性插值会模糊原始焊道图像中的高频信息，使得相关技术处理后的焊道图像的细节信息缺失严重，因此，相关技术处理后的焊道图像与原始焊道图像的一致性较差，无法满足检测模型对输入图像的分辨率要求。
本申请实施例中涉及的任意图像可以包括但不限于以下三个维度：宽度（Width，W）维度、高度（High，H）维度、通道（Channel，C）维度，其中，通道C维度可以包括但不限于红（R）绿（G）蓝（B）三个通道。
图1为本申请实施例提供的图像的三个维度的示意图，如图1所示，图像可以包括W维度、H维度和C维度，其中，C维度也可以称之为图像的第0维度。
需要说明的是，本申请实施例中的原始图像和任意子图像块在通道C维度可以包括三个通道，但是在对原始图像划分重组后得到的目标图像在通道C维度可以包括N个通道数，其中，N为大于3的整数。
为了解决相关技术处理后的焊道图像与原始焊道图像的一致性较差，无法满足检测模型对输入图像的分辨率要求的问题，本申请实施例提出可以通过将长宽比失衡的原始图像沿着图像的宽度维度方向划分成多个子图像块，并将划分后的多个子图像块在通道维度（或者称为第0维度）重组得到目标图像。相对于相关技术中，本申请实施例不仅可以改善原始图像的长宽比失衡问题，还可以提高原始图像的图像信息的完备性（或者称之为完整性）以增强目标图像的特征信息，使得目标图像与原始图像的一致性较好，目标图像可以满足检测模型对输入图像的分辨率要求。
图2为本申请实施例提供的应用环境的示意图一，如图2所示，本申请实施例的应用环境中可以包括：焊接设备10和检测设备11；其中，焊接设备10用于对目标对象进行焊接形成焊道，例如，焊接设备10可以用于对电池的顶盖焊接，在顶盖焊接区域形成焊道；检测设备11具有图像采集功能，可以采集包含焊道区域的焊道图像，并根据焊道图像进行焊道缺陷检测；当然，检测设备11也可以无需具备图像采集功能，可以从其它具有图像采集功能的设备处获取到焊道图像。
本应用环境中，检测设备11可以采用本申请实施例提供的图像处理方法进行焊道缺陷检测。
需要说明的是，图2中的焊接设备10也可以集成有检测设备11的功能，相应地，焊接设备10可以采用本申请实施例提供的图像处理方法进行焊道缺陷检测。
图3为本申请实施例提供的应用环境的示意图二，如图3所示，本申请实施例的应用环境中可以包括：焊接设备10、图像采集设备12和控制设备13；其中，焊接设备10可以用于在控制设备13的控制下对目标对象进行焊接形成焊道；图像采集设备12具有图像采集功能，可以用于采集包含焊道区域的焊道图像，并将采集的焊道图像发送给控制设备13；控制设备13可以采用本申请实施例提供的图像处理方法进行焊道缺陷检测。
示例性地，本申请实施例中的控制设备13可以包括但不限于可编程逻辑控制器（Programmable Logic Controller，PLC），或者计算机设备。
在一些实施例中，图4为本申请一些实施例提供的图像处理方法的流程示意图，本申请实施例中以该方法应用于电子设备为例进行说明，其中，电子设备可以包括但不限于上述检测设备、上述集成有检测设备功能的焊接设备，或者上述控制设备。如图4所示，本申请实施例的方法可以包括以下步骤：
步骤S301、将待处理的原始图像划分为多个子图像块，其中，原始图像的长宽比大于第一预设阈值，子图像块的长宽比小于第二预设阈值，子图像块的通道数与原始图像的通道数一致，第二预设阈值小于或等于第一预设阈值。
本步骤中，考虑到原始图像的宽度值远大于高度值，原始图像的长宽比大于第一预设阈值，因此，电子设备可以沿着待处理的原始图像的宽度维度方向，将原始图像划分为多个子图像块，使得各子图像块的长宽比可以小于第二预设阈值（第二预设阈值小于或等于第一预设阈值），以便于划分后的各子图像块的长宽比可以满足检测模型对输入图像的长宽比需求。
需要说明的是，本申请实施例中的任意子图像块的通道数与原始图像的通道数一致。
图5为本申请实施例提供的图像划分重组的示意图，如图5所示，假设原始图像的C维度的通道数为3，原始图像沿宽度W维度方向划分为子图像块1、子图像块2和子图像块3，其中，各子图像块的通道数为3，各子图像块的高度值相同，且各子图像块的宽度值可以相同。
步骤S302、将多个子图像块在通道维度进行重组，得到目标图像，其中，目标图像的通道数大于或等于多个子图像块的总通道数，且，目标图像的长宽比小于第二预设阈值。
本步骤中，电子设备可以将上述步骤S301中得到的多个子图像块在通道维度进行重组，得到目标图像，其中，目标图像的通道数可以大于或等于多个子图像块的总通道数，以便于目标图像可以包含原始图像的所有子图像块的图像信息，从而可以保留原始图像中所有的全局图像特征信息和局部图像特征信息，提高了原始图像的图像信息的完备性以增强目标图像的特征信息，使得目标图像与原始图像的一致性较好。
例如，如图5所示，假设原始图像的C维度的通道数为3，原始图像沿宽度W维度方向划分为子图像块1、子图像块2和子图像块3，各子图像块的通道数为3，电子设备可以将子图像块1、子图像块2和子图像块3在通道C维度进行重组，得到目标图像，其中，目标图像的通道数可以大于或等于各子图像块的总通道数9。
应理解，由于本申请实施例中的目标图像包括的多个子图像块的长宽比小于第二预设阈值，因此，目标图像的长宽比小于第二预设阈值，以便于目标图像的长宽比可以满足检测模型对输入图像的长宽比需求。
可见，本申请实施例中，通过将原始图像划分后的所有子图像块在通道维度重组的方式，不仅可以改善原始图像的长宽比失衡，使得调整后的目标图像的长宽比可以满足检测模型对输入图像的长宽比需求，而且还可以提高原始图像的图像信息的完备性，使得目标图像与原始图像的一致性较好，目标图像可以满足检测模型对输入图像的分辨率要求，从而有利于提高检测模型的检测精度。
上述图像处理方法，通过将待处理的原始图像划分为多个子图像块，并将多个子图像块在通道维度进行重组，得到目标图像，其中，目标图像的通道数大于或等于多个子图像块的总通道数，目标图像的长宽比小于第二预设阈值。可见，相对于相关技术，本申请实施例中通过将原始图像划分后的所有子图像块在通道维度重组的方式，不仅可以调整原始图像的长宽比以满足检测模型对输入图像的长宽比需求，还可以提高原始图像的图像信息的完备性，使得目标图像与原始图像的一致性较好，目标图像可以满足检测模型对输入图像的分辨率要求，从而有利于提高检测模型的检测精度。
在一些实施例中，在本申请实施例提供的图像处理方法应用于焊道图像的缺陷检测应用场景的情况下，本申请实施例中的原始图像可以为焊道图像，检测模型可以为预设缺陷检测模型，上述电子设备还可以将目标图像输入预设缺陷检测模型，得到预设缺陷检测模型输出的检测结果。其中，预设缺陷检测模型可以用于识别出焊道图像中的焊道缺陷信息，其中，焊道缺陷信息可以包括但不限于焊道缺陷的位置和/或焊道缺陷的类型。
示例性地，本申请实施例中的预设缺陷检测模型可以包括但不限于人工智能（Artificial Intelligent，AI）视觉模型。
可见，本申请实施例中由于本申请实施例中预设缺陷检测模型的输入图像为通过将原始图像划分后的所有子图像块在通道维度重组得到的目标图像，不仅目标图像的长宽比满足预设缺陷检测模型对输入图像的长宽比需求，而且还包含了原始图像中所有的全局图像特征信息和局部图像特征信息，使得目标图像可以满足预设缺陷检测模型对输入图像的分辨率要求，因此，本申请实施例的预设缺陷检测模型可以输出更加准确的焊道缺陷检测结果。相对于相关技术，本申请实施例可以将检测模型的检测精度从较低的检测精度提高至95%或者更高，提升效果显著。
在一些实施例中，图6为本申请一些实施例提供的子图像块重组方法的流程示意图，在上述实施例的基础上，本申请实施例中对上述步骤S302中“将多个子图像块在通道维度进行重组得到目标图像”的相关内容进行介绍。如图6所示，上述步骤S302可以包括以下步骤：
步骤S3021、获取预设图像张量，预设图像张量的通道数与目标图像的通道数一致。
本步骤中，电子设备可以获取预设图像张量，其中，预设图像张量的通道数与目标图像的通道数可以一致，以便于预设图像张量可以容纳原始图像的所有子图像块的图像信息。
一种可能的实现方式中，电子设备可以根据预设的张量尺寸信息生成预设图像张量，其中，预设的张量尺寸信息可以包括但不限于：张量的高度、张量的宽度和张量的通道数。
另一种可能的实现方式中，电子设备可以从预设的图像张量库中获取预设图像张量。
当然，电子设备还可以通过其它方式获取预设图像张量。
示例性地，本申请实施例中的预设图像张量中的各元素的初始值可以为预设数值。
例如，预设图像张量中的各元素的初始值可以为0，或者可以为经过归一化处理的随机噪声值。
对应地，上述步骤S301可以包括：
根据预设图像张量的高度和宽度，对原始图像进行划分处理，得到多个子图像块，以使各子图像块的高度均小于或等于预设图像张量的高度，各子图像块的宽度均小于或等于预设图像张量的宽度。
本申请实施例中，电子设备可以根据预设图像张量的高度和宽度，对原始图像进行划分处理，得到多个子图像块，以使各子图像块的高度均小于或等于预设图像张量的高度，各子图像块的宽度均小于或等于预设图像张量的宽度，以便于预设图像张量可以容纳原始图像的所有子图像块的图像信息。
示例性地，电子设备可以根据预设图像张量的高度和宽度，沿宽度维度方向对原始图像进行划分处理，得到多个子图像块。
例如，在原始图像的宽度是预设图像张量的宽度的整数倍的情况下，电子设备可以根据预设图像张量的高度和宽度，沿宽度维度方向对原始图像进行划分处理，得到多个子图像块，其中，各子图像块的高度均等于预设图像张量的高度，各子图像块的宽度均等于预设图像张量的宽度。
又例如，在原始图像的宽度不是预设图像张量的宽度的整数倍的情况下，电子设备可以根据预设图像张量的高度和宽度，沿宽度维度方向对原始图像进行划分处理，得到多个子图像块，其中，各子图像块的高度均等于预设图像张量的高度，原始图像中除最后一个子图像块之外的其它子图像块的宽度均等于预设图像张量的宽度，最后一个子图像块的宽度小于预设图像张量的宽度。
应理解，在最后一个子图像块的宽度小于预设图像张量的宽度的情况下，电子设备还可以采用预设数值将最后一个子图像块的宽度填充到与预设图像张量的宽度相同；当然，也可以无需对最后一个子图像块进行填充操作。
步骤S3022、分别将多个子图像块填充至预设图像张量的对应位置处，得到目标图像。
本步骤中，电子设备可以通过遍历原始图像划分后的各子图像块，将各子图像块分别填充至预设图像张量的对应位置处得到目标图像，从而实现了将原始图像划分后的所有子图像块在通道维度的重组。
例如，假设原始图像划分为子图像块1、子图像块2和子图像块3，其中，每个子图像块的通道数为3，电子设备可以将子图像块1的3个通道的图像信息填充至预设图像张量的通道1-通道3中的对应位置、将子图像块2的3个通道的图像信息填充至预设图像张量的通道4-通道6中的对应位置，以及将子图像块3的3个通道的图像信息填充至预设图像张量的通道7-通道9中的对应位置，从而得到目标图像。
应理解，对于预设图像张量中除了放置各子图像块之外的其它位置可以采用预设数值来填充，可以使得不管采集到的原始图像是否一致，本申请实施例中重组后的目标图像的尺寸信息为一致的，以便于检测模型的输入图像的尺寸信息为一致的，从而有利于提高检测模型的识别效率。
进一步地，考虑到图像特征值域比较分散，为了消除特征之间的量纲影响，增加特征之间的可比性，电子设备还可以对填充至预设图像张量的对应位置处的图像进行归一化处理。
可选地，电子设备可以分别将多个子图像块填充至预设图像张量的对应位置处得到中间图像，并对中间图像在通道维度进行归一化处理，得到目标图像。
本申请实施例中，电子设备可以分别将多个子图像块填充至预设图像张量的对应位置处得到中间图像，并可以采用预设的归一化算法对中间图像在通道维度进行均值归一化处理得到目标图像，以便于目标图像的值域分布更加一致，有利于提高检测模型的收敛速度。
综上，本申请实施例中，通过获取预设图像张量，预设图像张量的通道数与目标图像的通道数一致；进一步地，分别将多个子图像块填充至预设图像张量的对应位置处，得到目标图像。可见，通过将原始图像划分后的多个子图像块填充至预设图像张量的方式，可以简单且快速地实现将原始图像划分后的所有子图像块在通道维度的重组，以便于在实现调整原始图像长宽比的基础上，还可以提高原始图像的图像信息的完备性，使得目标图像与原始图像的一致性较好，目标图像还可以满足检测模型对输入图像的分辨率要求。
在一些实施例中，图7为本申请一些实施例提供的预设图像张量的尺寸信息的确定方法的流程示意图，在上述实施例的基础上，本申请实施例中对上述实施例中的预设图像张量的尺寸信息的确定方式进行介绍。如图7所示，本申请实施例的方法可以包括以下步骤：
步骤S601、确定需要利用预设图像张量进行处理的图像的统一高度值和需要利用预设图像张量进行处理的图像的最大宽度值，其中，需要利用预设图像张量进行处理的图像的高度均等于统一高度值。
示例性地，本申请实施例中，需要利用预设图像张量进行处理的图像的高度可以均等于统一高度值。
本步骤中，电子设备可以确定需要利用预设图像张量进行处理的图像的统一高度值和需要利用预设图像张量进行处理的图像的最大宽度值。
一种可能的实现方式中，电子设备可以接收用户输入的，或者其它设备发送的统一高度值和最大宽度值。
另一种可能的实现方式中，电子设备可以根据历史检测到各图像的高度值和宽度值，确定统一高度值和最大宽度值，其中，最大宽度值大于或等于各图像的宽度值。
当然，电子设备还可以通过其它方式确定统一高度值和最大宽度值。
步骤S602、根据统一高度值和最大宽度值确定预设图像张量的通道数，并根据统一高度值确定预设图像张量的高度和宽度。
本步骤中，电子设备可以根据上述步骤S601中确定的统一高度值和最大宽度值确定预设图像张量的通道数，并根据统一高度值确定预设图像张量的高度和宽度。
示例性地，电子设备根据统一高度值和最大宽度值，可以通过以下公式（1）确定预设图像张量的通道数。
公式（1）
其中，C1代表预设图像张量的通道数，C0代表原始图像的通道数，Wmax代表最大宽度值，Hu代表统一高度值。
当然，电子设备根据统一高度值和最大宽度值，还可以通过上述公式（1）的其它变形或等效公式确定预设图像张量的通道数。
需要说明的是，在的取值不是整数的情况下，可以对该取值进行向上取整处
理。
进一步地，电子设备可以根据统一高度值确定预设图像张量的高度和宽度。
示例性地，电子设备可以将统一高度值确定为预设图像张量的高度，以及将统一高度值和检测模型对输入图像的长宽比需求确定预设图像张量的宽度。
例如，假设检测模型对输入图像的长宽比需求为1，则电子设备可以将统一高度值确定为预设图像张量的宽度。
又例如，假设检测模型对输入图像的长宽比需求为2，则电子设备可以将统一高度值的2倍值确定为预设图像张量的长度。
电子设备综上，本申请实施例中，通过确定需要利用预设图像张量进行处理的图像的统一高度值和需要利用预设图像张量进行处理的图像的最大宽度值；进一步地，根据统一高度值和最大宽度值确定预设图像张量的通道数，并根据统一高度值确定预设图像张量的高度和宽度。可见，通过根据需要利用预设图像张量进行处理的图像的统一高度值和最大宽度值，确定预设图像张量的尺寸信息的方式，可以使得在预设图像张量可以容纳各种需要利用预设图像张量进行处理的图像的所有子图像块的图像信息的基础上，还可以尽量减少预设图像张量的尺寸，从而不仅有利于提高检测模型的识别速率，还可以节省存储空间。
为了便于理解，本申请下述实施例中以原始图像为焊道图像为例进行介绍。
例如，假设任意原始图像，其中，3为原始图像的通道数，H为原始图像
的高度，W为原始图像的宽度，W远大于H，所有原始图像的高度H相同，电子设备可以获取预
设图像张量，其中，预设图像张量可以为全0张量，Wmax代表所有原始图像
的最大宽度值，预设图像张量的高度和宽度均为H。
进一步地，对于任意原始图像I，电子设备可以将原始图像I沿宽度维度方向划分
为多个子图像块，并将多个子图像块填充至预设图像张量的对应位置处，并在通道维度进
行归一化处理得到目标图像，其中，各子图像块的高度和宽度均为H。
可见，本申请实施例中，通过将原始图像划分成相同的多个子图像块，并将多个子图像块填充至预设图像张量的对应位置处，实现了在通道维度重组子图像块的方式，不仅可以改善原始图像的长宽比失衡问题以满足检测模型对输入图像的长宽比需求，还可以提高原始图像的图像信息的完备性，使得目标图像与原始图像的一致性较好，目标图像可以满足检测模型对输入图像的分辨率要求，从而有利于提高检测模型的检测精度。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像处理方法的图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。
在一些实施例中，图8为本申请一些实施例提供的图像处理装置的结构示意图，本申请实施例提供的图像处理装置可以应用于电子设备中。如图8所示，本申请实施例的图像处理装置可以包括：划分模块701和重组模块702。
其中，划分模块701，用于将待处理的原始图像划分为多个子图像块，其中，原始图像的长宽比大于第一预设阈值，子图像块的长宽比小于第二预设阈值，子图像块的通道数与原始图像的通道数一致，第二预设阈值小于或等于第一预设阈值；
重组模块702，用于将多个子图像块在通道维度进行重组，得到目标图像；
其中，目标图像的通道数大于或等于多个子图像块的总通道数，且，目标图像的长宽比小于第二预设阈值。
在一些实施例中，重组模块702，包括：
获取单元，用于获取预设图像张量，预设图像张量的通道数与目标图像的通道数一致；
填充单元，用于分别将多个子图像块填充至预设图像张量的对应位置处，得到目标图像。
在一些实施例中，划分模块701具体用于：
根据预设图像张量的高度和宽度，对原始图像进行划分处理，得到多个子图像块，以使各子图像块的高度均小于或等于预设图像张量的高度，各子图像块的宽度均小于或等于预设图像张量的宽度。
在一些实施例中，预设图像张量中的各元素的初始值为预设数值。
在一些实施例中，填充单元具体用于：
分别将多个子图像块填充至预设图像张量的对应位置处，得到中间图像；
对中间图像在通道维度进行归一化处理，得到目标图像。
在一些实施例中，图像处理装置还包括：
第一确定模块，用于确定需要利用预设图像张量进行处理的图像的统一高度值和需要利用预设图像张量进行处理的图像的最大宽度值，其中，需要利用预设图像张量进行处理的图像的高度均等于统一高度值；
第二确定模块，用于根据统一高度值和最大宽度值确定预设图像张量的通道数，并根据统一高度值确定预设图像张量的高度和宽度。
在一些实施例中，原始图像为焊道图像。
本申请实施例提供的图像处理装置可以用于执行本申请上述图像处理方法实施例中关于电子设备的技术方案，其实现原理和技术效果类似，此处不再赘述。
上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中，图9为本申请一些实施例中电子设备的结构示意图，本申请实施例中的电子设备可以包括但不限于上述实施例中的检测设备、集成有检测设备功能的焊接设备，或者控制设备。如图9所示，本申请实施例提供的电子设备可以包括通过系统总线连接的处理器、存储器和通信接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的设备进行有线或无线方式的通信。该计算机程序被处理器执行时以实现本申请上述图像处理方法实施例中关于电子设备的技术方案，其实现原理和技术效果类似，此处不再赘述。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。例如，电子设备中还可以包括但不限于图像采集部件，以便于可以采集待处理的原始图像。
在一些实施例中，还提供了一种电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现本申请上述图像处理方法实施例中关于电子设备的技术方案，其实现原理和技术效果类似，此处不再赘述。
在一些实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请上述图像处理方法实施例中关于电子设备的技术方案，其实现原理和技术效果类似，此处不再赘述。
在一些实施例中，还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本申请上述图像处理方法实施例中关于电子设备的技术方案，其实现原理和技术效果类似，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，其均应涵盖在本申请的权利要求和说明书的范围当中。尤其是，只要不存在结构冲突，各个实施例中所提到的各项技术特征均可以任意方式组合起来。本申请并不局限于文中公开的特定实施例，而是包括落入权利要求的范围内的所有技术方案。
Claims (8)
1.一种图像处理方法，其特征在于，所述方法包括：
沿着待处理的原始图像的宽度维度方向，将所述待处理的原始图像划分为多个子图像块，其中，所述原始图像的长宽比大于第一预设阈值，所述子图像块的长宽比小于第二预设阈值，所述子图像块的通道数与所述原始图像的通道数一致，所述第二预设阈值小于或等于所述第一预设阈值；所述原始图像的宽度是指所述原始图像中的长边；所述原始图像的高度与所述各子图像块的高度相同；
将所述多个子图像块在通道维度进行重组，得到目标图像；
其中，所述目标图像的通道数大于或等于所述多个子图像块的总通道数，且，所述目标图像的长宽比小于所述第二预设阈值；所述目标图像包含所述原始图像的所有子图像块的图像信息；
其中，所述将所述多个子图像块在通道维度进行重组，得到目标图像，包括：
获取预设图像张量，所述预设图像张量的通道数与所述目标图像的通道数一致；
分别将所述多个子图像块填充至所述预设图像张量的对应位置处，得到中间图像；
对所述中间图像在通道维度进行归一化处理，得到所述目标图像。
2.根据权利要求1所述的方法，其特征在于，所述沿着待处理的原始图像的宽度维度方向，将所述待处理的原始图像划分为多个子图像块，包括：
根据所述预设图像张量的高度和宽度，沿着所述原始图像的宽度维度方向对所述原始图像进行划分处理，得到所述多个子图像块，以使各所述子图像块的高度均小于或等于所述预设图像张量的高度，各所述子图像块的宽度均小于或等于所述预设图像张量的宽度。
3.根据权利要求1所述的方法，其特征在于，所述预设图像张量中的各元素的初始值为预设数值。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述获取预设图像张量之前，所述方法还包括：
确定需要利用所述预设图像张量进行处理的图像的统一高度值和需要利用所述预设图像张量进行处理的图像的最大宽度值，其中，需要利用所述预设图像张量进行处理的图像的高度均等于所述统一高度值；
根据所述统一高度值和所述最大宽度值确定所述预设图像张量的通道数，并根据所述统一高度值确定所述预设图像张量的高度和宽度。
5.根据权利要求1-3中任一项所述的方法，其特征在于，所述原始图像为焊道图像。
6.一种图像处理装置，其特征在于，所述装置包括：
划分模块，用于沿着待处理的原始图像的宽度维度方向，将所述待处理的原始图像划分为多个子图像块，其中，所述原始图像的长宽比大于第一预设阈值，所述子图像块的长宽比小于第二预设阈值，所述子图像块的通道数与所述原始图像的通道数一致，所述第二预设阈值小于或等于所述第一预设阈值；所述原始图像的宽度是指所述原始图像中的长边；
重组模块，用于将所述多个子图像块在通道维度进行重组，得到目标图像；
其中，所述目标图像的通道数大于或等于所述多个子图像块的总通道数，且，所述目标图像的长宽比小于所述第二预设阈值；所述目标图像包含所述原始图像的所有子图像块的图像信息；所述原始图像的高度与所述各子图像块的高度相同；
其中，所述重组模块具体用于：获取预设图像张量，所述预设图像张量的通道数与所述目标图像的通道数一致；分别将所述多个子图像块填充至所述预设图像张量的对应位置处，得到中间图像；对所述中间图像在通道维度进行归一化处理，得到所述目标图像。
7.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-5中任一项所述的方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310877081.2A CN116596931B (zh) | 2023-07-18 | 2023-07-18 | 图像处理方法、装置、设备、存储介质和程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310877081.2A CN116596931B (zh) | 2023-07-18 | 2023-07-18 | 图像处理方法、装置、设备、存储介质和程序产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116596931A CN116596931A (zh) | 2023-08-15 |
| CN116596931B true CN116596931B (zh) | 2023-11-17 |
Family
ID=87590338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310877081.2A Active CN116596931B (zh) | 2023-07-18 | 2023-07-18 | 图像处理方法、装置、设备、存储介质和程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116596931B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7567715B1 (en) * | 2004-05-12 | 2009-07-28 | The Regents Of The University Of California | System and method for representing and encoding images |
| CN110390666A (zh) * | 2019-06-14 | 2019-10-29 | 平安科技（深圳）有限公司 | 道路损伤检测方法、装置、计算机设备及存储介质 |
| CN113096043A (zh) * | 2021-04-09 | 2021-07-09 | 杭州睿胜软件有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN115735224A (zh) * | 2021-06-25 | 2023-03-03 | 京东方科技集团股份有限公司 | 非抽取的图像处理方法及装置 |
| WO2023087741A1 (zh) * | 2021-11-18 | 2023-05-25 | 上海商汤智能科技有限公司 | 缺陷检测方法及装置、电子设备、存储介质及计算机程序产品 |
| CN116433491A (zh) * | 2023-04-11 | 2023-07-14 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备、存储介质及产品 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108875535B (zh) * | 2018-02-06 | 2023-01-10 | 北京旷视科技有限公司 | 图像检测方法、装置和系统及存储介质 |
-
2023
- 2023-07-18 CN CN202310877081.2A patent/CN116596931B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7567715B1 (en) * | 2004-05-12 | 2009-07-28 | The Regents Of The University Of California | System and method for representing and encoding images |
| CN110390666A (zh) * | 2019-06-14 | 2019-10-29 | 平安科技（深圳）有限公司 | 道路损伤检测方法、装置、计算机设备及存储介质 |
| CN113096043A (zh) * | 2021-04-09 | 2021-07-09 | 杭州睿胜软件有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN115735224A (zh) * | 2021-06-25 | 2023-03-03 | 京东方科技集团股份有限公司 | 非抽取的图像处理方法及装置 |
| WO2023087741A1 (zh) * | 2021-11-18 | 2023-05-25 | 上海商汤智能科技有限公司 | 缺陷检测方法及装置、电子设备、存储介质及计算机程序产品 |
| CN116433491A (zh) * | 2023-04-11 | 2023-07-14 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备、存储介质及产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116596931A (zh) | 2023-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180191371A1 (en) | Data compression and decompression method of demura table, and mura compensation method | |
| US20120163704A1 (en) | Apparatus and method for stereo matching | |
| KR20110046904A (ko) | 검색 영역을 제한한 이미지 복원 장치 및 방법 | |
| CN108345832A (zh) | 一种人脸检测的方法、装置及设备 | |
| CN116012515A (zh) | 一种神经辐射场网络训练方法以及相关设备 | |
| CN116596931B (zh) | 图像处理方法、装置、设备、存储介质和程序产品 | |
| JP7352706B2 (ja) | 貨物計数方法及び装置、コンピュータ装置、並びに記憶媒体 | |
| US10819368B2 (en) | Method for compressing and restoring time series data | |
| CN112073718A (zh) | 一种电视机花屏检测方法、装置、计算机设备及储存介质 | |
| US6920244B2 (en) | Data-efficient and self adapting imaging spectrometry method and an apparatus thereof | |
| US20230093967A1 (en) | Purple-fringe correction method and purple-fringe correction device | |
| JP2020098455A (ja) | 物体識別システム、物体識別方法、並びに、画像識別プログラム | |
| CN115049558A (zh) | 模型训练、人脸图像处理方法及装置、电子设备及可读存储介质 | |
| CN113989114A (zh) | 一种图像缩小处理方法和装置 | |
| CN113947524A (zh) | 基于全卷积图神经网络的全景图片显著性预测方法及设备 | |
| CN117994151A (zh) | 图像处理方法、装置、计算机设备、存储介质和程序产品 | |
| CN108377379B (zh) | 影像深度信息的优化方法与影像处理装置 | |
| US11604717B2 (en) | Processor performance measurement apparatus and processor performance measurement method | |
| US20220383581A1 (en) | Texture mapping method using reference image, and computing apparatus performing texture mapping method | |
| CN116883261A (zh) | 图像去噪方法、装置、计算机设备、存储介质和产品 | |
| CN117710235B (zh) | 图像目标增强方法、装置、计算机设备和存储介质 | |
| CN113643406B (zh) | 图像生成方法、电子设备及计算机可读存储介质 | |
| US8442359B2 (en) | Image interpolation method and apparatus using reference block based on direction | |
| EP3441934B1 (en) | Image processing device and image processing method | |
| CN109005411B (zh) | 图像压缩方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |