CN112084728B - 基于pix2pix的PCB灰度图像着色方法及系统 - Google Patents

Abstract

本发明属于PCB板检测测量技术领域，特别涉及一种基于pix2pix的PCB灰度图像着色方法及系统，收集图像数据集；构造pix2pix网络模型，包含：用于生成器和辅助训练生成器的判别器；利用图像数据集中PCB灰度图像数据作为模型中生成器输入、利用PCB对应彩色图像数据和生成器生成的着色图像作为判别器输入，对pix2pix网络模型生成器进行调优训练和参数调整，以获取收敛后的网络模型，并确定用于目标图像着色处理的最终pix2pix网络模型；将待着色的目标PCB灰度图像输入最终pix2pix网络模型中，通过该网络模型中生成器生成着色图像并输出。本发明根据PCB实物各组成部分的灰度图像特点实现自动化PCB着色方案，突出PCB要素分布，增强PCB着色的真实感，便于PCB电路板检测测量，具有较强应用前景。

Description

基于pix2pix的PCB灰度图像着色方法及系统

技术领域

本发明属于PCB板检测测量技术领域，特别涉及一种基于pix2pix的PCB灰度图像着色方法及系统。

背景技术

随着信息技术的发展及其在工业领域越来越广泛的应用，电子设备在工业装备的比例大幅增加。电子设备的质量以及可靠性已经成为了影响业务正常开展的关键因素。作为电子器件及芯片的载体，PCB电路板是工业装备的重要组成部分。随着PCB设备的老化以及使用不当等原因造成PCB出现焊点松动、虚焊、断线等现象，导致电路出现断路、短路等故障，破坏了电路原来的连接关系，使得PCB不能发挥其正常功能，影响整个电子设备或系统的正常运行，甚至影响业务工作的正常开展。获取PCB的电路原理图的通常做法是对已经安装各种器件的未知电路板进行非破坏测量，获得整个电路板上元器件引脚的连线关系，形成测量网表，然后依据测量网表进行逻辑综合，绘制出电路原理图。但随着电子技术与制造工艺的发展和提高，以BGA(球栅阵列)封装为代表的新型封装技术使常规的接触式测量手段失效。

发明内容

为此，本发明提供一种基于pix2pix的PCB灰度图像着色方法及系统，根据PCB实物各组成部分的灰度图像特点实现自动化PCB着色方案，突出PCB要素分布，增强PCB着色的真实感，便于PCB电路板检测测量。

按照本发明所提供的设计方案，一种基于pix2pix的PCB灰度图像着色方法，包含如下内容：

收集图像数据集，包含：收集多种型号类别的PCB，并获取PCB各层灰度图像和彩色图像，基于灰度图像和彩色图像制成用于划分训练样本库和测试样本库的数据集，每个样本库中均包含用于模型输入的灰度图像数据和对应作为模型输出的彩色图像数据；

构造用于PCB灰度图像着色的pix2pix网络模型，包含：用于依据输入生成着色图片的生成器和用于依据输入和生成的着色图片进行真实性判别以辅助训练生成器的判别器；

利用训练样本库中PCB灰度图像数据作为模型中生成器输入、利用PCB对应彩色图像数据和生成器生成的着色图像作为判别器输入，对pix2pix网络模型生成器进行调优训练；并利用测试样本库中PCB图像数据对训练后的网络模型进行参数调整，以获取收敛后的网络模型，并确定用于目标图像着色处理的最终pix2pix网络模型；

将待着色的目标PCB灰度图像输入最终pix2pix网络模型中，通过该网络模型中生成器生成着色图像并输出。

作为本发明基于pix2pix的PCB灰度图像着色方法，进一步地，采用数据增强策略对数据集进行扩充，并按预设比例将数据集划分为训练样本库、验证样本库和测试样本库。

作为本发明基于pix2pix的PCB灰度图像着色方法，进一步地，数据集扩充中，将每组PCB灰度图像和彩色图像同步进行翻转和/旋转和/或平移以扩充数据集规模。

作为本发明基于pix2pix的PCB灰度图像着色方法，进一步地，利用验证样本库中PCB图像数据对收敛后pix2pix网络模型中的生成器着色效果进行验证，以确定用于目标图像着色处理的最终pix2pix网络模型。

作为本发明基于pix2pix的PCB灰度图像着色方法，进一步地，pix2pix网络模型中生成器采用全卷积网络结构，以使输入图像尺寸不受限制且使得输入输出尺寸一致；判别器采用全连接层结构，通过调整全连接层入口参数使全连接层入口与卷积层输出保持一致。

作为本发明基于pix2pix的PCB灰度图像着色方法，进一步地，多种型号类别的PCB分别利用锥束CT扫描得到PCB各层灰度图像，并通过对PCB打磨拍照来获取各层彩色图像。

作为本发明基于pix2pix的PCB灰度图像着色方法，进一步地，收集图像数据集中PCB的型号类别至少包括不同形状类别和/或不同尺寸类别和/或不同颜色类别。

作为本发明基于pix2pix的PCB灰度图像着色方法，进一步地，pix2pix网络模型中的生成器包含分别面向多种图像尺寸类型的若干规格生成器，对应每种规格生成器均连接有用于辅助训练的判别器；依据模型输入的图像尺寸匹配相应规格生成器。

作为本发明基于pix2pix的PCB灰度图像着色方法，进一步地，pix2pix网络模型中的生成器包含256*256、512*512、1024*1024三种规格生成器。

进一步地，本发明还提供一种基于pix2pix的PCB灰度图像着色系统，包含：数据收集模块、模型构建模块、模型训练模块和图像着色模块，其中，

数据收集模块，用于收集图像数据集，包含：收集多种型号类别的PCB，并获取PCB各层灰度图像和彩色图像，基于灰度图像和彩色图像制成用于划分训练样本库和测试样本库的数据集，每个样本库中均包含用于模型输入的灰度图像数据和对应作为模型输出的彩色图像数据；

模型构建模块，用于构造用于PCB灰度图像着色的pix2pix网络模型，包含：用于依据输入生成着色图片的生成器和用于依据输入和生成的着色图片进行真实性判别以辅助训练生成器的判别器；

模型训练模块，用于利用训练样本库中PCB灰度图像数据作为模型中生成器输入、利用PCB对应彩色图像数据和生成器生成的着色图像作为判别器输入，对pix2pix网络模型生成器进行调优训练；并利用测试样本库中PCB图像数据对训练后的网络模型进行参数调整，以获取收敛后的网络模型，并确定用于目标图像着色处理的最终pix2pix网络模型；

图像着色模块，用于将待着色的目标PCB灰度图像输入最终pix2pix网络模型中，通过该网络模型中生成器生成着色图像并输出。

本发明的有益效果：

本发明通过构建pix2pix网络模型对PCB灰度图像进行着色得到PCB彩色图像，进一步采用全卷积的生成器网络结构使输入图像大小不受限制并且输出和输入尺寸相同，进而在实现着色效果的同时始终保证图像的分辨率和长宽比例不变，可以利用本发明方案直接对锥束CT扫描得到的灰度图像进行着色并分析，避免对PCB进行破坏，便于通过突出要素分布以辅助工作人员对PCB故障进行排查，提高工作人员对PCB故障排查的效率，具有较好的应用前景。

附图说明：

图1为实施例中PCB灰度图像着色方法流程示意；

图2为实施例中生成器为全卷积结构的pix2pix网络用于PCB灰度图像着色的流程示意；

图3为实施例中网络模型训练过程示意；

图4为实施例中网络模型训练过程图像数据转换示意。

具体实施方式：

为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。

本发明实施例，参见图1所示，提供一种基于pix2pix的PCB灰度图像着色方法，包含如下内容：

S101、收集图像数据集，包含：收集多种型号类别的PCB，并获取PCB各层灰度图像和彩色图像，基于灰度图像和彩色图像制成用于划分训练样本库和测试样本库的数据集，每个样本库中均包含用于模型输入的灰度图像数据和对应作为模型输出的彩色图像数据；

S102、构造用于PCB灰度图像着色的pix2pix网络模型，包含：用于依据输入生成着色图片的生成器和用于依据输入和生成的着色图片进行真实性判别以辅助训练生成器的判别器；

S103、利用训练样本库中PCB灰度图像数据作为模型中生成器输入、利用PCB对应彩色图像数据和生成器生成的着色图像作为判别器输入，对pix2pix网络模型生成器进行调优训练；并利用测试样本库中PCB图像数据对训练后的网络模型进行参数调整，以获取收敛后的网络模型，并确定用于目标图像着色处理的最终pix2pix网络模型；

S104、将待着色的目标PCB灰度图像输入最终pix2pix网络模型中，通过该网络模型中生成器生成着色图像并输出。

pix2pix使用条件GAN(Conditional GANs)进行图像到图像转换，本发明实施例中根据PCB实物各组成部分的灰度图像特点通过构建pix2pix网络模型对PCB灰度图像进行着色，实现自动化PCB着色方案，突出PCB要素分布，增强PCB着色的真实感，便于PCB电路板检测测量。

作为本发明实施例中基于pix2pix的PCB灰度图像着色方法，进一步地，采用数据增强策略对数据集进行扩充，并按预设比例将数据集划分为训练样本库、验证样本库和测试样本库。进一步地，数据集扩充中，将每组PCB灰度图像和彩色图像同步进行翻转和/旋转和/或平移以扩充数据集规模。通过对数据集扩充增强，以便于提升网络模型训练收敛效果。

作为本发明实施例中基于pix2pix的PCB灰度图像着色方法，进一步地，利用验证样本库中PCB图像数据对收敛后pix2pix网络模型中的生成器着色效果进行验证，以确定用于目标图像着色处理的最终pix2pix网络模型，提升网络模型着色效果。

作为本发明实施例中基于pix2pix的PCB灰度图像着色方法，进一步地，pix2pix网络模型中生成器采用全卷积网络结构，以使输入图像尺寸不受限制且使得输入输出尺寸一致；判别器采用全连接层结构，通过调整全连接层入口参数使全连接层入口与卷积层输出保持一致。进一步地，pix2pix网络模型中的生成器包含分别面向多种图像尺寸类型的若干规格生成器，对应每种规格生成器均连接有用于辅助训练的判别器；依据模型输入的图像尺寸匹配相应规格生成器。进一步地，pix2pix网络模型中的生成器包含256*256、512*512、1024*1024三种规格生成器。

数据集中样本数据图像数据尺寸不统一，经过统计分析可知，图像数据主要分布在256*256、512*512、1024*1024三种规格附近，需要针对不同规格分别设计网络并训练使着色效果更好。Pix2pix网络包含生成器网络和判别器网络，其中生成器是全卷积网络，对于输入样本的尺寸没有限制，不需要对网络模型结构进行修改，但需要分别训练；判别器中存在全连接层，因此需要对结构进行微调，使全连接层入口与卷积层输出保持一致。

利用锥束CT成像技术可以在三维空间中对PCB板进行成像，提供传统X射线成像技术和X射线断层成像CT无法实现的三维立体图像，并避免了影像重叠、混淆真实缺陷的问题，可清楚地展示被测物体内部结构，提高识别物体内部缺陷的能力，更准确地识别物体内部缺陷的位置，已经成为PCB原理图获取的重要手段。根据CT成像原理，PCB图像为单通道灰度图像，PCB板上导线、过孔、焊盘等要素均呈现出不同的亮度分布，通过人工及自动化手段将这些PCB要素分布提取出来，是实现PCB原理图分析的重要基础。作为本发明实施例中的基于pix2pix的PCB灰度图像着色方法，进一步地，多种型号类别的PCB分别利用锥束CT扫描得到PCB各层灰度图像，并通过对PCB打磨拍照来获取各层彩色图像。

作为本发明基于pix2pix的PCB灰度图像着色方法，进一步地，收集图像数据集中PCB的型号类别至少包括不同形状类别和/或不同尺寸类别和/或不同颜色类别。收集多种型号PCB，包括不同形状、尺寸、颜色等规格，涵盖足够大的PCB种类范围；每一块PCB每一层的灰度图像和彩色图像要一一对应，作为训练的一组数据。

参见图2所示，首先收集各种型号类别(包括形状、尺寸、颜色等)的PCB并利用锥束CT扫描得到各层灰度图像，打磨PCB后得到各层彩色图像。最终构建每一块PCB每一层的灰度图像和彩色图像一一对应的数据样本库。数据图像分为三类，灰度图像、标签图像和生成图像。其中标签图像为真实彩色图像，灰度图像为真实彩色图像灰度化得到图像，生成图像为灰度图像通过生成器得到的着色图像。基于得到的PCB各层灰度图像和彩色图像，采用数据增强的策略，对每组灰度图像和彩色图像同步进行翻转、旋转、平移等方式扩充数据规模，并按照一定的比例将数据集划分为训练集、验证集和测试集。生成器采用全卷积结构的pix2pix网络模型，使输入灰度图像尺寸不受限制且输出与输入尺寸一致。然后基于训练样本进行网络训练调优，根据模型在训练集和测试集上的着色效果进行参数调整和训练适时停止，得到最佳的PCB灰度图像着色模型。参见图3中，网络模型生成器训练中，利用全卷积的生成器结构，作为256*256、512*512、1024*1024三个规格的生成器，编号为生成器1，生成器2，生成器3。对于生成器1，将所有训练图像数据尺寸调整为256*256，对该生成器网络进行训练；对于生成器2，训练图像数据尺寸调整为512*512，对该生成器网络进行训练；对于生成器3，训练图像数据尺寸调整为1024*1024，对该生成器网络进行训练。判别器结构采用卷积层加全连接层，卷积层参数相同，改变全连接层入口参数得到三个判别器1、2、3。判别器1输入规格对应生成器1输出规格256*256，判别器2输入规格对应生成器2输出规格512*512，判别器3输入规格对应生成器3输出规格1024*1024。三个判别器通过对应数据集分别进行训练优化。数据测试中，参见图4所示，根据图像尺寸找到最接近的规格，调整图像尺寸；将调整后的图像通过对应的生成器模型进行转换；将图像调整回原尺寸并输出结果。实现通过直接对锥束CT扫描得到的PCB灰度图像进行着色，通过全卷积结构的生此器保证输出彩色图像和输入灰度图像的分辨率以及长宽比例保持不变，突出PCB要素分布，从而提高工作人员对PCB故障排查的效率。

进一步地，基于上述的方法，本发明实施例还提供一种基于pix2pix的PCB灰度图像着色系统，包含：数据收集模块、模型构建模块、模型训练模块和图像着色模块，其中，

数据收集模块，用于收集图像数据集，包含：收集多种型号类别的PCB，并获取PCB各层灰度图像和彩色图像，基于灰度图像和彩色图像制成用于划分训练样本库和测试样本库的数据集，每个样本库中均包含用于模型输入的灰度图像数据和对应作为模型输出的彩色图像数据；

模型构建模块，用于构造用于PCB灰度图像着色的pix2pix网络模型，包含：用于依据输入生成着色图片的生成器和用于依据输入和生成的着色图片进行真实性判别以辅助训练生成器的判别器；

模型训练模块，用于利用训练样本库中PCB灰度图像数据作为模型中生成器输入、利用PCB对应彩色图像数据和生成器生成的着色图像作为判别器输入，对pix2pix网络模型生成器进行调优训练；并利用测试样本库中PCB图像数据对训练后的网络模型进行参数调整，以获取收敛后的网络模型，并确定用于目标图像着色处理的最终pix2pix网络模型；

图像着色模块，用于将待着色的目标PCB灰度图像输入最终pix2pix网络模型中，通过该网络模型中生成器生成着色图像并输出。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。

基于上述的系统，本发明实施例还提供一种服务器，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的系统。

基于上述的系统，本发明实施例还提供一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述的系统。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述系统实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述系统实施例中相应内容。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述系统实施例中的对应过程，在此不再赘述。

在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、系统和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和系统，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述系统的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于pix2pix的PCB灰度图像着色方法，其特征在于，包含如下内容：

收集图像数据集，包含：收集多种型号类别的PCB，并获取PCB各层灰度图像和彩色图像，基于灰度图像和彩色图像制成用于划分训练样本库和测试样本库的数据集，每个样本库中均包含用于模型输入的灰度图像数据和对应作为模型输出的彩色图像数据；

构造用于PCB灰度图像着色的pix2pix网络模型，包含：用于依据输入生成着色图片的生成器和用于依据输入和生成的着色图片进行真实性判别以辅助训练生成器的判别器；

利用训练样本库中PCB灰度图像数据作为模型中生成器输入、利用PCB对应彩色图像数据和生成器生成的着色图像作为判别器输入，对pix2pix网络模型生成器进行调优训练；并利用测试样本库中PCB图像数据对训练后的网络模型进行参数调整，以获取收敛后的网络模型，并确定用于目标图像着色处理的最终pix2pix网络模型；

将待着色的目标PCB灰度图像输入最终pix2pix网络模型中，通过该网络模型中生成器生成着色图像并输出。

2.根据权利要求1所述的基于pix2pix的PCB灰度图像着色方法，其特征在于，采用数据增强策略对数据集进行扩充，并按预设比例将数据集划分为训练样本库、验证样本库和测试样本库。

3.根据权利要求2所述的基于pix2pix的PCB灰度图像着色方法，其特征在于，数据集扩充中，将每组PCB灰度图像和彩色图像同步进行翻转和/旋转和/或平移以扩充数据集规模。

4.根据权利要求2所述的基于pix2pix的PCB灰度图像着色方法，其特征在于，利用验证样本库中PCB图像数据对收敛后pix2pix网络模型中的生成器着色效果进行验证，以确定用于目标图像着色处理的最终pix2pix网络模型。

5.根据权利要求1所述的基于pix2pix的PCB灰度图像着色方法，其特征在于，pix2pix网络模型中生成器采用全卷积网络结构，以使输入图像尺寸不受限制且使得输入输出尺寸一致；判别器采用全连接层结构，通过调整全连接层入口参数使全连接层入口与卷积层输出保持一致。

6.根据权利要求1所述的基于pix2pix的PCB灰度图像着色方法，其特征在于，多种型号类别的PCB分别利用锥束CT扫描得到PCB各层灰度图像，并通过对PCB打磨拍照来获取各层彩色图像。

7.根据权利要求1所述的基于pix2pix的PCB灰度图像着色方法，其特征在于，收集图像数据集中PCB的型号类别至少包括不同形状类别和/或不同尺寸类别和/或不同颜色类别。

8.根据权利要求1所述的基于pix2pix的PCB灰度图像着色方法，其特征在于，pix2pix网络模型中的生成器包含分别面向多种图像尺寸类型的若干规格生成器，对应每种规格生成器均连接有用于辅助训练的判别器；依据模型输入的图像尺寸匹配相应规格生成器。

9.根据权利要求8所述的基于pix2pix的PCB灰度图像着色方法，其特征在于，pix2pix网络模型中的生成器包含256*256、512*512、1024*1024三种规格生成器。

10.根据权利要求1所述的基于pix2pix的PCB灰度图像着色系统，其特征在于，包含：数据收集模块、模型构建模块、模型训练模块和图像着色模块，其中，

数据收集模块，用于收集图像数据集，包含：收集多种型号类别的PCB，并获取PCB各层灰度图像和彩色图像，基于灰度图像和彩色图像制成用于划分训练样本库和测试样本库的数据集，每个样本库中均包含用于模型输入的灰度图像数据和对应作为模型输出的彩色图像数据；

模型构建模块，用于构造用于PCB灰度图像着色的pix2pix网络模型，包含：用于依据输入生成着色图片的生成器和用于依据输入和生成的着色图片进行真实性判别以辅助训练生成器的判别器；

模型训练模块，用于利用训练样本库中PCB灰度图像数据作为模型中生成器输入、利用PCB对应彩色图像数据和生成器生成的着色图像作为判别器输入，对pix2pix网络模型生成器进行调优训练；并利用测试样本库中PCB图像数据对训练后的网络模型进行参数调整，以获取收敛后的网络模型，并确定用于目标图像着色处理的最终pix2pix网络模型；

图像着色模块，用于将待着色的目标PCB灰度图像输入最终pix2pix网络模型中，通过该网络模型中生成器生成着色图像并输出。

Images