CN115965911A - 一种喷墨打印液滴体积智能检测方法 - Google Patents
一种喷墨打印液滴体积智能检测方法 Download PDFInfo
- Publication number
- CN115965911A CN115965911A CN202211677829.6A CN202211677829A CN115965911A CN 115965911 A CN115965911 A CN 115965911A CN 202211677829 A CN202211677829 A CN 202211677829A CN 115965911 A CN115965911 A CN 115965911A
- Authority
- CN
- China
- Prior art keywords
- deposited
- liquid drop
- droplet
- volume
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 62
- 238000007641 inkjet printing Methods 0.000 title claims abstract description 55
- 239000007788 liquid Substances 0.000 claims abstract description 201
- 238000007639 printing Methods 0.000 claims abstract description 45
- 230000002159 abnormal effect Effects 0.000 claims abstract description 42
- 238000007637 random forest analysis Methods 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 claims abstract description 20
- 238000002372 labelling Methods 0.000 claims abstract description 12
- 238000005259 measurement Methods 0.000 claims abstract description 9
- 238000003066 decision tree Methods 0.000 claims description 55
- 238000000034 method Methods 0.000 claims description 52
- 238000010801 machine learning Methods 0.000 claims description 44
- 239000007921 spray Substances 0.000 claims description 42
- 230000008021 deposition Effects 0.000 claims description 38
- 239000000758 substrate Substances 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 24
- 238000013145 classification model Methods 0.000 claims description 21
- 230000033001 locomotion Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 12
- 238000002347 injection Methods 0.000 claims description 9
- 239000007924 injection Substances 0.000 claims description 9
- 230000007480 spreading Effects 0.000 claims description 9
- 238000003892 spreading Methods 0.000 claims description 9
- 238000005507 spraying Methods 0.000 claims description 5
- 238000012886 linear function Methods 0.000 claims description 4
- 230000002547 anomalous effect Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 12
- 238000013507 mapping Methods 0.000 description 24
- 238000004364 calculation method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 239000000243 solution Substances 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 239000002699 waste material Substances 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000005303 weighing Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000007650 screen-printing Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于新型显示领域，具体涉及一种喷墨打印液滴体积智能检测方法及装置，包括：进行试打印，检测每个喷孔对应的沉积液滴特征集合，将其作为输入参数建立无标签分类样本集；对无标签分类样本集进行异常与否的标注，建立有标签分类样本集，并利用有标签分类样本集训练随机森林分类模型；使用飞行液滴体积测量结果对有标签分类样本集中的正常样本进行标注，建立回归样本集，再利用回归数据集训练BP神经网络回归模型；使用训练好的随机森林分类模型与BP神经网络回归模型，计算正式打印间隔采集的沉积液滴特征集合所对应的液滴体积。本发明在保证检测精度的情况下，有效提升了大面积喷印显示生产线中阵列化液滴体积检测的效率，实现高效生产制造。
Description
技术领域
本发明属于新型显示领域，更具体地，涉及一种喷墨打印液滴体积智能检测方法及装置。
背景技术
喷墨打印是一种不需要模板即可制备电子器件的增材制造技术，该技术依靠喷头将特定功能液滴喷出至基板上以实现无接触的印刷制造。相较于蒸镀、丝网印刷等传统制造方法，喷墨打印技术不仅可以优秀地完成大面积、高精度制造过程，还在节约资源、保护环境方面具有较大的优势。鉴于低成本、大面积、柔性化等优点，喷墨打印技术已成功应用于图形打印、微机电系统等高新技术领域，其中受到最大关注的便是通过喷墨打印制备新型显示器件。
喷墨打印技术作为显示面板的制造工艺仍然面临许多挑战，其中一个关键问题便是喷印液滴的体积测量。在喷墨打印制备新型显示器件的过程中，由于喷头制造存在差异、工艺参数设置不当、打印环境相对复杂等原因，可能出现喷孔堵塞、卫星液滴、体积异常等喷射缺陷，从而导致喷印液滴体积与目标值存在偏差，进而影响最终显示器件的质量。因此如何检测喷印过程中液滴的体积对于实现高质量、高效率喷印来说都是至关重要的。
现有的喷印液滴体积检测方法主要分为飞行液滴测量方法与沉积液滴测量方法。飞行液滴测量方法以视觉测量为主，传统视觉测量技术大部分基于频闪成像的原理，但是随着喷印分辨率与打印面积的持续攀升，待检测喷孔的数量也大幅度增多，使用飞行液滴观测进行液滴体积检测耗时过长，效率低下。沉积液滴测量方法主要包括白光干涉法、称重法与视觉检测法，其中，白光干涉法和称重法对空间要求高，且在检测效率方面不足，常用作检测结果验证，而视觉检测法仅用于检测液滴存在与否。
因此，如何实现阵列化液滴的高效体积检测，成为了喷印显示技术继续向前发展的重点与难点。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种喷墨打印液滴体积智能检测方法及装置，其目的在于实现阵列化液滴的高效体积检测。
为实现上述目的，按照本发明的一个方面，提供了一种喷墨打印液滴体积智能检测方法，包括：
在正式打印间隔中，将喷头移至试打印区域进行试喷射；采集沉积观测区域图像，以检测每个喷孔对应的沉积液滴特征集合，并将其输入预先训练的机器学习分类模型，得到该喷孔异常与否的判断结果；根据判断结果，将每个正常喷孔所对应的沉积液滴特征集合输入预先训练的机器学习回归模型，得到每个正常喷孔喷出的液滴体积，实现阵列液滴体积测量；
其中，所述机器学习分类模型通过以下方式构建得到：执行试打印，检测每个喷孔对应的沉积液滴特征集合并对其进行喷孔异常与否的标注，得到分类样本集；采用分类样本集，训练得到用于基于沉积液滴特征集合判断喷孔异常与否的机器学习分类模型；
所述机器学习回归模型通过以下方式构建得到：在试打印时，还测量每个喷孔的飞行液滴体积；对所述分类样本集中正常标注对应的样本进行飞行液滴体积标注，得到回归样本集；采用所述回归样本集，训练得到用于基于沉积液滴特征集合计算液滴体积的机器学习回归模型。
进一步，所述沉积液滴特征集合中所包含的特征有：沉积液滴的数量，沉积液滴的铺展直径，沉积液滴的x向落点偏差，以及沉积液滴的y向落点偏差；其中，若所述沉积液滴的数量大于等于两个，则所述铺展直径、x向落点偏差和y向落点偏差均为主沉积液滴的特征。
进一步，所述喷孔异常与否的判断依据为：沉积液滴数量，x向落点偏差和/或y向落点偏差；当无沉积液滴、沉积液滴数量大于等于两个、x向落点偏差超过预设值或者y向落点偏差超过预设值时，则标注对应的沉积液滴特征集合为异常样本。
进一步，所述机器学习分类模型为随机森林分类模型，其为基于加权投票法对多个决策树模型组成得到；在随机森林分类模型的构建过程中，取每一次参数调整后生成的随机森林分类模型中所有决策树模型分类准确率的加权平均值，作为随机森林分类模型的分类准确率估计。
进一步，所述分类准确率估计表示为：
其中，P为所述分类准确率估计，m表示决策树模型数量，pi表示第i个决策树模型的分类准确率，TPi表示第i个决策树模型所正确预测到的正常样本数量，TNi表示第i个决策树模型所正确预测到的异常样本数量，Pi表示正常样本的数量，Ni表示异常样本的数量。
进一步，所述随机森林分类模型对于样本x的预测输出为：
其中，x表示一个沉积液滴特征集合样本；sgn()是阶跃函数，m是决策树模型数量，wi是第i个决策树模型hi的权重，hi(x)是第i个决策树模型hi对于x的预测输出，i表示取1～m的整数。
进一步，所述机器学习回归模型为BP神经网络回归模型，包括：一个输入层、一个隐藏层和一个输出层，其中，输入层包含节点数P1＝M，式中M为沉积液滴特征集合沉积液滴特征值数量，输入层不使用激活函数；隐藏层包含节点数P2＝2P1+1，激活函数为ReLU函数；输出层包含节点数P3＝1，激活函数为线性函数，函数式为f(z)＝z，式中z为输入变量。
本发明还提供一种喷墨打印液滴体积智能检测装置，用于执行如上所述的一种喷墨打印液滴体积智能检测方法，包括：喷墨打印模块，第一液滴沉积基板，沉积液滴观测模块，运动模块以及控制模块；
所述控制模块用于通过所述运动模块控制所述喷墨打印模块移动至所述第一液滴沉积基板上方进行试喷射，通过所述运动模块控制所述沉积液滴观测模块移动至液滴沉积区域，采集各喷孔喷射的沉积液滴图像并传输至所述控制模块；所述控制模块还用于基于沉积液滴图像，检测得到每个喷孔对应的沉积液滴特征集合，并将其输入预先训练的机器学习分类模型，得到该喷孔异常与否的判断结果，根据判断结果，将每个正常喷孔所对应的沉积液滴特征集合输入预先训练的机器学习回归模型，得到每个正常喷孔喷出的液滴体积。
进一步，还包括飞行液滴观测模块和第二液滴沉积基板；
所述控制模块还用于控制所述喷墨打印模块在第二液滴沉积基板上进行试打印，控制所述飞行液滴观测模块采集飞行液滴图像并传输至控制模块，控制所述沉积液滴观测模块采集第二液滴沉积基板上的沉积液滴图像并传输至控制模块；所述控制模块还用于基于飞行液滴图像，计算得到多个喷孔的飞行液滴体积，基于沉积液滴图像，检测得到所述多个喷孔对应的沉积液滴特征集合，采用分类样本集，训练得到所述机器学习分类模型，采用回归样本集，训练得到所述机器学习回归模型，其中，所述分类样本集是通过对多个沉积液滴特征集合进行异常与否的标注之后得到的，所述回归样本集是通过对所述分类样本集中标注为正常的沉积液滴特征集合进行飞行液滴体积标注之后得到的。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明方法通过建立飞行液滴体积与沉积液滴特征之间的学习模型，包括由沉积液滴特征到喷孔异常与否的映射模型以及正常喷孔的沉积液滴特征到飞行液滴体积的映射模型，最终实现沉积液滴特征到液滴体积的映射，这个过程能够将低效率的飞行液滴观测替换为高效率的沉积液滴观测，由于沉积液滴观测可以一次观测大量液滴，由此解决飞行液滴观测带来的检测效率低的问题，从而实现阵列化液滴的高效体积检测。
(2)本发明方法提出使用随机森林分类模型对沉积液滴异常情况进行分类，实现了通过沉积液滴特征集合判断沉积液滴是否存在异常，相较传统人工识别异常方法，有效降低了检测成本，提高了液滴异常的检测效率。
(3)本发明方法提出使用BP神经网络回归模型计算喷印液滴体积，实现了通过沉积液滴特征计算对应液滴体积，相较传统公式计算与模拟仿真方法，规避了流体特性的表征和物理动力学的复杂性，显著地降低了计算成本，提升了计算效率。
附图说明
图1为本发明实施例提供的喷墨打印液滴体积智能检测方法的整体流程图；
图2为本发明实施例提供的喷墨打印液滴体积智能检测系统结构示意图；
图3为本发明实施例提供的喷墨打印液滴体积智能检测系统与方法的实施方案图；
图4为本发明实施例提供的喷墨打印液滴体积智能检测方法中模型构建阶段的工艺流程图；
图5为本发明实施例提供的喷墨打印液滴体积智能检测方法中体积智能检测阶段的工艺流程图；
图6为本发明实施例提供的机器学习回归模型结构图；
图7为本发明实施例提供的沉积液滴特征集合获取示意图。
在所有附图中，相同的附图标记用来表示相同的元件或者结构，其中：
1为喷墨打印模块；21为侧视观测相机，22为频闪光源，23为废液槽；31为下视观测相机，32为液滴沉积基板；41为喷头移动装置，43为基板移动装置；5为控制模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例一
一种喷墨打印液滴体积智能检测方法，包括：
在正式打印间隔中，将喷头移至试打印区域进行试喷射；采集沉积观测区域图像，以检测每个喷孔对应的沉积液滴特征集合，并将其输入预先训练的机器学习分类模型，得到该喷孔异常与否的判断结果；根据判断结果，将每个正常喷孔所对应的沉积液滴特征集合输入预先训练的机器学习回归模型，得到每个正常喷孔喷出的液滴体积，实现阵列液滴体积测量；
其中，机器学习分类模型通过以下方式构建得到：执行试打印，检测每个喷孔对应的沉积液滴特征集合并对其进行喷孔异常与否的标注，得到分类样本集；采用分类样本集，训练得到用于基于沉积液滴特征集合判断喷孔异常与否的机器学习分类模型；
机器学习回归模型通过以下方式构建得到：在试打印时，还测量每个喷孔的飞行液滴体积；对所述分类样本集中正常标注对应的样本进行飞行液滴体积标注，得到回归样本集；采用所述回归样本集，训练得到用于基于沉积液滴特征集合计算液滴体积的机器学习回归模型。
需要说明的是，一个喷孔会对应一个沉积液滴特征集合。本实施例中，为了拉大各喷孔之间的沉积液滴体积差距，控制喷头的所有喷孔连续喷出多滴液滴，由于每个喷孔一次喷出的滴液正常情况下应该只有一个沉积液滴，且多次喷出的液滴应该是叠加在同一个沉积液滴上，当某一喷孔存在异常时，该喷孔喷出的液滴落在基板上可能会存在多个沉积液滴，也可能落点位置与理论落点位置有偏差。
因此，可作为优选的实施方案，上述沉积液滴特征集合中所包含的特征有：沉积液滴的数量，沉积液滴的铺展直径，沉积液滴的x向落点偏差，以及沉积液滴的y向落点偏差；其中，若沉积液滴的数量大于等于两个，则铺展直径、x向落点偏差和y向落点偏差均为主沉积液滴的特征。
进一步可作为优选的实施方案，上述喷孔异常与否的判断依据为：沉积液滴数量，x向落点偏差和/或y向落点偏差；当无沉积液滴、沉积液滴数量大于等于两个、x向落点偏差超过预设值或者y向落点偏差超过预设值时，则标注对应的沉积液滴特征集合为异常样本。也就是，上述沉积液滴数量、位置异常标注标准由沉积液滴的数量、x向落点偏差与y向落点偏差决定。
本实施例方法通过建立飞行液滴体积与沉积液滴特征之间的学习模型，包括由沉积液滴特征到喷孔异常与否的映射模型以及正常喷孔的沉积液滴特征到飞行液滴体积的映射模型，最终实现沉积液滴特征到液滴体积的映射，这个过程能够将低效率的飞行液滴观测替换为高效率的沉积液滴观测，由于沉积液滴观测可以一次观测大量液滴，由此解决飞行液滴观测带来的检测效率低的问题，从而实现阵列化液滴的高效体积检测。
也就是，本实施例方法构建了喷印过程飞行液滴体积与沉积液滴特征间的映射模型，实现了通过阵列沉积液滴检测获得沉积液滴特征进而计算液滴体积。传统的飞行液滴视觉检测方法中，单次检测的液滴数极少，相应的采集次数就会增多，同时受到频闪原理的限制单次检测时间较长，导致检测效率低下。本实施例方法提出的检测方法将检测对象由飞行液滴转移至沉积液滴，大大降低了检测的难度，同时提升了单次检测的液滴数量，缩短了单次检测的时间，可以极大地提升液滴体积检测效率。
其中，本实施例方法提出使用随机森林分类模型对沉积液滴异常情况进行分类，实现了通过沉积液滴特征集合判断沉积液滴是否存在异常，相较传统人工识别异常方法，有效降低了检测成本，提高了液滴异常的检测效率。本实施例方法提出使用BP神经网络回归模型计算喷印液滴体积，实现了通过沉积液滴特征计算对应液滴体积，相较传统公式计算与模拟仿真方法，规避了流体特性的表征和物理动力学的复杂性，显著地降低了计算成本，提升了计算效率。
优选的，上述机器学习分类模型为随机森林分类模型，其为基于加权投票法对多个决策树模型组成得到；在随机森林分类模型的构建过程中，取每一次参数调整后生成的随机森林分类模型中所有决策树模型分类准确率的加权平均值，作为随机森林分类模型的分类准确率估计。
具体随机森林分类模型参数为：决策树模型数量为m；决策树模型节点划分标准为“基尼系数”；决策树模型最大深度为Nd；决策树模型分割节点所需最小样本数为Ss；决策树模型叶节点上最小样本数为Sl。
上述随机森林分类模型参数的选定方法为：
1)按照预设比例，将有标签分类样本集分为训练集与测试集，采用有放回的随机抽样方式从训练集中抽取样本，并将其作决策树模型的训练数据输入随机森林分类模型，生成由多个决策树模型组成的随机森林分类模型；
2)分别逐步调整决策树模型数量、决策树模型最大深度、决策树模型分割节点所需最小样本数与决策树模型叶节点上最小样本数等模型参数，重复步骤1)，取每一次调整后生成的随机森林分类模型中所有决策树模型分类准确率pi的加权平均值作为随机森林分类模型的分类准确率估计P，选取分类准确率P最高时对应的模型参数作为最佳模型参数，P由下式计算得到：
其中，m表示决策树模型数量，pi表示第i个决策树模型的分类准确率，TPi表示正确预测到的正常样本数量，TNi表示正确预测到的异常样本数量，Pi表示正常样本的数量，Ni表示异常样本的数量。
随机森林分类模型对于样本x的预测输出为：
其中，x表示样本的沉积液滴特征集合；sgn()是阶跃函数，m是决策树模型数量，wi是第i个决策树模型hi的权重，hi(x)是第i个决策树模型hi对于样本x的预测输出，i表示取1～m的整数。
优选的，上述机器学习回归模型为BP神经网络回归模型，包括：一个输入层、一个隐藏层和一个输出层，其中，输入层包含节点数P1＝M，式中M为沉积液滴特征集合沉积液滴特征值数量，输入层不使用激活函数；隐藏层包含节点数P2＝2P1+1，激活函数为ReLU函数；输出层包含节点数P3＝1，激活函数为线性函数，函数式为f(z)＝z，式中z为输入变量。
上述BP神经网络回归模型对于样本x的预测输出为：
y＝xA1A2；
其中，x为长度1×M的向量，表示沉积液滴特征集合，其中M为样本中的特征数量；A1为P1×P2的矩阵，表示输入层向隐藏层映射权值的集合；A2为P2×P3的矩阵，表示隐藏层向输出层映射权值的集合；y为回归模型对样本x的预测输出；
映射权值矩阵A1和A2由下式获得：
其中，vi,j表示输入层第i个节点向隐藏层第j个节点映射权值；ωp,1表示隐藏层第p个节点向输出层节点映射权值；i表示取1～P1的整数；j、p表示取1～P2的整数。
总的来说，可参阅图1，本实施例提供的一种喷墨打印液滴体积智能检测的方法包括模型构建阶段与体积检测阶段，模型构建阶段包括以下操作S1至操作S5，体积检测阶段包括操作S6：
模型构建阶段：
操作S1，进行试打印，检测每个喷孔对应的沉积液滴特征集合，将其作为输入参数建立无标签分类数据集；
操作S2，以是否存在液滴数量、位置异常为依据对无标签分类数据集中的样本进行标注，建立有标签分类数据集；
操作S3，利用所述有标签分类数据集训练机器学习分类模型，得到用于基于沉积液滴特征集合判断是否存在液滴异常的机器学习分类模型；
操作S4，使用飞行液滴体积测量结果对所述有标签分类数据集中的正常样本进行标注，建立回归数据集；
操作S5，使用所述回归数据集训练机器学习回归模型，得到基于沉积液滴特征集合计算液滴体积的机器学习回归模型；
体积检测阶段：
操作S6，在正式打印间隔中，将喷头移至试打印区域进行试喷射，检测每个喷孔对应的沉积液滴特征集合，并依次输入所述机器学习分类模型与机器学习回归模型，计算任意沉积液滴特征集合所对应的液滴体积。
本实施例涉及的飞行液滴与沉积液滴同属一个液滴，体积相同，在基板性质、溶液性质一定的情况下，沉积液滴特征与飞行液滴体积间必然存在相应的对应关系，只不过这种关系可能相对较复杂，通过实验手段获取困难，机器学习方法在处理此类映射问题上成本较低，效果较好。沉积液滴检测单次可检测液滴数远大于飞行液滴检测，因此将飞行液滴检测替换为沉积液滴检测可大大提升液滴体积检测效率。
实施例二
一种喷墨打印液滴体积智能检测装置，用于执行如上所述的一种喷墨打印液滴体积智能检测方法，包括：喷墨打印模块，第一液滴沉积基板，沉积液滴观测模块，运动模块以及控制模块；
控制模块用于通过运动模块控制喷墨打印模块移动至第一液滴沉积基板上方进行试喷射，通过运动模块控制沉积液滴观测模块移动至液滴沉积区域，采集各喷孔喷射的沉积液滴图像并传输至控制模块；控制模块还用于基于沉积液滴图像，检测得到每个喷孔对应的沉积液滴特征集合，并将其输入预先训练的机器学习分类模型，得到该喷孔异常与否的判断结果，根据判断结果，将每个正常喷孔所对应的沉积液滴特征集合输入预先训练的机器学习回归模型，得到每个正常喷孔喷出的液滴体积。
需要说明的是，上述喷墨打印模块、沉积液滴观测模块和第一液滴沉积基板的移动均是通过控制模块控制运动模块运动实现。
优选的，上述喷墨打印液滴体积智能检测装置还包括飞行液滴观测模块；所述控制模块还用于控制喷墨打印模块在第二液滴沉积基板上进行试打印，控制所述飞行液滴观测模块采集飞行液滴图像并传输至控制模块，控制所述沉积液滴观测模块采集第二液滴沉积基板上的沉积液滴图像并传输至控制模块；控制模块还用于基于飞行液滴图像，计算得到多个喷孔的飞行液滴体积，基于沉积液滴图像，检测得到上述多个喷孔对应的沉积液滴特征集合，采用分类样本集，训练得到所述机器学习分类模型，采用回归样本集，训练得到所述机器学习回归模型，其中，所述分类样本集是通过对上述多个沉积液滴特征集合进行异常与否的标注之后得到的，所述回归样本集是通过对所述分类样本集中标注为正常的沉积液滴特征集合进行飞行液滴体积标注之后得到的。
需要说明的是，上述喷墨打印模块中的喷头，在模型构建阶段和正式打印阶段可以是同一个也可以不是同一个，另外上述第一液滴沉积基板和第二液滴沉积基板可以是同一个也可以不是同一个。但是用于模型构建的打印溶液和第二液滴沉积基板材质与正式打印阶段时所用的打印溶液和第一液滴沉积基板材质属于同一种，当正式打印阶段的打印溶液和液滴沉积基板材质改变时，需要重新构建模型。
具体的，飞行液滴检测模块包括：侧视观测相机，频闪光源与废液槽；采用背光方式照明，频闪方式成像，用于飞行液滴体积测量。沉积液滴观测模块一般为下视观测相机，采用同轴方式照明，用于沉积液滴图像采集。运动模块包括：喷头移动装置与基板移动装置，用于对各运动轴的控制以及各模块相对位置的调整。
飞行液滴体积的测量以及沉积液滴图像采集，具体可通过以下操作方式：首先将喷头移至飞行液滴检测模块位置，测量每个喷孔对应液滴体积并记录，其次将喷头移至液滴沉积基板上方进行试喷射，然后将下视观测相机移至液滴沉积基板上方，进行沉积液滴采集。
为了更好地说明实施例一和实施例二，现给出具体的检测系统，如图2所示，用于喷墨打印液滴体积智能检测的系统包括喷墨打印模块，飞行液滴观测模块，沉积液滴观测模块，运动模块以及控制模块，下面将对其逐一进行具体解释说明：
喷墨打印模块1用于按照要求产生一定体积与速度的液滴；
飞行液滴观测模块2包括侧视观测相机21、频闪光源22与废液槽23。其中，侧视观测相机21与频闪光源22位于同一水平线上，用于采集飞行液滴图像并实时将其传给控制模块5以计算获取液滴的实际体积数据；废液槽23用于收集飞行液滴观测过程产生的废弃墨水，防止污染设备。
沉积液滴观测模块3包括下视观测相机31与液滴沉积基板32。其中，下视观测相机31用于采集阵列沉积液滴图像并实时将其传给控制模块5以计算获取沉积液滴的特征集合；液滴沉积基板32用以承载沉积液滴。
运动模块包括喷头移动装置41与基板移动装置42。其中，喷头移动装置41用于调整喷墨打印模块1与下视观测相机31的位置以实现飞行观测或喷墨打印或沉积液滴观测功能；基板移动装置42用于调整液滴沉积基板32的位置，确保喷印液滴全部沉积在基板上。
控制模块5用于控制侧视观测相机21、频闪光源22与下视观测相机31的使用以采集得到清晰液滴图像；还用于存储并处理飞行液滴观测模块2与沉积液滴观测模块3实时传递的图像数据以获得相应的液滴参数；同时还用于控制喷头移动装置41与基板移动装置42的运动，调整各模块间的相对位置以正常进行检测流程。
使用上述喷墨打印液滴体积检测系统可以实现对喷墨打印液滴体积的检测，整体流程如图3所示：
(1)该系统可首先作用于实际打印前的试打印阶段，通过进行飞行液滴观测数据与沉积液滴观测数据，依次建立随机森林分类模型与BP神经网络回归模型，如图4所示。
在进行飞行液滴观测时，将喷墨打印模块1移至飞行液滴检测模块2位置，具体来说是移至侧视观测相机21与频闪光源22所处水平线上，喷头闪喷并进行观测；通过侧视观测相机21与频闪光源22采集飞行液滴图像并传至计算控制模块5，计算获得每个喷孔对应液滴体积并记录。在进行沉积液滴观测时，将喷墨打印模块1移至液滴沉积基板32上方进行试喷射，记录每个喷孔喷射液滴的理论落点位置；再将下视观测相机31移至液滴沉积基板32上方进行观测，采集得到沉积液滴图像并将其传至计算控制模块5，计算获得每个喷孔对应沉积液滴特征集合(D,n,Δx,Δy)，其中，D表示沉积液滴的铺展直径，n表示沉积液滴的数量，Δx表示沉积液滴的x向落点偏差，Δy表示沉积液滴的y向落点偏差，并从所有沉积液滴特征集合中抽取一定数量的样本，将其作为输入参数建立无标签分类数据集θ。
按照本发明的一个优选实施方式，无标签分类数据集θ的容量为Nh＝2000，所构建的无标签分类数据集可表示为：
其中，(D,n,Δx,Δy)表示每一组样本的沉积液滴特征集合。
以是否存在液滴数量、位置异常为依据对无标签分类数据集θ中的样本进行标注，当无沉积液滴或沉积液滴数量大于等于两个或x/y向落点偏差超过预设值时标注无标签分类数据集样本为异常样本，否则标注无标签分类数据集样本为正常样本，并建立有标签分类样本集Dc：
其中，y表示样本标签，取值为0或1；当y＝0时，表示该样本对应的沉积液滴存在异常，该样本属于异常样本；当y＝1时，表示该样本对应的沉积液滴不存在异常，该样本属于正常样本。
使用有标签分类样本集Dc训练随机森林分类模型，模型输入为沉积液滴特征集合，模型输出为沉积液滴是否异常，也就是喷孔是否异常。
更具体地，随机森林分类模型参数包括：决策树模型数量为m；决策树模型节点划分标准为“基尼系数”；决策树模型最大深度为Nd；决策树模型分割节点所需最小样本数为Ss；决策树模型叶节点上最小样本数为Sl；
按照本发明的一个优选实施方式，随机森林分类模型的训练过程如下：
步骤一、按照4：1的比例将有标签分类数据集Dc分为训练集Dce与测试集Dct，采用有放回的随机抽样方式从训练集Dce中抽取200组样本组成子数据集，重复该过程m次得到子数据集{Dce1,Dce2,…,Dcem}；
步骤二、针对每个子数据集，依次使用无标签分类数据集样本作为输入参数，样本标签作为输出参数训练决策树模型，得到决策树模型集合{h1,h2,…,hm}；
步骤三、取每一次调整后生成的随机森林分类模型中所有决策树模型分类准确率pi的加权平均值作为随机森林分类模型的分类准确率估计P：
其中，m表示决策树模型数量，pi表示第i个决策树模型的分类准确率，TPi表示正确预测到子数据集中的正常样本数量，TNi表示正确预测到子数据集中的异常样本数量，Pi表示子数据集中正常样本的总数量，Ni表示子数据集中异常样本的总数量；
步骤四、分别逐步调整决策树模型数量m、决策树模型最大深度Nd、决策树模型分割节点所需最小样本数Ss与决策树模型叶节点上最小样本数Sl等模型参数，重复步骤一至步骤三，绘制相关参数与分类准确率间的关系曲线，选取分类准确率P最高时对应的模型参数作为最佳模型参数；
步骤五、依据所得最佳模型参数采用步骤一至步骤二得到决策树模型集合，并通过加权投票法构建随机森林分类模型，所得随机森林分类模型对于样本x的预测输出为：
其中，H(x)表示随机森林分类模型在样本x上的预测输出；sgn()是阶跃函数，m是决策树模型数量，wi是第i个决策树模型hi的权重，hi(x)是第i个决策树模型hi对于样本x的预测输出，i表示取1～m的整数；
步骤六、使用测试集Dct检验随机森林分类模型的分类性能，并记录最终分类准确率，完成随机森林分类模型的构建。
以飞行液滴体积对有标签分类数据集Dc中的正常样本进行标注，建立液滴体积回归样本集Dr：
其中，V表示样本标签，具体来说是液滴的实际体积；Ph表示有标签分类数据集Dc中正常样本的总数量。
使用液滴体积回归样本集Dr训练BP神经网络回归模型，模型输入为沉积液滴特征集合，模型输出为液滴体积；
更具体地，图6是本发明提供的BP神经网络回归模型结构示意图，包括：一个输入层、一个隐藏层和一个输出层，其中：输入层包含节点数P1＝M，式中M为沉积液滴特征值数量，输入层不使用激活函数；隐藏层包含节点数P2＝2P1+1，激活函数为ReLU函数；输出层包含节点数P3＝1，激活函数为线性函数，函数式为f（z)＝z。
按照本发明的一个优选实施方式，BP神经网络回归模型的训练过程如下：
步骤一、按照4：1的比例将液滴体积回归样本集Dr分为训练集Dre与测试集Drt，选定学习率γ＝0.1，迭代次数n＝200，输入层包含节点数P1＝4，隐藏层包含节点数P2＝9，输出层包含节点数P3＝1，损失函数为均方误差函数：
式中k为训练集样本数，
为第i组样本预测输出，y[i]为第i组样本实际输出。
步骤二、将网络中所有连接权值与偏差全部初始化为0。
步骤三、将训练集Dre中的样本特征作为输入参数，运用前向传播算法，依照下式计算当前权重条件下隐藏层中第j个节点的输出
与输出层节点的输出α[2]：
其中，xi表示输入层第i个节点的输入特征向量，νi,j表示输入层第i个节点向隐藏层第j个节点映射权值；ωp,1表示隐藏层第p个节点向输出层节点映射权值，i表示取1至4的整数；j、p表示取1至9的整数；ο[1]表示输入层向隐藏层映射的偏差，ο[2]表示隐藏层向输出层映射的偏差。
步骤四、依照下式计算当前权重条件下所有节点处的传播误差δ：
其中，
表示输出层节点的传播误差，y表示样本中实际液滴体积；
表示隐藏层中第p个节点处的传播误差，ωi,1表示隐藏层第i个节点向输出层节点的映射权值；
表示输入层中第i个节点处的传播误差，νi,j表示输入层第i个节点向隐藏层第j个节点的映射权值。
步骤五、依照下式更新所有连接权值与偏差：
其中，γ表示学习率，
表示输入层中第i个节点向隐藏层第j个节点映射权值的梯度项，
表示输入层向隐藏层映射偏差的梯度项，
表示隐藏层中第p个节点向输出层节点映射权值的梯度项，
表示隐藏层向输出层映射偏差的梯度项。
步骤六、重复上述步骤三至步骤五，不断更新连接权值与偏差至满足迭代终止条件，完成BP神经网络回归模型构建，所得BP神经网络回归模型对于样本x的预测输出为：
y＝xA1A2；
其中，x为长度1×4的向量，表示输入的沉积液滴特征集合；A1为4×9的矩阵，表示输入层向隐藏层映射权值的集合；A2为9×1的向量，表示隐藏层向输出层映射权值的集合；y为回归模型对样本x的预测输出。
步骤七、使用BP神经网络回归模型对测试集Drt进行预测验证，并记录最终预测误差范围，完成BP神经网络回归模型的构建。
(2)完成随机森林分类模型与BP神经网络回归模型的构建后，系统作用于实际打印过程中的打印间隔阶段，在试喷射后对沉积液滴进行检测以获取液滴的体积，为后续打印参数的实时调整提供依据。
作为可选的一种工艺流程，如图5所示的喷墨打印液滴体积智能检测方法中体积检测的工艺流程，具体包括以下步骤：
1)将喷墨打印模块1移至液滴沉积基板32上方进行试喷射，记录每个喷孔喷射液滴的理论落点位置；再将下视观测相机31移至首个待检测喷孔对应沉积液滴上方进行观测，采集得到沉积液滴图像并将其传至控制模块5，计算获得当前喷孔对应沉积液滴特征集合；
2)将所得沉积液滴特征集合输入随机森林分类模型，输出液滴异常信息，若沉积液滴存在异常，则标记当前喷孔为异常喷孔，直接进入下一喷孔的检测并跳至步骤1)；若沉积液滴不存在异常，则进入下一步骤；
3)将所得沉积液滴特征集合输入BP神经网络回归模型，输出液滴体积并记录，进行下一喷孔检测；
4)重复步骤1)至步骤3)，直至所有喷孔检测完成，输出所有喷孔的状态与对应液滴的体积，完成对喷墨打印液滴体积的检测。
需要说明的是，关于沉积液滴特征集合，可采用如下获取步骤：
(1)检测区域分割：依据液滴的理论落点位置划分第i个沉积液滴的检测区域ROIi，进行图像粗分割；
(2)图像降噪：由于环境因素的影响，图像中存在一定的噪声，需要使用图像降噪算法对检测区域ROIi进行降噪处理；
(3)亚像素图像分割：对降噪后的检测区域ROIi进行亚像素分割，获得液滴区域Areai，实现图像精分割；
(4)计算液滴特征集合：采用相应算法计算沉积液滴铺展直径、液滴数量、落点偏差等特征集合；
更具体地，上述第(4)点中沉积液滴特征集合的计算方式如图7所示，包括沉积液滴铺展直径D，沉积液滴的数量n，沉积液滴的x向落点偏差Δx与沉积液滴的y向落点偏差Δy：
D＝R1+R2；n＝num(Areai)；Δx＝xa-xo；Δy＝ya-yo；
其中，R1、R2分别表示液滴区域Areai的最大内接圆半径与最小外接圆半径；num(Areai)表示液滴区域Areai的个数，xa、ya分别表示液滴区域Areai形心点的x向坐标与y向坐标；xo、yo分别表示液滴理论落点的x向坐标与y向坐标。
综上，本发明提出一种用于喷墨打印液滴体积智能检测的方法及系统，包括：进行试打印，检测每个喷孔对应的沉积液滴特征集合，将其作为输入参数建立无标签分类数据集；以是否存在液滴数量、位置异常为依据对无标签分类数据集进行标注，建立有标签分类数据集，并利用有标签分类数据集训练随机森林分类模型；使用飞行液滴体积测量结果对有标签分类数据集中的正常样本进行标注，建立回归数据集，再利用回归数据集训练BP神经网络回归模型；使用训练好的随机森林分类模型与BP神经网络回归模型，计算任意沉积液滴特征集合所对应的液滴体积。本发明在保证检测精度的情况下，有效提升了大面积喷印显示生产线中阵列化液滴体积检测的效率，实现高效生产制造。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种喷墨打印液滴体积智能检测方法，其特征在于，包括：
在正式打印间隔中，将喷头移至试打印区域进行试喷射；采集沉积观测区域图像，以检测每个喷孔对应的沉积液滴特征集合，并将其输入预先训练的机器学习分类模型，得到该喷孔异常与否的判断结果；根据判断结果，将每个正常喷孔所对应的沉积液滴特征集合输入预先训练的机器学习回归模型，得到每个正常喷孔喷出的液滴体积，实现阵列液滴体积测量；
其中，所述机器学习分类模型通过以下方式构建得到：执行试打印，检测每个喷孔对应的沉积液滴特征集合并对其进行喷孔异常与否的标注，得到分类样本集；采用分类样本集，训练得到用于基于沉积液滴特征集合判断喷孔异常与否的机器学习分类模型；
所述机器学习回归模型通过以下方式构建得到：在试打印时，还测量每个喷孔的飞行液滴体积；对所述分类样本集中正常标注对应的样本进行飞行液滴体积标注，得到回归样本集；采用所述回归样本集，训练得到用于基于沉积液滴特征集合计算液滴体积的机器学习回归模型。
2.根据权利要求1所述的一种喷墨打印液滴体积智能检测方法，其特征在于，所述沉积液滴特征集合中所包含的特征有：沉积液滴的数量，沉积液滴的铺展直径，沉积液滴的x向落点偏差，以及沉积液滴的y向落点偏差；其中，若所述沉积液滴的数量大于等于两个，则所述铺展直径、x向落点偏差和y向落点偏差均为主沉积液滴的特征。
3.根据权利要求2所述的一种喷墨打印液滴体积智能检测方法，其特征在于，所述喷孔异常与否的判断依据为：沉积液滴数量，x向落点偏差和/或y向落点偏差；当无沉积液滴、沉积液滴数量大于等于两个、x向落点偏差超过预设值或者y向落点偏差超过预设值时，则标注对应的沉积液滴特征集合为异常样本。
4.根据权利要求1所述的一种喷墨打印液滴体积智能检测方法，其特征在于，所述机器学习分类模型为随机森林分类模型，其为基于加权投票法对多个决策树模型组成得到；在随机森林分类模型的构建过程中，取每一次参数调整后生成的随机森林分类模型中所有决策树模型分类准确率的加权平均值，作为随机森林分类模型的分类准确率估计。
5.根据权利要求4所述的一种喷墨打印液滴体积智能检测方法，其特征在于，所述分类准确率估计表示为：
其中，P为所述分类准确率估计，m表示决策树模型数量，pi表示第i个决策树模型的分类准确率，TPi表示第i个决策树模型所正确预测到的正常样本数量，TNi表示第i个决策树模型所正确预测到的异常样本数量，Pi表示正常样本的数量，Ni表示异常样本的数量。
6.根据权利要求4所述的一种喷墨打印液滴体积智能检测方法，其特征在于，所述随机森林分类模型对于样本x的预测输出为：
其中，x表示一个沉积液滴特征集合样本；sgn()是阶跃函数，m是决策树模型数量，wi是第i个决策树模型hi的权重，hi(x)是第i个决策树模型hi对于x的预测输出，i表示取1～m的整数。
7.根据权利要求1所述的一种喷墨打印液滴体积智能检测方法，其特征在于，所述机器学习回归模型为BP神经网络回归模型，包括：一个输入层、一个隐藏层和一个输出层，其中，输入层包含节点数P1＝M，式中M为沉积液滴特征集合沉积液滴特征值数量，输入层不使用激活函数；隐藏层包含节点数P2＝2P1+1，激活函数为ReLU函数；输出层包含节点数P3＝1，激活函数为线性函数，函数式为f(z)＝z，式中z为输入变量。
8.一种喷墨打印液滴体积智能检测装置，其特征在于，用于执行如权利要求1至7任一项所述的一种喷墨打印液滴体积智能检测方法，包括：喷墨打印模块，第一液滴沉积基板，沉积液滴观测模块，运动模块以及控制模块；
所述控制模块用于通过所述运动模块控制所述喷墨打印模块移动至所述第一液滴沉积基板上方进行试喷射，通过所述运动模块控制所述沉积液滴观测模块移动至液滴沉积区域，采集各喷孔喷射的沉积液滴图像并传输至所述控制模块；所述控制模块还用于基于沉积液滴图像，检测得到每个喷孔对应的沉积液滴特征集合，并将其输入预先训练的机器学习分类模型，得到该喷孔异常与否的判断结果，根据判断结果，将每个正常喷孔所对应的沉积液滴特征集合输入预先训练的机器学习回归模型，得到每个正常喷孔喷出的液滴体积。
9.根据权利要求8所述的一种喷墨打印液滴体积智能检测装置，其特征在于，还包括飞行液滴观测模块和第二液滴沉积基板；
所述控制模块还用于控制所述喷墨打印模块在第二液滴沉积基板上进行试打印，控制所述飞行液滴观测模块采集飞行液滴图像并传输至控制模块，控制所述沉积液滴观测模块采集第二液滴沉积基板上的沉积液滴图像并传输至控制模块；所述控制模块还用于基于飞行液滴图像，计算得到多个喷孔的飞行液滴体积，基于沉积液滴图像，检测得到所述多个喷孔对应的沉积液滴特征集合，采用分类样本集，训练得到所述机器学习分类模型，采用回归样本集，训练得到所述机器学习回归模型，其中，所述分类样本集是通过对多个沉积液滴特征集合进行异常与否的标注之后得到的，所述回归样本集是通过对所述分类样本集中标注为正常的沉积液滴特征集合进行飞行液滴体积标注之后得到的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211677829.6A CN115965911A (zh) | 2022-12-26 | 2022-12-26 | 一种喷墨打印液滴体积智能检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211677829.6A CN115965911A (zh) | 2022-12-26 | 2022-12-26 | 一种喷墨打印液滴体积智能检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115965911A true CN115965911A (zh) | 2023-04-14 |
Family
ID=87361055
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211677829.6A Pending CN115965911A (zh) | 2022-12-26 | 2022-12-26 | 一种喷墨打印液滴体积智能检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115965911A (zh) |
-
2022
- 2022-12-26 CN CN202211677829.6A patent/CN115965911A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109823050B (zh) | 面向喷墨打印的液滴喷射多阶段定位误差补偿方法及设备 | |
| CN109823051B (zh) | 一种液滴喷射融合全过程体积控制方法、系统及打印机 | |
| CN108594788B (zh) | 一种基于深度随机森林算法的飞机作动器故障检测与诊断方法 | |
| EP3429862B1 (en) | Systems and methods for precision inkjet printing | |
| CN114048889B (zh) | 基于长短期记忆网络的飞行器轨迹预测的方法 | |
| CN113752698B (zh) | 一种用于喷墨印刷的墨滴落点精度控制方法及系统 | |
| CN108254741A (zh) | 基于循环神经网络的目标航迹预测方法 | |
| CN114536975B (zh) | 一种喷墨打印中墨滴落点定位精度检测方法及装置 | |
| CN111461292B (zh) | 一种无人机实时轨迹预测方法 | |
| CN103778441B (zh) | 一种基于DSmT和HMM的序列飞机目标识别方法 | |
| Zhang et al. | Robust method for measuring the position and orientation of drogue based on stereo vision | |
| Liu et al. | Accurate stereo-vision-based flying droplet volume measurement method | |
| CN115371981B (zh) | 喷头筛选方法、装置、设备及介质 | |
| CN114670549B (zh) | 一种柔性显示多层结构功能层喷印制备方法和系统 | |
| CN117400633A (zh) | 一种基于喷孔抽样检测的喷头状态评估方法及装置 | |
| CN108562893A (zh) | 一种外辐射源雷达多站混合跟踪方法 | |
| CN115965911A (zh) | 一种喷墨打印液滴体积智能检测方法 | |
| CN116330845B (zh) | 一种新型显示喷印制造液滴体积自适应智能调控方法 | |
| CN113947660A (zh) | 一种适用于喷墨打印的微墨滴沉积过程观测方法及装置 | |
| CN112326187A (zh) | 一种应用液晶涂层和深度学习算法测量摩擦力场的方法 | |
| CN116383725A (zh) | 一种喷墨打印用阵列化喷孔的智能筛选方法及装置 | |
| Yue et al. | Multinozzle Droplet Volume Distribution Control in Inkjet Printing Based on Multiagent Soft Actor–Critic Network | |
| CN114021629A (zh) | 一种基于均值动态时间规整的车辆轨迹运动模式提取方法 | |
| CN118115855A (zh) | 一种喷印墨滴体积检测模型的构建方法及其应用 | |
| Zhang et al. | Multi-dimensional local weighted regression ship motion identification modeling based on particle swarm optimization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |