CN115620195A - 胶塞清洗机及其控制方法 - Google Patents

胶塞清洗机及其控制方法 Download PDF

Info

Publication number
CN115620195A
CN115620195A CN202211241314.1A CN202211241314A CN115620195A CN 115620195 A CN115620195 A CN 115620195A CN 202211241314 A CN202211241314 A CN 202211241314A CN 115620195 A CN115620195 A CN 115620195A
Authority
CN
China
Prior art keywords
training
cleaning
feature
convolution
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211241314.1A
Other languages
English (en)
Inventor
林宝康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Yaguang Technology Co ltd
Original Assignee
Zhejiang Yaguang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Yaguang Technology Co ltd filed Critical Zhejiang Yaguang Technology Co ltd
Priority to CN202211241314.1A priority Critical patent/CN115620195A/zh
Publication of CN115620195A publication Critical patent/CN115620195A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B3/00—Cleaning by methods involving the use or presence of liquid or steam
    • B08B3/04—Cleaning involving contact with liquid
    • B08B3/10—Cleaning involving contact with liquid with additional treatment of the liquid or of the object being cleaned, e.g. by heat, by electricity or by vibration
    • B08B3/12—Cleaning involving contact with liquid with additional treatment of the liquid or of the object being cleaned, e.g. by heat, by electricity or by vibration by sonic or ultrasonic vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Cleaning By Liquid Or Steam (AREA)

Abstract

公开了一种胶塞清洗机及其控制方法，其能够基于被清理对象的实时表面状态，来自适应地调整超声波发生器的工作功率，以在确保清理效果的同时，起到节能的效果。

Description

胶塞清洗机及其控制方法
技术领域
本申请涉及清洗设备领域，且更为具体的涉及一种胶塞清洗机及其控制方法。
背景技术
胶塞超声波清洗机是适合于医疗行业、科研单位、制药厂的专用清洗设备。医用超声波清洗机是超声波清洗机里的一个分支，工作频率在28～40KHZ，这样可以最大限度的保护被清洗的医疗器械不受损伤，可以彻底清洗手术机械及手术附件的各种污渍，解决人工清洗不彻底的问题，同时保护工作人员不受污染和感染。
胶塞超声波清洗机产品结构新颖、电路先进、工作可靠、高效率、低噪音及清洁度高的特点，广泛应用于医院等医疗机构的手术室、化验室、检验室、供应室、牙科、消毒中心等科室。对医疗器械的深孔、盲孔、凹凸槽的清洗是最理想的设备。最常用的台式医用超声波清洗机是LSA,主要用于牙科或小型医院供应室。最常用的卧式医用超声波清洗机是LSA-E24/1200主要用于医院供应室和手术室。
现有的胶塞超声波清洗机中的超声波发生器产生的超声波信号是采用固定的功率来进行手术机械及手术附件的各种污渍清洗，但是，在清洗的过程中发现手术机械和手术附件的各种污渍状态在清洗的过程中是不断发生变化的，这样就会导致采用固定功率的超声波来进行清洗的能耗较大，且并不能够保证清洗的效果。
因此，期望一种优化的胶塞清洗机，其能够基于被清理对象的实时表面状态来自适应地调整超声波发生器的功率，以在确保清理效果的同时，能耗最优。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种胶塞清洗机及其控制方法，其能够基于被清理对象的实时表面状态，例如，手术机械和手术附件的各种污渍状态，来自适应地调整超声波发生器的工作功率，以在确保清理效果的同时，能耗最优。
根据本申请的一个方面，提供了一种胶塞清洗机，其包括：
监控单元，用于获取超声波发生器在预定时间段产生的超声波信号以及所述预定时间段的被清理对象的清洗监控视频；
采样单元，用于从所述清洗监控视频提取多个清洗监控关键帧；
多尺度感知单元，用于将所述多个清洗监控关键帧中各个清洗监控关键帧分别通过多分支感知域模块以得到多个清洗监控特征图；
清理效果评估单元，用于计算所述多个清洗监控特征图中相邻两个清洗监控特征图之间的差分特征图以得到多个差分特征图；
清洗效果动态特征提取单元，用于将所述多个差分特征图通过使用三维卷积核的第一卷积神经网络模型以得到清理效果动态特征图；
维度调整单元，用于对所述清理效果动态特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到清理效果动态特征向量；
超声波特征提取单元，用于将所述超声波信号的波形图通过作为过滤器的第二卷积神经网络模型以得到超声控制特征向量；
响应性单元，用于计算所述超声控制特征向量相对于所述清理效果动态特征向量的响应性估计以得到分类特征矩阵；以及
超声控制结果生成单元，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的超声波发生器的功率应增大或应减小。
在上述胶塞清洗机中，所述采样单元，进一步用于以预定采样频率从所述清洗监控视频提取所述多个清洗监控关键帧。
在上述胶塞清洗机中，所述多尺度感知单元，包括：第一点卷积子单元，用于将所述清洗监控关键帧输入所述多分支感知域模块的第一点卷积层以得到卷积特征图；多分支感知子单元，用于分别将所述卷积特征图通过所述多分支感知域模块的第一分支感知域单元、第二分支感知域单元和第三分支感知域单元以得到第一分支感知特征图、第二分支感知特征图和第三分支感知特征图，其中，所述第一分支感知域单元、所述第二分支感知域单元和所述第三分支感知域单元具有并行结构；融合子单元，用于将所述第一分支感知特征图、所述第二分支感知特征图和所述第二分支感知特征图进行级联以得到融合感知特征图；第二点卷积子单元，用于将所述融合感知特征图输入所述多分支感知域模块的第二点卷积层以得到通道校正融合感知特征图；以及，残差级联子单元，用于计算所述通道校正融合感知特征图和所述卷积特征图的按位置点加以得到所述清洗监控特征图。
在上述胶塞清洗机中，所述多分支感知子单元，包括：第一一维卷积编码二级子单元，用于将所述卷积特征图通过所述第一分支感知域单元的第一一维卷积层以得到第一一维卷积特征图；第一空洞卷积编码二级子单元，用于将所述第一一维卷积特征图通过具有第一空洞率的第一二维卷积层以得到所述第一分支感知特征图；第二一维卷积编码二级子单元，用于将所述卷积特征图通过所述第二分支感知域单元的第二一维卷积层以得到第二一维卷积特征图；第二空洞卷积编码二级子单元，用于将所述第二一维卷积特征图通过具有第二空洞率的第二二维卷积层以得到所述第二分支感知特征图；第三一维卷积编码二级子单元，用于将所述卷积特征图通过所述第三分支感知域单元的第三一维卷积层以得到第三一维卷积特征图；以及，第三空洞卷积编码二级子单元，用于将所述第三一维卷积特征图通过具有第三空洞率的第三二维卷积层以得到所述第三分支感知特征图。
在上述胶塞清洗机中，所述第一空洞率、所述第二空洞率和所述第三空洞率相互不相等。
在上述胶塞清洗机中，所述清洗效果动态特征提取单元，进一步用于：使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述清理效果动态特征图，所述第一卷积神经网络模型的第一层的输入为所述多个差分特征图。所述超声波特征提取单元，进一步用于：使用所述第二卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络模型的最后一层的输出为所述超声控制特征向量，所述第二卷积神经网络模型的第一层的输入为所述超声波信号的波形图。
在上述胶塞清洗机中，所述响应性单元，进一步用于：以如下公式计算所述超声控制特征向量相对于所述清理效果动态特征向量的响应性估计以得到分类特征矩阵；其中，所述公式为：
Figure BDA0003884883600000041
其中Va表示所述超声控制特征向量，Vb表示所述清理效果动态特征向量，M表示所述转移矩阵，
Figure BDA0003884883600000042
表示矩阵相乘。
在上述胶塞清洗机中，还包括用于对所述多分支感知域模块、所述使用三维卷积核的第一卷积神经网络模型、所述作为过滤器的第二卷积神经网络模型和所述分类器进行训练的训练模块；
其中，所述训练模块，包括：训练监控单元，用于获取训练数据，所述训练数据包括超声波发生器在预定时间段产生的训练超声波信号和所述预定时间段的被清理对象的训练清洗监控视频，以及，所述当前时间点的超声波发生器的功率应增大或应减小的真实值；训练采样单元，用于从所述训练清洗监控视频提取多个训练清洗监控关键帧；训练多尺度感知单元，用于将所述多个训练清洗监控关键帧中各个训练清洗监控关键帧分别通过所述多分支感知域模块以得到多个训练清洗监控特征图；训练清理效果评估单元，用于计算所述多个训练清洗监控特征图中相邻两个训练清洗监控特征图之间的差分特征图以得到多个训练差分特征图；训练清洗效果动态特征提取单元，用于将所述多个训练差分特征图通过所述使用三维卷积核的第一卷积神经网络模型以得到训练清理效果动态特征图；训练维度调整单元，用于对所述训练清理效果动态特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到训练清理效果动态特征向量；训练超声波特征提取单元，用于将所述训练超声波信号的波形图通过所述作为过滤器的第二卷积神经网络模型以得到训练超声控制特征向量；训练响应性单元，用于计算所述训练超声控制特征向量相对于所述训练清理效果动态特征向量的响应性估计以得到训练分类特征矩阵；分类损失函数值计算单元，用于将所述训练分类特征矩阵通过所述分类器以得到分类损失函数值；抑制损失函数值计算单元，用于计算所述训练清理效果动态特征向量和所述训练超声控制特征向量的特征提取模式消解的抑制损失函数值；以及，训练单元，用于以所述特征提取模式消解的抑制损失函数值和所述分类损失函数值的加权和作为损失函数值对所述多分支感知域模块、所述使用三维卷积核的第一卷积神经网络模型、所述作为过滤器的第二卷积神经网络模型和所述分类器进行训练。
在上述胶塞清洗机中，所述抑制损失函数值计算单元，进一步用于：以如下公式计算所述训练清理效果动态特征向量和所述训练超声控制特征向量的所述特征提取模式消解的抑制损失函数值；其中，所述公式为：
Figure BDA0003884883600000051
Figure BDA0003884883600000052
其中V1和V2分别是所述训练清理效果动态特征向量和所述训练超声控制特征向量，且M1和M2分别是所述分类器对于所述训练清理效果动态特征向量和所述训练超声控制特征向量的权重矩阵，
Figure BDA0003884883600000053
表示向量的二范数的平方，‖·‖F表示矩阵的F范数，
Figure BDA0003884883600000054
表示按位置减法，log表示以2为底的对数函数值。
根据本申请的另一方面，还提供了一种胶塞清洗机的控制方法，其包括：
获取超声波发生器在预定时间段产生的超声波信号以及所述预定时间段的被清理对象的清洗监控视频；
从所述清洗监控视频提取多个清洗监控关键帧；
将所述多个清洗监控关键帧中各个清洗监控关键帧分别通过多分支感知域模块以得到多个清洗监控特征图；
计算所述多个清洗监控特征图中相邻两个清洗监控特征图之间的差分特征图以得到多个差分特征图；
将所述多个差分特征图通过使用三维卷积核的第一卷积神经网络模型以得到清理效果动态特征图；
对所述清理效果动态特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到清理效果动态特征向量；
将所述超声波信号的波形图通过作为过滤器的第二卷积神经网络模型以得到超声控制特征向量；
计算所述超声控制特征向量相对于所述清理效果动态特征向量的响应性估计以得到分类特征矩阵；以及
将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的超声波发生器的功率应增大或应减小。
在上述胶塞清洗机的控制方法中，还包括对所述多分支感知域模块、所述使用三维卷积核的第一卷积神经网络模型、所述作为过滤器的第二卷积神经网络模型和所述分类器进行训练的训练阶段；其中，所述训练阶段，包括：获取训练数据，所述训练数据包括超声波发生器在预定时间段产生的训练超声波信号和所述预定时间段的被清理对象的训练清洗监控视频，以及，所述当前时间点的超声波发生器的功率应增大或应减小的真实值；从所述训练清洗监控视频提取多个训练清洗监控关键帧；将所述多个训练清洗监控关键帧中各个训练清洗监控关键帧分别通过所述多分支感知域模块以得到多个训练清洗监控特征图；计算所述多个训练清洗监控特征图中相邻两个训练清洗监控特征图之间的差分特征图以得到多个训练差分特征图；将所述多个训练差分特征图通过所述使用三维卷积核的第一卷积神经网络模型以得到训练清理效果动态特征图；对所述训练清理效果动态特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到训练清理效果动态特征向量；将所述训练超声波信号的波形图通过所述作为过滤器的第二卷积神经网络模型以得到训练超声控制特征向量；计算所述训练超声控制特征向量相对于所述训练清理效果动态特征向量的响应性估计以得到训练分类特征矩阵；将所述训练分类特征矩阵通过所述分类器以得到分类损失函数值；计算所述训练清理效果动态特征向量和所述训练超声控制特征向量的特征提取模式消解的抑制损失函数值；以及，以所述特征提取模式消解的抑制损失函数值和所述分类损失函数值的加权和作为损失函数值对所述多分支感知域模块、所述使用三维卷积核的第一卷积神经网络模型、所述作为过滤器的第二卷积神经网络模型和所述分类器进行训练。
与现有技术相比，本申请提供的胶塞清洗机及其控制方法，其能够基于被清理对象的实时表面状态，例如，手术机械和手术附件的各种污渍状态，来自适应地调整超声波发生器的工作功率，以在确保清理效果的同时，能耗最优。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的胶塞清洗机的应用场景图。
图2图示了根据本申请实施例的胶塞清洗机的框图。
图3图示了根据本申请实施例的胶塞清洗机的系统架构图。
图4图示了根据本申请实施例的胶塞清洗机中多尺度感知单元的框图。
图5图示了根据本申请实施例的胶塞清洗机中训练模块的框图。
图6图示了根据本申请实施例的胶塞清洗机的控制方法的流程图。
图7图示了根据本申请实施例的胶塞清洗机的控制方法中训练阶段的流程图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
如上所述，胶塞超声波清洗机产品结构新颖、电路先进、工作可靠、高效率、低噪音及清洁度高的特点，广泛应用于医院等医疗机构的手术室、化验室、检验室、供应室、牙科、消毒中心等科室。对医疗器械的深孔、盲孔、凹凸槽的清洗是最理想的设备。最常用的台式医用超声波清洗机是LSA,主要用于牙科或小型医院供应室。最常用的卧式医用超声波清洗机是LSA-E24/1200主要用于医院供应室和手术室。
现有的胶塞超声波清洗机中的超声波发生器产生的超声波信号是采用固定的功率来进行手术机械及手术附件的各种污渍清洗，但是，在清洗的过程中发现手术机械和手术附件的各种污渍状态在清洗的过程中是不断发生变化的，这样就会导致采用固定功率的超声波来进行清洗的能耗较大，且并不能够保证清洗的效果。因此，期望一种优化的胶塞清洗机，其能够基于被清理对象的实时表面状态来自适应地调整超声波发生器的功率，以在确保清理效果的同时，能耗最优。
相应地，在本申请的技术方案中，考虑到对于超声波发生器的功率调整应适配于被清理对象的实时表面清洗状态变化，也就是，基于被清理对象的实时表面清洗状态变化来自适应调整超声波发生器的工作功率。这样，一方面能够确保对于手术机械及手术附件的各种污渍的清理效果，另一方面还能够实现降低能耗的目的。
具体地，在本申请的技术方案中，首先，通过摄像头来采集预定时间段的被清理对象的清洗监控视频，并且获取超声波发生器在预定时间段产生的超声波信号。应可以理解，在所述超声波发生器利用产生的超声波信号进行机械及污渍清洗的过程中，被清洗对象的实时表面清洗状态变化特征可以通过所述清洗监控视频中的相邻监控帧之间的差分来表示，也就是，通过相邻图像帧的清洗图像表征来表示被清洗对象的实时表面清洗状态变化情况。但是，考虑到监控视频中相邻帧的差异较小，存在大量数据冗余，因此，为了降低计量算，且避免数据冗余给检测带来的不良影响，以预定采样频率对所述清洗监控视频进行关键帧采样，从而得到多个清洗监控关键帧。这里，值得一提的是，所述采样频率可基于实际场景的应用需求做出调整，而不是默认值。
然后，在从所述清洗监控视频中提取到所述多个清洗监控关键帧后，使用在图像的隐含特征提取方面具有优异表面的卷积神经网络模型来作为特征提取器来提取出所述各个清洗监控关键帧中的关于被清理对象的实时表面清洗状态特征。但是，在标准深度卷积神经网络的卷积和池化都是常见的下采样操作，但下采样在扩大感知域的同时也缩小了feature map尺度，造成信息损失。且因标准深度卷积神经网络模型使用固定尺寸的卷积核，因此，在进行特征提取时，其无法学习到多尺度特征信息，而导致因网格效应带来的局部信息丢失的问题。
基于此，针对上述问题，在本申请的技术方案中，使用多分支感知域模块替代传统的卷积神经网络模型作为特征提取器来进行所述被清理对象的实时表面清洗状态特征提取，从而得到多个清洗监控特征图。相较于传统的卷积神经网络模型，所述多分支感知域模块具有如下优势：1)所述多分支感知域模块利用空洞卷积来替代传统卷积核，其利用其特有的参数扩张率，使原卷积核在相同参数量下拥有更大的感知域，也就是，所述多分支感知域模块利用空洞卷积即可扩大感知域，从而无需下采样，避免了信息损失且实现特征图输入与输出尺度一致；2)所述多分支感知域模块设计不同扩张率的并行空洞卷积结构，可让网络学习到多尺度特征信息，因此解决了网格效应带来的局部信息丢失的问题。且该结构使目标检测可利用的小目标信息量增多，进而解决了传统卷积神经网络利用池化层所造成的小目标信息无法重建的问题。
接着，在将所述多个清洗监控关键帧中各个清洗监控关键帧分别通过多分支感知域模块以得到多个清洗监控特征图后，计算所述多个清洗监控特征图中相邻两个清洗监控特征图之间的差分特征图以得到多个差分特征图。在一个具体示例中，可以以所述多个清洗监控特征图中每相邻两个清洗监控特征图之间的按位置差分来计算所述差分特征图，这样通过两个特征图之间的像素级差异来表示所述被清洗对象的实时表面清洗状态变化信息。
进一步地，将所述多个差分特征图通过使用三维卷积核的第一卷积神经网络模型中进行处理，以提取出所述多个差分特征图中关于所述被清洗对象的实时表面清洗状态变化信息的动态特征分布，从而得到清理效果动态特征图。特别地，这里，所述第一卷积卷积神经网络模型的卷积核为三维卷积核，其具有W(宽度)、H(高度)和C(通道维度)，在本申请的技术方案中，所述三维卷积核的通道维度对应于所述多个差分特征图的时间维度，因此，在进行三维卷积编码时，能提取出所述被清洗对象的实时表面清洗状态的动态特征随时间维度的变化特征。
然后，对所述清理效果动态特征图的沿通道维度的各个特征矩阵进行全局均值池化处理，以对于所述清理效果动态特征图沿通道维度进行降维，从而得到清理效果动态特征向量。这样，能够对于所述清理效果动态特征图进行沿时间维度的降维处理，以在降低计算量的同时保留其在时序上的动态变化特征。
对于所述超声波发生器在预定时间段产生的超声波信号，将所述超声波信号的波形图通过作为过滤器的第二卷积神经网络模型中进行处理，以得到超声控制特征向量。也就是，以所述第二卷积神经网络模型对于所述超声波信号的波形图进行特征提取，以提取出所述超声波信号的波形图中的高维隐含特征分布信息，从而得到超声控制特征向量。
在得到所述超声控制特征向量和所述清理效果动态特征向量后，进一步计算所述超声控制特征向量相对于所述清理效果动态特征向量的响应性估计以得到分类特征矩阵。也就是，以所述超声控制特征向量相对于所述清理效果动态特征向量的响应性估计来表示所述被清理对象的实时表面清洗状态变化特征和所述超声波发生器的工作功率隐含变化特征之间的关联性特征，并以此来进行分类，从而得到用于表示当前时间点的超声波发生器的功率应增大或应减小的分类结果。这样，基于被清理对象的实时表面清洗状态变化来自适应调整超声波发生器的工作功率，一方面能够确保对于手术机械及手术附件的各种污渍的清理效果，另一方面还能够实现降低能耗的目的。
特别地，在本申请的技术方案中，在计算所述超声控制特征向量相对于所述清理效果动态特征向量的响应性估计得到分类特征矩阵时，期望所述清理效果动态特征向量与所述超声控制特征向量的特征分布尽量保持一致，以提高响应性估计计算的准确度。但是，由于所述清理效果动态特征向量与所述超声控制特征向量是基于非对称的网络分支得到的，因此在训练过程中，分类器的分类损失函数在梯度反向传播时会分别通过所述非对称的网络分支，从而可能由于异常的梯度发散导致所述非对称的网络分支的特征提取模式的消解，从而影响所述分类特征矩阵的分类结果的准确性。
因此，优选地，引入针对所述清理效果动态特征向量，例如记为V1，和所述超声控制特征向量，例如记为V2的特征提取模式消解的抑制损失函数，表示为：
Figure BDA0003884883600000101
Figure BDA0003884883600000102
这里，M1和M2分别是所述分类器对于所述清理效果动态特征向量V1和所述超声控制特征向量V2的权重矩阵，‖·‖F表示矩阵的F范数，且
Figure BDA0003884883600000103
表示向量的二范数的平方。
具体地，在保持所述清理效果动态特征向量V1和所述超声控制特征向量V2的特征分布的一致性的同时，通过以交叉熵形式使得分类器相对于不同特征向量的权重矩阵的差异分布与特征向量的真实的特征差异分布保持一致，来保证梯度反向传播时的定向导数在梯度传播的分支点附近得到正则化。也就是，将梯度针对所述非对称的网络分支的特征提取模式进行过加权，这样，就对特征提取模式的消解进行了抑制，提升了所述清理效果动态特征向量V1和所述超声控制特征向量V2，也就相应提升了所述分类特征矩阵的分类结果的准确性。这样，能够基于被清理对象的实时表面状态来自适应地调整超声波发生器的功率，以在确保清理效果的同时，能耗最优。
基于此，本申请提出了一种胶塞清洗机，其包括：监控单元，用于获取超声波发生器在预定时间段产生的超声波信号以及所述预定时间段的被清理对象的清洗监控视频；采样单元，用于从所述清洗监控视频提取多个清洗监控关键帧；多尺度感知单元，用于将所述多个清洗监控关键帧中各个清洗监控关键帧分别通过多分支感知域模块以得到多个清洗监控特征图；清理效果评估单元，用于计算所述多个清洗监控特征图中相邻两个清洗监控特征图之间的差分特征图以得到多个差分特征图；清洗效果动态特征提取单元，用于将所述多个差分特征图通过使用三维卷积核的第一卷积神经网络模型以得到清理效果动态特征图；维度调整单元，用于对所述清理效果动态特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到清理效果动态特征向量；超声波特征提取单元，用于将所述超声波信号的波形图通过作为过滤器的第二卷积神经网络模型以得到超声控制特征向量；响应性单元，用于计算所述超声控制特征向量相对于所述清理效果动态特征向量的响应性估计以得到分类特征矩阵；以及，超声控制结果生成单元，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的超声波发生器的功率应增大或应减小。
图1图示了根据本申请实施例的胶塞清洗机的应用场景图。如图1所示，在该应用场景中，首先获取由部署于胶塞清洗机(例如，如图1中所示意的M)上超声波采集器(例如，如图1中所示意的Se)采集的超声波发生器(例如，如图1中所示意的G)在预定时间段产生的超声波信号以及由摄像头(例如，如图1中所示意的C)采集的所述预定时间段的被清理对象(例如，如图1中所示意的O)的清洗监控视频。进而，将所述超声波发生器在预定时间段产生的超声波信号以及所述预定时间段的被清理对象的清洗监控视频输入至部署有胶塞清洗机的控制算法的服务器(例如，如图1中所示意的S)中，其中，所述服务器能够以所述胶塞清洗机的控制算法对输入的所述超声波发生器在预定时间段产生的超声波信号以及所述预定时间段的被清理对象的清洗监控视频进行处理以得到用于表示当前时间点的超声波发生器的功率应增大或应减小。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图2图示了根据本申请实施例的胶塞清洗机的框图。如图2所示，根据本申请实施例的胶塞清洗机100，包括：监控单元110，用于获取超声波发生器在预定时间段产生的超声波信号以及所述预定时间段的被清理对象的清洗监控视频；采样单元120，用于从所述清洗监控视频提取多个清洗监控关键帧；多尺度感知单元130，用于将所述多个清洗监控关键帧中各个清洗监控关键帧分别通过多分支感知域模块以得到多个清洗监控特征图；清理效果评估单元140，用于计算所述多个清洗监控特征图中相邻两个清洗监控特征图之间的差分特征图以得到多个差分特征图；清洗效果动态特征提取单元150，用于将所述多个差分特征图通过使用三维卷积核的第一卷积神经网络模型以得到清理效果动态特征图；维度调整单元160，用于对所述清理效果动态特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到清理效果动态特征向量；超声波特征提取单元170，用于将所述超声波信号的波形图通过作为过滤器的第二卷积神经网络模型以得到超声控制特征向量；响应性单元180，用于计算所述超声控制特征向量相对于所述清理效果动态特征向量的响应性估计以得到分类特征矩阵；以及，超声控制结果生成单元190，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的超声波发生器的功率应增大或应减小。
图3图示了根据本申请实施例的胶塞清洗机的系统架构图。如图3所示，在该系统架构中，首先获取超声波发生器在预定时间段产生的超声波信号以及所述预定时间段的被清理对象的清洗监控视频，并从所述清洗监控视频提取多个清洗监控关键帧。接着，将所述多个清洗监控关键帧中各个清洗监控关键帧分别通过多分支感知域模块以得到多个清洗监控特征图。然后，计算所述多个清洗监控特征图中相邻两个清洗监控特征图之间的差分特征图以得到多个差分特征图。进而，将所述多个差分特征图通过使用三维卷积核的第一卷积神经网络模型以得到清理效果动态特征图，并对所述清理效果动态特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到清理效果动态特征向量。接着，将所述超声波信号的波形图通过作为过滤器的第二卷积神经网络模型以得到超声控制特征向量。然后，计算所述超声控制特征向量相对于所述清理效果动态特征向量的响应性估计以得到分类特征矩阵。进而，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的超声波发生器的功率应增大或应减小。
在上述胶塞清洗机100中，所述监控单元110，用于获取超声波发生器在预定时间段产生的超声波信号以及所述预定时间段的被清理对象的清洗监控视频。胶塞超声波清洗机产品具有结构新颖、电路先进、工作可靠、高效率、低噪音及清洁度高的特点，广泛应用于医院等医疗机构的手术室、化验室、检验室、供应室、牙科、消毒中心等科室，例如，KJCS超声波胶塞清洗机，适用于粉针胶塞、冻干胶塞、水针西林瓶胶塞、大输液胶塞等产品，具有自动进料、清洗、取样、硅化、灭菌、干燥、冷却、自动出料、CIP、SIP等全过程电脑控制操作的主要功能。对医疗器械的深孔、盲孔、凹凸槽的清洗是最理想的设备。最常用的台式医用超声波清洗机是LSA,主要用于牙科或小型医院供应室。
最常用的卧式医用超声波清洗机是LSA-E24/1200主要用于医院供应室和手术室。现有的胶塞超声波清洗机中的超声波发生器产生的超声波信号是采用固定的功率来进行手术机械及手术附件的各种污渍清洗，但是，在清洗的过程中发现手术机械和手术附件的各种污渍状态在清洗的过程中是不断发生变化的，这样就会导致采用固定功率的超声波来进行清洗的能耗较大，且并不能够保证清洗的效果。因此，期望一种优化的胶塞清洗机，其能够基于被清理对象的实时表面状态来自适应地调整超声波发生器的功率，以在确保清理效果的同时，能耗最优。
相应地，在本申请的技术方案中，考虑到对于超声波发生器的功率调整应适配于被清理对象的实时表面清洗状态变化，也就是，基于被清理对象的实时表面清洗状态变化来自适应调整超声波发生器的工作功率。这样，一方面能够确保对于手术机械及手术附件的各种污渍的清理效果，另一方面还能够实现降低能耗的目的。具体地，在本申请的技术方案中，首先，通过摄像头来采集预定时间段的被清理对象的清洗监控视频，并且获取超声波发生器在预定时间段产生的超声波信号。其中，所述超声波信号可以由超声波传感器来采集。
在上述胶塞清洗机100中，所述采样单元120，用于从所述清洗监控视频提取多个清洗监控关键帧。应可以理解，在所述超声波发生器利用产生的超声波信号进行机械及污渍清洗的过程中，被清洗对象的实时表面清洗状态变化特征可以通过所述清洗监控视频中的相邻监控帧之间的差分来表示，也就是，通过相邻图像帧的清洗图像表征来表示被清洗对象的实时表面清洗状态变化情况。但是，考虑到监控视频中相邻帧的差异较小，存在大量数据冗余，因此，为了降低计量算，且避免数据冗余给检测带来的不良影响，以预定采样频率对所述清洗监控视频进行关键帧采样，从而得到多个清洗监控关键帧。
具体地，在本申请实施例中，所述采样单元120，进一步用于以预定采样频率从所述清洗监控视频提取所述多个清洗监控关键帧。这里，值得一提的是，所述采样频率可基于实际场景的应用需求做出调整，而不是默认值。
在上述胶塞清洗机100中，所述多尺度感知单元130，用于将所述多个清洗监控关键帧中各个清洗监控关键帧分别通过多分支感知域模块以得到多个清洗监控特征图。在从所述清洗监控视频中提取到所述多个清洗监控关键帧后，使用在图像的隐含特征提取方面具有优异表面的卷积神经网络模型作为特征提取器来提取出所述各个清洗监控关键帧中的关于被清理对象的实时表面清洗状态特征。但是，在标准深度卷积神经网络的卷积和池化都是常见的下采样操作，但下采样在扩大感知域的同时也缩小了feature map尺度，造成信息损失。且因标准深度卷积神经网络模型使用固定尺寸的卷积核，因此，在进行特征提取时，其无法学习到多尺度特征信息，而导致因网格效应带来的局部信息丢失的问题。
基于此，针对上述问题，在本申请的技术方案中，使用多分支感知域模块替代传统的卷积神经网络模型作为特征提取器来进行所述被清理对象的实时表面清洗状态特征提取，从而得到多个清洗监控特征图。相较于传统的卷积神经网络模型，所述多分支感知域模块具有如下优势：1)所述多分支感知域模块利用空洞卷积来替代传统卷积核，其利用其特有的参数扩张率，使原卷积核在相同参数量下拥有更大的感知域，也就是，所述多分支感知域模块利用空洞卷积即可扩大感知域，从而无需下采样，避免了信息损失且实现特征图输入与输出尺度一致；2)所述多分支感知域模块设计不同扩张率的并行空洞卷积结构，可让网络学习到多尺度特征信息，因此解决了网格效应带来的局部信息丢失的问题。且该结构使目标检测可利用的小目标信息量增多，进而解决了传统卷积神经网络利用池化层所造成的小目标信息无法重建的问题。
具体地，在本申请实施例中，所述多尺度感知单元130，进一步用于：通过第一点卷积子单元131，将所述清洗监控关键帧输入所述多分支感知域模块的第一点卷积层以得到卷积特征图；通过多分支感知子单元132，分别将所述卷积特征图通过所述多分支感知域模块的第一分支感知域单元、第二分支感知域单元和第三分支感知域单元以得到第一分支感知特征图、第二分支感知特征图和第三分支感知特征图，其中，所述第一分支感知域单元、所述第二分支感知域单元和所述第三分支感知域单元具有并行结构；通过融合子单元133，将所述第一分支感知特征图、所述第二分支感知特征图和所述第二分支感知特征图进行级联以得到融合感知特征图；通过第二点卷积子单元134，将所述融合感知特征图输入所述多分支感知域模块的第二点卷积层以得到通道校正融合感知特征图；以及，通过残差级联子单元135，计算所述通道校正融合感知特征图和所述卷积特征图的按位置点加以得到所述清洗监控特征图。
图4图示了根据本申请实施例的胶塞清洗机中多尺度感知单元的框图。如图4所示，所述多尺度感知单元130，包括：第一点卷积子单元131，用于将所述清洗监控关键帧输入所述多分支感知域模块的第一点卷积层以得到卷积特征图；多分支感知子单元132，用于分别将所述卷积特征图通过所述多分支感知域模块的第一分支感知域单元、第二分支感知域单元和第三分支感知域单元以得到第一分支感知特征图、第二分支感知特征图和第三分支感知特征图，其中，所述第一分支感知域单元、所述第二分支感知域单元和所述第三分支感知域单元具有并行结构；融合子单元133，用于将所述第一分支感知特征图、所述第二分支感知特征图和所述第二分支感知特征图进行级联以得到融合感知特征图；第二点卷积子单元134，用于将所述融合感知特征图输入所述多分支感知域模块的第二点卷积层以得到通道校正融合感知特征图；以及，残差级联子单元135，用于计算所述通道校正融合感知特征图和所述卷积特征图的按位置点加以得到所述清洗监控特征图。
具体地，在本申请实施例中，所述多分支感知子单元132，包括：第一一维卷积编码二级子单元，用于将所述卷积特征图通过所述第一分支感知域单元的第一一维卷积层以得到第一一维卷积特征图；第一空洞卷积编码二级子单元，用于将所述第一一维卷积特征图通过具有第一空洞率的第一二维卷积层以得到所述第一分支感知特征图；二一维卷积编码二级子单元，用于将所述卷积特征图通过所述第二分支感知域单元的第二一维卷积层以得到第二一维卷积特征图；第二空洞卷积编码二级子单元，用于将所述第二一维卷积特征图通过具有第二空洞率的第二二维卷积层以得到所述第二分支感知特征图；第三一维卷积编码二级子单元，用于将所述卷积特征图通过所述第三分支感知域单元的第三一维卷积层以得到第三一维卷积特征图；以及，第三空洞卷积编码二级子单元，用于将所述第三一维卷积特征图通过具有第三空洞率的第三二维卷积层以得到所述第三分支感知特征图。也就是，所述多分支感知域模块利用空洞卷积即可扩大感知域，从而无需下采样，避免了信息损失且实现特征图输入与输出尺度一致。
具体地，在本申请实施例中，所述第一空洞率、所述第二空洞率和所述第三空洞率相互不相等。应可以理解，采用相互不相等的空洞率，也就是将所述多分支感知域模块设计成不同扩张率的并行空洞卷积结构，可让网络学习到多尺度特征信息，因此解决了网格效应带来的局部信息丢失的问题。且该结构使目标检测可利用的小目标信息量增多，进而解决了传统卷积神经网络利用池化层所造成的小目标信息无法重建的问题。
在上述胶塞清洗机100中，所述清理效果评估单元140，用于计算所述多个清洗监控特征图中相邻两个清洗监控特征图之间的差分特征图以得到多个差分特征图。应可以理解，所述差分特征图可以用来表示在所述超声波发生器利用产生的超声波信号进行机械及污渍清洗的过程中，被清洗对象的实时表面清洗状态变化特征。因此，在将所述多个清洗监控关键帧中各个清洗监控关键帧分别通过多分支感知域模块以得到多个清洗监控特征图后，计算所述多个清洗监控特征图中相邻两个清洗监控特征图之间的差分特征图以得到多个差分特征图。在一个具体示例中，可以以所述多个清洗监控特征图中每相邻两个清洗监控特征图之间的按位置差分来计算所述差分特征图，这样通过两个特征图之间的像素级差异来表示所述被清洗对象的实时表面清洗状态变化信息。
在上述胶塞清洗机100中，所述清洗效果动态特征提取单元150，用于将所述多个差分特征图通过使用三维卷积核的第一卷积神经网络模型以得到清理效果动态特征图。也就是，将所述多个差分特征图通过使用三维卷积核的第一卷积神经网络模型中进行处理，以提取出所述多个差分特征图中关于所述被清洗对象的实时表面清洗状态变化信息的动态特征分布，从而得到清理效果动态特征图。特别地，这里，所述第一卷积卷积神经网络模型的卷积核为三维卷积核，其具有W(宽度)、H(高度)和C(通道维度)，在本申请的技术方案中，所述三维卷积核的通道维度对应于所述多个差分特征图的时间维度，因此，在进行三维卷积编码时，能提取出所述被清洗对象的实时表面清洗状态的动态特征随时间维度的变化特征。
具体地，在本申请实施例中，所述清洗效果动态特征提取单元150，进一步用于：使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述清理效果动态特征图，所述第一卷积神经网络模型的第一层的输入为所述多个差分特征图。
在上述胶塞清洗机100中，所述维度调整单元160，用于对所述清理效果动态特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到清理效果动态特征向量。也就是，对所述清理效果动态特征图的沿通道维度的各个特征矩阵进行全局均值池化处理，以对于所述清理效果动态特征图沿通道维度进行降维，从而得到清理效果动态特征向量。这样，能够对于所述清理效果动态特征图进行沿时间维度的降维处理，以在降低计算量的同时保留其在时序上的动态变化特征。
在上述胶塞清洗机100中，所述超声波特征提取单元170，用于将所述超声波信号的波形图通过作为过滤器的第二卷积神经网络模型以得到超声控制特征向量。对于所述超声波发生器在预定时间段产生的超声波信号，将所述超声波信号的波形图通过作为过滤器的第二卷积神经网络模型中进行处理，以得到超声控制特征向量。也就是，以所述第二卷积神经网络模型对于所述超声波信号的波形图进行特征提取，以提取出所述超声波信号的波形图中的高维隐含特征分布信息，从而得到超声控制特征向量。其中，所述作为过滤器的第二卷积神经网络模型，也就是，基于过滤器的卷积神经网络模型，在层的正向传递过程中进行W3×H3的局部特征矩阵的池化(平均值池化或者最大值池化)，或者在最后一层进行特征矩阵的全局平均池化，最后得到特征向量。
具体地，在本申请实施例中，所述超声波特征提取单元170，进一步用于：使用所述第二卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络模型的最后一层的输出为所述超声控制特征向量，所述第二卷积神经网络模型的第一层的输入为所述超声波信号的波形图。
在上述胶塞清洗机100中，所述响应性单元180，用于计算所述超声控制特征向量相对于所述清理效果动态特征向量的响应性估计以得到分类特征矩阵。在得到所述超声控制特征向量和所述清理效果动态特征向量后，进一步计算所述超声控制特征向量相对于所述清理效果动态特征向量的响应性估计以得到分类特征矩阵。也就是，以所述超声控制特征向量相对于所述清理效果动态特征向量的响应性估计来表示所述被清理对象的实时表面清洗状态变化特征和所述超声波发生器的工作功率隐含变化特征之间的关联性特征。
具体地，在本申请实施例中，所述响应性单元180，进一步用于：以如下公式计算所述超声控制特征向量相对于所述清理效果动态特征向量的响应性估计以得到分类特征矩阵；其中，所述公式为：
Figure BDA0003884883600000182
其中Va表示所述超声控制特征向量，Vb表示所述清理效果动态特征向量，M表示所述转移矩阵，
Figure BDA0003884883600000181
表示矩阵相乘。
在上述胶塞清洗机100中，所述超声控制结果生成单元190，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的超声波发生器的功率应增大或应减小。也就是，以所述超声控制特征向量相对于所述清理效果动态特征向量的响应性估计作为分类特征矩阵来进行分类，从而得到用于表示当前时间点的超声波发生器的功率应增大或应减小的分类结果。这样，基于被清理对象的实时表面清洗状态变化来自适应调整超声波发生器的工作功率，一方面能够确保对于手术机械及手术附件的各种污渍的清理效果，另一方面还能够实现降低能耗的目的。
在上述胶塞清洗机100中，还包括用于对所述多分支感知域模块、所述使用三维卷积核的第一卷积神经网络模型、所述作为过滤器的第二卷积神经网络模型和所述分类器进行训练的训练模块200。
图5图示了根据本申请实施例的胶塞清洗机中训练模块的框图。如图5所示，所述训练模块200，包括：训练监控单元210，用于获取训练数据，所述训练数据包括超声波发生器在预定时间段产生的训练超声波信号和所述预定时间段的被清理对象的训练清洗监控视频，以及，所述当前时间点的超声波发生器的功率应增大或应减小的真实值；训练采样单元220，用于从所述训练清洗监控视频提取多个训练清洗监控关键帧；训练多尺度感知单元230，用于将所述多个训练清洗监控关键帧中各个训练清洗监控关键帧分别通过所述多分支感知域模块以得到多个训练清洗监控特征图；训练清理效果评估单元240，用于计算所述多个训练清洗监控特征图中相邻两个训练清洗监控特征图之间的差分特征图以得到多个训练差分特征图；训练清洗效果动态特征提取单元250，用于将所述多个训练差分特征图通过所述使用三维卷积核的第一卷积神经网络模型以得到训练清理效果动态特征图；训练维度调整单元260，用于对所述训练清理效果动态特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到训练清理效果动态特征向量；训练超声波特征提取单元270，用于将所述训练超声波信号的波形图通过所述作为过滤器的第二卷积神经网络模型以得到训练超声控制特征向量；训练响应性单元280，用于计算所述训练超声控制特征向量相对于所述训练清理效果动态特征向量的响应性估计以得到训练分类特征矩阵；分类损失函数值计算单元290，用于将所述训练分类特征矩阵通过所述分类器以得到分类损失函数值；抑制损失函数值计算单元300，用于计算所述训练清理效果动态特征向量和所述训练超声控制特征向量的特征提取模式消解的抑制损失函数值；以及，训练单元310，用于以所述特征提取模式消解的抑制损失函数值和所述分类损失函数值的加权和作为损失函数值对所述多分支感知域模块、所述使用三维卷积核的第一卷积神经网络模型、所述作为过滤器的第二卷积神经网络模型和所述分类器进行训练。
特别地，在本申请的技术方案中，在计算所述超声控制特征向量相对于所述清理效果动态特征向量的响应性估计得到分类特征矩阵时，期望所述清理效果动态特征向量与所述超声控制特征向量的特征分布尽量保持一致，以提高响应性估计计算的准确度。但是，由于所述清理效果动态特征向量与所述超声控制特征向量是基于非对称的网络分支得到的，因此在训练过程中，分类器的分类损失函数在梯度反向传播时会分别通过所述非对称的网络分支，从而可能由于异常的梯度发散导致所述非对称的网络分支的特征提取模式的消解，从而影响所述分类特征矩阵的分类结果的准确性。因此，优选地，引入针对所述清理效果动态特征向量，例如记为V1，和所述超声控制特征向量，例如记为V2的特征提取模式消解的抑制损失函数。
具体地，在本申请实施例中，所述抑制损失函数值计算单元300，进一步用于：以如下公式计算所述训练清理效果动态特征向量和所述训练超声控制特征向量的所述特征提取模式消解的抑制损失函数值；其中，所述公式为：
Figure BDA0003884883600000201
Figure BDA0003884883600000202
其中V1和V2分别是所述训练清理效果动态特征向量和所述训练超声控制特征向量，且M1和M2分别是所述分类器对于所述训练清理效果动态特征向量和所述训练超声控制特征向量的权重矩阵，
Figure BDA0003884883600000203
表示向量的二范数的平方，‖·‖F表示矩阵的F范数，
Figure BDA0003884883600000204
表示按位置减法，log表示以2为底的对数函数值。
具体地，在保持所述清理效果动态特征向量V1和所述超声控制特征向量V2的特征分布的一致性的同时，通过以交叉熵形式使得分类器相对于不同特征向量的权重矩阵的差异分布与特征向量的真实的特征差异分布保持一致，来保证梯度反向传播时的定向导数在梯度传播的分支点附近得到正则化。也就是，将梯度针对所述非对称的网络分支的特征提取模式进行过加权，这样，就对特征提取模式的消解进行了抑制，提升了所述清理效果动态特征向量V1和所述超声控制特征向量V2，也就相应提升了所述分类特征矩阵的分类结果的准确性。这样，能够基于被清理对象的实时表面状态来自适应地调整超声波发生器的功率，以在确保清理效果的同时，能耗最优。
综上，根据本申请实施例的所述胶塞清洗机100被阐明，其能够基于被清理对象的实时表面状态，例如，手术机械和手术附件的各种污渍状态，来自适应地调整超声波发生器的工作功率，以在确保清理效果的同时，能耗最优。
示例性方法
图6图示了根据本申请实施例的胶塞清洗机的控制方法的流程图。如图6所示，根据本申请实施例的所述胶塞清洗机的控制方法，包括步骤：S110，获取超声波发生器在预定时间段产生的超声波信号以及所述预定时间段的被清理对象的清洗监控视频；S120，从所述清洗监控视频提取多个清洗监控关键帧；S130，将所述多个清洗监控关键帧中各个清洗监控关键帧分别通过多分支感知域模块以得到多个清洗监控特征图；S140，计算所述多个清洗监控特征图中相邻两个清洗监控特征图之间的差分特征图以得到多个差分特征图；S150，将所述多个差分特征图通过使用三维卷积核的第一卷积神经网络模型以得到清理效果动态特征图；S160，对所述清理效果动态特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到清理效果动态特征向量；S170，将所述超声波信号的波形图通过作为过滤器的第二卷积神经网络模型以得到超声控制特征向量；S180，计算所述超声控制特征向量相对于所述清理效果动态特征向量的响应性估计以得到分类特征矩阵；以及，S190，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的超声波发生器的功率应增大或应减小。
在一个示例中，在上述胶塞清洗机的控制方法中，还包括对所述多分支感知域模块、所述使用三维卷积核的第一卷积神经网络模型、所述作为过滤器的第二卷积神经网络模型和所述分类器进行训练的训练阶段。
图7图示了根据本申请实施例的胶塞清洗机的控制方法中训练阶段的流程图。如图7所示，所述训练阶段，包括步骤：S210，获取训练数据，所述训练数据包括超声波发生器在预定时间段产生的训练超声波信号和所述预定时间段的被清理对象的训练清洗监控视频，以及，所述当前时间点的超声波发生器的功率应增大或应减小的真实值；S220，从所述训练清洗监控视频提取多个训练清洗监控关键帧；S230，将所述多个训练清洗监控关键帧中各个训练清洗监控关键帧分别通过所述多分支感知域模块以得到多个训练清洗监控特征图；S240，计算所述多个训练清洗监控特征图中相邻两个训练清洗监控特征图之间的差分特征图以得到多个训练差分特征图；S250，将所述多个训练差分特征图通过所述使用三维卷积核的第一卷积神经网络模型以得到训练清理效果动态特征图；S260，对所述训练清理效果动态特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到训练清理效果动态特征向量；S270，将所述训练超声波信号的波形图通过所述作为过滤器的第二卷积神经网络模型以得到训练超声控制特征向量；S280，计算所述训练超声控制特征向量相对于所述训练清理效果动态特征向量的响应性估计以得到训练分类特征矩阵；S290，将所述训练分类特征矩阵通过所述分类器以得到分类损失函数值；S300，计算所述训练清理效果动态特征向量和所述训练超声控制特征向量的特征提取模式消解的抑制损失函数值；以及，S310，以所述特征提取模式消解的抑制损失函数值和所述分类损失函数值的加权和作为损失函数值对所述多分支感知域模块、所述使用三维卷积核的第一卷积神经网络模型、所述作为过滤器的第二卷积神经网络模型和所述分类器进行训练。
综上，根据本申请实施例的所述胶塞清洗机的控制方法被阐明，其能够基于被清理对象的实时表面状态，例如，手术机械和手术附件的各种污渍状态，来自适应地调整超声波发生器的工作功率，以在确保清理效果的同时，能耗最优。

Claims (10)

1.一种胶塞清洗机，其特征在于，包括：
监控单元，用于获取超声波发生器在预定时间段产生的超声波信号以及所述预定时间段的被清理对象的清洗监控视频；
采样单元，用于从所述清洗监控视频提取多个清洗监控关键帧；
多尺度感知单元，用于将所述多个清洗监控关键帧中各个清洗监控关键帧分别通过多分支感知域模块以得到多个清洗监控特征图；
清理效果评估单元，用于计算所述多个清洗监控特征图中相邻两个清洗监控特征图之间的差分特征图以得到多个差分特征图；
清洗效果动态特征提取单元，用于将所述多个差分特征图通过使用三维卷积核的第一卷积神经网络模型以得到清理效果动态特征图；
维度调整单元，用于对所述清理效果动态特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到清理效果动态特征向量；
超声波特征提取单元，用于将所述超声波信号的波形图通过作为过滤器的第二卷积神经网络模型以得到超声控制特征向量；
响应性单元，用于计算所述超声控制特征向量相对于所述清理效果动态特征向量的响应性估计以得到分类特征矩阵；以及
超声控制结果生成单元，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的超声波发生器的功率应增大或应减小。
2.根据权利要求1所述的胶塞清洗机，其特征在于，所述采样单元，进一步用于以预定采样频率从所述清洗监控视频提取所述多个清洗监控关键帧。
3.根据权利要求2所述的胶塞清洗机，其特征在于，所述多尺度感知单元，包括：
第一点卷积子单元，用于将所述清洗监控关键帧输入所述多分支感知域模块的第一点卷积层以得到卷积特征图；
多分支感知子单元，用于分别将所述卷积特征图通过所述多分支感知域模块的第一分支感知域单元、第二分支感知域单元和第三分支感知域单元以得到第一分支感知特征图、第二分支感知特征图和第三分支感知特征图，其中，所述第一分支感知域单元、所述第二分支感知域单元和所述第三分支感知域单元具有并行结构；
融合子单元，用于将所述第一分支感知特征图、所述第二分支感知特征图和所述第二分支感知特征图进行级联以得到融合感知特征图；
第二点卷积子单元，用于将所述融合感知特征图输入所述多分支感知域模块的第二点卷积层以得到通道校正融合感知特征图；以及
残差级联子单元，用于计算所述通道校正融合感知特征图和所述卷积特征图的按位置点加以得到所述清洗监控特征图。
4.根据权利要求3所述的胶塞清洗机，其特征在于，所述多分支感知子单元，包括：
第一一维卷积编码二级子单元，用于将所述卷积特征图通过所述第一分支感知域单元的第一一维卷积层以得到第一一维卷积特征图；
第一空洞卷积编码二级子单元，用于将所述第一一维卷积特征图通过具有第一空洞率的第一二维卷积层以得到所述第一分支感知特征图；
第二一维卷积编码二级子单元，用于将所述卷积特征图通过所述第二分支感知域单元的第二一维卷积层以得到第二一维卷积特征图；
第二空洞卷积编码二级子单元，用于将所述第二一维卷积特征图通过具有第二空洞率的第二二维卷积层以得到所述第二分支感知特征图；
第三一维卷积编码二级子单元，用于将所述卷积特征图通过所述第三分支感知域单元的第三一维卷积层以得到第三一维卷积特征图；以及
第三空洞卷积编码二级子单元，用于将所述第三一维卷积特征图通过具有第三空洞率的第三二维卷积层以得到所述第三分支感知特征图。
5.根据权利要求4所述的胶塞清洗机，其特征在于，所述第一空洞率、所述第二空洞率和所述第三空洞率相互不相等。
6.根据权利要求5所述的胶塞清洗机，其特征在于，所述清洗效果动态特征提取单元，进一步用于：
使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：
对输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述第一卷积神经网络模型的最后一层的输出为所述清理效果动态特征图，所述第一卷积神经网络模型的第一层的输入为所述多个差分特征图。
所述超声波特征提取单元，进一步用于：
使用所述第二卷积神经网络模型的各层在层的正向传递中分别进行：
对输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述第二卷积神经网络模型的最后一层的输出为所述超声控制特征向量，所述第二卷积神经网络模型的第一层的输入为所述超声波信号的波形图。
7.根据权利要求6所述的胶塞清洗机，其特征在于，所述响应性单元，进一步用于：以如下公式计算所述超声控制特征向量相对于所述清理效果动态特征向量的响应性估计以得到分类特征矩阵；
其中，所述公式为：
Figure FDA0003884883590000031
其中Va表示所述超声控制特征向量，Vb表示所述清理效果动态特征向量，M表示所述转移矩阵，
Figure FDA0003884883590000032
表示矩阵相乘。
8.根据权利要求1所述的胶塞清洗机，其特征在于，还包括用于对所述多分支感知域模块、所述使用三维卷积核的第一卷积神经网络模型、所述作为过滤器的第二卷积神经网络模型和所述分类器进行训练的训练模块；
其中，所述训练模块，包括：
训练监控单元，用于获取训练数据，所述训练数据包括超声波发生器在预定时间段产生的训练超声波信号和所述预定时间段的被清理对象的训练清洗监控视频，以及，所述当前时间点的超声波发生器的功率应增大或应减小的真实值；
训练采样单元，用于从所述训练清洗监控视频提取多个训练清洗监控关键帧；
训练多尺度感知单元，用于将所述多个训练清洗监控关键帧中各个训练清洗监控关键帧分别通过所述多分支感知域模块以得到多个训练清洗监控特征图；
训练清理效果评估单元，用于计算所述多个训练清洗监控特征图中相邻两个训练清洗监控特征图之间的差分特征图以得到多个训练差分特征图；
训练清洗效果动态特征提取单元，用于将所述多个训练差分特征图通过所述使用三维卷积核的第一卷积神经网络模型以得到训练清理效果动态特征图；
训练维度调整单元，用于对所述训练清理效果动态特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到训练清理效果动态特征向量；
训练超声波特征提取单元，用于将所述训练超声波信号的波形图通过所述作为过滤器的第二卷积神经网络模型以得到训练超声控制特征向量；
训练响应性单元，用于计算所述训练超声控制特征向量相对于所述训练清理效果动态特征向量的响应性估计以得到训练分类特征矩阵；
分类损失函数值计算单元，用于将所述训练分类特征矩阵通过所述分类器以得到分类损失函数值；
抑制损失函数值计算单元，用于计算所述训练清理效果动态特征向量和所述训练超声控制特征向量的特征提取模式消解的抑制损失函数值；以及
训练单元，用于以所述特征提取模式消解的抑制损失函数值和所述分类损失函数值的加权和作为损失函数值对所述多分支感知域模块、所述使用三维卷积核的第一卷积神经网络模型、所述作为过滤器的第二卷积神经网络模型和所述分类器进行训练。
9.根据权利要求8所述的胶塞清洗机，其特征在于，所述抑制损失函数值计算单元，进一步用于：以如下公式计算所述训练清理效果动态特征向量和所述训练超声控制特征向量的所述特征提取模式消解的抑制损失函数值；
其中，所述公式为：
Figure FDA0003884883590000051
其中V1和V2分别是所述训练清理效果动态特征向量和所述训练超声控制特征向量，且M1和M2分别是所述分类器对于所述训练清理效果动态特征向量和所述训练超声控制特征向量的权重矩阵，
Figure FDA0003884883590000052
表示向量的二范数的平方，‖·‖F表示矩阵的F范数，
Figure FDA0003884883590000053
表示按位置减法，log表示以2为底的对数函数值。
10.一种胶塞清洗机的控制方法，其特征在于，包括：
获取超声波发生器在预定时间段产生的超声波信号以及所述预定时间段的被清理对象的清洗监控视频；
从所述清洗监控视频提取多个清洗监控关键帧；
将所述多个清洗监控关键帧中各个清洗监控关键帧分别通过多分支感知域模块以得到多个清洗监控特征图；
计算所述多个清洗监控特征图中相邻两个清洗监控特征图之间的差分特征图以得到多个差分特征图；
将所述多个差分特征图通过使用三维卷积核的第一卷积神经网络模型以得到清理效果动态特征图；
对所述清理效果动态特征图的沿通道维度的各个特征矩阵进行全局均值池化处理以得到清理效果动态特征向量；
将所述超声波信号的波形图通过作为过滤器的第二卷积神经网络模型以得到超声控制特征向量；
计算所述超声控制特征向量相对于所述清理效果动态特征向量的响应性估计以得到分类特征矩阵；以及
将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示当前时间点的超声波发生器的功率应增大或应减小。
CN202211241314.1A 2022-10-11 2022-10-11 胶塞清洗机及其控制方法 Pending CN115620195A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211241314.1A CN115620195A (zh) 2022-10-11 2022-10-11 胶塞清洗机及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211241314.1A CN115620195A (zh) 2022-10-11 2022-10-11 胶塞清洗机及其控制方法

Publications (1)

Publication Number Publication Date
CN115620195A true CN115620195A (zh) 2023-01-17

Family

ID=84861842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211241314.1A Pending CN115620195A (zh) 2022-10-11 2022-10-11 胶塞清洗机及其控制方法

Country Status (1)

Country Link
CN (1) CN115620195A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116375006A (zh) * 2023-05-04 2023-07-04 江西塑高新材料有限公司 碳纳米管物理分散方法
CN118455216A (zh) * 2024-07-10 2024-08-09 青岛富勒姆科技有限公司 一种清洗机的人工智能控制系统及清洗机

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116375006A (zh) * 2023-05-04 2023-07-04 江西塑高新材料有限公司 碳纳米管物理分散方法
CN118455216A (zh) * 2024-07-10 2024-08-09 青岛富勒姆科技有限公司 一种清洗机的人工智能控制系统及清洗机

Similar Documents

Publication Publication Date Title
CN115620195A (zh) 胶塞清洗机及其控制方法
Van De Ville et al. Nonlocal means with dimensionality reduction and SURE-based parameter selection
CN103473743B (zh) 一种获取图像深度信息的方法
Agresti et al. Deep learning for multi-path error removal in ToF sensors
JPH07168943A (ja) 局所異常の排除による動きベクトルフィールド生成装置およびその方法
CN106875426B (zh) 基于相关粒子滤波的视觉跟踪方法及装置
JPH0690387A (ja) 電子画像処理システムと電子画像処理の方法
CN115311186A (zh) 一种红外与可见光图像跨尺度注意力对抗融合方法及终端
Merras et al. Camera calibration with varying parameters based on improved genetic algorithm
CN101561926A (zh) 图像处理设备、图像拍摄设备、图像处理方法和程序
CN117635585A (zh) 一种基于教师-学生网络的纹理表面缺陷检测方法
CN113793280B (zh) 局部噪声方差估计与bm3d块匹配相结合的真实图像降噪方法
CN107945119B (zh) 基于拜耳模式的图像内相关噪声估计方法
Yu et al. Image denoising based on adaptive fractional order anisotropic diffusion
CN116976181A (zh) 一种超声血流成像杂波滤波器设计方法和装置
An et al. HFT6D: Multimodal 6D object pose estimation based on hierarchical feature transformer
Verdant et al. Three novell analog-domain algorithms for motion detection in video surveillance
Qidwai Infrared Image Enhancement using $ H_ {\infty} $ Bounds for Surveillance Applications
KR20100086839A (ko) 이동 물체 탐지 방법 및 그 감시 시스템
Elad Analysis of the bilateral filter
CN106805997B (zh) 一种弹性成像方法和装置
Mahmood et al. Measuring focus quality in vector valued images for shape from focus
Nesi et al. Retimac: Real-time motion analysis chip
Zahari et al. Stereo matching algorithm for autonomous vehicle navigation using integrated matching cost and non-local aggregation
Gao et al. MagFormer: Hybrid Video Motion Magnification Transformer from Eulerian and Lagrangian Perspectives.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination