CN116523912A - 一种基于图像识别的清洁度检测系统及方法 - Google Patents

一种基于图像识别的清洁度检测系统及方法 Download PDF

Info

Publication number
CN116523912A
CN116523912A CN202310797218.3A CN202310797218A CN116523912A CN 116523912 A CN116523912 A CN 116523912A CN 202310797218 A CN202310797218 A CN 202310797218A CN 116523912 A CN116523912 A CN 116523912A
Authority
CN
China
Prior art keywords
image
fluorescent
mark
article
clearance rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310797218.3A
Other languages
English (en)
Other versions
CN116523912B (zh
Inventor
向钱
吕宇
张云海
张波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Eou Technology Co ltd
Sichuan Peoples Hospital of Sichuan Academy of Medical Sciences
Original Assignee
Chengdu Eou Technology Co ltd
Sichuan Peoples Hospital of Sichuan Academy of Medical Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Eou Technology Co ltd, Sichuan Peoples Hospital of Sichuan Academy of Medical Sciences filed Critical Chengdu Eou Technology Co ltd
Priority to CN202310797218.3A priority Critical patent/CN116523912B/zh
Publication of CN116523912A publication Critical patent/CN116523912A/zh
Application granted granted Critical
Publication of CN116523912B publication Critical patent/CN116523912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及医疗护理领域，具体涉及一种基于图像识别的清洁度检测系统及方法，在清洁前后对进行了荧光标注的物体表面采集图像，对采集的图像进行预处理后，利用图像边缘识别和分割，从图像中获取荧光标记所在区域，分别统计清洁前后荧光标记所在区域中包含荧光标记的像素点数量，根据清洁前后荧光标记所在区域中包含的像素点数量变化定量地衡量对物体表面的清洁度。同时，引入光滑权重和使用频率权重对应用场景进行匹配，扩展了荧光标记法的适用场景。提前预设荧光标记中包含荧光标记的像素点数量一方面适当简化了荧光标记法的使用步骤，提高检测效率，另一方面经过对相邻位置的两次标注对比，减少了环境因素对荧光标记数量的影响。

Description

一种基于图像识别的清洁度检测系统及方法
技术领域
本发明涉及医疗护理领域，具体涉及一种基于图像识别的清洁度检测系统及方法。
背景技术
医疗环境清洁质量对患者的手术质量和预后质量等方面产生影响，病原体通过附着在各类医疗器具和设备设施的方式传播给患者，从而影响患者的预后情况，甚至使患者出现病情恶化的现象。
目前，医疗机构使用荧光标记法对绝大部分的病房环境清洁质量进行评估。目前的荧光标记法采用荧光笔在拟清洁的环境物表进行标注，在清洁工作完成后使用紫光电筒照射标注位点，通过肉眼判断是否清除荧光标记，从而确定是否完成清洁工作。荧光标记法由于对环境物清洁质量的评估耗时较短，所需成本较低，所以在医疗机构评估环境清洁质量的实际应用较广。
但是，此方法对判断荧光残留情况的误差来源主要包括判断方式和环境因素。通过肉眼观察荧光标记点的残留情况，能够判断是否已经对环境物表进行了清洁，但是难以定量地对环境物表的清洁质量进行评估。
因此，本发明拟基于荧光标记法，利用图像识别技术，提取清洁前和清洁后环境物表荧光标注的荧光分布数量，结合环境物表的光滑程度和环境物表的使用频次，定量地对环境物表的清洁质量进行评估。
发明内容
本发明的目的在于解决现有技术中存在的难以定量评估对医疗环境物表的清洁质量的技术问题，提供了一种基于图像识别的清洁度检测系统及方法。
根据本发明第一方面，本发明请求保护一种基于图像识别的清洁度检测系统，包括：
图像采集模块：所述图像采集模块用于在清洁前对进行了荧光标注的物体表面采集图像，得到第一图像，在清洁后对相同位置再次采集图像得到第二图像；
图像预处理模块：所述图像预处理模块用于对所述第一图像进行预处理得到第三图像，对所述第二图像进行预处理得到第四图像；
区域识别模块：所述区域识别模块用于识别所述第三图像中荧光标记的边缘，得到第一标记区域，所述荧光标记为通过荧光标注后所述物体表面的荧光区域，识别所述第四图像中荧光标记的边缘，得到第二标记区域，提取所述第一标记区域和所述第二标记区域中包含所述荧光标记的像素点；
数据处理模块：所述数据处理模块用于根据所述第一标记区域中包含所述荧光标记的像素点数量，和所述第二标记区域中包含所述荧光标记的像素点数量，计算得到所述荧光标记的实际清除率，将所述实际清除率和预设清除率对比，所述预设清除率为所述物体表面清洁度的合格值，当所述实际清除率不低于所述预设清除率，则所述物体表面的清洁度合格；当所述实际清除率低于所述预设清除率，则所述物体表面的清洁度不合格。
在本申请一实施例中，所述系统还包括物品分类模块，所述物品分类模块通过深度卷积神经网络模型对所述物品表面的图像进行识别，得到所述物品表面的分类结果，所述物品分类模块包括物品采集子模块、物品标注子模块和物品训练子模块；
所述物品采集子模块用于采集多种需要被荧光标记的所述物品表面的图像；
所述物品标注子模块用于对多种所述物品表面的图像进行标注，得到对应的图像标签，整理所述图像标签得到物品图像数据集；
所述物品训练子模块用于根据所述物品图像数据集对所述深度卷积神经网络模型进行训练，输出训练好的所述深度卷积神经网络模型；
所述深度卷积神经网络模型输入所述物品表面的图像，输出物品表面的分类结果，所述预设清除率设置多个合格值，根据所述分类结果对不同的所述物品表面匹配不同合格值的所述预设清除率。
在本申请一实施例中，所述物品分类模块还包括光滑权重子模块，所述光滑权重子模块用于对所述物品表面的光滑度进行排序，所述光滑度越高的所述物品表面对应采用所述合格值越高的所述预设清除率。
在本申请一实施例中，所述物品分类模块还包括使用频率权重子模块，所述使用频率权重子模块用于对所述物品表面的使用频率进行排序，所述使用频率越高的所述物品表面对应采用所述合格值越高的所述预设清除率。
在本申请一实施例中，所述光滑权重子模块对所述物品表面的所述实际清除率赋予光滑权重，所述光滑度越高的所述物体表面对应采用取值越大的所述光滑权重；
所述使用频率权重子模块对所述物体表面的所述实际清除率赋予使用频率权重，所述使用频率越高的所述物体表面对应采用取值越大的所述使用频率权重；
将所述光滑权重和所述使用频率权重进行线性加权，得到所述物体表面的所述实际清除率的权重系数，将所述实际清除率和对应的所述权重系数的乘积与所述预设清除率进行对比。
在本申请一实施例中，所述区域识别模块采用阈值分割模型对所述第三图像和所述第四图像进行荧光标记的边缘提取和分割，对所述第三图像和所述第四图像的所有像素点进行阈值判定，提取所述第一标记区域和所述第二标记区域中包含所述荧光标记的像素点，所述阈值分割模型输入所述第三图像，输出所述第一标记区域，所述阈值分割模型输入所述第四图像，输出所述第二标记区域。
在本申请一实施例中，所述深度卷积神经网络模型包括输入层、隐藏层和输出层，采用交叉熵作为损失函数，通过反向传播来更新所述深度卷积神经网络模型的参数；
其中，所述输入层用于输入所述物品表面的图像，所述隐藏层包括卷积层、池化层和激活层，用来获取所述物品表面的特征向量，所述输出层为全连接层，用于输出所述物品表面分别属于每种类别的概率向量；
所述物品分类模块获取所述概率向量中最大值对应的物品类别，作为所述物品表面的分类结果。
在本申请一实施例中，使用标准荧光标记对物品表面进行标注，所述标准荧光标记进行的每一次标注中的包含荧光标记的像素点数量相同，根据所述标准荧光标记包含所述荧光标记的像素点和所述第二标记区域中包含所述荧光标记的像素点，计算得到所述荧光标记的实际清除率。
在本申请一实施例中，使用标准荧光标记对物品表面进行标注，所述标准荧光标记进行的每一次标注中的包含荧光标记的像素点数量相同；
清洁后，使用所述标准荧光标记对所述第一标记区域相邻位置的所述物体表面进行二次标注，使用与所述第二图像相同的紫光角度和紫光强度，对所述二次标注的位置采集图像得到第五图像，所述第五图像经过所述预处理得到第六图像，识别所述第六图像中所述荧光标记的边缘得到第三标记区域，提取所述第三标记区域中包含所述荧光标记的像素点数量，所述数据处理模块根据所述第三标记区域中包含所述荧光标记的像素点数量和所述第一标记区域中包含所述荧光标记的像素点数量的比值，对所述第二标记区域进行荧光像素点数量补偿，得到所述第二标记区域中包含所述荧光标记的像素点数量。
根据本发明第二方面，本发明请求保护一种基于图像识别的清洁度检测方法，包括：
在清洁前对进行了荧光标注的物体表面采集图像，得到第一图像，在清洁后对相同位置再次采集图像得到第二图像；
对所述第一图像进行预处理得到第三图像，对所述第二图像进行预处理得到第四图像；
识别所述第三图像中荧光标记的边缘，得到第一标记区域，得到第一标记区域，所述荧光标记为通过荧光标注后所述物体表面的荧光区域，识别所述第四图像中荧光标记的边缘，得到第二标记区域，提取所述第一标记区域和所述第二标记区域中包含所述荧光标记的像素点；
根据所述第一标记区域中包含所述荧光标记的像素点数量，和所述第二标记区域中包含所述荧光标记的像素点数量，计算得到所述荧光标记的实际清除率，将所述实际清除率和预设清除率对比，所述预设清除率为所述物体表面清洁度的合格值，当所述实际清除率不低于所述预设清除率，则所述物体表面的清洁度合格；当所述实际清除率低于所述预设清除率，则所述物体表面的清洁度不合格。
在本申请一实施例中，所述方法还包括物品分类方法，通过深度卷积神经网络模型对所述物品表面的图像进行识别，得到所述物品表面的分类结果；
采集多种需要被荧光标注的所述物品表面的图像；
对多种所述物品表面的图像进行标注，得到对应的图像标签，整理所述图像标签得到物品图像数据集；
根据所述物品图像数据集对所述深度卷积神经网络模型进行训练，输出训练好的所述深度卷积神经网络模型；
所述深度卷积神经网络模型输入所述物品表面的图像，输出物品表面的分类结果，所述预设清除率设置多个合格值，根据所述分类结果对不同的所述物品表面匹配不同合格值的所述预设清除率。
在本申请一实施例中，所述物品分类方法还包括：
对所述物品表面的光滑度进行排序，所述光滑度越高的所述物品表面对应采用所述合格值越高的所述预设清除率。
在本申请一实施例中，所述物品分类模块还包括：
对所述物品表面的使用频率进行排序，所述使用频率越高的所述物品表面对应采用所述合格值越高的所述预设清除率。
在本申请一实施例中，所述物品分类方法还包括：
对所述物品表面的所述实际清除率赋予光滑权重，所述光滑度越高的所述物体表面对应采用取值越大的所述光滑权重；
对所述物体表面的所述实际清除率赋予使用频率权重，所述使用频率越高的所述物体表面对应采用取值越大的所述使用频率权重；
将所述光滑权重和所述使用频率权重进行线性加权，得到所述物体表面的所述实际清除率的权重系数，将所述实际清除率和对应的所述权重系数的乘积与所述预设清除率进行对比。
在本申请一实施例中，采用阈值分割模型对所述第三图像和所述第四图像进行荧光标记的边缘提取和分割，对所述第三图像和所述第四图像的所有像素点进行阈值判定，提取所述第一标记区域和所述第二标记区域中包含所述荧光标记的像素点，所述阈值分割模型输入所述第三图像，输出所述第一标记区域，所述阈值分割模型输入所述第四图像，输出所述第二标记区域。
在本申请一实施例中，所述深度卷积神经网络模型包括输入层、隐藏层和输出层，采用交叉熵作为损失函数，通过反向传播来更新所述深度卷积神经网络模型的参数；
其中，所述输入层用于输入所述物品表面的图像，所述隐藏层包括卷积层、池化层和激活层，用来获取所述物品表面的特征向量，所述输出层为全连接层，用于输出所述物品表面分别属于每种类别的概率向量；
所述物品分类模块获取所述概率向量中最大值对应的物品类别，作为所述物品表面的分类结果。
在本申请一实施例中，使用标准荧光标记对物品表面进行标注，所述标准荧光标记进行的每一次标注中的包含荧光标记的像素点数量相同，根据所述标准荧光标记包含所述荧光标记的像素点和所述第二标记区域中包含所述荧光标记的像素点，计算得到所述荧光标记的实际清除率。
在本申请一实施例中，使用标准荧光标记对物品表面进行标注，所述标准荧光标记进行的每一次标注中的包含荧光标记的像素点数量相同；
清洁后，使用所述标准荧光标记对所述第一标记区域相邻位置的所述物体表面进行二次标注，使用与所述第二图像相同的紫光角度和紫光强度，对所述二次标注的位置采集图像得到第五图像，所述第五图像经过所述预处理得到第六图像，识别所述第六图像中所述荧光标记的边缘得到第三标记区域，提取所述第三标记区域中包含所述荧光标记的像素点数量，根据所述第三标记区域中包含所述荧光标记的像素点数量和所述第一标记区域中包含所述荧光标记的像素点数量的比值，对所述第二标记区域进行荧光像素点数量补偿，得到所述第二标记区域中包含所述荧光标记的像素点数量。
与现有技术相比，本发明的有益效果：
1.本申请在进行环境物表清洁度检测时，采集经过紫光电筒照射后所述物体表面的所述荧光标记发出荧光的图像，通过直方图均衡化等图像预处理技术对图像进行增强，利用图像分割和提取提取荧光标记像素点，统计荧光标记像素点后，对比清洁前和清洁后的变化情况，从而定量地得到荧光标记的清除率，更加准确地对环境物表的清洁质量进行评估。
2.本申请通过预先训练好的深度卷积神经网络对拟清洁的物品进行分类，物品种类不同对应匹配不同的预设清除率，提高了对物品表面清洁评估的准确度，增加了与实际应用的贴合度。
3.本申请通过根据拟清洁物品类别的光滑程度和拟清洁物品的使用频率对拟清洁物品表面进行权重赋值，利用不同的权重赋值对物体表面的清洁质量进行限制或补偿，使得在评价环境物表的清洁质量时，更加接近实际使用场景，扩展了荧光标记法的适用场景。
4.本申请基于图像识别，使用标准荧光标记对拟清洁物品进行标记，将清洁后的荧光标记残留与标准荧光标记进行对比分析，可以实现在定量评估环境物表清洁质量的同时，还简化了荧光标记法的操作步骤，提高了对物品表面清洁质量的评估效率。
5.本申请基于图像识别，通过在清洁前和清洁后使用相同的荧光标记进行两次荧光标注，清洁后的荧光标记位于清洁前荧光标记相邻位置，根据两次荧光数量的对比差距，对清洁后残留的荧光标记进行荧光标记数量的补偿，极大地减少了由于环境因素影响对荧光数量统计的误差，提高了对环境物表的清洁质量评估的准确度。
附图说明
图1为本申请的系统模块总体结构示意图；
图2为本申请的物品分类模块结构示意图；
图3为本申请的一种基于图像识别的清洁度检测方法流程图。
具体实施方式
荧光标记法用于评估医疗环境的清洁质量，通过清洁前和清洁后物体表面的荧光标记点的差异判断是否完成对物体表面清洁。但常规方法难以定量评估医疗环境物表的清洁质量，这也是本实施例拟解决的关键技术问题之一。
本发明旨在建立一种基于图像识别的清洁度检测系统及方法，利用荧光标记法，通过图像识别和图像分割的方式，将荧光标记点提取出来，结合物体表面的光滑程度和患者与物体表面接触的频次，对比清洁前和清洁后的物体表面的荧光标记点的数量，得到荧光标记的清除率，从而定量评估对物体表面的清除质量。
为使本发明的上述目的、技术方案和优点更加清楚，下面结合附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。
因此，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述并非旨在限制要求保护的本发明的范围，而是仅仅表示结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明的范围。
根据本发明的第一方面，参照附图1，本发明请求保护一种基于图像识别的清洁度检测系统，包括：
图像采集模块：所述图像采集模块用于在清洁前对进行了荧光标注的物体表面采集图像，得到第一图像，在清洁后对相同位置再次采集图像得到第二图像；
需要说明的是，荧光标记所依赖的化合物为荧光物质，所述荧光物质在受到紫外光或蓝紫光照射时，可从基态激发为激发态，当所述荧光物质从激发态恢复为基态时，所述荧光标记发出荧光，当所述荧光物质未受到紫外光或蓝紫光照射时，所述荧光标记不发出荧光，即所述荧光标记不会在进行了荧光标注的物体表面显示图像。同时，所述荧光物质在长时间经过空气的氧化作用，荧光特性会逐渐减退，但其减退周期长，短时间内所述荧光物质的自然减退量难以通过肉眼进行判断。荧光标记技术则是通过所述荧光物质物理吸附在拟清洁的物体表面，利用所述荧光物质的荧光特性来提供判断所述物体表面是否进行清洁。在排除所述物体表面在两次图像采集之间存在除清洁工作以外存在其他接触行为的可能下，经过肉眼观察，若清洁前和清洁后所述物体表面发出荧光的所述荧光物质减少，则可以判断所述物体表面已经进行清洁，若清洁前和清洁后所述物体表面发出荧光的所述荧光物质维持不变，则可以判断所述物体表面未进行清洁。
在本实施方式中，所述图像采集模块采集经过紫光电筒照射后所述物体表面的所述荧光标记发出荧光的图像，用于后续对所述第一图像和所述第二图像进行识别和分析。
图像预处理模块：所述图像预处理模块用于对所述第一图像进行预处理得到第三图像，对所述第二图像进行预处理得到第四图像；
需要说明的是，在提取所述物体表面的荧光的像素点特征时，特征提取质量会受到所述图像采集模块采集图像时环境背景的干扰，如自然光线的强度、角度，紫光电筒的光线颜色、强度和角度等。若光线强度过大，则采集的图像的整体灰度级集中在高亮度范围内，若光线强度过小，则所述第一图像和/或所述第二图像的整体灰度级集中在低亮度范围内，两种情况都会导致所述第一图像和/或所述第二图像的对比度低，整体灰度分布集中在较窄的区域，造成整体图像不够清晰，所述特征提取质量低。光线角度通过影响所述第一图像和/或所述第二图像的明暗分布均匀程度的方式，影响所述第一图像和/或所述第二图像的所述特征提取质量，当光线角度使所述第一图像和/或所述第二图像的明暗程度分布不均匀时，所述第一图像和/或所述第二图像容易出现图像局部过曝的情况，所述特征提取质量低；当光线角度使所述第一图像和/或所述第二图像的明暗程度分布均匀时，所述第一图像和/或所述第二图像的所述特征提取质量高。
在本实施方式中，所述图像预处理模块可以通过全局直方图均衡化的方式调整所述第一图像和/或所述第二图像的整体对比度。直方图均衡化是一种通过改变图像直方图来改变图像中各像素的灰度的图像增强技术，主要用于增强动态范围偏小的图像的对比度。所述图像预处理模块获取所述第一图像和/或所述第二图像的灰度图像，分别统计不同灰度级的出现情况，得到灰度直方图。所述灰度直方图表示了在所述灰度图像中各个单独灰度级的分布，而图像对比度则取决于相邻近像素之间灰度级的关系。严格地说，所述灰度直方图是一个一维的离散函数，对所述灰度直方图进一步进行归一化处理，得到所述灰度图像中的各个灰度级出现的概率，并计算出概率密度，通过变换函数改变所述概率密度从而改善所述灰度图像的灰度层次，从而增强所述一图像和所述第二图像的对比度。所述变换函数可以表示为：
其中， s表示经过直方图均衡化后的图像灰度，r表示经过归一化后的图像灰度，表示经过归一化后的所述灰度图像中灰度级为i的概率密度，j表示图像中的灰度级最大值，ni表示经过归一化后的所述灰度图像中灰度级为i的像素个数，N表示所述灰度图像中的像素总数。
在本实施方式中，当所述第一图像和/或所述第二图像由于光照不均匀导致的局部过曝的情况时，所述图像处理模块可以采用局部直方图均衡化的方式对所述第一图像和/或所述第二图像的局部进行调整。所述局部直方图均衡化与所述全局直方图均衡化的不同在于，所述局部直方图均衡化将所述灰度图像划分为若干个子区域，在每个所述子区域中执行直方图均衡化，从而调整所述第一图像和/或第二图像的灰度层次，增强图像的对比度。
区域识别模块：所述区域识别模块用于识别所述第三图像中荧光标记的边缘，得到第一标记区域，所述荧光标记为通过荧光标注后所述物体表面的荧光区域，识别所述第四图像中荧光标记的边缘，得到第二标记区域，提取所述第一标记区域和所述第二标记区域中包含所述荧光标记的像素点；
需要说明的是，所述区域识别模块可以采用阈值分割从所述第三图像中提取所述第一标记区域，从所述第四图像中提取所述第二标记区域。所述阈值分割法是一种对图像的阶梯处理方法，所述阈值分割法选取一个阈值对所述图像进行二值化处理，如若图像中的某个像素的灰度值大于所述阈值，则将所述像素的灰度值设为255，若所述像素的灰度值不大于所述阈值，则将所述响度的灰度值设为0，从而进一步实现从所述图像中剔除图像内像素高于/或低于所述阈值的像素点。
数据处理模块：所述数据处理模块用于根据所述第一标记区域中包含所述荧光标记的像素点数量，和所述第二标记区域中包含所述荧光标记的像素点数量，计算得到所述荧光标记的实际清除率，将所述实际清除率和预设清除率对比，所述预设清除率为所述物体表面清洁度的合格值，当所述实际清除率不低于所述预设清除率，则所述物体表面的清洁度合格；当所述实际清除率低于所述预设清除率，则所述物体表面的清洁度不合格。
需要说明的是，所述数据处理模块统计所述第一标记区域中包含所述荧光标记的像素点数量x1和所述第二标记区域中包含的像素点数量x2，计算所述实际清除率k具体如下：
在一个可行的实施方式中，参照附图2，所述系统还包括还物品分类模块，所述物品分类模块通过深度卷积神经网络模型对所述物品表面的图像进行识别，得到所述物品表面的分类结果，所述物品分类模块包括物品采集子模块、物品标注子模块和物品训练子模块；
需要说明的是，在实际应用中不同的所述物品表面所需要的清洁方式不同，其规范清洁质量也不尽相同，如通过擦拭的清洁方式对门把手、桌面等物品进行清洁，对于床单、窗帘等物品需要进行更加彻底地深度清洗或更换进行清洁。所以，对于不同类型的所述物品设定不同的所述预设清除率更符合实际应用场景，并且扩展了所述荧光标记法的应用场景。
所述物品采集子模块用于采集多种需要被荧光标注的所述物品表面的图像。
所述物品标注子模块用于对多种所述物品表面的图像进行标注，得到对应的图像标签，整理所述图像标签得到物品图像数据集；
需要说明的是，在实际清洁过程中，所述拟清洁的物品种类固定且种类数量有限，如门把手、桌面、床单、电视机表、电视遥控器和灯具等，可以通过预先进行图像采集标注的方式训练使所述深度卷积神经网络模型进行有监督学习，使其能够通过所述第三图像快速识别所述物体表面的种类，所述深度卷积神经网络的训练过程更短，对于所述物体表面的识别和分类更快速和准确。
同时，将所述物品种类的图像进行旋转、平移、缩放、变色和镜像等变换操作，同一图像经过所述变换操作后其对应的所述图像标签不应发生变化，通过变换操作增加所述物品种类的图像多样性和数量，防止所述深度卷积神经网络模型过拟合，将所述物品种类的图像和所述图像标签整合得到所述物品图像数据集。
在本实施方式中，所述变换操作可以采用双三次插值对所述物品图形进行缩放。所述双三次插值又称为立方卷积差值，利用图像某像素点最近的16个像素点的灰度值做三次插值处理，缩放后的图像的各像素点的值则是所述16个像素点加权相加的结果。
同时，所述变换操作可以采用图像色阶调整算法对所述物品种类的图像进行变色。所述图像色阶调整算法与所述直方图均衡化类似，所述直方图均衡化通过灰度图像对图像的对比度进行调整，对于色阶的调整，则是通过对所述物品种类图像的R，G和B三个通道进行独立的色阶调整。多次对所述物品种类的R，G和B三个通道最终得到不同颜色的图像。
所述物品训练子模块用于根据所述物品图像数据集对所述深度卷积神经网络模型进行训练，输出训练好的所述深度卷积神经网络模型；
需要说明的是，将所述物品图像数据集分为训练集和验证集，所述训练集用于训练所述深度卷积神经网络模型，所述验证集用于验证所述深度卷积神经网络的分类准确度，根据所述分类准确度反向传播来优化所述深度卷积神经网络。
所述深度卷积神经网络模型输入所述物品表面的图像，输出物品表面的分类结果，所述预设清除率设置多个合格值，根据所述分类结果对不同的所述物品表面匹配不同合格值的所述预设清除率。
需要说明的是，对于需要直接更换的物品，如床单等，在采集所述清洁后的第一图像时需要使用紫光电筒对所述物品所有位置进行照射，采集所述物品的多张不同角度拍摄的图像，所述图像预处理模块对所述不同角度拍摄的图像进行图像融合后在进行其他所述图像预处理操作，得到所述第四图像，避免因为所述物品的摆放位置变化导致所述荧光标记从标注位置消失，导致错误判断。所述物品分类模块将所述物品对应的所述预设清除率设置为100%，若所述实际清除率小于所述预设清除率，则所述物品并未进行更换，若所述实际清除率等于所述预设清除率，则所述物品已经进行更换。
在一个可行的实施方式中，参照附图2，所述物品分类模块还包括光滑权重子模块，所述光滑权重子模块用于对所述物品表面的光滑度进行排序，所述光滑度越高的所述物品表面对应采用所述合格值越高的所述预设清除率。
在本实施方式中，所述光滑权重子模块根据不同种类所述物体表面的光滑程度，内设不同所述物品种类对应的光滑权重值，将所述实际清除率与所述光滑权重值相乘后，与所述预设清除率进行对比，使得所述荧光标记法对所述物体表面清洁度的评估更贴合实际应用，扩展了应用场景。
另外，所述光滑权重子模块通过根据灰度共生矩阵获取所述第三图像和/或所述第四图像的光滑程度。所述灰度共生矩阵是通过灰度图像计算得到，用于分析图像的局部模式及其排列规则。利用所述灰度共生矩阵的角二阶矩（ASM值）来描述所述图像的纹理粗细程度，所述角二阶矩ASM为所述灰度共生矩阵中各元素值得平方和。若图像的所述灰度共生矩阵的所有值都非常接近，则所述ASM值较小，所述图像的纹理细，即所述物品表面的光滑度高；若图像的所述灰度共生矩阵的值差别较大，则所述ASM值较大，所述图像的纹理粗，即所述物品表面的光滑度低。
需要说明的是，利用所述ASM值衡量所述物体表面的光滑度，将所述物体表面的光滑度分为三种光滑度类别：光滑、半光滑和非光滑，所述光滑权重子模块对三种所述光滑度类别分别设置三种所述光滑权重,将所述光滑权重与所述实际清除率相乘后，与所述预设清除率对比，用于评估所述物体表面的清洁质量是否合格。
同时，在所述图像采集模块使用深度相机进行图像采集，可以获取所述第一图像和/或所述第二图像中各各像素点到镜头的距离，从而判断所述物体表面的光滑度。
在一个可行的实施方式中，参照附图2，所述物品分类模块还包括使用频率权重子模块，所述使用频率权重子模块用于对所述物品表面的使用频率进行排序，所述使用频率越高的所述物品表面对应采用所述合格值越高的所述预设清除率。
需要说明的是，在实际应用中，不同所述物体表面与患者的接触频次不同，若所述物体表面与患者接触的频次高，如门把手和小餐桌等，则在清洁时需要重点对所述物体表面进行清洁，若所述物体表面与患者接触的频次低，如灯具等，则可以对所述物体表面的清洁合格标准可以适当放低。所述使用频率权重子模块根据患者与所述物体表面的接触频次将所述物体表面分为三种接触频次类别：高频率、中频率和低频率。所述使用频率权重子模块对三种所述接触频次类别分别设置三种所述使用频率权重,将所述使用频率权重与所述实际清除率相乘后，与所述预设清除率对比，用于评估所述物体表面的清洁质量是否合格。
在一个可行的实施方式中，参照附图2，所述系统还包括：
所述光滑权重子模块对所述物品表面的所述实际清除率赋予光滑权重，所述光滑度越高的所述物体表面对应采用取值越大的所述光滑权重；
所述使用频率权重子模块对所述物体表面的所述实际清除率赋予使用频率权重，所述使用频率越高的所述物体表面对应采用取值越大的所述使用频率权重；
将所述光滑权重和所述使用频率权重进行线性加权，得到所述物体表面的所述实际清除率的权重系数，将所述实际清除率和对应的所述权重系数的乘积与所述预设清除率进行对比。
需要说明的是，所述光滑权重和所述使用频率权重在不同应用场景下对所述物体表面的清洁质量的影响度不同，在需要重点清洁的环境场景如手术室等，所述物体表面的清洁质量标准极高，所述光滑权重对所述实际清除率的影响理应很小，但所述使用频率权重对所述实际清除率的影响相对所述光滑权重而言较大。所述物品分类模块对所述光滑权重和所述使用频率权重再次赋予权重系数，将所述光滑权重和所述使用频率权重进行线性加权，得到所述物体表面的所述实际清除率的权重系数w，所述权重系数w可以表示为：
其中，w1为所述物体表面对应的所述光滑权重，w2为所述物体表面对应的所述使用频率权重，q为所述光滑权重的权重系数，。
在一个可行的实施方式中，所述系统还包括：
所述区域识别模块采用阈值分割模型对所述第三图像和所述第四图像进行荧光标记的边缘提取和分割，对所述第三图像和所述第四图像的所有像素点进行阈值判定，提取所述第一标记区域和所述第二标记区域中包含所述荧光标记的像素点，所述阈值分割模型输入所述第三图像，输出所述第一标记区域，所述阈值分割模型输入所述第四图像，输出所述第二标记区域。
需要说明的是，所述区域识别模块选取Li阈值分割模型实现所述荧光标记边缘的提取。作为所述阈值分割的阈值，所述Li阈值又称为最小交叉熵阈值，通过交叉熵的斜率来更快地确定阈值取值。所述Li阈值分割模型通过计算所述荧光标记的交叉熵和背景图像的交叉熵，并取二者之和作为第一交叉熵，求解所述第一交叉熵的最小值，从而得到所述Li阈值的具体取值。所述Li阈值分割模型输入的是经过所述图像预处理后的图像，输出的是所述荧光标记的图像区域，即所述第一标记区域或所述第二标记区域。
在一个可行的实施方式中，所述深度卷积神经网络模型包括输入层、隐藏层和输出层，采用交叉熵作为损失函数，通过反向传播来更新所述深度卷积神经网络模型的参数；
其中，所述输入层用于输入所述物品表面的图像，所述隐藏层包括卷积层、池化层和激活层，用来获取所述物品表面的特征向量，所述输出层为全连接层，用于输出所述物品表面分别属于每种类别的概率向量；
所述物品分类模块获取所述概率向量中最大值对应的物品类别，作为所述物品表面的分类结果。
在本实施例中，所述深度卷积神经网络模型在输入层输入所述物品表面的图像，所述池化层通过最大池化方式对所述物品表面的图像进行采样，从而加快所述深度卷积神经网络模型的运算速度，所述卷积层通过3*3的卷积核对所述物品表面的图像进行图像特征提取， 所述激活层采用relu函数进行激活，从而增加所述神经网络的非线性度，所述输出层获取所述物体表面图像的分别属于各类物品的概率，所述深度卷积神经网络模型采用交叉熵函数作为损失函数用于衡量预测结果与真实结果的误差。
在一个可行的实施方式中，所述系统还包括：
使用标准荧光标记对物品表面进行标注，所述标准荧光标记进行的每一次标注中的包含荧光标记的像素点数量相同，根据所述标准荧光标记包含所述荧光标记的像素点和所述第二标记区域中包含所述荧光标记的像素点，计算得到所述荧光标记的实际清除率。
在本实施方式中，每次进行荧光标注时可以使用统一的荧光印章在清洁前对所述物体表面进行标注，所述荧光印章在每次标注时产生的所述荧光标记的像素点数量相同，将所述荧光印章中包含所述荧光标记的像素点数量预设在所述系统中，无需对清洁前的所述物体表面进行图像采集识别，只需对比所述预设的荧光像素点数量与所述第二标记区域中包含所述荧光标记的像素点数量，计算所述实际清除率，所述荧光印章可以减化清洁度检测的步骤，提高对所述物体表面的清洁质量的效率。
在一个可行的实施方式中，所述系统还包括：
使用标准荧光标记对物品表面进行标注，所述标准荧光标记进行的每一次标注中的包含荧光标记的像素点数量相同；
清洁后，使用所述标准荧光标记对所述第一标记区域相邻位置的所述物体表面进行二次标注，使用与所述第二图像相同的紫光角度和紫光强度，对所述二次标注的位置采集图像得到第五图像，所述第五图像经过所述预处理得到第六图像，识别所述第六图像中所述荧光标记的边缘得到第三标记区域，提取所述第三标记区域中包含所述荧光标记的像素点数量，所述数据处理模块根据所述第三标记区域中包含所述荧光标记的像素点数量和所述第一标记区域中包含所述荧光标记的像素点数量的比值，对所述第二标记区域进行荧光像素点数量补偿，得到所述第二标记区域中包含所述荧光标记的像素点数量。
需要说明的是，所述荧光像素点的数量会受到背景光强度和角度、紫光电筒光线强度和角度影响，导致统计所述荧光像素点的数量出现误差，从而影响所述实际清除率的误差。在采集清洁后的所述物体表面图像后，使用与清洁前相同的荧光印章在所述第一标记区域相邻的区域再次进行标注，采集图像时使用相同的紫光角度和紫光强度进行照射，得到所述第三图像，所述第三图像和所述第二图像受到的环境条件影响的差距极小，可以忽略不计。所述第三图像经过所述系统处理后得到所述第三标记区域中包含所述荧光标记的像素点数量，比较所述第三标记区域中包含所述荧光标记的像素点数量和所述预设的荧光像素点数量，当所述第三标记区域中包含所述荧光标记的像素点数量不等于所述第一标记区域包含所述荧光标记的像素点数量时，则所述第三标记区域中包含所述荧光标记的像素点数量与所述第一标记区域包含所述荧光标记的像素点数量的差值可以看作由于环境条件影响导致的，需要对所述第二标记区域进行补偿。计算所述第三标记区域中包含所述荧光标记的像素点数量和所述预设的荧光像素点数量的比值，并将所述第二标记区域中包含所述荧光标记的像素点数量与所述比值相乘，最终得到所述第二标记区域中包含所述荧光标记的像素点数量，减少了所述荧光像素点的数量误差，从而影响所述实际清除率的误差。
根据本发明的第二方面，参照附图3，本发明请求保护一种基于图像识别的清洁度检测方法，包括：
在清洁前对进行了荧光标注的物体表面采集图像，得到第一图像，在清洁后对相同位置再次采集图像得到第二图像；
对所述第一图像进行预处理得到第三图像，对所述第二图像进行预处理得到第四图像；
识别所述第三图像中荧光标记的边缘，得到第一标记区域，所述荧光标记为通过荧光标注后所述物体表面的荧光区域，识别所述第四图像中荧光标记的边缘，得到第二标记区域，提取所述第一标记区域和所述第二标记区域中包含所述荧光标记的像素点；
根据所述第一标记区域中包含所述荧光标记的像素点数量，和所述第二标记区域中包含所述荧光标记的像素点数量，计算得到所述荧光标记的实际清除率，将所述实际清除率和预设清除率对比，所述预设清除率为所述物体表面清洁度的合格值，当所述实际清除率不低于所述预设清除率，则所述物体表面的清洁度合格；当所述实际清除率低于所述预设清除率，则所述物体表面的清洁度不合格。
在本申请一实施例中，所述方法还包括物品分类方法，通过深度卷积神经网络模型对所述物品表面的图像进行识别，得到所述物品表面的分类结果；
采集多种需要被荧光标注的所述物品表面的图像；
对多种所述物品表面的图像进行标注，得到对应的图像标签，整理所述图像标签得到物品图像数据集；
根据所述物品图像数据集对所述深度卷积神经网络模型进行训练，输出训练好的所述深度卷积神经网络模型；
所述深度卷积神经网络模型输入所述物品表面的图像，输出物品表面的分类结果，所述预设清除率设置多个合格值，根据所述分类结果对不同的所述物品表面匹配不同合格值的所述预设清除率。
在本申请一实施例中，所述物品分类方法还包括：
对所述物品表面的光滑度进行排序，所述光滑度越高的所述物品表面对应采用所述合格值越高的所述预设清除率。
在本申请一实施例中，所述物品分类模块还包括：
对所述物品表面的使用频率进行排序，所述使用频率越高的所述物品表面对应采用所述合格值越高的所述预设清除率。
在本申请一实施例中，所述物品分类方法还包括：
对所述物品表面的所述实际清除率赋予光滑权重，所述光滑度越高的所述物体表面对应采用取值越大的所述光滑权重；
对所述物体表面的所述实际清除率赋予使用频率权重，所述使用频率越高的所述物体表面对应采用取值越大的所述使用频率权重；
将所述光滑权重和所述使用频率权重进行线性加权，得到所述物体表面的所述实际清除率的权重系数，将所述实际清除率和对应的所述权重系数的乘积与所述预设清除率进行对比。
在本申请一实施例中，采用阈值分割模型对所述第三图像和所述第四图像进行荧光标记的边缘提取和分割，对所述第三图像和所述第四图像的所有像素点进行阈值判定，提取所述第一标记区域和所述第二标记区域中包含所述荧光标记的像素点，所述阈值分割模型输入所述第三图像，输出所述第一标记区域，所述阈值分割模型输入所述第四图像，输出所述第二标记区域。
在本申请一实施例中，所述深度卷积神经网络模型包括输入层、隐藏层和输出层，采用交叉熵作为损失函数，通过反向传播来更新所述深度卷积神经网络模型的参数；
其中，所述输入层用于输入所述物品表面的图像，所述隐藏层包括卷积层、池化层和激活层，用来获取所述物品表面的特征向量，所述输出层为全连接层，用于输出所述物品表面分别属于每种类别的概率向量；
所述物品分类模块获取所述概率向量中最大值对应的物品类别，作为所述物品表面的分类结果。
在本申请一实施例中，使用标准荧光标记对物品表面进行标注，所述标准荧光标记进行的每一次标注中的包含荧光标记的像素点数量相同，根据所述标准荧光标记包含所述荧光标记的像素点和所述第二标记区域中包含所述荧光标记的像素点，计算得到所述荧光标记的实际清除率。
在本申请一实施例中，使用标准荧光标记对物品表面进行标注，所述标准荧光标记进行的每一次标注中的包含荧光标记的像素点数量相同；
清洁后，使用所述标准荧光标记对所述第一标记区域相邻位置的所述物体表面进行二次标注，使用与所述第二图像相同的紫光角度和紫光强度，对所述二次标注的位置采集图像得到第五图像，所述第五图像经过所述预处理得到第六图像，识别所述第六图像中所述荧光标记的边缘得到第三标记区域，提取所述第三标记区域中包含所述荧光标记的像素点数量，根据所述第三标记区域中包含所述荧光标记的像素点数量和所述第一标记区域中包含所述荧光标记的像素点数量的比值，对所述第二标记区域进行荧光像素点数量补偿，得到所述第二标记区域中包含所述荧光标记的像素点数量。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征和技术方案可以相互组合。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，这类术语仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
本领域内的技术人员应理解，本发明的实施例所披露的内容可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式实现。
本领域内普通技术人员可以理解，上述方法中的全部或部分步骤中可通过计算机程序指令相关硬件完成，这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
本公开中使用了流程图用来说明通过本公开的实施例的方法的步骤。应当理解的是，前面或后面的步骤不一定按照顺序来精确的进行。相反，可以按照倒序或同时评价各种步骤。同时，也可以将其他操作添加到这些过程中。
除非另有定义，这里使用的所有术语具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (10)

1.一种基于图像识别的清洁度检测系统，其特征在于，包括：
图像采集模块：所述图像采集模块用于在清洁前对进行了荧光标注的物体表面采集图像，得到第一图像，在清洁后对相同位置再次采集图像得到第二图像；
图像预处理模块：所述图像预处理模块用于对所述第一图像进行预处理得到第三图像，对所述第二图像进行预处理得到第四图像；
区域识别模块：所述区域识别模块用于识别所述第三图像中荧光标记的边缘，得到第一标记区域，所述荧光标记为通过荧光标注后所述物体表面的荧光区域，识别所述第四图像中荧光标记的边缘，得到第二标记区域，提取所述第一标记区域和所述第二标记区域中包含所述荧光标记的像素点；
数据处理模块：所述数据处理模块用于根据所述第一标记区域中包含所述荧光标记的像素点数量，和所述第二标记区域中包含所述荧光标记的像素点数量，计算得到所述荧光标记的实际清除率，将所述实际清除率和预设清除率对比，所述预设清除率为所述物体表面清洁度的合格值，当所述实际清除率不低于所述预设清除率，则所述物体表面的清洁度合格；当所述实际清除率低于所述预设清除率，则所述物体表面的清洁度不合格。
2.如权利要求1所述的一种基于图像识别的清洁度检测系统，其特征在于，还包括物品分类模块，所述物品分类模块通过深度卷积神经网络模型对所述物品表面的图像进行识别，得到所述物品表面的分类结果，所述物品分类模块包括物品采集子模块、物品标注子模块和物品训练子模块；
所述物品采集子模块用于采集多种需要被荧光标注的所述物品表面的图像；
所述物品标注子模块用于对多种所述物品表面的图像进行标注，得到对应的图像标签，整理所述图像标签得到物品图像数据集；
所述物品训练子模块用于根据所述物品图像数据集对所述深度卷积神经网络模型进行训练，输出训练好的所述深度卷积神经网络模型；
所述深度卷积神经网络模型输入所述物品表面的图像，输出物品表面的分类结果，所述预设清除率设置多个合格值，根据所述分类结果对不同的所述物品表面匹配不同合格值的所述预设清除率。
3.如权利要求2所述的一种基于图像识别的清洁度检测系统，其特征在于，所述物品分类模块还包括光滑权重子模块，所述光滑权重子模块用于对所述物品表面的光滑度进行排序，所述光滑度越高的所述物品表面对应采用所述合格值越高的所述预设清除率。
4.如权利要求3所述的一种基于图像识别的清洁度检测系统，其特征在于，所述物品分类模块还包括使用频率权重子模块，所述使用频率权重子模块用于对所述物品表面的使用频率进行排序，所述使用频率越高的所述物品表面对应采用所述合格值越高的所述预设清除率。
5.如权利要求4所述的一种基于图像识别的清洁度检测系统，其特征在于，还包括：
所述光滑权重子模块对所述物品表面的所述实际清除率赋予光滑权重，所述光滑度越高的所述物体表面对应采用取值越大的所述光滑权重；
所述使用频率权重子模块对所述物体表面的所述实际清除率赋予使用频率权重，所述使用频率越高的所述物体表面对应采用取值越大的所述使用频率权重；
将所述光滑权重和所述使用频率权重进行线性加权，得到所述物体表面的所述实际清除率的权重系数，将所述实际清除率和对应的所述权重系数的乘积与所述预设清除率进行对比。
6.如权利要求5所述的一种基于图像识别的清洁度检测系统，其特征在于，还包括：
所述区域识别模块采用阈值分割模型对所述第三图像和所述第四图像进行荧光标记的边缘提取和分割，对所述第三图像和所述第四图像的所有像素点进行阈值判定，提取所述第一标记区域和所述第二标记区域中包含所述荧光标记的像素点，所述阈值分割模型输入所述第三图像，输出所述第一标记区域，所述阈值分割模型输入所述第四图像，输出所述第二标记区域。
7.如权利要求2所述的一种基于图像识别的清洁度检测系统，其特征在于，所述深度卷积神经网络模型包括输入层、隐藏层和输出层，采用交叉熵作为损失函数，通过反向传播来更新所述深度卷积神经网络模型的参数；
其中，所述输入层用于输入所述物品表面的图像，所述隐藏层包括卷积层、池化层和激活层，用来获取所述物品表面的特征向量，所述输出层为全连接层，用于输出所述物品表面分别属于每种类别的概率向量；
所述物品分类模块获取所述概率向量中最大值对应的物品类别，作为所述物品表面的分类结果。
8.如权利要求1-7任意一项所述的一种基于图像识别的清洁度检测系统，其特征在于，还包括：
使用标准荧光标记对物品表面进行标注，所述标准荧光标记进行的每一次标注中的包含荧光标记的像素点数量相同，根据所述标准荧光标记包含所述荧光标记的像素点和所述第二标记区域中包含所述荧光标记的像素点，计算得到所述荧光标记的实际清除率。
9.如权利要求1-7任意一项所述的一种基于图像识别的清洁度检测系统，其特征在于，还包括：
使用标准荧光标记对物品表面进行标注，所述标准荧光标记进行的每一次标注中的包含荧光标记的像素点数量相同；
清洁后，使用所述标准荧光标记对所述第一标记区域相邻位置的所述物体表面进行二次标注，使用与所述第二图像相同的紫光角度和紫光强度，对所述二次标注的位置采集图像得到第五图像，所述第五图像经过所述预处理得到第六图像，识别所述第六图像中所述荧光标记的边缘得到第三标记区域，提取所述第三标记区域中包含所述荧光标记的像素点数量，所述数据处理模块根据所述第三标记区域中包含所述荧光标记的像素点数量和所述第一标记区域中包含所述荧光标记的像素点数量的比值，对所述第二标记区域进行荧光像素点数量补偿，得到所述第二标记区域中包含所述荧光标记的像素点数量。
10.一种基于图像识别的清洁度检测方法，其特征在于：
在清洁前对进行了荧光标注的物体表面采集图像，得到第一图像，在清洁后对相同位置再次采集图像得到第二图像；
对所述第一图像进行预处理得到第三图像，对所述第二图像进行预处理得到第四图像；
识别所述第三图像中荧光标记的边缘，得到第一标记区域，识别所述第四图像中荧光标记的边缘，得到第二标记区域，提取所述第一标记区域和所述第二标记区域中包含所述荧光标记的像素点；
根据所述第一标记区域中包含所述荧光标记的像素点数量，和所述第二标记区域中包含所述荧光标记的像素点数量，计算得到所述荧光标记的实际清除率，将所述实际清除率和预设清除率对比，所述预设清除率为所述物体表面清洁度的合格值，当所述实际清除率不低于所述预设清除率，则所述物体表面的清洁度合格；当所述实际清除率低于所述预设清除率，则所述物体表面的清洁度不合格。
CN202310797218.3A 2023-07-03 2023-07-03 一种基于图像识别的清洁度检测系统及方法 Active CN116523912B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310797218.3A CN116523912B (zh) 2023-07-03 2023-07-03 一种基于图像识别的清洁度检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310797218.3A CN116523912B (zh) 2023-07-03 2023-07-03 一种基于图像识别的清洁度检测系统及方法

Publications (2)

Publication Number Publication Date
CN116523912A true CN116523912A (zh) 2023-08-01
CN116523912B CN116523912B (zh) 2023-09-26

Family

ID=87390670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310797218.3A Active CN116523912B (zh) 2023-07-03 2023-07-03 一种基于图像识别的清洁度检测系统及方法

Country Status (1)

Country Link
CN (1) CN116523912B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2989497A1 (fr) * 2012-04-16 2013-10-18 Green Vision Systems Ltd Imagerie et analyse hyperspectrales d'un echantillon de matiere, pour identifier et caracteriser un objet d'interet dans celui-ci
US20170002467A1 (en) * 2015-07-02 2017-01-05 Fei Company Adaptive control for charged particle beam processing
CN108937726A (zh) * 2017-11-27 2018-12-07 炬大科技有限公司 一种基于清洁度识别的清洁机器人唤醒方法及装置
CN208722219U (zh) * 2018-05-22 2019-04-09 国政通科技股份有限公司 人脸检测系统
CN111353980A (zh) * 2020-02-27 2020-06-30 浙江大学 基于深度学习的眼底荧光造影图像渗漏点检测方法
WO2020156692A1 (en) * 2019-02-01 2020-08-06 Esko-Graphics Imaging Gmbh System and process for persistent marking of flexo plates and plates marked therewith
CN113705371A (zh) * 2021-08-10 2021-11-26 武汉理工大学 一种水上视觉场景分割方法及装置
CN114694143A (zh) * 2022-06-01 2022-07-01 河北医科大学第一医院 基于光学手段的细胞图像识别方法及装置
CN115018801A (zh) * 2022-06-15 2022-09-06 湖南湘江智车出行科技有限公司 一种道路清洁度检测方法以及智能清扫方法
CN115361542A (zh) * 2022-10-24 2022-11-18 潍坊歌尔电子有限公司 投影机清洁度自检方法、装置、设备及存储介质
CN116071311A (zh) * 2022-12-29 2023-05-05 思创数码科技股份有限公司 一种基于图像识别的设备清洁检测方法、系统及存储介质
CN116115148A (zh) * 2023-02-20 2023-05-16 上海海关机电产品检测技术中心 一种洗碗机自清洁过滤检测系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2989497A1 (fr) * 2012-04-16 2013-10-18 Green Vision Systems Ltd Imagerie et analyse hyperspectrales d'un echantillon de matiere, pour identifier et caracteriser un objet d'interet dans celui-ci
US20170002467A1 (en) * 2015-07-02 2017-01-05 Fei Company Adaptive control for charged particle beam processing
CN108937726A (zh) * 2017-11-27 2018-12-07 炬大科技有限公司 一种基于清洁度识别的清洁机器人唤醒方法及装置
CN208722219U (zh) * 2018-05-22 2019-04-09 国政通科技股份有限公司 人脸检测系统
WO2020156692A1 (en) * 2019-02-01 2020-08-06 Esko-Graphics Imaging Gmbh System and process for persistent marking of flexo plates and plates marked therewith
CN111353980A (zh) * 2020-02-27 2020-06-30 浙江大学 基于深度学习的眼底荧光造影图像渗漏点检测方法
CN113705371A (zh) * 2021-08-10 2021-11-26 武汉理工大学 一种水上视觉场景分割方法及装置
CN114694143A (zh) * 2022-06-01 2022-07-01 河北医科大学第一医院 基于光学手段的细胞图像识别方法及装置
CN115018801A (zh) * 2022-06-15 2022-09-06 湖南湘江智车出行科技有限公司 一种道路清洁度检测方法以及智能清扫方法
CN115361542A (zh) * 2022-10-24 2022-11-18 潍坊歌尔电子有限公司 投影机清洁度自检方法、装置、设备及存储介质
CN116071311A (zh) * 2022-12-29 2023-05-05 思创数码科技股份有限公司 一种基于图像识别的设备清洁检测方法、系统及存储介质
CN116115148A (zh) * 2023-02-20 2023-05-16 上海海关机电产品检测技术中心 一种洗碗机自清洁过滤检测系统

Also Published As

Publication number Publication date
CN116523912B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
US11669971B2 (en) Colony contrast gathering
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
US11170897B2 (en) Method and system for assisting pathologist identification of tumor cells in magnified tissue images
CN110675368B (zh) 一种融合图像分割与分类的细胞图像语义分割方法
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
EP2681715B1 (en) Method and software for analysing microbial growth
CN109977808A (zh) 一种晶圆表面缺陷模式检测与分析方法
CN107563999A (zh) 一种基于卷积神经网络的芯片缺陷识别方法
Yogesh et al. Computer vision based analysis and detection of defects in fruits causes due to nutrients deficiency
CN111738064B (zh) 一种雾霾图像的雾浓度识别方法
CN113724231B (zh) 一种基于语义分割和目标检测融合模型的工业缺陷检测方法
CN116091505B (zh) 一种蓝宝石衬底自动缺陷检测分类的方法和系统
CN111768402A (zh) 一种基于mu-svm的冰鲜鲳鱼新鲜度评估方法
CN116309191A (zh) 基于图像增强的瓦斯巡检智能显示方法
Mosquera-Lopez et al. Iterative local color normalization using fuzzy image clustering
CN114332136A (zh) 人脸属性数据标注方法、计算机设备及存储介质
CN114841992A (zh) 基于循环生成对抗网络和结构相似性的缺陷检测方法
CN116883674A (zh) 多光谱图像去噪装置及使用该装置的食品品质检测系统
JP2015508501A (ja) 顕微鏡画像に含まれている細胞を分類するための教師付き分類方法
CN110751170A (zh) 面板质量检测方法、系统、终端设备及计算机可读介质
CN116523912B (zh) 一种基于图像识别的清洁度检测系统及方法
JP3696212B2 (ja) パターン認識における照合に用いられる画像の生成ならびに同画像を用いたパターン認識のための方法、装置、およびプログラム
CN115482227A (zh) 机器视觉自适应成像环境调整方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant