CN116311081B - 一种基于图像识别的医学实验室监控图像分析方法和系统 - Google Patents
一种基于图像识别的医学实验室监控图像分析方法和系统 Download PDFInfo
- Publication number
- CN116311081B CN116311081B CN202310534468.8A CN202310534468A CN116311081B CN 116311081 B CN116311081 B CN 116311081B CN 202310534468 A CN202310534468 A CN 202310534468A CN 116311081 B CN116311081 B CN 116311081B
- Authority
- CN
- China
- Prior art keywords
- image
- behavior
- dangerous
- image analysis
- analyzed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 50
- 238000003703 image analysis method Methods 0.000 title claims abstract description 25
- 230000006399 behavior Effects 0.000 claims abstract description 203
- 238000010191 image analysis Methods 0.000 claims abstract description 83
- 238000000034 method Methods 0.000 claims description 19
- 238000002474 experimental method Methods 0.000 claims description 17
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000012952 Resampling Methods 0.000 claims description 10
- 230000001681 protective effect Effects 0.000 claims description 10
- 230000000391 smoking effect Effects 0.000 claims description 10
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000002955 isolation Methods 0.000 claims description 7
- 239000007788 liquid Substances 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 239000002699 waste material Substances 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 239000002906 medical waste Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
- Y02W30/00—Technologies for solid waste management
- Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明涉及图像分析技术领域，尤其涉及一种基于图像识别的医学实验室监控图像分析方法和系统，本发明在针对实验室监控图像进行图像分析时，首先设置了不安全行为样本库，里面涵盖了几乎所有的发生在实验室的不安全行为，并以此进行监控图像的图像分析，可有效提高图像分析以及不安全行为识别的准确度；另外，本实施例在对不安全行为进行识别时，根据不安全行为的危险等级，分为危险行为库和较危险行为库；设置了不同的图像分析模型，并通过初步判断决定将需要分析的图像发送给哪个图像分析模型，从而使得对报警时效要求高的危险行为所在的图像能尽可能快的被识别出来，这样，可显著提高危险行为的报警效率，防止医学实验室事故的出现。
Description
技术领域
本发明涉及图像分析技术领域，尤其涉及基于图像识别的医学实验室监控图像分析方法和系统。
背景技术
为了实现对疾病的高精度诊断以及预防和控制传染病的威胁，各国卫生部门或者医院均投入大量的人力、物力建立医学实验室，以满足临床检验、疾病控制和研究工作之需；据多项统计资料的研究证实，对于医学实验室来说，导致医学实验室事故发生的最重要一个原因是实验人员的不安全行为。因此，对监控图像进行图像处理和分析，识别出实验人员的不安全行为，是一项非常重要的课题。
然而，通过检索发现，现有技术中对图像进行分析的技术方案很多，比如说中国发明专利（CN111445524A）公开了基于场景理解的施工现场工人不安全行为识别方法的技术方案，包括以下步骤：采集实体的二维彩色图像和三维点云数据；对二维彩色图像进行标注，得到标注文件，其中，标注文件包括训练集、验证集和测试集；将训练集输入Mask R-CNN中进行训练，获得多个候选实体识别模型，利用验证集比选候选实体识别模型的平均精度均值，得到最优实体识别模型；根据最优实体识别模型获取工人关节点三维空间坐标、实体上的关键点三维空间坐标，通过实体间距离计算和方位关系判别实现不安全行为的识别，从而构建基于场景理解的施工现场工人不安全行为识别方法。该方法可以有效识别靠近危险源、PPE使用不当等不安全行为，并为动作识别提供环境信息；上述方案虽然可以对工人的不安全行为进行识别，但是需要将监控所有的图像均输入到同一识别模型，识别效率很低，并且，识别起来精度也不高，因此，现有技术急需一种针对医学实验室监控图像的图像分析方法和系统，提高图像分析的效率和精度。
发明内容
本发明要解决的技术问题是针对上述技术方案的不足，提供一种基于图像识别的医学实验室监控图像分析方法和系统，用于对医学实验室监控图像进行分析，从而能准确高效的分析出监控图像表征的不安全行为。
为了实现上述目的，根据本发明的一个方面，提供一种基于图像识别的医学实验室监控图像分析方法，包括以下步骤：
步骤1：对监控视频进行预处理操作；得到需要分析的图像；
步骤2：建立不安全行为图像样本库；
步骤3：建立不安全行为分类库；
步骤4：将所述步骤1中的需要分析的图像与不安全行为图像样本库中的所有图像均进行相似度计算，初步判断所述需要分析的图像中的行为是危险行为还是较危险行为或者是无危险行为；若初步判断为危险行为，则进入步骤5；若初步判断为较危险行为则进入步骤6；若初步判断为无危险行为，则进行下一张图像的分析；
步骤5：采用第一图像分析模型对所述需要分析的图像进行分析；
步骤6：采用第二图像分析模型对所述需要分析的图像进行分析；
步骤7：输出图像分析结果。
优选地，所述预处理操作包括以下步骤：
步骤1.1：将视频转换成图像帧序列；
步骤1.2：对所述图像帧序列进行重采样操作，从而得到需要分析的图像；
优选地，所述重采样操作为对图像帧序列按照固定间隔进行重采样，从而得到需要分析的图像；
更进一步地，所述对图像帧序列按照固定间隔进行重采样具体为按照每12帧的固定间隔进行重采样；
优选地，所述不安全行为包括：危险化学品柜未上锁、实验室内吸烟、做实验时未穿戴防护服、隔离服乱扔、在实验室吃饭、往生活下水道倾倒实验废液、 穿拖鞋进入实验室、穿高跟鞋进入实验室、医学垃圾扔入生活垃圾箱等几种类型；
更进一步地，不安全行为图像样本库可通过实验人员实际模拟不安全行为，然后通过监控设备拍摄图像获取；
更进一步地，对某一种不安全行为可通过多个角度拍摄多张图像，从而提高图像分析的准确度；
优选地，根据不安全行为的危险等级，分为危险行为库和较危险行为库；
更进一步地，危险行为库中的危险行为为当在实验室做出该危险行为时，需要及时做出报警操作，并需要及时制止的危险行为；
较危险行为库中的危险行为为，当在实验室做出该危险行为时，也需要图像分析服务器做出报警操作，但是对分析时间的要求低；
具体地，危险行为库包括：实验室内吸烟、做实验时未穿戴防护服、在实验室吃饭、往生活下水道倾倒实验废液；
较危险行为库包括：危险化学品柜未上锁、隔离服乱扔、穿拖鞋进入实验室、穿高跟鞋进入实验室、医学垃圾扔入生活垃圾箱；
优选地，若存在需要分析的图像与不安全行为图像样本库中的图像中的最大相似度大于30%，则初步认定该图像中存在不安全行为；若需要分析的图像与不安全行为图像样本库中的图像的最大相似度小于等于30%，则认定为该图像不存在不安全行为，则进行下一张图像的分析；
若存在需要分析的图像与不安全行为图像样本库中的图像中的最大相似度大于30%，且，所述不安全行为图像样本库中的图像为危险行为库图像，则进入步骤5；
若存在需要分析的图像与不安全行为图像样本库中的图像中的最大相似度大于30%，且，所述不安全行为图像样本库中的图像为较危险行为库图像，则进入步骤6；
优选地，所述第一图像分析模型为基于YOLOV3模型；
所述YOLOV3模型的主体部分选择Darknet-53，其包括3x3的卷积层以及1x1的残差层，同时，所述YOLOV3模型设计了3种比例的特征图进行检测，这3种尺度分别为13x13 ,26x26以及52 x52，构建一个完整的多尺度结构模型，全部的特征图都是深层特征图与浅层特征图的融合，利用Darknet-53的深层特征提取网络以及多尺度检测方案的设计，使得YOLO V3算法具有检测速度快检测精度高的优点；
更进一步地，所述采用第一图像分析模型对所述需要分析的图像进行分析具体为：
步骤5.1：构建训练数据集对模型进行训练；
为了提高模型的检测精度，本发明采用医学实验室往期监控图像作为训练数据集，其中，往期监控图像中包含所述步骤2中提到的所有不安全行为，并通过人工标注的方式对所有不安全行为进行标注，作为第一图像分析模型的训练集，然后采用训练数据集对模型进行训练，从而使模型收敛；
步骤5.2：将需要识别的图像输入到第一图像分析模型，采用Darknet-53网络提取图像特征；
具体地，所述Darknet-53网络的第一个卷积层用 16 个大小为 3×3 的卷积核对所述需要分析的图像进行过滤；然后，将卷积层的输出作为输入，使用32个尺寸为3×3的卷积核以及两个像素的步长进行下采样操作，然后添加残差块增加网络的深度，所述残差块由 1×1卷积层和 3×3卷积层组成，此时得到的特征图尺寸为256×256；接下来，执行残差块网络，分别获取128×128，64×64，32×32，16×16，8×8，4×4，2×2分辨率的特征，从而得到图像特征；
步骤5.3：采用多尺度网络进行行为预测；
具体地，对于输入的需要分析的图像，通过采用多尺度网络预测出一个三维张量，并将所述步骤5.2获得的图像特征划分成N*N的网格进行卷积运算，从而输出预测的行为结果，
步骤5.4：输出图像分析结果；
具体地，所述图像分析结果为需要识别的图像是否有不安全行为以及不安全行为的类型；
值得强调的是，本发明由于YOLOV3模型相较于其他图像分析模型，由于没有了提取候选区域的步骤，所以会省去很多的计算环节，节约很多的时间，图像识别的速度也会有非常大的提升。
优选地，所述第二图像分析模型为卷积神经网络模型；通过将需要分析的图像输入到所述卷积神经网络模型，输出图像识别结果，所述图像分析结果同样为需要识别的图像是否有不安全行为以及不安全行为的类型；
更进一步地，所述卷积神经网络模型包括卷积层、激活函数、池化层、全连接层、softmax层；卷积神经网络作为图像分析模型已经在现有技术中具有非常成熟的应用，本发明对其具体的识别过程不再进行详细论述；
具体地，若识别出需要分析的图像中包含危险行为或较为危险行为，则进行报警，提示实验人员停止该动作。
根据本发明的另一方面，本发明还包括一种基于图像识别的医学实验室监控图像分析系统，该分析系统采用上述的基于图像识别的医学实验室监控图像分析方法，包括：
监控视频图像预处理模块：用于对监控视频进行预处理操作；得到需要分析的图像；
不安全行为图像样本库建立模块：用于建立不安全行为图像样本库；
分类模块：用于将不安全行为分为危险行为和较危险行为，并相应建立危险行为库和较危险行为库；
初步判断模块：用于将需要分析的图像与不安全行为图像样本库中的所有图像均进行相似度计算，初步判断所述需要分析的图像中的行为是危险行为还是较危险行为或者是无危险行为；
第一图像分析模块：用于采用第一图像分析模型对所述需要分析的图像进行分析；
第二图像分析模块：用于采用第二图像分析模型对所述需要分析的图像进行分析；
结果输出模块：用于输出图像分析结果。
根据本发明的另一方面，本发明还包括一种计算机可读存储介质，计算机可读存储介质上存储有数据处理程序，数据处理程序被处理器执行实施例一的基于图像识别的医学实验室监控图像分析方法。
根据本发明的另一方面，本发明还包括一种计算机可读存储介质，计算机可读存储介质上存储有数据处理程序，数据处理程序被处理器执行上述的一种基于图像识别的医学实验室监控图像分析方法。
基于上述技术方案，本申请提供的一种基于图像识别的医学实验室监控图像分析方法和系统，具有如下技术效果：
本发明在针对实验室监控图像进行图像分析时，首先设置了不安全行为样本库，里面涵盖了几乎所有的发生在实验室的不安全行为，并以此进行监控图像的图像分析，可有效提高图像分析以及不安全行为识别的准确度；
另外，本实施例在对不安全行为进行识别时，根据不安全行为的危险等级，分为危险行为库和较危险行为库；设置了不同的图像分析模型，并通过初步判断决定将需要分析的图像发送给哪个图像分析模型，从而使得对报警时效要求高的危险行为所在的图像能尽可能快的被识别出来，这样，可显著提高危险行为的报警效率，防止医学实验室事故的出现。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于图像识别的医学实验室监控图像分析方法的流程图；
图2为本申请实施例提供的预处理操作的流程图；
图3为本申请实施例提供的采用第一图像分析模型对所述需要分析的图像进行分析的流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面首先结合附图对本申请所涉及的概念进行说明。在此需要指出的是，以下对各个概念的说明，仅为了使本申请的内容更加容易理解，并不表示对本申请保护范围的限定。
实施例一、在本实施例的实例中，为了实现上述目的，如图1所示，提供一种基于图像识别的医学实验室监控图像分析方法，包括以下步骤：
步骤1：对监控视频进行预处理操作；得到需要分析的图像；
实际上，监控视频是无法进行图像分析的，因此，需要对监控视频进行预处理操作，将监控视频转换成图像格式，然后针对图像进行分析；
具体地，如图2所示，所述预处理操作包括以下步骤：
步骤1.1：将视频转换成图像帧序列；
具体地，可采用专业视频剪辑软件将视频转换成图像帧序列；
步骤1.2：对所述图像帧序列进行重采样操作，从而得到需要分析的图像；
视频转换成图像帧后，1s视频会转换成很多帧图像，如果把所有图像均进行图像分析，对硬件要求过高，且识别时间也会大大增加；图像分析效率很低，因此，本实施设置了图像重采样的环节；
具体地，所述重采样操作为对图像帧序列按照固定间隔进行重采样，从而得到需要分析的图像；
更进一步地，所述对图像帧序列按照固定间隔进行重采样具体为按照每12帧的固定间隔进行重采样；
步骤2：建立不安全行为图像样本库；
具体地，所述不安全行为包括：危险化学品柜未上锁、实验室内吸烟、做实验时未穿戴防护服、隔离服乱扔、在实验室吃饭、往生活下水道倾倒实验废液、 穿拖鞋进入实验室、穿高跟鞋进入实验室、医学垃圾扔入生活垃圾箱等几种类型；
更进一步地，不安全行为图像样本库可通过实验人员实际模拟不安全行为，然后通过监控设备拍摄图像获取；
更进一步地，对某一种不安全行为可通过多个角度拍摄多张图像，从而提高图像分析的准确度；
示例性地，对实验室内吸烟这种行为，可分别拍摄打火机点烟、吸烟、吐烟的图像作为实验室吸烟的样本图像；对做实验时未穿戴防护服这种行为，可分别拍摄实验时未戴隔离口罩、实验时未穿防护衣、实验时未穿戴防护帽、实验时为穿戴防护手套；
步骤3：建立不安全行为分类库；
具体的，根据不安全行为的危险等级，分为危险行为库和较危险行为库；
更进一步地，危险行为库中的危险行为为当在实验室做出该危险行为时，需要及时做出报警操作，并需要及时制止的危险行为；
较危险行为库中的危险行为为，当在实验室做出该危险行为时，也需要图像分析服务器做出报警操作，但是对分析时间的要求低；
具体地，危险行为库包括：实验室内吸烟、做实验时未穿戴防护服、在实验室吃饭、往生活下水道倾倒实验废液；
较危险行为库包括：危险化学品柜未上锁、隔离服乱扔、穿拖鞋进入实验室、穿高跟鞋进入实验室、医学垃圾扔入生活垃圾箱；
步骤4：将所述步骤1中的需要分析的图像与不安全行为图像样本库中的所有图像均进行相似度计算，初步判断所述需要分析的图像中的行为是危险行为还是较危险行为或者是无危险行为；若初步判断为危险行为，则进入步骤5；若初步判断为较危险行为则进入步骤6；若初步判断为无危险行为，则进行下一张图像的分析；
具体地，若存在需要分析的图像与不安全行为图像样本库中的图像中的最大相似度大于30%，则可初步认定改图像中存在不安全行为；若需要分析的图像与不安全行为图像样本库中的图像的最大相似度小于等于30%，则可认定为该图像不存在不安全行为，则进行下一张图像的分析；
若存在需要分析的图像与不安全行为图像样本库中的图像中的最大相似度大于30%，且，所述不安全行为图像样本库中的图像为危险行为库图像，则进入步骤5；
若存在需要分析的图像与不安全行为图像样本库中的图像中的最大相似度大于30%，且，所述不安全行为图像样本库中的图像为较危险行为库图像，则进入步骤6；
步骤5：采用第一图像分析模型对所述需要分析的图像进行分析；
具体地，所述第一图像分析模型为基于YOLOV3模型；
YOLOV3模型凭借其新颖的结构设计以及强大的性能，时至今日仍然在各种领域中有着广泛的应用。
具体地，所述YOLOV3模型的主体部分选择Darknet-53，其包括3x3的卷积层以及1x1的残差层，Darknet-53可有效增强网络的深层特征提取能力；同时，为了加强模型对于不同尺度目标的检测能力，所述YOLOV3模型设计了3种尺度的特征图进行检测，这3种尺度分别为13x13 , 26x26以及52 x52，构建一个完整的多尺度结构模型，全部的特征图都是深层特征图与浅层特征图的融合，利用Darknet-53的深层特征提取网络以及多尺度检测方案的设计，使得YOLO V3算法具有检测速度快检测精度高、的优点；
更进一步地，如图3所示，所述采用第一图像分析模型对所述需要分析的图像进行分析具体为：
步骤5.1：构建训练数据集对模型进行训练；
为了提高模型的检测精度，本实施例采用医学实验室往期监控图像作为训练数据集，其中，往期监控图像中包含所述步骤2中提到的所有不安全行为，并通过人工标注的方式对所有不安全行为进行标注，作为第一图像分析模型的训练集，然后采用训练数据集对模型进行训练，从而使模型收敛；
步骤5.2：将需要识别的图像输入到第一图像分析模型，采用Darknet-53网络提取图像特征；
具体地，所述Darknet-53网络的第一个卷积层用 16 个大小为 3×3 的卷积核对所述需要分析的图像进行过滤；然后，将卷积层的输出作为输入，使用32个尺寸为3×3的卷积核以及两个像素的步长进行下采样操作，然后添加残差块增加网络的深度，所述残差块由 1×1卷积层和 3×3卷积层组成，此时得到的特征图尺寸为256×256；接下来，执行残差块网络，分别获取128×128，64×64，32×32，16×16，8×8，4×4，2×2分辨率的特征，从而得到图像特征；
步骤5.3：采用多尺度网络进行行为预测；
具体地，对于输入的需要分析的图像，通过采用多尺度网络预测出一个三维张量，并将所述步骤5.2获得的图像特征划分成N*N的网格进行卷积运算，从而输出预测的行为结果，
步骤5.4：输出图像分析结果；
具体地，所述图像分析结果为需要识别的图像是否有不安全行为以及不安全行为的类型；
值得强调的是，本实施例由于YOLOV3模型相较于其他图像分析模型，由于没有了提取候选区域的步骤，所以会省去很多的计算环节，节约很多的时间，图像识别的速度也会有非常大的提升。
步骤6：采用第二图像分析模型对所述需要分析的图像进行分析；
具体地，所述第二图像分析模型为卷积神经网络模型；通过将需要分析的图像输入到所述卷积神经网络模型，输出图像识别结果，所述图像分析结果同样为需要识别的图像是否有不安全行为以及不安全行为的类型；
更进一步地，所述卷积神经网络模型包括卷积层、激活函数、池化层、全连接层、softmax层；卷积神经网络作为图像分析模型已经在现有技术中具有非常成熟的应用，本实施例对其具体的识别过程不再进行详细论述；
步骤7：输出图像分析结果；
具体地，若识别出需要分析的图像中包含危险行为或较为危险行为，则进行报警，提示实验人员停止该动作。
实际上，由于本实施例采用了深度学习的思想对图像进行分析，因此，第一图像分析模型和第二图像分析模型均有可能识别出危险行为和较为危险行为，但是，本实施例基于所述步骤4的初步判断，希望尽可能多的危险行为能快速被识别出来，从而能接近实时的发出警报，避免医学实验室事故的出现，另外，出于避免增加识别成本的考量，第二图像分析模型设置了较为常见和成熟的模型对图像进行分析，这样对运行第二图像分析模型的服务器的要求则会较低，以此降低硬件成本。
实施例二、在本实施例的实例中，提供一种基于图像识别的医学实验室监控图像分析系统，该分析系统采用实施例一的基于图像识别的医学实验室监控图像分析方法，包括：
监控视频图像预处理模块：用于对监控视频进行预处理操作；得到需要分析的图像；
不安全行为图像样本库建立模块：用于建立不安全行为图像样本库；
分类模块：用于将不安全行为分为危险行为和较危险行为，并相应建立危险行为库和较危险行为库；
初步判断模块：用于将需要分析的图像与不安全行为图像样本库中的所有图像均进行相似度计算，初步判断所述需要分析的图像中的行为是危险行为还是较危险行为或者是无危险行为；
第一图像分析模块：用于采用第一图像分析模型对所述需要分析的图像进行分析；
第二图像分析模块：用于采用第二图像分析模型对所述需要分析的图像进行分析；
结果输出模块：用于输出图像分析结果。
实施例三，本实施例包括一种计算机可读存储介质，计算机可读存储介质上存储有数据处理程序，数据处理程序被处理器执行实施例一的基于图像识别的医学实验室监控图像分析方法。
本领域技术人员应明白，本文的实施例可提供为方法、装置（设备）、或计算机程序产品。因此，本文可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质等。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
本文是参照根据本文实施例的方法、装置（设备）和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的实施例及/或实施方式，仅是用以说明实现本发明技术的较佳实施例及/或实施方式，并非对本发明技术的实施方式作任何形式上的限制，任何本领域技术人员，在不脱离本发明内容所公开的技术手段的范围，当可作些许的更动或修改为其它等效的实施例，但仍应视为与本发明实质相同的技术或实施例。
Claims (7)
1.一种基于图像识别的医学实验室监控图像分析方法，其特征在于，包括以下步骤：
步骤1：对监控视频进行预处理操作；得到需要分析的图像；
步骤2：建立不安全行为图像样本库；
步骤3：建立不安全行为分类库；
根据不安全行为的危险等级，分为危险行为库和较危险行为库；所述不安全行为包括：危险化学品柜未上锁、实验室内吸烟、做实验时未穿戴防护服、隔离服乱扔、在实验室吃饭、往生活下水道倾倒实验废液、穿拖鞋进入实验室、穿高跟鞋进入实验室、医学垃圾扔入生活垃圾箱几种类型；所述危险行为库中的危险行为为当在实验室做出该危险行为时，需要及时做出报警操作，并需要及时制止的危险行为；所述较危险行为库中的危险行为为当在实验室做出该危险行为时，也需要图像分析服务器做出报警操作，但是对分析时间的要求低；
步骤4：将所述步骤1中的需要分析的图像与不安全行为图像样本库中的所有图像均进行相似度计算，初步判断所述需要分析的图像中的行为是危险行为还是较危险行为或者是无危险行为；若初步判断为危险行为，则进入步骤5；若初步判断为较危险行为则进入步骤6；若初步判断为无危险行为，则进行下一张图像的分析；所述步骤4具体为：若存在需要分析的图像与不安全行为图像样本库中的图像中的最大相似度大于30%，则初步认定该图像中存在不安全行为；若需要分析的图像与不安全行为图像样本库中的图像的最大相似度小于等于30%，则认定为该图像不存在不安全行为，则进行下一张图像的分析；若存在需要分析的图像与不安全行为图像样本库中的图像中的最大相似度大于30%，且，所述不安全行为图像样本库中的图像为危险行为库图像，则进入步骤5；若存在需要分析的图像与不安全行为图像样本库中的图像中的最大相似度大于30%，且，所述不安全行为图像样本库中的图像为较危险行为库图像，则进入步骤6；
步骤5：采用第一图像分析模型对所述需要分析的图像进行分析；
步骤6：采用第二图像分析模型对所述需要分析的图像进行分析；
步骤7：输出图像分析结果。
2.根据权利要求1所述的基于图像识别的医学实验室监控图像分析方法，其特征在于，所述预处理操作包括以下步骤：
步骤1.1：将视频转换成图像帧序列；
步骤1.2：对所述图像帧序列进行重采样操作，从而得到需要分析的图像；所述重采样操作为对图像帧序列按照固定间隔进行重采样，从而得到需要分析的图像。
3.根据权利要求2所述的基于图像识别的医学实验室监控图像分析方法，其特征在于，所述对图像帧序列按照固定间隔进行重采样具体为按照每12帧的固定间隔进行重采样。
4.根据权利要求1所述的基于图像识别的医学实验室监控图像分析方法，其特征在于，危险行为库包括：实验室内吸烟、做实验时未穿戴防护服、在实验室吃饭、往生活下水道倾倒实验废液；较危险行为库包括：危险化学品柜未上锁、隔离服乱扔、穿拖鞋进入实验室、穿高跟鞋进入实验室、医学垃圾扔入生活垃圾箱。
5. 根据权利要求1所述的基于图像识别的医学实验室监控图像分析方法，其特征在于，所述第一图像分析模型为基于YOLOV3模型；所述YOLOV3模型的主体部分选择Darknet-53，其包括3x3的卷积层以及1x1的残差层，所述YOLOV3模型设计了3种比例的特征图进行检测，这3种尺度分别为13x13 , 26x26以及52 x52；所述采用第一图像分析模型对所述需要分析的图像进行分析具体为：
步骤5.1：构建训练数据集对模型进行训练；
步骤5.2：将需要识别的图像输入到第一图像分析模型，采用Darknet-53网络提取图像特征；所述Darknet-53网络的第一个卷积层用 16 个大小为 3×3 的卷积核对所述需要分析的图像进行过滤；然后，将卷积层的输出作为输入，使用32个尺寸为3×3的卷积核以及两个像素的步长进行下采样操作，然后添加残差块增加网络的深度，所述残差块由 1×1卷积层和 3×3卷积层组成，此时得到的特征图尺寸为256×256；接下来，执行残差块网络，分别获取128×128，64×64，32×32，16×16，8×8，4×4，2×2分辨率的特征，从而得到图像特征；
步骤5.3：采用多尺度网络进行行为预测；
步骤5.4：输出图像分析结果。
6.根据权利要求1所述的基于图像识别的医学实验室监控图像分析方法，其特征在于，所述第二图像分析模型为卷积神经网络模型；通过将需要分析的图像输入到所述卷积神经网络模型，输出图像识别结果，所述图像分析结果同样为需要识别的图像是否有不安全行为以及不安全行为的类型；所述卷积神经网络模型包括卷积层、激活函数、池化层、全连接层、softmax层。
7.一种基于图像识别的医学实验室监控图像分析系统，该分析系统采用权利要求1-6任一项所述的基于图像识别的医学实验室监控图像分析方法，包括：监控视频图像预处理模块：用于对监控视频进行预处理操作；得到需要分析的图像；不安全行为图像样本库建立模块：用于建立不安全行为图像样本库；分类模块：用于将不安全行为分为危险行为和较危险行为，并相应建立危险行为库和较危险行为库；初步判断模块：用于将所述需要分析的图像与不安全行为图像样本库中的所有图像均进行相似度计算，初步判断所述需要分析的图像中的行为是危险行为还是较危险行为或者是无危险行为；第一图像分析模块：用于采用第一图像分析模型对所述需要分析的图像进行分析；第二图像分析模块：用于采用第二图像分析模型对所述需要分析的图像进行分析；结果输出模块：用于输出图像分析结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310534468.8A CN116311081B (zh) | 2023-05-12 | 2023-05-12 | 一种基于图像识别的医学实验室监控图像分析方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310534468.8A CN116311081B (zh) | 2023-05-12 | 2023-05-12 | 一种基于图像识别的医学实验室监控图像分析方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116311081A CN116311081A (zh) | 2023-06-23 |
| CN116311081B true CN116311081B (zh) | 2023-08-22 |
Family
ID=86818895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310534468.8A Active CN116311081B (zh) | 2023-05-12 | 2023-05-12 | 一种基于图像识别的医学实验室监控图像分析方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116311081B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117392614B (zh) * | 2023-12-11 | 2024-03-29 | 广州泛美实验室系统科技股份有限公司 | 实验室安全风险智能检测方法、装置以及应急安全柜 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109102697A (zh) * | 2018-08-30 | 2018-12-28 | 青海民族大学 | 基于出口车道选择行为模型的平面交叉口危险点分析方法 |
| CN112507789A (zh) * | 2020-11-03 | 2021-03-16 | 重庆恢恢信息技术有限公司 | 区块链网络状态下建筑工地安全行为监测工作方法 |
| CN113313169A (zh) * | 2021-05-28 | 2021-08-27 | 中国人民解放军战略支援部队航天工程大学 | 基于深度学习的训练素材智能识别方法、装置和设备 |
| CN113657726A (zh) * | 2021-07-29 | 2021-11-16 | 广西友迪资讯科技有限公司 | 基于随机森林的人员的危险性分析方法 |
| CN115205761A (zh) * | 2022-08-16 | 2022-10-18 | 四川华能氢能科技有限公司 | 一种事故原因离线智能诊断系统 |
-
2023
- 2023-05-12 CN CN202310534468.8A patent/CN116311081B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109102697A (zh) * | 2018-08-30 | 2018-12-28 | 青海民族大学 | 基于出口车道选择行为模型的平面交叉口危险点分析方法 |
| CN112507789A (zh) * | 2020-11-03 | 2021-03-16 | 重庆恢恢信息技术有限公司 | 区块链网络状态下建筑工地安全行为监测工作方法 |
| CN113313169A (zh) * | 2021-05-28 | 2021-08-27 | 中国人民解放军战略支援部队航天工程大学 | 基于深度学习的训练素材智能识别方法、装置和设备 |
| CN113657726A (zh) * | 2021-07-29 | 2021-11-16 | 广西友迪资讯科技有限公司 | 基于随机森林的人员的危险性分析方法 |
| CN115205761A (zh) * | 2022-08-16 | 2022-10-18 | 四川华能氢能科技有限公司 | 一种事故原因离线智能诊断系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116311081A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598040B (zh) | 一种建筑工人身份识别及安全帽佩戴检测方法及系统 | |
| Duan et al. | SODA: A large-scale open site object detection dataset for deep learning in construction | |
| CN111222500B (zh) | 一种标签提取方法及装置 | |
| Li et al. | Automatic bridge crack identification from concrete surface using ResNeXt with postprocessing | |
| CN110659391A (zh) | 一种视频侦查方法及装置 | |
| CN116311081B (zh) | 一种基于图像识别的医学实验室监控图像分析方法和系统 | |
| CN112613454A (zh) | 一种电力基建施工现场违章识别方法及系统 | |
| CN115546672B (zh) | 基于图像处理的森林图片处理方法及系统 | |
| CN115294528A (zh) | 一种行人安全监控方法及装置 | |
| CN117726991B (zh) | 一种高空吊篮安全带检测方法及终端 | |
| CN117114420B (zh) | 一种基于图像识别的工贸安全事故风险管控系统和方法 | |
| Meria | Development of Automatic Industrial Waste Detection System for Leather Products using Artificial Intelligence | |
| CN117392611A (zh) | 工地安全监测方法、系统、设备及存储介质 | |
| CN115131826B (zh) | 物品检测识别方法、网络模型的训练方法和装置 | |
| KR20170048108A (ko) | 객체 및 상황 인지 방법 및 시스템 | |
| Wu et al. | Research on asphalt pavement disease detection based on improved YOLOv5s | |
| CN114445787A (zh) | 非机动车重识别方法及相关设备 | |
| CN112861711A (zh) | 区域入侵检测方法、装置、电子设备及存储介质 | |
| CN111814764A (zh) | 一种遗撒物确定系统 | |
| Rafanelli et al. | Neural-logic multi-agent system for flood event detection | |
| CN111191575A (zh) | 一种基于火苗跳动建模的明火检测方法及系统 | |
| Babu et al. | Enhancing Infrastructure Safety: A UAV-Based Approach for Crack Detection | |
| Rondón et al. | Real-Time Detection and Clasification System of Biosecurity Elements Using Haar Cascade Classifier with Open Source | |
| CN117036670B (zh) | 质量检测模型的训练方法、装置、设备、介质及程序产品 | |
| CN117058627B (zh) | 一种公共场所人群安全距离监测方法、介质及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| OL01 | Intention to license declared | ||
| OL01 | Intention to license declared | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20230623 Assignee: PONUO (TIANJIN) INNOVATIVE MEDICINE RESEARCH Co.,Ltd. Assignor: Tianjin Medical University Contract record no.: X2024980002581 Denomination of invention: A Medical Laboratory Monitoring Image Analysis Method and System Based on Image Recognition Granted publication date: 20230822 License type: Common License Record date: 20240306 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20230623 Assignee: TIANJIN SHUANGCHUANG TECHNOLOGY CO.,LTD. Assignor: Tianjin Medical University Contract record no.: X2024980002721 Denomination of invention: A Medical Laboratory Monitoring Image Analysis Method and System Based on Image Recognition Granted publication date: 20230822 License type: Common License Record date: 20240312 |
|
| EE01 | Entry into force of recordation of patent licensing contract |