CN114241407B - 一种基于深度学习的近距离屏幕监控方法 - Google Patents
一种基于深度学习的近距离屏幕监控方法 Download PDFInfo
- Publication number
- CN114241407B CN114241407B CN202111504793.7A CN202111504793A CN114241407B CN 114241407 B CN114241407 B CN 114241407B CN 202111504793 A CN202111504793 A CN 202111504793A CN 114241407 B CN114241407 B CN 114241407B
- Authority
- CN
- China
- Prior art keywords
- image
- screen
- edge
- picture
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012544 monitoring process Methods 0.000 title claims abstract description 24
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 230000008859 change Effects 0.000 claims abstract description 10
- 238000012937 correction Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 15
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000012015 optical character recognition Methods 0.000 claims description 9
- 102100032202 Cornulin Human genes 0.000 claims description 6
- 101000920981 Homo sapiens Cornulin Proteins 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 20
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 20
- 239000002184 metal Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 208000035473 Communicable disease Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Abstract
本发明公开了一种基于深度学习的近距离屏幕监控方法，首先通过摄像头获取被监控屏幕的图像，并对其进行预处理；采用自适应的方法对从预处理后的屏幕图像进行近距离校正；并采用无监督的方法使用连接的三个W‑GAN网络从校正后的屏幕图像中分割出目标区域；采用DBNet的方法从分割出的目标区域中提取出所需数据文本的边框，获得相应的文本图像；后对文本图像进行识别，获得屏幕数据。本发明引用自适应的空间变化网络对近距离监测的文本进行校正，简单高效地实现了对医疗设备屏幕的监控，降低了医疗工作者设备监视的时间成本；使用三个W‑GAN网络采用无监督的方式完成目标区域的分割，有效的避免了图像中的背景对识别结果的干扰，降低了人工标记的时间成本。
Description
技术领域
本发明涉及图像处理技术领域，具体为一种基于深度学习的近距离屏幕监控方法。
背景技术
近年来，人工智能在医疗卫生领域的应用变得日益流行。人工智能中的视觉图像识别技术在医疗场所中发挥着不可缺少的作用。其利用计算机及相关软硬件设备，通过对采集的图像信息进行特征信息提取，然后对图像进行相应的处理，可以为医疗工作人员提供相应的帮助。
传统医疗工作人员的工作中不仅仅需要对病人进行诊断，还需要对于一些特定的医疗设备进行长时间不断的监测。随着人们对于医疗越来越重视和目前人口老龄化、慢性病、新发突发传染病带来的医疗巨大挑战使得医疗工作者的工作负担增重，难以长时间不间断的进行设备的监测。传统的工作方式已经无法满足医疗工作者的需求。
随着深度学习在图像处理领域的快速发展，许多技术如OCR(Optical CharacterRecognition，光学字符识别)，图像识别等越来越成熟，已逐步应用到了医疗领域中，比如医学影像识别，辅助诊断等。它们在一定程度上减少了医疗工作者的压力并且提高了疾病的筛查和临床诊断能力。
但是，鉴于医疗设备上的监控问题一直没有很好的解决。医疗工作者每天在设备监控上尤其是重要的设备上花费了大量的时间与精力，极大的影响了医疗工作者的作用效率。
发明内容
针对上述问题，本发明的目的在于提供一种基于深度学习的近距离屏幕监控方法，能够简单高效地解决医疗工作者精力不足问题，大大提高医疗工作者的工作效率。技术方案如下：
一种基于深度学习的近距离屏幕监控方法，包括以下步骤：
步骤1：通过摄像头获取被监控屏幕的图像，并对屏幕图像进行预处理；
步骤2：近距离校正：采用自适应的方法对从预处理后的屏幕图像进行近距离校正；
步骤3：目标区域分割：采用无监督的方法使用连接的三个W-GAN网络从校正后的屏幕图像中分割出目标区域；
步骤4：所需文本区域检测：采用DBNet的方法从分割出的目标区域中提取出所需数据文本的边框，获得相应的文本图像；
步骤5：对文本图像进行识别，获得屏幕数据。
进一步，所述步骤2具体为：
步骤2.1：将预处理后的屏幕图像作为输入，对其进行卷积操作，然后全连接回归出空间变换系数；
步骤2.2：将变化后的目标图片的每个像素坐标位置通过矩阵运算的方式，与得到的仿射变换矩阵系数矩阵进行矩阵运算，计算出目标图片中的每个像素坐标位置所对应的原图片的坐标位置；矩阵变化公式如下：
其中，
和/>
表示原始图片的坐标，/>
和/>
表示目标图片的坐标，Aθ表示通过全连接所得到的仿射变换的系数，θ11、θ12、θ13、θ21、θ22和θ23为具体的6个仿射系数；
步骤2.3：根据所得到的原始像素坐标的位置信息，在原始图片中进行采样，采取双线性插值的方法，将原始图片中的像素复制到目标图片中去，得到校正后的屏幕图像。
更进一步的，所述步骤3具体为：
步骤3.1：训练第一个W-GAN网络建立原始图像和其边缘图像的映射：
将校正后的文本图像输入，使用Sobel算法获得输入图像的边缘图像，使用获得的边缘图像训练边缘图像的生成器，并在使用Sobel算法获得的边缘图片中添加高斯噪声；W-GAN的损失函数如下：
其中，θG，θD表示生成器和判别器的参数，e为使用Sobel算法生成的边缘图像，z为生成器生成的边缘图像；Ee～Pe和
分别表示判别器判断真实边缘图片和生成边缘图片的期望；D(e)和D(z)分别表示判别器判断真实图片和生成图片为真实图片的概率；
步骤3.2：训练第二个W-GAN网络建立边缘图像和分割后的边缘图像的映射：
将方形框和颜色差作为分割的先验信息，构造出理想分割后的边缘图像；
将构造的理想边缘图片与步骤3.1：生成的边缘图像进行融合，生成用来训练的图片：
Mixed＝α*edge+(1-α)*groundtruth
其中，Mixed表示融合后的图片，edge表示第一步生成的边缘图片，groundtruth表示生成的理想分割后的边缘图片，α为比例参数；
步骤3.3：训练第三个W-GAN网络建立原始图像和其分割后的边缘图像的映射：
将原始图像作为生成器的输入，分割后的边缘图像作为判断器的判断条件，训练第三个W-GAN网络，直接得到原始图像和分割后的边缘图像的映射；
总的损失函数定义如下：
其中，x为原始图像，G1为第一个W-GAN网络的生成器，G2为第二个W-GAN网络的生成器；
表示判别器判断原始图像的期望
最终三个网络一起训练，得到原始图像到分割后图像的映射，获得分割后的目标区域图像。
更进一步的，所述DBNet的方法具体为：
将分割后的目标区域图像输入可微二值化网络，经过特征提取和上采样融合并concat操作后得到特征图F，然后使用特征图F预测出概率图P和阈值图T，最后通过P和T计算出近似二值图
通过得到的近似二值图来获取文本框；其中采用的二值化的公式为：
其中，
表示近似的二值图，/>
为二值图中像素点(i,j)的值；P是生成的概率图，Pi,j为像素图中像素点(i,j)的值；T是生成的阈值图，Ti,j为阈值图中像素点(i,j)的值；k为放大系数。
更进一步的，所述步骤5具体为：
在自适应变化网络连接CRNN模型对文本图像进行OCR识别，得到所需的屏幕数据；CRNN的步骤为：首先将输入的文本图像通过CNN层进行缩放处理，使之保持相同高度，然后通过卷积运算提取出特征序列，得到的特征序列通过双向LSTM循环神经网络，预测特征序列中的每一个特征向量的标签分布；最后将LSTM网络预测的特征序列的结果通过CTC层进行整合，转换为最终输出的结果。
本发明的有益效果是：
1)本发明设计智能相机的装置提供对医疗设备的相关监控方法，可大程度地降低医疗工作者在医疗设备屏幕检测上所花的时间，进行定时的文件传输工作，便于医疗工作者统计医疗设备的数据，方便调查病人情况；同时，通过自适应的空间变化网络的引用，校正了近距离监控所带来的影响，解决了屏幕监控中实际存在的问题，即摄像头与屏幕之间的角度和距离对OCR产生的影响，拓宽了该方法的实际应用范围；
2)更重要的使用连接的三个W-GAN网络采用无监督的方式，三个网络分别负责不同的功能，最终实现了端到端的效果，输入原图像，输出分割后的图像。该技术的特别之处在于，利用目标区域的形状先验，将目标区域的形状和原始图片的边缘信息结合，使用GAN生成分割后的图片进行网络的训练。同时，还可以通过调节目标区域的位置，通过GAN生成更多的训练数据，实际的训练数据会多于拥有的原始数据，实现了数据增强。使用该方法，进行无监督分割的效果和有监督方法的效果相差不大，但是有效的避免图像中的背景对识别结果的干扰，大大降低人工标记所需的时间和成本。
附图说明
图1为本发明基于深度学习的近距离屏幕监控方法的流程图。
图2为本发明基于深度学习的近距离屏幕监控方法的监测设备示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细说明。一种基于机器学习的近距离屏幕监测方法，流程图如图1所示，具体步骤如下：
步骤1：通过摄像头获取被监控屏幕的图像，并对屏幕图像进行预处理。
如图2所示，监测设备包括摄像头，主机芯片等，基于机器学习和OCR技术，对屏幕进行近距离的识别。不需要医疗工作者长时间的监控，简单高效地解决了医疗工作者精力不足问题，大大提高了医疗工作者的工作效率。
本实施例选择具有计算和监控能力的智能相机，将其固定在屏幕上，进行近距离屏幕的监控。该设备具体为一个摄像头与具有计算功能的主机芯片通过USB线相连，并且摄像头可以通过金属软管伸出设备，金属软管可以拉伸，使得摄像头可以自由移动，与主机相连USB线固定在金属软管内。该装置下方有固定的支架，通过支架可以将该装置固定在医疗设备的屏幕上，通过可以拉伸的金属软管固定摄像头的位置，使其对屏幕进行实时监控。
本实施例的主机主要为一个具有较强计算功能的芯片，可以独立地进行运算。摄像头可以通过金属软管自由调整距离和角度，使得与被监控的屏幕的距离小于0.5m。金属软管为波纹金属软管，具有较好的柔软性，抗疲劳性和承压高的特点。
并对屏幕图像进行预处理具体为：摄像头获得屏幕图片后，对原始图片进行双边滤波，在保护图片边缘信息的同时去除图片中大部分噪声干扰。除此自外，考虑到环境光照的影响，对获得的图片进行局部自适应对比度增强，使得目标区域的信息更加清晰，便于识别。
步骤2：近距离校正：采用自适应的方法对从预处理后的屏幕图像进行近距离校正。
由于近距离监测屏幕，会使得所得到的屏幕图像出现一定的空间变化，因而采用自适应的方法对其进行校正。
由于该智能相机的摄像头需要近距离地监测屏幕而且为了不影响医疗人员正常工作，摄像头无法正对的屏幕，会倾斜一定的角度，因而导致屏幕图像会产生一定的形变。因此需要对由步骤1得到的预处理后的屏幕图像进行矫正。考虑到摄像头的角度和距离的影响，屏幕中的文字会相应地进行缩放和旋转的拉伸，该问题的具体情形相当于文本进行了平移，旋转，缩放等仿射变换，我们可以通过自适应的空间变化网络对其进行相应的矫正。将得到的屏幕图像作为自适应变化网络的输入，输出即为矫正后的文本图像。该网络可以通过一定的训练后，对于新的屏幕图像可以自动的进行校正，无需单独对其进行训练，具体原理如下：
首先，将屏幕图像作为输入，对其进行卷积操作，然后全连接回归出空间变换系数。由于是对仿射变换进行校正，因为会产生6个参数。
其次将变化后的目标图片的每个像素坐标位置通过矩阵运算的方式，与得到的仿射变换矩阵系数矩阵进行矩阵运算，计算出目标图片中的每个像素坐标位置所对应的原图片的坐标位置。矩阵变化公式如下：
其中，
和/>
表示原始图片的坐标，/>
和/>
表示目标图片的坐标，Aθ表示通过全连接所得到的仿射变换的系数，θ11、θ12、θ13、θ21、θ22和θ23为具体的6个仿射系数。
最后，根据所得到的原始像素坐标的位置信息，在原始图片中进行采样，采取双线性插值的方法，将原始图片中的像素复制到目标图片中去，可以得到校正后的屏幕图像。
步骤3：目标区域分割：采用无监督的方法使用连接的三个W-GAN网络从校正后的屏幕图像中分割出目标区域。由于屏幕图像中，除了需要识别的文本还有无关的文本信息，会使得最后识别的结果存在无关信息，因此采用无监督的方法对目标区域进行分割。
在获得的校正后的屏幕图像中，除了目标信息，还有许多无关信息，同时图像中的背景也会对识别结果存在干扰，因此需要在校正之后的图像中分割出目标信息所在的区域。由于没有现成的数据集可以使用，人工标记需要大量时间和成本，所以采用无监督的方式，完成目标区域的分割，使用连接的三个W-GAN完成不同的任务，具体原理如下：
(1)建立原始图像和其边缘图像的映射：
首先，将校正后的屏幕图像输入，使用Sobel算法获得输入图像的边缘图像，使用获得的边缘图像训练边缘图像的生成器。为了增加生成图像的多样性和复杂性，会在使用Sobel算法获得的边缘图片中添加高斯噪声。W-GAN的损失函数如下：
其中，θG，θD表示生成器和判别器的参数，x为使用Sobel算法生成的边缘图像，z为生成器生成的边缘图像。最终，W-GAN可以建立原始图片和边缘图片的映射
(2)建立边缘图像和分割后的边缘图像的映射：
第一步生成的边缘图像包含了太多无关的信息，无法直接得到分割后的边缘图像。
但是屏幕中目标信息都位于方形框中，而且和背景区域颜色亮度都有比较清楚的区分，因此将方形框和颜色差作为分割的先验信息，构造出理想分割后的边缘图像。
将构造的理想边缘图片与第一步生成的边缘图像进行融合，生成用来训练的图片：
Mixed＝α*edge+(1-α)*groundtruth
其中，Mixed表示融合后的图片，edge表示第一步生成的边缘图片，groundtruth表示生成的理想分割后的边缘图片，α为比例参数，由于理想分割图片更加重要，因此比例参数的取值应该比较小。
融合后的图片不仅包含了原始图片的信息，也包含了理想分割图片的信息。使用融合的图片，训练第二个W-GAN网络，得到边缘图像和分割后的边缘图像的映射
(3)建立原始图像和其分割后的边缘图像的映射：
经过第二步已经获得了分割后的边缘图像的映射，将原始图像作为生成器的输入，分割后的边缘图像作为判断器的判断条件，训练第三个W-GAN网络，直接得到原始图像和分割后的边缘图像的映射。
在整个目标区域分割算法中，三个W-GAN网络分别完成不同的任务，但又相互依赖。因此在训练过程中，首先分别训练三个网络，训练到一定程度后，三个网络一起训练，这样才能达到一致性的效果。总的损失函数定义如下：
其中，x为原始图像，G1为第一个W-GAN网络的生成器，G2为第二个W-GAN网络的生成器。最终，三个网络一起训练，得到原始图像到分割后图像的映射，获得了分割后的图像。
步骤4：所需文本区域检测：采用DBNet的方法从分割出的目标区域中提取出所需数据文本的边框，获得相应的文本图像。
采用DBNet的方法从分割出的目标区域中提取出所需数据文本的边框，获得相应的文本图像。DBNet的方法具体为将图片输入网络，经过特征提取和上采样融合并concat操作后得到特征图F，然后使用F预测出概率图P和阈值图T，最后通过P和T计算出近似二值图
通过得到的近似二值图来获取文本框。DBNet的优点是对每一个像素点进行自适应二值化，二值化的阈值由网络得到，将其加入网络中训练，因而输出图像对于阈值会非常鲁棒。其中采用的二值化的公式为：
其中，
表示近似的二值图，P是生成的概率图，T是生成的阈值图。
步骤5：对文本图像进行识别，获得屏幕数据。
在自适应变化网络连接CRNN模型对分割后的文本图像进行OCR识别，得到所需的屏幕数据。CRNN的步骤为：首先将文本图像通过CNN层进行缩放处理，使之保持相同高度，然后通过卷积运算提取出特征序列。然后得到的特征序列通过双向LSTM循环神经网络，预测特征序列中的每一个特征向量的标签分布。采用双向LSTM循环神经网络可以更加充分地利用上下文的信息，并且可以一定程度上提升识别的准确率。最后将LSTM网络预测的特征序列的结果通过CTC层进行整合，转换为最终输出的结果。
Claims (4)
1.一种基于深度学习的近距离屏幕监控方法，其特征在于，包括以下步骤：
步骤1：通过摄像头获取被监控屏幕的图像，并对屏幕图像进行预处理；
步骤2：近距离校正：采用自适应的方法对从预处理后的屏幕图像进行近距离校正；
步骤3：目标区域分割：采用无监督的方法使用连接的三个W-GAN网络从校正后的屏幕图像中分割出目标区域；
步骤4：所需文本区域检测：采用DBNet的方法从分割出的目标区域中提取出所需数据文本的边框，获得相应的文本图像；
步骤5：对文本图像进行识别，获得屏幕数据；
所述步骤3具体为：
步骤3.1：训练第一个W-GAN网络建立原始图像和其边缘图像的映射：
将校正后的文本图像输入，使用Sobel算法获得输入图像的边缘图像，使用获得的边缘图像训练边缘图像的生成器，并在使用Sobel算法获得的边缘图片中添加高斯噪声；W-GAN的损失函数如下：
其中，θG，θD表示生成器和判别器的参数，e为使用Sobel算法生成的边缘图像，z为生成器生成的边缘图像；
和/>
分别表示判别器判断真实边缘图片和生成边缘图片的期望；D(e)和D(z)分别表示判别器判断真实图片和生成图片为真实图片的概率；
步骤3.2：训练第二个W-GAN网络建立边缘图像和分割后的边缘图像的映射：
将方形框和颜色差作为分割的先验信息，构造出理想分割后的边缘图像；
将构造的理想边缘图片与步骤3.1：生成的边缘图像进行融合，生成用来训练的图片：
Mixed＝α*edge+(1-α)*groundtruth
其中，Mixed表示融合后的图片，edge表示第一步生成的边缘图片，groundtruth表示生成的理想分割后的边缘图片，α为比例参数；
步骤3.3：训练第三个W-GAN网络建立原始图像和其分割后的边缘图像的映射：
将原始图像作为生成器的输入，分割后的边缘图像作为判断器的判断条件，训练第三个W-GAN网络，直接得到原始图像和分割后的边缘图像的映射；
总的损失函数定义如下：
其中，x为原始图像，G1为第一个W-GAN网络的生成器，G2为第二个W-GAN网络的生成器；
表示判别器判断原始图像的期望；
最终三个网络一起训练，得到原始图像到分割后图像的映射，获得分割后的目标区域图像。
2.根据权利要求1所述的基于深度学习的近距离屏幕监控方法，其特征在于，所述步骤2具体为：
步骤2.1：将预处理后的屏幕图像作为输入，对其进行卷积操作，然后全连接回归出空间变换系数；
步骤2.2：将变化后的目标图片的每个像素坐标位置通过矩阵运算的方式，与得到的仿射变换矩阵系数矩阵进行矩阵运算，计算出目标图片中的每个像素坐标位置所对应的原图片的坐标位置；矩阵变化公式如下：
其中，
和/>
表示原始图片的坐标，/>
和/>
表示目标图片的坐标，Aθ表示通过全连接所得到的仿射变换的系数，θ11、θ12、θ13、θ21、θ22和θ23为具体的6个仿射系数；
步骤2.3：根据所得到的原始像素坐标的位置信息，在原始图片中进行采样，采取双线性插值的方法，将原始图片中的像素复制到目标图片中去，得到校正后的屏幕图像。
3.根据权利要求1所述的基于深度学习的近距离屏幕监控方法，其特征在于，所述DBNet的方法具体为：
将分割后的目标区域图像输入可微二值化网络，经过特征提取和上采样融合并concat操作后得到特征图F，然后使用特征图F预测出概率图P和阈值图T，最后通过P和T计算出近似二值图
通过得到的近似二值图来获取文本框；其中采用的二值化的公式为：
其中，
表示近似的二值图，/>
为二值图中像素点(i,j)的值；P是生成的概率图，Pi,j为像素图中像素点(i,j)的值；T是生成的阈值图，Ti,j为阈值图中像素点(i,j)的值；k为放大系数。
4.根据权利要求1所述的基于深度学习的近距离屏幕监控方法，其特征在于，所述步骤5具体为：
在自适应变化网络连接CRNN模型对文本图像进行OCR识别，得到所需的屏幕数据；CRNN的步骤为：首先将输入的文本图像通过CNN层进行缩放处理，使之保持相同高度，然后通过卷积运算提取出特征序列，得到的特征序列通过双向LSTM循环神经网络，预测特征序列中的每一个特征向量的标签分布；最后将LSTM网络预测的特征序列的结果通过CTC层进行整合，转换为最终输出的结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111504793.7A CN114241407B (zh) | 2021-12-10 | 2021-12-10 | 一种基于深度学习的近距离屏幕监控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111504793.7A CN114241407B (zh) | 2021-12-10 | 2021-12-10 | 一种基于深度学习的近距离屏幕监控方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114241407A CN114241407A (zh) | 2022-03-25 |
| CN114241407B true CN114241407B (zh) | 2023-05-23 |
Family
ID=80754547
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111504793.7A Active CN114241407B (zh) | 2021-12-10 | 2021-12-10 | 一种基于深度学习的近距离屏幕监控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114241407B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110996789A (zh) * | 2017-06-16 | 2020-04-10 | 伦斯勒理工大学 | 使用神经网络集成断层扫描图像重建和放射组学的系统和方法 |
| CN111310582A (zh) * | 2020-01-19 | 2020-06-19 | 北京航空航天大学 | 基于边界感知和对抗学习的湍流退化图像语义分割方法 |
| CN111462126A (zh) * | 2020-04-08 | 2020-07-28 | 武汉大学 | 一种基于边缘增强的语义图像分割方法及系统 |
| DE102019131971A1 (de) * | 2019-11-26 | 2021-05-27 | Connaught Electronics Ltd. | Ein Bildverarbeitungsmodul |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11176443B1 (en) * | 2017-12-21 | 2021-11-16 | Automation Anywhere, Inc. | Application control and text detection from application screen images |
| CN108960143B (zh) * | 2018-07-04 | 2021-02-23 | 北京航空航天大学 | 一种高分辨率可见光遥感图像中的舰船检测深度学习方法 |
| CN110321894B (zh) * | 2019-04-23 | 2021-11-23 | 浙江工业大学 | 一种基于深度学习ocr的图书馆图书快速定位方法 |
| CN110188754B (zh) * | 2019-05-29 | 2021-07-13 | 腾讯科技（深圳）有限公司 | 图像分割方法和装置、模型训练方法和装置 |
| CN110298347B (zh) * | 2019-05-30 | 2022-11-01 | 长安大学 | 一种基于GrayWorld与PCA-CNN的汽车尾气分析仪屏幕的识别方法 |
| CN111881913A (zh) * | 2019-07-05 | 2020-11-03 | 深圳数字生命研究院 | 图像识别方法及装置、存储介质和处理器 |
| CN113221890A (zh) * | 2021-05-25 | 2021-08-06 | 深圳市瑞驰信息技术有限公司 | 一种基于ocr的云手机文字内容监管方法和系统和系统 |
| CN113705733A (zh) * | 2021-09-29 | 2021-11-26 | 平安医疗健康管理股份有限公司 | 医疗票据图像处理方法及装置、电子设备、存储介质 |
-
2021
- 2021-12-10 CN CN202111504793.7A patent/CN114241407B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110996789A (zh) * | 2017-06-16 | 2020-04-10 | 伦斯勒理工大学 | 使用神经网络集成断层扫描图像重建和放射组学的系统和方法 |
| DE102019131971A1 (de) * | 2019-11-26 | 2021-05-27 | Connaught Electronics Ltd. | Ein Bildverarbeitungsmodul |
| CN111310582A (zh) * | 2020-01-19 | 2020-06-19 | 北京航空航天大学 | 基于边界感知和对抗学习的湍流退化图像语义分割方法 |
| CN111462126A (zh) * | 2020-04-08 | 2020-07-28 | 武汉大学 | 一种基于边缘增强的语义图像分割方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114241407A (zh) | 2022-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020199931A1 (zh) | 人脸关键点检测方法及装置、存储介质和电子设备 | |
| JP7058373B2 (ja) | 医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体 | |
| Lian et al. | Attention guided U-Net for accurate iris segmentation | |
| CN110598610B (zh) | 一种基于神经选择注意的目标显著性检测方法 | |
| Shih et al. | Automatic extraction of head and face boundaries and facial features | |
| KR100682889B1 (ko) | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 | |
| CN108062525B (zh) | 一种基于手部区域预测的深度学习手部检测方法 | |
| WO2020135812A1 (en) | Systems and methods for ossification center detection and bone age assessment | |
| Yin et al. | FD-SSD: An improved SSD object detection algorithm based on feature fusion and dilated convolution | |
| WO2015078185A1 (zh) | 卷积神经网络和基于卷积神经网络的目标物体检测方法 | |
| CN112800903B (zh) | 一种基于时空图卷积神经网络的动态表情识别方法及系统 | |
| CN107067015B (zh) | 一种基于多特征深度学习的车辆检测方法及装置 | |
| WO2023137914A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113077419A (zh) | 用于髋关节ct影像识别的信息处理方法及装置 | |
| CN117079339A (zh) | 动物虹膜识别方法、预测模型训练方法、电子设备及介质 | |
| CN114241407B (zh) | 一种基于深度学习的近距离屏幕监控方法 | |
| KR102476888B1 (ko) | 디지털 병리이미지의 인공지능 진단 데이터 처리 장치 및 그 방법 | |
| CN114627136B (zh) | 一种基于特征金字塔网络的舌象分割与对齐方法 | |
| CN115761226A (zh) | 一种口腔影像分割识别方法、装置、电子设备和存储介质 | |
| JP2008084109A (ja) | 目開閉判定装置及び目開閉判定方法 | |
| JP2023519527A (ja) | アルファチャネルにおけるオートエンコーダに基づくセグメンテーションマスクの生成 | |
| EP4152255A1 (en) | System and method for differentiating a tissue of interest from another part of a medical scanner image | |
| EP4123580A1 (en) | Processing of images containing overlapping particles | |
| del Fresno et al. | Application of color image segmentation to estrus detection | |
| CN117372437B (zh) | 用于面神经麻痹智能化检测与量化方法及其系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |