CN112884666A - 图像处理方法、装置及计算机存储介质 - Google Patents

图像处理方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN112884666A
CN112884666A CN202110145352.6A CN202110145352A CN112884666A CN 112884666 A CN112884666 A CN 112884666A CN 202110145352 A CN202110145352 A CN 202110145352A CN 112884666 A CN112884666 A CN 112884666A
Authority
CN
China
Prior art keywords
image
mesh
frequency
grid pattern
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110145352.6A
Other languages
English (en)
Other versions
CN112884666B (zh
Inventor
朱麒文
陈佳伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Haikang Huiying Technology Co ltd
Original Assignee
Hangzhou Haikang Huiying Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Haikang Huiying Technology Co ltd filed Critical Hangzhou Haikang Huiying Technology Co ltd
Priority to CN202110145352.6A priority Critical patent/CN112884666B/zh
Publication of CN112884666A publication Critical patent/CN112884666A/zh
Application granted granted Critical
Publication of CN112884666B publication Critical patent/CN112884666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置及计算机存储介质，属于计算机技术领域。所述方法包括：利用深度学习模型确定获取的第一图像中是否有网格纹，在有网格纹的情况下，基于第一图像中的网格纹的特征信息，对第一图像的网格纹进行剔除。本申请实施例通过深度学习模型确定第一图像中是否有网格纹，然后基于第一图像中的网格纹的特征信息，对第一图像的网格纹进行剔除。提高图像处理系统的智能化水平，不需要人为去识别第一图像中是否有网格纹，加快了识别图像中网格纹的速度。基于第一图像中的网格纹的特征信息，可以有效地对网格纹进行彻底剔除。并且，在整个图像处理过程中，可以全自动化的剔除第一图像的网格纹，不需要人工参与。

Description

图像处理方法、装置及计算机存储介质
技术领域
本申请实施例涉及计算机技术领域，特别涉及一种图像处理方法、装置及计算机存储介质。
背景技术
图像处理是计算机对图像进行分析与处理，得到用户希望的图像。图像处理广泛应用于监控、摄像、医疗等领域。比如，在医疗领域的纤维内窥镜场景下，利用光纤簇形成完整的图像，光纤簇是由多个光纤紧密排列形成的。由于光纤与光纤之间存在物理缝隙，这些缝隙无法导光，因此，利用光纤簇形成的图像会出现网格纹，网格纹会影响用户对图像中信息的提取。此时，利用图像处理可将图像中的网格纹去除。
发明内容
本申请实施例提供了一种图像处理方法、装置及计算机存储介质，可以快速且有效地剔除图像中的网格纹。所述技术方案如下：
一方面，提供了一种图像处理方法，所述方法包括：
获取第一图像，所述第一图像为基于纤维镜采集的图像确定的，所述纤维镜包括多个光纤和图像传感器，所述多个光纤用于将拍摄点反射的光传输至所述图像传感器，由所述图像传感器采集图像；
基于深度学习模型，识别所述第一图像中是否存在网格纹；
在所述第一图像中存在网格纹的情况下，基于所述第一图像中的网格纹的特征信息，剔除所述第一图像中的网格纹，得到第二图像，所述特征信息指示所述网格纹的像素值变化特征或分布特征。
可选地，所述第一图像中的网格纹的特征信息包括所述第一图像中的网格纹的频率，所述频率指示所述第一图像中的网格纹的变化特征；
所述基于所述第一图像中的网格纹的特征信息，剔除所述第一图像中的网格纹，得到第二图像之前，所述方法还包括：
基于所述第一图像中各个像素点的亮度，确定所述第一图像的有效区域；
基于所述有效区域中各个像素点的亮度变化情况，确定所述第一图像中的网格纹的频率。
可选地，所述基于所述第一图像中各个像素点的亮度，确定所述第一图像的有效区域，包括：
对所述第一图像进行低通滤波处理，得到所述第一图像中的对应的增亮图像；
将所述第一图像对应的增亮图像中亮度超过第一亮度阈值的像素点、或者低于第二亮度阈值的像素点进行剔除，得到所述第一图像中的备选有效区域，所述第一亮度阈值大于所述第二亮度阈值；
基于所述备选有效区域中像素点的亮度均值，剔除所述备选有效区域中亮度低于所述亮度均值的像素点，得到所述第一图像的有效区域。
可选地，所述有效区域包括多个子区域，所述多个子区域和所述多个导光区域分别对应；
所述基于所述有效区域中各个像素点的亮度变化情况，确定所述第一图像中的网格纹的频率，包括：
对于所述多个子区域中任一区域，确定所述任一子区域中各个像素点的亮度梯度，所述任一子区域中各个像素点的亮度梯度确定所述任一子区域的边缘，将所述任一子区域的边缘和所述任一子区域的中心之间的距离作为所述任一子区域对应的孔径；
基于所述多个子区域中至少一个子区域各自对应的孔径，确定所述第一图像中的网格纹的频率。
可选地，所述第一图像中的网格纹的特征信息包括所述第一图像中的网格纹的频率，所述频率指示所述第一图像中的网格纹的变化特征，所述深度学习模型还用于识别所述第一图像的网格纹的类别，所述类别指示所述第一图像的网格纹为硬镜网格纹或软镜网格纹；
所述基于所述第一图像中的网格纹的特征信息，剔除所述第一图像中的网格纹，得到第二图像之前，所述方法还包括：
基于所述第一图像中的网格纹的类别，确定所述第一图像中的网格纹的频率；
其中，在所述第一图像的网格纹的类别为硬镜网格纹的情况下，将所述第一图像的频谱图中的中心点和距离所述中心点最近的高亮同心圆之间的间距作为所述第一图像中的网格纹的频率，在所述第一图像的网格纹类别为软镜网格纹的情况下，将所述第一图像的频谱图中的中心点和距离所述中心点最近的若干个高亮点之间的间距作为所述第一图像中的网格纹的频率。
可选地，所述第一图像中的网格纹的特征信息包括所述第一图像中的网格纹的频率，所述频率指示所述第一图像中的网格纹的变化特征，所述深度学习模型还用于识别所述第一图像的网格纹的频率。
可选地，所述基于所述第一图像中的网格纹的特征信息，剔除所述第一图像中的网格纹，得到第二图像，包括：
基于频率与滤波器参数之间的映射关系，确定所述第一图像中的网格纹的频率对应的滤波参数；
基于所述滤波器参数，构建滤波器；
基于所述滤波器，对所述第一图像进行滤波，得到所述第二图像。
可选地，所述第一图像中的网格纹的特征信息包括所述第一图像中的网格纹的位置信息，所述深度学习模型还用于识别所述第一图像中的网格纹的位置信息；
所述基于所述第一图像中的网格纹的特征信息，剔除所述第一图像中的网格纹，得到第二图像，包括：
基于所述第一图像中的网格纹的位置信息，剔除所述第一图像中的网格纹。
另一方面，提供了一种图像处理装置，所述装置包括：
获取模块，用于获取第一图像，所述第一图像为基于纤维镜采集的图像确定的，所述纤维镜包括多个光纤和图像传感器，所述多个光纤用于将拍摄点反射的光传输至所述图像传感器，由所述图像传感器采集图像；
识别模块，用于基于深度学习模型，识别所述第一图像中是否存在网格纹；
剔除模块，用于在所述第一图像中存在网格纹的情况下，基于所述第一图像中的网格纹的特征信息，剔除所述第一图像中的网格纹，得到第二图像，所述特征信息指示所述网格纹的像素值变化特征或分布特征。
可选地，所述第一图像中的网格纹的特征信息包括所述第一图像中的网格纹的频率，所述频率指示所述第一图像中的网格纹的变化特征；
所述装置还包括：
确定模块，用于基于所述第一图像中各个像素点的亮度，确定所述第一图像的有效区域；
所述确定模块，还用于基于所述有效区域中各个像素点的亮度变化情况，确定所述第一图像中的网格纹的频率。
可选地，所述确定模块包括：
第一确定单元，用于对所述第一图像进行低通滤波处理，得到所述第一图像对应的增亮图像；
第二确定单元，用于将所述第一图像中对应的增亮图像中亮度超过第一亮度阈值的像素点、或者低于第二亮度阈值的像素点进行剔除，得到所述第一图像中的备选有效区域，所述第一亮度阈值大于所述第二亮度阈值；
第一剔除单元，用于基于所述备选有效区域中像素点的亮度均值，剔除所述备选有效区域中亮度低于所述亮度均值的像素点，得到所述第一图像的有效区域。
可选地，所述导光区域为多个，所述有效区域包括多个子区域，所述多个子区域和所述多个导光区域分别对应；
所述确定模块还包括：
第三确定单元，用于对于所述多个子区域中任一区域，确定所述任一子区域中各个像素点的亮度梯度，所述任一子区域中各个像素点的亮度梯度确定所述任一子区域的边缘，将所述任一子区域的边缘和所述任一子区域的中心之间的距离作为所述任一子区域对应的孔径；
第四确定单元，用于基于所述多个子区域中至少一个子区域各自对应的孔径，确定所述第一图像中的网格纹的频率。
可选地，所述第一图像中的网格纹的特征信息包括所述第一图像中的网格纹的频率，所述频率指示所述第一图像中的网格纹的变化特征，所述深度学习模型还用于识别所述第一图像的网格纹的类别，所述类别指示所述第一图像的网格纹为硬镜网格纹或软镜网格纹；
所述装置还包括：
所述确定模块，还用于基于所述第一图像中的网格纹的类别，确定所述第一图像中的网格纹的频率；
其中，在所述第一图像的网格纹的类别为硬镜网格纹的情况下，将所述第一图像的频谱图中的中心点和距离所述中心点最近的高亮同心圆之间的间距作为所述第一图像中的网格纹的频率，在所述第一图像的网格纹类别为软镜网格纹的情况下，将所述第一图像的频谱图中的中心点和距离所述中心点最近的若干个高亮点之间的间距作为所述第一图像中的网格纹的频率。
可选地，所述第一图像中的网格纹的特征信息包括所述第一图像中的网格纹的频率，所述频率指示所述第一图像中的网格纹的变化特征，所述深度学习模型还用于识别所述第一图像的网格纹的频率。
可选地，所述剔除模块，用于基于频率与滤波器参数之间的映射关系，确定所述第一图像中的网格纹的频率对应的滤波参数；基于所述滤波器参数，构建滤波器；基于所述滤波器，对所述第一图像进行滤波，得到所述第二图像。
可选地，所述第一图像中的网格纹的特征信息包括所述第一图像中的网格纹的位置信息，所述深度学习模型还用于识别所述第一图像中的网格纹的位置信息；
所述剔除模块，还用于基于所述第一图像中的网格纹的位置信息，剔除所述第一图像中的网格纹。
另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述一方面所述的一种图像处理方法。
另一方面，提供了一种计算机装置，所述装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述一方面所述的一种图像处理方法。
另一方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述一方面所述的图像处理方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过深度学习模型确定第一图像中是否有网格纹，然后基于第一图像中的网格纹的特征信息，对第一图像的网格纹进行剔除。由于深度学习模型具有很强的学习能力，可以模仿人的大脑，因此深度学习模型可以提高图像处理系统的智能化水平，不需要人为去识别第一图像中是否有网格纹，加快了识别图像中网格纹的速度，提高了图像处理的效率。其次，由于特征信息指示网格纹的像素值变化特征或分布特征，网格纹的像素值变化特征或分布特征可以直接反映出图像中哪些部分是网格纹，进而有效且全面将网格纹进行剔除。比如，当特征信息指示网格纹的像素值变化特征时，根据网格纹的像素值变化特征剔除网格纹即可。当特征信息指示网格纹分布特征时，直接根据网格纹分布特征剔除网格纹即可。因此，根据特征信息可以将第一图像中的网格纹全部反映出来，进而可以有效地对网格纹进行彻底剔除，不会剔除第一图像中其他有效区域，也不会出现网格纹剔除不干净的现象。并且，在整个图像处理过程中，不需要人工参与，图像处理系统可以全自动化的剔除第一图像的网格纹，进而可以提高整个图像处理的速度与准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种纤维内窥镜系统的结构示意图。
图2是本申请实施例提供的一种纤维内窥镜系统的详细结构示意图。
图3是本申请实施例提供的一种图像处理系统的架构示意图。
图4是本申请实施例提供的一种图像处理方法流程图。
图5是本申请实施例提供的一种纤维镜采集的图像示意图。
图6是本申请实施例提供的一种网格纹示意图。
图7是本申请实施例提供的一种获取有效区域的流程示意图。
图8是本申请实施例提供的一种网格纹亮度变化示意图。
图9是本申请实施例提供的一种网格纹频谱图。
图10是本申请实施例提供的一种网格纹去除流程图。
图11是本申请实施例提供的一种网格纹剔除概略流程图。
图12是本申请实施例提供的一种基于频率的网格纹剔除流程图。
图13是本申请实施例提供的一种图像亮度分布概率分布示意图。
图14是本申请实施例提供的一种基于位置信息的网格纹亮度增强流程图。
图15是本申请实施例提供的一种图像处理装置的结构示意图。
图16是本申请实施例提供的一种终端的结构框图。
图17是本申请实施例提供的一种服务器结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
为了后续便于说明，在此先对本申请实施例的应用场景进行介绍说明。
在医疗领域中，纤维内窥镜用在对患者进行微创检查、微创手术等过程中，纤维内窥镜拍摄患者体内需要被观察的部位，以便医生对拍摄区域进行观察。纤维内窥镜主要由光源、导光束、物镜、导像束和成像系统组成。其中，导像束包括光纤簇，成像系统包括图像传感器。光源发出的光通过导光束传送到纤维内窥镜前端，照亮纤维内窥镜拍摄的区域。物镜聚集纤维内窥镜拍摄区域反射的光，然后由导像束将物镜聚集的光反射到成像系统，也即是光纤簇将物镜聚集的光反射到成像系统，成像系统通过光学传感器接受光纤簇反射的光进而生成对应的图像。此处纤维内窥镜是纤维镜的一种，除此之外，在本申请实施例中，纤维镜还可以为纤维胃肠镜、纤维内镜等，在此并不对纤维镜加以限制。
本申请实施例提供的图像处理方法就应用于对纤维内窥镜拍摄的图像进行处理的场景中。为了后续便于说明，下面首先对本申请实施例涉及的纤维内窥镜系统进行整体介绍，如图1所示，图1是本申请实施例提供的一种纤维内窥镜系统的结构示意图。在图1中，纤维内窥镜系统包括纤维内窥镜，光源，摄像系统主机，显示装置以及存储装置。其中，纤维内窥镜用于将长管插入患者体内，拍摄患者体内需要被观察的部位，生成该部位的图像，并将生成的图像发送给摄像系统主机。光源装置用于从纤维内窥镜的前端射出的照明光，以便于纤维内窥镜拍摄出清晰的图像。摄像系统主机用于接收纤维内窥镜发送的图像，对该图像进行处理，然后将处理后的图像发送给显示装置和存储装置。摄像系统主机还用于统一控制整个纤维内窥镜系统，比如控制纤维内窥镜将生成的图像发送给摄像系统主机等。显示装置用于接收摄像系统主机发送的处理后的图像，然后将处理的图像显示在显示装置上。存储装置用于接收摄像系统主机发送的处理后的图像，并将该处理后的图像进行存储。
通过图1所示的纤维内窥镜系统，医生可以通过观察由显示装置显示的图像，来检查纤维内窥镜拍摄部位是否有出血、肿瘤和异常等现象，并提供手术治疗的实时影像。医生通过访问存储装置中的图像或视频，进行术后回顾和手术培训。
为了更加清楚的了解内窥镜系统的原理，在此对纤维内窥镜系统组成部分进行解释说明。如图2所示，图2是本申请实施例提供的一种纤维内窥镜系统的详细结构示意图。图2中包括摄像系统主机，光源，纤维内窥镜。
在图2中，纤维内窥镜系统中的摄像系统主机对从纤维内窥镜接收到的图像进行处理并传输给显示装置和存储装置。摄像系统主机包括图像输入单元、图像处理单元、智能处理单元、视频编码单元、控制单元和操作单元，其中，图像输入单元接收内窥镜发送过来的图像，并将接受到的图像传输给图像处理单元。
图像处理单元接收图像输入单元发送的图像，并对接收到的图像进行处理，也即是对图像进行ISP(image signal processor，图像信号处理)操作，ISP操作包括对图像进行亮度变换、锐化、去摩尔纹、缩放等操作，摩尔纹也即是网格纹。图像处理单元处理完图像之后，将处理后的图像发送给智能处理单元、视频编码单元或显示装置。此外，图像处理单元还用于接收智能处理单元智能分析后的图像，并对智能分析后的图像再一次进行ISP操作。
智能处理单元接收到图像处理单元发送的处理后的图像，并对处理后的图像进行智能分析，智能分析包括对处理后的图像基于深度学习进行场景分类、器械或器械头检测、纱布检测、摩尔纹分类和浓雾分类等。智能处理单元智能分析完处理后的图像之后，将智能分析后的图像发送给图像处理单元或视频编码单元。
视频编码单元用于接收图像处理单元处理后的图像，或智能处理单元智能分析后的图像。对处理后的图像或智能分析后的图像进行编码压缩，并将压缩后的图像发送给存储装置。
控制单元用于向内窥镜系统的各个单元发送不同的功能指令，用于控制内窥镜系统的各个模块来执行某些功能，比如控制光源的照明、图像处理单元的图像处理方式、智能处理单元的智能分析方式和视频编码单元的编码压缩方式等。此外，控制单元还用于接收操作单元发送的触发指令，并响应于该触发指令，以便于开启摄像系统主机。
操作单元包括开光、按钮和触摸面板等，当用户对开关、按钮或触摸面板进行触发操作时，操作单元用于接收用户的触发指令，并向控制单元发送该触发指令，以便受理该触发指令所对应的请求。
在图2中，纤维内窥镜系统中的光源包括照明控制单元和照明单元。其中，照明控制单元接收摄像系统主机中控制单元发送的功能指令后，并向照明单元发送照明指令，用于控制照明单元向纤维内窥镜提供照明光。照明单元接收到明控制单元发送的照明指令，并向内窥镜提供照明光。
在图2中，纤维内窥镜系统中的纤维内窥镜具有摄像光学系统、成像单元、处理单元和操作单元。其中，摄像光学系统由一个或多个透镜构成，对来自患者体内需要被观测部位的光进行聚光，以便观测部位可以被清晰的拍摄下来。成像单元由CMOS(complementarymetal oxide semiconductor，互补金属氧化物半导体)或CCD(charge coupled device，电荷耦合器件)等图像传感器组成，用于将各个像素点所接收的光进行光电转换来生成图像。成像单元将生成的图像发送给处理单元。处理单元接收成像单元发送的图像，将该图像转换成数字信号图像，并将转换后的图像发送到摄像系统主机的图像输入单元。当用户对内窥镜上的开关、按钮或触摸面板进行触发操作时，操作单元用于接收用户的触发指令，并向摄像系统主机的控制单元发送该触发指令。
本申请实施例提供的方法就应用于利用纤维内窥镜系统对图像进行处理的场景中，可选地，本申请实施例提供的图像处理方法也可以应用在其他对图像进行处理的场景中。在此就不再一一举例说明。
为了能够实现本申请实施例提供的图像处理方法，本申请实施例提供了一种图像处理系统。为了便于后续说明，在此先对该图像处理系统进行详细解释说明。
图3是本申请实施例提供的一种图像处理系统的架构示意图。如图3所示，该图像处理系统300包括智能算法模块301，图像处理模块302。其中，图像处理模块包括图像预处理单元，网格纹图像处理单元，图像后处理单元。
智能算法模块用于接收图像处理模块中图像预处理单元发送的可供人眼观察的第一图像，并对第一图像的相关信息进行识别，相关信息包括第一图像中是否存在网格纹、或者第一图像中的网格纹类别、或者第一图像中网格纹的特征信息，特征信息指示所述网格纹的像素值变化特征或分布特征。若识别出第一图像存在网格纹，则智能算法模块将识别结果发送给图像处理模块。
图像处理模块接收智能算法模块发送的识别结果。基于识别结果和图像处理模块中图像预处理单元的第一图像，图像处理模块中的网格纹图像处理单元对第一图像中网格纹进行去除，得到第二图像。图像处理单元将第二图像发送给图像处理模块中的图像后处理单元，由图像后处理单元对第二图像进行进一步处理，得到处理后的第二图像。
此外，图像处理系统还包括图像数据采集单元，视频编码单元，显示单元。其中图像数据采集单元用于获取图像传感器采集的视频、或者图像，并将采集的视频中的任一帧图像和采集的图像发送给图像处理模块中的图像预处理单元。视频编码单元用于接收图像处理模块得到的处理后的第二图像，并对处理后的第二图像进行编码，将编码后的第二图像发送给显示单元。显示单元接收编码后的第二图像，对编码后的第二图像进行显示。
图像处理系统对第一图像中的网格纹进行去除，得到第二图像。在医疗领域中，将纤维内窥镜采集的图像中的网格纹去掉，不会出现网格纹影响医生视觉的情况，便于医生对患者的检查区域进行详细观测，进而对患者的病情进行准确判断，或者在手术过程中，医生可以更精准的进行操作。
图3所示的图像处理系统为一个软件系统，该图像处理系统的各个模块可以部署在任一硬件设备中。比如该图像处理系统可以部署在终端上，此时则由终端来实现本申请实施例提供的图像处理方法。或者，该图像处理系统也可以部署在服务器上，此时则由服务器来实现本申请实施例提供的图像处理方法。
需要说明的是，图3所示的图像处理系统中的各个模块可以集中式地部署在一个终端中，也可以集中式地部署在一个服务器中，可选地，该图像处理系统中的各个模块还可以分布式部署在不同的设备上，本申请实施例对此不做限定。
此外，图3中图像处理系统各个模块为软件模块，各个模块的命名是基于软件模块的功能命名的。在应用本申请实施例时，可以基于需求进行不同的命名，本申请实施例并不限定上述各个模块的命名。
基于图3所示的图像处理系统，下面对本申请实施例提供的方法进一步展开说明。需要说明的是，本申请实施例可以利用终端、控制器、服务器等设备去执行图4中得各个步骤，在此并不对本申请实施例的执行主体加以限制。在图4中以终端为执行主体进行说明。
图4是本申请实施例提供的一种图像处理方法流程图，该图像处理方法可以包括如下几个步骤。
步骤401：终端获取第一图像，第一图像为基于纤维镜采集的图像确定的，纤维镜包括多个光纤和图像传感器，多个光纤用于将拍摄点反射的光传输至图像传感器，由图像传感器采集图像。
光纤用于信息传输，由于光纤非常纤细的，就算多个光纤组合在一起形成光纤簇，光纤簇也是非常纤细的。因此，在医疗领域，利用纤维镜获取第一图像，第一图像所显示的画面为患者体内需要被观察的部位，可以使患者身体表面留下很小的伤疤，减轻了患者在检查或者手术时的痛苦，同时这些很小的伤疤不会影响患者以后的生活，也不会对患者皮肤造成较大的伤害，并且避免了大伤疤容易感染的风险。
上述终端获取第一图像的实现方式为：光纤簇将获取的图像光信号发送给图像传感器，图像传感器接受光纤簇发送的图像光信号，生成图像信息。利用图3中图像处理模块中的图像预处理单元对图像传感器生成图像信息进行黑电平，绿平衡，白平衡，数字增益，Gamma(伽玛)矫正，色彩矫正，插值等方面的处理，得到可供人眼观察的第一图像，可供人眼观察的第一图像包括RGB(red-green-blue，红-绿-蓝)图像，灰度图像，YUV(Luminance-Chrominance，亮度与色度)图像等格式的图像，在此并不对第一图像的格式进行限制。
步骤402：终端基于深度学习模型，识别第一图像中是否存在网格纹。
由于要对第一图像中的网格纹进行去除，因此，首先需要识别第一图像中是否存在网格纹，若第一图像中不存在网格纹，则无需对第一图像进行处理，若第一图像中存在网格纹，则需要对第一图像进行下述步骤403的操作。
当图3中图像处理模块中的图像预处理单元得到可供人眼观察的第一图像之后，将该第一图像发送给智能算法模块，智能算法模块接收该第一图像，并基于终端深度学习模型，识别第一图像中是否存在网格纹。
上述深度学习模型是预先训练的，用于识别第一图像中是否存在网格纹。基于深度学习模型，在医疗领域中，提高了图像处理系统的智能化水平，不需要医生去判断第一图像中是否存在网格纹，这样可以减少医生额外的判断步骤，提高医生的工作效率。
上述深度学习模型的训练过程可以为：终端获取多个训练样本，多个训练样本中每个训练样本包括一个图像的信息，和与该训练样本对应的标签，该训练样本对应的标签指示该图像是否存在网格纹。终端基于多个训练样本以及各个训练样本对应的标签，对初始化的学习模型进行训练，得到深度学习模型。
需要说明的是，深度学习模型中可以包括卷积层、非线性激活层、归一化层、softmax(一种概率函数)层和反卷积层等，在此并不对深度学习模型的构建层进行限制，下述所出现的所有深度学习模型的构建层均为此，下述不对深度学习模型的构建层进行说明。
在一种可能实现的方式中，上述每个训练样本包括纤维镜采集的图像，该纤维镜采集的图像包括图像的各个像素点和像素值。由于纤维镜采集的图像包括RGB(red greenblue，红绿蓝)图像或者灰度图像，因此，在图像为RGB图像的情况下，该图像的像素值可以为RGB图像中各个像素点在R(red，红)通道、G(green，绿)通道、B(blue，蓝)通道对应的像素值。在图像为灰度图像的情况下，该图像的像素值为灰度图像中的各个像素点的灰度值。此时，当每个训练样本包括的图像中包括该纤维镜采集的图像，则深度学习模型的训练过程为基于纤维镜采集的图像的各个像素点和像素值、以及该图像是否有网格纹的结果，对初始化的学习模型进行训练，得到深度学习模型。
在另一种可能实现的方式中，上述每个训练样本包括纤维镜采集的图像的频谱图。该纤维镜采集的图像的频谱图可以将纤维镜采集的图像的灰度图像根据傅里叶变换转换为纤维镜采集的图像的频域图像，得到纤维镜采集的图像的频谱图。此时，当每个训练样本包括的图像中包括该纤维镜采集的图像的频谱图，则深度学习模型的训练过程为基于纤维镜采集的图像的频谱图、以及该图像是否有网格纹的结果，对初始化的学习模型进行训练，得到深度学习模型。
上述对深度学习模型如何训练得到进行了说明，因此，在步骤402中终端基于深度学习模型，识别第一图像中是否存在网格纹的实现方式为：终端将第一图像、或者第一图像的频谱图输入至深度学习模型中，深度学习模型根据第一图像的各个像素点和像素值、或者第一图像的频谱图，输出结果，该结果指示第一图像是否存在网格纹。输出的结果为深度学习模型识别的概率最大的结果。其中，第一图像为RGB图像、或者灰度图像。
需要说明的是，在每个训练样本包括纤维镜采集的图像的情况下，若深度学习模型中每个训练样本包括的纤维镜采集的图像为灰度图像时，但纤维镜采集的第一图像为RGB图像，此时将RGB图像转换为灰度图像，转换方法可以为保留R通道、G通道、B通道，或者RGB通道对应位置上的像素值取平均等方法。在每个训练样本包括纤维镜采集的频谱图的情况下，若纤维镜采集的第一图像为RGB图像，则将RGB图像转换为灰度图像，再将灰度图像根据傅里叶变换转换为频域图像，第一图像的频谱图。
此外，为了加快智能算法模块的处理速度，提前给智能算法模块设置一个可以识别的图像形状，这样是智能算法模块可以按照统一标准对图像进行处理。为了便于说明，在此以用户设置的智能算法模块可以识别的图像形状为正方形为例进行说明。终端中图3所示的智能算法模块识别正方形图像，因此，在基于深度学习模型，识别第一图像中是否存在网格纹之前，还需将第一图像进行裁剪，得到形状为正方形的第一图像。具体地，为了使第一图像形成的正方形中存在的重要信息多，因此，基于第一图像的中心位置处开始，第一图像的宽和高之间的最小值作为正方形的边长进行裁剪，使第一图像的形状成为正方形。
步骤403：在第一图像中存在网格纹的情况下，终端基于第一图像中的网格纹的特征信息，剔除第一图像中的网格纹，得到第二图像。
由于第一图像中的网格纹的特征信息可以有效且全面的反映第一图像中哪些像素点是网格纹，因此，终端需要在第一图像中存在网格纹的情况下，获取第一图像中的网格纹的特征信息，基于第一图像中的网格纹的特征信息，剔除第一图像中的网格纹，得到第二图像。其中，特征信息指示网格纹的像素值变化特征或分布特征。
在一种可能实现的方式中，上述获取第一图像中的网格纹的特征信息的实现方式为：终端中智能算法模块确定第一图像中的网格纹的特征信息。
在另一种可能实现的方式中，上述获取第一图像中的网格纹的特征信息的实现方式为：终端中智能算法模块将第一图像存在网格纹的信息发送给图像处理模块的网格纹图像处理模块，网格纹图像处理单元确定第一图像中的网格纹的特征信息。
由于步骤403中基于第一图像中的网格纹的特征信息，剔除第一图像中的网格纹，得到第二图像的步骤是由图像处理模块中的网格纹图像处理模块进行的。因此，当第一图像中的网格纹的特征信息是智能算法模块确定的时候，智能算法模块在确定完第一图像中的网格纹的特征信息之后，将第一图像中的网格纹的特征信息发送给网格纹图像处理模块，网格纹图像处理模块基于第一图像中的网格纹的特征信息，剔除第一图像中的网格纹，得到第二图像。此时，这样网格纹图像处理模块处理的内容就变少了，不需要确定第一图像中的网格纹的特征信息，加快了网格纹图像处理模块后续的处理速度。
当第一图像中的网格纹的特征信息是网格纹图像处理模块确定的时候，网格纹图像处理模块在确定完第一图像中的网格纹的特征信息之后，可直接基于第一图像中的网格纹的特征信息，剔除第一图像中的网格纹，得到第二图像。此时，这样可以防止第一图像中的网格纹的特征信息在发送给网格纹图像处理模块时出现特征信息遗漏的情况。
由于第一图像中的网格纹的特征信息指示第一图像中的网格纹的像素值变化特征或分布特征，因此，第一图像中的网格纹的特征信息可以分为下列两种情况。
(1)第一图像中的网格纹的特征信息包括第一图像中的网格纹的频率。
上述频率指示第一图像中的网格纹的变化特征。此时，终端获取第一图像中的网格纹的频率，基于第一图像中的网格纹的频率，剔除第一图像中的网格纹，得到第二图像。
在一种可能实现的方式中，上述终端获取第一图像中的网格纹的频率的实现方式为：终端基于第一图像中各个像素点的亮度，确定第一图像的有效区域，终端基于有效区域中各个像素点的亮度变化情况，确定第一图像中的网格纹的频率。
在获取第一图像时，由于光源的照射角度不同、或者光源的亮度问题，导致获取的第一图像信息光照分布可能不均匀，第一图像可能会出现过曝光区域、亮度暗的区域、亮度合适的区域等。其次，在医疗领域中，纤维镜获取的第一图像为正方形，但是在真实场景下，医生能观察到的真实图像区域是一个圆形区域，圆形区域以外区域无光进入，因此显示为黑色，称为非图像区域。在正常情况下，医生通过肉眼是难以观察到过曝光区域、亮度暗的区域、非图像区域等区域的图像，因此剔除这些过曝光区域、亮度暗的区域、非图像区域等区域的网格纹是没有太大意义的，此时，需要在第一图像中获取亮度合适的区域，也即是第一图像的有效区域，来进行网格纹的剔除。这样医生就不会因为有效区域出现网格纹而影响视觉。由于第一图像中各个像素点的亮度可以反应出这些区域，因此，终端基于第一图像中各个像素点的亮度，确定第一图像的有效区域。
如图5所示，图5是本申请实施例提供的一种纤维镜采集的图像示意图。在图5中，S03为边界图像，用于区分真实图像区域和非图像区域。S02+S04+S05为真实图像区域，真实图像区域又可以分为亮度暗的区域S02、亮度合适的区域S04及过曝光区域S05。在一个视频中，不同帧的图像之间的亮度暗的区域S02、亮度合适区域S04及过曝光区域S05的分布可能会不同。其中，亮度暗的区域也可称为暗区。
上述终端基于第一图像中各个像素点的亮度，确定第一图像的有效区域的实现方式为：终端中的智能算法模块或者网格纹图像处理单元对第一图像进行低通滤波处理，得到第一图像中的导光区域，将导光区域中亮度超过第一亮度阈值的像素点、或者低于第二亮度阈值的像素点进行剔除，得到第一图像中的备选有效区域，第一亮度阈值大于第二亮度阈值。基于备选有效区域中像素点的亮度均值，剔除备选有效区域中亮度低于亮度均值的像素点，得到第一图像的有效区域。
上述终端中的智能算法模块或者网格纹图像处理单元对第一图像进行低通滤波处理，得到第一图像中的导光区域的实现方式为：在第一图像中，多个光纤导光的地方可以称为导光区域，光纤与光纤之间的缝隙称为非导光区域，非导光区域在第一图像中形成黑色孔洞。由于真实图像区域中的亮度暗的区域和非导光区域的亮度相近，为了将非导光区域和亮度暗的区域区分出来，采用低通滤波的方式对第一图像进行滤波处理，将非导光区域进行提亮，使亮度暗的区域和非导光区域的亮度差别增大，这样可以明显区分出非导光区域和亮度暗的区域，消除非导光区域对亮度暗的区域产生的影响。具体地，将第一图像中的每个像素点以参考半径为基准，求取参考半径内的所有像素点的平均亮度，将该平均亮度作为参考半径所在圆的中心像素点的亮度。这样就会将一些像素点的亮度提高，一些像素点的亮度降低，一些像素点的亮度不变，进而使不同像素点的亮度有了明显区别，从而可以区分出来非导光区域和亮度暗的区域，此时，得到第一图像对应的增亮图像，该第一图像对应的增亮图像表示非导光区域的亮度增亮。
如图6所示，图6是本申请实施例提供的一种网格纹示意图，在图6中，黑的区域为非导光区域，也即是S06区域为非导光区域。S07为导光区域。由于有多个光纤，因此有多个导光区域。
需要说明的是，低通滤波可以为高斯滤波，双边滤波，引导滤波等任意一种滤波方式，凡可以消除图像非导光区域对亮度暗的区域产生的影响的任意滤波方式均可。通过任意一种低通滤波方式对第一图像进行处理，低通滤波处理后的第一图像和低通滤波前的第一图像的关系都可用下述公式表示。其中，I为低通滤波前的第一图像，Lpf为低通滤波处理过程，I’为低通滤波后的第一图像，也即是第一图像对应的增亮图像。
I′＝Lpf(I)
上述将导光区域中亮度超过第一亮度阈值的像素点、或者低于第二亮度阈值的像素点进行剔除，得到第一图像中的备选有效区域的实现方式为：预先设置第一亮度阈值和第二亮度阈值，第一亮度阈值大于第二亮度阈值。第一亮度阈值用于判断过曝光区域，第一图像对应的增亮图像中亮度超过第一亮度阈值的像素点为过曝光区域。第二亮度阈值用于判断非图像区域，第一图像对应的增亮图像中亮度低于第二亮度阈值的像素点为非图像区域。此时，将非图像区域和过曝光区域进行剔除，得到第一图像中的备选有效区域。
具体地，如何得到第一图像中的备选有效区域如下述公式所示，在下述公式中，thrdark为第二亮度阈值，thrlight为第一亮度阈值，I(x,y)为第一图像对应的增亮图像中各个像素点的亮度，(x，y)表示每个像素点在第一图像中对应的横纵坐标位置信息。mask(x,y)表示掩膜区域，也即是，表示某一部分区域，1表示第一图像对应的增亮图像中亮度超过第一亮度阈值的像素点表示的过曝光区域，和第一图像对应的增亮图像中亮度低于第二亮度阈值的像素点表示的非图像区域。0表示第一图像对应的增亮图像中亮度低于第一亮度阈值，且高于第二亮度阈值的像素点。也即是，mask(x,y)＝1的区域为非图像区域和过曝光区域，mask(x,y)＝0为除非图像区域和过曝光区域的其它区域。将mask(x,y)＝1的像素点进行剔除，得到第一图像中的备选有效区域。
Figure BDA0002929859570000171
上述基于备选有效区域中像素点的亮度均值，剔除备选有效区域中亮度低于亮度均值的像素点，得到第一图像的有效区域的实现方式为：由于要将第一图像中的备选有效区域还包括暗区，因此，要将第一图像中的备选有效区域的亮度暗的区域进行剔除。为了获取亮度暗的区域，确定备选有效区域中像素点的亮度均值，将备选有效区域中像素点的亮度小于亮度均值的像素点作为亮度暗的区域。确定出备选有效区域中亮度暗的区域后，将亮度暗的区域进行剔除，得到第一图像的有效区域。
对于如何确定备选有效区域中亮度暗的区域，如下述公式所示，在下述公式中，lightavg为备选有效区域中像素点的亮度均值，I(x,y)为备选有效区域中像素点的亮度，将备选有效区域中像素点的亮度小于亮度均值的像素点作为亮度暗的区域，将亮度暗的区域表示为1，也即是mask(x,y)＝1。
mask(x,y)＝1；I(x,y)≤lightavg
如图7所示，图7是本申请实施例提供的一种获取有效区域的流程示意图，在图7中，先对第一图像进行低通滤波处理，来消除非导光区域对亮度暗的区域产生的影响，得到第一图像对应的增亮图像。通过设置亮度阈值，也即是第一亮度阈值和第二亮度阈值，确定过曝光区域和非图像区域，并对过曝光区域和非图像区域进行剔除，得到第一图像中的备选有效区域。通过确定备选有效区域中像素点的亮度均值，并且将备选有效区域中像素点的亮度均值作为第三亮度阈值，将备选有效区域中像素点的亮度低于第三亮度阈值的像素点进行剔除，也即是将备选有效区域中亮度暗的区域进行剔除，得到第一图像的有效区域。
网格纹的频率与导光区域的孔径大小有关，因此，要得到网格纹的频率，需确定网格纹中导光区域的孔径大小。由于网格纹的导光区域的亮度变化呈现的规律是导光区域中心点的亮度最大，向外扩展亮度越来越小，直到导光区域的边缘。亮度梯度可以反映出像素点与相邻像素点之间的亮度变化情况，根据像素点与相邻像素点之间的亮度变化情况可以确定出网格纹中导光区域的孔径大小。因此，上述终端基于有效区域中各个像素点的亮度变化情况，确定第一图像中的网格纹的频率的实现方式为：对于多个子区域中任一子区域，终端中的智能算法模块或者网格纹图像处理单元确定该子区域中各个像素点的亮度梯度，该子区域中各个像素点的亮度梯度确定该子区域的边缘，将该子区域的边缘和该子区域的中心之间的距离作为该子区域对应的孔径。基于多个子区域中至少一个子区域各自对应的孔径，确定第一图像中的网格纹的频率。其中，导光区域为多个，有效区域包括多个子区域，多个子区域和多个导光区域分别对应。
需要说明的是，上述任一子区域仅仅是代表多个子区域中的一个子区域，而对于多个子区域中每个子区域都需要执行和任一子区域相同的步骤。下述出现的任一子区域均代表与上述出现的任一子区域为相同的子区域，且对于多个子区域中每个子区域都需要执行和任一子区域相同的步骤，下述不再进行解释说明。
上述确定任一子区域中各个像素点的亮度梯度的方式可以利用公知的任意一种确定像素点的亮度梯度算子，来确定像素点的亮度梯度，比如，sobel(索贝尔)算子等，在此不进行一一举例说明。
在一种可能实现方式中，上述根据任一子区域中各个像素点的亮度梯度确定任一子区域的边缘的实现方式为：以子区域中心为起点，向外扩张，依次查找亮度梯度最大的像素点，将首次查找到的亮度梯度最大的像素点作为任一子区域的边缘像素点。将该子区域中查找到的所有边缘像素点连接起来，即为该子区域的边缘。
在另一种可能实现方式中，上述任一子区域中各个像素点的亮度梯度确定任一子区域的边缘的实现方式为：预先设置亮度梯度阈值，将亮度梯度大于所设梯度阈值的像素点作为任一子区域的边缘像素点。将该子区域中大于所设梯度阈值的所有像素点连接起来，即为该子区域的边缘。
上述将任一子区域的边缘和任一子区域的中心之间的距离作为任一子区域对应的孔径的实现方式为：确定任一子区域的任一边缘到该子区域的中心之间的距离，将该子区域的所有边缘到该子区域的中心之间的距离均值作为该子区域对应的孔径。
上述基于多个子区域中至少一个子区域各自对应的孔径，确定第一图像中的网格纹的频率的实现方式为：若子区域为一个，则将该子区域对应的孔径作为第一图像中的网格纹的频率。若子区域为多个，则多个子区域对应的孔径进行线性或非线性拟合，所得拟合结果为第一图像中的网格纹的频率。
如图8所示，图8是本申请实施例提供的一种网格纹亮度变化示意图，在图8中，每个小方格属于一个像素点，也即是Aij，比如，A01表示第一个像素点，总共有67个像素点。黑色最深的像素点围成的闭合图像属于一个子区域，也即是一个导光区域。A34属于该子区域的中心，亮度最大，此时A34的亮度梯度最小。以A34为中心，向外扩张，直到黑色最深的像素点的亮度依次减小，因此，颜色依次由白变黑。以亮度最大的A34为中心沿A34-A04，A34-A31，A34-A64，A34-A37四个方向进行亮度梯度计算，计算四个方向边缘像素点(A04、A31、A64、A37)与中心像素点(A34)的距离均值作为任一子区域对应的孔径。
上述是基于第一图像中各个像素点的亮度，确定第一图像中的网格纹的频率。除此之外，第一图像中的网格纹的频率还可以基于深度学习模型确定，因此，在另一种可能实现的方式中，上述终端获取第一图像中的网格纹的频率的实现方式为：深度学习模型用于识别第一图像的网格纹的频率，此时，终端中的智能算法模块或者网格纹图像处理单元基于深度学习模型识别第一图像的网格纹的频率。
由于训练深度学习模型时，基于上述步骤402训练样本的一种实现方式中，每个训练样本包括第一图像的频谱图，此时，训练样本对应的标签包括该图像中网格纹的频率。因此，可以根据第一图像的频谱图，识别第一图像中网格纹的频率。此时，上述基于深度学习模型识别第一图像中网格纹的频率的实现方式为：终端将第一图像的频谱图输入至深度学习模型中，深度学习模型根据第一图像的频谱图，输出第一图像中网格纹的频率，输出的第一图像中网格纹的频率为深度学习模块识别的概率最大的频率。
在深度学习模型的基础上，上述根据第一图像的频谱图，识别第一图像中网格纹的频率的实现方式为：第一图像的网格纹有多种类型，第一图像的网格纹类别包括硬镜网格纹和软镜网格纹等，基于第一图像的网格纹类别，确定第一图像中网格纹的频率。其中，硬镜网格纹中导光区域与非导光区域的亮度差小于软镜网格纹中导光区域与非导光区域的亮度差，也即是，硬镜网格纹的网格纹亮度弱，软镜网格纹的网格纹亮度强。
由于频谱图具有如下特征，因此，深度学习模型可以预先基于频率图学习到频率的确定方式。频谱图可根据网格纹的类别分为硬镜网格纹频谱图和软镜网格纹频谱图。在硬镜网格纹频谱图中，频谱图显示为多个圆形，在多个高亮圆形中，频谱图中心的高亮圆心所在像素点的频率最低，此时，可以根据频谱图中的中心点和距离中心点最近的高亮同心圆之间的间距，确定图像中网格纹的频率。在软镜网格纹频谱图中，频谱图显示为多个高亮点，在多个高亮点中，频谱图中心高亮点频率最低，此时，可以根据频谱图中的中心点和距离中心点最近的若干个高亮点之间的间距，确定图像中网格纹的频率。总的来说，就是可以根据图像的频谱图的特征，确定第一图像中网格纹的频率。
上述根据图像的频谱图的特征，确定第一图像中网格纹的频率为：若第一图像的网格纹类别为硬镜网格纹，则将硬镜网格纹频谱图中的中心点和距离中心点最近的高亮同心圆之间的间距作为第一图像中的网格纹的频率。若第一图像的网格纹类别为软镜网格纹，则将软镜网格纹频谱图中的中心点和距离中心点最近的若干个高亮点之间的间距作为第一图像中的网格纹的频率。
如图9所示，图9是本申请实施例提供的一种网格纹频谱图。图9的左边为软镜网格纹频谱图，此时，将网格纹频谱图中的中心点和距离中心点最近的高亮同心圆之间的间距作为第一图像中的网格纹的频率。图9的右边为硬镜网格纹频谱图，此时，将网格纹频谱图中的中心点和距离中心点最近的6个高亮点之间的间距作为第一图像中的网格纹的频率。
上述介绍了基于第一图像中各个像素点的亮度、基于深度学习模型，确定第一图像中的网格纹的频率的两种方法。除此之外，第一图像中的网格纹的频率还可以基于第一图像的网格纹类别确定，因此，在另一种可能实现的方式中，上述终端获取第一图像中的网格纹的频率的实现方式为：深度学习模型还用于识别第一图像的网格纹类别，基于第一图像中的网格纹的类别，确定第一图像中的网格纹的频率。
基于深度学习模型识别第一图像的网格纹类别，此时，在训练深度学习模型时，训练样本对应的标签包括该图像中网格纹的类别。终端将第一图像输入至深度学习模型中，深度学习模型根据第一图像的像素值、第一图像的频谱图，输出第一图像中网格纹类别，输出的第一图像中网格纹类别为深度学习模块识别的概率最大的类别。
上述基于第一图像中的网格纹的类别，确定第一图像中的网格纹的频率的实现方式为：在第一图像的网格纹的类别为硬镜网格纹的情况下，将第一图像的频谱图中的中心点和距离中心点最近的高亮同心圆之间的间距作为第一图像中的网格纹的频率。在第一图像的网格纹的类别为软镜网格纹，将第一图像的频谱图中的中心点和距离中心点最近的若干个高亮点之间的间距作为第一图像中的网格纹的频率。
根据第一图像中的网格纹的类别，确定第一图像中的网格纹的频率可以使确定出来的网格纹的频率更准确，进而可以有效地对网格纹进行彻底剔除，并且不会剔除第一图像中其他有效区域，也不会出现网格纹剔除不干净的现象。
上述说明了确定第一图像中的网格纹的频率的三种实现方式，但上述确定第一图像中的网格纹的频率的两种实现方式仅仅是可选的实现方式，确定第一图像中的网格纹的频率还包括其他的实现方式。
因此，基于上述确定的第一图像中的网格纹的频率，本申请实施例提供的图像处理方法可以如图10所示，图10是本申请实施例提供的一种网格纹去除流程图。在图10中，第一图像经过图像预处理单元后，将第一图像输入至智能算法模块，智能算法模块识别第一图像是否存在摩尔纹，如前述所说，摩尔纹也可称为网格纹。若不存在摩尔纹，则不对第一图像进行网格纹剔除处理，直接输出第一图像。若存在摩尔纹，则智能算法模块识别第一图像中摩尔纹的类型，也即是，摩尔纹是硬镜网格纹还是软镜网格纹、或者其他类型的网格纹。识别完摩尔纹的类型后，继续识别第一图像中摩尔纹的频率，基于摩尔纹的频率利用网格纹去除单元对摩尔纹自适应的进行去除，也即是根据摩尔纹的频率，选择去除摩尔纹的方法。最后输出去除摩尔纹的第一图像。
在步骤403中，基于第一图像中的网格纹的特征信息，剔除第一图像中的网格纹，得到第二图像的实现方式为：基于第一图像中的网格纹的频率，剔除第一图像中的网格纹，得到第二图像。
上述基于第一图像中的网格纹的频率，剔除第一图像中的网格纹，得到第二图像的实现方式为：基于频率与滤波器参数之间的映射关系，确定第一图像中的网格纹的频率对应的滤波器参数，基于滤波器参数，构建滤波器，基于滤波器，对第一图像进行滤波，得到第二图像。
上述基于频率与滤波器参数之间的映射关系，确定第一图像中的网格纹的频率对应的滤波器参数的实现方式为：预先通过多项式拟合的方式建立第一图像中的网格纹的频率与滤波器参数之间的映射关系，根据映射关系确定第一图像中的网格纹的频率对应的滤波器参数。
需要说明的是，上述滤波器参数对应的滤波器可以为任意一种滤波器，包括均值滤波器，高斯滤波器，双边滤波器，导向滤波器等多种可行的滤波器，下述所出现的所有滤波器均可以为这些滤波器，下述不再对滤波器进行说明。在此以高斯滤波器为例进行说明。高斯滤波器与频率的映射关系式如下：
σgauss＝α1*f+α2*log(f)+…+αn*fm
其中，σgauss为映射关系中高斯滤波器参数，α1、α2、αn为第一图像中的网格纹的频率的系数，f、log(f)、fm为高斯滤波器对应的不同的频率拟合方法，频率拟合方式包括线性拟合，多项式拟合，指数拟合，对数拟合等多种拟合形式，本申请实施例不加以限定。
上述基于滤波器参数，构建滤波器的实现方式为：根据滤波器参数确定与该滤波器参数对应的滤波器。在此，可根据滤波器参数确定与该滤波器参数对应的一个或多个滤波器，当确定的滤波器为多个滤波器时，则多个滤波器的组合方式如下公式所示，在下述公式中，β1到βn表示不同滤波器的系数，也可称为不同滤波器的权重，filter为滤波器。其中，不同滤波器的权重可由人为确定。上述映射关系式中的高斯滤波器参数对应的高斯滤波器为下述公式中，filter1-filtern的一种滤波器。
filter＝β1*filter1+β2*filter2+…+βn*filtern
上述基于滤波器，对第一图像进行滤波，得到第二图像的实现方式为：基于上述构建的一个或多个滤波器，通过单级或级联的滤波器衰减第一图像中网格纹对应的频率高的像素点及该像素点的谐波分量。本专利中通过高斯滤波器对第一图像中的网格纹对应高频像素点进行衰减，进而实现对第一图像中的网格纹的剔除。
如图11所示，图11是本申请实施例提供的一种网格纹剔除概略流程图。在图11中，通过图像预处理单元对图像进行预处理后将第一图像输入至智能算法模块，智能算法模块识别第一图像是否存在摩尔纹，若存在摩尔纹，则继续是识别第一图像中的摩尔纹是否为摩尔纹的类别，若是软镜摩尔纹，则利用智能算法模块或者图像处理模块确定第一图像的频率，然后图像处理模块自适应的选择滤波器，利用滤波器对第一图像中摩尔纹进行剔除，最后输出剔除摩尔纹的第二图像。若是硬镜摩尔纹，则利用智能算法模块确定第一图像的频率，然后图像处理模块自适应的选择滤波器，利用滤波器对第一图像中摩尔纹进行剔除，最后输出剔除摩尔纹的第二图像。当然图11只是一种可能实现的方式，在此，不管是硬镜摩尔纹还是软镜摩尔纹都可以基于智能算法模块或者图像处理模块确定第一图像的频率。
如图12所示，图12是本申请实施例提供的一种基于频率的网格纹剔除流程图。在图12中，首先对第一图像进行有效区域检测，进而确定网格纹的频率，根据网格纹的频率，确定网格纹的频率对应的滤波参数，基于滤波器参数，构建滤波器，然后利用构建的滤波器，衰减第一图像中网格纹对应的频率高的像素点及该像素点的谐波分量进行滤波，得到第二图像，最后输出第二图像。
(2)第一图像中的网格纹的特征信息包括第一图像中的网格纹的位置信息。
在一种可能实现的方式中，深度学习模型用于识别第一图像中的网格纹的位置信息，此时，终端获取第一图像中的网格纹的位置信息，基于第一图像中的网格纹的位置信息，剔除第一图像中的网格纹，得到第二图像。
上述终端获取第一图像中的网格纹的位置信息的实现方式为：深度学习模型用于识别第一图像中的网格纹的位置信息，此时，构建深度学习模型的每个训练样本对应的标签包括第一图像中的网格纹的位置信息。因此，将第一图像输入至深度学习模型中，深度学习模型根据第一图像的像素值、或者第一图像的频谱图，输出第一图像中的网格纹的位置信息，输出的位置信息为深度学习模型得到的网格纹概率最大的位置信息。
上述基于第一图像中的网格纹的位置信息，剔除第一图像中的网格纹，得到第二图像的实现方式为：根据第一图像中的网格纹的位置信息，找到与位置信息对应的像素点，此时，与位置信息对应的像素点为是网格纹所在的像素点，将位置信息对应的像素点剔除掉，得到第二图像。
上述根据第一图像中的网格纹的位置信息直接将网格纹所在像素点剔除掉，导致像素点丢失，可能会使得到的第二图像画质不清晰，为了避免第二图像画质不清晰的问题，因此，在另一种可能实现的方式中，深度学习模型用于识别第一图像的概率分布图，其中，第一图像的概率分布图指示第一图像中各个像素点导光的概率。此时，终端基于深度学习模型获取第一图像的概率分布图。基于第一图像的概率分布图，对第一图像中的各个像素点进行滤波等处理，使得第一图像中的网格纹亮度增强。将第一图像中的网格纹的亮度增强，使网格纹不再显示成黑色，黑色网格纹消失，此时，也就相当于将黑色网格纹剔掉，从而得到第二图像。
上述终端获取第一图像的概率分布图的实现方式为：深度学习模型可以识别出第一图像的概率分布图，此时，在对深度学习模型进行训练的时候，训练样本对应的标签指示图像中的各个像素点的亮度。将第一图像输入至深度学习模型中，深度学习模型根据第一图像的像素值、频谱图等输出第一图像的概率分布图。在第一图像的概率分布图中，导光区域中心点导光概率最大，由中心向四周概率依次递减，且非导光区域中心点导光的概率最小。基于网格纹的位置分布概率图，对网格纹进行插值，低通滤波等处理，得到第二图像。
如图13所示，图13是本申请实施例提供的一种图像亮度分布与概率分布示意图。在图13中，图13的左边为图像亮度分布图，该图展示的是第一图像中导光区域的亮度分布图，此时，A14为导光区域中亮度最大的像素点，位于导光区域的中心点。图13的右边为图像的概率分布图，该图展示的是第一图像中导光区域的位置分布概率图，P34表示导光区域中导光概率最大像素点，由中心向四周概率依次递减。图像的概率分布图中将黑色像素点连接的区域为导光区域的边缘位置。
在此以低通滤波处理为例进行说明，上述对第一图像中的各个像素点进行低通滤波处理的实现方式为：预先设置滤波半径，滤波半径的大小需满足至少覆盖1个网格纹导光区域中心像素点。基于概率分布图进行滤波核的确定，满足概率越大，则滤波核对应的权重越大。在此可将像素点的导光的概率作为滤波核对应的权重。基于滤波核中对应的权重和滤波半径，利用第一图像中各个像素点的概率和第一图像中各个像素点的亮度，对第一图像中的各个像素点进行滤波等处理，使得第一图像中的网格纹亮度增强，使网格纹不再显示成黑色，黑色网格纹消失，此时，也就相当于将黑色网格纹剔掉，从而得到第二图像。
下述公式为表示如何对网格纹进行低通滤波处理，在下述公式中，I′(x,y)为低通滤波处理后第一图像中各个像素点的亮度，I(x,y)为低通滤波处理前第一图像中各个像素点的亮度，P(x,y)表示各个像素点的概率，将每个像素点的亮度与每个像素点对应的位置概率相乘，将滤波半径内的每个像素点得到的乘积进行求和，然后除去滤波半径内所有像素点对应的位置概率的总和，即可得到低通滤波处理后第一图像中各个像素点的亮度。该亮度为网格纹亮度增强后的亮度。
Figure BDA0002929859570000251
此外，在上述对网格纹进行滤波处理之后，终端还需要通过一个或者多个级联的滤波器对网格纹亮度增强后得到的第二图像进行低通滤波处理，保证第二图像的平滑性。
如图14所示，图14是本申请实施例提供的一种基于位置信息的网格纹亮度增强流程图。在图14中，向终端输入第一图像，智能算法模块基于深度学习模块识别第一图像是否有摩尔纹，在有摩尔纹的情况下，智能算法模块进行摩尔纹分布信息检测，确定第一图像中各个像素点的导光概率以及第一图像中的各个像素点的亮度，对第一图像进行滤波处理，将对网格纹亮度增强，得到第二图像。将第二图像进行低通滤波处理，保证剔除摩尔纹后的第二图像的平滑性，最后输出第二图像。
此外，在得到第二图像之后，还需利用图像处理模块中的图像后处理单元对第二图像进行锐化，对比度增强等处理，进而编码单元对第二图像进行编码，将编码后的第二图像发送给显示单元进行显示，在医疗领域中，以便于医生进行观察获取的第二图像。
综上所述，在本申请实施例中，通过深度学习模型确定第一图像中是否有网格纹，然后基于第一图像中的网格纹的特征信息，对第一图像的网格纹进行剔除。由于深度学习模型具有很强的学习能力，可以模仿人的大脑，因此深度学习模型可以提高图像处理系统的智能化水平，不需要人为去识别第一图像中是否有网格纹，加快了识别图像中网格纹的速度，提高了图像处理的效率。其次，由于特征信息指示网格纹的像素值变化特征或分布特征，网格纹的像素值变化特征或分布特征可以直接反映出图像中哪些部分是网格纹，进而有效且全面将网格纹进行剔除。比如，当特征信息指示网格纹的像素值变化特征时，根据网格纹的像素值变化特征剔除网格纹即可。当特征信息指示网格纹分布特征时，直接根据网格纹分布特征剔除网格纹即可。因此，根据特征信息可以将第一图像中的网格纹全部反映出来，进而可以有效地对网格纹进行彻底剔除，不会剔除第一图像中其他有效区域，也不会出现网格纹剔除不干净的现象。并且，在整个图像处理过程中，不需要人工参与，图像处理系统可以全自动化的剔除第一图像的网格纹，进而可以提高整个图像处理的速度与准确性。
上述所有可选技术方案，均可按照任意结合形成本申请的可选实施例，本申请实施例对此不再一一赘述。
图15是本申请实施例提供的一种图像处理装置的结构示意图，该图像处理装置可以由软件、硬件或者两者的结合实现。该图像处理装置1500包括：获取模块1501，识别模块1502，剔除模块1503。
获取模块，用于获取第一图像，第一图像为基于纤维镜采集的图像确定的，纤维镜包括多个光纤和图像传感器，多个光纤用于将拍摄点反射的光传输至图像传感器，由图像传感器采集图像；
识别模块，用于基于深度学习模型，识别第一图像中是否存在网格纹；
剔除模块，用于在第一图像中存在网格纹的情况下，基于第一图像中的网格纹的特征信息，剔除第一图像中的网格纹，得到第二图像，特征信息指示网格纹的像素值变化特征或分布特征。
可选地，第一图像中的网格纹的特征信息包括第一图像中的网格纹的频率，频率指示第一图像中的网格纹的变化特征；
该装置还包括：
确定模块，用于基于第一图像中各个像素点的亮度，确定第一图像的有效区域；
确定模块，还用于基于有效区域中各个像素点的亮度变化情况，确定第一图像中的网格纹的频率。
可选地，确定模块包括：
第一确定单元，用于对第一图像进行低通滤波处理，得到第一图像中的对应的增亮图像；
第二确定单元，用于将第一图像中对应的增亮图像中亮度超过第一亮度阈值的像素点、或者低于第二亮度阈值的像素点进行剔除，得到第一图像中的备选有效区域，第一亮度阈值大于第二亮度阈值；
第一剔除单元，用于基于备选有效区域中像素点的亮度均值，剔除备选有效区域中亮度低于所述亮度均值的像素点，得到第一图像的有效区域。
可选地，导光区域为多个，有效区域包括多个子区域，多个子区域和多个导光区域分别对应；
确定模块还包括：
第三确定单元，用于对于多个子区域中任一区域，确定任一子区域中各个像素点的亮度梯度，任一子区域中各个像素点的亮度梯度确定任一子区域的边缘，将任一子区域的边缘和任一子区域的中心之间的距离作为任一子区域对应的孔径；
第四确定单元，用于基于多个子区域中至少一个子区域各自对应的孔径，确定第一图像中的网格纹的频率。
可选地，第一图像中的网格纹的特征信息包括第一图像中的网格纹的频率，频率指示第一图像中的网格纹的变化特征，深度学习模型还用于识别第一图像的网格纹的类别，类别指示第一图像的网格纹为硬镜网格纹或软镜网格纹；
该装置还包括：
确定模块，还用于基于第一图像中的网格纹的类别，确定第一图像中的网格纹的频率；
其中，在第一图像的网格纹的类别为硬镜网格纹的情况下，将第一图像的频谱图中的中心点和距离所述中心点最近的高亮同心圆之间的间距作为第一图像中的网格纹的频率，在第一图像的网格纹类别为软镜网格纹的情况下，将第一图像的频谱图中的中心点和距离中心点最近的若干个高亮点之间的间距作为第一图像中的网格纹的频率。
可选地，第一图像中的网格纹的特征信息包括第一图像中的网格纹的频率，频率指示第一图像中的网格纹的变化特征，深度学习模型还用于识别第一图像的网格纹的频率。
可选地，剔除模块，用于基于频率与滤波器参数之间的映射关系，确定第一图像中的网格纹的频率对应的滤波参数；基于滤波器参数，构建滤波器；基于滤波器，对第一图像进行滤波，得到第二图像。
可选地，第一图像中的网格纹的特征信息包括第一图像中的网格纹的位置信息，深度学习模型还用于识别第一图像中的网格纹的位置信息；
剔除模块，用于基于第一图像中的网格纹的位置信息，剔除第一图像中的网格纹。
综上所述，在本申请实施例中，通过深度学习模型确定第一图像中是否有网格纹，然后基于第一图像中的网格纹的特征信息，对第一图像的网格纹进行剔除。由于深度学习模型具有很强的学习能力，可以模仿人的大脑，因此深度学习模型可以提高图像处理系统的智能化水平，不需要人为去识别第一图像中是否有网格纹，加快了识别图像中网格纹的速度，提高了图像处理的效率。其次，由于特征信息指示网格纹的像素值变化特征或分布特征，网格纹的像素值变化特征或分布特征可以直接反映出图像中哪些部分是网格纹，进而有效且全面将网格纹进行剔除。比如，当特征信息指示网格纹的像素值变化特征时，根据网格纹的像素值变化特征剔除网格纹即可。当特征信息指示网格纹分布特征时，直接根据网格纹分布特征剔除网格纹即可。因此，根据特征信息可以将第一图像中的网格纹全部反映出来，进而可以有效地对网格纹进行彻底剔除，不会剔除第一图像中其他有效区域，也不会出现网格纹剔除不干净的现象。并且，在整个图像处理过程中，不需要人工参与，图像处理系统可以全自动化的剔除第一图像的网格纹，进而可以提高整个图像处理的速度与准确性。
图16是本申请实施例提供的一种终端1600的结构框图。该终端1600可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1600包括有：处理器1601和存储器1602。
处理器1601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1601可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1601所执行以实现本申请中方法实施例提供的图像处理方法。
在一些实施例中，终端1600还可选包括有：外围设备接口1603和至少一个外围设备。处理器1601、存储器1602和外围设备接口1603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1603相连。具体地，外围设备包括：射频电路1604、显示屏1605、摄像头组件1606、音频电路1607、定位组件1608和电源1609中的至少一种。
外围设备接口1603可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1601和存储器1602。在一些实施例中，处理器1601、存储器1602和外围设备接口1603被集成在同一芯片或电路板上；在一些其他实施例中，处理器1601、存储器1602和外围设备接口1603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1604包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1605用于显示UI(UserInterface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1605是触摸显示屏时，显示屏1605还具有采集在显示屏1605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1601进行处理。此时，显示屏1605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1605可以为一个，设置终端1600的前面板；在另一些实施例中，显示屏1605可以为至少两个，分别设置在终端1600的不同表面或呈折叠设计；在另一些实施例中，显示屏1605可以是柔性显示屏，设置在终端1600的弯曲表面上或折叠面上。甚至，显示屏1605还可以设置成非矩形的不规则图形，也即异形屏。显示屏1605可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1606用于采集图像或视频。可选地，摄像头组件1606包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1601进行处理，或者输入至射频电路1604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1601或射频电路1604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1607还可以包括耳机插孔。
定位组件1608用于定位终端1600的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1608可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1609用于为终端1600中的各个组件进行供电。电源1609可以是交流电、直流电、一次性电池或可充电电池。当电源1609包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端1600还包括有一个或多个传感器1610。该一个或多个传感器1610包括但不限于：加速度传感器1611、陀螺仪传感器1612、压力传感器1613、指纹传感器1614、光学传感器1615以及接近传感器1616。
加速度传感器1611可以检测以终端1600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1611可以用于检测重力加速度在三个坐标轴上的分量。处理器1601可以根据加速度传感器1611采集的重力加速度信号，控制显示屏1605以横向视图或纵向视图进行用户界面的显示。加速度传感器1611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1612可以检测终端1600的机体方向及转动角度，陀螺仪传感器1612可以与加速度传感器1611协同采集用户对终端1600的3D动作。处理器1601根据陀螺仪传感器1612采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1613可以设置在终端1600的侧边框和/或显示屏1605的下层。当压力传感器1613设置在终端1600的侧边框时，可以检测用户对终端1600的握持信号，由处理器1601根据压力传感器1613采集的握持信号进行左右手识别或快捷操作。当压力传感器1613设置在显示屏1605的下层时，由处理器1601根据用户对显示屏1605的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1614用于采集用户的指纹，由处理器1601根据指纹传感器1614采集到的指纹识别用户的身份，或者，由指纹传感器1614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1601授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1614可以被设置终端1600的正面、背面或侧面。当终端1600上设置有物理按键或厂商Logo时，指纹传感器1614可以与物理按键或厂商Logo集成在一起。
光学传感器1615用于采集环境光强度。在一个实施例中，处理器1601可以根据光学传感器1615采集的环境光强度，控制显示屏1605的显示亮度。具体地，当环境光强度较高时，调高显示屏1605的显示亮度；当环境光强度较低时，调低显示屏1605的显示亮度。在另一个实施例中，处理器1601还可以根据光学传感器1615采集的环境光强度，动态调整摄像头组件1606的拍摄参数。
接近传感器1616，也称距离传感器，通常设置在终端1600的前面板。接近传感器1616用于采集用户与终端1600的正面之间的距离。在一个实施例中，当接近传感器1616检测到用户与终端1600的正面之间的距离逐渐变小时，由处理器1601控制显示屏1605从亮屏状态切换为息屏状态；当接近传感器1616检测到用户与终端1600的正面之间的距离逐渐变大时，由处理器1601控制显示屏1605从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图16中示出的结构并不构成对终端1600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行上实施例提供的图像处理方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在终端上运行时，使得终端执行上述实施例提供的图像处理方法。
图17是本申请实施例提供的一种服务器结构示意图。该服务器可以是后台服务器集群中的服务器。具体来讲：
服务器1700包括中央处理单元(CPU)1701、包括随机存取存储器(RAM)1702和只读存储器(ROM)1703的系统存储器1704，以及连接系统存储器1704和中央处理单元1701的系统总线1705。服务器1700还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1706，和用于存储操作系统1713、应用程序1714和其他程序模块1715的大容量存储设备1707。
基本输入/输出系统1706包括有用于显示信息的显示器1708和用于用户输入信息的诸如鼠标、键盘之类的输入设备1709。其中显示器1708和输入设备1709都通过连接到系统总线1705的输入输出控制器1710连接到中央处理单元1701。基本输入/输出系统1706还可以包括输入输出控制器1710以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1710还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备1707通过连接到系统总线1705的大容量存储控制器(未示出)连接到中央处理单元1701。大容量存储设备1707及其相关联的计算机可读介质为服务器1700提供非易失性存储。也就是说，大容量存储设备1707可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1704和大容量存储设备1707可以统称为存储器。
根据本申请的各种实施例，服务器1700还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1700可以通过连接在系统总线1705上的网络接口单元1711连接到网络1712，或者说，也可以使用网络接口单元1711来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。所述一个或者一个以上程序包含用于进行本申请实施例提供的图像处理方法的指令。
本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由服务器的处理器执行时，使得服务器能够执行上述实施例提供的图像处理方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在服务器上运行时，使得服务器执行上述实施例提供的图像处理方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请实施例的较佳实施例，并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (18)

1.一种图像处理方法，其特征在于，所述方法包括：
获取第一图像，所述第一图像为基于纤维镜采集的图像确定的，所述纤维镜包括多个光纤和图像传感器，所述多个光纤用于将拍摄点反射的光传输至所述图像传感器，由所述图像传感器采集图像；
基于深度学习模型，识别所述第一图像中是否存在网格纹；
在所述第一图像中存在网格纹的情况下，基于所述第一图像中的网格纹的特征信息，剔除所述第一图像中的网格纹，得到第二图像，所述特征信息指示所述网格纹的像素值变化特征或分布特征。
2.如权利要求1所述的方法，其特征在于，所述第一图像中的网格纹的特征信息包括所述第一图像中的网格纹的频率，所述频率指示所述第一图像中的网格纹的变化特征；
所述基于所述第一图像中的网格纹的特征信息，剔除所述第一图像中的网格纹，得到第二图像之前，所述方法还包括：
基于所述第一图像中各个像素点的亮度，确定所述第一图像的有效区域；
基于所述有效区域中各个像素点的亮度变化情况，确定所述第一图像中的网格纹的频率。
3.如权利要求2所述的方法，其特征在于，所述基于所述第一图像中各个像素点的亮度，确定所述第一图像的有效区域，包括：
对所述第一图像进行低通滤波处理，得到所述第一图像对应的增亮图像；
将所述第一图像对应的增亮图像中亮度超过第一亮度阈值的像素点、或者低于第二亮度阈值的像素点进行剔除，得到所述第一图像中的备选有效区域，所述第一亮度阈值大于所述第二亮度阈值；
基于所述备选有效区域中像素点的亮度均值，剔除所述备选有效区域中亮度低于所述亮度均值的像素点，得到所述第一图像的有效区域。
4.如权利要求2所述的方法，其特征在于，所述有效区域包括多个子区域，所述多个子区域和多个导光区域分别对应；
所述基于所述有效区域中各个像素点的亮度变化情况，确定所述第一图像中的网格纹的频率，包括：
对于所述多个子区域中任一区域，确定所述任一子区域中各个像素点的亮度梯度，所述任一子区域中各个像素点的亮度梯度确定所述任一子区域的边缘，将所述任一子区域的边缘和所述任一子区域的中心之间的距离作为所述任一子区域对应的孔径；
基于所述多个子区域中至少一个子区域各自对应的孔径，确定所述第一图像中的网格纹的频率。
5.如权利要求1所述的方法，其特征在于，所述第一图像中的网格纹的特征信息包括所述第一图像中的网格纹的频率，所述频率指示所述第一图像中的网格纹的变化特征，所述深度学习模型还用于识别所述第一图像的网格纹的类别，所述类别指示所述第一图像的网格纹为硬镜网格纹或软镜网格纹；
所述基于所述第一图像中的网格纹的特征信息，剔除所述第一图像中的网格纹，得到第二图像之前，所述方法还包括：
基于所述第一图像中的网格纹的类别，确定所述第一图像中的网格纹的频率；
其中，在所述第一图像的网格纹的类别为硬镜网格纹的情况下，将所述第一图像的频谱图中的中心点和距离所述中心点最近的高亮同心圆之间的间距作为所述第一图像中的网格纹的频率，在所述第一图像的网格纹类别为软镜网格纹的情况下，将所述第一图像的频谱图中的中心点和距离所述中心点最近的若干个高亮点之间的间距作为所述第一图像中的网格纹的频率。
6.如权利要求1所述的方法，其特征在于，所述第一图像中的网格纹的特征信息包括所述第一图像中的网格纹的频率，所述频率指示所述第一图像中的网格纹的变化特征，所述深度学习模型还用于识别所述第一图像的网格纹的频率。
7.如权利要求2至6任一所述的方法，其特征在于，所述基于所述第一图像中的网格纹的特征信息，剔除所述第一图像中的网格纹，得到第二图像，包括：
基于频率与滤波器参数之间的映射关系，确定所述第一图像中的网格纹的频率对应的滤波器参数；
基于所述滤波器参数，构建滤波器；
基于所述滤波器，对所述第一图像进行滤波，得到所述第二图像。
8.如权利要求1所述的方法，其特征在于，所述第一图像中的网格纹的特征信息包括所述第一图像中的网格纹的位置信息，所述深度学习模型还用于识别所述第一图像中的网格纹的位置信息；
所述基于所述第一图像中的网格纹的特征信息，剔除所述第一图像中的网格纹，得到第二图像，包括：
基于所述第一图像中的网格纹的位置信息，剔除所述第一图像中的网格纹。
9.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取第一图像，所述第一图像为基于纤维镜采集的图像确定的，所述纤维镜包括多个光纤和图像传感器，所述多个光纤用于将拍摄点反射的光传输至所述图像传感器，由所述图像传感器采集图像；
识别模块，用于基于深度学习模型，识别所述第一图像中是否存在网格纹；
剔除模块，用于在所述第一图像中存在网格纹的情况下，基于所述第一图像中的网格纹的特征信息，剔除所述第一图像中的网格纹，得到第二图像，所述特征信息指示所述网格纹的像素值变化特征或分布特征。
10.如权利要求9所述的装置，其特征在于，所述第一图像中的网格纹的特征信息包括所述第一图像中的网格纹的频率，所述频率指示所述第一图像中的网格纹的变化特征；
所述装置还包括：
确定模块，用于基于所述第一图像中各个像素点的亮度，确定所述第一图像的有效区域；
所述确定模块，还用于基于所述有效区域中各个像素点的亮度变化情况，确定所述第一图像中的网格纹的频率。
11.如权利要求10所述的装置，其特征在于，所述确定模块包括：
第一确定单元，用于对所述第一图像进行低通滤波处理，得到所述第一图像对应的增亮图像；
第二确定单元，用于将所述第一图像中对应的增亮图像中亮度超过第一亮度阈值的像素点、或者低于第二亮度阈值的像素点进行剔除，得到所述第一图像中的备选有效区域，所述第一亮度阈值大于所述第二亮度阈值；
第一剔除单元，用于基于所述备选有效区域中像素点的亮度均值，剔除所述备选有效区域中亮度低于所述亮度均值的像素点，得到所述第一图像的有效区域。
12.如权利要求10所述的装置，其特征在于，所述有效区域包括多个子区域，所述多个子区域和多个导光区域分别对应；
所述确定模块还包括：
第三确定单元，用于对于所述多个子区域中任一区域，确定所述任一子区域中各个像素点的亮度梯度，所述任一子区域中各个像素点的亮度梯度确定所述任一子区域的边缘，将所述任一子区域的边缘和所述任一子区域的中心之间的距离作为所述任一子区域对应的孔径；
第四确定单元，用于基于所述多个子区域中至少一个子区域各自对应的孔径，确定所述第一图像中的网格纹的频率。
13.如权利要求9所述的装置，其特征在于，所述第一图像中的网格纹的特征信息包括所述第一图像中的网格纹的频率，所述频率指示所述第一图像中的网格纹的变化特征，所述深度学习模型还用于识别所述第一图像的网格纹的类别，所述类别指示所述第一图像的网格纹为硬镜网格纹或软镜网格纹；
所述装置还包括：
所述确定模块，还用于基于所述第一图像中的网格纹的类别，确定所述第一图像中的网格纹的频率；
其中，在所述第一图像的网格纹的类别为硬镜网格纹的情况下，将所述第一图像的频谱图中的中心点和距离所述中心点最近的高亮同心圆之间的间距作为所述第一图像中的网格纹的频率，在所述第一图像的网格纹类别为软镜网格纹的情况下，将所述第一图像的频谱图中的中心点和距离所述中心点最近的若干个高亮点之间的间距作为所述第一图像中的网格纹的频率。
14.如权利要求9所述的装置，其特征在于，所述第一图像中的网格纹的特征信息包括所述第一图像中的网格纹的频率，所述频率指示所述第一图像中的网格纹的变化特征，所述深度学习模型还用于识别所述第一图像的网格纹的频率。
15.如权利要求9至14任一所述的装置，其特征在于，所述剔除模块，用于基于频率与滤波器参数之间的映射关系，确定所述第一图像中的网格纹的频率对应的滤波参数；基于所述滤波器参数，构建滤波器；基于所述滤波器，对所述第一图像进行滤波，得到所述第二图像。
16.如权利要求9所述的装置，其特征在于，所述第一图像中的网格纹的特征信息包括所述第一图像中的网格纹的位置信息，所述深度学习模型还用于识别所述第一图像中的网格纹的位置信息；
所述剔除模块，还用于基于所述第一图像中的网格纹的位置信息，剔除所述第一图像中的网格纹。
17.一种计算机装置，其特征在于，所述装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述权利要求1至权利要求9中的任一项权利要求所述的方法的步骤。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述权利要求1至权利要求9中的任一项权利要求所述的方法的步骤。
CN202110145352.6A 2021-02-02 2021-02-02 图像处理方法、装置及计算机存储介质 Active CN112884666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110145352.6A CN112884666B (zh) 2021-02-02 2021-02-02 图像处理方法、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110145352.6A CN112884666B (zh) 2021-02-02 2021-02-02 图像处理方法、装置及计算机存储介质

Publications (2)

Publication Number Publication Date
CN112884666A true CN112884666A (zh) 2021-06-01
CN112884666B CN112884666B (zh) 2024-03-19

Family

ID=76055973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110145352.6A Active CN112884666B (zh) 2021-02-02 2021-02-02 图像处理方法、装置及计算机存储介质

Country Status (1)

Country Link
CN (1) CN112884666B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743274A (zh) * 2022-06-09 2022-07-12 深圳市纬亚森科技有限公司 基于物联网的多媒体远程教学管理系统及方法
CN115661122A (zh) * 2022-11-14 2023-01-31 南京图格医疗科技有限公司 一种图像网格纹去除方法及系统
CN117314798A (zh) * 2023-11-29 2023-12-29 国药新光医疗科技有限公司 一种去除纤维镜图像网格的方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090237498A1 (en) * 2008-03-20 2009-09-24 Modell Mark D System and methods for the improvement of images generated by fiberoptic imaging bundles
US20120197079A1 (en) * 2011-01-31 2012-08-02 Olympus Corporation Control device, endoscope apparatus, aperture control method, and information storage medium
KR101194038B1 (ko) * 2012-04-09 2012-10-24 곽영우 광학 내시경 영상의 격자 제거 시스템
CN108230269A (zh) * 2017-12-28 2018-06-29 北京智慧眼科技股份有限公司 基于深度残差网络的去网格方法、装置、设备及存储介质
CN108389215A (zh) * 2018-03-15 2018-08-10 京东方科技集团股份有限公司 一种边缘检测方法、装置、计算机存储介质及终端
CN110490856A (zh) * 2019-05-06 2019-11-22 腾讯医疗健康(深圳)有限公司 医疗内窥镜图像的处理方法、系统、机器设备和介质
CN110772208A (zh) * 2019-10-31 2020-02-11 深圳开立生物医疗科技股份有限公司 一种获取荧光图像的方法、装置、设备及内窥镜系统
CN111476737A (zh) * 2020-04-15 2020-07-31 腾讯科技（深圳）有限公司 一种图像处理方法、智能设备及计算机可读存储介质
CN111513660A (zh) * 2020-04-28 2020-08-11 深圳开立生物医疗科技股份有限公司 一种应用于内窥镜的图像处理方法、装置及相关设备
CN112233614A (zh) * 2020-11-03 2021-01-15 卡莱特（深圳）云科技有限公司 图像摩尔纹消除方法、装置及led显示屏校正方法
CN112288785A (zh) * 2020-10-29 2021-01-29 中国科学院长春光学精密机械与物理研究所 子孔径扫描平场定标的数据处理方法、系统和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090237498A1 (en) * 2008-03-20 2009-09-24 Modell Mark D System and methods for the improvement of images generated by fiberoptic imaging bundles
US20120197079A1 (en) * 2011-01-31 2012-08-02 Olympus Corporation Control device, endoscope apparatus, aperture control method, and information storage medium
KR101194038B1 (ko) * 2012-04-09 2012-10-24 곽영우 광학 내시경 영상의 격자 제거 시스템
CN108230269A (zh) * 2017-12-28 2018-06-29 北京智慧眼科技股份有限公司 基于深度残差网络的去网格方法、装置、设备及存储介质
CN108389215A (zh) * 2018-03-15 2018-08-10 京东方科技集团股份有限公司 一种边缘检测方法、装置、计算机存储介质及终端
CN110490856A (zh) * 2019-05-06 2019-11-22 腾讯医疗健康(深圳)有限公司 医疗内窥镜图像的处理方法、系统、机器设备和介质
CN110772208A (zh) * 2019-10-31 2020-02-11 深圳开立生物医疗科技股份有限公司 一种获取荧光图像的方法、装置、设备及内窥镜系统
CN111476737A (zh) * 2020-04-15 2020-07-31 腾讯科技（深圳）有限公司 一种图像处理方法、智能设备及计算机可读存储介质
CN111513660A (zh) * 2020-04-28 2020-08-11 深圳开立生物医疗科技股份有限公司 一种应用于内窥镜的图像处理方法、装置及相关设备
CN112288785A (zh) * 2020-10-29 2021-01-29 中国科学院长春光学精密机械与物理研究所 子孔径扫描平场定标的数据处理方法、系统和存储介质
CN112233614A (zh) * 2020-11-03 2021-01-15 卡莱特（深圳）云科技有限公司 图像摩尔纹消除方法、装置及led显示屏校正方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘云韬: ""基于工业内窥镜的深孔内表面缺陷与粗糙度识别技术研究"", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅰ辑)》, vol. 2021, no. 1, pages 022 - 1353 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743274A (zh) * 2022-06-09 2022-07-12 深圳市纬亚森科技有限公司 基于物联网的多媒体远程教学管理系统及方法
CN114743274B (zh) * 2022-06-09 2022-09-09 深圳市纬亚森科技有限公司 基于物联网的多媒体远程教学管理系统及方法
CN115661122A (zh) * 2022-11-14 2023-01-31 南京图格医疗科技有限公司 一种图像网格纹去除方法及系统
CN115661122B (zh) * 2022-11-14 2024-01-12 南京图格医疗科技有限公司 一种图像网格纹去除方法及系统
CN117314798A (zh) * 2023-11-29 2023-12-29 国药新光医疗科技有限公司 一种去除纤维镜图像网格的方法
CN117314798B (zh) * 2023-11-29 2024-05-03 国药新光医疗科技有限公司 一种去除纤维镜图像网格的方法

Also Published As

Publication number Publication date
CN112884666B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN112884666B (zh) 图像处理方法、装置及计算机存储介质
CN108594997B (zh) 手势骨架构建方法、装置、设备及存储介质
CN110210571B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN112215802B (zh) 一种皮肤检测方法和电子设备
CN109272459A (zh) 图像处理方法、装置、存储介质及电子设备
CN109447973A (zh) 一种结肠息肉图像的处理方法和装置及系统
US7634305B2 (en) Method and apparatus for size analysis in an in vivo imaging system
CN111091576A (zh) 图像分割方法、装置、设备及存储介质
CN111079576A (zh) 活体检测方法、装置、设备及存储介质
CN110992327A (zh) 镜头脏污状态的检测方法、装置、终端及存储介质
CN114693593A (zh) 图像处理方法、装置、及计算机装置
CN110211086B (zh) 图像分割方法、装置及存储介质
CN110738655A (zh) 影像报告生成方法、装置、终端及存储介质
CN113496475B (zh) 内窥镜摄像系统中的成像方法、装置及计算机设备
WO2020015149A1 (zh) 一种皱纹检测方法及电子设备
CN113711123B (zh) 一种对焦方法、装置及电子设备
CN110675473A (zh) 生成gif动态图的方法、装置、电子设备及介质
CN111415308B (zh) 一种超声图像处理方法和通信终端
CN111416936B (zh) 图像处理方法、装置、电子设备及存储介质
JP2022548453A (ja) 画像分割方法及び装置、電子デバイス並びに記憶媒体
CN111050211B (zh) 视频处理方法、装置及存储介质
CN108304841B (zh) 乳头定位方法、装置及存储介质
CN114757866A (zh) 清晰度检测方法、装置及计算机存储介质
CN115601316A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113709353B (zh) 图像采集方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant