CN111711750A - 基于人工智能的图像处理方法、装置、设备及介质 - Google Patents

基于人工智能的图像处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN111711750A
CN111711750A CN202010508058.2A CN202010508058A CN111711750A CN 111711750 A CN111711750 A CN 111711750A CN 202010508058 A CN202010508058 A CN 202010508058A CN 111711750 A CN111711750 A CN 111711750A
Authority
CN
China
Prior art keywords
image processing
pinhole
processing model
detector
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010508058.2A
Other languages
English (en)
Other versions
CN111711750B (zh
Inventor
廖俊
姚建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010508058.2A priority Critical patent/CN111711750B/zh
Publication of CN111711750A publication Critical patent/CN111711750A/zh
Priority to EP21817274.0A priority patent/EP4030750A4/en
Priority to PCT/CN2021/092071 priority patent/WO2021244213A1/zh
Priority to US17/732,379 priority patent/US20220253984A1/en
Application granted granted Critical
Publication of CN111711750B publication Critical patent/CN111711750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image

Abstract

本申请提供了一种基于人工智能的图像处理方法、装置、设备及介质，属于光学技术领域。所述方法包括：确定共聚焦显微镜处于使用状态的第一探测器针孔的针孔直径；获取所述第一探测器针孔的针孔直径对应的目标图像处理模型，所述目标图像处理模型用于提高图像的分辨率和信噪比中受到所确定的针孔直径影响而降低的参数；调用所述目标图像处理模型对所述共聚焦显微镜采集的共聚焦显微图像进行处理，得到目标图像。上述技术方案，可以针对处于使用状态的探测器针孔的目标针孔直径，选择对应的目标图像处理模型，来对共聚焦显微图像进行分辨率或者信噪比的提高，从而得到的共聚焦显微图像的分辨率和信噪比均有所提高，能够更准确的反映样本的细节。

Description

基于人工智能的图像处理方法、装置、设备及介质
技术领域
本申请涉及光学技术领域，特别涉及一种基于人工智能的图像处理方法、装置、设备及介质。
背景技术
共聚焦显微成像技术，是一种利用逐点扫描照明并伴随空间针孔滤波去除样品检点平面外散射光的光学成像技术。相比于传统成像方法，可以提高光学分辨率和视觉对比度。共聚焦显微镜主要包括：共聚焦激光扫描显微镜、转盘共聚焦以及可编程序阵列显微镜等类型。
在结构上，共聚焦显微镜在普通宽场显微镜的基础上增加了光源针孔和探测器针孔这一对共轭针孔。在工作过程中，共聚焦显微镜一次仅照亮样本中的一个点，并通过探测器针孔消除焦面以外的光的干扰。该共聚焦显微镜通过x,y,z三轴方向上的逐点扫描，可以实现比普通宽场荧光显微镜更高的分辨率和优秀的层析能力。
由于探测器针孔越大，探测器进光量越大，则共聚焦显微镜采集到的共聚焦显微图像的信噪比越高。但是其消除焦面以外样本发出的荧光信号的能力就越差，从而导致共聚焦显微图像的分辨率降低。反之，探测器针孔越小，则共聚焦显微镜消除焦面以外样本发出的荧光信号的能力就越强，但是进光量会显著降低，从而降低共聚焦显微图像的信噪比。上述问题，会导致共聚焦显微镜采集到的共聚焦显微图像的分辨率和信噪比中的一个较低，从而无法准确反映样本的细节。
发明内容
本申请实施例提供了一种基于人工智能的图像处理方法、装置、设备及介质，可以使得共聚焦显微图像的分辨率和信噪比均有所提高，能够更准确的反映样本的细节。所述技术方案如下：
一方面，提供了一种基于人工智能的图像处理方法，所述方法包括：
确定共聚焦显微镜处于使用状态的第一探测器针孔的针孔直径；
获取所述第一探测器针孔的针孔直径对应的目标图像处理模型，所述目标图像处理模型用于提高图像的分辨率和信噪比中受到所确定的针孔直径影响而降低的参数；
调用所述目标图像处理模型对所述共聚焦显微镜采集的共聚焦显微图像进行处理，得到目标图像。
另一方面，提供了一种基于人工智能的图像处理装置，所述装置包括：
确定模块，用于确定共聚焦显微镜处于使用状态的第一探测器针孔的针孔直径；
模型获取模块，用于获取所述第一探测器针孔的针孔直径对应的目标图像处理模型，所述目标图像处理模型用于提高图像的分辨率和信噪比中受到所确定的针孔直径影响而降低的参数；
模型调用模块，用于调用所述目标图像处理模型对所述共聚焦显微镜采集的共聚焦显微图像进行处理，得到目标图像。
另一方面，提供了一种基于人工智能的图像处理系统，所述图像处理系统包括：共聚焦显微镜和计算机设备；
所述共聚焦显微镜，用于采集共聚焦显微图像；
所述计算机设备，用于确定共聚焦显微镜处于使用状态的第一探测器针孔的针孔直径；
所述计算机设备，还用于获取所述第一探测器针孔的针孔直径对应的目标图像处理模型，所述目标图像处理模型用于提高图像的分辨率和信噪比中受到所确定的针孔直径影响而降低的参数；
所述计算机设备，还用于调用所述目标图像处理模型对所述共聚焦显微镜采集的共聚焦显微图像进行处理，得到目标图像。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器用于存储至少一段程序代码，所述至少一段程序代码由所述处理器加载并执行以实现本申请实施例中的基于人工智能的图像处理方法中所执行的操作。
另一方面，提供了一种存储介质，所述存储介质中存储有至少一段程序代码，所述至少一段程序代码用于执行本申请实施例中的基于人工智能的图像处理方法。
另一方面，提供了一种应用程序产品，所述应用程序产品存储有一条或多条指令，所述一条或多条指令可以由计算机设备的处理器执行，以完成上述基于人工智能的图像处理方法。
本申请实施例提供的技术方案带来的有益效果是：
在本申请实施例中，通过为共聚焦显微镜配置不同直径的探测器针孔，使得在进行图像采集时，可以针对处于使用状态的第一探测器针孔的针孔直径，选择对应的目标图像处理模型，由于不同探测器针孔的针孔直径可以提高分辨率和显微镜中的一个参数并降低另一个参数，使得通过目标图像处理模型来对共聚焦显微图像进行处理，可以对分辨率或者信噪比的中受到所确定的针孔直径影响而降低的参数进行提高，从而处理得到的共聚焦显微图像的分辨率和信噪比均有所提高，能够更准确的反映样本的细节。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例提供的一种共聚焦显微镜的部分结构的示意图；
图2是根据本申请实施例提供的一种基于人工智能的图像处理系统的示意图；
图3是根据本申请实施例提供的一种基于人工智能的图像处理方法的流程图；
图4是根据本申请实施例提供的另一种基于人工智能的图像处理方法的流程图；
图5是本申请实施例提供的一种训练用于提高图像的信噪比的第一图像处理模型的流程示意图；
图6是本申请实施例提供的一种训练用于提高图像的分辨率的第一图像处理模型；
图7是本申请实施例提供的另一种基于人工智能的图像处理方法的示意图；
图8是根据本申请实施例提供的一种基于人工智能的图像处理装置的框图；
图9是根据本申请实施例提供的终端的结构框图；
图10是根据本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
下面简单介绍一下本申请实施例可能用到的技术。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能云服务，一般也被称作是AIaaS(AI as a Service，中文为“AI即服务”)。这是目前主流的一种人工智能平台的服务方式，具体来说AIaaS平台会把几类常见的AI服务进行拆分，并在云端提供独立或者打包的服务。这种服务模式类似于开了一个AI主题商城：所有的开发者都可以通过API接口的方式来接入使用平台提供的一种或者是多种人工智能服务，部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自已专属的云人工智能服务。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
共聚焦显微技术，是一种利用逐点扫描照明，并伴随空间针孔滤波去除样本焦点平面外散射光的光学成像技术。
下面简单介绍一下共聚焦显微镜。
共聚焦显微镜，是基于共聚焦显微技术构造的显微镜，可以用于进行细胞形态定位、立体结构重组、动态变化过程等研究，在形态学、生理学、免疫学、遗传学等分子细胞生物学领域有广泛应用。共聚焦显微镜的部分结构可以参见图1所示，包括探测器101、探测器针孔102、激光激发光源103、光源针孔104、物镜105以及二向色滤光片106。如图1所示，激光激发光源103发出的光经过微小的光源针孔104后，再经过二向色滤光片106和物镜105后聚焦到三维样本其中一个平面上的一个点。激发光线聚焦点包括其周围上下的荧光蛋白受激发后均匀发出的受激发光光线。这些受激发光光线有的来自聚焦平面上，有的来自离焦平面上。这些受激发光光线经过物镜105和二向色滤光片106后被探测器针孔102过滤。即来自聚焦面的受激发光光线通过探测器针孔102被探测器101捕获，离焦面的受激发光光线被探测器针孔102被阻挡。因为共聚焦显微镜的针孔可以消除焦面以外的光，而只探测焦面上的光，所以共聚焦显微镜能得到比普通荧光宽场显微镜分辨率更高，层析效果更好的图片。
需要说明的是，共聚焦显微镜还可以与计算机设备、图像输出设备等连接。
下面简单介绍一下本申请实施例的实施环境。
本申请实施例提供了一种基于人工智能的图像处理方法，该方法可以应用于对共聚焦显微镜采集到的显微图像进行处理的场景。由于共聚焦显微镜采集的共聚焦显微图像的分辨率和信噪比之间存在矛盾，即高分辨率的共聚焦显微图像的信噪比低，高信噪比的共聚焦显微图像的分辨率低，通过本申请实施例提供的图像处理方法，可以同时提高共聚焦显微图像的信噪比和分辨率，得到高分辨率和高信噪比的共聚焦显微图像。图2是根据本申请实施例提供的一种基于人工智能的图像处理系统的示意图。该图像处理系统可以包括：共聚焦显微镜210和计算机设备220。可选的，该图像处理系统还可以包括服务器230和数据库240。
共聚焦显微镜210对外可以提供有图像输出接口，用于将采集到的共聚焦显微图像传输至计算机设备220或者服务器230。其中，该图像输出接口可以是有线接口，比如通用串行总线(Universal Serial Bus，USB)接口、高清多媒体接口(High DefinitionMultimedia Interface，HDMI)接口或者以太网接口等等；或者，上述图像输出接口也可以是无线接口，比如无线局域网(Wireless Local Area Network，WLAN)接口、蓝牙接口等等。相应的，根据上述图像输出接口的类型的不同，传输共聚焦显微图像方式也可以有多种，比如，通过有线或者短距离无线方式将采集到的共聚焦显微图像传输至计算机设备220，或者，由计算机设备220将接收到的共聚焦显微图像发送至服务器230，或者，通过局域网或者互联网将采集到的共聚焦显微图像传输至计算机设备220或者服务器230。
计算机设备220可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能手表等，但并不局限于此。计算机设备220可以安装和运行有对获取到的共聚焦显微图像进行处理的应用程序。计算机设备220获取到共聚焦显微图像后，可以通过上述应用程序对该共聚焦显微图像进行处理，将处理结果发送至共聚焦显微镜210，由共聚焦显微镜210对处理结果进行显示，或者将处理结果发送至显示设备进行显示。
需要说明的是，计算机设备220和共聚焦显微镜210可以是物理上分离的实体设备，也可以集成为单个实体设备。比如，共聚焦显微镜210可以是具有计算机设备220的计算功能的智能显微镜。
服务器230可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
计算机设备220以及服务器230可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
服务器230可以用于为计算机设备220提供图像处理服务。可选地，服务器230承担主要图像处理工作，计算机设备220承担次要图像处理工作；或者，服务器230承担次要图像处理工作，计算机设备220承担主要图像处理工作；或者，服务器230或计算机设备220分别可以单独承担图像处理工作。服务器230也可以直接与共聚焦显微镜210连接，对该共聚焦显微镜210采集得到的共聚焦显微图像进行图像处理。
数据库240可以是Redis数据库，或者是其它类型数据库。其中，数据库240用于存储各类数据。
可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(Extensible MarkupLanguage，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(Internet ProtocolSecurity，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
图3是根据本申请实施例提供的一种基于人工智能的图像处理方法的流程图。该图像处理方法可以由计算机设备执行，该计算机设备可以是集成有共聚焦显微镜功能的单个设备；或者，该计算机设备也可以是上述图2所示计算机设备220，即该方法可以由上述图2所示的共聚焦显微镜210和计算机设备220通过交互执行。如图3所示，该基于人工智能的图像处理方法包括以下步骤：
301、计算机设备确定共聚焦显微镜处于使用状态的第一探测器针孔的针孔直径。
在本申请实施例中，一个共聚焦显微镜可以仅设置一种针孔直径的探测器针孔，不同共聚焦显微镜可以设置有不同针孔直径的探测器针孔；或者，一个共聚焦显微镜可以设置有两种或者两种以上针孔直径的探测器针孔。探测器针孔的针孔直径越大，则探测器进光量越大，采集得到的共聚焦显微图像的信噪比越高，但是分辨率会下降；探测器针孔越小，则进光量越小，在相同曝光时间下，采集得到的共聚焦显微图像的分辨率会越高，但信噪比会下降。虽然提高曝光时间可以一定程度提供信噪比，当时长曝光下激光的光毒性会造成样本荧光的漂白。
302、计算机设备获取该第一探测器针孔的针孔直径对应的目标图像处理模型，该目标图像处理模型用于提高图像的分辨率和信噪比中受到所确定的针孔直径影响而降低的参数。
在本申请实施例中，根据探测器针孔的针孔直径，可以确定与该针孔直径对应的图像处理模型。如果针孔直径影响了共聚焦显微图像的分辨率，则通过针孔直径获取的图像处理模型是用于提高共聚焦显微图像的分辨率的模型；如果针孔直径影响了共聚焦显微图像的信噪比，则通过针孔直径获取的图像处理模型是用于提高共聚焦显微图像的信噪比的模型。
303、计算机设备调用该目标图像处理模型对该共聚焦显微镜采集的共聚焦显微图像进行处理，得到目标图像。
在本申请实施例中，计算机设备可以调用获取到的图像处理模型，对共聚焦显微图像进行处理，提高该共聚焦显微图像的分辨率或者信噪比。上述图像处理方式，使得该共聚焦显微图像经过处理后，具有较高的分辨率和信噪比，能够更准确的反映样本的细节。
在本申请实施例中，通过为共聚焦显微镜配置不同直径的探测器针孔，使得在进行图像采集时，可以针对处于使用状态的第一探测器针孔的针孔直径，选择对应的目标图像处理模型，由于不同探测器针孔的针孔直径可以提高分辨率和显微镜中的一个参数并降低另一个参数，使得通过目标图像处理模型来对共聚焦显微图像进行处理，可以对分辨率或者信噪比的中受到所确定的针孔直径影响而降低的参数进行提高，从而处理得到的共聚焦显微图像的分辨率和信噪比均有所提高，能够更准确的反映样本的细节。
图4是根据本申请实施例提供的另一种基于人工智能的图像处理方法的流程图。该图像处理方法可以由计算机设备执行，该计算机设备可以是集成有共聚焦显微镜功能的单个设备；或者，该计算机设备也可以是上述图2所示计算机设备220，即该方法可以由上述图2所示的共聚焦显微镜210和计算机设备220通过交互执行。如图4所示，该基于人工智能的图像处理方法包括以下步骤：
401、响应于检测到针孔切换指令，计算机设备根据该针孔切换指令，控制该共聚焦显微镜由第三探测器针孔切换至第一探测器针孔。
在本申请实施例中，共聚焦显微镜可以设置有至少两种针孔直径的探测器针孔。用户可以通过针孔切换操作来，以机械转动的方式切换不同针孔直径的探测器针孔；也可以通过针孔切换操作触发针孔切换指令，由计算机设备根据该针孔切换指令，控制共聚焦显微镜切换探测器针孔。为便于描述，将切换前的探测器针孔称为第三探测器针孔，将切换后的探测器针孔称为第一探测器针孔。也即切换完成后，该第一探测器针孔为该共聚焦显微镜处于使用状态的探测器针孔。
402、计算机设备确定共聚焦显微镜处于使用状态的第一探测器针孔的针孔直径。
在本申请实施例中，计算机设备可以在探测器针孔更换完毕后，获取当前处于使用状态的第一探测器针孔的针孔直径。
需要说明的是，当探测器针孔的针孔直径与艾里斑的直径大小一样时，可以有84％左右的光线聚焦到探测器，从而图像的信噪比较好。因此，计算机设备可以将艾里斑的直径作为目标阈值，根据第一探测器针孔的针孔直径与该目标阈值的关系来选择对应的目标图像处理模型。其中，艾里斑是点光源通过衍射受限透镜成像时，由于衍射而在焦点处形成的光斑。中央是明亮的圆斑，周围有一组较弱的明暗相间的同心环状条纹，把其中以第一暗环为界限的中央亮斑称作艾里斑。
403、计算机设备获取该第一探测器针孔的针孔直径对应的目标图像处理模型，该目标图像处理模型用于提高图像的分辨率和信噪比中受到所确定的针孔直径影响而降低的参数。
在本申请实施例中，第一探测器针孔的针孔直径小于目标阈值时，表示是通过牺牲信噪比来提高分辨率，此时需要通过用于提高图像的信噪比的目标图像处理模型来补偿信噪比；第一探测器针孔的针孔直径大于目标阈值时，表示提高了信噪比但是牺牲了分辨率，此时需要通过用于提高图像的分辨率的目标图像处理模型来补偿分辨率。
在一种可选的实现方式中，响应于第一探测器针孔的针孔直径小于目标阈值，计算机设备可以从至少一个用于提高信噪比的第一图像处理模型中，获取与该第一探测器针孔的针孔直径对应的第一图像处理模型，将该第一图像处理模型作为该目标图像处理模型。由于通过缩小探测器针孔的针孔直径提高了共聚焦显微图像的分辨率，从而可以通过用于提高信噪比的第一图像处理模型对共聚焦显微图像进行进一步的处理，以同时提高图像的分辨率和信噪比。
在一种可选的实现方式中，响应于第一探测器针孔的针孔直径大于目标阈值，计算机设备可以从至少一个用于提高分辨率的第二图像处理模型中，获取与该第一探测器针孔的针孔直径对应的第二图像处理模型，将该第二图像处理模型作为该目标图像处理模型。由于通过扩大探测器针孔的针孔直径提高了共聚焦显微图像的信噪比，从而可以通过用于提高分辨率的第二图像处理模型对共聚焦显微图像进行进一步的处理，以同时提高图像的分辨率和信噪比。
需要说明的是，由于目标图像处理模型可以是用于提高图像的信噪比的第一图像处理模型，也可以是用于提高图像的分辨率的第二图像处理模型。而第一图像处理模型和第二图像处理模型的训练方式有所不同，训练方式如下。
在一种可选的实现方式中，目标图像处理模型为用于提高图像的信噪比的第一图像处理模型时，计算机设备训练得到该目标图像处理模型的步骤可以为：计算机设备获取第一样本图像对，该第一样本图像对包括通过该第一探测器针孔在不同光源条件下，分别对同一视野下的样本进行采集得到的相同分辨率的图像，该光源条件包括光源亮度和曝光时间中的至少一种。计算机设备可以将该第一样本图像对输入待训练的图像处理模型，获取输出的处理结果。响应于满足训练结束条件，计算机设备可以将训练得到的图像处理模型作为该目标图像处理模型。其中，第一探测器针孔的针孔直径小于业界常用的基准探测器针孔的针孔直径。在本申请实施例中，将艾里斑直径作为该基准探测器针孔的针孔直径。由于采用第一探测器针孔在不同光源条件下，分别对同一视野下的样本采样得到的第一样本图像对，根据第一样本图像对中分辨率相同的图像之间的信噪比的差异来训练图像处理模型，使得训练得到的图像处理模型可以提高图像的信噪比。
例如，光源不变，曝光时间为200ms，基于第一探测器针孔，采集得到图像A。将曝光时间调整为400ms，基于该第一探测器针孔，采集得到图像B。由于使用的是同一个第一探测器针孔，则图像A和图像B的分辨率相同，由于采集图像B时曝光时间较长，则图像B的信噪比大于图像A的信噪比。将该图像A和图像B作为第一样本图像对，输入图像处理模型进行训练，得到用于提高图像信噪比的第一图像处理模型。上述方法，使得在不提高曝光时间的前提下，该第一图像处理模型可以将低曝光时间采集得到的图像的信噪比提高至接近高曝光时间采集得到的图像的信噪比。同理，曝光时间不变，通过调整光源的亮度，也可以得到相同分辨率信噪比不同的第一样本图像对，不再进行赘述。
相应的，可以参见图5所示，图5是本申请实施例提供的一种训练用于提高图像的信噪比的第一图像处理模型的流程示意图。如图5所示，基准探测器针孔501的针孔直径大于第一探测器针孔502的针孔直径。在相同的光源和曝光时间下，基于该基准探测器针孔501，可以采集得到共聚焦显微图像503，基于该第一探测器针孔502，可以采集得到共聚焦显微图像504，其中，共聚焦显微图像504的分辨率大于共聚焦显微图像503，共聚焦显微图像504的信噪比低于共聚焦显微图像503。通过提高光源亮度或者曝光时间中的至少一种，基于该第一探测器针孔502，还可以采集得到共聚焦显微图像505，该共聚焦显微图像505的分辨率与共聚焦显微图像504的分辨率相同，该共聚焦显微图像505的信噪比大于共聚焦显微图像504的信噪比。将该共聚焦显微图像505和共聚焦显微图像504作为第一样本图像对，输入第一图像处理模型506中。
在一种可选的实现方式中，目标图像处理模型为用于提高图像的分辨率的第二图像处理模型时，计算机设备训练得到该目标图像处理模型的步骤可以为：计算机设备可以获取第二样本图像对，该第二样本图像对包括通过第二探测器针孔和该第一探测器针孔在不同光源条件下，分别对同一视野下的样本进行采集得到的相同信噪比的图像，该第一探测器针孔的针孔直径大于该第二探测器针孔的针孔直径，该光源条件包括光源亮度和曝光时间中的至少一种。计算机设备可以将该第二样本图像对输入待训练的图像处理模型，获取输出的处理结果。响应于满足训练结束条件，计算机设备可以将训练得到的图像处理模型作为该目标图像处理模型。其中，第二探测器针孔的针孔直径可以的等于业界常用的基准探测器针孔的针孔直径，也可以小于该基准探测器针孔的针孔直径。由于采用第二探测器针孔和第一探测器针孔在不同光源条件下，分别对同一视野下的样本采样得到的第二样本图像对，根据第二样本图像对中相同信噪比的图像之间的分辨率的差异来训练图像处理模型，使得训练得到的图像处理模型可以提高图像的分辨率。
例如，第二探测器针孔的针孔直径等于业界常用的基准探测器针孔的针孔直径。第一探测器针孔的针孔直径为第二探测器针孔的针孔直径的两倍。光源不变，曝光时间为200ms，基于第一探测器针孔，采集得到图像C。通过提高曝光时间，基于第二探测器针孔，采集与图像C具有相同信噪比的图像D。由于第一探测器针孔的针孔直径大于第二探测器针孔的针孔直径，则图像C的分辨率小于图像D的分辨率。将该图像C和图像D作为第二样本图像对，输入图像处理模型进行训练，得到用于提高图像的分辨率的第二图像处理模型。上述方法，使得在不提高曝光时间的前提下，该第二图像处理模型可以将大针孔直径采集得到的图像的分辨率提高至接近小针孔直径采集得到的图像的分辨率。同理，曝光时间不变，通过调整光源的亮度，也可以得到相同信噪比分辨率不同的第二样本图像对，不再进行赘述。
相应的，可以参见图6所示，图6是本申请实施例提供的一种训练用于提高图像的分辨率的第一图像处理模型。如图6所示，基准探测器针孔501的针孔直径小于第一探测器针孔601的针孔直径。基于该第一探测器针孔601，可以采集得到共聚焦显微图像602，通过提高光源亮度或者曝光时间中的至少一种，基于该基准探测器针孔501，可以采集得到共聚焦显微图像603。其中，共聚焦显微图像602的分辨率小于共聚焦显微图像603，共聚焦显微图像602的信噪比与共聚焦显微图像603的信噪比相同。将该共聚焦显微图像602和该共聚焦显微图像603作为第二样本图像对，输入第二图像处理模型604中。
需要说明的是，上述目标图像处理模型可以为基于深度学习网络构造的模型，该深度学习网络可以为GAN(Generative Adversarial Networks，生成式对抗网络)，也可以为GAN的变种，还可以为U-Net(U型图像分割网络)、CNN(Convolutional Neural Networks，卷积神经网络)等，本申请实施例对此不进行限制。
404、计算机设备调用该目标图像处理模型对该共聚焦显微镜采集的共聚焦显微图像进行处理，得到目标图像。
在本申请实施例中，计算机设备在获取第一探测器针孔的针孔直径对应的目标图像处理模型之后，可以将共聚焦显微镜采集的共聚焦显微图像输入该目标图像处理模型，由该目标图像处理模型对该共聚焦显微图像进行分辨率提高处理，或者信噪比提高处理。从而得到分辨率和信噪比都较高的目标图像。
需要说明的是，为了使上述步骤401至步骤404描述的内容更容易理解，可以参见图7所示，图7是本申请实施例提供的另一种基于人工智能的图像处理方法的示意图。如图7所示，相同光源和相同曝光时间的前提下，基于基准探测器针孔501，可以得到共聚焦显微图像701。基于针孔直径大于基准探测器针孔501的第一探测器针孔601，可以得到共聚焦显微图像702。基于针孔直径小于基准探测器针孔501的第一探测器针孔502，可以得到共聚焦显微图像703。通过第一图像处理模型506对共聚焦显微图像703进行处理，得到目标图像704；通过第二图像处理模型604对共聚焦显微图像702进行处理，得到目标图像705。
在本申请实施例中，通过为共聚焦显微镜配置不同直径的探测器针孔，使得在进行图像采集时，可以针对处于使用状态的第一探测器针孔的针孔直径，选择对应的目标图像处理模型，由于不同探测器针孔的针孔直径可以提高分辨率和显微镜中的一个参数并降低另一个参数，使得通过目标图像处理模型来对共聚焦显微图像进行处理，可以对分辨率或者信噪比的中受到所确定的针孔直径影响而降低的参数进行提高，从而处理得到的共聚焦显微图像的分辨率和信噪比均有所提高，能够更准确的反映样本的细节。
图8是根据本申请实施例提供的一种基于人工智能的图像处理装置的框图。该装置用于执行上述基于人工智能的图像处理方法执行时的步骤，参见图8，装置包括：确定模块801、模型获取模块802和模型调用模块803。
确定模块801，用于确定共聚焦显微镜处于使用状态的第一探测器针孔的针孔直径；
模型获取模块802，用于获取该第一探测器针孔的针孔直径对应的目标图像处理模型，该目标图像处理模型用于提高图像的分辨率和信噪比中受到所确定的针孔直径影响而降低的参数；
模型调用模块803，用于调用该目标图像处理模型对该共聚焦显微镜采集的共聚焦显微图像进行处理，得到目标图像。
在一个可选实现的方式中，该模型获取模块802，用于响应于该第一探测器针孔的针孔直径小于目标阈值，从至少一个用于提高信噪比的第一图像处理模型中，获取与该第一探测器针孔的针孔直径对应的第一图像处理模型，将该第一图像处理模型作为该目标图像处理模型。
在一个可选实现的方式中，该模型获取模块802，用于响应于该第一探测器针孔的针孔直径大于目标阈值，从至少一个用于提高分辨率的第二图像处理模型中，获取与该第一探测器针孔的针孔直径对应的第二图像处理模型，将该第二图像处理模型作为该目标图像处理模型。
在一个可选实现的方式中，该目标图像处理模型用于提高图像的信噪比的第一图像处理模型；
目标图像处理模型通过以下步骤训练得到：获取第一样本图像对，该第一样本图像对包括通过该第一探测器针孔在不同光源条件下，分别对同一视野下的样本进行采集得到的相同分辨率的图像，该光源条件包括光源亮度和曝光时间中的至少一种；将该第一样本图像对输入待训练的图像处理模型，获取输出的处理结果；响应于满足训练结束条件，将训练得到的图像处理模型作为该目标图像处理模型。
在一个可选实现的方式中，该目标图像处理模型用于提高图像的分辨率的第二图像处理模型；
目标图像处理模型通过以下步骤训练得到：获取第二样本图像对，该第二样本图像对包括通过第二探测器针孔和该第一探测器针孔在不同光源条件下，分别对同一视野下的样本进行采集得到的相同信噪比的图像，该第一探测器针孔的针孔直径大于该第二探测器针孔的针孔直径，该光源条件包括光源亮度和曝光时间中的至少一种；将该第二样本图像对输入待训练的图像处理模型，获取输出的处理结果；响应于满足训练结束条件，将训练得到的图像处理模型作为该目标图像处理模型。
在一个可选实现的方式中，该装置还包括：
针孔切换模块804，用于响应于检测到针孔切换指令，根据该针孔切换指令，控制该共聚焦显微镜将第三探测器针孔切换为该第一探测器针孔。
在本申请实施例中，通过为共聚焦显微镜配置不同直径的探测器针孔，使得在进行图像采集时，可以针对处于使用状态的第一探测器针孔的针孔直径，选择对应的目标图像处理模型，由于不同探测器针孔的针孔直径可以提高分辨率和显微镜中的一个参数并降低另一个参数，使得通过目标图像处理模型来对共聚焦显微图像进行处理，可以对分辨率或者信噪比的中受到所确定的针孔直径影响而降低的参数进行提高，从而处理得到的共聚焦显微图像的分辨率和信噪比均有所提高，能够更准确的反映样本的细节。
需要说明的是：上述实施例提供的基于人工智能的图像处理装置在运行应用程序时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于人工智能的图像处理装置与基于人工智能的图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
在本申请实施例中，计算机设备可被配置为终端或者服务器，当计算机设备被配置为终端时，可以由终端作为执行主体来实施本申请实施例提供的技术方案，当计算机设备被配置为服务器时，可以由服务器作为执行主体来实施本申请实施例提供的技术方案，也可以通过终端和服务器之间的交互来实施本申请提供的技术方案，本申请实施例对此不作限定。
计算机设备被配置为终端时，图9是根据本申请实施例提供的终端900的结构框图。该终端900可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts GroupAudio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture ExpertsGroup Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端900包括有：处理器901和存储器902。
处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行以实现本申请中方法实施例提供的基于人工智能的图像处理方法。
在一些实施例中，终端900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、显示屏905、摄像头组件906、音频电路907、定位组件908和电源909中的至少一种。
外围设备接口903可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路904用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路904包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏905用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置在终端900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在终端900的不同表面或呈折叠设计；在另一些实施例中，显示屏905可以是柔性显示屏，设置在终端900的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件906用于采集图像或视频。可选地，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。
定位组件908用于定位终端900的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件908可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源909用于为终端900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。
加速度传感器911可以检测以终端900建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号，控制显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器912可以检测终端900的机体方向及转动角度，陀螺仪传感器912可以与加速度传感器911协同采集用户对终端900的3D动作。处理器901根据陀螺仪传感器912采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器913可以设置在终端900的侧边框和/或显示屏905的下层。当压力传感器913设置在终端900的侧边框时，可以检测用户对终端900的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在显示屏905的下层时，由处理器901根据用户对显示屏905的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器914用于采集用户的指纹，由处理器901根据指纹传感器914采集到的指纹识别用户的身份，或者，由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器901授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置在终端900的正面、背面或侧面。当终端900上设置有物理按键或厂商Logo时，指纹传感器914可以与物理按键或厂商Logo集成在一起。
光学传感器915用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器915采集的环境光强度，控制显示屏905的显示亮度。具体地，当环境光强度较高时，调高显示屏905的显示亮度；当环境光强度较低时，调低显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器915采集的环境光强度，动态调整摄像头组件906的拍摄参数。
接近传感器916，也称距离传感器，通常设置在终端900的前面板。接近传感器916用于采集用户与终端900的正面之间的距离。在一个实施例中，当接近传感器916检测到用户与终端900的正面之间的距离逐渐变小时，由处理器901控制显示屏905从亮屏状态切换为息屏状态；当接近传感器916检测到用户与终端900的正面之间的距离逐渐变大时，由处理器901控制显示屏905从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图9中示出的结构并不构成对终端900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
计算机设备被配置为服务器时，图10是根据本申请实施例提供的一种服务器的结构示意图，该服务器1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central Processing Units，CPU)1001和一个或一个以上的存储器1002，其中，该存储器1002中存储有至少一条指令，该至少一条指令由该处理器1001加载并执行以实现上述各个方法实施例提供的基于人工智能的图像处理方法。当然，该服务器1000还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器1000还可以包括其他用于实现设备功能的部件，在此不做赘述。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质应用于计算机设备，该计算机可读存储介质中存储有至少一条程序代码，该至少一条程序代码用于被处理器执行并实现本申请实施例中的基于人工智能的图像处理方法中计算机设备所执行的操作。
本申请实施例还提供了一种应用程序产品，该应用程序产品存储有一条或多条指令，该一条或多条指令可以由计算机设备的处理器执行，以完成上述基于人工智能的图像处理方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于人工智能的图像处理方法，其特征在于，所述方法包括：
确定共聚焦显微镜处于使用状态的第一探测器针孔的针孔直径；
获取所述第一探测器针孔的针孔直径对应的目标图像处理模型，所述目标图像处理模型用于提高图像的分辨率和信噪比中受到所确定的针孔直径影响而降低的参数；
调用所述目标图像处理模型对所述共聚焦显微镜采集的共聚焦显微图像进行处理，得到目标图像。
2.根据权利要求1所述的方法，其特征在于，所述获取所述第一探测器针孔的针孔直径对应的目标图像处理模型，包括：
响应于所述第一探测器针孔的针孔直径小于目标阈值，从至少一个用于提高信噪比的第一图像处理模型中，获取与所述第一探测器针孔的针孔直径对应的第一图像处理模型，将所述第一图像处理模型作为所述目标图像处理模型。
3.根据权利要求1所述的方法，其特征在于，所述获取所述目标针孔直径对应的目标图像处理模型，包括：
响应于所述第一探测器针孔的针孔直径大于目标阈值，从至少一个用于提高分辨率的第二图像处理模型中，获取与所述第一探测器针孔的针孔直径对应的第二图像处理模型，将所述第二图像处理模型作为所述目标图像处理模型。
4.根据权利要求1所述的方法，其特征在于，所述目标图像处理模型用于提高图像的信噪比的第一图像处理模型；
所述目标图像处理模型通过以下步骤训练得到：
获取第一样本图像对，所述第一样本图像对包括通过所述第一探测器针孔在不同光源条件下，分别对同一视野下的样本进行采集得到的相同分辨率的图像，所述光源条件包括光源亮度和曝光时间中的至少一种；
将所述第一样本图像对输入待训练的图像处理模型，获取输出的处理结果；
响应于满足训练结束条件，将训练得到的图像处理模型作为所述目标图像处理模型。
5.根据权利要求1所述的方法，其特征在于，所述目标图像处理模型用于提高图像的分辨率的第二图像处理模型；
所述目标图像处理模型通过以下步骤训练得到：
获取第二样本图像对，所述第二样本图像对包括通过第二探测器针孔和所述第一探测器针孔在不同光源条件下，分别对同一视野下的样本进行采集得到的相同信噪比的图像，所述第一探测器针孔的针孔直径大于所述第二探测器针孔的针孔直径，所述光源条件包括光源亮度和曝光时间中的至少一种；
将所述第二样本图像对输入待训练的图像处理模型，获取输出的处理结果；
响应于满足训练结束条件，将训练得到的图像处理模型作为所述目标图像处理模型。
6.根据权利要求1所述的方法，其特征在于，所述确定共聚焦显微镜处于使用状态的第一探测器针孔的针孔直径之前，所述方法还包括：
响应于检测到针孔切换指令，根据所述针孔切换指令，控制所述共聚焦显微镜将第三探测器针孔切换为所述第一探测器针孔。
7.一种基于人工智能的图像处理装置，其特征在于，所述装置包括：
确定模块，用于确定共聚焦显微镜处于使用状态的第一探测器针孔的针孔直径；
模型获取模块，用于获取所述第一探测器针孔的针孔直径对应的目标图像处理模型，所述目标图像处理模型用于提高图像的分辨率和信噪比中受到所确定的针孔直径影响而降低的参数；
模型调用模块，用于调用所述目标图像处理模型对所述共聚焦显微镜采集的共聚焦显微图像进行处理，得到目标图像。
8.一种基于人工智能的图像处理系统，其特征在于，所述图像处理系统包括：共聚焦显微镜和计算机设备；
所述共聚焦显微镜，用于采集共聚焦显微图像；
所述计算机设备，用于确定共聚焦显微镜处于使用状态的第一探测器针孔的针孔直径；
所述计算机设备，还用于获取所述第一探测器针孔的针孔直径对应的目标图像处理模型，所述目标图像处理模型用于提高图像的分辨率和信噪比中受到所确定的针孔直径影响而降低的参数；
所述计算机设备，还用于调用所述目标图像处理模型对所述共聚焦显微镜采集的共聚焦显微图像进行处理，得到目标图像。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器用于存储至少一段程序代码，所述至少一段程序代码由所述处理器加载并执行权利要求1至6任一项所述的基于人工智能的图像处理方法。
10.一种存储介质，其特征在于，所述存储介质用于存储至少一段程序代码，所述至少一段程序代码用于执行权利要求1至6任一项所述的基于人工智能的图像处理方法。
CN202010508058.2A 2020-06-05 2020-06-05 基于人工智能的图像处理方法、装置、设备及介质 Active CN111711750B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010508058.2A CN111711750B (zh) 2020-06-05 2020-06-05 基于人工智能的图像处理方法、装置、设备及介质
EP21817274.0A EP4030750A4 (en) 2020-06-05 2021-05-07 ARTIFICIAL INTELLIGENCE-BASED IMAGE PROCESSING METHOD, APPARATUS, DEVICE, AND MEDIUM
PCT/CN2021/092071 WO2021244213A1 (zh) 2020-06-05 2021-05-07 基于人工智能的图像处理方法、装置、设备及介质
US17/732,379 US20220253984A1 (en) 2020-06-05 2022-04-28 Artificial intelligence-based image processing method and apparatus, device, and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010508058.2A CN111711750B (zh) 2020-06-05 2020-06-05 基于人工智能的图像处理方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111711750A true CN111711750A (zh) 2020-09-25
CN111711750B CN111711750B (zh) 2023-11-07

Family

ID=72539557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010508058.2A Active CN111711750B (zh) 2020-06-05 2020-06-05 基于人工智能的图像处理方法、装置、设备及介质

Country Status (4)

Country Link
US (1) US20220253984A1 (zh)
EP (1) EP4030750A4 (zh)
CN (1) CN111711750B (zh)
WO (1) WO2021244213A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021244213A1 (zh) * 2020-06-05 2021-12-09 腾讯科技（深圳）有限公司 基于人工智能的图像处理方法、装置、设备及介质

Citations (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000067060A1 (en) * 1999-04-30 2000-11-09 Digital Optical Imaging Corporation Methods and apparatus for improved depth resolution using out-of-focus information in microscopy
US20020036824A1 (en) * 2000-06-12 2002-03-28 Olympus Optical Co., Ltd. Scanning optical microscope and method of acquiring image
JP2010014839A (ja) * 2008-07-02 2010-01-21 Nikon Corp 共焦点顕微鏡
CN102520507A (zh) * 2011-12-27 2012-06-27 麦克奥迪实业集团有限公司 一种共聚焦显微成像的获取方法和装置
US20130120614A1 (en) * 2011-03-23 2013-05-16 Ichiro Oyama Image processing device, imaging device, and image processing method
US20140071260A1 (en) * 2012-09-12 2014-03-13 Washington State University Digital confocal optical profile microscopy
CN103744172A (zh) * 2013-12-26 2014-04-23 麦克奥迪实业集团有限公司 一种具备空间光调制照明的共聚焦显微成像方法
WO2015135394A1 (en) * 2014-03-13 2015-09-17 Beijing Zhigu Rui Tuo Tech Co., Ltd Image acquisition method and image acquisition apparatus
KR20150146075A (ko) * 2014-06-20 2015-12-31 한국과학기술원 공초점 분광 현미경
WO2016049544A1 (en) * 2014-09-25 2016-03-31 Northwestern University Devices, methods, and systems relating to super resolution imaging
US20160252718A1 (en) * 2013-10-21 2016-09-01 University Of Leicester Improvements in or relating to super-resolution microscopy
CN106096474A (zh) * 2015-04-21 2016-11-09 手持产品公司 用于成像的系统和方法
US20170006239A1 (en) * 2014-03-13 2017-01-05 Beijing Zhigu Rui Tuo Tech Co., Ltd Image acquisition method and image acquisition apparatus
CN107093194A (zh) * 2017-03-22 2017-08-25 清华大学 一种子孔径图像采集方法及系统
CN206627441U (zh) * 2017-04-10 2017-11-10 江苏天宁光子科技有限公司 一种荧光共焦显微内窥成像系统
JP2018055664A (ja) * 2016-01-06 2018-04-05 パナソニックＩｐマネジメント株式会社 画像生成システム及び画像生成方法
US20180113292A1 (en) * 2015-05-11 2018-04-26 Carl Zeiss Microscopy Gmbh Evaluation of signals of fluorescence scanning microscopy using a confocal laser scanning microscope
CN108231511A (zh) * 2017-11-21 2018-06-29 聚束科技（北京）有限公司 一种扫描电子显微镜物镜系统及样品探测方法
DE102017105719A1 (de) * 2017-03-16 2018-09-20 Carl Zeiss Microscopy Gmbh Multi-Pinhole-Lichtrastermikroskop und -mikroskopieverfahren
CN109034102A (zh) * 2018-08-14 2018-12-18 腾讯科技（深圳）有限公司 人脸活体检测方法、装置、设备及存储介质
WO2019101021A1 (zh) * 2017-11-23 2019-05-31 腾讯科技（深圳）有限公司 图像识别方法、装置及电子设备
CN209102998U (zh) * 2018-11-28 2019-07-12 上海复享光学股份有限公司 艾里斑扫描共焦成像装置
CN110235044A (zh) * 2017-01-31 2019-09-13 卡尔蔡司显微镜有限责任公司 用于提高激光扫描显微镜的分辨率的设备
US20190333199A1 (en) * 2018-04-26 2019-10-31 The Regents Of The University Of California Systems and methods for deep learning microscopy
US20190355106A1 (en) * 2018-05-16 2019-11-21 The Board Of Trustees Of The University Of Illinois Second-harmonic patterned polarization-analyzed reflection confocal microscope
KR20190130838A (ko) * 2018-05-15 2019-11-25 서울대학교산학협력단 막 결함 분석 방법
JP2019212050A (ja) * 2018-06-05 2019-12-12 株式会社島津製作所 画像処理方法、画像処理装置および学習モデル作成方法
CN111178343A (zh) * 2020-04-13 2020-05-19 腾讯科技（深圳）有限公司 基于人工智能的多媒体资源检测方法、装置、设备及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006235420A (ja) * 2005-02-28 2006-09-07 Yokogawa Electric Corp 共焦点顕微鏡
CN111711750B (zh) * 2020-06-05 2023-11-07 腾讯科技（深圳）有限公司 基于人工智能的图像处理方法、装置、设备及介质

Patent Citations (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000067060A1 (en) * 1999-04-30 2000-11-09 Digital Optical Imaging Corporation Methods and apparatus for improved depth resolution using out-of-focus information in microscopy
US20020036824A1 (en) * 2000-06-12 2002-03-28 Olympus Optical Co., Ltd. Scanning optical microscope and method of acquiring image
JP2010014839A (ja) * 2008-07-02 2010-01-21 Nikon Corp 共焦点顕微鏡
US20130120614A1 (en) * 2011-03-23 2013-05-16 Ichiro Oyama Image processing device, imaging device, and image processing method
CN102520507A (zh) * 2011-12-27 2012-06-27 麦克奥迪实业集团有限公司 一种共聚焦显微成像的获取方法和装置
US20140071260A1 (en) * 2012-09-12 2014-03-13 Washington State University Digital confocal optical profile microscopy
US20160252718A1 (en) * 2013-10-21 2016-09-01 University Of Leicester Improvements in or relating to super-resolution microscopy
CN103744172A (zh) * 2013-12-26 2014-04-23 麦克奥迪实业集团有限公司 一种具备空间光调制照明的共聚焦显微成像方法
US20170006239A1 (en) * 2014-03-13 2017-01-05 Beijing Zhigu Rui Tuo Tech Co., Ltd Image acquisition method and image acquisition apparatus
WO2015135394A1 (en) * 2014-03-13 2015-09-17 Beijing Zhigu Rui Tuo Tech Co., Ltd Image acquisition method and image acquisition apparatus
KR20150146075A (ko) * 2014-06-20 2015-12-31 한국과학기술원 공초점 분광 현미경
WO2016049544A1 (en) * 2014-09-25 2016-03-31 Northwestern University Devices, methods, and systems relating to super resolution imaging
CN106096474A (zh) * 2015-04-21 2016-11-09 手持产品公司 用于成像的系统和方法
US20180113292A1 (en) * 2015-05-11 2018-04-26 Carl Zeiss Microscopy Gmbh Evaluation of signals of fluorescence scanning microscopy using a confocal laser scanning microscope
JP2018055664A (ja) * 2016-01-06 2018-04-05 パナソニックＩｐマネジメント株式会社 画像生成システム及び画像生成方法
CN110235044A (zh) * 2017-01-31 2019-09-13 卡尔蔡司显微镜有限责任公司 用于提高激光扫描显微镜的分辨率的设备
DE102017105719A1 (de) * 2017-03-16 2018-09-20 Carl Zeiss Microscopy Gmbh Multi-Pinhole-Lichtrastermikroskop und -mikroskopieverfahren
CN107093194A (zh) * 2017-03-22 2017-08-25 清华大学 一种子孔径图像采集方法及系统
CN206627441U (zh) * 2017-04-10 2017-11-10 江苏天宁光子科技有限公司 一种荧光共焦显微内窥成像系统
CN108231511A (zh) * 2017-11-21 2018-06-29 聚束科技（北京）有限公司 一种扫描电子显微镜物镜系统及样品探测方法
WO2019101021A1 (zh) * 2017-11-23 2019-05-31 腾讯科技（深圳）有限公司 图像识别方法、装置及电子设备
US20190333199A1 (en) * 2018-04-26 2019-10-31 The Regents Of The University Of California Systems and methods for deep learning microscopy
KR20190130838A (ko) * 2018-05-15 2019-11-25 서울대학교산학협력단 막 결함 분석 방법
US20190355106A1 (en) * 2018-05-16 2019-11-21 The Board Of Trustees Of The University Of Illinois Second-harmonic patterned polarization-analyzed reflection confocal microscope
JP2019212050A (ja) * 2018-06-05 2019-12-12 株式会社島津製作所 画像処理方法、画像処理装置および学習モデル作成方法
CN109034102A (zh) * 2018-08-14 2018-12-18 腾讯科技（深圳）有限公司 人脸活体检测方法、装置、设备及存储介质
CN209102998U (zh) * 2018-11-28 2019-07-12 上海复享光学股份有限公司 艾里斑扫描共焦成像装置
CN111178343A (zh) * 2020-04-13 2020-05-19 腾讯科技（深圳）有限公司 基于人工智能的多媒体资源检测方法、装置、设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021244213A1 (zh) * 2020-06-05 2021-12-09 腾讯科技（深圳）有限公司 基于人工智能的图像处理方法、装置、设备及介质

Also Published As

Publication number Publication date
EP4030750A1 (en) 2022-07-20
EP4030750A4 (en) 2023-01-11
CN111711750B (zh) 2023-11-07
WO2021244213A1 (zh) 2021-12-09
US20220253984A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
CN110839128B (zh) 拍照行为检测方法、装置及存储介质
CN108132790B (zh) 检测无用代码的方法、装置及计算机存储介质
CN108920606B (zh) 地图数据处理方法、装置、终端设备及存储介质
CN111598133B (zh) 基于人工智能的图像显示方法、装置、系统、设备及介质
CN111178343A (zh) 基于人工智能的多媒体资源检测方法、装置、设备及介质
CN110570460A (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN110248197B (zh) 语音增强方法及装置
CN110647881A (zh) 确定图像对应的卡片类型的方法、装置、设备及存储介质
CN113763228A (zh) 图像处理方法、装置、电子设备及存储介质
CN112749613A (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN111062248A (zh) 图像检测的方法、装置、电子设备及介质
CN110675473A (zh) 生成gif动态图的方法、装置、电子设备及介质
CN110991445A (zh) 竖排文字识别方法、装置、设备及介质
US20220253984A1 (en) Artificial intelligence-based image processing method and apparatus, device, and medium
CN111860064A (zh) 基于视频的目标检测方法、装置、设备及存储介质
CN110728744A (zh) 一种体绘制方法、装置及智能设备
CN114283395A (zh) 车道线检测的方法、装置、设备及计算机可读存储介质
CN110853704B (zh) 蛋白质数据获取方法、装置、计算机设备及存储介质
CN110717365B (zh) 一种获取图片的方法及装置
CN113779868A (zh) 一种矩形孔金属板屏蔽效能预测方法、系统、终端及存储介质
CN109472855B (zh) 一种体绘制方法、装置及智能设备
CN113268234A (zh) 页面生成方法、装置、终端和存储介质
CN111916105A (zh) 语音信号处理方法、装置、电子设备及存储介质
CN110992954A (zh) 语音识别的方法、装置、设备及存储介质
CN112308104A (zh) 异常识别方法、装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40028889

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant