CN110619318B - 基于人工智能的图像处理方法、显微镜、系统和介质 - Google Patents

基于人工智能的图像处理方法、显微镜、系统和介质 Download PDF

Info

Publication number
CN110619318B
CN110619318B CN201910924607.1A CN201910924607A CN110619318B CN 110619318 B CN110619318 B CN 110619318B CN 201910924607 A CN201910924607 A CN 201910924607A CN 110619318 B CN110619318 B CN 110619318B
Authority
CN
China
Prior art keywords
image
slice
determining
microscope
recognition result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910924607.1A
Other languages
English (en)
Other versions
CN110619318A (zh
Inventor
韩宝昌
韩骁
陈勇
杨鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910924607.1A priority Critical patent/CN110619318B/zh
Publication of CN110619318A publication Critical patent/CN110619318A/zh
Priority to EP20869050.3A priority patent/EP3940585A4/en
Priority to PCT/CN2020/115214 priority patent/WO2021057538A1/zh
Application granted granted Critical
Publication of CN110619318B publication Critical patent/CN110619318B/zh
Priority to US17/482,177 priority patent/US11790672B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/34—Microscope slides, e.g. mounting specimens on microscope slides
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Abstract

本公开提供了一种基于人工智能的图像处理方法、显微镜、系统和介质。所述基于人工智能的图像处理方法，包括：获得图像的特征识别结果，其中，所述特征识别结果是通过对所述图像进行图像处理以识别所述图像中的特征获得的，所述图像是通过对切片进行图像采集获得的；确定显微镜对所述切片进行成像的目镜视野内的成像区域；在所述图像中确定与所述成像区域对应的图像区域，获取所述图像区域的特征识别结果，作为待显示识别结果；以及在所述成像区域上叠加地显示所述待显示识别结果。

Description

基于人工智能的图像处理方法、显微镜、系统和介质
技术领域
本公开涉及图像处理领域，具体的涉及一种基于人工智能的图像处理方法、显微镜、系统和介质。
背景技术
人工智能(Artificial Intelligence)技术可以广泛应用于各种领域，诸如实现智能家居、智能医疗等。例如，利用诸如深度神经网络的人工智能算法能对图像进行图像处理，实现特征识别，进一步地，还可以辅助实现诸如病灶识别等功能，让医疗服务走向智能化，使得有限医疗资源让更多人共享。例如，AI辅助影像分析、AI辅助病理诊断、AI疾病识别、AI健康管理等。
目前，对于基于人工智能算法得到的特征识别结果，由于基于切片的显微图像的特征的复杂性、算法的复杂程度以及图像分辨率较低等因素的影响，使得特征识别的准确性较低，一般仅作为辅助信息。此外，经过人工智能算法处理得到特征识别结果之后，仍然需要专业人员对所有的图像逐个进行审核，已确定基于人工智能算法得到的特征识别结果是否准确，这使得人工智能算法并未实际降低专业人员的工作量。
发明内容
本申请的目的是提供一种基于人工智能的图像处理方法、显微镜、系统和介质。
根据本公开的一方面，提供了一种基于人工智能的图像处理方法，包括：获得图像的特征识别结果，其中，所述特征识别结果是通过对所述图像进行图像处理以识别所述图像中的特征获得的，所述图像是通过对切片进行图像采集获得的；确定显微镜对所述切片进行成像的目镜视野内的成像区域；在所述图像中确定与所述成像区域对应的图像区域，获取所述图像区域的特征识别结果，作为待显示识别结果；以及在所述成像区域上叠加地显示所述待显示识别结果。
根据本公开的一些实施例，所述特征识别结果为所述特征的标识和所述特征的边界线。
根据本公开的一些实施例，所述图像处理方法还包括：获取所述切片的复核指示信息；基于所述复核指示信息对所述切片进行成像，其中，基于所述特征的标识生成所述图像的复核指示信息，作为与所述图像对应的切片的复核指示信息。
根据本公开的一些实施例，在所述图像中确定与所述成像区域对应的图像区域包括：在用于显示所述待显示识别结果的显示屏中，确定所述成像区域在所述显示屏中的显示范围；在所述图像中，确定与显微镜的目镜视野中心点对应的图像坐标值；基于所述显示范围和图像坐标值确定与所述成像区域对应的图像区域。
根据本公开的一些实施例，确定与目镜视野中心点对应的图像坐标值包括：在所述切片中，确定目镜视野中心点的切片坐标值；确定所述切片的物理尺寸以及所述图像的像素尺寸；以及基于所述物理尺寸、像素尺寸和目镜视野中心点的切片坐标值确定所述图像坐标值：
Figure BDA0002218617140000021
其中，(x2,y2)表示所述图像坐标值，(x1,y1)表示所述目镜视野中心点的切片坐标值，W1和H1分别表示所述切片在横向和纵向的物理尺寸，W2和H2分别表示所述图像在横向和纵向的像素尺寸。
根据本公开的一些实施例，确定目镜视野中心点的切片坐标值包括：确定所述目镜视野中心点在显微镜载物台坐标系中的第一坐标值；确定所述切片的左上角点位于所述显微镜载物台坐标系中的第二坐标值；基于所述第一坐标值和第二坐标值，确定所述目镜视野中心点在切片坐标系中的切片坐标值，其中，所述切片坐标系以切片的左上角点为原点，以切片的水平方向为横轴，以切片的垂直方向为纵轴，所述第一坐标值、第二坐标值和切片坐标值表示物理长度。
根据本公开的一些实施例，基于所述显示范围和图像坐标值确定与所述成像区域对应的图像区域包括：在所述图像中，确定与所述显示范围的半径对应的识别半径；将所述图像中以所述图像坐标值为中心、以所述识别半径为半径的区域确定为所述图像区域；将所述图像区域的识别结果作为所述待显示识别结果。
根据本公开的一些实施例，确定与所述显示半径对应的识别半径包括：确定所述图像的采集放大倍率；确定所述显微镜的物镜放大倍率；基于所述显示半径、采集放大倍率和物镜放大倍率确定所述识别半径：
Figure BDA0002218617140000031
其中，r2表示识别半径，r1表示显示范围的半径，m1表示采集放大倍率，m2表示物镜放大倍率。
根据本公开的一些实施例，所述图像处理方法还包括：利用数字切片扫描仪对所述切片进行图像采集，生成全切片数字图像作为所述图像。
根据本公开的另一方面，还提供了一种基于人工智能的显微镜，包括：传输接口，配置成接收图像的特征识别结果，其中，所述特征识别结果是通过对所述图像进行图像处理以识别所述图像中的特征获得的，所述图像是通过对切片进行图像采集获得的；显微物镜，配置成对所述切片进行成像；处理器，配置成确定所述显微物镜对所述切片进行成像的目镜视野内的成像区域；在所述图像中确定与所述成像区域对应的图像区域，获取所述图像区域的特征识别结果，作为待显示识别结果；以及增强现实显示器，配置成在所述成像区域上叠加地显示所述待显示识别结果。
根据本公开的一些实施例，所述图像是由数字切片扫描仪对所述切片进行图像采集生成的全切片数字图像。
根据本公开的一些实施例，所述特征识别结果为所述特征的标识和所述特征的边界线，，所述处理器还配置成获取所述切片的复核指示信息，其中，所述显微物镜基于所述复核指示信息对所述切片进行成像；其中，基于所述特征的标识生成所述图像的复核指示信息，作为与所述图像对应的切片的复核指示信息。
根据本公开的又一方面，还提供了一种基于人工智能的图像处理系统，包括：数字切片扫描仪，配置成对切片进行图像采集，生成全切片数字图像，作为所述图像；显微镜，配置成对所述切片进行成像；处理器，以及存储器，其中，所述存储器中存储有计算机可读代码，所述计算机可读代码当由所述处理器运行时，执行如上所述的图像处理方法。
根据本公开的一些实施例，所述图像处理系统还包括增强现实显示器，配置成在所述显微镜的成像区域上叠加地显示所述图像的特征识别结果。
根据本公开的又一方面，还提供了一种计算机可读存储介质，其上存储有指令，所述指令在被处理器执行时，使得所述处理器执行如上所述的基于人工智能的图像处理方法。
利用根据本公开的基于人工智能的图像处理方法、显微镜、系统和介质，可以提高人工智能算法对于图像的图像处理结果的识别准确性，并基于显微镜来将特征识别结果与图像叠加地显示，便利专业人员的复核步骤，促进基于人工智能的图像处理的智能化。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本公开实施例的基于人工智能的图像处理方法的流程图；
图2A示出了显微镜对切片进行成像的示意图；
图2B示出了叠加地显示待显示识别结果的示意图；
图2C示出了叠加地显示待显示识别结果的另一示意图；
图3A示出了根据本公开实施例的在所述图像中确定与所述成像区域对应的图像区域的流程示意图；
图3B示出了根据本公开实施例的确定与目镜视野中心点对应的图像坐标值的流程示意图；
图3C示出了根据本公开实施例的确定目镜视野中心点的切片坐标值的流程示意图；
图3D示出了根据本公开实施例的基于显示半径和图像坐标值确定图像区域的流程示意图；
图3E示出了根据本公开实施例的确定与所述显示半径对应的识别半径的流程示意图；
图4示出了根据本公开实施例的图像处理方法的进行特征识别的示例流程图；
图5示出了根据本公开实施例的显微镜的示意图；
图6示出了根据本公开实施例的基于人工智能的图像处理系统的示意性框图；
图7示出了根据本公开实施例的示例性计算设备的架构的示意图；
图8示出了根据本公开实施例的计算机存储介质的示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
本公开中使用了流程图用来说明根据本公开的实施例的方法的步骤。应当理解的是，前面或后面的步骤不一定按照顺序来精确的进行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
本公开提供了一种基于人工智能的图像处理方法，用于利用人工智能算法对图像进行图像处理以识别所述图像中的特征，并生成特征识别结果，提高人工智能算法对于图像的识别准确性，并将特征识别结果与图像叠加地显示，便利专业人员的复核步骤，促进基于人工智能的图像处理的智能化。
图1示出了根据本公开实施例的基于人工智能的图像处理方法的流程图。如图1所示，首先，在步骤S101，获得图像的特征识别结果。所述特征识别结果是通过对所述图像进行图像处理以识别所述图像中的特征获得的。根据本公开实施例，所述所述图像是通过对切片进行图像采集获得的。换句话说，所述切片与所述图像是一一对应的。所述切片可以是玻片标本的一种形式，例如可以是生物组织切片或者是医学切片。利用光学显微镜或电子显微镜等成像设备来对所述切片进行成像可以观察切片内的微观组织，本公开并不限制获得切片的具体方法。
作为一个示例，可以利用对切片进行图像采集，诸如，对切片进行扫描，从而生成全切片数字图像(Whole Slide Imaging，WSI)作为所述图像。所述数字切片扫描仪可以以放大扫描的方式来获得所述全切片数字图像，其中包含有切片的全部信息，并且图像质量较高。例如，所述数字切片扫描仪可以以预先设定的采集放大倍率(诸如，40倍)对切片进行扫描。换句话说，在本公开的图像处理方法中，所述人工智能算法进行图像处理的图像是通过对切片进行图像采集得到的完整的、具有较高图像质量的图像，这有助于提高基于人工智能算法的特征识别的准确性。本公开中，将以所述全切片数字图像作为所述图像的具体示例进行描述，需要注意的是，还可以采用其他的图像采集方式来基于切片获得所述图像，诸如相机、摄像机等图像采集设备。
作为一个示例，所述对所述图像进行图像处理以识别所述图像中的特征，可以基于人工智能(AI)算法来实现。所述人工智能算法例如可以由深度神经网络实现。举例来说，所述深度神经网络可以是基于GoogLeNet，AlexNet、ZFnet、ResNet等神经网络模型，并通过训练样本数据库来实现对图像进行图像处理，以实现特征识别。例如，所述特征可以是细胞核、细胞壁等微观组织，或者，也可以是癌变细胞、结节、动脉瘤等图像特征。通过训练，所述AI算法可以识别(或者称为检测)图像中是否包括上述特征，从而生成特征识别结果。
根据本公开实施例，所述特征识别结果为所述特征的标识和所述特征的边界线。作为一个示例，对于要识别的特征为癌变细胞的情况下，可以基于人工智能算法对所述图像进行图像处理，以识别其中是否包括癌变细胞，并基于图像处理结果生成所述图像的标识，例如，所述标识包括“阳性”和“阴性”，其中，“阳性”标识表示所述医图像中包括要识别的特征，例如癌变细胞，所述“阴性”标识表示所述图像中不包括要识别的特征。进一步的，对于具有“阳性”标识的图像，所述特征识别结果还可以包括要识别的特征的边界线，例如癌变细胞范围的边界线。作为其他的示例，所述要识别的特征也可以是红细胞，用于确定切片内包括的红细胞的数目。需要注意的是，根据本公开的图像处理方法并不限制要识别的特征的具体种类，例如通过对人工智能算法进行不同的训练处理，其可以用于识别各类图像特征。
根据本公开实施例，所述图像处理方法可以还包括获取所述切片的复核指示信息，基于所述复核指示信息对所述切片进行成像。基于所述特征的标识生成所述图像的复核指示信息，作为与所述图像对应的切片的复核指示信息。具体的，在图像包括“阳性”标识的情况下，生成所述图像的复核指示信息，作为与所述图像对应的切片的复核指示信息。在上述癌变细胞检测的示例中，对于包括所述“阳性”标识的图像，即包括癌变细胞，可以生成复核指示信息。所述显微镜可以基于复核指示信息来对切片进行成像。换句话说，由显微镜进行成像的切片仅包括由AI算法识别为包括癌变细胞(即，包括“阳性”标识)的切片，以供专业人员进一步地复核操作。而对于由AI算法识别为不包括癌变细胞(即，包括“阴性”标识)的切片，并不进行进一步的复核操作，从而可以有效降低专业人员需要观察的切片的数目，降低人工工作量。
接着如图1所示，在步骤S102，确定显微镜对所述切片进行成像的目镜视野内的成像区域。图2A示出了显微镜对切片进行成像的示意图，所述显微镜可以是传统的显微镜，配置有用于对切片进行放大成像的物镜。所述显微镜还配置有目镜，通过目镜，例如专业人员可以观察经过放大的图像，从而进行微观组织观察。需要注意的是，所述显微镜由于放大倍率、透镜口径的限制，视野范围内仅能观察到切片的一部分图像，在透镜口径不变的情况下，放大倍率越大，可以观察到的切片的图像面积越小。所述成像区域可以理解成目镜视野内观看到的切片内的图像范围。
接着，在步骤S103，在所述图像中确定与所述成像区域对应的图像区域，获取所述图像区域的特征识别结果，作为待显示识别结果。接着，在步骤S104，在所述成像区域上叠加地显示所述待显示识别结果。
如上所述，在步骤S101中，基于人工智能算法可以基于诸如全切片数字图像生成对应于整个图像的特征识别结果。在步骤S103中可以在所述图像中，确定与目镜视野内的成像区域对应的图像区域，并获取对应于该部分区域的特征识别结果，作为待显示识别结果，并在所述成像区域上叠加地显示所述待显示识别结果。由此使得，显示的待显示识别结果与当前目镜视野内的成像区域相一致。其中，所述待显示识别结果为与目镜视野内的成像区域对应的图像区域内的所述特征的标识和所述特征的边界线。举例来说，对于该图像区域，所述待显示识别结果可以包括“阳性”或者“阴性”标识，以表示所述图像区域内是否包括要识别的特征。对于包括“阳性”标识的图像区域，所述待显示识别结果还包括所述特征的边界线，例如即癌变细胞的边界线、或者红细胞的边界线。
作为一个示例，可以基于增强现实(Augmented Reality)技术，在显微镜的成像区域中叠加地显示所述待显示识别结果。所述增强现实技术可以将虚拟信息(诸如，待显示识别结果)叠加地显示在真实信息(诸如，成像区域)中，从而实现将真实世界信息和虚拟世界信息集成在一起，使得观看者获得信息增强的观看体验。可选地，可以传统的显微镜上叠加增强现实显示屏，或者可以将增强现实显示屏集成到所述显微镜中。
图2B示出了叠加地显示待显示识别结果的示意图，其可以是观察者从显微镜的目镜观看到的图像。如图2B所示，圆形区域对应于由显微镜对切片进行成像的成像区域，此外，在所述成像区域上还叠加地显示有对应于该成像区域的待显示识别结果，即“阴性”标识，例如，这可以表示人工智能算法识别该成像区域内不包括要识别的特征。利用如图2C所示的显示效果，诸如医生可以更直观、快速地完成对于此部分区域的复核。
图2C示出了叠加地显示待显示识别结果的另一示意图，类似地，圆形区域对应于由显微镜对切片进行成像的成像区域，并且，在所述成像区域上还叠加地显示有对应于该成像区域的待显示识别结果，即“阳性”标识，这表明人工智能算法识别该成像区域内包括要识别的特征，并且，还显示有识别的特征的边界线。
根据本公开实施例，还可以利用上述步骤S101对多个切片进行图像处理，以实现切片的初步筛选操作。具体的，经过上述步骤S101的处理之后，如果特征识别结果表示该图像中包括要识别的特征，则可以将该图像标识为“阳性”。此外，还可以关联地存储图像以及该图像的特征识别结果，例如，以索引的方式。对于标识为“阳性”的图像，将进行后续的步骤S102-S104，即，通过显微镜对该图像的切片进行成像，并进一步实现如图2B和图2C所示的显示过程，以辅助专业人员完成进一步地检查操作，例如可以称为“复核”步骤。如果特征识别结果表示该图像中不包括要识别的特征，则可以将该图像标识为“阴性”。对于标识为“阴性”图像，可选择地，不进行上述步骤S102-S104的处理，实现通过人工智能算法筛选过滤掉不包括要识别的特征的切片，此切片不经过上述“复核”步骤，从而降低专业人员的复核工作量，提高图像特征识别的效率。作为另一示例，所述特征识别结果还可以包括识别置信度，用于表示识别结果的准确性。例如，可以对识别置信度低于预设阈值的切片进行上述“复核”步骤。
利用根据本公开的图像处理算法，诸如专业人员可以快速、直观地完成对于切片的复核步骤，提高了特征识别的准确率以及识别效率。此外，由于专业人员基于显微镜观看的切片是通过人工智能算法筛选得到的，即无需观察确定为不包括要识别的特征的切片，从而降低专业人员的复核工作量，避免了由专业人员对所有的切片进行复核所产生的不必要的工作量。
图3A-图3E示出了确定与所述成像区域对应的图像区域的流程示意图，以下将结合图3A-图3E来具体描述确定上述图像区域的过程。
图3A示出了根据本公开实施例的在所述图像中确定与所述成像区域对应的图像区域(步骤S103)的流程示意图。首先，在步骤31，在用于显示所述待显示识别结果的显示屏中，确定所述成像区域在所述显示屏中的显示范围。在利用显微镜进成像的过程中，通常显示范围为圆形区域，由此可以以显示半径r1表示所述显示范围。
所述显示屏例如可以是步骤S104中用于在成像区域叠加地显示待显示识别结果的增强现实显示屏，其可以集成在所述显微镜中，以实现增强现实显示。例如，可以确定所述显示屏和显微镜目镜视野的重叠区域，由于所述目镜视野是圆形的，所述重叠区域可以表示为以(xAR,yAR)为中心，r1为半径的圆盘。举例来说，可以使用诸如鼠标在所述显示屏上沿着目镜视野的边缘绘制一个圆形区域，该圆形区域内的范围即为上述重叠区域，从而得到(xAR,yAR)以及r1的数值。通常地，所述重叠区域可以位于显示屏的中央，在此种情形下，以显示屏包括1800*1800个像素为例，参数(xAR,yAR)和r1可以分别是(900,900)和900。作为另一示例，对于集成有上述增强现实显示屏的显微镜，还可以通过查询显微镜用户手册的方式来获取上述数值。
接着，在步骤S32，在所述图像中，确定与目镜视野中心点对应的图像坐标值(x2,y2)。具体的，图3B示出了根据本公开实施例的确定与目镜视野中心点对应的图像坐标值的流程示意图。上述步骤S32可以具体包括图3B中示出的步骤S321-S323。首先，在步骤S321，在所述切片中，确定目镜视野中心点的切片坐标值(x1,y1)，关于此步骤，将在下文结合图3C作进一步的描述。接着，在步骤S322，确定所述切片的物理尺寸以及所述图像的像素尺寸。例如，可以由W1和H1分别表示所述切片在横向和纵向的物理尺寸，W2和H2分别表示所述图像在横向和纵向的像素尺寸。
接着，在步骤S323，基于所述物理尺寸W1和H1、像素尺寸W2和H2、以及目镜视野中心点的切片坐标值(x1,y1)确定所述图像坐标值(x2,y2)：
Figure BDA0002218617140000101
关于上述步骤S321，图3C示出了根据本公开实施例的确定目镜视野中心点的切片坐标值的流程示意图。具体的，步骤S321可以包括步骤S3211-S3213。在步骤S3211，确定所述目镜视野中心点在显微镜载物台坐标系中的第一坐标值，表示为(xview,yview)，接着，在步骤S3212，确定所述切片的左上角点位于所述显微镜载物台坐标系中的第二坐标值，表示为(xslide,yslide)，在步骤S3213，基于所述第一坐标值和第二坐标值，确定所述目镜视野中心点在切片坐标系中的切片坐标值(x1,y1)：
(x1,y1)＝(xview-xslide,yview-yslide) (2)
其中，所述切片坐标系以切片的左上角点为原点，以切片的水平方向为横轴，以切片的垂直方向为纵轴，所述第一坐标值、第二坐标值和切片坐标值表示物理长度。
返回至图3A，在步骤S33，基于所述显示半径r1和图像坐标值(x2,y2)确定与所述成像区域对应的图像区域。具体的，所述步骤S33可以包括图3D中示出的步骤S331-S333。首先，在步骤S331，在所述图像中，确定与所述显示半径对应的识别半径r2。具体的，此步骤S331可以包括图3E中示出的步骤S3311-S3313。在步骤S3311，确定所述图像的采集放大倍率m1，在步骤S3312，确定所述显微镜的物镜放大倍率m2。接着，在步骤S3313，基于所述显示半径r1、采集放大倍率m1和物镜放大倍率m2确定所述识别半径r2：
Figure BDA0002218617140000102
例如，所述采集放大倍率m1可以是上述数字切片扫描仪的扫描放大倍率，一般地，其可以是40倍。所述物镜放大倍率m2是物镜对切片进行放大成像的倍率，例如，可以是5倍、10倍、20倍和40倍。
接着，如图3D所示，在步骤S332，将所述图像中以所述图像坐标值(x2,y2)为中心、以所述识别半径r2为半径的区域确定为所述图像区域。在步骤S333，将所述图像区域的识别结果作为所述待显示识别结果。
经过以上结合图3A-图3E中的步骤，可以在所述图像中确定与所述成像区域对应的图像区域，并且获取所述图像区域的特征识别结果，作为待显示识别结果，从而可以实现，在诸如专业人员通过显微镜查看切片时，可以在目镜视野内的成像区域上叠加地显示基于人工智能算法得到的特征识别结果，并且，显示的特征识别结果是与显微镜当前显示的成像区域相对应，例如，如图2B和图2C所示出的。基于以上叠加显示的显示效果，专业人员可以更加快速、直观地对切片进行观察，并最终给出是否包括要识别的特征的复核结果。
图4示出了根据本公开实施例的图像处理方法的进行特征识别的示例流程图。以下将结合图4，以利用根据本公开的方法进行特征识别为例来详细描所述方法。
首先，在步骤S201，利用数字切片扫描仪对所述切片进行图像采集，生成全切片数字图像(WSI)，在步骤S202，使用AI算法对WSI进行图像处理，生成特征识别结果。例如，所述特征可以是癌变细胞，在此示例中，所述特征识别结果可以是癌变特征识别结果。以下将以癌变特征识别为例描述图4的步骤。需要注意的是，所述特征并不限于癌变细胞。
接着，如图4所示，在步骤S203，还可以存储切片索引、全切片数字图像以及所述特征识别结果，例如存储在数据库中。在步骤S204，确定癌症特征识别结果为“阳性”标识的切片的切片索引，还可以生成复核指示信息。举例来说，可以包括多个切片，分别对多个切片进行扫描，得到与切片一一对应的多个全切片数字图像，并对全切片数字图像进行图像处理，以生成该图像的癌症特征识别结果。基于所述特征识别结果，可以对所述多个全切片数字图像进行筛选，即，从中筛选出标识为“阳性”的全切片数字图像。
接着，对于筛选出的切片，进行步骤S205，基于确定的切片索引，利用显微镜对切片进行成像。此外，在步骤S206，可以基于确定的切片索引，从数据库中查找图像和该图像的特征识别结果，以用于生成所述待显示识别结果。
接着，在步骤S207，实时获取当前目镜视野所对应的图像区域以及待显示识别结果。并在步骤S208，在目镜视野内的成像区域上叠加地显示对应于该成像区域的待显示识别结果。具体的，对于获取对应于该成像区域的待显示识别结果的过程可以结合图3A-图3E的描述来进行，在此不再赘述。接着，在步骤S209，诸如专业人员可以基于步骤S208显示的内容来得到最终的图像处理结果。
利用根据本公开的基于人工智能的图像处理方法，可以提高人工智能算法对于图像的特征识别准确性，并将特征识别结果与图像叠加地显示，便利专业人员的复核操作，促进基于人工智能的图像处理的智能化。
根据本公开的另一方面，还提供了一种基于人工智能的显微镜。图5示出了根据本公开实施例的显微镜的示意图。
如图5所示，所述基于人工智能的显微镜110可以包括传输接口1101、显微物镜1102、处理器1103以及增强现实显示器1104。
所述传输接口1101可以配置成接收图像的特征识别结果，其中，所述图像通过对切片进行图像采集获得，例如，所述图像是由数字切片扫描仪对所述切片进行图像采集生成的全切片数字图像。例如，所述传输接口1101可以经由网络120来接收所述特征识别结果。关于此点，将在下文详细描述。
根据本公开实施例，所述特征识别结果是通过对所述图像进行图像处理以识别所述图像中的特征获得的。例如，可以基于人工智能算法对所述图像进行图像处理以识别所述图像中的特征，从而得到所述图像的特征识别结果。
所述显微物镜1102可以配置成对所述切片进行成像，所述处理器1103可以配置成确定所述显微物镜对所述切片进行成像的目镜视野内的成像区域；在所述图像中确定与所述成像区域对应的图像区域，获取所述图像区域的特征识别结果，作为待显示识别结果。所述增强现实显示器1104可以配置成在所述成像区域上叠加地显示所述待显示识别结果。
根据本公开实施例，所述特征识别结果可以为所述特征的标识和所述特征的边界线。所述处理器还配置成获取所述切片的复核指示信息，其中，所述显微物镜基于所述复核指示信息对所述切片进行成像，其中，基于所述特征的标识生成所述图像的复核指示信息，作为与所述图像对应的切片的复核指示信息。
此外，所述处理器1103还可以直接、间接的连接至存储器，其中存储有计算机可读代码，所述代码当由所述处理器1103执行时，可以实现上述基于人工智能的图像处理方法的全部、部分步骤。
所述的传输接口1101可以与网络120连接来接收数据。
如图5所示出的，根据本公开提供的显微镜110可以用于接收数据，诸如特征识别结果。在一些实施例中，可以利用显微镜110中集成的处理器1103来执行本公开提供的图像处理方法。在一些实现方式中，显微镜110可以利用内置的应用程序执行本申请提供的基于人工智能图像处理方法。在另一些实现方式中，显微镜110可以通过调用外部存储的应用程序执行本公开提供的图像处理方法。
在另一些实施例中，显微镜110还可以将显微镜参数经由网络120发送至服务器130，并由服务器130执行本公开提供的图像处理方法。在一些实现方式中，服务器130可以利用服务器内置的应用程序执行本公开提供的图像处理方法。在另一些实现方式中，服务器130可以通过调用服务器外部存储的应用程序执行本申请提供的图像处理方法。
网络120可以是单个网络，或至少两个不同网络的组合。例如，网络120可以包括但不限于局域网、广域网、公用网络、专用网络等中的一种或几种的组合。
服务器130可以是一个单独的服务器，或一个服务器群组，群组内的各个服务器通过有线的或无线的网络进行连接。一个服务器群组可以是集中式的，例如数据中心，也可以是分布式的。服务器130可以是本地的或远程的。
数据库140可以泛指具有存储功能的设备。数据库140主要用于存储从显微镜110和服务器130工作中所利用、产生和输出的各种数据。数据库140可以是本地的，或远程的。数据库140可以包括各种存储器、例如随机存取存储器(Random Access Memory(RAM))、只读存储器(Read Only Memory(ROM))等。以上提及的存储设备只是列举了一些例子，该系统可以使用的存储设备并不局限于此。
数据库140可以经由网络120与服务器130或其一部分相互连接或通信，或直接与服务器130相互连接或通信，或是上述两种方式的结合。
在一些实施例中，数据库140可以是独立的设备。在另一些实施例中，数据库140也可以集成在显微镜110和服务器140中的至少一个中。例如，数据140可以设置在显微镜110上，也可以设置在服务器140上。又例如，数据库140也可以是分布式的，其一部分设置在显微镜110上，另一部分设置在服务器140上。
需要注意的是，除了图5中所示出的部件，所述显微镜110还可以包括实现其功能其他部件，诸如载物台等，在此不作限制。
根据本公开的又一方面，还提供了一种基于人工智能的图像处理系统。图6示出了根据本公开实施例的图像处理系统的示意性框图。
如图6所示，所述图像处理系统可以包括数字切片扫描仪210、显微镜220、处理器230以及存储器240。
所述数字切片扫描仪210可以配置成对切片进行图像采集，生成全切片数字图像，作为所述图像。所述显微镜220可以配置成对所述切片进行成像，例如，所述显微镜220可以是如图5中示出显微镜110。
作为一个具体实施例，所述数字切片扫描仪210可以对切片进行扫描，并获取全切片数字图像，作为如上所述的图像。接着，所述处理器230可以与数字切片扫描仪210有线和/或有线连接，以接收上述图像，然后，所述处理器230可以运行存储器240中存储有计算机可读代码，所述计算机可读代码当由所述处理器230运行时，可以执行如上所述的基于人工智能的图像处理方法，从而实现基于切片进行特征识别。根据本公开实施例，所述图像处理系统200还可以包括增强现实显示器，配置成在所述显微镜220的成像区域上叠加地显示所述图像的特征识别结果，显示效果可以参照图2B和图2C中所示出的，在此不再重复描述。
根据本公开实施例的方法或装置也可以借助于图7所示的计算设备300的架构来实现。如图7所示，计算设备300可以包括总线301、一个或多个CPU302、只读存储器(ROM)303、随机存取存储器(RAM)304、连接到网络的通信端口305、输入/输出组件306、硬盘307等。计算设备300中的存储设备，例如ROM 303或硬盘307可以存储本公开提供的基于人工智能的图像处理方法的处理和/或通信使用的各种数据或文件以及CPU所执行的程序指令。计算设备300还可以包括用户界面308。当然，图7所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图7示出的计算设备中的一个或多个组件。
根据本公开的又一方面，还提供了一种计算机可读存储介质。图8示出了根据本公开的存储介质的示意图400。
如图8所示，所述计算机存储介质402上存储有计算机可读指令401。当所述计算机可读指令401由处理器运行时，可以执行参照以上附图描述的根据本公开实施例的基于人工智能的图像处理方法。所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。例如，所述计算机存储介质402可以连接于诸如计算机等的计算设备，接着，在所述计算设备运行所述计算机存储介质402上存储的计算机可读指令401的情况下，可以进行如上所述的根据本公开的基于人工智能的图像处理方法。
本领域技术人员能够理解，本公开所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。
此外，虽然本公开对根据本公开的实施例的系统中的某些单元做出了各种引用，然而，任何数量的不同单元可以被使用并运行在客户端和/或服务器上。所述单元仅是说明性的，并且所述系统和方法的不同方面可以使用不同单元。
本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
以上是对本公开的说明，而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是对本公开的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。

Claims (14)

1.一种图像处理方法，包括：
获得图像的特征识别结果，其中，所述特征识别结果是通过对所述图像进行图像处理以识别所述图像中的特征获得的，所述图像是通过对切片进行图像采集获得的；
确定显微镜对所述切片进行成像的目镜视野内的成像区域；
在用于显示待显示识别结果的显示屏中，确定所述成像区域在所述显示屏中的显示范围；
在所述图像中，确定与显微镜的目镜视野中心点对应的图像坐标值；
基于所述显示范围和图像坐标值，在所述图像中确定与所述成像区域对应的图像区域；
获取所述图像区域的特征识别结果，作为所述待显示识别结果；以及
在所述成像区域上叠加地显示所述待显示识别结果。
2.根据权利要求1所述的图像处理方法，其中，所述特征识别结果为所述特征的标识和所述特征的边界线。
3.根据权利要求2所述的图像处理方法，还包括：
获取所述切片的复核指示信息；
基于所述复核指示信息对所述切片进行成像，其中，
基于所述特征的标识生成所述图像的复核指示信息，作为与所述图像对应的切片的复核指示信息。
4.根据权利要求1所述的图像处理方法，其中，确定与目镜视野中心点对应的图像坐标值包括：
在所述切片中，确定目镜视野中心点的切片坐标值；
确定所述切片的物理尺寸以及所述图像的像素尺寸；以及
基于所述物理尺寸、像素尺寸和目镜视野中心点的切片坐标值确定所述图像坐标值：
Figure FDA0002767106680000011
其中，(x2,y2)表示所述图像坐标值，(x1,y1)表示所述目镜视野中心点的切片坐标值，W1和H1分别表示所述切片在横向和纵向的物理尺寸，W2和H2分别表示所述图像在横向和纵向的像素尺寸。
5.根据权利要求4所述的图像处理方法，其中，确定目镜视野中心点的切片坐标值包括：
确定所述目镜视野中心点在显微镜载物台坐标系中的第一坐标值；
确定所述切片的左上角点位于所述显微镜载物台坐标系中的第二坐标值；
基于所述第一坐标值和第二坐标值，确定所述目镜视野中心点在切片坐标系中的切片坐标值，
其中，所述切片坐标系以切片的左上角点为原点，以切片的水平方向为横轴，以切片的垂直方向为纵轴，所述第一坐标值、第二坐标值和切片坐标值表示物理长度。
6.根据权利要求1所述的图像处理方法，其中，基于所述显示范围和图像坐标值确定与所述成像区域对应的图像区域包括：
在所述图像中，确定与所述显示范围的半径对应的识别半径；
将所述图像中以所述图像坐标值为中心、以所述识别半径为半径的区域确定为所述图像区域；
将所述图像区域的识别结果作为所述待显示识别结果。
7.根据权利要求6所述的图像处理方法，其中，确定与所述显示范围的半径对应的识别半径包括：
确定所述图像的采集放大倍率；
确定所述显微镜的物镜放大倍率；
基于所述显示范围的半径、采集放大倍率和物镜放大倍率确定所述识别半径：
Figure FDA0002767106680000021
其中，r2表示识别半径，r1表示显示范围的半径，m1表示采集放大倍率，m2表示物镜放大倍率。
8.根据权利要求1所述的图像处理方法，还包括：
利用数字切片扫描仪对所述切片进行图像采集，生成全切片数字图像作为所述图像。
9.一种显微镜，包括：
传输接口，配置成接收图像的特征识别结果，其中，所述特征识别结果是通过对所述图像进行图像处理以识别所述图像中的特征获得的，所述图像是通过对切片进行图像采集获得的；
显微物镜，配置成对所述切片进行成像；
处理器，配置成：
确定所述显微物镜对所述切片进行成像的目镜视野内的成像区域；
在用于显示待显示识别结果的显示屏中，确定所述成像区域在所述显示屏中的显示范围；
在所述图像中，确定与显微镜的目镜视野中心点对应的图像坐标值；
基于所述显示范围和图像坐标值，在所述图像中确定与所述成像区域对应的图像区域；
获取所述图像区域的特征识别结果，作为所述待显示识别结果；以及
增强现实显示器，配置成在所述成像区域上叠加地显示所述待显示识别结果。
10.根据权利要求9所述的显微镜，其中，
所述图像是由数字切片扫描仪对所述切片进行图像采集生成的全切片数字图像。
11.根据权利要求9所述的显微镜，其中，
所述特征识别结果为所述特征的标识和所述特征的边界线，所述处理器还配置成获取所述切片的复核指示信息，其中，所述显微物镜基于所述复核指示信息对所述切片进行成像，其中，基于所述特征的标识生成所述图像的复核指示信息，作为与所述图像对应的切片的复核指示信息。
12.一种图像处理系统，包括：
数字切片扫描仪，配置成对切片进行图像采集，生成全切片数字图像，作为所述图像；
显微镜，配置成对所述切片进行成像；
处理器，以及
存储器，
其中，所述存储器中存储有计算机可读代码，所述计算机可读代码当由所述处理器运行时，执行如权利要求1-8中任一项所述的图像处理方法。
13.根据权利要求12所述的图像处理系统，还包括，增强现实显示器，配置成在所述显微镜的成像区域上叠加地显示所述图像的特征识别结果。
14.一种计算机可读存储介质，其上存储有指令，所述指令在被处理器执行时，使得所述处理器执行如权利要求1-8中任一项所述的图像处理方法。
CN201910924607.1A 2019-09-27 2019-09-27 基于人工智能的图像处理方法、显微镜、系统和介质 Active CN110619318B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910924607.1A CN110619318B (zh) 2019-09-27 2019-09-27 基于人工智能的图像处理方法、显微镜、系统和介质
EP20869050.3A EP3940585A4 (en) 2019-09-27 2020-09-15 IMAGE PROCESSING METHOD BASED ON ARTIFICIAL INTELLIGENCE, MICROSCOPE, SYSTEM AND SUPPORT
PCT/CN2020/115214 WO2021057538A1 (zh) 2019-09-27 2020-09-15 基于人工智能的图像处理方法、显微镜、系统和介质
US17/482,177 US11790672B2 (en) 2019-09-27 2021-09-22 Image processing method, microscope, image processing system, and medium based on artificial intelligence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910924607.1A CN110619318B (zh) 2019-09-27 2019-09-27 基于人工智能的图像处理方法、显微镜、系统和介质

Publications (2)

Publication Number Publication Date
CN110619318A CN110619318A (zh) 2019-12-27
CN110619318B true CN110619318B (zh) 2021-03-02

Family

ID=68924802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910924607.1A Active CN110619318B (zh) 2019-09-27 2019-09-27 基于人工智能的图像处理方法、显微镜、系统和介质

Country Status (4)

Country Link
US (1) US11790672B2 (zh)
EP (1) EP3940585A4 (zh)
CN (1) CN110619318B (zh)
WO (1) WO2021057538A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619318B (zh) 2019-09-27 2021-03-02 腾讯科技（深圳）有限公司 基于人工智能的图像处理方法、显微镜、系统和介质
CN111462005B (zh) * 2020-03-30 2023-01-06 腾讯医疗健康(深圳)有限公司 处理显微图像的方法、装置、计算机设备及存储介质
CN111766694A (zh) * 2020-07-20 2020-10-13 深圳市创能亿科科技开发有限公司 显微镜切片位置的采集方法和系统
CN112785640B (zh) * 2020-12-28 2022-08-09 宁波江丰生物信息技术有限公司 一种用于扫描仪内部切片位置检测的方法和系统
CN113706661B (zh) * 2021-10-26 2022-02-25 北京美摄网络科技有限公司 万花筒特效的形成方法、装置、电子设备和存储介质
CN115063408B (zh) * 2022-07-28 2022-12-02 广州粤芯半导体技术有限公司 图像处理方法、装置、计算机设备和存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5521177B2 (ja) * 2010-04-28 2014-06-11 株式会社島津製作所 質量分析装置
CN102297873A (zh) * 2011-05-03 2011-12-28 杭州一二八医院 利用软x射线显微成像进行癌细胞图形识别的方法
BR112015021902B1 (pt) * 2013-03-15 2021-06-15 Iris International, Inc Líquido para alinhamento de partícula e organela intracelular
EP3103378A1 (en) * 2014-04-08 2016-12-14 Olympus Corporation Endoscope system
CN203950071U (zh) * 2014-07-21 2014-11-19 张波 全自动智能诊断显微镜系统
JP6562626B2 (ja) * 2014-12-10 2019-08-21 キヤノン株式会社 顕微鏡システム
CN104794710A (zh) * 2015-04-13 2015-07-22 上海泽煜实验设备有限公司 一种图像处理方法及装置
US10699100B2 (en) * 2016-11-07 2020-06-30 Institute Of Automation, Chinese Academy Of Sciences Method for microscopic image acquisition based on sequential section
US11265449B2 (en) * 2017-06-20 2022-03-01 Academia Sinica Microscope-based system and method for image-guided microscopic illumination
US10705323B2 (en) * 2018-04-24 2020-07-07 Synaptive Medical (Barbados) Inc. Surgical microscope system with automatic zoom control
US11030758B2 (en) * 2018-05-18 2021-06-08 Strateos, Inc. Method and apparatus for registering images of histological sections
CN108982500B (zh) * 2018-07-03 2020-07-14 怀光智能科技（武汉）有限公司 一种宫颈液基细胞学智能辅助阅片方法和系统
CN110007455B (zh) * 2018-08-21 2021-01-26 腾讯科技（深圳）有限公司 病理显微镜、显示模组、控制方法、装置及存储介质
CN109031643A (zh) * 2018-10-31 2018-12-18 宁波舜宇仪器有限公司 一种增强现实显微镜
CN110619318B (zh) * 2019-09-27 2021-03-02 腾讯科技（深圳）有限公司 基于人工智能的图像处理方法、显微镜、系统和介质
US11341635B2 (en) * 2019-10-31 2022-05-24 Tencent America LLC Computer aided diagnosis system for detecting tissue lesion on microscopy images based on multi-resolution feature fusion
US11250563B2 (en) * 2019-10-31 2022-02-15 Tencent America LLC Hierarchical processing technique for lesion detection, classification, and segmentation on microscopy images
CN112068300B (zh) * 2020-11-10 2021-03-16 中国科学院自动化研究所 基于医疗显微影像的快门式自适应3d显示系统

Also Published As

Publication number Publication date
EP3940585A1 (en) 2022-01-19
WO2021057538A1 (zh) 2021-04-01
EP3940585A4 (en) 2022-07-13
US11790672B2 (en) 2023-10-17
CN110619318A (zh) 2019-12-27
US20220012457A1 (en) 2022-01-13

Similar Documents

Publication Publication Date Title
CN110619318B (zh) 基于人工智能的图像处理方法、显微镜、系统和介质
EP3839885A1 (en) Real-time pathological microscopic image collection and analysis system, method and device and medium
JP7422825B2 (ja) 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測
EP3992851A1 (en) Image classification method, apparatus and device, storage medium, and medical electronic device
JP5871325B2 (ja) 情報処理装置、情報処理システム、情報処理方法、プログラム及び記録媒体
JP5245424B2 (ja) 病理組織画像撮影システム、病理組織画像撮影方法、および病理組織画像撮影プログラム
US11954860B2 (en) Image matching method and device, and storage medium
CN108615236A (zh) 一种图像处理方法及电子设备
CN111489833A (zh) 一种肺部细胞病理快速现场评估系统、方法及计算机可读存储介质
JP5344073B2 (ja) 病理組織画像撮影システム、病理組織画像撮影方法、および病理組織画像撮影プログラム
JP4373682B2 (ja) 関心組織領域抽出方法、関心組織領域抽出プログラム及び画像処理装置
WO2021030995A1 (zh) 基于vrds ai下腔静脉影像的分析方法及产品
CN111339899B (zh) 导管特征获取方法、装置、设备、介质和智能显微镜
CN110503114B (zh) 图像特征提取方法、装置、肿瘤识别系统及存储介质
WO2024045507A1 (zh) 基于数据处理的荧光三维成像方法及装置
JP2017162034A (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
CN112651400B (zh) 一种立体内窥镜辅助检测方法、系统、装置及存储介质
JP2022121091A (ja) 口腔粘膜疾患診断支援システム，方法およびプログラム
CN115943305A (zh) 信息处理装置、信息处理方法、程序和信息处理系统
CN112734707A (zh) 一种3d内窥镜辅助检测方法、系统、装置及存储介质
CN111134735A (zh) 一种肺部细胞病理快速现场评估系统、方法及计算机可读存储介质
CN110415239B (zh) 图像处理方法、装置、设备、医疗电子设备以及介质
US11217209B2 (en) Image processing apparatus, image processing system and image processing method
CN117710233A (zh) 一种内窥图像的景深扩展方法及装置
US20210192734A1 (en) Electronic method and device for aiding the determination, in an image of a sample, of at least one element of interest from among biological elements, associated computer program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40018902

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant