CN110491502B - 显微镜视频流处理方法、系统、计算机设备和存储介质 - Google Patents

显微镜视频流处理方法、系统、计算机设备和存储介质 Download PDF

Info

Publication number
CN110491502B
CN110491502B CN201910758817.8A CN201910758817A CN110491502B CN 110491502 B CN110491502 B CN 110491502B CN 201910758817 A CN201910758817 A CN 201910758817A CN 110491502 B CN110491502 B CN 110491502B
Authority
CN
China
Prior art keywords
video stream
frame
video
medical image
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910758817.8A
Other languages
English (en)
Other versions
CN110491502A (zh
Inventor
陆唯佳
姚建华
韩骁
周昵昀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910758817.8A priority Critical patent/CN110491502B/zh
Publication of CN110491502A publication Critical patent/CN110491502A/zh
Priority to PCT/CN2020/078228 priority patent/WO2020182078A1/zh
Application granted granted Critical
Publication of CN110491502B publication Critical patent/CN110491502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Public Health (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种显微镜视频流处理方法、系统、计算机设备和存储介质，一个实施例的方法包括：获取医学影像视频流，医学影像视频流包括：显微镜视野下的不少于两帧基于病理切片的视频帧；提取医学影像视频流的视频帧；提取视频帧的单帧图像特征，将单帧图像特征映射为单帧分类结果；获取学影像视频流对应的操作信息，基于所操作信息确定操作序列；获取视频流对应的患者信息，基于者信息确定患者序列；基于操作序列、患者序列及视频流特征序列，采用预设映射规则进行分类映射，得到目标分类结果；视频流特征序列包括各视频帧的单帧图像特征及单帧分类结果。本实施例方案可以提高分类结果的准确性，从而为医学诊断提供准确的依据。

Description

显微镜视频流处理方法、系统、计算机设备和存储介质
本申请是于2019年3月08日提交中国专利局，申请号为201910176877.9，发明名称为“医学影像分析方法、装置、计算机设备和存储介质”的分案申请，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及医学影像处理领域，特别是涉及一种显微镜视频流处理方法、系统、计算机设备和存储介质。
背景技术
医学影像是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得的内部组织影像。对医学影像的分析可以为医生得到准确的诊断结果提供辅助依据。
传统的医学影像分析方法，是对医生观察病理切片过程中确定的单张组织图像进行分析，得到该单张组织图像对应的分类结果。由于单张组织图像难以全面地体现患者的组织切片的信息，因此，分类结果的准确性有待进一步提高。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高分类结果准确性的显微镜视频流处理方法、系统、计算机设备和存储介质。
一种显微镜视频流处理系统，所述系统包括：采集装置、显微镜、网络接口以及智能芯片；
所述采集装置，用于采集所述显微镜视野下的视频数据得到医学影像视频流，所述医学影像视频流包括不少于两帧基于病理切片的视频帧；
所述显微镜，用于提取所述医学影像视频流的所述视频帧；提取所述视频帧的单帧图像特征，并将所述单帧图像特征映射为单帧分类结果；获取所述医学影像视频流对应的操作信息，并基于所述操作信息确定操作序列；并通过所述网络接口获取所述视频流对应的患者信息，并基于所述患者信息确定患者序列；
所述智能芯片，用于基于所述操作序列、所述患者序列及视频流特征序列，采用预设映射规则进行分类映射，得到目标分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧分类结果。
一种显微镜视频流处理方法，所述方法包括：
获取医学影像视频流，所述医学影像视频流包括：显微镜视野下的不少于两帧基于病理切片的视频帧；
提取所述医学影像视频流的所述视频帧；
提取所述视频帧的单帧图像特征，将所述单帧图像特征映射为单帧分类结果；
获取所述医学影像视频流对应的操作信息，并基于所述操作信息确定操作序列；
获取所述视频流对应的患者信息，并基于所述患者信息确定患者序列；
基于所述操作序列、所述患者序列及视频流特征序列，采用预设映射规则进行分类映射，得到目标分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧分类结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取医学影像视频流，所述医学影像视频流包括：显微镜视野下的不少于两帧基于病理切片的视频帧；
提取所述医学影像视频流的所述视频帧；
提取所述视频帧的单帧图像特征，将所述单帧图像特征映射为单帧分类结果；
获取所述医学影像视频流对应的操作信息，并基于所述操作信息确定操作序列；
获取所述视频流对应的患者信息，并基于所述患者信息确定患者序列；
基于所述操作序列、所述患者序列及视频流特征序列，采用预设映射规则进行分类映射，得到目标分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧分类结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取医学影像视频流，所述医学影像视频流包括：显微镜视野下的不少于两帧基于病理切片的视频帧；
提取所述医学影像视频流的所述视频帧；
提取所述视频帧的单帧图像特征，将所述单帧图像特征映射为单帧分类结果；
获取所述医学影像视频流对应的操作信息，并基于所述操作信息确定操作序列；
获取所述视频流对应的患者信息，并基于所述患者信息确定患者序列；
基于所述操作序列、所述患者序列及视频流特征序列，采用预设映射规则进行分类映射，得到目标分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧分类结果。
上述显微镜视频流处理方法、系统、计算机设备和存储介质，由于采用显微镜视野下的不少于两帧的基于病理切片的视频帧，在此基础上对各所述视频帧的单帧图像特征及单帧分类结果进行，合理利用了时间维度上的信息，同时融合了医生的操作序列以及患者序列，可以提高分类结果的准确性，从而为医学诊断提供准确的依据。
附图说明
图1为一个实施例中医学影像分析方法的应用环境图示意图；
图2为一个实施例中医学影像分析方法的流程示意图；
图3为一具体实施例中的医学影像分析方法中医学影像视频流的展示示意图；
图4为一具体实施例中的医学影像分析方法的原理示意图；
图5为一具体实施例中的医学影像分析方法的硬件系统结构示意图；
图6为一具体实施例中的医学影像分析方法的流程示意图；
图7为一个实施例中医学影像分析装置的结构框图；
图8为一个实施例中计算机设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中医学影像分析方法的应用环境图示意图。医生将病理切片放在显微镜102下，对病理切片进行观察。在医生对病理切片进行观察的过程中，通过采集装置104采集显微镜102视野下的视频数据，得到医学影像视频流。该医学影像分析方法可应用于计算机设备106中。该计算机设备106获取医学影像视频流，所述医学影像视频流包括不少于两帧基于病理切片的视频帧；提取所述医学影像视频流的所述视频帧；提取所述视频帧的单帧图像特征，将所述单帧图像特征映射为单帧诊断分类结果；基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧诊断分类结果。该计算机设备106可以是终端或者服务器。终端可以是台式设备或者移动终端。服务器可以是独立的物理服务器、物理服务器集群或者虚拟服务器。
如图2所示，在一个实施例中，提供了一种医学影像分析方法。该方法可以运行于图1中的计算机设备。该医学影像分析方法，包括以下步骤：
S202，获取医学影像视频流，医学影像视频流包括不少于两帧基于病理切片的视频帧。
计算机设备获取医学影像视频流。医学影像视频流可以是医生通过显微镜观察病理切片的过程中，由采集装置采集的显微镜视野下的视频流。该医学影像视频流包括不少于两帧基于病理切片的视频帧，也即包括不少于两张基于病理切片的组织切片图像。
显微镜广泛地应用在临床诊断及科学研究中，基于病理切片的医学影像视频流可以用于检查机体器官、组织或细胞中的病理形态学特征，从而明确病变产生的原因、发病机理以及病变的发展过程，为医生对病变组织进行评估和诊断提供依据。
传统的显微镜视野下的医学影像图片是固定视野中的单张病理图片。本实施例的医学影像视频流中不少于两张基于病理切片的视频帧，是医生在观察病理切片的过程中，通过移动摄像头（例如移动显微镜的物镜）、切换放大倍率等操作，反复观察疑似的病灶区域得到的多视野的病理图片的集合，融合了显微镜下多个视野的信息。由于医学影像视频流中记录了医生在观察病理切片的过程中，显微镜视野中所有的信息，如此，将医生观察单个病理切片显微镜的视野中的信息，作为连续的视频流加以利用，避免了医生在观察病理切片的快速移动过程中，忽略微小的病变区域，从而提供比单帧图片更多的信息来辅助医生诊断并发现微小病变区域。
还需要说明的是，在显微镜下查看的病理切片可以包括多种不同的应用场景，如肺部组织切片、心脏组织切片等。基于本实施例的医学影像分析方法可以部署到多种应用场景，从而便于医生的使用。
S204，提取医学影像视频流的视频帧。
计算机设备对医学影像视频流进行分析，从该医学影像视频流中提取到视频帧。进一步地，在提取到视频帧的同时记录每一视频帧对应的时间戳。如此，在根据医学影像视频流的视频帧之间的帧间差异，确定视频流对应的操作信息，并基于操作信息确定操作序列时，可以基于记录的时间戳提供时间间隔信息。
人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision, CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
具体在本申请实施例中，可以通过计算机视觉技术中的视频处理、视频内容/行为识别等技术，通过训练得到的神经网络模型对医学影像视频流进行视频帧提取，得到视频帧。在一些实施例中，也可以通过基于视频流分帧的算法，对医学影像视频流进行视频帧提取。
S206，提取视频帧的单帧图像特征，并将单帧图像特征映射为单帧诊断分类结果。
在提取到视频帧之后，可以对提取到的每一视频帧进行图像特征提取，得到视频帧的单帧图像特征，并将单帧图像特征映射为单帧诊断分类结果。可以将单帧图像分类算法作为一个分类器使用，该分类器可以是基于图像的分类器，其输入为单张图像，输出为单张图像的诊断分类结果。可以通过该分类器对每一视频帧进行图像特征提取，得到视频帧的单帧图像特征，并通过该分类器将单帧图像特征映射为单帧诊断分类结果。该方式可以继续延用已有的基于单张图片或单张图片特征的分类器，节约开发成本。
也可以采用图像特征提取算法，对提取到的每一视频帧进行图像特征提取，得到视频帧的单帧图像特征，再将该单帧图像特征输入基于图像特征的分类器，将该单帧图像特征映射为单帧诊断分类结果。该基于图像特征的分类器的输入为单张图片的图像特征，输出为单张图片的诊断分类结果。
S208，基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果。该视频流特征序列包括各视频帧的单帧图像特征及单帧诊断分类结果。
计算机设备基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果。预设映射规则为预先设置好的映射规则，如在一些实施例中，可以通过利用人工智能中的机器学习技术，通过将经过训练得到的神经网络模型作为预先设置好的映射规则，在其他实施例中，也可以是将视频流特征序列分类映射为目标诊断分类结果的其它映射规则。
机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
其中，经过训练得到的该神经网络模型的输入可以包括该视频流特征序列。经过训练得到的该神经网络模型的输入也可以包括该医学影像视频流，通过该训练得到的该神经网络模型，对医学影像视频流进行特征提取，得到视频流特征序列，并基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果。在本实施例中，预设映射规则的输入，即经过训练得到的该神经网络模型的输入，包括各视频帧的单帧图像特征及单帧诊断分类结果，输出为分类映射得到的目标诊断分类结果。
在训练得到该经过训练得到的神经网络模型之前，需要获取到训练样本。该训练样本中的每个样本对象，可以是包括医学影像视频流及与该医学影像视频流对应的诊断分类标记；还可以是包括各视频帧的单帧图像特征、单帧诊断分类结果及与该医学影像视频流对应的诊断分类标记。该诊断分类标记为与该医学影像视频流对应的诊断结果的标记，可以是医生根据该样本对象的医学影像视频流确定的诊断结果对应的标记。
进一步地，该样本对象还可以包括关键帧标记。该关键帧标记可以由医生根据该样本对象的医学影像视频流确定的关键帧信息来确定。如，医生在做出诊断结果的时候，同时给出他做出该诊断结果所依据的那一帧图片a的信息，即关键帧信息；计算图片a在特征空间的表征v，同时在此空间中，基于一个距离指标计算与v相近的v’对应的图片a’；a’组成的集合{a’}即为关键帧，对集合{a’}对应的视频帧进行标记，即为关键帧标记。此时，基于视频流特征序列采用预设映射规则进行分类映射，得到的目标诊断分类结果包括医学影像视频流对应的诊断分类结果及关键帧信息。
上述医学影像分析方法，获取医学影像视频流，医学影像视频流包括不少于两帧基于病理切片的视频帧；提取所述医学影像视频流的所述视频帧；提取所述视频帧的单帧图像特征，将所述单帧图像特征映射为单帧诊断分类结果；基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧诊断分类结果。由于基于医学影像视频流进行特征提取、分类映射，得到目标诊断分类结果，而医学影像视频流包括不少于两帧基于病理切片的视频帧，因此，可以提高诊断分类结果的准确性，从而为医学诊断提供准确的依据。
在其中一实施例中，计算机设备及采集装置可以集成在显微镜上。在其它实施例中，采集装置与计算机装置也可以分别独立设置，在采集装置中采集医学影像视频流，在计算机设备中对采集到的医学影像视频流进行医学影像分析得到目标诊断结果。在采集装置与计算机装置分别独立设置的实施例中，医学影像分析及医学影像获取的过程分开处理。在计算机设备及采集装置集成在显微镜上的实施例中，由于若在医学影像视频流的某一帧的医学影像图片中发现可疑区域，无需在显微镜下再次确认或者查看该可疑区域的周围区域，仅需要根据医生的原有的切换习惯查看后续视频帧即可。因此，无需再次切换到显微镜视野，也无需花费一定时间在显微镜视野中找到该可疑区域，而是可以保留医生直接在显微镜下观察切片的习惯，并在观察切片的同时，通过查看采集到的医学影像视频流查看可疑区域，如此，不会存在因为医生反复看片时需要反复切换到显微镜视野而带来操作不便和额外时间消耗的问题。
进一步地，为了进一步提高诊断分类结果的准确性，提取医学影像视频流的视频帧，包括：提取医学影像视频流的待定视频帧；对待定视频帧进行清晰化处理，得到视频帧。由于在提取医学影像视频流得到待定视频帧的过程中，可能得到的待定视频帧并不清晰，这将影响对该不清晰的待定视频帧进行图像特征提取、映射分类等操作后，最终得到的目标诊断分类结果的准确性。因此，在本实施例中，先对从医学影像视频流中提取得到的待定视频帧进行清晰化处理，再对清晰化处理后得到的视频帧进行图像特征提取、映射分类，从而进一步提高诊断分类结果的准确性。
在其中一实施例中，目标诊断分类结果包括医学影像视频流对应的诊断分类结果及关键帧信息。
关键帧是指在对医学影像视频流进行分析得到诊断分类结果的过程中，对诊断分类结果的影响力权重按从大到小的方式进行排序，排在前预设位的视频帧。如，可以是将排在第一位的视频帧作为关键帧，又如，排在第一位的视频帧作为第一关键帧，排在第二和第三位的视频帧作为第二关键帧。关键帧信息是指关键帧是医学影像视频流中的哪一帧的信息。如，可以通过时间戳来表示，也可以通过视频帧的序号来表示。
若预设映射规则为训练得到的神经网络模型，在训练神网络模型之前可以对训练样本中每一样本对象的医学影像视频流进行关键帧标注，得到诊断分类标记。也可以在神经网络模型中采用注意力机制对每一视频帧赋予不同的权重，进而根据该权重确定关键帧信息，从而无需在训练之前进行关键帧标注，如此，可以节约大量标注所需的人工成本。
基于本实施例的医学影像分析方法中，目标诊断分类结果包括医学影像视频流对应的诊断分类结果及关键帧信息，相较于目标诊断分类结果不包括关键帧信息的医学影像分析方法，能够提供在得到诊断分类结果的过程中，影响力较大的关键帧的信息，从而为医生进行诊断提供更为详细的依据。
在其中一实施例中，基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：基于单帧图像特征及单帧诊断分类结果，采用预设映射规则进行分类映射，得到医学影像视频流对应的诊断分类结果；基于分类映射过程中各视频帧对应的权重信息，确定关键帧信息。
在本实施例中，将各视频帧的单帧图像特征及单帧诊断分类结果作为分类映射的输入，得到分类映射的输出诊断分类结果及关键帧信息。其中，关键帧信息的确定是基于分类映射过程中各视频帧对应的权重信息，确定关键帧信息。如，可以将分类映射过程中通过注意力机制得到的视频帧对应的权重进行排序，并将排在前预设位的作为关键帧。该关键帧信息可以包括关键帧对应的权重信息及关键帧的位置信息。如，可以通过展示医学影像视频流，并在预设位置显示关键帧信息的方式体现关键帧信息。在预设位置展示医学影像视频流的各视频帧的缩略图，并通过缩略图的排序顺序体现各视频帧的位置关系，可以通过视频帧的显示颜色来表示该帧是否为关键帧（本申请实施例中称为第一显示方式），并通过该显示颜色的深浅程度来表示该帧的权重信息（本申请实施例中称为第二显示方式）。如此，通过第一显示方式区分关键帧与非关键帧，通过第二显示方式区分各关键帧的权重情况，从而为医生进行诊断提供更为详细的依据。可以理解地，第一显示方式不限于通过颜色来区分关键帧与非关键帧，第二显示方式也不限于通过颜色的深浅来表示权重的大小。
在其中一实施例中，基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：获取医学影像视频流对应的操作信息，并基于操作信息确定操作序列；基于操作序列及视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果。
操作信息可以是通过其它采集途径，如通过另一采集设备采集医生的操作动作，然后通过视频分析的方式，确定操作信息。操作信息也可以通过医生或相关工作人员自行输入的方式获取。操作信息还可以通过对采集设备采集的显微镜视野下的医学影像视频流进行分析得到。具体如，根据该医学影像视频流的一视频帧中的一采集对象，与上一视频帧中的同一采集对象进行对比，确定同一采集对象的变化情况，从而确定该视频帧与上一视频帧之间的操作信息。
操作信息可以包括：物镜运动的方向（可以用Dir表示）和距离（可以用X表示），以及在一视频帧上停留的时间（可以用deltaT表示）。物镜运动的方向包括可以三维方向。如，相对物镜镜头水平平面上的上下左右，又如，相对物镜镜头延伸方向的向前和向后。其中，向前和向后可以使得显微镜视野中的对象放大和缩小，上下左右可以使得显微镜视野范围上下左右地移动。
在确定了操作信息之后，可以将操作信息序列化，得到操作序列。在采用预设映射规则进行分类映射得到目标诊断分类结果的过程中，基于操作序列及视频流特征序列进行分类映射。在本实施例的分类映射过程中，所采用的预设映射规则的输入包括操作序列及视频流特征序列。如此，进一步在分类映射过程中，通过加入操作序列的因素，使得在分类映射过程中，综合考虑医学影像视频流及医学影像视频流对应的操作信息的影响。由于医生在观察切片的过程中对病灶所在区域的查看往往会具有更多的关注，因此，在分类映射的过程中，综合考虑医学影像视频流对应的操作信息，可以得到更为准确的目标诊断分类结果。从而，进一步提高目标诊断分类结果的准确性。
在其中一实施例中，获取医学影像视频流对应的操作信息，并基于操作信息确定操作序列，包括：根据医学影像视频流的视频帧之间的帧间差异，确定视频流对应的操作信息，并基于操作信息确定操作序列。
通过对医学影像视频流的视频帧之间的帧间差异来确定视频流对应的操作信息。如，根据该医学影像视频流的一视频帧中的一采集对象，与上一视频帧中的同一采集对象进行对比，确定同一采集对象的变化信息，进而确定该视频帧与上一视频帧之间的操作信息。对各视频帧进行分析，便可以确定整个医学影像视频流对应的操作信息。
本实施例的方式，在对医学影像视频流分析的过程中，可以无需通过额外的人力、物力进行操作信息的采集，因此基于本实施例的医学影像分析方法，在提高目标诊断分类结果准确性的同时，可以保持医学影像分析方法过程中相关人员操作的便利性。
在其中一实施例中，基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果之后，还包括：展示医学影像视频流，并在预设位置显示关键帧信息及当前播放视频帧的位置信息。
在本实施例中，目标诊断分类结果包括诊断分类结果及关键帧信息。可以通过展示医学影像视频流，并在预设位置显示关键帧信息的方式体现关键帧信息。在其中一具体实施例中，如图3所示，在预设位置展示医学影像视频流的各视频帧的缩略图，通过缩略图的排序顺序体现各视频帧的位置关系，并通过第一显示方式对该视频帧进行显示，来表示该视频帧是否为关键帧，同时通过该第二显示方式对该视频帧进行显示，来表示该视频帧的权重信息。如通过在视频帧的显示颜色来表示该帧是否为关键帧，通过该显示颜色的深浅程度来表示该视频帧的权重信息。如此，通过第一显示方式区分关键帧与非关键帧，通过第二显示方式区分各关键帧的权重情况。可以理解地，第一显示方式不限于通过颜色来区分关键帧与非关键帧，第二显示方式也不限于通过颜色的深浅来表示权重的大小。在播放医学影像视频流的过程中，可以是通过第三显示方式，如与第一显示方式不同的显示颜色，显示当前播放视频帧的缩略图，以体现当前播放视频帧的位置信息。
基于本实施例的医学影像分析方法，由于在得到目标诊断分类结果之后，展示医学影像视频流，并在预设位置显示关键帧信息及当前播放视频帧的位置信息。如此，可以使得医生或其它用户在查看医学影像视频流时，直观地了解到关键帧信息及当前播放帧的位置信息。
在其中一实施例中，单帧诊断分类结果包括视频帧对应的诊断分类结果及热点图；目标诊断分类结果还包括关键帧的热点图。
热点图是在分类映射过程中，对目标诊断分类结果影响大小进行表示的图像。在单帧图片分类映射过程中，输入的单帧图像特征经过激活函数映射得到映射结果，该映射结果经过池化后，再与预设的类别权重进行乘积运算，从而得到该热点图，该预设的类别权重可以通过训练神经网络模型而得到。需要说明的是，单帧诊断分类结果的诊断分类结果，可以在池化之后，通过分类函数（如softmax函数）输出。
在本实施例中，目标诊断分类结果不仅包括视频流对应的诊断分类结果及关键帧信息，还包括关键帧信息对应的关键帧的热点图。该关键帧的热点图可以在确定关键帧信息之后，根据关键帧信息获取到。也即，该关键帧对应的单帧图像特征经过激活函数映射再经过池化后，与预设的类别权重的乘积。
由于目标诊断分类结果还包括关键帧的热点图，可以为后续对组织病变区域的分割提供标注信息，如此，无需进行人工标注，减少大量的像素级别的标注任务，从而，可以节约大量的人力成本。同时，上述目标诊断分类结果还包括关键帧的热点图，还可以为医生进行诊断提供更为详细的依据。
在其中一实施例中，展示医学影像视频流，并在预设位置显示关键帧信息及当前播放视频帧的位置信息，还包括：在医学影像视频流的展示过程中，在播放关键帧时对应显示关键帧的热点图。如此，可以使得在播放关键帧时，对应显示在得到诊断分类结果的过程中影响力情况的信息，即该关键帧的热点图。从而，为医生进行诊断提供更为详细的信息依据。
在其中一实施例中，在医学影像视频流的展示过程中，在显示关键帧时对应显示关键帧的热点图，包括：基于操作信息对各关键帧的热点图进行平滑处理，得到关键帧的目标热点图；在医学影像视频流的展示过程中，在显示关键帧时对应显示关键帧的目标热点图。
由于热点图是分别根据关键帧对应的视频帧确定的，而对于连续的几个关键帧分别确定的热点图在连续播放的时候，可能并不流畅。因此，在本实施例中，对于分别根据关键帧对应的视频帧确定的热点图，根据操作信息对其进行平滑处理，该平滑处理可以包括空间域上的变换以及时间域上的平均，以获得更加平滑可靠的目标热点图。如此，一方面可以使得在医学影像视频流的展示过程中，在显示关键帧时对应显示的热点图的变换过程平滑流畅；另一方面可以降低热点图的误差。
在其中一实施例中，基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：获取视频流对应的患者信息，并基于患者信息确定患者序列；基于视频流特征序列及患者序列采用预设映射规则进行分类映射，得到目标诊断分类结果。
患者信息可以包括结构化信息以及非结构化信息，其中结构化信息可以包括患者姓名、患者标识、性别、年龄等。非结构化信息包括：其它科室的患者记录，如放射科的报告。患者标识可以采用患者编号进行标识，患者编号可以通过字符序列、条形码或二维码的形式表示。可以通过患者标识查找对应患者在其它科室的患者记录。比如，根据条形码到医院信息系统中查找其它科室，如HIS(Hospital Information System，医院信息系统）、RIS（Radiology Information System，放射科信息系统）。
在获取到结构化或非结构化的患者信息之后，可以将这些结构化和非结构化的患者信息，编码成固定长度的特征向量，得到患者序列（可以用FvA表示）。如，可以将报告中的文本通过自然语言处理（NLP）的办法提取关键字（name entity recognition，NER），并把这些关键字通过植入（embedding）的方式，编码成固定长度的特征向量，得到患者序列。在采用预设映射规则进行分类映射得到目标诊断分类结果的过程中，基于该患者序列及视频流特征序列进行分类映射。在本实施例的分类映射过程中，所采用的预设映射规则的输入包括患者序列及视频流特征序列。如此，进一步在分类映射过程中，通过加入患者序列的因素，使得在分类映射过程中，综合考虑医学影像视频流及医学影像视频流对应的患者信息的影响。由于患者信息对诊断结果也具有参考意义，因此，在分类映射的过程中，综合考虑医学影像视频流对应的患者信息可以更为准确的得到目标诊断分类结果。从而，进一步提高目标诊断分类结果的准确性。
在其中一实施例中，基于视频流特征序列及患者序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：通过预设卷积层对视频流特征序列进行卷积操作得到卷积结果；将卷积结果及患者序列输入预设全连接层进行全连接映射，并通过输出层输出目标诊断分类结果。
在本实施例中，患者序列虽然也作为预设映射规则的输入，该预设映射规则可以为训练得到的神经网络模型，而该患者序列为神经网络模型中，全连接层增加的输入，从而使得患者信息作为一个重要的因素，被综合考虑在分类映射过程中，如此，提高分类映射的目标诊断分类结果的准确性。
在一具体实施例中，在获取医学影像视频流，提取医学影像视频流的视频帧，并提取视频帧的单帧图像特征、将单帧图像特征映射为单帧诊断分类结果之后，如图4所示。
将各视频帧的单帧图像特征（Ffcv）及单帧诊断分类结果（Fsmv），通过预设深层卷积神经网络的预设卷基层进行卷积操作得到卷积结果（FvDT），再将卷积结果与患者序列（FvA）输入预设全连接层（FC）进行全连接映射，并通过输出层（SoftMax）输出目标诊断分类结果，该目标诊断分类结果包括医学影像视频流对应的分类类别（y）及该分类类别对应的概率（Prob）。如图4所示，在深层卷积神经网络中，通过加入注意力机制（Attention Wnd），学习各时间戳对应的视频帧的特征支撑关系，从而确定各视频帧对应的权重信息。
在其中一具体实施例中，如图5所示，可以事先通过语音方式选择人工智能算法类型，如可以是医生通过语音选择针对肺部组织病变的神经网络模型、针对心脏组织病变的神经网络模型或者其它组织病变的神经网络模型，如此解放医生的双手，同时由于可以对人工智能算法类型进行选择，可以使得该智能显微镜可以应用于多种应用场景。操作者（如医生）对智能显微镜进行操作，观察病理切片，在这个过程中，可以通过集成在智能显微镜上的采集装置采集显微镜视野下的医学影像视频流。通过集成在智能显微镜上的网络接口获取HIS、RIS及已有的结构化信息、报告等患者信息，然后在智能显微镜上进行序列化得到患者序列。可以通过智能显微镜提取医学影像视频流的视频帧，并提取视频帧的单帧图像特征，将单帧图像特征映射为单帧诊断分类结果。还可以通过该智能显微镜根据医学影像视频流的视频帧之间的帧间差异，确定视频流对应的操作信息，并基于操作信息确定操作序列。通过人工智能芯片可以基于操作序列、患者序列及视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果。其中，人工智能芯片可以通过利用人工智能中的相关技术，实现基于操作序列、患者序列及视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果。例如，利用人工智能中的机器学习技术通过将经过训练得到的神经网络模型作为预先设置好的映射规则，基于操作序列、患者序列及视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果。
该目标诊断分类结果包括医学影像视频流对应的诊断分类结果、关键帧信息及关键帧的热点图。其中，可以根据该医学影像视频流对应的诊断分类结果得到对应患者的病理报告，该病理报告以及关键帧信息和关键帧的热点图可以根据承办的医院或科研机构来进行存档。如此，方便承办单位及其它相关人员进行查看。在该具体实施例中，还可以通过显示模块对人工智能芯片得到的结果，结合采集装置采集的图像进行虚拟现实的显示，从而使得更为直观地向用户展示目标诊断分类结果，该目标诊断分类结果包括：通过热点图表示的病变区域轮廓,诊断分类结果的分类类别和分类概率，以及关键帧标记。虚拟现实作为人工智能的计算机视觉技术的一种，可以模拟产生一个三维空间的虚拟世界，提供用户关于视觉等感官的模拟。
在该具体实施例中，还可以通过语音交互交口接收病历导出指令，使得智能显微镜导出对应的病历报告，该病历报告的内容可以包括人工智能芯片得到的病理报告、关键帧图片或序号、以及关键帧上的热点图。一些实施例中，可以通过利用人工智能中的语音技术实现对病历导出指令的接收。语音技术(Speech Technology)的关键技术有自动语音识别技术（ASR）和语音合成技术（TTS）以及声纹识别技术。让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中语音成为未来最被看好的人机交互方式之一。
如图6所示，在其中一具体实施例中，医学影像分析方法，包括：
S601，获取医学影像视频流，医学影像视频流包括不少于两帧基于病理切片的视频帧；
S602，提取医学影像视频流的待定视频帧；
S603，对待定视频帧进行清晰化处理，得到视频帧；
S604，提取视频帧的单帧图像特征；
S605，将单帧图像特征映射为单帧诊断分类结果；单帧诊断分类结果包括视频帧对应的诊断分类结果及热点图；
S606，根据医学影像视频流的视频帧之间的帧间差异，确定视频流对应的操作信息，并基于操作信息确定操作序列；
S607，获取视频流对应的患者信息，并基于患者信息确定患者序列；
S608，基于视频流特征序列、患者序列及操作序列，采用预设映射规则进行分类映射，得到目标诊断分类结果；视频流特征序列包括各视频帧的单帧图像特征及单帧诊断分类结果；目标诊断分类结果包括医学影像视频流对应的诊断分类结果、关键帧信息及关键帧的热点图；
S609，展示医学影像视频流，并在预设位置显示关键帧信息及当前播放视频帧的位置信息；
其中，基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：基于单帧图像特征及单帧诊断分类结果采用预设映射规则进行分类映射，得到医学影像视频流对应的诊断分类结果；基于分类映射过程中各视频帧对应的权重信息，确定关键帧信息；
其中，在医学影像视频流的展示过程中，在显示关键帧时对应显示关键帧的热点图，包括：基于操作信息对各关键帧的热点图进行平滑处理，得到关键帧的目标热点图；在医学影像视频流的展示过程中，在显示关键帧时对应显示关键帧的目标热点图。
基于该实施例的医学图像分析方法，综合考虑各视频帧的信息，并同时考虑在得到诊断分类结果的过程中，影响力较大的关键帧的信息、操作信息，可以提高诊断分类结果的准确性，从而为医学诊断提供准确的依据；可以继续延用已有的基于单张图片或单张图片特征的分类器，节约开发成本。由于目标诊断分类结果还包括关键帧的热点图，可以为后续对组织病变区域的分割提供标注信息，如此，无需进行人工标注，减少大量的像素级别的标注任务，从而，可以节约大量的人力成本。同时，目标诊断分类结果还包括关键帧的热点图，并在在所述医学影像视频流的展示过程中，在播放所述关键帧时对应显示所述关键帧的热点图，可以为医生进行诊断提供详细的依据。
应该理解的是，虽然图2、6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种与上述医学影像分析方法对应的医学影像分析装置，包括：
视频流获取模块702，用于获取医学影像视频流，所述医学影像视频流包括不少于两帧基于病理切片的视频帧；
视频帧提取模块704，用于提取所述医学影像视频流的所述视频帧；
单帧分类模块706，用于提取所述视频帧的单帧图像特征，并将所述单帧图像特征映射为单帧诊断分类结果；
分类映射模块708，用于基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧诊断分类结果。
上述医学影像分析装置，获取医学影像视频流，医学影像视频流包括不少于两帧基于病理切片的视频帧；提取所述医学影像视频流的所述视频帧；提取所述视频帧的单帧图像特征，并将所述单帧图像特征映射为单帧诊断分类结果；基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果；该视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧诊断分类结果。由于基于医学影像视频流进行特征提取、分类映射，得到目标诊断分类结果，而医学影像视频流包括不少于两帧基于病理切片的视频帧，因此，可以提高诊断分类结果的准确性，从而为医学诊断提供准确的依据。
在其中一实施例中，所述目标诊断分类结果包括所述医学影像视频流对应的诊断分类结果及关键帧信息。
在其中一实施例中，分类映射模块708，包括：
诊断分类单元，用于基于所述单帧图像特征及所述单帧诊断分类结果采用预设映射规则进行分类映射，得到所述医学影像视频流对应的诊断分类结果；
关键帧确定单元，用于基于所述分类映射过程中各所述视频帧对应的权重信息，确定所述关键帧信息。
在其中一实施例中，视频帧提取模块704，包括视频帧清晰化单元；
视频分帧单元，用于提取所述医学影像视频流的待定视频帧；
视频帧清晰化单元，用于对所述待定视频帧进行清晰化处理，得到所述视频帧。
在其中一实施例中，还包括操作序列确定模块；
操作序列确定模块，用于获取所述医学影像视频流对应的操作信息，并基于所述操作信息确定操作序列；
分类映射模块，用于基于所述操作序列及所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果。
在其中一实施例中，所述操作序列确定模块，用于根据所述医学影像视频流的所述视频帧之间的帧间差异，确定所述视频流对应的操作信息，并基于所述操作信息确定操作序列。
在其中一实施例中，还包括结果展示模块；
结果展示模块，用于展示所述医学影像视频流，并在预设位置显示关键帧信息及当前播放视频帧的位置信息。
在其中一实施例中，所述单帧诊断分类结果包括所述视频帧对应的诊断分类结果及热点图；所述目标诊断分类结果还包括关键帧的热点图；
结果展示模块，还用于在所述医学影像视频流的展示过程中，在播放所述关键帧时对应显示所述关键帧的热点图。
在其中一实施例中，还包括热点图处理模块；
热点图处理模块，用于基于所述操作信息对各所述关键帧的热点图进行平滑处理，得到所述关键帧的目标热点图；
结果展示模块，还用于在所述医学影像视频流的展示过程中，在显示所述关键帧时对应显示所述关键帧的目标热点图。
在其中一实施例中，还包括患者序列确定模块；
患者序列确定模块，用于获取所述视频流对应的患者信息，并基于所述患者信息确定患者序列；
分类映射模块，用于基于所述视频流特征序列及所述患者序列采用预设映射规则进行分类映射，得到目标诊断分类结果。
在其中一实施例中，分类映射模块，还用于通过预设卷积层对所述视频流特征序列进行卷积操作得到卷积结果；并将所述卷积结果及所述患者序列输入预设全连接层进行全连接映射，并通过输出层输出目标诊断分类结果。
如图8所示，在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端或服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种医学影像分析方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施方式中，提供了一种计算机设备，该计算机设备可以是服务器或终端。该计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述医学影像分析方法的步骤。
在其中一实施例中，该计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取医学影像视频流，所述医学影像视频流包括不少于两帧基于病理切片的视频帧；
提取所述医学影像视频流的所述视频帧；
提取所述视频帧的单帧图像特征，将所述单帧图像特征映射为单帧诊断分类结果；
基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧诊断分类结果。
在其中一实施例中，所述目标诊断分类结果包括所述医学影像视频流对应的诊断分类结果及关键帧信息。
在其中一实施例中，所述基于所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：
基于所述单帧图像特征及所述单帧诊断分类结果采用预设映射规则进行分类映射，得到所述医学影像视频流对应的诊断分类结果；
基于所述分类映射过程中各所述视频帧对应的权重信息，确定所述关键帧信息。
在其中一实施例中，所述提取所述医学影像视频流的所述视频帧，包括：
提取所述医学影像视频流的待定视频帧；
对所述待定视频帧进行清晰化处理，得到所述视频帧。
在其中一实施例中，所述基于所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：
获取所述医学影像视频流对应的操作信息，并基于所述操作信息确定操作序列；
基于所述操作序列及所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果。
在其中一实施例中，所述获取所述医学影像视频流对应的操作信息，并基于所述操作信息确定操作序列，包括：
根据所述医学影像视频流的所述视频帧之间的帧间差异，确定所述视频流对应的操作信息，并基于所述操作信息确定操作序列。
在其中一实施例中，所述基于所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果之后，还包括：
展示所述医学影像视频流，并在预设位置显示关键帧信息及当前播放视频帧的位置信息。
在其中一实施例中，所述单帧诊断分类结果包括所述视频帧对应的诊断分类结果及热点图；所述目标诊断分类结果还包括关键帧的热点图；
所述展示所述医学影像视频流，并在预设位置显示所述关键帧信息及当前播放视频帧的位置信息，还包括：在所述医学影像视频流的展示过程中，在播放所述关键帧时对应显示所述关键帧的热点图。
在其中一实施例中，所述在所述医学影像视频流的展示过程中，在显示所述关键帧时对应显示所述关键帧的热点图，包括：
基于所述操作信息对各所述关键帧的热点图进行平滑处理，得到所述关键帧的目标热点图；
在所述医学影像视频流的展示过程中，在显示所述关键帧时对应显示所述关键帧的目标热点图。
在其中一实施例中，所述基于所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：
获取所述视频流对应的患者信息，并基于所述患者信息确定患者序列；
基于所述视频流特征序列及所述患者序列采用预设映射规则进行分类映射，得到目标诊断分类结果。
在其中一实施例中，所述基于所述视频流特征序列及所述患者序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：
通过预设卷积层对所述视频流特征序列进行卷积操作得到卷积结果；
将所述卷积结果及所述患者序列输入预设全连接层进行全连接映射，并通过输出层输出目标诊断分类结果。
在其中一实施方式中，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述医学影像分析方法的步骤。
在其中一实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取医学影像视频流，所述医学影像视频流包括不少于两帧基于病理切片的视频帧；
提取所述医学影像视频流的所述视频帧；
提取所述视频帧的单帧图像特征，将所述单帧图像特征映射为单帧诊断分类结果；
基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧诊断分类结果。
在其中一实施例中，所述目标诊断分类结果包括所述医学影像视频流对应的诊断分类结果及关键帧信息。
在其中一实施例中，所述基于所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：
基于所述单帧图像特征及所述单帧诊断分类结果采用预设映射规则进行分类映射，得到所述医学影像视频流对应的诊断分类结果；
基于所述分类映射过程中各所述视频帧对应的权重信息，确定所述关键帧信息。
在其中一实施例中，所述提取所述医学影像视频流的所述视频帧，包括：
提取所述医学影像视频流的待定视频帧；
对所述待定视频帧进行清晰化处理，得到所述视频帧。
在其中一实施例中，所述基于所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：
获取所述医学影像视频流对应的操作信息，并基于所述操作信息确定操作序列；
基于所述操作序列及所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果。
在其中一实施例中，所述获取所述医学影像视频流对应的操作信息，并基于所述操作信息确定操作序列，包括：
根据所述医学影像视频流的所述视频帧之间的帧间差异，确定所述视频流对应的操作信息，并基于所述操作信息确定操作序列。
在其中一实施例中，所述基于所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果之后，还包括：
展示所述医学影像视频流，并在预设位置显示关键帧信息及当前播放视频帧的位置信息。
在其中一实施例中，所述单帧诊断分类结果包括所述视频帧对应的诊断分类结果及热点图；所述目标诊断分类结果还包括关键帧的热点图；
所述展示所述医学影像视频流，并在预设位置显示所述关键帧信息及当前播放视频帧的位置信息，还包括：在所述医学影像视频流的展示过程中，在播放所述关键帧时对应显示所述关键帧的热点图。
在其中一实施例中，所述在所述医学影像视频流的展示过程中，在显示所述关键帧时对应显示所述关键帧的热点图，包括：
基于所述操作信息对各所述关键帧的热点图进行平滑处理，得到所述关键帧的目标热点图；
在所述医学影像视频流的展示过程中，在显示所述关键帧时对应显示所述关键帧的目标热点图。
在其中一实施例中，所述基于所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：
获取所述视频流对应的患者信息，并基于所述患者信息确定患者序列；
基于所述视频流特征序列及所述患者序列采用预设映射规则进行分类映射，得到目标诊断分类结果。
在其中一实施例中，所述基于所述视频流特征序列及所述患者序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：
通过预设卷积层对所述视频流特征序列进行卷积操作得到卷积结果；
将所述卷积结果及所述患者序列输入预设全连接层进行全连接映射，并通过输出层输出目标诊断分类结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种显微镜视频流处理系统，所述系统包括：采集装置、显微镜、网络接口以及智能芯片；
所述采集装置，用于采集所述显微镜视野下的视频数据得到医学影像视频流，所述医学影像视频流包括不少于两帧基于病理切片的视频帧；
所述显微镜，用于提取所述医学影像视频流的所述视频帧；提取所述视频帧的单帧图像特征，并将所述单帧图像特征映射为单帧分类结果；获取所述医学影像视频流对应的操作信息，并基于所述操作信息确定操作序列；并通过所述网络接口获取所述视频流对应的患者信息，并基于所述患者信息确定患者序列；
所述智能芯片，用于基于所述操作序列、所述患者序列及视频流特征序列，采用预设映射规则进行分类映射，得到目标分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧分类结果；所述预设映射规则为训练得到的神经网络模型，基于所述操作序列、所述患者序列及视频流特征序列，采用预设映射规则进行分类映射时，所述患者序列输入所述神经网络模型的全连接层。
2.根据权利要求1所述的系统，其特征在于，包括下述两项中的至少一项：
第一项：
所述系统还包括：显示模块，用于展示所述医学影像视频流，并在预设位置显示关键帧信息及当前播放视频帧的位置信息；所述目标分类结果包括：所述医学影像视频流对应的分类结果以及关键帧信息；
第二项：
所述采集装置、所述网络接口以及所述智能芯片中的至少一个集成在所述显微镜中。
3.根据权利要求2所述的系统，其特征在于，包括下述两项中的至少一项：
第一项：
所述显示模块，还用于在展示所述医学影像视频流的过程中，在播放关键帧时，对应显示所述关键帧的热点图；所述目标分类结果还包括：所述医学影像视频流对应的关键帧的热点图；
第二项：
所述显微镜集成有语音交互接口，所述显微镜通过所述语音交互接口接收病历导出指令，并导出与所述病历导出指令对应的病历报告，所述病历报告的内容包括：所述智能芯片得到的病理报告、关键帧图片或序号、以及关键帧上的热点图。
4.一种显微镜视频流处理方法，所述方法包括：
获取医学影像视频流，所述医学影像视频流包括：显微镜视野下的不少于两帧基于病理切片的视频帧；
提取所述医学影像视频流的所述视频帧；
提取所述视频帧的单帧图像特征，将所述单帧图像特征映射为单帧分类结果；
获取所述医学影像视频流对应的操作信息，并基于所述操作信息确定操作序列；
获取所述视频流对应的患者信息，并基于所述患者信息确定患者序列；
基于所述操作序列、所述患者序列及视频流特征序列，采用预设映射规则进行分类映射，得到目标分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧分类结果；所述预设映射规则为训练得到的神经网络模型，基于所述操作序列、所述患者序列及视频流特征序列，采用预设映射规则进行分类映射时，所述患者序列输入所述神经网络模型的全连接层。
5.根据权利要求4所述的方法，其特征在于，所述提取所述医学影像视频流的所述视频帧，包括：
提取所述医学影像视频流的待定视频帧；
对所述待定视频帧进行清晰化处理，得到所述视频帧。
6.根据权利要求4所述的方法，其特征在于，所述单帧分类结果包括所述视频帧对应的分类结果及热点图。
7.根据权利要求6所述的方法，其特征在于，所述热点图的获得方式包括：
在单帧图像的分类映射过程中，输入的单帧图像特征经过激活函数映射得到映射结果；
对所述映射结果池化后，与预设的类别权重进行乘积运算，得到热点图。
8.根据权利要求4所述的方法，其特征在于，所述获取所述医学影像视频流对应的操作信息，并基于所述操作信息确定操作序列，包括：
根据所述医学影像视频流的所述视频帧之间的帧间差异，确定所述视频流对应的操作信息，并基于所述操作信息确定操作序列。
9.根据权利要求8所述的方法，其特征在于，包括下述三项中的至少一项：
第一项：
根据所述医学影像视频流的所述视频帧之间的帧间差异，确定所述视频流对应的操作信息，包括：
根据所述医学影像视频流的当前视频帧中的一采集对象，与上一视频帧中的同一采集对象进行对比，确定同一采集对象的变化情况；
根据所述变化情况，确定所述当前视频帧与上一视频帧之间的操作信息；
第二项：
所述操作信息包括：物镜运动的方向和物镜运动的距离；
第三项：
提取所述医学影像视频流的所述视频帧，包括：提取所述医学影像视频流的所述视频帧，并记录每一视频帧对应的时间戳；
所述操作信息还包括：在一视频帧上停留的时间，所述在一视频帧上停留的时间基于各视频帧对应的时间戳确定。
10.根据权利要求4所述的方法，其特征在于，获取所述视频流对应的患者信息，并基于所述患者信息确定患者序列，包括：
获取所述视频流对应的患者的结构化信息，所述结构化信息包括患者姓名、患者标识、性别、年龄；
获取所述视频流对应的患者的非结构化信息，所述非结构化信息包括在医院信息系统中查找到的其它科室的所述患者的患者记录；
将所述结构化信息和所述非结构化信息编码成固定长度的特征向量，得到患者序列。
11.根据权利要求4所述的方法，其特征在于：
所述目标分类结果包括：所述医学影像视频流对应的分类结果以及关键帧信息；
得到目标分类结果之后，还包括：展示所述医学影像视频流，并在预设位置显示关键帧信息及当前播放视频帧的位置信息。
12.根据权利要求11所述的方法，其特征在于：
所述目标分类结果还包括：所述医学影像视频流对应的关键帧的热点图；
得到目标分类结果之后，还包括：在展示所述医学影像视频流的过程中，在播放关键帧时，对应显示所述关键帧的热点图。
13.根据权利要求12所述的方法，其特征在于，包括下述两项中的至少一项：
第一项：
得到目标分类结果之后，在播放关键帧时，对应显示所述关键帧的热点图之前，还包括：
基于所述操作信息对各所述关键帧的热点图进行平滑处理，得到所述关键帧的目标热点图；
第二项：
展示所述医学影像视频流，并在预设位置显示关键帧信息及当前播放视频帧的位置信息，包括：
在预设位置展示医学影像视频流的各视频帧的缩略图，通过缩略图的排序顺序体现各视频帧的位置关系，并通过第一显示方式对该视频帧进行显示，来表示该视频帧是否为关键帧，同时通过第二显示方式对该视频帧进行显示，来表示该视频帧的权重信息。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求4-13任意一项所述的方法的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求4-13任意一项所述的方法的步骤。
CN201910758817.8A 2019-03-08 2019-03-08 显微镜视频流处理方法、系统、计算机设备和存储介质 Active CN110491502B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910758817.8A CN110491502B (zh) 2019-03-08 2019-03-08 显微镜视频流处理方法、系统、计算机设备和存储介质
PCT/CN2020/078228 WO2020182078A1 (zh) 2019-03-08 2020-03-06 影像分析方法、显微镜视频流处理方法和相关装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910176877.9A CN109920518B (zh) 2019-03-08 2019-03-08 医学影像分析方法、装置、计算机设备和存储介质
CN201910758817.8A CN110491502B (zh) 2019-03-08 2019-03-08 显微镜视频流处理方法、系统、计算机设备和存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910176877.9A Division CN109920518B (zh) 2019-03-08 2019-03-08 医学影像分析方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110491502A CN110491502A (zh) 2019-11-22
CN110491502B true CN110491502B (zh) 2021-03-16

Family

ID=66963954

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910176877.9A Active CN109920518B (zh) 2019-03-08 2019-03-08 医学影像分析方法、装置、计算机设备和存储介质
CN201910758817.8A Active CN110491502B (zh) 2019-03-08 2019-03-08 显微镜视频流处理方法、系统、计算机设备和存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910176877.9A Active CN109920518B (zh) 2019-03-08 2019-03-08 医学影像分析方法、装置、计算机设备和存储介质

Country Status (4)

Country Link
US (1) US11908188B2 (zh)
EP (1) EP3937183A4 (zh)
CN (2) CN109920518B (zh)
WO (1) WO2020182078A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11282198B2 (en) 2018-11-21 2022-03-22 Enlitic, Inc. Heat map generating system and methods for use therewith
CN109920518B (zh) 2019-03-08 2021-11-16 腾讯科技（深圳）有限公司 医学影像分析方法、装置、计算机设备和存储介质
KR102291854B1 (ko) * 2019-07-10 2021-08-23 한국과학기술연구원 3차원 딥러닝을 이용한 어깨 질환 자동 진단 장치, 어깨 질환 진단을 위한 정보 제공 방법 및 어깨 질환 진단을 위한 정보 제공 방법을 수행하는 컴퓨터 프로그램을 기록한 전자 기록 매체
CN110517745B (zh) * 2019-08-15 2023-06-27 中山大学肿瘤防治中心 医疗检查结果的展示方法、装置、电子设备及存储介质
CN110634564B (zh) * 2019-09-16 2023-01-06 腾讯科技（深圳）有限公司 一种病理信息处理方法、装置、系统、电子设备及存储介质
CN110782975B (zh) * 2019-10-28 2022-07-22 杭州迪英加科技有限公司 一种显微镜下病理切片图像的呈现方法及装置
CN111026915B (zh) * 2019-11-25 2023-09-15 Oppo广东移动通信有限公司 视频分类方法、视频分类装置、存储介质与电子设备
CN112164437A (zh) * 2020-09-28 2021-01-01 周敬洋 一种基于人工智能的li-rads诊断报告生成方法
CN112184739B (zh) * 2020-11-25 2021-03-02 腾讯科技（深圳）有限公司 一种图像检测方法、装置及计算机可读存储介质
CN112365492A (zh) * 2020-11-27 2021-02-12 上海联影医疗科技股份有限公司 图像扫描方法、装置、电子设备和存储介质
CN112734737A (zh) * 2021-01-18 2021-04-30 天津大学 一种基于vgg孪生网络的脑胶质瘤关键帧智能抓取系统
CN114697761B (zh) 2022-04-07 2024-02-13 脸萌有限公司 一种处理方法、装置、终端设备及介质
CN116823829B (zh) * 2023-08-29 2024-01-09 深圳微创心算子医疗科技有限公司 医疗影像的分析方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107347125A (zh) * 2016-08-19 2017-11-14 北京市商汤科技开发有限公司 视频图像的处理方法、装置和终端设备
CN108024071A (zh) * 2017-11-24 2018-05-11 腾讯数码（天津）有限公司 视频内容生成方法、视频内容生成装置及存储介质
CN109145840A (zh) * 2018-08-29 2019-01-04 北京字节跳动网络技术有限公司 视频场景分类方法、装置、设备及存储介质

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100590537B1 (ko) * 2004-02-18 2006-06-15 삼성전자주식회사 복수 영상의 요약 방법 및 장치
CN101420615B (zh) * 2008-11-18 2010-12-15 华为技术有限公司 检测视频场序的方法和装置及视频处理系统
US20110301447A1 (en) * 2010-06-07 2011-12-08 Sti Medical Systems, Llc Versatile video interpretation, visualization, and management system
CN103118220B (zh) * 2012-11-16 2016-05-11 佳都新太科技股份有限公司 一种基于多维特征向量的关键帧提取算法
CN103533237B (zh) * 2013-09-29 2016-08-17 清华大学 一种从视频中提取视频关键帧的方法
US9700213B2 (en) * 2014-09-12 2017-07-11 Mayo Foundation For Medical Education And Research System and method for automatic polyp detection using global geometric constraints and local intensity variation patterns
EP3268894A1 (en) * 2015-03-11 2018-01-17 Siemens Aktiengesellschaft Systems and methods for deconvolutional network based classification of cellular images and videos
WO2016160491A1 (en) * 2015-03-27 2016-10-06 Siemens Aktiengesellschaft Method and system for automated brain tumor diagnosis using image classification
CN105007524A (zh) * 2015-07-29 2015-10-28 无锡天脉聚源传媒科技有限公司 一种视频处理方法及装置
US10861151B2 (en) * 2015-08-07 2020-12-08 The Arizona Board Of Regents On Behalf Of Arizona State University Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy
US11094058B2 (en) * 2015-08-14 2021-08-17 Elucid Bioimaging Inc. Systems and method for computer-aided phenotyping (CAP) using radiologic images
JP5885875B1 (ja) * 2015-08-28 2016-03-16 株式会社Ｕｂｉｃ データ分析システム、データ分析方法、プログラム、および、記録媒体
EP3405908B1 (en) * 2015-09-10 2021-12-15 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
EP3267394A1 (en) * 2016-07-04 2018-01-10 Centre National De La Recherche Scientifique Method and apparatus for real-time detection of polyps in optical colonoscopy
US10748277B2 (en) * 2016-09-09 2020-08-18 Siemens Healthcare Gmbh Tissue characterization based on machine learning in medical imaging
GB201709672D0 (en) * 2017-06-16 2017-08-02 Ucl Business Plc A system and computer-implemented method for segmenting an image
CN107341462A (zh) * 2017-06-28 2017-11-10 电子科技大学 一种基于注意力机制的视频分类方法
US10460440B2 (en) * 2017-10-24 2019-10-29 General Electric Company Deep convolutional neural network with self-transfer learning
JP6943138B2 (ja) * 2017-10-26 2021-09-29 コニカミノルタ株式会社 医用画像処理装置
CN108205685A (zh) * 2017-11-22 2018-06-26 深圳市商汤科技有限公司 视频分类方法、视频分类装置及电子设备
WO2019108888A1 (en) * 2017-11-30 2019-06-06 The Research Foundation For The State University Of New York SYSTEM AND METHOD TO QUANTIFY TUMOR-INFILTRATING LYMPHOCYTES (TILs) FOR CLINICAL PATHOLOGY ANALYSIS
CN107705852A (zh) * 2017-12-06 2018-02-16 北京华信佳音医疗科技发展有限责任公司 一种医用电子内窥镜的实时病变智能识别方法及装置
CN208060829U (zh) * 2018-02-27 2018-11-06 苏州康捷医疗股份有限公司 一种声控智能手术显微镜
EP3536245A1 (en) * 2018-03-08 2019-09-11 Koninklijke Philips N.V. A system and method of identifying characteristics of ultrasound images
CN109377470A (zh) * 2018-03-20 2019-02-22 任昊星 一种心脏病风险预测系统
CN108852268A (zh) * 2018-04-23 2018-11-23 浙江大学 一种消化内镜图像异常特征实时标记系统及方法
CN109102491B (zh) * 2018-06-28 2021-12-28 武汉楚精灵医疗科技有限公司 一种胃镜图像自动采集系统及方法
CN109255367A (zh) * 2018-08-03 2019-01-22 平安科技（深圳）有限公司 一种皮肤病疗效判断方法、装置、计算机设备及存储介质
CN109241946A (zh) * 2018-10-11 2019-01-18 平安科技（深圳）有限公司 异常行为监控方法、装置、计算机设备及存储介质
US10909681B2 (en) * 2019-01-03 2021-02-02 The Regents Of The University Of California Automated selection of an optimal image from a series of images
EP3909016A1 (en) * 2019-01-13 2021-11-17 Lightlab Imaging, Inc. Systems and methods for classification of arterial image regions and features thereof
CN109920518B (zh) * 2019-03-08 2021-11-16 腾讯科技（深圳）有限公司 医学影像分析方法、装置、计算机设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107347125A (zh) * 2016-08-19 2017-11-14 北京市商汤科技开发有限公司 视频图像的处理方法、装置和终端设备
CN108024071A (zh) * 2017-11-24 2018-05-11 腾讯数码（天津）有限公司 视频内容生成方法、视频内容生成装置及存储介质
CN109145840A (zh) * 2018-08-29 2019-01-04 北京字节跳动网络技术有限公司 视频场景分类方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Quantification of particle shape by an automated image analysis system: a case study in natural sediment samples from extreme climates;Young Ji Joo, Anastasia M. Soreghan, Megan E. Elwood Madden，Ge;《Geosciences Journal》;20180616;全文 *
显微视频流处理关键技术及其应用;刘岩;《中国博士学位论文全文数据库 信息科技辑》;20160115;全文 *

Also Published As

Publication number Publication date
CN110491502A (zh) 2019-11-22
US20210224546A1 (en) 2021-07-22
CN109920518A (zh) 2019-06-21
US11908188B2 (en) 2024-02-20
EP3937183A4 (en) 2022-05-11
CN109920518B (zh) 2021-11-16
EP3937183A1 (en) 2022-01-12
WO2020182078A1 (zh) 2020-09-17

Similar Documents

Publication Publication Date Title
CN110491502B (zh) 显微镜视频流处理方法、系统、计算机设备和存储介质
CN110993064B (zh) 面向深度学习的医学影像标注方法及装置
WO2020215984A1 (zh) 基于深度学习的医学图像检测方法及相关设备
Muhammad et al. Visual saliency models for summarization of diagnostic hysteroscopy videos in healthcare systems
US20200401854A1 (en) Method and system for image segmentation and identification
CN111369576A (zh) 图像分割模型的训练方法、图像分割方法、装置及设备
TW201224826A (en) Systems and methods for automated extraction of measurement information in medical videos
CN112419295A (zh) 医学图像处理方法、装置、计算机设备和存储介质
KR101925603B1 (ko) 병리 영상의 판독을 보조하는 방법 및 이를 이용한 장치
CN113662664A (zh) 一种基于仪器追踪的外科手术质量客观自动化评估方法
Panetta et al. Software architecture for automating cognitive science eye-tracking data analysis and object annotation
CN117237351B (zh) 一种超声图像分析方法以及相关装置
AU2020223750B2 (en) Method and System for Image Annotation
CN111275754B (zh) 一种基于深度学习的脸部痘印比例计算方法
CN113485555A (zh) 医学影像阅片方法、电子设备和存储介质
CN116958693A (zh) 图像分析方法、装置、设备、存储介质和程序产品
Sujatha et al. Enhancing Object Detection with Mask R-CNN: A Deep Learning Perspective
CN117079291A (zh) 图像轨迹确定方法、装置、计算机设备和存储介质
CN115762721A (zh) 一种基于计算机视觉技术的医疗影像质控方法和系统
CN113705318B (zh) 基于图像的识别方法、装置、设备及可读存储介质
CN115409812A (zh) 一种基于融合时间注意机制的ct图像自动分类方法
CN111598904B (zh) 图像分割方法、装置、设备及存储介质
CN114283406A (zh) 细胞图像识别方法、装置、设备、介质及计算机程序产品
CN115700826A (zh) 单据处理、单据展示方法、装置、计算机设备和存储介质
Chen et al. Palpation localization of radial artery based on 3-dimensional convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant