CN109920518B - 医学影像分析方法、装置、计算机设备和存储介质 - Google Patents

医学影像分析方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN109920518B
CN109920518B CN201910176877.9A CN201910176877A CN109920518B CN 109920518 B CN109920518 B CN 109920518B CN 201910176877 A CN201910176877 A CN 201910176877A CN 109920518 B CN109920518 B CN 109920518B
Authority
CN
China
Prior art keywords
frame
video stream
medical image
video
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910176877.9A
Other languages
English (en)
Other versions
CN109920518A (zh
Inventor
陆唯佳
姚建华
韩骁
周昵昀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910758817.8A priority Critical patent/CN110491502B/zh
Priority to CN201910176877.9A priority patent/CN109920518B/zh
Publication of CN109920518A publication Critical patent/CN109920518A/zh
Priority to EP20770930.4A priority patent/EP3937183A4/en
Priority to PCT/CN2020/078228 priority patent/WO2020182078A1/zh
Priority to US17/225,966 priority patent/US11908188B2/en
Application granted granted Critical
Publication of CN109920518B publication Critical patent/CN109920518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种医学影像分析方法、装置、计算机设备和存储介质，获取医学影像视频流，所述医学影像视频流包括不少于两帧基于病理切片的视频帧；提取医学影像视频流的视频帧；提取视频帧的单帧图像特征，将单帧图像特征映射为单帧诊断分类结果；基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果；视频流特征序列包括各视频帧的单帧图像特征及单帧诊断分类结果。由于基于医学影像视频流进行特征提取、分类映射，得到目标诊断分类结果，而医学影像视频流包括不少于两帧基于病理切片的视频帧，因此，可以提高诊断分类结果的准确性，从而为医学诊断提供准确的依据。

Description

医学影像分析方法、装置、计算机设备和存储介质
技术领域
本申请涉及医学影像处理领域，特别是涉及一种医学影像分析方法、装置、计算机设备和存储介质。
背景技术
医学影像是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得的内部组织影像。对医学影像的分析可以为医生得到准确的诊断结果提供辅助依据。
传统的医学影像分析方法对医生观察病理切片过程中确定的单张组织图像进行分析，得到该组织图像对应的诊断分类结果。由于单张组织图像难以全面的体现患者的组织切片的信息，因此，诊断分类结果的准确性有待进一步提高。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高诊断分类结果准确性的医学影像分析方法、装置、计算机设备和存储介质。
一种医学影像分析方法，所述方法包括：
获取医学影像视频流，所述医学影像视频流包括不少于两帧基于病理切片的视频帧；
提取所述医学影像视频流的所述视频帧；
提取所述视频帧的单帧图像特征，并将所述单帧图像特征映射为单帧诊断分类结果；
基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧诊断分类结果。
一种医学影像分析装置，所述装置包括：
视频流获取模块，用于获取医学影像视频流，所述医学影像视频流包括不少于两帧基于病理切片的视频帧；
视频帧提取模块，用于提取所述医学影像视频流的所述视频帧；
单帧分类模块，用于提取所述视频帧的单帧图像特征，并将所述单帧图像特征映射为单帧诊断分类结果；
分类映射模块，用于基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧诊断分类结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取医学影像视频流，所述医学影像视频流包括不少于两帧基于病理切片的视频帧；
提取所述医学影像视频流的所述视频帧；
提取所述视频帧的单帧图像特征，并将所述单帧图像特征映射为单帧诊断分类结果；
基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧诊断分类结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取医学影像视频流，所述医学影像视频流包括不少于两帧基于病理切片的视频帧；
提取所述医学影像视频流的所述视频帧；
提取所述视频帧的单帧图像特征，并将所述单帧图像特征映射为单帧诊断分类结果；
基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧诊断分类结果。
上述医学影像分析方法、装置、计算机设备和存储介质，获取医学影像视频流，所述医学影像视频流包括不少于两帧基于病理切片的视频帧；提取所述医学影像视频流的所述视频帧；提取所述视频帧的单帧图像特征，并将所述单帧图像特征映射为单帧诊断分类结果；基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧诊断分类结果。由于基于医学影像视频流进行特征提取、分类映射，得到目标诊断分类结果，而医学影像视频流包括不少于两帧基于病理切片的视频帧，因此，可以提高诊断分类结果的准确性，从而为医学诊断提供准确的依据。
附图说明
图1为一个实施例中医学影像分析方法的应用环境图示意图；
图2为一个实施例中医学影像分析方法的流程示意图；
图3为一具体实施例中的医学影像分析方法中医学影像视频流的展示示意图；
图4为一具体实施例中的医学影像分析方法的原理示意图；
图5为一具体实施例中的医学影像分析方法的硬件系统结构示意图；
图6为一具体实施例中的医学影像分析方法的流程示意图；
图7为一个实施例中医学影像分析装置的结构框图；
图8为一个实施例中计算机设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中医学影像分析方法的应用环境图示意图。医生将病理切片放在显微镜102下，对病理切片进行观察。在医生对切片进行观察的过程中，通过采集装置104采集显微镜102视野下的视频数据得到医学影像视频流。该医学影像分析方法可应用于计算机设备106中。该计算机设备106获取医学影像视频流，所述医学影像视频流包括不少于两帧基于病理切片的视频帧；提取所述医学影像视频流的所述视频帧；提取所述视频帧的单帧图像特征，将所述单帧图像特征映射为单帧诊断分类结果；基于所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧诊断分类结果。该计算机设备106可以是终端或者服务器。终端可以是台式设备或者移动终端。服务器可以是独立的物理服务器、物理服务器集群或者虚拟服务器。
如图2所示，在一个实施例中，提供了一种医学影像分析方法。该方法可以运行于图1中的计算机设备。该医学影像分析方法，包括以下步骤：
S202，获取医学影像视频流，医学影像视频流包括不少于两帧基于病理切片的视频帧。
计算机设备获取医学影像视频流。医学影像视频流可以是在医生通过显微镜观察病理切片的过程中，采集装置采集的显微镜视野下的视频流。该医学影像视频流包括不少于两帧基于病理切片的视频帧，也即包括不少于两张基于病理切片的组织切片图像。
显微镜广泛地应用在临床诊断及科学研究中，基于病理切片的医学影像视频流可以用于检查机体器官、组织或细胞中的病理形态学特征，从而明确病变产生的原因、发病机理以及病变的发展过程，为医生对病变组织进行评估和诊断提供依据。
传统的显微镜视野下医学影像图片是固定视野中的单张病理图片。本实施例的医学影像视频流中不少于两张基于病理切片的视频帧，是医生在观察切片的过程中，通过移动摄像头、切换放大倍率等操作反复观察疑似的病灶区域得到的多视野的病理图片的集合，融合了显微镜下多个视野的信息。由于医学影像视频流中记录了医生在观察病理切片的过程中，显微镜视野中所有的信息，如此，将医生观察单个病理切片显微镜的视野中的信息，作为连续的视频流加以利用，避免医生在快速移动病理切片的过程中，忽略微小的病变区域，从而提供比单帧图片更多的信息来辅助医生诊断并发现微小病变区域。
还需要说明的是，在显微镜下查看的病理切片可以包括多种不同的应用场景，如肺部组织切片、心脏组织切片等。基于本实施例的医学影像分析方法可以部署到多种应用场景，从而便于医生的使用。
S204，提取医学影像视频流的视频帧。
计算机设备对医学影像视频流进行分析，从该医学影像视频流中提取到视频帧。进一步地，在提取到视频帧的同时记录每一视频帧对应的时间戳。如此，可以在根据医学影像视频流的视频帧之间的帧间差异，确定视频流对应的操作信息，并基于操作信息确定操作序列时，提供时间间隔信息。
可以通过训练得到的神经网络模型对医学影像视频流进行视频帧提取，得到视频帧。也可以通过基于视频流分帧的算法，对医学影像视频流进行视频帧提取。
S206，提取视频帧的单帧图像特征，并将单帧图像特征映射为单帧诊断分类结果。
在提取到视频帧之后，可以对提取到的每一视频帧进行图像特征提取，得到视频帧的单帧图像特征，并将单帧图像特征映射为单帧诊断分类结果。可以将单帧图像分类算法作为一个分类器使用，该分类器可以是基于图像的分类器，其输入为单张图像，输出为单张图像的诊断分类结果。可以通过该分类器对每一视频帧进行图像特征提取，得到视频帧的单帧图像特征，并通过该分类器将单帧图像特征映射为单帧诊断分类结果。该方式可以继续延用已有的基于单张图片或单张图片特征的分类器，节约开发成本。
也可以采用图像特征提取算法，对提取到的每一视频帧进行图像特征提取，得到视频帧的单帧图像特征，再将该单帧图像特征输入基于图像特征的分类器，将该单帧图像特征映射为单帧诊断分类结果。该基于图像特征的分类器的输入为单张图片的图像特征，输出为单张图片的诊断分类结果。
S208，基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果。该视频流特征序列包括各视频帧的单帧图像特征及单帧诊断分类结果。
计算机设备基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果。预设映射规则为预先设置好的映射规则，如可以是经过训练得到的神经网络模型，也可以是将视频流特征序列分类映射为目标诊断分类结果的其它映射规则。其中，经过训练得到的该神经网络模型的输入可以包括该视频流特征序列。经过训练得到的该神经网络模型的输入也可以包括该医学影像视频流，通过该训练得到的该神经网络模型，对医学影像视频流进行特征提取，得到视频流特征序列，并基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果。在本实施例中，预设映射规则的输入，即经过训练得到的该神经网络模型的输入，包括各视频帧的单帧图像特征及单帧诊断分类结果，输出为分类映射得到的目标诊断分类结果。
该经过训练得到的神经网络模型在训练之前，需要获取到训练样本。该训练样本中的每个样本对象，可以是包括医学影像视频流及与该医学影像视频流对应的诊断分类标记；还可以是包括各视频帧的单帧图像特征、单帧诊断分类结果及与该医学影像视频流对应的诊断分类标记。该诊断分类标记为与该医学影像视频流对应的诊断结果的标记，可以是医生根据该样本对象的医学影像视频流确定的诊断结果对应的标记。
进一步地，该样本对象还可以包括关键帧标记。该关键帧标记可以由医生根据该样本对象的医学影像视频流确定的关键帧信息来确定。如，医生在做出诊断结果时候，同时给出他做出该诊断结果所依据的那一帧图片a的信息，即关键帧信息；计算图片a在特征空间的表征v，同时在此空间中，基于一个距离指标计算与v相近的v’对应的图片a’；a’组成的集合{a’}即为关键帧，对集合{a’}对应的视频帧进行标记，即为关键帧标记。此时，基于视频流特征序列采用预设映射规则进行分类映射，得到的目标诊断分类结果包括医学影像视频流对应的诊断分类结果及关键帧信息。
上述医学影像分析方法，获取医学影像视频流，医学影像视频流包括不少于两帧基于病理切片的视频帧；提取所述医学影像视频流的所述视频帧；提取所述视频帧的单帧图像特征，将所述单帧图像特征映射为单帧诊断分类结果；基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧诊断分类结果。由于基于医学影像视频流进行特征提取、分类映射，得到目标诊断分类结果，而医学影像视频流包括不少于两帧基于病理切片的视频帧，因此，可以提高诊断分类结果的准确性，从而为医学诊断提供准确的依据。
在其中一实施例中，计算机设备及采集装置可以集成在显微镜上。在其它实施例中，采集装置与计算机装置也可以分别独立设置，在采集装置中采集医学影像视频流，在计算机设备中对采集到的医学影像视频流进行医学影像分析得到目标诊断结果。在采集装置与计算机装置分别独立设置的实施例中，医学影像分析及医学影像获取分开处理。在计算机设备及采集装置集成在显微镜上的实施例中，由于若在医学影像视频流的某一帧的医学影像图片中发现可疑区域，无需在显微镜下再次确认或者查看该可疑区域的周围区域，仅需要根据医生的原有的切换习惯查看后续视频帧即可。因此，无需再次切换到显微镜视野，也无需花费一定时间在显微镜视野中找到该可疑区域，而是可以保留医生直接在显微镜下观察切片的习惯，并通过查看在观察切片的同时采集到的医学影像视频流查看可疑区域，如此，不会为医生反复看片使得需要反复切换到显微镜视野带来操作不便和额外时间消耗的问题。
进一步地，为了进一步提高诊断分类结果的准确性，提取医学影像视频流的视频帧，包括：提取医学影像视频流的待定视频帧；对待定视频帧进行清晰化处理，得到视频帧。由于在提取医学影像视频流得到待定视频帧的过程中，可能得到的待定视频帧并不清晰，这将影响对该不清晰的待定视频帧进行图像特征提取、映射分类等操作，最终得到的目标诊断分类结果的准确性。因此，在本实施例中，先对从医学影像视频流中提取得到的待定视频帧进行清晰化处理，再将清晰化处理后得到的视频帧进行图像特征提取、映射分类，从而进一步提高诊断分类结果的准确性。
在其中一实施例中，目标诊断分类结果包括医学影像视频流对应的诊断分类结果及关键帧信息。
关键帧是指在对医学影像视频流进行分析得到诊断分类结果的过程中，对诊断分类结果的影响力权重按从大到小的方式进行排序，排在前预设位的作为关键帧。如，可以是排在第一位的作为关键帧，又如，排在第一位的作为第一关键帧，排在第二和第三位的作为第二关键帧。关键帧信息是指关键帧是医学影像视频流中的哪一帧的信息。如，可以通过时间戳来表示，也可以通过视频帧的序号来表示。
若预设映射规则为训练得到的神经网络模型，在训练神网络模型之前可以对训练样本中每一样本对象的医学影像视频流进行关键帧标注，得到诊断分类标记。也可以在神经网络模型中采用注意力机制对每一视频帧赋予不同的权重，进而根据该权重确定关键帧信息，从而无需在训练之前进行关键帧标注，如此，可以节约大量标注所需的人工成本。
基于本实施例的医学影像分析方法中，目标诊断分类结果包括医学影像视频流对应的诊断分类结果及关键帧信息，相较于目标诊断分类结果不包括关键帧信息的医学影像分析方法，能够提供在得到诊断分类结果的过程中，影响力较大的关键帧的信息，从而为医生进行诊断提供更为详细的依据。
在其中一实施例中，基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：基于单帧图像特征及单帧诊断分类结果采用预设映射规则进行分类映射，得到医学影像视频流对应的诊断分类结果；基于分类映射过程中各视频帧对应的权重信息，确定关键帧信息。
在本实施例中，将各视频帧的单帧图像特征及单帧诊断分类结果作为分类映射的输入，得到分类映射的输出诊断分类结果及关键帧信息。其中，关键帧信息的确定是基于分类映射过程中各视频帧对应的权重信息，确定关键帧信息。如，可以将分类映射过程中通过注意力机制得到的视频帧对应的权重进行排序，并将排在前预设位的作为关键帧。该关键帧信息可以包括关键帧对应的权重信息及关键帧的位置信息。如，可以通过展示医学影像视频流，并在预设位置显示关键帧信息的方式体现关键帧信息。在预设位置展示医学影像视频流的各视频帧的缩略图，并通过缩略图的排序顺序体现各视频帧的位置关系，可以通过在视频帧的显示颜色来表示该帧是否为关键帧，并通过该显示颜色的深浅程度来表示该帧的权重信息。如此，通过第一显示方式区分关键帧与非关键帧，通过第二显示方式区分各关键帧的权重情况，从而为医生进行诊断提供更为详细的依据。可以理解地，第一显示方式不限于通过颜色来区分关键帧与非关键帧，第二显示方式也不限于通过颜色的深浅来表示权重的大小。
在其中一实施例中，基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：获取医学影像视频流对应的操作信息，并基于操作信息确定操作序列；基于操作序列及视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果。
操作信息可以是通过其它采集途径，如通过另一采集设备采集医生的操作动作，然后通过视频分析的方式，确定操作信息。操作信息也可以通过医生或相关工作人员自行输入的方式获取。操作信息还可以通过对采集设备采集的显微镜视野下的医学影像视频流进行分析得到。具体如，根据该医学影像视频流的一视频帧中的一采集对象，与上一视频帧中的同一采集对象进行对比，确定同一采集对象的变化情况，从而确定该视频帧与上一视频帧之间的操作信息。
操作信息可以包括：物镜运动的方向(可以用Dir表示)和距离(可以用X表示)，以及在一视频帧上停留的时间(可以用deltaT表示)。物镜运动的方向包括可以三维方向。如，相对物镜镜头水平平面上的上下左右，又如，相对物镜镜头延伸方向的向前和向后。其中，向前和向后可以使得显微镜视野中的对象放大和缩小，上下左右可以使得显微镜视野范围上下左右地移动。
在确定了操作信息之后，可以将操作信息序列化，得到操作序列。在采用预设映射规则进行分类映射得到目标诊断分类结果的过程中，基于操作序列及视频流特征序列进行分类映射。在本实施例的分类映射过程中，所采用的预设映射规则的输入包括操作序列及视频流特征序列。如此，进一步在分类映射过程中，通过加入操作序列的因素，使得在分类映射过程中，综合考虑医学影像视频流及医学影像视频流对应的操作信息的影响。由于医生在观察切片的过程中对病灶所在区域的查看往往会具有更多的关注，因此，在分类映射的过程中，综合考虑医学影像视频流对应的操作信息，可以得到更为准确的目标诊断分类结果。从而，进一步提高目标诊断分类结果的准确性。
在其中一实施例中，获取医学影像视频流对应的操作信息，并基于操作信息确定操作序列，包括：根据医学影像视频流的视频帧之间的帧间差异，确定视频流对应的操作信息，并基于操作信息确定操作序列。
通过对医学影像视频流的视频帧之间的帧间差异来确定视频流对应的操作信息。如，根据该医学影像视频流的一视频帧中的一采集对象，与上一视频帧中的同一采集对象进行对比，确定同一采集对象的变化信息，进而确定该视频帧与上一视频帧之间的操作信息。对各视频帧进行分析，便可以确定整个医学影像视频流对应的操作信息。
本实施例的方式，在对医学影像视频流分析的过程中，可以无需通过额外的人力、物力进行操作信息的采集，因此基于本实施例的医学影像分析方法，在提高目标诊断分类结果准确性的同时，可以保持医学影像分析方法过程中相关人员操作的便利性。
在其中一实施例中，基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果之后，还包括：展示医学影像视频流，并在预设位置显示关键帧信息及当前播放视频帧的位置信息。
在本实施例中，目标诊断分类结果包括诊断分类结果及关键帧信息。可以通过展示医学影像视频流，并在预设位置显示关键帧信息的方式体现关键帧信息。在其中一具体实施例中，如图3所示，在预设位置展示医学影像视频流的各视频帧的缩略图，通过缩略图的排序顺序体现各视频帧的位置关系，并通过在视频帧的第一显示方式来表示该帧是否为关键帧，通过该第二显示方式来表示该视频帧的权重信息。如通过在视频帧的显示颜色来表示该帧是否为关键帧，通过该显示颜色的深浅程度来表示该视频帧的权重信息。如此，通过第一显示方式区分关键帧与非关键帧，通过第二显示方式区分各关键帧的权重情况。可以理解地，第一显示方式不限于通过颜色来区分关键帧与非关键帧，第二显示方式也不限于通过颜色的深浅来表示权重的大小。在播放医学影像视频流的过程中，可以是通过第三显示方式，如与第一显示方式不同的显示颜色，显示当前播放视频帧的缩略图，以体现当前播放视频帧的位置信息。
基于本实施例的医学影像分析方法，由于在得到目标诊断分类结果之后，展示医学影像视频流，并在预设位置显示关键帧信息及当前播放视频帧的位置信息。如此，可以使得医生或其它用户在查看医学影像视频流时，直观地了解到关键帧信息及当前播放帧的位置信息。
在其中一实施例中，单帧诊断分类结果包括视频帧对应的诊断分类结果及热点图；目标诊断分类结果还包括关键帧的热点图。
热点图是在分类映射过程中，对目标诊断分类结果影响大小的进行表示的图像。在单帧图片分类映射过程中，输入的单帧图像特征经过激活函数映射得到映射结果，该映射结果再经过池化后，再与预设的类别权重进行乘积运算，从而得到该热点图，该预设的类别权重可以通过训练神经网络模型而得到。需要说明的是，单帧诊断分类结果的诊断分类结果，可以在池化之后，通过分类函数(如softmax函数)输出。
在本实施例中，目标诊断分类结果不仅包括视频流对应的诊断分类结果及关键帧信息，还包括关键帧信息对应的关键帧的热点图。该关键帧的热点图可以在确定关键帧信息之后，根据关键帧信息获取到。也即，该关键帧对应的单帧图像特征经过激活函数映射再经过池化后，与预设的类别权重的乘积。
由于目标诊断分类结果还包括关键帧的热点图，可以为后续对组织病变区域的分割提供标注信息，如此，无需进行人工标注，减少大量的像素级别的标注任务，从而，可以节约大量的人力成本。同时，述目标诊断分类结果还包括关键帧的热点图，还可以为医生进行诊断提供更为详细的依据。
在其中一实施例中，展示医学影像视频流，并在预设位置显示关键帧信息及当前播放视频帧的位置信息，还包括：在医学影像视频流的展示过程中，在播放关键帧时对应显示关键帧的热点图。如此，可以使得在播放关键帧时，对应显示在得到诊断分类结果的过程中影响力情况的信息，即该关键帧的热点图。从而，为医生进行诊断提供更为详细的信息依据。
在其中一实施例中，在医学影像视频流的展示过程中，在显示关键帧时对应显示关键帧的热点图，包括：基于操作信息对各关键帧的热点图进行平滑处理，得到关键帧的目标热点图；在医学影像视频流的展示过程中，在显示关键帧时对应显示关键帧的目标热点图。
由于热点图是分别根据关键帧对应的视频帧确定的，而对于连续的几个关键帧分别确定的热点图在连续播放的时候，可能并不流畅。因此，在本实施例中，对于分别根据关键帧对应的视频帧确定的热点图，根据操作信息对其进行平滑处理，该平滑处理可以包括空间域上的变换以及时间域上的平均，以获得更加平滑可靠的目标热点图。如此，一方面可以使得在医学影像视频流的展示过程中，在显示关键帧时对应显示的热点图的变换过程平滑流畅；另一方面可以降低热点图的误差。
在其中一实施例中，基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：获取视频流对应的患者信息，并基于患者信息确定患者序列；基于视频帧特征序列及患者序列采用预设映射规则进行分类映射，得到目标诊断分类结果。
患者信息可以包括结构化信息以及非结构化信息，其中结构化信息可以包括患者姓名、患者标识、性别、年龄等。非结构化信息包括：其它科室的患者记录，如放射科的报告。患者标识可以采用患者编号进行标识，患者编号可以通过字符序列、条形码或二维码的形式表示。可以通过患者标识查找对应患者在其它科室的患者记录。比如，根据条形码到医院信息系统中查找其它科室，如HIS(Hospital Information System，医院信息系统)、RIS(Radiology Information System，放射科信息系统)。
在获取到结构化或非结构化的患者信息之后，可以将这些结构化和非结构化的患者信息，编码成固定长度的特征向量，得到患者序列(可以用FvA表示)。如，可以将报告中的文本通过自然语言处理(NLP)的办法提取关键字(name entity recognition，NER)，并把这些关键字通过植入(embedding)的方式，编码成固定长度的特征向量，得到患者序列。在采用预设映射规则进行分类映射得到目标诊断分类结果的过程中，基于该患者序列及视频流特征序列进行分类映射。在本实施例的分类映射过程中，所采用的预设映射规则的输入包括患者序列及视频流特征序列。如此，进一步在分类映射过程中，通过加入患者序列的因素，使得在分类映射过程中，综合考虑医学影像视频流及医学影像视频流对应的患者信息的影响。由于患者信息对诊断结果也具有参考意义，因此，在分类映射的过程中，综合考虑医学影像视频流对应的患者信息可以更为准确的得到目标诊断分类结果。从而，进一步提高目标诊断分类结果的准确性。
在其中一实施例中，基于视频帧特征序列及患者序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：通过预设卷积层对视频流特征序列进行卷积操作得到卷积结果；将卷积结果及患者序列输入预设全连接层进行全连接映射，并通过输出层输出目标诊断分类结果。
在本实施例中，患者序列虽然也作为预设映射规则的输入，该预设映射规则可以为训练得到的神经网络模型，而该患者序列为神经网络模型中，全连接层增加的输入，从而使得患者信息作为一个重要的因素，被综合考虑在分类映射过程中，如此，提高分类映射的目标诊断分类结果的准确性。
在一具体实施例中，在获取医学影像视频流，提取医学影像视频流的视频帧，并提取视频帧的单帧图像特征、将单帧图像特征映射为单帧诊断分类结果之后，如图4所示。
将各视频帧的单帧图像特征(Ffcv)及单帧诊断分类结果(Fsmv)，通过预设深层卷积神经网络的预设卷基层进行卷积操作得到卷积结果(FvDT)，再将卷积结果与患者序列(FvA)输入预设全连接层(FC)进行全连接映射，并通过输出层(SoftMax)输出目标诊断分类结果，该目标诊断分类结果包括医学影像视频流对应的分类类别(y)及该分类类别对应对的概率(Prob)。如图4所示，在深层卷积神经网络中，通过加入注意力机制(AttentionWnd)，学习各时间戳对应的视频帧的特征支撑关系，从而确定各视频帧对应的权重信息。
在其中一具体实施例中，如图5所示，可以事先通过语音方式选择人工智能算法类型，如可以是医生通过语音选择针对肺部组织病变的神经网络模型、针对心脏组织病变的神经网络模型或者其它组织病变的神经网络模型，如此解放医生的双手，同时由于可以对人工智能算法类型进行选择，可以使得该智能显微镜可以应用于多种应用场景。操作者(如医生)对智能显微镜进行操作，观察病理切片，在这个过程中，可以通过集成在智能显微镜上的采集装置采集显微镜视野下的医学影像视频流。通过集成在智能显微镜上的网络接口获取HIS、RIS及已有的结构化信息、报告等患者信息，然后在智能显微镜上进行序列化得到患者序列。可以通过智能显微镜提取医学影像视频流的视频帧，并提取视频帧的单帧图像特征，将单帧图像特征映射为单帧诊断分类结果。还可以通过该智能显微镜根据医学影像视频流的视频帧之间的帧间差异，确定视频流对应的操作信息，并基于操作信息确定操作序列。通过人工智能芯片可以基于操作序列、患者序列及视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果。该目标诊断分类结果包括医学影像视频流对应的诊断分类结果、关键帧信息及关键帧的热点图。其中，可以根据该医学影像视频流对应的诊断分类结果得到对应患者的病理报告，该病理报告以及关键帧信息和关键帧的热点图可以根据承办的医院或科研机构来进行存档。如此，方便承办单位及其它相关人员进行查看。在该具体实施例中，还可以通过显示模块对人工智能芯片得到的结果，结合采集装置采集的图像进行虚拟现实的显示，从而使得更为直观地向用户展示目标诊断分类结果，该目标诊断分类结果包括：通过热点图表示的病变区域轮廓,诊断分类结果的分类类别和分类概率，以及关键帧标记。在该具体实施例中，还可以通过语音交互交口接收病历导出指令，使得智能显微镜导出对应的病历报告，该病历报告的内容可以包括人工智能芯片得到的病理报告、关键帧图片或序号、以及关键帧上的热点图。
如图6所示，在其中一具体实施例中，医学影像分析方法，包括：
S601，获取医学影像视频流，医学影像视频流包括不少于两帧基于病理切片的视频帧；
S602，提取医学影像视频流的待定视频帧；
S603，对待定视频帧进行清晰化处理，得到视频帧；
S604，提取视频帧的单帧图像特征；
S605，将单帧图像特征映射为单帧诊断分类结果；单帧诊断分类结果包括视频帧对应的诊断分类结果及热点图；
S606，根据医学影像视频流的视频帧之间的帧间差异，确定视频流对应的操作信息，并基于操作信息确定操作序列；
S607，获取视频流对应的患者信息，并基于患者信息确定患者序列；
S608，基于视频流特征序列、患者序列及操作序列，采用预设映射规则进行分类映射，得到目标诊断分类结果；视频流特征序列包括各视频帧的单帧图像特征及单帧诊断分类结果；目标诊断分类结果包括医学影像视频流对应的诊断分类结果、关键帧信息及关键帧的热点图；
S609，展示医学影像视频流，并在预设位置显示关键帧信息及当前播放视频帧的位置信息；
其中，基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：基于单帧图像特征及单帧诊断分类结果采用预设映射规则进行分类映射，得到医学影像视频流对应的诊断分类结果；基于分类映射过程中各视频帧对应的权重信息，确定关键帧信息；
其中，在医学影像视频流的展示过程中，在显示关键帧时对应显示关键帧的热点图，包括：基于操作信息对各关键帧的热点图进行平滑处理，得到关键帧的目标热点图；在医学影像视频流的展示过程中，在显示关键帧时对应显示关键帧的目标热点图。
基于该实施例的医学图像分析方法，综合考虑各视频帧的信息，并同时考虑在得到诊断分类结果的过程中，影响力较大的关键帧的信息、操作信息，可以提高诊断分类结果的准确性，从而为医学诊断提供准确的依据；可以继续延用已有的基于单张图片或单张图片特征的分类器，节约开发成本。由于目标诊断分类结果还包括关键帧的热点图，可以为后续对组织病变区域的分割提供标注信息，如此，无需进行人工标注，减少大量的像素级别的标注任务，从而，可以节约大量的人力成本。同时，目标诊断分类结果还包括关键帧的热点图，并在在所述医学影像视频流的展示过程中，在播放所述关键帧时对应显示所述关键帧的热点图，可以为医生进行诊断提供详细的依据。
应该理解的是，虽然图2、6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种与上述医学影像分析方法对应的医学影像分析装置，包括：
视频流获取模块702，用于获取医学影像视频流，所述医学影像视频流包括不少于两帧基于病理切片的视频帧；
视频帧提取模块704，用于提取所述医学影像视频流的所述视频帧；
单帧分类模块706，用于提取所述视频帧的单帧图像特征，并将所述单帧图像特征映射为单帧诊断分类结果；
分类映射模块708，用于基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧诊断分类结果。
上述医学影像分析装置，获取医学影像视频流，医学影像视频流包括不少于两帧基于病理切片的视频帧；提取所述医学影像视频流的所述视频帧；提取所述视频帧的单帧图像特征，并将所述单帧图像特征映射为单帧诊断分类结果；基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果；该视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧诊断分类结果。由于基于医学影像视频流进行特征提取、分类映射，得到目标诊断分类结果，而医学影像视频流包括不少于两帧基于病理切片的视频帧，因此，可以提高诊断分类结果的准确性，从而为医学诊断提供准确的依据。
在其中一实施例中，所述目标诊断分类结果包括所述医学影像视频流对应的诊断分类结果及关键帧信息。
在其中一实施例中，分类映射模块708，包括：
诊断分类单元，用于基于所述单帧图像特征及所述单帧诊断分类结果采用预设映射规则进行分类映射，得到所述医学影像视频流对应的诊断分类结果；
关键帧确定单元，用于基于所述分类映射过程中各所述视频帧对应的权重信息，确定所述关键帧信息。
在其中一实施例中，视频帧提取模块704，包括视频帧清晰化单元；
视频分帧单元，用于提取所述医学影像视频流的待定视频帧；
视频帧清晰化单元，用于对所述待定视频帧进行清晰化处理，得到所述视频帧。
在其中一实施例中，还包括操作序列确定模块；
操作序列确定模块，用于获取所述医学影像视频流对应的操作信息，并基于所述操作信息确定操作序列；
分类映射模块，用于基于所述操作序列及所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果。
在其中一实施例中，所述操作序列确定模块，用于根据所述医学影像视频流的所述视频帧之间的帧间差异，确定所述视频流对应的操作信息，并基于所述操作信息确定操作序列。
在其中一实施例中，还包括结果展示模块；
结果展示模块，用于展示所述医学影像视频流，并在预设位置显示关键帧信息及当前播放视频帧的位置信息。
在其中一实施例中，所述单帧诊断分类结果包括所述视频帧对应的诊断分类结果及热点图；所述目标诊断分类结果还包括关键帧的热点图；
结果展示模块，还用于在所述医学影像视频流的展示过程中，在播放所述关键帧时对应显示所述关键帧的热点图。
在其中一实施例中，还包括热点图处理模块；
热点图处理模块，用于基于所述操作信息对各所述关键帧的热点图进行平滑处理，得到所述关键帧的目标热点图；
结果展示模块，还用于在所述医学影像视频流的展示过程中，在显示所述关键帧时对应显示所述关键帧的目标热点图。
在其中一实施例中，还包括患者序列确定模块；
患者序列确定模块，用于获取所述视频流对应的患者信息，并基于所述患者信息确定患者序列；
分类映射模块，用于基于所述视频帧特征序列及所述患者序列采用预设映射规则进行分类映射，得到目标诊断分类结果。
在其中一实施例中，分类映射模块，还用于通过预设卷积层对所述视频流特征序列进行卷积操作得到卷积结果；并将所述卷积结果及所述患者序列输入预设全连接层进行全连接映射，并通过输出层输出目标诊断分类结果。
如图8所示，在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端或服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种医学影像分析方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施方式中，提供了一种计算机设备，该计算机设备可以是服务器或终端。该计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述医学影像分析方法的步骤。
在其中一实施例中，该计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取医学影像视频流，所述医学影像视频流包括不少于两帧基于病理切片的视频帧；
提取所述医学影像视频流的所述视频帧；
提取所述视频帧的单帧图像特征，将所述单帧图像特征映射为单帧诊断分类结果；
基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧诊断分类结果。
在其中一实施例中，所述目标诊断分类结果包括所述医学影像视频流对应的诊断分类结果及关键帧信息。
在其中一实施例中，所述基于所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：
基于所述单帧图像特征及所述单帧诊断分类结果采用预设映射规则进行分类映射，得到所述医学影像视频流对应的诊断分类结果；
基于所述分类映射过程中各所述视频帧对应的权重信息，确定所述关键帧信息。
在其中一实施例中，所述提取所述医学影像视频流的所述视频帧，包括：
提取所述医学影像视频流的待定视频帧；
对所述待定视频帧进行清晰化处理，得到所述视频帧。
在其中一实施例中，所述基于所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：
获取所述医学影像视频流对应的操作信息，并基于所述操作信息确定操作序列；
基于所述操作序列及所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果。
在其中一实施例中，所述获取所述医学影像视频流对应的操作信息，并基于所述操作信息确定操作序列，包括：
根据所述医学影像视频流的所述视频帧之间的帧间差异，确定所述视频流对应的操作信息，并基于所述操作信息确定操作序列。
在其中一实施例中，所述基于所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果之后，还包括：
展示所述医学影像视频流，并在预设位置显示关键帧信息及当前播放视频帧的位置信息。
在其中一实施例中，所述单帧诊断分类结果包括所述视频帧对应的诊断分类结果及热点图；所述目标诊断分类结果还包括关键帧的热点图；
所述展示所述医学影像视频流，并在预设位置显示所述关键帧信息及当前播放视频帧的位置信息，还包括：在所述医学影像视频流的展示过程中，在播放所述关键帧时对应显示所述关键帧的热点图。
在其中一实施例中，所述在所述医学影像视频流的展示过程中，在显示所述关键帧时对应显示所述关键帧的热点图，包括：
基于所述操作信息对各所述关键帧的热点图进行平滑处理，得到所述关键帧的目标热点图；
在所述医学影像视频流的展示过程中，在显示所述关键帧时对应显示所述关键帧的目标热点图。
在其中一实施例中，所述基于所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：
获取所述视频流对应的患者信息，并基于所述患者信息确定患者序列；
基于所述视频帧特征序列及所述患者序列采用预设映射规则进行分类映射，得到目标诊断分类结果。
在其中一实施例中，所述基于所述视频帧特征序列及所述患者序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：
通过预设卷积层对所述视频流特征序列进行卷积操作得到卷积结果；
将所述卷积结果及所述患者序列输入预设全连接层进行全连接映射，并通过输出层输出目标诊断分类结果。
在其中一实施方式中，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述医学影像分析方法的步骤。
在其中一实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取医学影像视频流，所述医学影像视频流包括不少于两帧基于病理切片的视频帧；
提取所述医学影像视频流的所述视频帧；
提取所述视频帧的单帧图像特征，将所述单帧图像特征映射为单帧诊断分类结果；
基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧诊断分类结果。
在其中一实施例中，所述目标诊断分类结果包括所述医学影像视频流对应的诊断分类结果及关键帧信息。
在其中一实施例中，所述基于所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：
基于所述单帧图像特征及所述单帧诊断分类结果采用预设映射规则进行分类映射，得到所述医学影像视频流对应的诊断分类结果；
基于所述分类映射过程中各所述视频帧对应的权重信息，确定所述关键帧信息。
在其中一实施例中，所述提取所述医学影像视频流的所述视频帧，包括：
提取所述医学影像视频流的待定视频帧；
对所述待定视频帧进行清晰化处理，得到所述视频帧。
在其中一实施例中，所述基于所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：
获取所述医学影像视频流对应的操作信息，并基于所述操作信息确定操作序列；
基于所述操作序列及所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果。
在其中一实施例中，所述获取所述医学影像视频流对应的操作信息，并基于所述操作信息确定操作序列，包括：
根据所述医学影像视频流的所述视频帧之间的帧间差异，确定所述视频流对应的操作信息，并基于所述操作信息确定操作序列。
在其中一实施例中，所述基于所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果之后，还包括：
展示所述医学影像视频流，并在预设位置显示关键帧信息及当前播放视频帧的位置信息。
在其中一实施例中，所述单帧诊断分类结果包括所述视频帧对应的诊断分类结果及热点图；所述目标诊断分类结果还包括关键帧的热点图；
所述展示所述医学影像视频流，并在预设位置显示所述关键帧信息及当前播放视频帧的位置信息，还包括：在所述医学影像视频流的展示过程中，在播放所述关键帧时对应显示所述关键帧的热点图。
在其中一实施例中，所述在所述医学影像视频流的展示过程中，在显示所述关键帧时对应显示所述关键帧的热点图，包括：
基于所述操作信息对各所述关键帧的热点图进行平滑处理，得到所述关键帧的目标热点图；
在所述医学影像视频流的展示过程中，在显示所述关键帧时对应显示所述关键帧的目标热点图。
在其中一实施例中，所述基于所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：
获取所述视频流对应的患者信息，并基于所述患者信息确定患者序列；
基于所述视频帧特征序列及所述患者序列采用预设映射规则进行分类映射，得到目标诊断分类结果。
在其中一实施例中，所述基于所述视频帧特征序列及所述患者序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：
通过预设卷积层对所述视频流特征序列进行卷积操作得到卷积结果；
将所述卷积结果及所述患者序列输入预设全连接层进行全连接映射，并通过输出层输出目标诊断分类结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (23)

1.一种医学影像分析方法，所述方法包括：
获取医学影像视频流，所述医学影像视频流包括不少于两帧基于病理切片的视频帧；
提取所述医学影像视频流的所述视频帧；
提取所述视频帧的单帧图像特征，将所述单帧图像特征映射为单帧诊断分类结果；
基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧诊断分类结果；
所述基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：
获取所述医学影像视频流对应的操作信息，并基于所述操作信息确定操作序列；
基于所述操作序列及所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果。
2.根据权利要求1所述的方法，其特征在于，所述目标诊断分类结果包括所述医学影像视频流对应的诊断分类结果及关键帧信息。
3.根据权利要求2所述的方法，其特征在于，所述基于所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：
基于所述单帧图像特征及所述单帧诊断分类结果采用预设映射规则进行分类映射，得到所述医学影像视频流对应的诊断分类结果；
基于所述分类映射过程中各所述视频帧对应的权重信息，确定所述关键帧信息。
4.根据权利要求1所述的方法，其特征在于，所述提取所述医学影像视频流的所述视频帧，包括：
提取所述医学影像视频流的待定视频帧；
对所述待定视频帧进行清晰化处理，得到所述视频帧。
5.根据权利要求1所述的方法，其特征在于，所述获取所述医学影像视频流对应的操作信息，并基于所述操作信息确定操作序列，包括：
根据所述医学影像视频流的所述视频帧之间的帧间差异，确定所述视频流对应的操作信息，并基于所述操作信息确定操作序列。
6.根据权利要求1所述的方法，其特征在于，所述基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果之后，还包括：
展示所述医学影像视频流，并在预设位置显示关键帧信息及当前播放视频帧的位置信息。
7.根据权利要求6所述的方法，其特征在于，所述单帧诊断分类结果包括所述视频帧对应的诊断分类结果及热点图；所述目标诊断分类结果还包括关键帧的热点图；
所述展示所述医学影像视频流，并在预设位置显示所述关键帧信息及当前播放视频帧的位置信息，还包括：在所述医学影像视频流的展示过程中，在播放所述关键帧时对应显示所述关键帧的热点图。
8.根据权利要求7所述的方法，其特征在于，所述在所述医学影像视频流的展示过程中，在显示所述关键帧时对应显示所述关键帧的热点图，包括：
基于所述操作信息对各所述关键帧的热点图进行平滑处理，得到所述关键帧的目标热点图；
在所述医学影像视频流的展示过程中，在显示所述关键帧时对应显示所述关键帧的目标热点图。
9.根据权利要求1-8任意一项所述的方法，其特征在于，所述基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：
获取所述视频流对应的患者信息，并基于所述患者信息确定患者序列；
基于所述视频帧特征序列及所述患者序列采用预设映射规则进行分类映射，得到目标诊断分类结果。
10.根据权利要求9所述的方法，其特征在于，所述基于所述视频帧特征序列及所述患者序列采用预设映射规则进行分类映射，得到目标诊断分类结果，包括：
通过预设卷积层对所述视频流特征序列进行卷积操作得到卷积结果；
将所述卷积结果及所述患者序列输入预设全连接层进行全连接映射，并通过输出层输出目标诊断分类结果。
11.一种医学影像分析装置，所述装置包括：
视频流获取模块，用于获取医学影像视频流，所述医学影像视频流包括不少于两帧基于病理切片的视频帧；
视频帧提取模块，用于提取所述医学影像视频流的所述视频帧；
单帧分类模块，用于提取所述视频帧的单帧图像特征，并将所述单帧图像特征映射为单帧诊断分类结果；
分类映射模块，用于基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧诊断分类结果；
操作序列确定模块，用于获取所述医学影像视频流对应的操作信息，并基于所述操作信息确定操作序列；
所述分类映射模块，用于基于所述操作序列及所述视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果。
12.根据权利要求11所述的装置，其特征在于，所述目标诊断分类结果包括所述医学影像视频流对应的诊断分类结果及关键帧信息。
13.根据权利要求11所述的装置，其特征在于，所述分类映射模块，包括：
诊断分类单元，用于基于所述单帧图像特征及所述单帧诊断分类结果采用预设映射规则进行分类映射，得到所述医学影像视频流对应的诊断分类结果；
关键帧确定单元，用于基于所述分类映射过程中各所述视频帧对应的权重信息，确定所述关键帧信息。
14.根据权利要求11所述的装置，其特征在于，所述视频帧提取模块，包括视频分帧单元和视频帧清晰化单元；
所述视频分帧单元，用于提取所述医学影像视频流的待定视频帧；
所述视频帧清晰化单元，用于对所述待定视频帧进行清晰化处理，得到所述视频帧。
15.根据权利要求11所述的装置，其特征在于，所述操作序列确定模块，用于根据所述医学影像视频流的所述视频帧之间的帧间差异，确定所述视频流对应的操作信息，并基于所述操作信息确定操作序列。
16.根据权利要求11所述的装置，其特征在于，还包括结果展示模块；
所述结果展示模块，用于展示所述医学影像视频流，并在预设位置显示关键帧信息及当前播放视频帧的位置信息。
17.根据权利要求16所述的装置，其特征在于，所述单帧诊断分类结果包括所述视频帧对应的诊断分类结果及热点图；所述目标诊断分类结果还包括关键帧的热点图；
所述结果展示模块，还用于在所述医学影像视频流的展示过程中，在播放所述关键帧时对应显示所述关键帧的热点图。
18.根据权利要求17所述的装置，其特征在于，还包括热点图处理模块；
所述热点图处理模块，用于基于所述操作信息对各所述关键帧的热点图进行平滑处理，得到所述关键帧的目标热点图；
所述结果展示模块，还用于在所述医学影像视频流的展示过程中，在显示所述关键帧时对应显示所述关键帧的目标热点图。
19.根据权利要求11所述的装置，其特征在于，还包括患者序列确定模块；
所述患者序列确定模块，用于获取所述视频流对应的患者信息，并基于所述患者信息确定患者序列；
所述分类映射模块，用于基于所述视频帧特征序列及所述患者序列采用预设映射规则进行分类映射，得到目标诊断分类结果。
20.根据权利要求19所述的装置，其特征在于，所述分类映射模块，还用于通过预设卷积层对所述视频流特征序列进行卷积操作得到卷积结果；并将所述卷积结果及所述患者序列输入预设全连接层进行全连接映射，并通过输出层输出目标诊断分类结果。
21.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-10任意一项所述的方法的步骤。
22.一种医学影像分析系统，所述系统包括：依次连接的显微镜、采集装置及医学影像分析设备；
所述采集装置，用于采集所述显微镜视野下的视频数据得到医学影像视频流；
所述医学影像分析设备，用于获取医学影像视频流，所述医学影像视频流包括不少于两帧基于病理切片的视频帧；提取所述医学影像视频流的所述视频帧；提取所述视频帧的单帧图像特征，并将所述单帧图像特征映射为单帧诊断分类结果；基于视频流特征序列采用预设映射规则进行分类映射，得到目标诊断分类结果；所述视频流特征序列包括各所述视频帧的所述单帧图像特征及所述单帧诊断分类结果。
23.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-10任意一项所述的方法的步骤。
CN201910176877.9A 2019-03-08 2019-03-08 医学影像分析方法、装置、计算机设备和存储介质 Active CN109920518B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910758817.8A CN110491502B (zh) 2019-03-08 2019-03-08 显微镜视频流处理方法、系统、计算机设备和存储介质
CN201910176877.9A CN109920518B (zh) 2019-03-08 2019-03-08 医学影像分析方法、装置、计算机设备和存储介质
EP20770930.4A EP3937183A4 (en) 2019-03-08 2020-03-06 IMAGE ANALYSIS METHOD, MICROSCOPE VIDEO STREAM PROCESSING METHOD AND ASSOCIATED APPARATUS
PCT/CN2020/078228 WO2020182078A1 (zh) 2019-03-08 2020-03-06 影像分析方法、显微镜视频流处理方法和相关装置
US17/225,966 US11908188B2 (en) 2019-03-08 2021-04-08 Image analysis method, microscope video stream processing method, and related apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910176877.9A CN109920518B (zh) 2019-03-08 2019-03-08 医学影像分析方法、装置、计算机设备和存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910758817.8A Division CN110491502B (zh) 2019-03-08 2019-03-08 显微镜视频流处理方法、系统、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN109920518A CN109920518A (zh) 2019-06-21
CN109920518B true CN109920518B (zh) 2021-11-16

Family

ID=66963954

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910758817.8A Active CN110491502B (zh) 2019-03-08 2019-03-08 显微镜视频流处理方法、系统、计算机设备和存储介质
CN201910176877.9A Active CN109920518B (zh) 2019-03-08 2019-03-08 医学影像分析方法、装置、计算机设备和存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910758817.8A Active CN110491502B (zh) 2019-03-08 2019-03-08 显微镜视频流处理方法、系统、计算机设备和存储介质

Country Status (4)

Country Link
US (1) US11908188B2 (zh)
EP (1) EP3937183A4 (zh)
CN (2) CN110491502B (zh)
WO (1) WO2020182078A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11282198B2 (en) 2018-11-21 2022-03-22 Enlitic, Inc. Heat map generating system and methods for use therewith
CN110491502B (zh) 2019-03-08 2021-03-16 腾讯科技（深圳）有限公司 显微镜视频流处理方法、系统、计算机设备和存储介质
KR102291854B1 (ko) * 2019-07-10 2021-08-23 한국과학기술연구원 3차원 딥러닝을 이용한 어깨 질환 자동 진단 장치, 어깨 질환 진단을 위한 정보 제공 방법 및 어깨 질환 진단을 위한 정보 제공 방법을 수행하는 컴퓨터 프로그램을 기록한 전자 기록 매체
CN110517745B (zh) * 2019-08-15 2023-06-27 中山大学肿瘤防治中心 医疗检查结果的展示方法、装置、电子设备及存储介质
CN110634564B (zh) * 2019-09-16 2023-01-06 腾讯科技（深圳）有限公司 一种病理信息处理方法、装置、系统、电子设备及存储介质
CN110782975B (zh) * 2019-10-28 2022-07-22 杭州迪英加科技有限公司 一种显微镜下病理切片图像的呈现方法及装置
CN111026915B (zh) * 2019-11-25 2023-09-15 Oppo广东移动通信有限公司 视频分类方法、视频分类装置、存储介质与电子设备
CN112164437A (zh) * 2020-09-28 2021-01-01 周敬洋 一种基于人工智能的li-rads诊断报告生成方法
CN112184739B (zh) * 2020-11-25 2021-03-02 腾讯科技（深圳）有限公司 一种图像检测方法、装置及计算机可读存储介质
CN112365492A (zh) * 2020-11-27 2021-02-12 上海联影医疗科技股份有限公司 图像扫描方法、装置、电子设备和存储介质
CN112734737A (zh) * 2021-01-18 2021-04-30 天津大学 一种基于vgg孪生网络的脑胶质瘤关键帧智能抓取系统
CN114697761B (zh) * 2022-04-07 2024-02-13 脸萌有限公司 一种处理方法、装置、终端设备及介质
CN116823829B (zh) * 2023-08-29 2024-01-09 深圳微创心算子医疗科技有限公司 医疗影像的分析方法、装置、计算机设备和存储介质
CN117830311B (zh) * 2024-03-05 2024-05-28 中山大学 医学影像图片分段和关键帧标识方法、系统、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103533237A (zh) * 2013-09-29 2014-01-22 清华大学 一种从视频中提取视频关键帧的方法
CN107533649A (zh) * 2015-03-27 2018-01-02 西门子公司 使用图像分类的自动脑肿瘤诊断方法和系统
CN109241946A (zh) * 2018-10-11 2019-01-18 平安科技（深圳）有限公司 异常行为监控方法、装置、计算机设备及存储介质

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100590537B1 (ko) * 2004-02-18 2006-06-15 삼성전자주식회사 복수 영상의 요약 방법 및 장치
CN101420615B (zh) * 2008-11-18 2010-12-15 华为技术有限公司 检测视频场序的方法和装置及视频处理系统
WO2011156001A1 (en) * 2010-06-07 2011-12-15 Sti Medical Systems, Llc Versatile video interpretation,visualization, and management system
CN103118220B (zh) * 2012-11-16 2016-05-11 佳都新太科技股份有限公司 一种基于多维特征向量的关键帧提取算法
US9700213B2 (en) * 2014-09-12 2017-07-11 Mayo Foundation For Medical Education And Research System and method for automatic polyp detection using global geometric constraints and local intensity variation patterns
JP2018514844A (ja) * 2015-03-11 2018-06-07 シーメンス アクチエンゲゼルシヤフトＳｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ 細胞画像および映像の深層畳み込みネットワークベースの分類のためのシステムおよび方法
CN105007524A (zh) * 2015-07-29 2015-10-28 无锡天脉聚源传媒科技有限公司 一种视频处理方法及装置
US10861151B2 (en) * 2015-08-07 2020-12-08 The Arizona Board Of Regents On Behalf Of Arizona State University Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy
US11094058B2 (en) * 2015-08-14 2021-08-17 Elucid Bioimaging Inc. Systems and method for computer-aided phenotyping (CAP) using radiologic images
JP5885875B1 (ja) * 2015-08-28 2016-03-16 株式会社Ｕｂｉｃ データ分析システム、データ分析方法、プログラム、および、記録媒体
WO2017042812A2 (en) * 2015-09-10 2017-03-16 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
EP3267394A1 (en) * 2016-07-04 2018-01-10 Centre National De La Recherche Scientifique Method and apparatus for real-time detection of polyps in optical colonoscopy
CN107347125B (zh) * 2016-08-19 2020-04-03 北京市商汤科技开发有限公司 视频图像的处理方法、装置和终端设备
US10748277B2 (en) * 2016-09-09 2020-08-18 Siemens Healthcare Gmbh Tissue characterization based on machine learning in medical imaging
GB201709672D0 (en) * 2017-06-16 2017-08-02 Ucl Business Plc A system and computer-implemented method for segmenting an image
CN107341462A (zh) * 2017-06-28 2017-11-10 电子科技大学 一种基于注意力机制的视频分类方法
US10460440B2 (en) * 2017-10-24 2019-10-29 General Electric Company Deep convolutional neural network with self-transfer learning
JP6943138B2 (ja) * 2017-10-26 2021-09-29 コニカミノルタ株式会社 医用画像処理装置
CN108205685A (zh) * 2017-11-22 2018-06-26 深圳市商汤科技有限公司 视频分类方法、视频分类装置及电子设备
CN108024071B (zh) * 2017-11-24 2022-03-08 腾讯数码（天津）有限公司 视频内容生成方法、视频内容生成装置及存储介质
WO2019108888A1 (en) * 2017-11-30 2019-06-06 The Research Foundation For The State University Of New York SYSTEM AND METHOD TO QUANTIFY TUMOR-INFILTRATING LYMPHOCYTES (TILs) FOR CLINICAL PATHOLOGY ANALYSIS
CN107705852A (zh) * 2017-12-06 2018-02-16 北京华信佳音医疗科技发展有限责任公司 一种医用电子内窥镜的实时病变智能识别方法及装置
CN208060829U (zh) * 2018-02-27 2018-11-06 苏州康捷医疗股份有限公司 一种声控智能手术显微镜
EP3536245A1 (en) * 2018-03-08 2019-09-11 Koninklijke Philips N.V. A system and method of identifying characteristics of ultrasound images
CN109377470A (zh) * 2018-03-20 2019-02-22 任昊星 一种心脏病风险预测系统
CN108852268A (zh) * 2018-04-23 2018-11-23 浙江大学 一种消化内镜图像异常特征实时标记系统及方法
CN109102491B (zh) * 2018-06-28 2021-12-28 武汉楚精灵医疗科技有限公司 一种胃镜图像自动采集系统及方法
CN109255367A (zh) * 2018-08-03 2019-01-22 平安科技（深圳）有限公司 一种皮肤病疗效判断方法、装置、计算机设备及存储介质
CN109145840B (zh) * 2018-08-29 2022-06-24 北京字节跳动网络技术有限公司 视频场景分类方法、装置、设备及存储介质
US10909681B2 (en) * 2019-01-03 2021-02-02 The Regents Of The University Of California Automated selection of an optimal image from a series of images
CN113544737A (zh) * 2019-01-13 2021-10-22 光实验成像公司 用于动脉图像区域及其特征的分类的系统和方法
CN110491502B (zh) * 2019-03-08 2021-03-16 腾讯科技（深圳）有限公司 显微镜视频流处理方法、系统、计算机设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103533237A (zh) * 2013-09-29 2014-01-22 清华大学 一种从视频中提取视频关键帧的方法
CN107533649A (zh) * 2015-03-27 2018-01-02 西门子公司 使用图像分类的自动脑肿瘤诊断方法和系统
CN109241946A (zh) * 2018-10-11 2019-01-18 平安科技（深圳）有限公司 异常行为监控方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的视频行为识别技术研究;余兴;《中国优秀硕士学位论文全文数据库信息科技辑》;20180915;摘要、第三章 *

Also Published As

Publication number Publication date
US20210224546A1 (en) 2021-07-22
EP3937183A1 (en) 2022-01-12
WO2020182078A1 (zh) 2020-09-17
CN110491502A (zh) 2019-11-22
US11908188B2 (en) 2024-02-20
CN110491502B (zh) 2021-03-16
EP3937183A4 (en) 2022-05-11
CN109920518A (zh) 2019-06-21

Similar Documents

Publication Publication Date Title
CN109920518B (zh) 医学影像分析方法、装置、计算机设备和存储介质
CN109583440B (zh) 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN1977283B (zh) 用于医疗诊断的智能定性和定量分析的系统
JP5222082B2 (ja) 情報処理装置およびその制御方法、データ処理システム
US10997466B2 (en) Method and system for image segmentation and identification
JP7366583B2 (ja) 医用情報処理装置、方法及びプログラム
Muhammad et al. Visual saliency models for summarization of diagnostic hysteroscopy videos in healthcare systems
CN111227864A (zh) 使用超声图像利用计算机视觉进行病灶检测的方法与装置
KR20150125436A (ko) 관심 영역별 추가 정보 제공 장치 및 방법
CN111214255A (zh) 一种医学超声图像计算机辅助诊断方法
Dong et al. One step further into the blackbox: a pilot study of how to build more confidence around an AI-based decision system of breast nodule assessment in 2D ultrasound
CN111292318A (zh) 内窥镜系统及内窥镜图像识别方法、设备、可存储介质
KR102531400B1 (ko) 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
CN108596174A (zh) 一种皮肤病影像的病灶定位方法
WO2021230000A1 (ja) 情報処理装置、情報処理方法及び情報処理システム
KR101925603B1 (ko) 병리 영상의 판독을 보조하는 방법 및 이를 이용한 장치
CN111583249A (zh) 一种医学图像的质量监控系统及方法
CN110008925A (zh) 一种基于集成学习的皮肤自动检测方法
CN111091539B (zh) 网络模型训练、医学图像处理方法、装置、介质及设备
JP2013052245A (ja) 情報処理装置および情報処理方法
CN113485555A (zh) 医学影像阅片方法、电子设备和存储介质
CN115803775A (zh) 判断支持装置、信息处理装置和训练方法
WO2020174863A1 (ja) 診断支援プログラム、診断支援システム及び診断支援方法
AU2019204365C1 (en) Method and System for Image Segmentation and Identification
CN116030303B (zh) 一种基于半监督孪生网络的视频结直肠病变分型方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant