CN117501375A - 用于人工智能辅助图像分析的系统和方法 - Google Patents

用于人工智能辅助图像分析的系统和方法 Download PDF

Info

Publication number
CN117501375A
CN117501375A CN202280039388.9A CN202280039388A CN117501375A CN 117501375 A CN117501375 A CN 117501375A CN 202280039388 A CN202280039388 A CN 202280039388A CN 117501375 A CN117501375 A CN 117501375A
Authority
CN
China
Prior art keywords
image
medical
user
report
findings
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280039388.9A
Other languages
English (en)
Inventor
大卫·胜元·派克
卡梅伦·安德鲁斯
马克·D·隆戈
杰西·列曼-西弗里
贾克琳·彼得斯
苏梅达·库彻拉帕提
詹妮弗·克洛肯布林克
杰弗里·C·列尔曼
萨米尔·梅塔
阿特雷耶·慕克吉
亚伦·隆
达尔文·伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sirona Medical Co
Original Assignee
Sirona Medical Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sirona Medical Co filed Critical Sirona Medical Co
Publication of CN117501375A publication Critical patent/CN117501375A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4566—Evaluating the spine
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/134—Hyperlinking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Dentistry (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本文描述了用于解释医学图像和生成报告的系统、软件和方法。在一些方面，本文描述的系统、软件和方法代表放射学技术堆栈的各个子系统(例如，RIS、PACS、AI、报告等)的单个界面。该系统可以为诸如放射科医生的用户提供一致的体验，并提供在分散的技术堆栈下不可能实现的支持和分析。

Description

用于人工智能辅助图像分析的系统和方法
交叉引用
本申请要求于2021年3月31日提交的美国临时专利申请号63/169,050的权益，该申请的全部公开内容通过引用并入本文。
背景技术
医学成像技术的进步已允许诊断变得更快和更准确，而无需诉诸侵入性手术。诸如X射线、超声波、磁共振成像(MRI)和计算机断层扫描(CT)的广泛的可用成像技术提供增强的对各种可能疾病的诊断。然而，尽管成像技术有所进步，但医学图像的解释主要是手动过程，由于依赖人类来解释图像并费力地将发现输入到医学报告中，其速度和效率受到限制。
发明内容
本文描述了用于解释医学图像并生成报告的系统、软件和方法。在一些方面，本文描述的系统、软件和方法代表放射学技术堆栈的各个子系统(例如，RIS、PACS、AI、报告等)的单个接口。该系统可以为诸如放射科医生的用户提供一致的体验，并提供在分散的技术堆栈下不可能实现的支持和分析。在一些情况下，系统包括多个子系统，例如本文描述的那些子系统。
医学图像解释是临床医生接收一组医学图像和相关临床信息(例如，病史、成像指示)作为输入，并产生包含发现(所有值得注意的观察的列表)和印象(例如，转诊医生需要注意的临床重要发现的排序总结)的文本报告的过程。现有的放射学技术堆栈存在各种缺陷。首先，技术堆栈高度分散，通常依赖于不同的应用，而应用之间的通信非常有限。其次，部分由于PACS图像查看器和报告软件之间缺乏集成，这些应用显示在多头计算机显示设置的不同监视器上，要求用户将注视从正在解释的图像上转移开。这已被称为“视线移开问题”(Sistrom CL，J Dig Imag 2005)。虽然报告的语音到文本口述旨在解决这个问题，但实际上它还远远不够，因为用户要么继续将视线移开，要么在不看的情况下口述成错误的模板字段而犯下笔误(Ringler MD等人，健康信息学杂志2017)。即使用户使用录音机上的“下一个字段”和“上一个字段”按钮或口头命令，仍然可能会发生错误。如果没有视觉反馈，则文本通常会被放置在报告模板的错误部分中。
本文公开的是用于协助人类读者的图像解释任务的计算机辅助算法，其可以结合人工智能(AI)、深度学习(DL)、机器学习(ML)、计算机辅助检测/诊断(CADe/CADx)和其他算法中的一种或多种。本文公开了用于向临床医生呈现AI输出并帮助产生报告的系统、软件和方法。在一些方面，该系统还用于生成分析，以用于业务管理、质量保证和自我提升的目的。
本文公开的是用于提供AI辅助图像分割和/或标记(包括解剖变异的标记)的系统、软件和方法。例如，可以对诸如X射线的医学图像进行椎骨自动分割和标记，并能够处理脊柱解剖结构的解剖变异。虽然可以通过算法检测正常的解剖特征，但解剖变异的存在可能导致错误标记，例如，对象中椎骨的数目异常或移行椎骨的存在。因此，考虑解剖变异实现更准确的标记，这对于成功地将医学图像解释的工作量从临床医生转移到计算系统上以及向转诊医生准确报告非常重要。图像分析算法可用于执行分割和/或标记。
在医学成像领域内，医学成像扫描仪(例如，MRI)产生一组一个或多个图像以供临床医生评审。一个或多个信息子系统可以提供多种功能。RIS(放射科信息系统)处理各种非图像信息和功能，例如订单输入、预授权、患者基本信息和保险信息、日程安排、资源管理、检查表现跟踪、报告分发、计费和报销等。通常，RIS系统处理其研究等待解释的患者的工作列表。图像存档和查看通常称为PACS(图片存档和通信系统)，其中临床医生可以滚动浏览与具体患者研究相对应的图像堆栈。一些PACS系统提供一些软件辅助的集成。在一些情况下，软件辅助是通过专门的独立工作站提供的。报告可以通过人工或计算机语音到文本转录以及基于键盘的编辑来执行。报告系统通常是独立的系统。
在一些方面，AI系统会对检查进行分类，如果检测到诸如颅内出血的紧急发现，则会优先进行解释。其他检测可能感兴趣的发现的AI算法向读者呈现发现可疑区域的图像上的注释。设计成分割具体解剖区域的AI算法向用户呈现所分割的区域，并可以基于该区域提供额外的定量指标。
本文所公开的系统、软件和方法中使用的算法、程序和功能中的一个或多个可以集成到具有统一用户界面的单个技术堆栈中，从而允许高效通信以及从一种功能到另一种功能的无缝过渡。例如，可以使用人工智能来评估医学图像以检测图像中的一个或多个分割的特征，对这些特征进行分析以生成用户可被提示接受的发现的文本描述。所接受的发现可以自动并入医学报告中，并且该报告的用户或后续消费者可以浏览该报告，其中所选择的发现文本链接回到图像中发现的位置。这些不同的模块或功能可以通过单个统一的用户界面而不是不同的用户界面和/或应用或程序来集成。因此，本公开提供了用于完整放射学工作流程的工具，该工作流程可以包括多模态图像评审功能、患者工作列表以及口述和转录服务。因此，本公开解决了现有放射学技术堆栈中的各种缺陷。作为说明性示例，本文公开了一种基于计算机的系统或平台，包括：(a)处理器；(b)显示器，其被配置为示出用于显示医学图像的图形用户界面；(c)用指令编码的非暂时性计算机可读存储介质，当该指令由处理器执行时使处理器提供：(i)用于AI辅助图像分割和标记的模块；(ii)用于AI辅助的发现和/或测量口述、比较和查询的模块；(iii)用于双向动态链接发现的模块，(iv)用于AI发现显示和交互的模块，(v)用于跟踪和分析AI辅助的模块，(vi)为用户提供通信集线器的模块，(vii)提供工作列表管理的模块，(viii)AI实现的质量度量的模块，(ix)AI辅助自我提升的模块，以及(x)用于挂片协议的模块。整个系统或平台可被配置用于生成医学报告，其中单独的模块或子系统中的一个或多个被配置为执行实现报告生成和/或与报告生成相关的具体过程。这些模块中的每一个(也可以称为整个系统或平台的系统或子系统)可以被配置为例如在单个技术堆栈中一起操作。
本文公开了一种用于医学报告生成的基于计算机的系统，包括：(a)处理器；(b)显示器，其被配置为示出用于评估医学图像的图形用户界面；(c)用计算机程序编码的非暂时性计算机可读存储介质，其使得所述处理器：(i)当用户接受包含在所述报告内的所述计算机生成的发现时，生成包括与所述医学图像相关的计算机生成的发现的医学报告。在一些实施方式中，该系统包括被配置为生成所述计算机生成的发现的图像分析算法，其中所述图像分析算法包括用于将所述医学图像划分成对应于多个图像特征的多个像素段的图像分割算法。在一些实施方式中，所述图像分析算法包括注释算法，所述注释算法注释所述多个图像特征中的至少一个图像特征。在一些实施方式中，所述多个图像特征按层次结构组织。在一些实施方式中，所述多个特征中的每一个对应于解剖结构、组织类型、肿瘤或组织异常、造影剂或其任何组合。在一些实施方式中，所述多个特征包括神经、血管、淋巴管、器官、关节、骨骼、肌肉、软骨、淋巴、血液、脂肪、韧带或肌腱中的一种或多种。在一些实施方式中，所述医学报告包括描述或评估所述至少一个特征的一个或多个语句或短语。在一些实施方式中，所述系统还包括音频检测组件，所述音频检测组件被配置为检测或记录指示出所述用户何时接受包含的所述计算机生成的发现的输入。在一些实施例中，所述医学图像是放射线照相图像、磁共振成像(MRI)图像、超声图像、内窥镜图像、弹性成像图像、热谱图像、正电子发射断层扫描(PET)图像、单光子发射计算机断层扫描(SPECT)图像、光学相干断层扫描(OCT)图像、计算机断层扫描(CT)图像、显微镜图像或医学摄影图像。在一些实施方式中，所述用户是医疗保健提供者。在一些实施方式中，所述医疗保健提供者是放射科医生、放射科技术员或助理、外科医生、家庭医生、内科医生、儿科医生、妇产科医生、皮肤科医生、传染病科医生、肾病科医生、眼科医生、肺科医生、神经科医生、麻醉师、肿瘤科医生、护士或物理治疗师。在一些实施方式中，所述计算机程序还被配置为使所述处理器使用机器学习分类器算法来分析所述图像，从而生成包括所述计算机生成的发现的结果。在一些实施方式中，所述计算机生成的发现包括病理的识别或评估。在一些实施方式中，所述病理的所述识别或评估包括所述病理的严重程度、数量(例如，肺结节的数量)、测量(例如，肺结节的长度、面积和/或体积)、存在或不存在或其体征或症状中的至少一个。在一些实施方式中，当所述发现包括所述病理的阳性识别或描述时，所述计算机生成的发现包括在所述医学报告中。在一些实施方式中，所述系统使用基于云的服务器或网络来执行所述医学图像的分析和所述报告的生成中的至少一个。在一些实施方式中，所述处理器被配置为提供工作列表管理界面，允许所述用户保留一个或多个案例，所述一个或多个案例包括来自可用于由一组用户评审的多个案例的一个或多个图像。在一些实施方式中，所述处理器被配置为确定所述计算机生成的发现与包括在所述报告中的用户发现之间的一致性。在一些实施方式中，所述处理器被配置为基于对所述特征和所述输入之间的一致性的确定来自动填充所述医学报告的一部分。在一些情况下，所述处理器被配置为将所述计算机生成的发现呈现给所述用户以供接受和可选地编辑，其中接受的计算机生成的发现被自动填充到所述报告的所述部分中。在一些情况下，所述处理器被配置为执行所述报告的质量度量评估。在一些情况下，所述质量度量评估包括使用所述报告的自然语言处理来生成一个或多个发现的列表，以及分析一个或多个发现的所述列表以生成一个或多个质量度量。在一些情况下，所述处理器被配置为收集关于用户与所述系统的交互的分析并提供用于提高效率或质量的反馈。
本文公开了一种用于医学报告生成的计算机实现的方法，包括：(a)显示医学图像；(b)当用户接受包含在所述报告内的所述计算机生成的发现时，生成包括与所述医学图像相关的计算机生成的发现的医学报告。在一些实施方式中，该方法使用被配置为生成所述计算机生成的发现的图像分析算法，其中所述图像分析算法包括用于将所述医学图像划分成对应于多个图像特征的多个像素段的图像分割算法。在一些实施方式中，所述图像分析算法包括注释算法，所述注释算法注释所述多个图像特征中的至少一个图像特征。在一些实施方式中，所述多个图像特征按层次结构组织。在一些实施方式中，所述多个特征中的每一个对应于解剖结构、组织类型、肿瘤或组织异常、造影剂或其任何组合。在一些实施方式中，所述多个特征包括神经、血管、淋巴管、器官、关节、骨骼、肌肉、软骨、淋巴、血液、脂肪、韧带或肌腱中的一种或多种。在一些实施方式中，所述医学报告包括描述或评估所述至少一个特征的一个或多个语句或短语。在一些实施方式中，所述系统还包括音频检测组件，所述音频检测组件被配置为检测或记录指示出所述用户何时接受包含的所述计算机生成的发现的输入。在一些实施方式中，所述医学图像是放射线照相图像、磁共振成像(MRI)图像、超声图像、内窥镜图像、弹性成像图像、热谱图像、正电子发射断层扫描(PET)图像、单光子发射计算机断层扫描(SPECT)图像、光学相干断层扫描(OCT)图像、计算机断层扫描(CT)图像、显微镜图像或医学摄影图像。在一些实施方式中，所述用户是医疗保健提供者。在一些实施方式中，所述医疗保健提供者是放射科医生、放射科技术员或助理、外科医生、家庭医生、内科医生、儿科医生、妇产科医生、皮肤科医生、传染病科医生、肾病科医生、眼科医生、肺科医生、神经科医生、麻醉师、肿瘤科医生、护士或物理治疗师。在一些实施方式中，所述方法包括使用机器学习分类器算法分析所述图像，从而生成包括所述计算机生成的发现的结果。在一些实施方式中，所述计算机生成的发现包括病理的识别或评估。在一些实施方式中，所述病理的所述识别或评估包括所述病理的严重程度、数量、测量值、存在或不存在或其体征或症状中的至少一个。在一些实施方式中，当所述发现包括阳性识别或所述病理时，所述计算机生成的发现被包括在所述医学报告中。在一些实施方式中，所述系统使用基于云的服务器或网络来执行所述医学图像的分析和所述报告的生成中的至少一个。在一些实施方式中，所述方法包括提供工作列表管理界面，允许所述用户保留一个或多个案例，所述一个或多个案例包括来自可用于评审的多个案例的一个或多个图像。在一些实施方式中，所述方法包括确定所述计算机生成的发现与包括在所述报告中的用户发现之间的一致性。在一些实施方式中，所述方法包括基于所述特征和所述输入之间的一致性的确定来自动填充所述医学报告的一部分。在一些情况下，所述处理器被配置为将所述计算机生成的发现呈现给所述用户以供接受和可选地编辑，其中接受的计算机生成的发现被自动填充到所述报告的所述部分中。在一些情况下，所述处理器被配置为执行所述报告的质量度量评估。在一些情况下，所述质量度量评估包括使用所述报告的自然语言处理来生成一个或多个发现的列表，以及分析一个或多个发现的所述列表以生成一个或多个质量度量。在一些情况下，所述处理器被配置为收集关于用户与所述系统的交互的分析并提供用于提高效率或质量的反馈。
本文公开了一种用于评估医学图像的基于计算机的系统，包括：(a)处理器；(b)显示器；(c)眼睛跟踪组件，其耦合到所述处理器并被配置为跟踪查看所述医学图像的用户的眼睛的位置或移动；(d)用计算机程序编码的非暂时性计算机可读存储介质，该计算机程序使得所述处理器：(i)在所述显示器上显示所述医学图像；(ii)用所述眼睛跟踪组件检测所述用户的所述眼睛的所述位置或所述移动；(iii)分析所述医学图像并识别所述医学图像内的多个特征；(iv)至少部分地基于所述用户的所述眼睛的所述位置或所述移动，确定所述用户将其视线引导到的所述多个特征中的一个特征；(v)接收来自所述用户的输入；以及(vi)将所述特征与来自所述用户的所述输入相关联。在一些实施方式中，基于所述特征和所述输入的匹配或重叠的时间戳来将所述特征和来自所述用户的所述输入相关联。在一些实施方式中，所述系统还包括音频检测组件，所述音频检测组件通信地耦合到所述处理器并且被配置为检测或记录由所述用户说出的形成所述输入的至少一部分的一个或多个声音。在一些实施方式中，所述计算机程序被配置为使所述处理器使用语音识别算法来分析所述一个或多个声音以识别由所述用户说出的一个或多个词语。在一些实施方式中，所述计算机程序被配置为使所述处理器至少部分地基于所述用户说出的所述一个或多个词语来生成一个或多个语句或短语以插入到医学报告中。在一些实施方式中，所述计算机程序还被配置为使所述处理器至少部分地基于所述特征和所述输入自动生成医学报告的至少一部分。在一些实施方式中，所述计算机程序还被配置为使所述处理器与第三方共享或互通所述医学报告。在一些实施方式中，所述医学图像是X射线放射线照相图像、磁共振成像(MRI)图像、超声图像、内窥镜图像、弹性成像图像、热谱图像、正电子发射断层扫描(PET)图像、单光子发射计算机断层扫描(SPECT)图像、光学相干断层扫描(OCT)图像、计算机断层扫描(CT)图像、显微镜图像或医学摄影图像。在一些实施方式中，所述特征是解剖结构的身份、所述解剖结构的测量、所述解剖结构的数目、或所述解剖结构的病理。在一些实施方式中，所述系统使用基于云的服务器或网络来执行所述图像的分析或基于所述位置和所述第二输入的报告的一部分的生成中的至少一个。在一些实施方式中，所述处理器被配置为提供工作列表管理界面，允许所述用户保留一个或多个案例，所述一个或多个案例包括来自可用于评审的多个案例的一个或多个图像。
本文公开了一种用于评估医学图像的计算机实现的方法，包括：(a)在显示器上显示所述医学图像；(b)用眼睛跟踪组件检测用户眼睛的位置或移动；(c)分析所述医学图像并识别所述医学图像内的多个特征；(d)至少部分地基于所述用户的所述眼睛的所述位置或所述移动来确定所述用户将其视线引导到的所述多个特征中的一个特征；(e)接收来自所述用户的输入；以及(f)将所述特征与来自所述用户的所述输入相关联。在一些实施方式中，基于所述特征和所述输入的匹配或重叠的时间戳来将所述特征和来自所述用户的所述输入相关联。在一些实施方式中，所述方法包括使用音频检测组件来检测或记录由所述用户说出的形成所述输入的至少一部分的一个或多个声音。在一些实施方式中，所述方法包括使用语音识别算法分析所述一个或多个声音以识别由所述用户说出的一个或多个词语。在一些实施方式中，所述方法包括至少部分地基于所述用户说出的所述一个或多个词语来生成一个或多个语句或短语以插入到医学报告中。在一些实施方式中，所述方法包括至少部分地基于所述特征和所述输入自动生成医学报告的至少一部分。在一些实施方式中，所述方法包括与第三方共享或互通所述医学报告。在一些实施方式中，所述医学图像是X射线放射线照相图像、磁共振成像(MRI)图像、超声图像、内窥镜图像、弹性成像图像、热谱图像、正电子发射断层扫描(PET)图像、单光子发射计算机断层扫描(SPECT)图像、光学相干断层扫描(OCT)图像、计算机断层扫描(CT)图像、显微镜图像或医学摄影图像。在一些实施方式中，所述特征是解剖结构的身份、所述解剖结构的测量、所述解剖结构的数目、或所述解剖结构的病理。在一些实施方式中，所述方法包括使用基于云的服务器或网络来执行所述图像的分析或基于所述位置和所述第二输入的报告的一部分的生成中的至少一个。在一些实施方式中，所述方法包括提供工作列表管理界面，允许所述用户保留一个或多个案例，所述一个或多个案例包括来自可用于评审的多个案例的一个或多个图像。
本文公开了一种基于计算机的报告生成系统，包括：(a)处理器；(b)显示器；(c)用计算机程序编码的非暂时性计算机可读存储介质，该计算机程序使所述处理器：(i)在所述显示器上显示包括多个特征的医学图像；(ii)接收来自所述用户的输入；(iii)将所述输入与来自所述多个特征的一个特征相关联；以及(iv)生成包括所述输入的医学报告，其中所述医学报告内的所述输入与标签相关联，并且其中当所述标签被占用时，显示与所述输入相关联的所述特征。在一些实施方式中，所述多个特征中的每一个对应于解剖结构、组织类型、肿瘤或组织异常、造影剂或其任何组合。在一些实施方式中，所述输入包括描述或评估所述特征的一个或多个口头或书面词语。在一些实施方式中，所述医学图像是放射线照相图像、磁共振成像(MRI)图像、超声图像、内窥镜图像、弹性成像图像、热谱图像、正电子发射断层扫描(PET)图像、单光子发射计算机断层扫描(SPECT)图像、光学相干断层扫描(OCT)图像、显微镜图像或医学摄影图像。在一些实施方式中，基于所述特征和所述输入的匹配或重叠的时间戳来将所述特征和来自所述用户的所述输入相关联。在一些实施方式中，所述标签包括超链接。在一些实施方式中，所述用户是放射科医生并且所述医学报告包括放射科医生的报告。在一些实施方式中，所述用户包括医疗保健提供者。
本文公开了一种计算机实现的方法，包括：(a)显示包括多个特征的医学图像；(a)接收来自用户的输入；(c)将所述输入与来自所述多个特征的一个特征相关联；以及(d)生成包括所述输入的医学报告，其中所述医学报告内的所述输入与标签相关联，并且其中当所述标签被占用时，显示与所述输入相关联的所述特征。在一些实施方式中，所述多个特征中的每一个对应于解剖结构、组织类型、肿瘤或组织异常、造影剂或其任何组合。在一些实施方式中，所述输入包括描述或评估所述特征的一个或多个口头或书面词语。在一些实施方式中，所述医学图像是放射线照相图像、磁共振成像(MRI)图像、超声图像、内窥镜图像、弹性成像图像、热谱图像、正电子发射断层扫描(PET)图像、单光子发射计算机断层扫描(SPECT)图像、光学相干断层扫描(OCT)图像、显微镜图像或医学摄影图像。在一些实施方式中，基于所述特征和所述输入的匹配或重叠的时间戳来将所述特征和来自所述用户的所述输入相关联。在一些实施方式中，所述标签包括超链接。在一些实施方式中，所述用户是放射科医生并且所述医学报告包括放射科医生的报告。在一些实施方式中，所述用户包括医疗保健提供者。
本文公开了一种计算机系统，包括：(a)处理器；(b)显示器；(c)用计算机程序编码的非暂时性计算机可读存储介质，该计算机程序使所述处理器：(i)响应于来自用户的指令，使用机器学习软件模块分析医学图像，从而生成计算机发现；(ii)向所述用户提供将所述计算机发现合并到由所述用户生成的医学报告中的选项；以及(iii)分析所述医学报告以确定所述计算机发现是否存在于所述医学报告中。在一些实施方式中，使用至少一个医学图像和至少一个相应的医学报告来训练所述机器学习软件模块。在一些实施方式中，所述机器学习软件模块包括神经网络。在一些实施方式中，所述机器学习软件模块包括分类器。在一些实施方式中，所述医学图像是放射线照相图像、磁共振成像(MRI)图像、超声图像、内窥镜图像、弹性成像图像、热谱图像、正电子发射断层扫描(PET)图像、单光子发射计算机断层扫描(SPECT)图像、光学相干断层扫描(OCT)图像、计算机断层扫描(CT)图像、显微镜图像或医学摄影图像。在一些实施方式中，使用自然语言处理来分析所述医学报告。在一些实施方式中，所述医学报告包括放射学报告。
本文公开了一种计算机实现的方法，包括：(a)响应于来自用户的指令，使用机器学习软件模块分析医学图像，从而生成计算机发现；(b)向所述用户提供将所述计算机发现合并到由所述用户生成的医学报告中的选项；以及(c)分析所述医学报告以确定所述计算机发现是否存在于所述医学报告中。在一些实施方式中，使用至少一个医学图像和至少一个相应的医学报告来训练所述机器学习软件模块。在一些实施方式中，所述机器学习软件模块包括神经网络。在一些实施方式中，所述机器学习软件模块包括分类器。在一些实施方式中，所述医学图像是放射线照相图像、磁共振成像(MRI)图像、超声图像、内窥镜图像、弹性成像图像、热谱图像、正电子发射断层扫描(PET)图像、单光子发射计算机断层扫描(SPECT)图像、光学相干断层扫描(OCT)图像、计算机断层扫描(CT)图像、显微镜图像或医学摄影图像。在一些实施方式中，使用自然语言处理来分析所述医学报告。在一些实施方式中，所述医学报告包括放射学报告。
本文公开了一种基于计算机的图像分析系统，包括(a)处理器；(b)显示器；(c)用计算机程序编码的非暂时性计算机可读存储介质，该计算机程序使所述处理器：(i)接收医学图像；(ii)提供所述医学图像作为图像分析算法的输入，所述图像分析算法包括第一模块和第二模块，其中所述第一模块至少基于所述输入生成第一输出，并且其中所述第二模块至少基于所述输入和所述第一模块的所述第一输出生成第二输出。在一些实施方式中，还使处理器显示具有由所述图像分析算法生成的所述第一输出和所述第二输出的所述医学图像。在一些实施方式中，所述图像分析算法包括神经网络架构。在一些实施方式中，所述第一模块和所述第二模块各自包括一层或多层神经元。在一些实施方式中，所述神经网络架构包括模块序列，其中该序列中的每个后续模块基于所述医学图像和先前模块的输出生成输出。在一些实施方式中，所述模块序列按照分析难度的顺序排列，每个后续模块具有比每个先前模块更高难度的输出。在一些实施方式中，所述神经网络架构包括人工神经元层之间的跳跃连接。在一些实施方式中，所述跳跃连接跨神经网络架构的模块序列中的不同模块而发生。在一些实施方式中，所述第一输出和所述第二输出各自包括与所述医学图像相对应的一个或多个段或标签。在一些实施方式中，所述图像分析算法的每个模块包括分类器。在一些实施方式中，所述医学图像是放射线照相图像、磁共振成像(MRI)图像、超声图像、内窥镜图像、弹性成像图像、热谱图像、正电子发射断层扫描(PET)图像、单光子发射计算机断层扫描(SPECT)图像、光学相干断层扫描(OCT)图像、计算机断层扫描(CT)图像、显微镜图像或医学摄影图像。在一些实施方式中，进一步使处理器基于所述第一输出和所述第二输出中的一个或多个生成包括一个或多个计算机发现的医学报告。在一些实施方式中，所述医学报告包括放射学报告。
本文公开了一种计算机实现的方法，包括：(i)接收医学图像；(ii)提供所述医学图像作为图像分析算法的输入，所述图像分析算法包括第一模块和第二模块，其中所述第一模块至少基于所述输入生成第一输出，并且其中所述第二模块至少基于所述输入和所述第一模块的所述第一输出生成第二输出。在一些实施方式中，该方法还包括显示具有由所述图像分析算法生成的所述第一输出和所述第二输出的所述医学图像。在一些实施方式中，所述图像分析算法包括神经网络架构。在一些实施方式中，所述第一模块和所述第二模块各自包括一层或多层神经元。在一些实施方式中，所述神经网络架构包括模块序列，其中该序列中的每个后续模块基于所述医学图像和先前模块的输出生成输出。在一些实施方式中，所述模块序列按照分析难度的顺序排列，每个后续模块具有比每个先前模块更高难度的输出。在一些实施方式中，所述神经网络架构包括人工神经元层之间的跳跃连接。在一些实施方式中，所述跳跃连接跨神经网络架构的模块序列中的不同模块而发生。在一些实施方式中，所述第一输出和所述第二输出各自包括与所述医学图像相对应的一个或多个段或标签。在一些实施方式中，所述图像分析算法的每个模块包括分类器。在一些实施方式中，所述医学图像是放射线照相图像、磁共振成像(MRI)图像、超声图像、内窥镜图像、弹性成像图像、热谱图像、正电子发射断层扫描(PET)图像、单光子发射计算机断层扫描(SPECT)图像、光学相干断层扫描(OCT)图像、计算机断层扫描(CT)图像、显微镜图像或医学摄影图像。在一些实施方式中，该方法还包括基于所述第一输出和所述第二输出中的一个或多个生成包括一个或多个计算机发现的医学报告。在一些实施方式中，所述医学报告包括放射学报告。
本文公开了一种配置为提供挂片协议的计算机系统，包括(a)处理器；(b)显示器；(c)用计算机程序编码的非暂时性计算机可读存储介质，所述计算机程序使所述处理器：(i)接收定义一个或多个优化标准的用户输入；并基于所述一个或多个标准提供挂片协议。在一些实施方式中，系统被配置为获得包括一个或多个图像的图像研究或图像系列；接收定义一个或多个优化标准的用户输入；并基于所述一个或多个标准提供针对所述图像研究优化的挂片协议。在一些实施方式中，挂片协议不是基于允许或不允许的标准的硬编码(例如，建立必要标准的预设规则)来优化的。在一些实施方式中，挂片协议基于数值优化而被优化。在一些实施方式中，标准对应于一种或多种研究属性。在一些实施方式中，标准包括一个或多个先验图像研究。在一些实施方式中，标准包括一个或多个先验图像研究，所述先验图像研究包括一个或多个图像或图像系列。在一些实施方式中，用户选择一个或多个先验图像研究来建立标准。在一些实施方式中，挂片协议基于从一个或多个先验图像研究中提取的一个或多个属性来优化。在一些实施方式中，挂片协议的优化包括基于从一个或多个先验图像研究提取的一个或多个属性而从多个挂片协议中选择最佳挂片协议。在一些实施方式中，挂片协议的优化包括从用于图像研究的成像顺序、临床文本、元数据(例如，DICOM元数据)或图像数据(例如，DICOM像素数据)中的至少一个获得信息。在一些实施方式中，挂片协议的优化包括使用自然语言处理算法来从成像顺序、临床文本或两者提取一个或多个相关特征。在一些实施方式中，挂片协议的优化包括使用计算机视觉算法从图像数据提取相关特征。在一些实施方式中，计算机视觉算法被配置为识别或提取提供关于研究属性的信息的视觉特征。在一些实施方式中，挂片协议的优化从元数据(例如，DICOM元数据)提取特征。在一些实施方式中，挂片协议的优化包括提供提取的特征作为机器学习分类器的输入以生成一个或多个属性作为输出。在一些实施方式中，根据机器学习分类器生成的一个或多个属性来优化挂片协议。
在一些实施方式中，本文公开了一种用于提供挂片协议的方法，包括：接收定义一个或多个优化标准的用户输入；以及基于所述一个或多个标准提供挂片协议。在一些实施方式中，本文公开了一种用于提供挂片协议的方法，包括：获得包括一个或多个图像的图像研究或图像系列；接收定义一个或多个优化标准的用户输入；并基于所述一个或多个标准提供针对所述图像研究优化的挂片协议。在一些实施方式中，挂片协议不是基于允许或不允许的标准的硬编码(例如，建立必要标准的预设规则)来优化的。在一些实施方式中，挂片协议基于数值优化而被优化。挂片协议系统、软件和方法可以与本文公开的任何其他系统、软件和方法组合使用，只要它们涉及查看、评审、分析或以其他方式与图像交互(例如，AI辅助发现、自动报告生成等)。作为说明性示例，用户可以使用执行AI辅助图像分割和发现生成以自动/半自动报告生成的系统，该系统利用挂片协议系统/子系统来提供图像的显示和布局作为医学图像的评审的一部分。在一些实施方式中，标准对应于一个或多个研究属性。在一些实施方式中，标准包括一个或多个先验图像研究。在一些实施方式中，标准包括一个或多个先验图像研究，所述先验图像研究包括一个或多个图像或图像系列。在一些实施方式中，用户选择一个或多个先验图像研究来建立标准。作为说明性示例，用户选择与胸部X射线有关的几个示例性图像研究或图像系列来设置用于未来胸部X射线图像研究或图像系列的标准。来自这些先验图像研究或图像系列的相关特征被提取并用于确定用于优化最终用于当前图像研究或图像系列的挂片协议的一个或多个属性。在一些实施方式中，挂片协议基于从一个或多个先验图像研究中提取的一个或多个属性来优化。在一些实施方式中，挂片协议的优化包括基于从一个或多个先验图像研究提取的一个或多个属性从多个挂片协议中选择最佳挂片协议。在一些实施方式中，挂片协议的优化包括从用于图像研究的成像顺序、临床文本、元数据(例如，DICOM元数据)或图像数据(例如，DICOM像素数据)中的至少一个获得信息。在一些实施方式中，挂片协议的优化包括使用自然语言处理算法来从成像顺序、临床文本或两者提取一个或多个相关特征。在一些实施方式中，挂片协议的优化包括使用计算机视觉算法从图像数据提取相关特征。例如，计算机视觉算法可以被配置为识别或提取提供关于研究属性的信息的视觉特征。在一些实施方式中，挂片协议的优化从元数据(例如，DICOM元数据)提取特征。在一些实施方式中，挂片协议的优化包括提供提取的特征作为机器学习分类器的输入以生成一个或多个属性作为输出。在一些实施方式中，根据机器学习分类器生成的一个或多个属性来优化挂片协议。
本文公开了显示医学图像的临床相关信息的方法，包括：(a)检测用户对显示器上示出的医学图像的一部分的选择；(b)识别医学图像的该部分内的特征；(c)自动显示与该特征有关的临床相关信息。在一些实施方式中，医学图像包括对象的解剖部分。在一些实施方式中，解剖部分包括肢体、躯干、胸部、腹部、头部中的至少一个。在一些实施方式中，对象的特征包括器官。在一些实施方式中，所述器官选自心脏、肺、肾脏、肝脏、胃肠系统、脑、骨、胰腺、甲状腺、泌尿道器官、生殖器官或其组合。在一些实施方式中，该方法还包括分割医学图像以检测特征。在一些实施方式中，使用分割算法来分析医学图像。在一些实施方式中，该方法还包括使用机器学习算法来分析医学图像以识别特征。在一些实施方式中，医学图像包括多个特征。在一些实施方式中，多个特征中的每个特征被分割。在一些实施方式中，提供临床相关信息包括从医学报告、先验医学图像、实验室报告、与医学图像有关的注记或其组合中的一个或多个提取信息。在一些实施方式中，提取信息包括使用自然语言处理。在一些实施方式中，不提供被视为包括非临床相关材料的信息。在一些实施方式中，该方法还包括确定信息是否是临床相关信息。在一些实施方式中，确定信息是否是临床相关信息包括检测一个或多个关键字和/或应用一个或多个规则。在一些实施方式中，该方法还包括确定用户对临床相关信息的至少一部分的选择。在一些实施方式中，该方法还包括放大到该特征。在一些实施方式中，该方法还包括提供与特征有关的第二组临床相关信息，其中第二组临床相关信息不同于该临床相关信息。在一些实施方式中，特征包括肝脏，临床相关信息包括实验室值，并且第二组临床相关信息包括与肝脏有关的发现或印象。在一些实施方式中，特征包括肾脏，临床相关信息包括实验室值，并且第二组临床相关信息包括与肾脏有关的发现或印象。在一些实施方式中，特征包括肺，临床相关信息包括实验室值，并且第二组临床相关信息包括与肺有关的发现或印象。在一些实施方式中，特征包括心脏，临床相关信息包括实验室值，并且第二组临床相关信息包括与心脏有关的发现或印象。在一些实施方式中，特征包括脑，临床相关信息包括实验室值，并且第二组临床相关信息包括与脑有关的发现或印象。在一些方面，本文公开的是配置为执行用于显示医学图像的临床相关信息的方法的系统。
附图说明
本发明的新颖特征在所附权利要求中具体阐述。通过参考以下阐述利用到本发明原理的说明性实施方式的详细描述和附图，将更好地理解本发明的特征和优点，在附图中：
图1示出了图示使用AI算法、可视化以及用户交互的捕获和分析来分割和标记医学图像以生成用于插入到报告中的发现的过程的非限制性示例的流程图。
图2示出了C2-C3椎间盘高度损失的医学图像的说明性示例。
图3示出了图示用于生成链接的诊断报告的过程的非限制性示例的流程图。
图4示出了具有链接的推断信息量最大的图像的发现的说明性示例。
图5示出了具有呈现给用户以确认用于插入到医学报告中的发现的医学图像的说明性示例。
图6示出了医学图像的说明性示例，该医学图像具有用于控制用户口述记录以生成AI辅助发现的窗口。
图7示出了图示用户接受或修改AI辅助发现的过程的非限制性示例的流程图。
图8示出了图示用于分析医学图像的过程的非限制性示例的流程图，该过程包括用于提升AI算法的反馈回路。
图9示出了图示用于管理通信和/或使其排队的过程的非限制性示例的流程图。
图10示出了用于产生放射学报告的传统临床工作流程和用于报告同行评审的工作流程。
图11示出了图示AI辅助或自动分析放射学报告的语言以产生质量或性能度量的非限制性示例的流程图。
图12示出了图示通读比较过程的非限制性示例的流程图，其中使用自然语言处理来创建每个报告的摘要发现，然后可以以成对方式比较该摘要发现。
图13示出了图示使用AI计算机视觉进行自动评审以创建摘要发现的系统列表，然后可以将其与NLP摘要的放射科医生报告进行比较以进行客观比较的过程的非限制性示例的流程图。
图14示出了图示用于根据一个或多个性能或质量度量来评估放射科医生的发现并将其与“理想”发现/过程(例如，来自更有经验/技术的放射科医生)进行比较的过程的非限制性示例的流程图。
图15示出了用于执行本文描述的任何过程或方法的计算机系统的非限制性实施方式。
图16示出了图示标签提取流水线的非限制性示例的流程图。
图17示出了图示用于从计算机视觉模型输出生成文本的NLP流水线的非限制性示例的流程图。
图18示出了使用神经网络进行图像分割的过程的非限制性示例。
图19示出了用于生成关于医学图像中的一个或多个解剖结构的预测的过程的非限制性示例。
图20示出了工作空间图像查看器模块、解剖导航器模块和报告器模块的图。
图21示出了具有分割模块、标记模块、用户检查步骤模块和解剖映射器模块的解剖导航器模块的图。
图22示出了医学图像的说明性示例，其中所有可见椎骨被分割为单个类别并且所有可见椎间盘被分割为单个类别，而不试图区分单独的椎骨。
图23示出了具有分割脊柱的标记的医学图像的说明性示例，其将代表所有椎骨的区域细分为单独的椎骨，并且将代表所有椎间盘的区域细分为单独的椎间盘，其中原始源图像在左侧示出，标记的分割图像在右侧示出。
图24示出了解剖导航器实现的图像的说明性示例，该图像为用户提供了确认分割和标记的准确性、拒绝或编辑分割和标记的选项。
图25示出了具有用于生成输出的分类器的层和模块之间的关系的说明图。
图26示出了用于渐进推理的说明性神经网络架构，包括人工神经元层之间的跳跃连接(未示出)。
图27示出了图示报告生成期间的AI辅助发现的流程图。
图28A示出了用于计算图像的边缘势图的公式的示例。
图28B示出了用于计算边缘势图的与图像梯度幅度成反比地变化的公式或函数的示例。
图28C示出了计算的端点的说明性示例。
图29A示出了可以计算解剖区域的匹配对之间的距离的平方和D的公式。
图29B示出了图像比较方法的说明性示例，其中对于固定(上方)图像堆栈和移动(下方)图像堆栈，四个解剖区域质心(圆)计算并投影到垂直于每个图像堆栈的线(细水平线)上。
图30示出了各方之间的消息传输的图。
图31示出了基于视频的通信和屏幕共享的图。
图32示出了VoIP呼叫排队的图。
图33示出了图示工作列表管理过程的流程图。
图34示出了图示使用成像顺序进行研究级别分类的过程的说明图。
图35示出了系列级别分类的过程的说明图。
图36提供了到2x8视口布局的当前和先验MRI研究的期望布局的说明性示例。
图37A示出了正在评估的当前图像中的L4-L5解剖结构的发现导航器功能。
图37B示出了当将当前图像与先验报告发现进行比较时的发现导航器功能。
图38A示出了当比较报告时发现看起来的样子的示例。
图38B示出了报告的登记如何使得具体的发现能够以合适的表格格式彼此登记以使能够容易地进行比较。
图39A、图39B和图39C分别图示了发现仪表板内从L2、L3和L4椎骨的进展，其中发现的文本标记图标在与图像分开的查看窗口内示出。
图39D示出了替代性的查看布置，其中发现邻近相应查看窗口内的解剖结构而被示出。
图40示出了用户选择图像内的坐标(例如，x/y/z坐标)以及经由URL超链接连接到图像坐标的关联发现的相应生成的说明性示例。
图41A详细说明了放射科医生在选择如何挂片特定研究时可能考虑的因素的数目。
图41B示出了在载入会话期间用户如何可以选择特性的特定组合来用于定义挂片协议。
图41C显示挂片协议载入工作流程的一个说明性实施方式。
图41D显示了正在保存的挂片协议的说明性实施方式。
图41E显示了如果这些系列不可用则表示这种情况的第二优选挂片协议的选项。
图42示出了基于一般规则生成的建议宏的说明性示例。
图43A示出了在用户选择腹部MRI的区域之前腹部MRI的一个说明性实施方式。
图43B示出了用户在腹部MRI中选择肝脏上的指针或将指针悬停在肝脏上之后腹部MRI和肝脏实验室值的一个说明性实施方式。
图43C示出了用户在腹部MRI中选择肾脏上的指针或将指针悬停在肾脏上之后腹部MRI和肾脏手术报告的一个说明性实施方式。
图43D示出了在用户选择或悬停在肝脏值上之后聚焦于肝脏的腹部MRI的放大部分以及从放射学报告中提取的发现和印象的一个说明性实施方式。
具体实施方式
本文描述的是用于促进医学图像的AI辅助解释和报告的系统、软件和方法。医学图像可以在显示器上可视化，并且诸如放射科医生的用户能够使用精简的过程来解释图像，以高效地生成用于插入到医学报告中的发现。用户输入可以包括鼠标或其他输入设备的移动或定位，替代地为使用眼睛跟踪设备和软件检测到的注视固定点输入或与其相结合。用户输入可以使得系统能够检测用户正在选择或看向图像的哪个部分。可以根据图像分割算法来分割和标记图像的该部分，该图像分割算法可以被配置为解释解剖变异。此外，用户对图像所选部分的评价或解释的口述可以通过音频检测和分析算法转换成文本。用户输入和口述的组合可以用于生成与图像的所选部分相对应的临床发现。该发现可以基于从口述(例如，共享时间戳)时的用户输入推断出的临床上下文来构建，例如，当口述分析(例如，“椎间盘突出”)以及任何有用的测量(例如，椎间盘的尺寸)时指定用户正在“查看”或“指向”的解剖片段(例如，L4-L5椎间盘)。一旦生成发现文本，系统可以在插入到医学报告中之前向用户呈现修改和/或确认该发现的选项，该系统可选地与基于用户确认处理费用的支付/收费子系统集成。算法可以应用于报告中的发现，以确定AI生成的发现与用户口述/输入之间的一致性或不一致，这可以被提供来帮助用户在最终确定报告时修改/确认发现。最终报告可以被配置为推断和/或将一个或多个发现链接到它们生成于其内的临床上下文，例如，将发现链接到用于得出该发现的信息最丰富的图像和/或图像段(例如，使用对图像的超链接和用于生成发现的输入来标记发现)。这使得报告的后续查看人能够可视化原始用户或放射科医生使用的相同信息，以允许对原始发现进行更明智的评估或确认。另外，系统可以提供智能工作列表管理和/或通信优先级和排队以提高工作流程效率(例如，用于图像研究和/或图像系列)。该系统可以使用质量测量的自动生成和跟踪来提供用户/放射科医生表现的评估和反馈。还可以捕获用户与系统本身的交互以提高性能。在一些情况下，系统基于最佳图像放置的各种标准生成或提供挂片协议。系统、软件和方法可以包括本文描述的过程和/或功能的任何组合。
因此，本文公开的系统、软件和方法可以包含本文公开的过程或子系统中的一种或多种，包括但不限于AI辅助的图像分割和标记、AI辅助的发现和/或测量口述、比较和查询、发现的双向动态链接、AI发现显示和交互、跟踪和分析AI辅助、放射科医生通信集线器、工作列表管理、AI实现的质量度量、AI辅助自我提升、深度信息链接、以及用于挂片协议的AI。可以在过程或子系统中使用的算法包括各种模型，例如本文公开的计算机视觉和自然语言处理算法。因此，本公开预期本文公开的系统/子系统和方法的任何组合，包括本段中描述的子系统和方法的前述列表。实际上，本公开的优点之一是平台或系统可以包括本文公开的子系统和方法的任何组合以提供集成的医学图像分析和报告生成体验。子系统可以集成在同一框架内，而不是隔离到单独的专有软件解决方案中。例如，放射科医生可能能够使用工作列表管理来组织他们评估的医学图像流、挂片协议以提供更高效的图像排列、AI辅助图像分割和标签以更轻松地识别医学图像内的特征，使用AI辅助口述发现和/或测量以提高生成发现并将其插入到医学报告中的速度，并能够在使用深度信息链接查看医学图像中的某些特征时访问相关实验室结果。
本文公开了一种用于生成医学报告的基于计算机的系统，包括：(a)处理器；(b)显示器，其被配置为示出用于评估医学图像的图形用户界面；(c)用计算机程序编码的非暂时性计算机可读存储介质，该计算机程序使所述处理器：(i)当用户接受包含在所述报告内的所述计算机生成的发现时，生成包括与所述医学图像相关的计算机生成的发现的医学报告。
本文公开了一种用于生成医学报告的计算机实现的方法，包括：(a)显示医学图像；(b)当用户接受包含在所述报告内的所述计算机生成的发现时，生成包括与所述医学图像相关的计算机生成的发现的医学报告。
本文公开了一种用于评估医学图像的基于计算机的系统，包括：(a)处理器；(b)显示器；(c)眼睛跟踪组件，其耦合到所述处理器并被配置为跟踪查看所述医学图像的用户的眼睛的位置或移动；(d)用计算机程序编码的非暂时性计算机可读存储介质，该计算机程序使所述处理器：(i)在所述显示器上显示所述医学图像；(ii)用所述眼睛跟踪组件检测所述用户的所述眼睛的所述位置或所述移动；(iii)分析所述医学图像并识别所述医学图像内的多个特征；(iv)至少部分地基于所述用户的所述眼睛的所述位置或所述移动，确定所述用户将其视线引导到的所述多个特征中的一个特征；(v)接收来自所述用户的输入；以及(vi)将所述特征与来自所述用户的所述输入相关联。
本文公开了一种用于评估医学图像的计算机实现的方法，包括：(a)在显示器上显示所述医学图像；(b)利用眼睛跟踪组件检测用户眼睛的位置或移动；(c)分析所述医学图像并识别所述医学图像内的多个特征；(d)至少部分地基于所述用户的所述眼睛的所述位置或所述移动来确定所述用户将其视线引导到的所述多个特征中的一个特征；(e)接收来自所述用户的输入；以及(f)将所述特征与来自所述用户的所述输入相关联。
本文公开了一种基于计算机的报告生成系统，包括：(a)处理器；(b)显示器；(c)用计算机程序编码的非暂时性计算机可读存储介质，该计算机程序使所述处理器：(i)在所述显示器上显示包括多个特征的医学图像；(ii)接收来自所述用户的输入；(iii)将所述输入与来自所述多个特征的一个特征相关联；以及(iv)生成包括所述输入的医学报告，其中所述医学报告内的所述输入与标签相关联，并且其中当所述标签被占用时，显示与所述输入相关联的所述特征。
本文公开了一种计算机实现的方法，包括：(a)显示包括多个特征的医学图像；(a)接收来自用户的输入；(c)将所述输入与来自所述多个特征的一个特征相关联；以及(d)生成包括所述输入的医学报告，其中所述医学报告内的所述输入与标签相关联，并且其中当所述标签被占用时，显示与所述输入相关联的所述特征。
本文公开了一种计算机系统，包括：(a)处理器；(b)显示器；(c)用计算机程序编码的非暂时性计算机可读存储介质，该计算机程序使所述处理器：(i)响应于来自用户的指令，使用机器学习软件模块来分析医学图像，从而生成计算机发现；(ii)向所述用户提供将所述计算机发现合并到由所述用户生成的医学报告中的选项；以及(iii)分析所述医学报告以确定所述计算机发现是否存在于所述医学报告中。
本文公开了一种计算机实现的方法，包括：(a)响应于来自用户的指令，使用机器学习软件模块分析医学图像，从而生成计算机发现；(b)向所述用户提供将所述计算机发现合并到由所述用户生成的医学报告中的选项；以及(c)分析所述医学报告以确定所述计算机发现是否存在于所述医学报告中。
本文公开了一种呈现医学报告的计算机实现的方法，包括：(a)检测用户与显示器上显示的医疗图像的一部分的交互；(b)识别医学图像的该部分内的特征；以及(c)自动显示与该特征有关的临床相关信息。
AI辅助的图像分割和标记
本文描述的是用于促进医学图像的AI辅助解释和报告的系统、软件和方法。在一些情况下，该系统、软件和方法提供AI辅助的图像分割和/或标记，包括解剖变异的标记。这些过程可以经由系统、子系统或模块来实现，这些系统、子系统或模块可以是独立的或者是本文所公开的更大平台或系统的一部分。例如诸如X射线或MRI的医学图像可以使用图像分割算法来评估，以将图像划分成一个或多个区域。这些区域可以是对应于共享某些解剖特性的对象或边界的像素集。例如，可以对人类椎骨的X射线图像进行分割，以将该图像划分为与单独的骨骼相对应的段。分割提供了可以与医学相关的医学图像的表示，因此适合包含在分析或报告中。图像中的段可以根据分配给单独像素的一个或多个标签来定义。因此，构成椎骨段的像素将共享椎骨的共同标签。图像的分割部分和/或应用到图像或其分割部分的标签可以用作计算机发现。
在一些情况下，图像分割由图像分割模块执行。图像分割模块可以是解剖导航器模块的组件模块。
在一些情况下，图像分割生成包围整个图像的至少一部分的一个或多个区域，或者替代地或组合地生成在图像中检测到的一个或多个轮廓或边缘。这些区域或轮廓由共享一个或多个相似特性或特质的像素组成。这些特性的非限制性示例包括颜色、密度、强度和纹理。通常基于一个或多个这样的特性的差异来检测相邻区域。在一些情况下，图像分割是基于单个特性或者一个或多个特性的组合来执行的。如果时间或其他参数随体积变化，则医学图像可以是2D图像或3D图像或更高维度的图像。
详细人体解剖结构的图像分割和标记很困难，特别是考虑到解剖的自然变化和可能存在的病理的情况下。在存在许多不同区域要分割和标记的情况下(例如，具有24个椎骨和23个椎间盘的脊柱)，使得任务超出了前景与上下文(2类)，这种困难尤其明显。此外，在给定的成像模态中，一些解剖结构可能比其他解剖结构明显更微妙。因此，本文公开的是包括渐进式推理方法的系统、软件和方法，该渐进式推理方法能够通过学习解决简单问题然后逐步使用这些推论以逐步了解更困难的问题直到整组问题得到解决来解决一组从容易到困难的问题。
在一些实施方式中，在考虑解剖变异的多个解剖部分上执行图像分割，其中解剖组件的数目、那些组件的形状/形态或者那些组件之间的空间关系可能因患者而变化。
在一些情况下，图像分割算法被配置为检测解剖变异。虽然对象通常具有主要的解剖结构，但存在缺陷算法可能无法解释的变异。例如，脊柱被分成具有不同数目的椎骨或段的不同部分。椎骨通常包括7块颈椎、12块胸椎、5块腰椎、5块骶椎和4块尾椎，总共33块椎骨。然而，脊柱解剖结构的变化相当常见，其中许多可能会导致椎骨标记的混乱。
根据Durand等人(Mag Res Imaging Clin N Am 18 2010)，解剖变异有几类。第一类是由于发育失败而形成的变异，包括半椎骨和楔椎骨。第二类是分割的变异，其中连续的椎体在发育期间无法分离，包括块椎骨、单侧杆椎骨和寰枕融合。第三类变异是融合和裂隙形成的变异，包括齿状骨、蝴蝶椎、隐性脊柱裂和椎缘。各种变异的示例包括脂肪终丝、持久脊索、许莫氏结节和移行椎骨。这些变异表现为每个椎骨总体外观的变化、椎骨整体布局和配置的变化，甚至可能是椎骨数目和标签的变化。
放射照相上错误标记的椎骨的临床意义怎么强调都不为过，因为错误的椎骨标记可能会导致外科手术或注射错误。另一个复杂的因素是，如果患者具有解剖变异，那么症状的临床相关性也可能是错误的。因此，在自动图像分割领域，准确分割包括解剖变异图像的医学图像的能力非常重要。
因此，本文公开的是用于使用被配置为检测解剖变异的分割算法来执行图像分割的系统、软件和方法。在一些情况下，定位器或侦察图像用于增强图像分割。这些通常是分辨率较低但视场较宽的图像，其采集的目的是为了正确定位较高分辨率的诊断图像采集。例如，如果整个脊柱不在所分析的图像系列的视场内，则一个或多个椎骨的标签移动的可能性更大，特别是在存在解剖变异的情况下。在一些情况下，如果已采集大视场定位器图像来识别椎骨的整体序列和身份，则使用大视场定位器图像，尤其是矢状图像。椎骨的推定标记可以根据从颅部到尾部方向的定位器图像进行。如果图像系列共享相同的DICOM参考系UID，则可以假设共享坐标系，并且直接传输推定标签。如果图像系列不共享参考系，则可以将图像彼此配准以建立共享参考系。在一些实施方式中，使用大视场低分辨率定位器/侦察图像以便提供比较小视场诊断图像更大的上下文。例如，确定椎骨的正确标签通常涉及从脊柱的任一端(C1椎骨或骶骨)开始计数。
在一些情况下，对脊柱图像执行图像分割。举例而言，分割模块的输入图像是脊柱的MRI T2加权矢状图像。可以执行图像分割来区分以下四类：椎骨、椎间盘、脊髓和上下文。在此阶段，可见椎骨被分割为单个类别并且可见椎间盘被分割为单个类别，而不尝试区分单独的椎骨(图22)。
可以使用包括卷积神经网络(CNN)的多种技术来执行图像分割。作为说明性示例，使用带有Adam优化器的交叉熵损失使用2.5D全卷积网络(FCN)执行图像分割(Long J等人，arXiv 2015)。在一些情况下，调整图像的大小并标准化强度。超参数搜索是经由网格搜索来执行的。正则化包括早期停止标准、批量标准化和随机失活。在一些情况下，单个FCN模型用于颈椎、胸椎和腰椎成像研究的分割。如图22所示，解剖导航器示出脊柱分割，原始源图像在左侧示出，并且计算的分割在右侧示出，其中椎体为黄色，椎间盘为蓝色。
在一些情况下，分割算法执行标签分配的优化来定义每个区域的解剖类别。定位器图像通常具有更宽的视场，这允许识别参考点，从该参考点开始对解剖结构进行编号(例如，尾部方向上的C1椎骨编号或颅部方向上的S1椎骨编号)。在一种情况下，首先从定位器确定标签，然后将其转移到所考虑的系列。在另一种情况下，存在使用来自定位器的全局信息和来自所考虑的系列的更多局部信息两者的标签的动态调整，使得标签将在定位器和所考虑的系列两者中被调整。
在一些情况下，将椎骨标签分配给若干图像系列内的单独区域被视为通过动态规划或其他优化框架来解决的优化问题。类似于两个DNA序列的序列对齐问题，要对齐的两个序列是图像中识别的椎体序列和椎体标签序列。分数函数可以包含序列到序列分数，该序列到序列分数计算每个椎骨标签到每个图像区域的成本。例如，如果特定图像区域包含具有下部突出的棘突的椎骨，则算法可以为具有胸椎标签(T1-T12)的匹配分配比其他匹配更高的分数。分数函数还可以包含图像区域和椎骨标签两者的序列内分数。对于图像区域，如果质心的分段线性序列来回曲折(包含锐角)，则与使用相对直的序列(钝角)相比，它可能获得较低的分数。对于椎骨标签的序列，无序序列(例如，T5-T7-T6)可能会获得低得多的分数。
在脊柱的图像标记的一个示例中，代表所有椎骨的区域被细分为单独的椎骨(C1至S1)，并且代表所有椎间盘的区域被细分为单独的椎间盘(C2-C3至L5-S1)。脊柱标记的示例如图23所示。对应于左/右孔和左/右小关节的点被放置在每个椎间盘级别处。对于腰椎研究，可以在脊髓圆锥上放置单个点。如果期望如此，用户可以打开或关闭这些区域/点和/或文本标签中任一项的可视化。在一些情况下，带有标签的整个脊柱模型以3D形式可视化。椎骨和椎间盘标记可以使用各种机器学习算法来执行，例如，诸如卷积神经网络(CNN)的网络。说明性非限制性示例是使用具有Adam优化器的交叉熵损失的2.5D DeepLab v3神经网络(Chen LC等人，IEEE PAMI 2018)。可以调整图像的大小并标准化强度。超参数搜索可以经由网格搜索来执行。正则化可能包括早期停止标准、批量标准化和随机失活。左/右孔、左/右小关节和圆锥的界标检测可以使用卷积姿态机(CPM)执行，这结合了姿态机的远程图像序列优势与卷积神经网络的特征检测和空间上下文感知优势(Wei SE等人，arXiv2016)。这些网络可以通过欧几里德距离度量和正确关键点百分比(PCK)度量进行评估。
在一些情况下，分割和/或标记算法是机器学习算法，例如诸如被配置为分割和/或标记一个或多个医学图像中的解剖结构或特征的深度学习神经网络。图像分割和/或标记算法的进一步描述可以在本公开全文中找到，例如与计算机视觉相关。
在一些实施方式中，神经网络架构用于执行图像分割和解剖结构或特征标记。神经网络架构的示例是Inception，它已被用来成功解决各种机器学习问题(Szegedy等人，2014)。在其他创新中，该架构通过在从输入到输出的中间模块添加辅助分类器来解决反向传播期间梯度消失的问题。每个模块由一个或多个人工神经层组成。这些辅助分类器也由一个或多个人工神经层组成，并将梯度值注入到早期的模块中，否则在此处辅助分类器从输出开始就会大大减少。值得注意的是，在该架构中，所有分类器输出都是相同的。图25示出了Inception的抽象神经网络架构。在中间模块添加辅助分类器，以增加从输出传播回到输入的梯度信号。在训练期间，用于计算损失函数的目标在最终分类器和辅助分类器之间是相同的。
本文公开的是用于使用渐进推理方法来执行图像分割和/或标记的系统、软件和方法，该渐进推理方法提供了优于现有方法(诸如，在Inception中使用辅助分类器)的各种优点。作为说明性示例，包含渐进推理的神经网络架构可用于为复杂图像提供更高的分割和/或标记准确性。在一些实施方式中，用于执行图像分割和/或标记的算法包括由一系列模块组成的图像分析架构，其中每个模块分析图像的相应组件以生成相应的输出。第一模块执行输入数据(例如，图像数据)的分析并生成输出。每个后续模块可以分析输入数据和/或其一部分以及先前模块的输出两者以生成下一个输出。因此，早期的输出用于后续的推理过程，这与Inception中辅助分类器的使用不同，在Inception中，中间输出以有限得多的方式使用，仅为对损失函数做出贡献。模块可以按照分析任务的难度递增的顺序来排列，使得将每个先前模块的输出并入到由每个后续模块执行的分析中增强了后续模块的分析的准确性。
图26提供了用于渐进推理的神经架构的非限制性实施方式的抽象图。如图所示，神经架构采用一系列三个模块来分析原始图像和先前模块的输出。在本实施方式中，输出的级别按照任务复杂度分为简单、中等和困难。任意数目的复杂度级别可以与该架构使用，例如，至少2、3、4、5、6、7、8、9或10个或更多个级别。在第一级别之后，原始输入图像或图像数据可以与前一级别输出序连以成为下一级别的输入。另请注意，梯度也会在每个级别上反向传播。可以通过考虑外观的微妙性以及对附近解剖结构的依赖来手动估计对各个解剖区域的复杂度级别的分配，以定位解剖区域。或者，这可以鉴于不使用渐进推理的给定神经网络通过对分割准确性进行排序来定量地确定，从而较低精度的解剖区域将被认为更困难。
“渐进推理”方法可以应用于几乎任何应用于具有多个期望输出的问题的神经网络架构。例如，输出可能代表多类别图像分割任务中的许多解剖区域。一些输出可能相对容易确定，而另一些输出对于人类专家和算法来说都难以确定。一个示例可以是膝盖MRI的多个区域的分割，其中骨骼(股骨、髌骨、胫骨、腓骨)通常很容易描绘，而软骨可能具有中等难度，韧带(PCL、ACL、MCL、LCL)可能是最困难的。
另一个示例是MRI或CT图像中椎骨的分割和标记。该任务中的困难之一是椎骨具有相似的外观，这使得标记容易出现由标记中一个(或多个)偏离的问题。大多数人类解释都是由识别从其开始计数的脊柱末端(颈椎中颅底下方的C1/C2或腰椎中骶骨处的S1)开始。作为说明性示例，渐进推理方法使用末端(C1/C2或S1)作为简单任务，然后逐步解决从其开始按顺序分割和标记每个椎骨的任务(分别从尾部或颅部进行)。为了限制难度级别的数目，可以逐步考虑以2-4块为一组的椎骨。对于解剖结构和图像采集模态的每种组合都可以找到类似的示例。可以根据本文公开的方法成像用于分割和/或标记的解剖结构的非限制性示例包括头部、脑、躯干、腹部、心脏、肺、前列腺、乳房、淋巴、甲状腺、脾、肾上腺、结肠、直肠、膀胱、卵巢、皮肤、肝脏、脊柱、骨骼、胰腺、子宫颈、唾液腺、皮脂腺、睾丸、胸腺、阴茎、子宫和其他解剖区域、器官或组织。在一些实施方式中，图像包括身体的大部分，例如躯干或肢体(例如，手臂或腿)。在一些实施方式中，图像包括器官系统，例如心血管系统、骨骼系统、胃肠系统、内分泌系统或神经系统。解剖区域、器官或组织可能患病或损伤，或者可能包括疾病或损伤的一个或多个伪影或特征。例如，乳房X光照片可以包括指示出肿瘤的图像特征，或者手臂的X射线可以包括指示出骨折的肱骨的图像特征。
可以如根据本公开描述的那样分析各种类型的图像，例如磁共振成像(MRI)、CT(计算机断层扫描)、CAT(计算机轴向断层扫描)、正电子发射断层扫描(PET)、单光子发射计算机断层扫描(SPECT)、超声波、X射线图像和其他类型的医学图像。
多个期望输出的另一个示例可能涉及应用于相同输入数据的不同任务。例如，简单的输出可能是图像分割任务，中等输出可能是标记解剖区域，而困难的任务可能是检测那些区域内的病理。假设早期阶段推断的信息对后来更困难的阶段提供有用信息，也可以应用这种渐进式推理架构。分级难度阶段不限于3个，并且可以是基于所期望的特异性级别的任意数目。
在一些实施方式中，这些阶段中的每一个的损失函数被单独计算并且附加地或非线性地贡献于总体损失函数。例如，损失可能是线性组合，早期损失的系数可能较小。或者，可以在线性组合之前将损失提高到幂。
在一些实施方式中，简单阶段的输入是整个任务的原输入。在图像分割的情况下，原输入将是源图像本身。在一些实施方式中，在通过图像分割和/或标记算法进行分析之前对原输入进行预处理。预处理可以包括一个或多个步骤，例如，将图像大小调整为标准大小、将彩色图像转换为灰度图像或者从图像中去除噪声。在一些实施方式中，在后续阶段，对后续模块的输入是原始输入或原输入与先验阶段或模块的输出的逐层序连。例如，先验输出可以是多类分类器的softmax输出。因此，后续模块能够考虑先前推断的输出来为逐渐更困难的问题添加信息。在一些实施方式中，使用神经网络，其中神经网络包括多个模块和多个分类器。每个模块可以由一层或多层人工神经元组成。分类器还可以由一层或多层神经元组成，区别在于分类器生成指示出输入(例如，图像或像素)的决策或分类的输出。
过多的难度级别数目可能是不利的，因为它会导致神经网络的总层数过多。因此，在一些实施方式中，每个难度级别包含要分割的多个单独的任务或类别。为了将这种方法推广到各种应用领域，一种有利的方法是开发和使用计算本体用于描述要分割的各种类别。特别地，本体具有丰富的层次关系，使得可以轻松识别相似难度的类别。例如，本体将所有骨骼识别为属于一个难度类别，而所有软骨和所有韧带都属于它们各自的难度类别。
在一些实施方式中，用于渐进推理的神经网络架构包括人工神经元层之间的跳跃连接。跳跃连接可以发生在任何地方，例如，跨不同难度层中的模块和分类器而发生。尽管这些跳跃连接没有在图26中示出，但是可以使用与该方法一致的各种神经网络架构。这种方法的一个优点是，先前计算的特征图可以被后续层使用，以避免低效的网络必须跨这些边界重新学习特征的需要。
本文公开的渐进推理架构可以应用于几乎任何神经网络主干结构，其中模块层和分类器层中的每个的具体实现可以用几乎任何其他神经网络层来替代。
AI辅助的发现和/或测量口述、比较和查询
本文描述的是用于促进医学图像的AI辅助解释和报告的系统、软件和方法。在一些情况下，系统、软件和方法检测用户与图像的交互(例如，鼠标移动或眼睛移动)和口头动作(例如，口述)，并基于组合输入生成AI辅助的发现/测量。如本文所描述的基于AI的图像分割算法可以自动或半自动地检测和标记医学图像的部分(例如，解剖区域)。该系统允许正在显示器上查看所分割图像的用户与图像交互，例如通过用鼠标光标指向图像(例如，指向标记的段)。用户可以口述与图像相对应或相关的一个或多个陈述，例如，关于光标所指向的图像的部分或段的医学陈述或发现。在一些情况下，系统包括用于检测口述的麦克风或音频检测组件，并将其转换为相应文本。该系统可以结合输入(光标和口述)来生成AI辅助的发现/测量。例如，当用户将光标指向或看向X射线上的L5椎骨并口头陈述“骨折”时，系统会生成插入到X射线图像的医学报告中的发现(例如，语句)，该医学报告陈述L5椎骨骨折。该过程的非限制性示例在图1的流程图中示出。该流程图示出了使用AI算法(例如，使用机器学习算法训练的神经网络)对医学图像进行分割和标记，然后为用户可视化。可以使用点击或眼睛跟踪以及短语口述来检测用户与图像的交互，该短语口述转换为完整的短语或语句并插入到报告中。这些过程可以经由系统、子系统或模块来实现，这些系统、子系统或模块可以是独立的或者是本文所公开的更大平台或系统的一部分。
本文公开的系统、软件和方法的一个优点是AI辅助的医学报告生成支持更快且更精简地分析医学图像并生成相应的医学报告。在阅读检查的过程期间，放射科医生经常将发现逐字口述到语音到文本转录系统中，其中包括指定解剖位置。这涉及口头说出他们口述并撰写有关解剖发现的完整语句的解剖结构的一部分，这可能非常耗时。
因此，本公开包含了图像分割和用户输入/交互来克服传统口述过程的耗时性质。具体来说，解剖区域的基于AI的图像分割和冗余输入(例如，鼠标点击、眼睛跟踪)允许放射科医生选择分割区域并说出缩写或缩短的短语，并根据他们指向/看向的位置推断出位置和临床上下文，从而将完整的语句插入到临床报告中。医学图像可以自动分割成相关的解剖区域并进行标记，包括解剖结构的编码和/或纯文本描述。可以向分割算法提供原输入图像以及关于已扫描身体的哪个部分的任何可用元数据。因此，当放射科医生或用户指向或看向图像中被分割和标记的部分并口述他们的短语时，相应的发现可以自动并入报告中。这允许计算机发现与人类发现一起并入报告中。例如，图像的部分的分割和标签可以是整体发现的计算机发现部分，而人工口述部分可以是人类发现。作为说明性示例，如果用户指向或看向医学图像上的神经孔(通过分割/标记算法标记为C2-C3孔)并说出“狭窄”，则可能生成陈述“C2-C3级别的神经孔狭窄”的发现，从而包含人类发现和计算机发现两者。
在一些情况下，本文公开的是发现的AI辅助口述。该信息的一种用途是当用户在具体解剖位置口述发现时。例如，发现“T1-T2椎骨级别的椎间盘突出”通常将涉及必须明确口述“T1-T2椎骨级别”。通过使用如上所述的图像分割以及图像中的鼠标指针位置或使用眼睛跟踪软件来确定图像位置，用户将不再需要口述位置，并且当指向或看向T1-T2椎间盘时，AI辅助报告将只需要“椎间盘突出”被口述。当然，任何发现类型都可以代替“椎间盘突出”。
用户的口述可以被转换成相应的文本以并入医学报告中。口述可以在字面上逐字地转换成文本，并且替代地或组合地，文本或口述可以被“翻译”或“口译”以生成并入报告中的最终文本。该系统可以配置有将捕获的音频转换成文本/词语和/或将音频/文本/词语翻译或口译成新的格式或配置的算法。因此，在一些情况下，系统包括被配置为从说出的音频中检测速记或俚语并将音频转换成用于医学报告的长格式或适当格式(例如，简单英语)的算法。例如，用户可以在将光标指向或注视标记为“C5椎骨”的X射线图像的段(例如，计算机发现)时说出“压缩性骨折”(例如，人类发现)，并且系统会自动生成并入X射线图像的医学报告中的书面发现，该医学报告陈述“在C5椎骨可见压缩性骨折”。图2图示了医学图像的示例，该医学图像具有由环绕线识别的解剖部分以及位于该解剖部分附近的相应标签“C2-C3：椎间盘高度损失”。
在一些情况下，本文公开了测量的AI辅助口述。这可以通过自动测量系统来实现。典型放射学报告内的许多发现都指出了在具体解剖位置存在具有一定严重程度的特定发现。另一种常见的发现类型是对一些超出预期值范围的解剖结构进行定量测量。目前，用户会切换到测量工具，然后在图像上明确绘制线段以进行线性测量。然后，他们会逐字口述测量，例如“整个冈上肌和冈下肌腱足迹的全厚撕裂，撕裂缺损测量为内侧到外侧4.4cm x5.2cm AP”。相比之下，本公开使得用户能够指向(无需明确设置线段的起点和终点)或看向相关解剖结构并给出测量命令(例如，“测量这个”的口头命令)。命令的非限制性示例包括自动测量(“测量这个”)、比较案例流程(“比较这个”)和图像查询(“这是什么？”、CADx、CBIR)。因此，通过使用解剖分割，AI系统将知道使用分割的解剖结构作为完全相反的射线投射的边界来测量解剖结构的哪个部分，以定义从其进行线性测量的线段。然后，AI系统可以自动构建要插入报告中的语句。肿瘤成像上下文的一个示例是应用RECIST(“实体瘤疗效评价标准”)的最大高度/宽度测量。
虽然口述可用于命令系统，但非口头命令可以单独或组合使用。例如，用户可以使用鼠标和/或键盘来指向并点击医学图像以选择段和/或使系统测量解剖特征或段。在一些情况下，用户可以使用触笔或手指指示出医学图像上的位置，例如在触摸屏显示器的情况下。
在一些实施方式中，系统中的每个解剖结构具有描述解剖结构类型的标签。这是软件本体中每种解剖结构类型的唯一标识符。该标识符用于全局设置解剖上下文，使得所有其他用户动作都在此上下文中发生。在一些情况下，当用户选择(例如，使用鼠标或眼睛跟踪)图像上所示的解剖结构的一部分时，向用户呈现与该解剖结构的该部分相关的可能的临床发现的列表。在一个实施方式中，该列表包括按照患病率降序排列的可能发现，而不考虑该特定患者的成像外观。在一些情况下，该列表以用户可调整的长度(例如，前10个发现)被缩减。
在另一个实施方式中，发现的列表由计算机辅助检测/诊断模块生成，该模块在图像的该特定区域处创建可能发现的列表，其中推断对于该特定患者是特定的。可以为每个可能的发现生成分数或概率，并且可选地以分数或概率的降序呈现该发现。计算机辅助检测可以是由图像分析算法生成的输出。在一些实施方式中，输出是使用包括被配置用于渐进推理的神经网络架构的图像分析算法生成的预测或检测到的特征或病理。作为说明性示例，神经网络由具有分类器的模块序列组成，该分类器基于输入医学图像和先前分类器生成的输出生成输入。在该示例中，该神经网络的分类器执行图像分割、对图像的分割部分进行标记，然后按顺序识别标记片段的病理(例如，病变、狭窄、骨折等)，分割输出结合原始图像由分类器使用，该分类器对所识别的图像段执行标记，并且分类器使用标记的图像段和原始图像来识别病理。
在一些实施方式中，当用户选择特定发现(例如，从可能发现的列表中)时，生成该发现的结构化表示。表示该发现的一种可能的方式是通过知识图来表示各种概念，例如解剖位置和观察类型。对于每个位置或观察，各种修饰符(其也是概念)可以与其相关联，例如亚解剖位置或观察的严重程度。在知识图中，每个概念都是节点，两个节点之间的有向弧表示关系。例如，“C2-C3孔”具有_观察“狭窄”和“狭窄”具有_严重程度“轻度”。
在一些实施方式中，成像发现的结构化表示被转换成自然文本以插入到报告中。在一些情况下，这种自然文本表示是通过查询先前成像发现的数据库及其作为知识图的结构化表示来创建的。替代地或组合地，可以鉴于给定的知识图结构通过一组简单的产生规则来创建自然文本表示。在前一段的示例中，在诸如“<解剖结构>具有<严重程度><观察>”的产生规则可能返回“C2-C3孔具有轻度狭窄”时，查询可能会从已解析发现的现有数据库中返回“在C2-3级别观察到轻度神经孔狭窄”。
在一些实施方式中，本文公开了AI辅助自动测量功能。目前，线性医学图像测量是使用数字标尺进行的，其中用户点击一个点来锚定标尺，然后拖出线段，使得当他们释放鼠标按钮时，标尺就会被设置并可视地显示长度。然而，这种交互可能不准确，尤其是在低图像放大倍率下测量小物体(例如，疑似肿瘤)时，其中物体仅延伸几个屏幕像素，从而使测量的长度高度量化。这也增加了任务的乏味，因为用户必须以非常高的精度控制鼠标。
在一些实施方式中，自动测量工具是半手动的，其中一旦测量工具被激活，鼠标指针附近的图像的放大版本就覆盖在未放大的图像上，并且操纵标尺端点的鼠标移动在放大图像中完成以避免上述问题。此外，还提供辅助以确保标尺端点尽可能靠近图像地放置在图像中。这是通过计算图像的边缘势图I来实现的，该图像的边缘势图I可以使用图28A所示的公式来计算。图像梯度可以使用高斯核导数G与卷积来计算，如著名的Canny边缘检测器(Canny，IEEE TPAMI 1986)中所使用。可以使用与图像梯度幅度成反比变化的任何函数来计算边缘势图g，例如图28B中所示的公式。
在一些实施方式中，从所放置的标尺端点的原始位置，通过沿着由两个标尺端点定义的线执行线搜索来计算期望端点。边缘势图可用于允许标尺端点落入局部最小值，此时它们成为所需端点。因此，只要标尺端点最初放置在图像边缘附近，该标尺端点就可以自动找到边缘并粘在其上。图28C示出了计算的端点的说明性示例。
在一些实施方式中，自动测量工具是全自动的，其中用户仅需要定义图像上的单个点来启用该工具。可以在多个角度进行线性测量，并且用户可以选择单个最长的测量进行1D测量，或者选择最长的测量以及与其垂直的测量进行2D或3D测量。该自动测量可以通过鼠标点击(例如，包括轨迹球点击、触摸板点击或任何其他等效设备)或通过其他计算机输入设备(例如眼睛跟踪设备)来定义。
可以基于初始放置的点执行自动测量。作为说明性示例，最初放置的点通常放置在对象的中心附近，并且星形图案用于以各种角度(例如，每45度)执行定向线搜索。在此示例中，当达到足够深度的局部最小值(例如，<初始点处的边缘势的50％)时，每次搜索终止。
对于半手动和全自动测量方法两者，用户可以通过使用语音输入来增加/减少期望的端点(例如，说出“更大”或“更小”)以自动方式调整测量。替代地或组合地，鼠标滚轮(或一些其他合适的用户输入)可以用于类似的效果。
在一些实施方式中，本文公开的是与先验研究的AI辅助比较，其可以被称为比较案例流程。本系统、软件和方法可以允许用户在当前成像研究和任何可用的先验研究之间对正在查询(通过指向或看向)的具体解剖结构进行比较。目前，如果先验研究可用，则用户必须在两次扫描中手动找到相同的解剖结构，然后在当前和先验研究中创建发现或测量，以便进行比较。因此，期望具有链接滚动，使得滚动当前图像堆栈中的图像切片导致先验图像堆栈滚动，同时保留两个图像堆栈之间的解剖位置。当前的实现使用图像到图像配准来执行此任务。图像配准包括确定一个图像的坐标系到另一图像的坐标系的变换，使得相同的解剖结构在固定图像中具有与移动图像中相同的坐标。可以使用刚性变换(仅平移和旋转)或非刚性变换来实现这一点，而后者需要大量的计算资源。
因此，本文公开的是用于与利用解剖分割和标记的先验研究或比较案例流程进行AI辅助比较的系统、方法和软件。对于当前图像堆栈和先验图像堆栈两者，可以计算相关解剖结构的分割和标记。与3D到3D图像配准的一般情况相比，可以做出简化的假设，使得配准是1D的，其中鉴于一个图像堆栈中的图像，期望另一图像堆栈中最近的匹配图像，而无需完全3D旋转。在一些情况下，固定图像堆栈中的当前图像由用户选择，并且要求是找到移动图像堆栈中与固定图像的解剖结构最匹配的图像。为了将此视为1D问题，可以计算每个3D解剖标记区域的质心，然后将其投影到垂直于图像堆栈的线上。对于固定图像堆栈和移动图像堆栈两者均执行此操作。计算匹配的解剖区域对之间的距离d i，并且可以根据图29A所示的公式计算它们的平方和D。可以将该和最小化，以便找到固定图像和移动图像之间的最佳1D平移。图29B示出了该方法的说明性示例，其中对于固定(上方)图像堆栈和移动(下方)图像堆栈，计算四个解剖区域质心(圆)并将其投影到垂直于每个图像堆栈的线(细水平线)上。成对距离以粗水平线示出。
因此，通过使用解剖分割，用户可以给出“比较这个”命令，并且AI系统将确定当前和先验研究中匹配的解剖位置，然后可选地提供每个研究的发现/测量列表。对于定量测量，系统可以进行定量比较(例如百分比变化)并生成文本并自动插入到报告中(例如作为定量测量的计算机发现)。
在一些实施方式中，本文公开了AI辅助查询，其可以被称为图像查询功能。本系统、软件和方法允许AI辅助查询图像的具体区域。如果用户(例如，放射科医生)看到图像中可能存在异常的区域，他/她可以简单地指向或看向该区域并说出“这是什么？”，然后呈现以与图像的该区域相关联的可能发现的列表(例如，分割和标记的解剖部分的预测病理的计算机发现)。可以使用包含用于图像分析的一个或多个算法或模型的AI视觉系统或模块来生成可能的发现。在一些实施方式中，AI辅助查询功能被配置为找到广泛范围的成像异常类别。例如，在脊柱的MRI中，可以有可观察到的大约50种不同的异常类别，并且可以使用各种不同的机器学习架构来检测这些异常类别。在一些实施方式中，针对每个异常类别生成具体模型。例如，一种方法将是为50种不同的异常类别建立和训练50种不同的检测模型。在一些实施方式中，生成单个多任务模型或算法来检测各种异常类别。例如，可以使用多任务学习(MTL)方法训练单个模型来检测50种不同类型的异常。在一些实施方式中，使用多个单独模型和单个多任务模型方法的组合(例如，用于相关类别的多任务模型和用于不相关类别的多个单个模型)。对于每个候选异常，模型还可以推断出诸如严重程度的附加描述符(例如，在脊柱中检测到的病变可以具有相应的严重程度分数或指标)。
本文公开的图像查询功能使得能够对图像进行查询来获得多个异常类别检测的结果。在图像解释期间的任何时刻，用户可以使用指定的鼠标按钮、键盘热键、语音命令(“这是什么？”)或任何其他合适的用户输入来发起查询。在查询时，可以使用鼠标或通过其他计算机输入设备(例如眼睛跟踪设备)来定义图像位置。在一些实施方式中，当候选异常类别(例如，候选病变)足够接近指定图像位置并且具有高于给定阈值的概率或分数时，向用户呈现该结果并且生成描述该发现的全文语句(例如，计算机发现)。在一些情况下，用户将被提示以接受或拒绝语句进入医学报告的发现部分中。
因此，本文所公开的AI视觉系统或模块可以包括一个或多个算法或模型，该算法或模型提供可以在图像中的任何给定点处返回的多种可能的发现。例如，图像中的给定点将具有每个可能发现的概率(或类概率量)图。鉴于用户指定的点，AI系统可以按降序返回可能发现的排序列表。该列表可以按照给定的概率级别或长度被截断。通过口头“是”或“否”命令或点击适当的按钮，用户可以选择AI系统是否应自动生成此发现的文本并将其插入到报告中。在一些情况下，本文公开的系统、软件和方法被增强有基于内容的图像检索(CBIR)功能，使得被查询的区域可以用于在预先填充的数据库内找到具有相应发现或诊断的相似图像。然后，用户将能够通过视觉相似性确定哪个CBIR结果与当前查询匹配，并且如上所述，报告文本将自动生成并插入到报告中。例如，检索标记有真实发现的相似图像可以帮助用户决定所考虑的发现实际上是什么。
替代地或与鼠标光标检测相结合，眼睛跟踪可用于获得指示出一个或多个注视固定点的输入。这允许检测用户与图像的交互，而不需要用户操纵鼠标、触控板、键盘或其他物理输入设备(例如，触摸屏上的手指或触笔)。该系统可以包括用于测量眼睛位置和/或眼睛移动的一个或多个眼睛跟踪设备。在一些情况下，系统利用眼睛跟踪算法来推断用户在医学图像上的注视固定点。图像可以显示在计算机屏幕或显示器上，或者替代地显示在投影图像上。眼睛跟踪设备可以是相机或其他光学传感器。在一些情况下，系统包括将光(例如，红外线)投影到用户的眼睛上的发光设备。然后光学传感器检测从眼睛反射的光。光学传感器检测到的反射光图案可用于计算相应的注视固定点。该光可以是近红外(IR)光，其优点是人眼不可见。基于视频的眼睛跟踪系统可以拍摄反射光和瞳孔的角膜反射图像。角膜反射和瞳孔可以用作确定眼睛位置和/或移动的特征，以用于识别注视固定点的目的。该系统可以设置在显示器或监视器上，例如，都内置于显示器中或附接到显示器的发光设备和光学传感器。
在一些情况下，眼睛跟踪系统被配置为基于眼睛跟踪输入来检测用户命令。用户命令可以包括使用诸如例如鼠标、键盘、触控板、操纵杆、控制器或触笔的常规输入设备可获得的各种输入命令。可以使用眼睛跟踪输入来传送的用户命令的非限制性示例包括选择或取消选择(例如，医学图像上的区域或特征)、滚动、缩放(例如，放大、缩小)、在图像之间切换以及打开或关闭图像。眼睛跟踪输入可以预编程以对应于具体命令。替代地或组合地，可以定制一个或多个眼睛跟踪输入以对应于用户指定的命令。眼睛跟踪输入可以包括一个或多个动作，例如眨眼(例如，眨眼以冻结屏幕上的注视固定点的指示符)、眨眼次数(例如，快速连续的多次眨眼)以及在具体方向上注视。例如，用户可以注视特定方向或朝向医学图像的边缘注视以在该方向上滚动。用户可能需要维持注视最短持续时间(例如，0.5s、1s、2s等)以发起滚动或其他命令。类似地，系统可以被配置为要求眨眼维持最短持续时间，以便实现用户命令。
因此，本文公开的系统、软件和方法使得用户能够用他们的鼠标指出或使用眼睛跟踪软件/硬件来识别医学图像上的特征或段并说出缩写短语，并且通过他们指向/看向的地方推断位置和临床上下文，导致完整的语句被插入到临床报告中。因此，“指向”和/或“看向”机制可用于发起临床测量，并使用基于AI的分割通过鼠标或眼睛位置推断出位置。
发现的双向动态链接
本文描述的是用于促进医学图像的AI辅助解释和报告的系统、软件和方法。在一些情况下，系统、软件和方法提供报告中的发现的双向动态链接。用户口述的发现可以包括图像/区域/体积(例如，轴向切片13)，其中该发现被可视化。这些图像通常被称为“关键图像”或“书签”，并且可以在报告中注记，以便允许转诊医生(或进行未来后续检查的放射科医生)更容易找到正在讨论的病变或区域。医学图像的诊断解释的任务可以抽象为找到包含感兴趣的发现的图像区域，然后在报告中创建该发现的文本描述。目前，如果用户无需协助而解释，则将感兴趣的图像区域链接到发现文本的信息通常由报告文本中提供的解剖位置隐含地给出。有时，用户可以通过指定报告中的关键图像位置(例如，轴向切片13)来注记发现的位置。但是，如果图像是体积图像，则这仅指定三个维度中的一个。这些过程可以经由系统、子系统或模块来实现，这些系统、子系统或模块可以是独立的或者是本文所公开的更大平台或系统的一部分。
因此，本文公开的是用于基于查看和口述上下文自动推断具有(最大)信息量的图像并在报告中创建到它的链接的系统、软件和方法。用于推断具有信息量的图像的查看和口述上下文可以包括眼睛跟踪、鼠标位置、屏幕上的图像、AI算法的输出、图像(例如，X射线、CT、MRI等)中的一个或多个。在诊断报告创建期间，用户可能具有两种主要的查看数据的模式，即输入图像和输出文本。该子系统使输入图像感兴趣区域和输出发现文本之间的链接变得明确。在AI输出内内部记录此链接包括在每个AI生成的发现的元数据内记录感兴趣区域(例如，轮廓或边界框)。该子系统使这种链接对用户来说容易理解，该用户可以是在解释期间的用户、在未来后续检查期间的后续用户、转诊医生或甚至患者。当用户选择感兴趣的图像区域(例如，通过将鼠标悬停在某个区域上或将鼠标移动到某个区域或从列表中进行选择)时，报告中相应的AI生成的文本可以以独特的方式标亮或突出显示(例如，用明显或鲜明的上下文颜色突出显示的文本)。类似地，当用户选择报告中的发现文本时(例如，通过将鼠标悬停在报告中的语句上或从列表中选择)，相应的感兴趣的图像区域以独特的方式突出显示(例如，绘制区域边界和/或区域内部被赋予明显的色调)。在一些情况下，当通过将鼠标悬停在图像或文本上来选定选择时，选择可以随着鼠标指针移动而动态变化，从而允许快速交互而无需任何鼠标点击。图3中示出了示出该过程的非限制性示例的流程图。图4中示出了推断出的具有关联链接的信息量最大的图像的说明性示例。
在一些情况下，允许多重选择功能。例如，在图像内，可以通过套索型工具(例如，矩形或自由形式)选择多个感兴趣图像区域，然后可以突出显示由该工具选择的所有相应发现。如果期望，如果进行了多重选择，则可以通过单个动作删除所有这些发现。类似地，可以通过突出显示多个文本区域来选择多个文本发现(通过一个长的连续选择或通过Shift+点击多个文本多重选择)，然后，所有相应的感兴趣的图像区域将被多重选择。在一些情况下，允许多重选择删除。
放射科医生经常在他们撰写报告的位置(“报告器”)和患者图像(多个系列，通常分布在每个研究1-8个视口之间)之间来回参考。无论是口述还是打报告，解剖结构或病理的空间位置、取向和大小之间都存在许多隐含的配对，该解剖结构或病理在图像和相应的文本上被认为值得注意。从技术角度看，一般这种链接一建立就丢失了；放射科医生只是暂时考虑它，以便传达患者的相关解剖结构或病理状态。但是，如果捕获此链接，则其会提供大量信息。因此，本文公开的系统和方法提供了报告器中的某些文本与对应的图像位置特性之间的链接(例如，超链接)。在此类链接中捕获的信息可以捕获创建时的用户状态，并且可以用于为未来用户阅读该患者的案例、包含链接的所述案例的二次读者、转诊医生、外科医生、其他医疗保健从业者、患者以及机器学习培训和验证添加价值。
无法直接链接到特定患者的研究和系列集中的给定位置导致放射科医生的工作量增加。具体地，每当用户需要将他们自己重新定位到报告的一部分以及提示报告的该部分的相应图像数据时，用户就被迫重新导航通过该图像。这种重新导航既耗时又不必要。
在一些实施方式中，本文公开的系统和方法提供一个或多个链接(例如，超链接)，该链接在创建时捕获大量信息。在一些实施方式中，当用户从工具栏或利用语音命令选择超链接工具时，发生超链接的创建。该链接的目标是捕获有关用户状态的相关元素，包括有关图像的一些上下文和有关报告器的一些上下文。在一个实施方式中，要求用户明确地表示他们想要链接到的位置。在其他实施方式中，自动捕获图像上的用户状态。收集的有关报告器的信息可以包括但不限于报告器中光标的位置、一个或多个上一或下一语句的内容、一个或多个部分标题、创建链接之前用户说话的速度，或其任何组合。收集的关于图像数据的信息可以包括但不限于在视口中使用了哪些系列、正在使用多少个视口、正在查看的每个系列的切片数量、每个图像内的左右位置和缩放级别、每个图像的WW/WL。在对图像执行注释的实施方式中，注释可以以单击(表示患者空间中的位置)、取向的识别、形状的绘制、或其他合适的用户输入或方法的形式发生。
在一些实施方式中，通过用户从GUI(例如，从工具栏)选择“链接”工具、语音命令或合适的替代用户输入来创建链接。在一些实施方式中，用户注释图像中的特定位置。在一些实施方式中，自动建议链接报告器中的文本部分。在一些实施方式中，报告器中的文本部分可以由用户指定或编辑。在链接的文本内，可能包含各种信息。该信息可以包括但不限于解剖位置、病理、解剖位置和病理的特性、测量或其任何组合。
报告器超链接的语句中捕获的信息可以被本体理解并为将来的特征提供参考。例如，在一个实施方式中，重新阅读该案例的放射科医生，无论是回顾还是利用该案例作为先验，都能够将其图像重新取向到如在链接中捕获的特定位置或用户状态。用户可以通过多种方法重新取向，包括但不限于直接点击报告器中的链接或查询链接中捕获的术语，无论是直接查询还是通过查询由本体所理解的特定解剖结构或发现周围的上下文。例如，在图XX中，链接文本为“后/后下盂唇撕裂，沿后下盂，邻近盂唇旁囊肿，测量厚度约1.2cm，长度约2.0cm。”用户将能够通过该超链接中包含的具体文本(例如“盂唇撕裂”)、通过文本的一个或多个标题(例如，“盂唇”或“发现”)或通过本体允许的表示匹配(例如，理解“后下”对应于与“后下”相同的事物)，或者本体允许的更一般的理解(例如，理解对“后上”盂唇的请求应该在向上方向上导航到较短距离的位置)进行搜索。图40示出了用户选择图像内的坐标(例如，x/y/z坐标)以及相应生成经由URL超链接连接到图像坐标的关联发现的说明性示例。该超链接可以被包括在报告内，使得可以选择它来将用户带到图像坐标处的关联解剖结构。
在一些实施方式中，链接工具对于整个医学领域的各种用户具有实用性。对于再次阅读案例的放射科医生来说，在一些实施方式中，他们将能够快速重新挂片或导航到相关的链接发现。对于阅读该患者未来案例并将其用作先验的放射科医生来说，他们将能够将当前案例导航到患者空间中的相同位置，如链接中所示。他们还能够根据先验案例中捕获的用户状态挂片当前案例。此外，他们将能够示出当前案例中报告器的相应部分，如先验案例中的链接突出显示的那样。此外，他们可以通过直接链接或通过本体或标题理解的任何文本来导航先验案例。作为说明性示例，用户能够说“向我示出先验的发现”。对于二级放射科医生(例如，被要求给出第二意见的放射科医生)，该链接允许二级放射科医生直接到达他们被询问的位置，而无须重新导航图像。同样的功能为转诊医生和外科医生提供了实用性，他们能够快速看到研究中最相关的部分，而不是他们自己重新导航图像。在一个实施方式中，软件在图像上的指定位置旁边呈现报告器文本。对于患者来说，该链接可以提供快速、简单的方法以将他们的数据导航到放射科医生和转诊医生认为有必要与他们沟通的特定病理。最后，AI科学家或其他用户可以利用报告和图像数据的配对来训练和评估机器学习模型。这些数据还可用于代表诊所进行质量保证。质量保证可以包括但不限于跟踪放射科医生注记的发现位置、相应的报告文本以及链接数据的其他属性。
AI发现显示与交互
本文描述的是用于促进医学图像的AI辅助解释和报告的系统、软件和方法。在一些情况下，系统、软件和方法包括显示AI生成的发现并与之交互。可以向用户呈现潜在发现或病变的列表，以供进一步评审以接受或拒绝。该子系统的范围是向用户视觉呈现AI发现，以及接受、编辑或拒绝每个发现所需的交互。例如，在任何AI发现/诊断之上，向用户或放射科医生呈现卡片覆盖，其具有建议插入诊断报告中的关联医学文本。用户可以具有通过语音、键盘或其他合适的输入设备来编辑该文本的能力。图5示出了具有呈现给用户以确认插入到医学报告中的发现的医学图像的示例。该发现陈述了“总体管大小在逐渐增大，为12mm，并且这些退化变化似乎会导致显著的管狭窄”，并叠加在医学图像上，图像上的相应部分标记为“C4”，并显示12mm测量。这些过程可以经由系统、子系统或模块来实现，这些系统、子系统或模块可以是独立的或者是本文所公开的更大平台或系统的一部分。
在一些情况下，系统、软件和方法提供AI来找到输出的维度。AI系统输出可以基于促成发现的感兴趣图像区域的维度进行分组。逐点发现是0维的，可以源自解剖界标(例如，剑突)，也可以是边界可能不明确的区域(例如，发炎的关节)的质心或质量中心。线性发现是1维的，可以源自定义距离测量(例如，椎间盘厚度)的一对点或来自管状结构(例如，中央椎管)的中心线结构。平面发现是2维的，可以源自2D投影图像内的3D区域(例如，胸部X射线中的纵隔)或源自空间的非歧管区域(例如，喉入口)。体积发现是3维的，可以源自3D解剖区域(例如肝脏)。对于4D(及更高)数据集，更高维度的时变发现也是可能的。
本文描述的是能够进行图像导航以促进医学图像的AI辅助解释和报告的系统、软件和方法(可以被称为“解剖导航器”或“解剖导航器模块”)。在一些情况下，解剖导航器是被配置为在报告放射成像发现(例如成人脊柱的MRI)期间使用的用户界面增强。解剖导航器可以作为附件与工作空间图像查看器模块结合使用，并且可以与报告器模块进行通信以生成放射学报告。工作空间图像查看器可以显示医学图像，包括用于2D多平面重建或3D体积渲染的多个图像视口、图像滚动/平移/缩放、窗口/级别、用户生成的图像注释或其任何组合。报告器模块可执行包括报告模板和宏、语音到文本输入以及基于录音机的模板字段导航的功能。在一些情况下，工作空间图像查看器和报告器被配置为在没有解剖导航器的情况下操作，图像查看器和报告器独立工作。图20提供了示出工作空间图像查看器模块、解剖导航器模块和报告器模块之间的关系的说明图。
在一些情况下，在启用时，解剖导航器可以使用多种交互之一使图像查看器和报告器保持同步，以便减少错误并提高效率。例如，用户可执行下列各项中的一个或多个：(1)选择图像中的解剖区域以导航通过报告模板字段，(2)选择报告模板字段以导航图像，或(3)通过语音选择解剖区域以导航通过图像和报告两者。
1)用户在图像视口中选择解剖区域(例如，L2-L3椎间盘)。当将鼠标指针移动到解剖区域上时，动态显示带有文本标签(例如“L2-L3”)的半透明彩色边界，以在图像视口中提供视觉反馈。当鼠标点击解剖区域时，解剖导航器将报告器文本输入光标放置到匹配模板字段(例如，“L2-L3：”字段)中。因此，报告器文本输入光标标志了在医学报告中创建新文本的插入点。
2)用户可以使用录音机或鼠标上的下一个/上一个按钮将报告器文本输入光标移动到期望模板字段。如上所述，示出半透明的彩色边界和文本标签用于视觉反馈。解剖导航器滚动、平移和缩放图像视口以显示L2-L3椎间盘及其周围环境。
3)例如，用户可以说“跳转到L2-L3”，并且查看器和报告器都按照上面1)和2)中的描述进行更新。
如本文所使用的，“解剖描述符”指的是用于表示每个解剖区域(例如，用户可以在图像中选择、在报告模板中选择、或者作为跳转到命令说出的解剖区域)的枚举代码。该组解剖描述符包括所有对象预期的正常解剖结构。在一些情况下，该组解剖描述符不包括任何类型的病理描述符。表1中示出了解剖描述符的非限制性列表。
表1.脊柱的解剖导航器使用的解剖描述符。对于任何给定脊柱区域的成像研究，通常存在来自相邻区域的一些椎骨和椎间盘，这些椎骨和椎间盘位于图像视场中并且也被标记。椎骨、椎间盘和脊髓被表示为体积图像区域，而孔、小关节和脊髓圆锥则被表示为围绕单个点的小球形区域。L＝左，R＝右。
在一些情况下，图像从图片存档和通信软件(PACS)/供应商中立存档(VNA)推送到解剖导航器，以预先计算图像分割和标签(参见表1)。在运行时，图像视口中的鼠标点击可以作为3D坐标发送到解剖导航器，然后解剖导航器可以查找相应的解剖描述符并将描述符发送到报告器。当选择报告模板字段时，可以将该解剖描述符发送到解剖导航器，该解剖导航器确定该相应图像区域的填充边界框，该边界框可以用于滚动、平移和缩放图像视口。
解剖导航器模块可以包括一个或多个组件模块，例如分割模块、标记模块、用户检查步骤模块和/或解剖映射器模块。图21示出了这些模块的图。分割模块可以对一个或多个医学图像执行图像分割，而标记模块可以标记图像内的分割特征。分割和标记功能可以如包括在“AI辅助图像分割和标记”部分中的本公开中所描述的那样执行。
在一些情况下，系统、软件和方法提供AI发现的一种或多种导航模式。可以通过“导航模块”或“解剖映射器模块”提供各种导航模式。对于一种或多种导航模式，解剖映射器模块可以将用户接受的标记图像区域作为输入。可以组合多种导航模式来为用户提供多于一种的方式来导航AI发现(例如，本文公开的模式的任何组合)。
在一种导航模式中，系统渲染断层扫描图像之上的图像发现的几何表示，或者嵌入体积渲染内允许在呈现发现的同时以通常的方式导航图像(例如，在电影模式下滚动切片)。通过将鼠标指针悬停在调出卡片覆盖的区域上，可以提出有关发现的更多信息，如下所示。
本文公开的是向用户呈现CAD发现列表的第二导航模式，其通常按照置信度或概率降序或者按照解剖顺序(例如，从上到下)排列。当选择发现时，图像显示会跳转到该发现的坐标。然后，用户决定接受它并将生成的文本添加到报告中，或者决定拒绝它。
本文公开的是用于评审已经生成的报告文本的第三导航模式。通过选择报告内的语句，图像显示会自动导航到示出图像内区域的正确坐标。在一些实施方式中，用户能够选择报告模板字段以将该字段的解剖描述符转换成边界框。例如，用户选择报告模板字段，并且该字段的解剖描述符被转换为填充边界框，如下所示。标记分割图中该像素标签的紧密边界框被计算为最小/最大x-y-z边界，并且为了提供周围解剖结构的上下文，在所有方向上向边界框添加了额外的50％填充。图像视口被滚动、平移和缩放以适合此边界框。接下来，滚动和平移每个图像视口，使得边界框中心位于图像视口的中心。然后设置最大缩放，其完全包括每个图像视口中的每个填充边界框。
为了减少“视线移开”回到报告器窗口的次数，可以实时提供解剖描述符的视觉反馈。例如，当鼠标在图像视口上移动时，查找解剖描述符，并将相应的文本显示为图像视口中的注释。替代地或组合地，标记区域的几何形状以半透明彩色边界显示。
本文公开的是用于选择图像或与图像交互以便输入或并入与解剖描述符相对应的报告器文本的第四导航模式。作为示例，用户点击图像，并且通过标记分割图中的直接像素查找将3D坐标(例如，在给定DICOM参考框架内的DICOM参考坐标系中)映射到解剖描述符。然后将报告器文本输入光标放置在与该描述符相对应的字段中。如果结果是上下文标签，则可以选择包罗万象的模板字段(例如，“附加信息：”)。
如本文所使用的，“标记的分割图”是指医学图像之上的覆盖。标记的分割图可以具有多个类别以对应于图像中的多个解剖区域。在一些实施方式中，标记的分割图是与图像像素一一对应的像素阵列。分割图的值可以是两种形式之一。在“独热编码”中，分割像素值是非负整数，其中每个二进制数字(位)代表不同的类别。在“索引模式”中，像素的整数值是1-N之间的数字，其中N是类别数目。
本文公开的是用于通过语音到文本提供解剖描述符的第五交互模式。选择相应的模板字段，适当地滚动、平移和缩放图像视口，并提供图像区域的视觉反馈。
在一些情况下，系统、软件和方法允许调整AI发现的显著性，例如覆盖在图像上的发现的不透明度。例如，用户在评审图像以进行解释期间可能对AI发现的显眼程度具有一系列偏好。在一方面，诸如放射科医生的用户可能希望在评审期间对AI发现的干扰非常小，因此，发现图形和/或文本的各种叠加渲染将具有非常低的不透明度值。可选地，用户可以通过单个键盘或鼠标动作(或其他UI或输入动作，例如触摸屏上的手势)来打开/关闭AI发现的显示。在另一方面，其他用户可能希望显示更突出的AI发现，以免错过任何建议的发现，在这种情况下，渲染的发现的不透明度会更高。因此，除了能够打开/关闭AI发现之外，系统还允许用户不断改变AI发现的不透明度。
在一些情况下，本文公开的系统、软件和方法允许用户与AI发现进行交互。由于可能存在大量AI发现，因此快速接受、编辑或拒绝它们的能力对于提供高效的报告生成过程至关重要。因此，系统允许用户通过使用以下任何方式提供命令来接受或拒绝发现：(1)使用键盘，(2)使用用户界面上的按钮，(3)通过说“是”或“否”来使用语音提供快速单音节选项，或(4)手势识别系统。为了编辑发现，用户可以选择他们想要编辑的文本，并使用键盘或语音口述来替换某些文本。例如，用户可以说“跳转到”解剖区域，这导致光标被放置到匹配字段中，同时图像被滚动、平移和/或缩放到解剖区域的中心。其他输入方法也与此过程兼容。图6示出了医学图像的屏幕截图，其具有用于控制用户口述记录以生成AI辅助发现的窗口。图7中示出了说明用户接受或修改AI辅助发现的过程的非限制性示例的流程图。
仪表板和发现导航
放射学报告的呈现方式通常是半结构化的。报告的主要部分通常包括程序、历史、技术、发现和印象。发现部分通常用小节标题进行细分，后跟冒号(例如，“L1-L2：”代表L1和L2椎骨之间的椎间盘)。小节标题后面是代表成像发现(即，观察)的单独语句。本文公开的是用于提供解剖导航器的系统和方法，该解剖导航器使得用户能够在小节之间跳转，同时(1)滚动、平移和/或缩放图像视口以示出所选择的解剖区域，和/或(2)在报告的相应小节处放置报告编辑器文本光标。此方法的优点之一是允许用户注视图像，而不必将其注视转向报告(报告通常位于不同的监视器上)。
在一些实施方式中，本文公开的系统和方法包括发现导航器，其被配置为允许用户在小节(例如，解剖导航器使得用户能够在其间跳转的小节)内的单独的发现语句中进行导航。这种导航可以通过多种方式来完成。在一些实施方式中，录音机设备的可编程按钮用于在结果中导航，例如，在发现语句中向前或向后移动。替代地或组合地，用户可以使用语音命令(例如，“下一个”或“上一个”)或使用软件的图形用户界面(GUI)上的按钮。解剖结构或解剖导航器可以允许用户跳格通过不同的解剖结构或以其他方式在其间移动/选择，同时使用图像分割来可视化所选择的解剖结构，并且使得用户能够注视图像。相比之下，发现导航器允许用户在给定解剖结构或解剖结构内的不同发现之间进行跳格或移动/选择，同时还使得用户能够注视图像。作为说明性示例，解剖导航器允许用户在解剖结构1到解剖结构2等之间进行跳格，而发现导航器允许用户在解剖结构1内跳格通过发现1a到发现1b等。当用户完成解剖结构1的发现时，他们可能会继续进行解剖结构2等的发现2a、发现2b等，直到要评估的剩余的解剖结构。在一些实施方式中，发现导航器示出发现架以可视化一个或多个选择的发现。发现导航器功能的说明性示例在图37A-图37B中示出。图37A示出了正在评估的当前图像中的L4-L5解剖结构的发现导航器功能。图37B示出了当将当前图像与先验报告发现进行比较时的发现导航器功能。
在一些实施方式中，选择的发现语句显示在软件的图像查看模块的图像视口中或附近，例如在图像本身下方或浮动在图像上的空间带或“发现架”中。可以根据用户偏好以各种方式显示所选择的发现语句。在一些实施方式中，结果语句文本逐字显示在发现架中。在一些实施方式中，发现语句被显示为一组医学上特定的关键字(例如，“孔狭窄”或“骨折”)或短语，同时忽略医学上非特定的词(例如，“该”或“是”)。词语或短语可以显示在词语标签小部件(例如，允许选择、删除、重新排序和其他操作的药丸或盒子形状的GUI小部件)中。在一些实施方式中，小部件使得能够从每个药丸小部件激活下拉菜单，该下拉菜单允许用户从相关词语或短语中进行选择。例如，如果使用“轻度”来描述发现的严重程度，则下拉菜单将具有包括“轻度”、“中度”和“严重”的选项。在一些实施方式中，计算本体用于在下拉菜单中找到本体上紧密相关的术语。例如，文本标签、图标、形状或不同的颜色可用于向用户表示词语或短语的各种类别。作为说明性示例，发现语句“存在轻度广泛的骨赘复合体”可以由以下药丸表示：“轻度”、“广泛”和“骨赘”。在一些实施方式中，发现语句通过纯粹的图形图标(例如，类似于汽车仪表板上的发动机警告灯)显示在发现架上。可以为每种类型的发现创建独特的图标。图标上的颜色和/或图形徽章可用于表示对发现的额外修饰符。例如，椎骨终板缺陷(Modic变化)可能由餐盘代表。在此示例中，Modic类型(1、2或3)可以作为数字徽章添加到板之上，并且可以使用诸如黄色、橙色或红色的颜色来表示轻度、中度或严重。
在一些实施方式中，当用户口头口述发现语句时，动态更新发现语句的显示。在简单地逐字显示口述语句的情况下，由语音到文本算法识别的词语可以跨底部滚动，类似于电视隐藏字幕服务。药丸或图标会出现，以便通过语音识别它们。
当放射科医生阅读当前研究以及一个或多个先验研究时，代表这些不同研究的图像视口通常并排显示。在这种情况下，每个研究视口都有自己的发现架，代表相应放射学报告的发现。这允许用户可以对跨不同研究的单独发现进行视觉比较，而无需将注视切换到另一监视器。特别地，用户能够前进到先验报告中的下一个发现，同时继而口述到当前报告中。
如本文所公开的将先验研究与当前研究的发现相链接的优点在于，它可用于实现以表格格式配准当前和先验的报告，其中每行包含匹配相同解剖结构和发现类型的当前和先验发现。例如，一行可能代表L4-L5处的椎间盘骨赘复合体，其中当前研究在一列中，先验研究在下一列中。相关发现的这种视觉对齐使得报告的生产者和消费者都能够更轻松地理解两份报告之间的差异。以此看来，在某些实施方式中，类似于药丸颜色方案的发现文本的颜色突出显示被用来加速关键字的视觉识别。图38A示出了当比较报告时发现可能看起来的样子的示例。通过比较，图38B示出了报告的配准如何使得具体的发现能够以合适的表格格式彼此配准以使得能够容易地进行比较。
在一些实施方式中，本文公开的系统和方法提供了发现仪表板，其示出了评估中的解剖结构或特征的一个或多个图像(例如，在视口中)。当用户从一个解剖结构导航到另一个结构时，相关联的发现可以显示在仪表板内。这些发现可以显示为文本和/或图标或符号。例如，图39A-图39C分别图示了发现仪表板内从L2、L3和L4椎骨进行，其中发现的文本标记图标示出在与图像分开的查看窗口内。图39D示出了替代性查看布置，其中发现被示出为邻近相应查看窗内的解剖结构。
解剖导航器增强的工具和特征
半自动测量：在一些实施方式中，本文公开的系统和方法提供一种或多种工具来帮助利用由解剖导航器提供的附加上下文信息的图像分析/评估、发现生成和/或报告生成。在一些实施方式中，半自动测量过程包括通过GUI提供长度测量工具。在说明性示例中，如果用户使用其长度测量工具跨椎间盘进行测量，则他们正在对滑移进行打分(如果((长度测量工具开始＝＝L4)&&(长度测量工具结束＝＝L4))则(基于测量值插入放射科医生指定的措辞/选项列表))。在一些实施方式中，利用“半自动测量”，用户可以在每模板(或更高阶)的基础上，基于以下各项指定他们想要自动插入的措辞(或选项列表)：1)正在使用的某个测量工具，2)某个解剖上下文(由每个工具的端点指定)。因此，基于所使用的测量工具的值，用户可能能够决定他们想要插入到报告中的措辞。这样，插入到报告中的内容由用户(例如放射科医生或医生)驱动。
工具轮移位：在一些实施方式中，本文公开的系统和方法提供了可以根据不同的解剖环境(例如，由解剖导航器提供)来使用的不同工具。在一些实施方式中，该系统和方法提供工具轮。如果用户右键点击访问工具轮，则向他们呈现固定的工具包。在一些情况下，工具包可基于案例类型进行更改。但通过解剖导航器上下文，可以根据他们选择的图像部分的上下文来指定不同的工具。例如，如果与点击L4椎间盘相比，用户右键点击肝脏，则可以指定不同的工具。通过这种方式，用户可以保持工具轮简单和干净，并且根本不再需要工具栏(所有工具在不同的解剖上下文中指定)。
动态宏显示：在一些实施方式中，本文公开的系统和方法使得用户能够将宏指定为“全局”宏或特定于某个“系列描述”。例如，当目标是基于提升的上下文简化向用户呈现的数据时，了解他们正在评论的身体的哪个部分(可选地使用解剖导航器和模板映射器、眼睛跟踪等)允许某些宏(其与当前解剖/临床上下文无关)从报告器UI隐藏。虽然隐藏的宏可能仍然有效，但此方法通过移除GUI上显示的不必要或不相关的宏来精简宏菜单。此外，该方法允许显示一个或多个最临床相关的宏。由于宏有助于提高效率，但很少采用，因此仅显示相关或最相关宏的缩短列表可以提高采用率，从而增加效率。
动态图像缩放：在一些实施方式中，本文公开的系统和方法显示最大化图像大小的高级图像查看器。通常认为最好的查看器是具有最大图像的查看器。在一些实施方式中，本文公开的系统和方法通过将除了视口之外的所有其他按钮/UI元素从屏幕上移除来实现更大的图像。替代地，在一些实施方式中，本文公开的系统和方法使用解剖上下文(经由解剖导航器或模板映射器导出)以便动态缩放图像。例如，在脊柱图像的情况下，用户可能想在开始时观看整个图像，一旦他们观看发现部分中的第一椎间盘级别，他们可能最想查询该椎间盘。具体来说，一旦用户点击L4/5，解剖导航器就可以导航到模板的L4/5部分，并动态缩放L4/5周围的所有视口。
动态图像滚动：在一些实施方式中，本文公开的系统和方法提供自动动态滚动功能，而不需要用户手动滚动。在一些实施方式中，当图像的解剖上下文已知时，执行动态滚动功能，该动态滚动功能根据放射科医生通常会采用的传统方式滚动解剖结构(例如，在设置的时间段(例如15秒)内从前到后、从后到前)。在一些实施方式中，允许用户设置他们希望如何自动滚动特定结构，以便他们可以观查和口述。作为说明性示例，用户点击L4-5，查看器跳转到所有系列中与L4/5相对应的所有图像，并且动态滚动从椎间盘的开头发生到结尾并返回，直到用户跳格到下一个报告部分。
跟踪和分析AI辅助
本文描述的是用于促进医学图像的AI辅助解释和报告的系统、软件和方法。在一些情况下，系统、软件和方法提供跟踪和分析AI辅助。在一些情况下，系统仅对用户同意并输入到报告中的AI发现收取费用。在一些情况下，该系统包括用于确定AI生成的发现与用户口述的发现之间的一致性或不一致的算法。这种一致性可以作为用户在接受或拒绝/修改AI生成的发现时可以考虑的指标、评级或分数来提供。例如，系统可以利用输入的组合来生成发现，然后计算用户的口述和发现之间的一致性/不一致估计(例如，估计的一致性百分比)。在一些情况下，系统利用自然语言处理来确定一致性/不一致。这些过程可以经由系统、子系统或模块来实现，这些系统、子系统或模块可以是独立的或者是本文所公开的更大平台或系统的一部分。
为了监控和提高基于机器学习的计算机视觉算法和NLP算法和系统的性能，计算系统可以与允许主动学习的用户界面系统绑定。主动学习是一个过程，借此将真实的用户交互数据反馈到算法的训练集中，帮助AI算法从现实世界中收集的数据中学习，该数据反映算法“在野外”的性能。因此，此处描述的是用于收集用户的基准真值反馈的系统，以及基于NLP的系统，该基于NLP的系统其检测用户与AI模型的输出(通过所描述的UI组件)的明确交互与他们口述到诊断报告中的词语之间的不一致中的不协调。该系统确保将最高保真度的基准真值数据反馈到算法中以供训练。该过程的非限制性流程图在图8中图示。该流程图示出了由AI算法分析的医学图像以生成用于插入到医学报告中的发现(例如，AI辅助的发现)。接下来，AI发现被显示给用户，例如可以选择修改或接受发现的放射科医生。这两个决策都提供了基准真值数据，该基准真值数据可用于进一步训练算法以提高未来的性能。然后修改后的发现可能会被接受。一旦发现被接受，计费系统就可以接受与该发现相对应的费用。
通信集线器
本文描述的是用于促进医学图像的AI辅助解释和报告的系统、软件和方法。在一些情况下，系统、软件和方法为诸如放射科医生的用户提供通信集线器。在一些情况下，系统允许对来自不同通道的通信进行排队，以减少解释期间的中断。放射科医生经常会被转诊医生、工作人员和患者护理过程中其他利益相关者打来的电话分散注意力。通过VoIP系统智能地路由他们的电话呼叫，可以通过保持呼叫直到用户读完当前案例来节省时间和上下文切换。爱荷华大学已经证明了最小化干扰的价值。隶属于这所大学的10名放射科医生组成的团队聘请了助理来接听电话，直到放射科医生读完他/她当前的案例，每年为该团队节省了60万美元的时间和上下文切换费用。因此，本文公开的系统、软件和方法通过使通信队列自动化而无需人工辅助来提供对该过程的进一步提高。这些过程可以经由系统、子系统或模块来实现，这些系统、子系统或模块可以是独立的或者是本文所公开的更大平台或系统的一部分。
为了有效地管理图像解释期间用户的中断，所描述的系统可以通过单个控制系统路由所有通信通道。通信通道包括但不限于：电话呼叫(固定电话和移动电话)、视频呼叫或其他基于视频的通信、屏幕共享、VoIP呼叫排队、消息中基于评论的通信、传真、短信、其他聊天和消息传递(例如，基于聊天的通信，其带有可以向具体患者上下文开放的附件)、电子邮件、语音邮件、寻呼机、社交媒体或其他形式的通信。当用户登录到所描述的系统并处于解释过程中时(例如，来自工作列表的研究当前打开以供解释)，系统可以选择性地控制哪些通信被允许中断用户以及哪些通信被放入通信队列，直到当前研究解释完成或用户完全登出系统。在一些情况下，系统为每个通信分配优先级。可以有两个或更多个优先级，例如诸如允许中断用户的高优先级通信、放置在队列顶部的中优先级通信、以及放置在队列后面/后部的低优先级通信。
在一些情况下，系统在诸如放射科医生的用户之间以及放射科医生和其他利益相关者(例如，转诊医生)之间提供实时和/或异步的基于上下文的通信。如本文所使用的基于上下文指的是在通信内嵌入患者或患者相关信息的概念。用于基于上下文的通信的各种组件的非限制性示例包括带有可向具体患者上下文开放的附件的基于聊天的通信、基于视频的通信、屏幕共享、图像中基于评论的通信、VoIP呼叫排队或其任何组合。
本文公开的是图示如何能够实现各种形式的基于上下文的通信的非限制性实施方式。在一些实施方式中，对于基于聊天的通信，发送者能够向正在使用或登录相同软件应用(例如，用于AI辅助图像解释/分析)的接收者发送消息，或者通过电子邮件接收该消息的通知。发送者可以将基于上下文的链接嵌入到患者研究(例如，具有正在评估的一个或多个医学图像)，如果用户具有正确的许可，则可以在软件应用中打开该链接。根据用户的权限集和发送者的偏好，他们可能会看到研究的去识别化版本。这种去识别化可以实时动态发生，或可以在发送消息之前提前执行。图30示出了各方之间的消息传输的图。
在一些实施方式中，用户能够通过通信集线器发起与其他用户的视频聊天。此视频聊天还可以包括屏幕共享，其中参与者可以查看另一用户的屏幕。图31示出了基于视频的通信和屏幕共享的图。
在一些实施方式中，用户能够利用基于评论的协作。用户能够对图像发表评论并标记另一用户以请求反馈。被标记的用户可以接收通知以提醒他们协作请求。在选择或响应通知后，他们可以被带到图像上下文中的评论，并且可以响应帖子中的评论(例如，点击通知打开具有相关部分和相应评论的图像)。
在一些实施方式中，用户能够使用VoIP呼叫排队来发送基于上下文的消息。软件应用或平台上的每个用户都可以接收到VoIP号码，可以路由该号码来接听电话。在一些情况下，系统基于用户在其工作流程中的位置智能地对电话呼叫进行排队。例如，如果用户正在进行诊断，则系统将等待接听呼叫，直到用户完成当前的诊断会话。图32示出了VoIP呼叫排队的图。
在一些情况下，可以中断来自谁的哪个通信的逻辑或优先级由用户和/或组织手动确定或定制。例如，来自一些特定电话号码的电话呼叫可能会被列入白名单，而所有其他电话号码在解释期间排队。可选地，可以将规则设置为在超过设定的重复次数后允许重复的电话呼叫通过。在诸如文本消息或电子邮件的其他通信通道中，紧急消息可以用诸如“紧急”或“即刻”的某些关键字来识别，同时对所有其他消息进行排队。对于音频和文本消息两者，语音到文本翻译和/或自然语言处理可以与机器学习结合使用，以便最好地预测传入通信的优先级。
在一些情况下，通过在每次通信后询问用户中断是否可接受，或者通过观察在解释过程中对哪些通信进行了响应通过机器学习来确定哪些通信的逻辑。在一些情况下，在解释完成或用户发起登出后，呈现排队的通信，并通过启动适当的应用来促进响应。图9示出了图示该过程的流程图的示例。
当解释完成并且用户正在响应或返回通信时，系统被配置为能够诸如通过开始电子邮件回复、进行通过IP电话的语音呼叫等来初始化通信。此外，用户可能需要实时共享图像以展示某些临床发现。提供安全、符合HIPAA标准的屏幕共享，以便用户可以向另一放射科医生或转诊医生展示图像的哪些部分最为相关。替代地或者与共享鼠标指针位置相结合，可以使用眼睛跟踪来展示用户在描述发现时正在看向图像的哪一部分。
在一些实施方式中，通信集线器被配置为提供一个或多个反馈通道，允许用户查看发现的准确性。例如，可以为用户自己的发现和/或其他用户的发现提供患者结果(最终诊断、解决方案等)。
工作列表管理
本文描述的是用于促进医学图像的AI辅助解释和报告的系统、软件和方法。在一些情况下，系统、软件和方法提供工作列表管理系统，其允许放射科医生或其他用户保留医学图像以供分析。在一些情况下，用户能够选择具有最小或最大数目(例如，至少1、2、3、4个或5个，或至多2、3、4、5、6、7、8、9、10、15个或20个)的案例和/或图像的列表并保留它们，然后在选择另一个列表之前在下一段时间内继续评审这些案例。这允许用户选择他们想要的案例，但通过限制可以保留的案例数目以及由哪些专科医生评审哪些研究的机构定义规则来阻止对案例的精挑细选。在一些情况下，工作列表管理系统可由管理员和/或放射科医生配置。可配置的参数可以包括可以保留的案例的最小或最大数目、允许用户保留案例的设定时间或时间段、在较早的保留之后在用户可以保留案例之前的最短等待时间段、允许用户保留和/或要求保留的案例或图像的类型(例如，可能要求用户接受标记为紧急的案例)或其他相关参数。这些过程可以经由系统、子系统或模块来实现，这些系统、子系统或模块可以是独立的或者是本文所公开的更大平台或系统的一部分。
在医学成像小组实践环境中，通常存在多个患者的成像研究在多个医生可以开始解释的任何给定时间排队等待解释。为了防止两名医生解释同一研究，一旦将案例分配给特定医生或由特定医生保留，就可以使用工作列表系统来锁定案例以防止评审。存在多种方法以将研究分配给医生。首先，共享工作列表提供所有可供评审的可用研究。医生根据自己的判断和动机来选择研究。替代地，将特定研究分配给医生可以由行政人员或由计算机化工作流引擎基于由实践管理提供的标准来完成。当前的工作流引擎考虑关于医生及其当前工作列表的一般信息，但不考虑除成像模态和身体部位之外的要分配的研究内容。
本文公开的工作列表管理系统提供了智能计算机化工作列表引擎，该引擎使用诊断AI计算机视觉以便优化对工作列表的研究分配。各种图像分析系统可用于直接从图像推断诊断信息。定量图像特征(例如肿瘤大小测量)可用于治疗反应跟踪。CADe和CADx系统可用于检测和诊断各种类型的病变。作为另一个示例，CADt可用于对高度紧急的案例进行分类，例如需要立即处理的在急诊室中来自头部CT的颅内出血(ICH)。
因此，工作列表管理系统可以利用AI系统来执行计算机视觉(CV)，以便分析成像研究的内容(例如，研究中的一个或多个图像或图像系列)。该信息可用于估计解释给定成像研究的难度，这可用于影响给定医生解释案例的可能时间和质量。这种方法的优点在于，它带来了形式化且数学上可优化的方法(从小组实践的角度来看)，用于小组实践环境中医学图像解释的工作量分布。相比之下，人类管理员需要额外的人员，并且基于主观判断和偏见，而让医生从通用工作列表中自己选择会受到精挑细选现象的影响，其中研究可能会基于可能解释简易性而被单独竞争。传统的工作列表引擎不考虑来自医学图像的任何诊断信息。
在一些实施方式中，工作列表管理系统包括智能工作列表引擎，其使用研究路由推荐系统或子系统或模块，该系统或子系统或模块考虑来自一个或多个源的信息，例如，1)关于医生的历史和人口统计数据的数据库，2)医生的工作列表的当前状态，3)从成像研究本身得出的诊断信息，或其任何组合。
图33提供了智能工作列表引擎概览的说明图。分配给医生工作列表的传入研究由计算机视觉/人工智能(CV/AI)系统处理，以产生研究难度的估计。研究路由基于1)医生人口统计数据(例如，证书)，2)从历史医生数据和传入的影像研究中得出的估计研究质量，以及3)从历史医生数据和传入的成像研究中得出的估计研究效率，以及医生的工作列表的当前状态。在此示例中，建议的结果是选择具体医生的工作列表来路由研究以进行解释。
本文公开了用于智能工作列表管理的系统、软件和方法。在一些实施方式中，智能工作列表管理系统被配置为：接收未分配的图像研究；对图像研究执行计算机视觉分析，以生成图像研究分析的估计难度；以及至少基于估计的难度和历史用户数据将图像研究路由或分配给从多个用户中选择的用户。在一些实施方式中，智能工作列表管理系统被配置为：接收图像研究；确定包括图像研究分析的估计难度的输出；以及至少基于估计的难度和历史用户数据将图像研究路由或分配给从多个用户中选择的用户。在一些实施方式中，工作列表管理系统使用研究路由推荐系统或子系统或模块，该系统或子系统或模块基于医生人口统计、估计质量、估计效率或其任何组合来推荐从多个用户中选择的用户。在一些实施方式中，估计的质量和估计的效率是基于历史用户数据(例如，历史医生数据)和估计的研究难度或图像研究分析的难度来生成的。
在一些实施方式中，工作列表管理系统利用历史医生数据源。该智能工作列表可以是由用户完成其工作所需的所有工具组成的更大的基于网络的系统的组件(例如，智能工作列表管理可以是集成本文公开的系统/子系统和模块的任何组合的整个系统的一部分，用于与图像评审、分析、报告生成和管理相关的各种功能)。在一些实施方式中，其主要功能包括图像查看、报告生成和工作列表管理。当用户查看图像、生成报告并浏览各种患者案例时，他们与系统的交互可以存储在数据库中。例如，每当医生从工作列表中选择并解释患者研究时，就可以跟踪使用和交互数据并将其存储在数据库中。此外，同行评审数据也可以在基于网络的系统中执行和存储，允许根据同行在静态采样的基础上判断的情况来估计单独医生的诊断质量。
在一些实施方式中，医生人口统计数据包括但不限于诸如亚专业培训和资格、州执照和证书、执业年限、工作时间表或其任何组合的项目。可以至少使用医生特定信息和/或研究特定信息来确定估计质量和估计效率。医生质量度量主要来自上述同行评审过程。这种同行评审过程可以在医疗实践外部或内部执行，要求其他医生评审(或“通读”)选择的先验解释并识别差异，包括其严重程度和临床意义。同行评审数据的另一个来源是本专利中描述的上述AI辅助质量度量。医生效率度量可以包括但不限于研究周转时间(TAT)和解释时间，其中对中断(参见本专利中前述的通信集线器)、诊断难度(来自本专利中描述的报告内容分析以及计算机视觉两者)，以及花在设置任务上的时间(其中设置任务是用户在看向图像像素和创建报告之外执行的任何任务，例如选择图像查看的布局以及将适当的系列拖放到布局中)进行调整。
医生工作列表。在一些实施方式中，为了提供跨医生工作列表的负载平衡，工作列表管理系统考虑一个或多个负载平衡因素。例如，系统可以包括关于在研究分配时跨所有医生工作列表的研究分布的信息。可以使用一个或多个规则来将一个或多个负载平衡因素并入到工作列表管理过程中。例如，在所有其他条件相同的情况下，当前工作列表较短的医生更有可能被分配进行图像研究。在一些实施方式中，考虑医生的工作时间表，使得工作列表的完成与他们安排的工作日的结束一致。还可以考虑手动请求更少或更多工作的能力。
AI估计的研究难度。在一些实施方式中，工作列表管理系统估计解释和报告结果的难度。某些实施方式采用AI辅助的发现检测来评估成像研究的诊断内容，其中成像发现的数量由其不确定性加权，例如|1-发现的概率|。某些实施方式还包括对罕见的、低发生率的发现和/或低图像质量增加权重。
在一些实施方式中，医生质量度量和AI估计的研究难度被组合以便产生对给定研究预期的诊断质量的估计。可以将医生效率度量、AI估计的研究难度以及医生工作列表的当前状态中的两个或更多个组合起来，以便对给定研究的解释效率进行估计。这些数学组合可以由但不限于线性组合、非线性组合(例如幂律或指数组合)或机器学习函数来产生，所述机器学习函数可以被训练以学习最准确地预测一组给定成像研究的实际质量和效率的这些输入的组合。
在一些实施方式中，为了对医生工作列表进行研究分配，使用由医疗实践定义的标准和启发法来组合医生人口统计、估计质量和估计效率，以便在总体效率(实践的TAT)和总体质量(汇总实践的同行评审度量)之间进行平衡，同时满足单独医生的偏好和医疗法律职责。在一些实施方式中，被最大化以产生对医生工作列表的研究分配的数学函数是人工神经网络。在一些实施方式中，使用强化学习(其中推荐系统是具有分配作为动作的代理)来训练人工神经网络，试图最大化组合效率和质量的奖励。在足够长的时间内，推荐的强化学习算法能够通过调整工作列表推荐策略来不断提高组合效率和质量。
AI实现的质量度量
本文描述的是用于促进医学图像的AI辅助解释和报告的系统、软件和方法。在一些情况下，系统、软件和方法利用自然语言处理(NLP)和/或计算机视觉来实现成像研究的更好通读以进行质量评估。NLP可以应用于比较研究，以便按照政府的要求自动生成必要的通读统计数据。在一些情况下，已由一组用户(例如高级放射科医生)解释的研究被馈入到另一用户组(例如初级放射科医生)的工作流程中，并使用NLP和机器学习来执行自动通读和测量临床质量。在一些情况下，计算机视觉和NLP用于执行以下一个或多个：(1)计算报告文本质量度量，(2)启用通读研究的自动比较，以及(3)启用全自动通读以获得质量保证。这些过程可以经由系统、子系统或模块来实现，这些系统、子系统或模块可以是独立的或者是本文所公开的更大平台或系统的一部分。
在诊断放射学中，同行评审是评估另一用户放射学报告准确性的过程。目前，这涉及第二用户或不同第三方的主观意见。评审者可以使用标准化的评级量表。例如，三点量表可以区分(1)一致性(2)差异，其中发现不一定会预期被注意到，以及(3)差异，其中发现应该一直进行。差异可以被认为具有临床意义或不具有临床意义。注意，这与两个用户独立阅读研究的双重阅读、第二次阅读或通读不同，也不同于两个用户达成共识的联合报告。该同行评审可用于质量保证或质量提高目的。图10中示出了图示用于产生放射学报告的临床工作流程和用于同行评审的工作流程的流程图。
例如，美国放射学院(ACR)提供按年收费的RADPEER系统。在这个基于网络的程序中，研究和报告在没有原始放射科医生姓名的情况下提交，并且结果被呈现回给放射学实践主席。在美国，2008年患者和供应商医疗保险提高法案(MIPPA)制定了带有包括同行评审的CMS(例如，带有RADPEER)的认证标准。RADPEER的成本约为每位医生每年80-160美元。
根据多纳贝迪安框架，质量测量或度量可以分类为结构、过程或结果测量。结构测量通常与安全和技术设备测量有关。过程测量因其易于测量而被广泛使用，包括如报告完成时间、患者等待时间等内容。最期望的结果测量也是最难测量的。目前，同行评审被用作真正诊断准确性的指标，并在诸如RADPEER的系统中实施。
因此，在一些方面，本文公开的系统、软件和方法执行放射学报告的语言的AI辅助或自动分析以产生质量度量。例如，使用短语来表示不确定性的报告通常称为转诊医生不鼓励的“模糊陈述”。因此，本文公开的NLP系统可以被配置为检测指示出模糊陈述的短语并且在用户口述报告时首先向用户产生警告和/或建议。此外，该系统可以随时间量化和跟踪模糊陈述的倾向，以便识别可以提高的负面趋势和模式。这些趋势和/或模式也可以用质量控制度量来打分或评估，以便向放射科医生或用户提供反馈或指导。例如，可以提供包括质量控制评估的绩效报告，诸如例如以下一个或多个：用户对模糊陈述语言的使用相对于实践组的平均值的比较、图像/分析的类型的细分及其相应的模糊陈述语言的使用，以帮助识别优势/劣势，以及减少模糊陈述语言的使用的随附建议或指南。这种提高的质量评审工作流程的概述如图11所示。当前的同行评审系统(参见图10)让同行评审者阅读具有他们可用的用户报告的案例，这有可能导致偏见。本文公开的NLP系统的特征之一是能够将放射学报告自由文本摘要成遵循具体信息模型(解剖位置、观察、严重程度)的单独发现的结构化格式。一旦采用这种结构化格式，就可以对发现进行统计比较。这为通读实现了新的范式，其中多于一个用户在不了解参与同行评审过程的情况下阅读研究，然后对报告进行比较。这实现了完全盲态的评审过程。图12示出了图示该通读比较过程的流程图，其中使用自然语言处理来创建每个报告的摘要发现的系统列表，然后可以以成对的方式进行比较。
在一些方面，本文公开的系统、软件和方法使得能够以与用户在其报告的“发现”部分中记录的方式类似的方式检测发现。这可以以与本公开通篇讨论的NLP解释的摘要发现相同的格式产生。在此设计中，AI计算机视觉和NLP系统充当单独的通读，而无需任何额外的用户工作，从而实现全自动的质量保证系统。在一些情况下，系统自动标记用户与AI计算机视觉系统之间包含重大差异的报告，以供进一步检查和评审。图13示出了图示使用AI计算机视觉进行自动评审以创建摘要发现的系统列表(然后可以将其与NLP摘要的放射科医生报告进行比较)以进行客观比较的过程的流程图。
AI智能辅助自我提升
本文描述的是用于促进医学图像的AI辅助解释和报告的系统、软件和方法。在一些情况下，系统、软件和方法利用机器学习来分析关于用户如何参与计算机视觉和/或NLP系统的数据，以预测用户的过程(例如，分析)的质量，并且可选地提供提示，以供提高其过程的质量和效率。该信息还可用于使用机器学习来确定案例中的关键图像。用户使用本文公开的系统的副产品是可以收集和分析最高效和最有经验的放射科医生如何参与系统/软件的数据，尤其是与较不高效和经验较少的放射科医生相比时。使用这些数据，可以采用机器学习方法来通知和培训放射科医生以与最高效、最有经验的放射科医生一样的方式使用和参与系统/软件。这些过程可以经由系统、子系统或模块来实现，这些系统、子系统或模块可以是独立的或者是本文所公开的更大平台或系统的一部分。
本文公开的系统、软件和方法可以被配置为确定或估计质量。如本公开通篇所述，解释质量可以通过各种度量来确定，包括诸如同行评审和AI辅助或自动质量测量的方法。这些度量可以随时间进行存储和跟踪，从而能够识别单独放射科医生的趋势或进展。随着时间的推移，这些同行评审测量允许识别与最高质量相关的放射科医生的使用模式。
本文公开的系统、软件和方法可以被配置为捕获图像导航信息。在自由搜索期间，当AI没有提示用户向哪里集中注意力时，系统可以捕获有关正在检查哪些图像以及以何种模式进行检查的信息。例如，一些用户可能由于其子诊断质量而选择不检查一些系列(例如，侦察图像)。然而，由于医学法律原因，其他用户可能会选择检查这些系列。系统可以记录并分析用户之间的这些差异。在一些情况下，系统记录查看图像堆栈中的哪些图像以及查看时长。可以记录和分析的附加信息包括使用眼睛跟踪硬件的眼睛注视或注视固定信息。系统可以分析这些信息，以找到具有不同质量评估的用户之间的模式差异。在一些情况下，当用户与表现较好的放射科医生相比滚动图像太快或没有花足够的时间看向解剖结构的外围区域时，这些差异可能会被记录并报告给用户以进行自我提升。可以进行与UI相关的测量，例如鼠标里程计测量，以确定准确和有效解释的人体工程学障碍。还可以推断和跟踪关于解释过程中断的信息。
本文公开的系统、软件和方法可以被配置为捕获AI交互信息。本文公开的AI系统可以以限制尽可能少的方式向用户呈现潜在的发现。例如，发现可以按照置信度或概率递减的顺序呈现和/或导航。替代地或组合地，可以按空间顺序(例如，从下到上)或通过器官系统来导航发现。可以通过算法分析用户之间模式的差异，以确定哪些模式导致最高质量的解释。排名较低或异常模式的用户可能会被通知，以提供自我提升的机会。图14示出了图示该过程的流程图。如图所示，用户使用工作站访问和解释医疗数据以生成插入到报告中的发现。生成报告，但此外，还执行用于评估用户的发现并将其与更有经验/技术更熟练的放射科医生的“理想”发现/过程进行比较的过程。具体来说，AI算法分析发现以生成一个或多个性能或质量测量/度量。然后对发现进行比较以确定性能的增量或差异。最后，可以将比较分析的结果提供给用户。
用于挂片协议的人工智能
本文描述的是用于促进医学图像的AI辅助解释和报告的系统、软件和方法。在一些情况下，系统、软件和方法提供挂片协议的自动生成。当用户打开案例时，“挂片协议”用于以用户喜欢查看图像的配置显示该图像。目前，用户必须手动创建这些“挂片协议”，这是低效的过程。因此，在一些情况下，机器学习被应用于用户参与数据和医学图像标题数据，以自动化确定图像应在屏幕上对齐的方式的过程。这允许根据用户的偏好显示每种情况。这种定制和自动化为图像解释和报告生成提供了更加精简和高效的过程。这些过程可以经由系统、子系统或模块来实现，这些系统、子系统或模块可以是独立的或者是本文所公开的更大平台或系统的一部分。
用于生成或提供挂片协议的系统可以被称为挂片协议系统或子系统或模块。挂片协议系统或子系统或模块可被实现为与本文公开的其他系统、子系统或模块中的一个或多个一起提供挂片协议功能。作为说明性示例，用于医学图像的AI辅助解释和报告的系统可以包括挂片协议系统/子系统/模块，其与其他系统/子系统/模块(例如涉及AI辅助图像分割、特征识别或图像标记、智能工作列表管理等的那些)一起识别或应用适当的挂片协议。
由于成像硬件的差异、研究方案的差异以及随时间的变化，研究中获取的成像系列集及其文本描述可能明显变化，从而难以在当前研究和先验研究之间匹配系列。对技术成像参数(例如，MRI中的TE和TR)的分析允许对系列之间进行详细比较。在一些情况下，机器学习方法用于通过分析来自DICOM图像的标准化技术采集参数的向量来确定系列相似性。
在解释患者医学图像并生成报告的医疗保健环境中，使用各种方法来同时显示多个图像。从历史上看，当使用模拟灯箱查看胶片时，术语“挂片协议”指的是医生在给定患者成像研究中对多张胶片的优选布局。随着数字成像作为当前的主导范式，挂片协议现在指的是将具体图像系列(或具体图像)映射到跨越矩形网格(通常跨多个计算机显示器)的多个视口。以DICOM标准为例，挂片协议的处理流程包括两个阶段：(1)挂片协议定义，包括选择，以及(2)挂片协议显示，包括处理和布局。
在挂片协议定义阶段期间，当选择进行成像研究时，目标是与潜在适用的挂片协议档案进行匹配，该档案将定义图像或图像系列在计算机显示器上的显示和布局。匹配标准可以包括模态、解剖结构、偏侧性、手术、手术原因、先验数目或其任何组合。匹配过程还可以包括显示环境，包括显示器的数目、显示器的分辨率和/或显示器的位深度。最后，可以通过将具体图像或图像系列属性值与挂片协议中定义的集进行匹配来定义图像集。然而，由于依赖于随站点和运营商的不同而不同的自由文本系列描述标签，这通常会失败。
在挂片协议显示阶段期间，在处理中，通过重新格式化(例如，MPR、3D渲染)、过滤(例如，“轴向”)、排序(沿轴或通过采集时间)或其他标准将图像集映射到挂片协议指定的显示集。该阶段还可以定义排序的图像框集。在布局中，可以根据处理步骤中定义的顺序来执行图像框到显示位置的映射。
挂片协议的传统方法通常使用简单的属性值匹配标准来进行定义和显示两者，这往往很易变并且无法处理预期属性值的可变性。然而，在现实世界的实践中，存在显著的属性值可变性，这导致现有挂片协议的高失败率。即使当机器学习方法用于定义和/或显示时，任务也会被构建为搜索过程，图像系列要么与视口有一个正确匹配，要么根本不匹配。在选择中，通过简单的属性值匹配规则或通过应用于属性值或有关研究的其他高级信息的机器学习，检查图像研究元数据属性值，以便找到单个匹配方案。在显示中，将图像或图像系列与预期列表进行匹配的过程遵循相同的搜索过程匹配范例。在这两种情况下，都会继而出现与元数据相关预期适度偏差的易变性。例如，新研究中研究描述字符串的细微差别(例如，使用“LT KNEE”而不是“LEFT KNEE”)可能导致与任何已知的挂片协议不匹配。作为系列级别的另一个示例，元数据中的微小变化(例如，“T1w AX”而不是“T1AXIAL”)可能导致在图像集中无法匹配，因此视口变空。
本文公开了用于挂片协议的改进提供的系统、软件和方法。本公开的优点是将问题从搜索/匹配离散实体(例如，成像研究到挂片协议；显示集到图像框)之一重新构建为数值优化问题。在一些实施方式中，本文描述的挂片协议系统优化定义图像系列的期望选择和布局的标准集。作为说明性示例，本文公开的系统、软件和方法允许用户明确地或通过提供将被优化的示例来定义标准，而不是通过说“将这种确切类型的图像放在这个确切位置”来定义挂片协议。没有硬编码哪些信息必须呈现或不能呈现。相反，系统的易变性要小得多，因为数值优化仅对手头的信息进行操作，无论它是否适合不灵活的、事先形成的模式。
在一些实施方式中，本文公开了一种用于提供挂片协议的方法，包括：接收定义一个或多个优化标准的用户输入；以及基于所述一个或多个标准提供挂片协议。在一些实施方式中，本文公开了一种用于提供挂片协议的方法，包括：获得包括一个或多个图像的图像研究或图像系列；接收定义一个或多个优化标准的用户输入；以及提供基于所述一个或多个标准针对所述图像研究优化的挂片协议。在一些实施方式中，挂片协议不是基于允许或不允许的标准的硬编码(例如，建立必要标准的预设规则)来优化的。在一些实施方式中，挂片协议基于数值优化而被优化。挂片协议系统、软件和方法可以与本文公开的任何其他系统、软件和方法组合使用，只要它们涉及查看、评审、分析或以其他方式与图像交互(例如，AI辅助发现、自动报告生成等)。作为说明性示例，用户可以使用执行AI辅助图像分割和发现生成以自动/半自动生成报告的系统，该系统利用挂片协议系统/子系统来提供图像的显示和布局作为医学图像的评审的一部分。在一些实施方式中，标准对应于一种或多种研究属性。在一些实施方式中，标准包括一个或多个先验图像研究。在一些实施方式中，标准包括一个或多个先验图像研究，该先验图像研究包括一个或多个图像或图像系列。在一些实施方式中，用户选择一个或多个先验图像研究来建立标准。作为说明性示例，用户选择与胸部X射线相关的若干示例性图像研究或图像系列来设置未来胸部X射线图像研究或图像系列的标准。来自这些先验图像研究或图像系列的相关特征被提取并用于确定用于优化最终用于当前图像研究或图像系列的挂片协议的一个或多个属性。在一些实施方式中，挂片协议基于从一个或多个先验图像研究中提取的一个或多个属性来优化。在一些实施方式中，挂片协议的优化包括基于从一个或多个先验图像研究提取的一个或多个属性从多个挂片协议中选择最佳挂片协议。在一些实施方式中，挂片协议的优化包括从用于图像研究的成像顺序、临床文本、元数据(例如，DICOM元数据)或图像数据(例如，DICOM像素数据)中的至少一个获得信息。在一些实施方式中，挂片协议的优化包括使用自然语言处理算法来从成像顺序、临床文本或两者提取一个或多个相关特征。在一些实施方式中，挂片协议的优化包括使用计算机视觉算法从图像数据提取相关特征。例如，计算机视觉算法可以被配置为识别或提取提供关于研究属性的信息的视觉特征。在一些实施方式中，挂片协议的优化从元数据(例如，DICOM元数据)提取特征。在一些实施方式中，挂片协议的优化包括提供提取的特征作为对机器学习分类器的输入以生成一个或多个属性作为输出。在一些实施方式中，根据机器学习分类器生成的一个或多个属性来优化挂片协议。
研究级别分类。在一些实施方式中，执行研究级别分类。研究属性可以通过例如RadLex Playbook进行定义，并且包括一种或多种属性，例如模态(例如，MR)、模态修饰符(例如，血管造影)、程序修饰符(例如，经颈静脉)、人群(例如，儿科)、身体区域(例如，颈部)、解剖焦点(例如，脊柱)、偏侧性(例如，左侧)、检查原因(例如，筛查)、技术(例如，双能CT)、药物(例如，使用IV造影剂)、视图(例如，横向)或其任何组合。
在一些实施方式中，这些属性由机器学习分类器推断，该机器学习分类器考虑一个或多个信息源，例如成像顺序、临床文本、DICOM元数据和/或DICOM像素数据。在一些实施方式中，自然语言处理(NLP)用于确定与确定研究属性部分相关的基于文本的特征。在一些实施方式中，使用监督文档分类来预测前述研究属性中的一个或多个的研究属性值。DICOM元数据值可以分为非结构化字符串(例如，研究描述)和分类或连续值(例如，回波时间或重复时间)。在一些实施方式中，根据训练数据集，对非结构化字符串进行标记化，然后进行向量化。在一些实施方式中，分类数据被独热编码，而连续值被直接使用来创建被传递到分类器中的元数据向量。在一些实施方式中，通过计算机视觉模型馈送像素数据以预测研究属性。在一些实施方式中，诸如ResNet-50的卷积神经网络用于预测研究属性值，其中模型被逐个图像或逐个系列地训练，并且结果被汇总以创建每个研究属性的研究级别估计。
图34中示出了用于确定研究属性的过程的说明图。图34示出了图示使用成像顺序、临床文本、DICOM元数据和DICOM像素数据作为输入的研究级别分类的过程的图。自然语言处理用于从成像顺序和临床文本中提取相关特征，该相关特征提供有关研究属性的一些信息。计算机视觉用于提取提供有关研究属性信息的视觉特征。然后使用机器学习分类器将这些与DICOM元数据结合起来，以便产生研究属性列表。
在一些实施方式中，本文公开的系统、软件和方法优化图像的显示以包括与当前图像研究或图像系列相关的一个或多个先验研究。识别相关先验研究或图像的过程可以被称为“相关先验确定”。经由最佳挂片协议优化图像的显示可以包括与正在评审的当前研究相关的一个或多个先验研究的显示。患者可能具有不相关的先验成像研究，例如，如果当前的研究是头部CT，但存在是脚踝的X射线的先验研究。在一些实施方式中，通过允许用户选择相关性标准，提取的研究属性用于从所有患者先验成像研究的列表中确定相关先验(例如，图像研究、图像系列/图像)，这可选地包括匹配或部分匹配身体区域、解剖焦点、偏侧性或其任何组合。在一些实施方式中，计算机视觉用于确定哪些身体部位被成像，这使得相关先验确定的性能级别能够达到以前未达到的级别。仅使用元数据(例如系列描述)的传统方法可能能够确定MRI属于下肢，但无法区分膝盖、腿、脚踝或脚，而本文描述的自然语言处理和基于计算机视觉的方法能够解决这个常见问题。
在一些实施方式中，本文公开的用于优化挂片协议的系统、软件和方法涉及图像研究级别分类或图像系列级别分类。当前没有用于表征不同图像系列的解决方案。因此，在一些实施方式中，本文公开的系统、软件和方法提供用于图像系列的分类模式以及用于确定每个系列属性的值的机制。
图像系列模式属性可以包括类型(例如，源图像、侦察/定位器、二次捕获、文档)、取向/视图(例如，轴向、冠状等)、权重/组织选择(例如，T1w、STIR)、对比(例如，静脉内)、相位/时间点(例如，峰值动脉期)、采集(例如，薄片)、重建(例如，骨核)或其任何组合。与研究级别分类过程类似，元数据(例如，DICOM元数据)和/或图像数据(例如，DICOM像素数据)可以被馈送到机器学习分类器中以产生诸如上面列出的系列属性的列表。使用此图像系列属性模式的一个优点是，实际上相同的系列可以轻松识别为具有相同的系列属性值。当由于第一次采集的一些问题(例如，患者过度运动)而重新采集系列时，可能会发生这种情况。通常，解释医生不希望在挂片协议中显示第一次采集。这种对多个系列属性进行分类的方法与通常描述的将所有可能的系列枚举为平面列表的方法形成对比。
图35示出了系列级别分类的过程的说明图。如图35所示，使用DICOM元数据和DICOM像素数据作为输入来执行系列级别分类。计算机视觉用于提取提供有关系列属性的信息的视觉特征。机器学习分类器用于将这些与DICOM元数据结合起来，以便产生研究属性列表。
本文公开的系统、软件和方法可以执行相关系列确定和显示偏好。在定义挂片协议时，用户可以指示出他们预期找到的系列的系列属性值，然后明确地或通过示例定义显示和布局的规则。因此，显示器可以被定义为显示2D图像堆栈、多平面重新格式化(例如，来自轴向采集的矢状)、弯曲平面重新格式化、体积渲染或一些其他合适的格式。用户可以指示出他们不希望包含的具体系列，例如二次捕获或文档。在一些实施方式中，如果用户既没有定义他们想要如何显示系列类型也没有排除该系列类型，则其是不确定的。传统的挂片协议系统经常无法匹配确切的元数据值(例如，系列描述)，并且因此将无法包括该系列用于显示，即使用户可能希望显示它。相比之下，本系统、软件和方法被配置为使得未明确包括或排除的不确定系列默认使用基本2D图像堆栈显示器来显示。本文描述的系列属性方案的优点是它允许对所有图像系列进行广义分类，这允许传统系统无法达到的灵活性。
本文公开的系统、软件和方法可以配置显示器的布局。传统的挂片协议布局定义需要预定义每个显示器上的视口网格的大小(例如，3x4)并定义要在每个视口中显示的确切系列。相比之下，本文公开的是不需要预定义视口网格并且不需要要在每个视口中显示的系列的明确定义的系统、软件和方法。这是有利的，因为如果用户用不同的显示器硬件(例如，家庭与办公室)解释不同环境中的图像，则本文描述的动态布局引擎能够自适应地调整到每种情况，同时尊重一般用户的显示偏好。此外，由于存在多少相关系列以及存在多少相关先验研究的异质性，所需视口的数目可能因患者而异。动态布局引擎的另一个优点是，用户可能希望打开/关闭某些系列，例如第三或第四先验研究，并且动态布局将实时调整以优化整体布局。
图36提供了当前和先验MRI研究的期望布局成2x8视口布局的说明性示例。当前/先验属性位于行上，而最粗的列属性是取向(sag/ax)，最细粒度的列属性是权重(T1/T2)。还定义了每个属性内值的顺序(Sag<Ax，T1<T2)。
在经由图36图示的用于指定布局的方法的具体示例中，每个系列属性与行或列相关联。对于行和列，关联系列属性的排序是从粗到细进行的。最后，对于每个系列属性，单独的值根据用户偏好进行排序。在用于指定布局的方法的说明性示例中，用户手动将图像系列拖放到视口中，直到他们满意为止。行与列分配、从粗到细的排序以及属性值排序是从提供的示例中推断的。用户可能提供不一致的排序，在这种情况下，可以使用更主要的情况来定义布局规则，并通过系统默认选择来打破联系。另外，可以使用用于提高性能的学习规则的加权运行平均值而随着时间的推移来跟踪用户在重新布置图像研究的挂片中的动作。
在一些情况下，可能出现的问题是如果某些视口未填充，则如何布置布局。例如，如果挂片协议预期不存在的当前T2轴向系列。在当前研究和先验研究(其中图像采集协议或甚至成像模态可能不同)中这个问题可能经常发生。本文描述的系统允许定义优化方案，而不是留下大量空白视口，该优化方案可以对填充尽可能多的视口赋予比遵循确切的行/列排序规则更高的值。例如，每个规则都被给予权重，使得当满足时，该布局的目标函数增加该权重。可以为每个填充的视口给予不同的权重。此外，布局优化的其他考虑因素可以用不同的权重来考虑，例如每个视口的纵横比和大小。因此，在一些实施方式中，基于多个加权规则来优化布局。
图41A详细说明了放射科医生在选择如何挂片特定研究时可能考虑的因素数目。这些确定包括案例是否有先验、他们正在阅读的查看器窗口的数目、案例的模态(以及先验案例，如果适用)、案例中包含的身体部位(以及先验案例，如果适用)以及视口数目。取向和权重是每个系列的两个主要特性，然后在确定哪个系列应进入哪个视口时要考虑这些特性；然而，可以考虑其他特性，包括但不限于对比的存在或不存在、特定系列中捕获的运动的存在或不存在、特定系列中注意到的特定成像伪影的存在或不存在或其他因素。
图41B示出了在载入会话期间，用户如何可以选择特性的特定组合来用于定义挂片协议。在这个说明性示例中，放射科医生正在为没有先验、一个查看器和四个视口的MR膝案例定义挂片协议。图41C显示了挂片协议载入工作流程的可能版本。在这种情况下，用户利用取向和权重作为他们定义案例的主要特性。在该实施方式中，用户能够点击并拖动取向和权重的特定组合来定义他们想要案例如何挂片。图41D显示该协议的保存，如果这些系列不可用，则图41E显示了表示该案例的第二优选挂片协议的选项。这些偏好被捕获并存储。鉴于新案例，该软件能够根据此处指定的规则匹配新系列，并提供备份(如果可用)。此外，在至少一个实施方式中，软件能够理解先验案例的特性并选择特定的“最相关”先验，其中相关性可以通过解剖结构或病理考虑来定义。在一些实施方式中，关于先验案例的报告中相关文本的存在被用来影响选择。在一些实施方式中，相关性可以由放射科医生在当前报告中指定的术语来定义。例如，如果放射科医生提到胸痛，则提到肋骨骨折的先验报告可能被认为是相关的。
智能宏
放射科医生可以定义“宏”来简化将文本填充到报告中的过程。宏是预定义的短语，软件可以理解它以自动将其完成为更长的短语。放射科医生通常必须手动定义自己的宏，这可能是缓慢而乏味的过程。例如，用户可能必须定义触发宏的短语以及宏应完成的文本。因此，本文公开的是用于解析由特定放射科医生生成的一个或多个先验报告以理解重复出现的短语以便自动生成一组一个或多个宏的系统和方法，这可以帮助用户设计他们的工作流程。通过这种方法，可以向用户呈现一系列建议的宏以用于将来报告。
经验丰富的放射科医生每月口述数百或数千份报告；经过数月或数年的时间，这些放射科医生积累了大量根据其具体倾向撰写或口述的报告。在一个示例中，特定的放射科医生可能报告“冈上肌完好”，而他们的一位同行可能报告“冈上肌年龄正常”。放射科医生之间存在无数的差异，特别是所报告的解剖结构、被识别为存在或不存在的病理或发现、病理的严重程度、患者人口统计、放射学实践、转诊医生以及围绕报告的创建的其他质量。
如本文所公开的，包括一个或多个先前报告的数据集可用于理解其中包含的常用短语。在一些实施方式中，使用算法来简单地基于短语出现的统计率来识别常用短语。这些短语可以被标准化、处理或过滤，使得非信息性词语(不传达含义的词语)不会影响整体统计数据。例如，“冈上肌完整”和“冈上肌是完整的”将被认为是相同的。在一些实施方式中，算法解析放射科医生的报告以经由本体来理解常用短语。本体是先前编程或学习的框架，用于逻辑理解词语的关系。利用放射学本体，可以生成的宏类型可以存在于更高的抽象级别。例如，如果短语“冈上肌正常、冈下肌正常、小圆肌正常、肩胛下肌正常”全部出现，则本体可以识别这意味着肩袖正常，并提供宏建议“肩袖正常”以自动完成至这整个短语。
在一些实施方式中，利用诸如关于患者人口统计、放射学实践、转诊医生和其他质量的元数据的附加信息来生成一个或多个宏。利用该数据的技术(例如但不限于机器学习算法)可以提供更具体的宏。此外，如果用户在其报告中使用模板，则可以根据用户在模板的哪一部分来调整具体宏。
在摄取多个报告之后，可以向用户呈现代表先前传达的想法的多个可能的宏。在一些实施方式中，用户能够选择他们认为最有价值的宏并将它们集成到他们的工作流程中以供将来使用。
图42示出了基于一般规则生成的建议宏的说明性示例。在此示例中，当先前报告频繁地示出具有与一般规则相匹配的相应本体呈现的特定文本时，可以生成使得原始文本能够被包括的宏。因此，用户对宏的选择使得能够更高效地生成报告。
医学图像数据
在一些情况下，本文公开的系统、软件和方法包括用于分析或解释医学图像或医学成像数据的一种或多种模型或算法。医学图像可以使用各种医学成像技术从对象收集，并且可以选自以下非限制性示例中的一个或多个：放射线照相图像，例如X射线图像、磁共振成像(MRI)图像、超声图像、内窥镜图像、弹性成像图像、热谱图像、超声心动图图像、磁粒子图像、光声图像、电阻抗断层扫描图像、角膜地形图图像、正电子发射断层扫描(PET)图像、单光子发射计算机断层扫描(SPECT)图像、光学相干断层扫描(OCT)图像、X射线计算机断层扫描(CT)图像或计算机轴向断层扫描(CAT)图像、显微镜图像和医学摄影图像。
医学图像可以针对解剖结构或组织的具体部分。在一些情况下，一组医学图像是针对相同的解剖特征或组织拍摄的。医学图像可以是2维的、3维的，或者在一些情况下，可以是更高维的，诸如例如示出肿瘤进展的3D图像的时间序列。4维图像可以包括x/y/z 3D坐标以及时间(t)维度。附加维度也是可能的，例如，5维图像，其包括x/y/z坐标和2个附加维度(例如时间(t)和颜色编码)以指示出成像技术的光谱或波长维度。
医学图像或医学成像数据可以存储在数据库内。该数据库可以是本地数据库，例如本地服务器或远程网络或云数据库。在一些情况下，数据库包括具体对象的元数据和/或数据非图像相关医疗信息，例如病史、已知过敏、疫苗接种、疾病和其他潜在相关信息。在一些情况下，数据库包括对象的治疗计划或手术信息。本文所公开的计算机处理器可以访问包含在数据库内的数据并且向用户提供对该数据的访问。
算法和机器学习方法
可以使用各种算法来执行本文公开的过程，例如自然语言处理、语音到文本翻译、注视固定点检测、质量度量生成和/或比较、图像和/或通信排队、包括图像分割的计算机视觉、临床发现生成或其任何组合。在一些情况下，机器学习方法被应用于生成模型以评估执行这些过程中的信息。这种模型可以通过向机器学习算法提供训练数据来生成，其中预期输出是预先已知的，例如，图像的正确分割和标记是已知的。
本公开的模型、分类器或训练算法可以包括一个特征空间。在一些情况下，分类器包括两个或更多个特征空间。两个或更多个特征空间可以彼此不同。每个特征空间可以包括有关案例的信息类型，例如生物标志物表达或基因突变。训练数据被馈入机器学习算法，该算法处理输入特征和相关结果以生成模型或经过训练的算法。在一些情况下，机器学习算法提供有包含分类的训练数据，从而使算法能够通过将其输出与实际输出进行比较来“学习”，从而修改和提升模型。这通常称为监督学习。或者，在一些情况下，机器学习算法提供有未标记或未分类的数据，这使得算法识别案例中的隐藏结构(例如，聚类)。这称为无监督学习。有时，无监督学习对于识别对原数据分类最有用的表示非常有用(例如，识别例如脊柱X射线中的椎骨的图像内的不同段)。
算法可以利用预测模型，例如神经网络、决策树、支持向量机或其他适用模型。使用训练数据，算法可以形成分类器，用于根据相关特征对案例进行分类。可以使用多种可行的方法对选择用于分类的特征进行分类。在一些情况下，训练的算法包括机器学习算法。机器学习算法可以选自由监督学习、半监督学习和无监督学习组成的组，诸如例如支持向量机(SVM)、朴素贝叶斯分类、随机森林、人工神经网络、决策树、K均值、学习向量量化(LVQ)、自组织映射(SOM)、图形模型、回归算法(例如线性、逻辑、多元、关联规则学习、深度学习、降维和集成选择算法)。在一些实施方式中，机器学习算法选自由支持向量机(SVM)、朴素贝叶斯分类、随机森林和人工神经网络组成的组。机器学习技术包括装袋过程、提升过程、随机森林算法及其组合。用于分析数据的说明性算法包括但不限于直接处理大量变量的方法，例如统计方法和基于机器学习技术的方法。统计方法包括惩罚逻辑回归、微阵列预测分析(PAM)、基于收缩质心的方法、支持向量机分析和正则化线性判别分析。
可用于图像分析(例如图像分割)的机器学习算法可以包括人工神经网络，特别是卷积神经网络(CNN)。人工神经网络模仿基于脑神经结构的神经元网络。它们每次处理一个记录，或者以批处理模式处理记录，并通过比较案例的分类(可以是案例级别或像素级别)(一开始，这可能很大程度上是任意的)与已知的案例实际分类来“学习”。人工神经网络通常按层组织，包括输入层、输出层和至少一个隐藏层，其中每一层包括一个或多个神经元。深度学习神经网络往往包含许多层。给定层中的每个节点通常连接到先前层中的节点和后续层中的节点。通常，节点接收来自先前层中的神经元的输入，基于接收到的输入值更改其内部状态(激活)，并基于输入和激活生成输出，然后将其发送到后续层中的节点。神经元或节点之间的连接由数字(权重)表示，该数字可以是正数(指示出激活或激发后续节点)或负数(指示出压制或抑制后续节点)。权重值越大，指示出先前层中的节点对后续层中的节点的影响越强。因此，输入通过神经网络的各层传播以生成最终输出。
输入节点可以对应于与输出相关的选定参数。在图像的情况下，输入节点可以对应于图像中的像素。在一些情况下，初始输出相对于训练标签的误差传播回到网络中，并在馈入训练数据时用于在迭代过程中修改网络的权重。
神经网络的优点包括高噪声容忍度以及对其未经训练的模式进行分类的能力。
在训练期间，神经网络通常使用隐藏层中的权重和函数每次处理训练数据中的一个记录，然后将结果输出与期望输出进行比较。然后错误传播回来通过系统，导致系统调整权重以应用到要处理的下一个记录。随着权重的不断调整，这个过程会一遍又一遍地发生。在网络训练期间，随着连接权重不断细化，同一组数据可能被处理多次。
自然语言处理
在一些情况下，本文公开的系统、软件和方法应用自然语言处理(NLP)算法来提供用于训练计算机视觉模型(例如，图像分析算法/模型)的标签和/或生成来自模型输出的报告(例如，包括以人类可读格式(例如，完整语句)呈现的发现的报告)。可以使用自然语言处理来处理报告文本以生成此类人类可读的报告。
图16中示出了标签提取流水线的非限制性示例。该流水线允许从非结构化文本中提取结构化发现，以便为计算机视觉模型提供训练标签。如图所示16，放射报告文档(1.1)进入流水线。在预处理步骤(1.2)中，使用正则表达式模式匹配将报告分为多个部分(例如，临床病史、发现、印象)。在一些情况下，流水线重点关注“发现”和“印象”部分中的自由文本。该文本可以进一步分成语句。这些提取的发现可以使用信息模型(1.5)进行分析，以确定在这些语句中搜索哪些实体类别，并确定具体类别的实例的本体(1.6)。在一些实施方式中，本体(1.6)影响实体识别步骤(1.3)。
信息模型可以定义将从自由文本中提取哪些类型的结构化元素。在一些情况下，模型基于已发布模型中描述的相关类别，包括观察(例如，突出、水肿)、解剖结构和位置(例如，C2-C3椎间盘)、确定性(例如，可能、否定)、时间性(例如，当前或过去的发现)，以及修饰符，例如严重程度或偏侧性。本体可以表示概念、概念的同义词、概念的关系(层次结构或其他)以及到外部数据库的映射。本体可以包括列出信息模型类别的有效示例的字典，诸如例如所有有效观察及其严重程度。该本体可以基于各种公开可用的资源，例如RadLex放射学本体和/或UMLS及其关联的元图。
在一些情况下，正则表达式模式匹配用于过滤可能包含感兴趣“框架”的语句；也就是说，包含观察和信息模型其他元素的短语。然后可以使用自然语言处理程序/库(例如，NLTK)对这些过滤后的语句进行标记化和解析。结果可以传递给斯坦福NLP Bllip解析器，在Genia和PubMed语料库上进行训练以生成依赖图。该方法允许保留句法信息，然后可以在图16的实体识别步骤(1.3)中利用该句法信息。此步骤可以利用与本体相联系的模式匹配以及规则来提取发现框架。在一些情况下，首先执行搜索以查找依赖图中感兴趣的观察。然后使用Semgrex模式来查找依赖修饰符，例如严重程度。可以包括与NegEx类似的附加逻辑，以确保依赖项位于从其根开始的一组词语范围内。有时解剖结构没有被明确陈述，在这种情况下，可以利用本体来恢复隐含的位置(例如，“椎间孔狭窄”暗示“孔”作为解剖结构)。在一些情况下，Semgrex模式匹配与硬编码规则一起用于依赖图来确定确定性/否定性。
实体识别步骤之后生成的图16中的结果或提取的发现(1.4)然后可以作为完整的“框架”(其包括可以提取的尽可能多的信息模型)传递到计算机视觉训练流水线。结果可以附加到报告数据库，以方便搜索。
图17中示出了用于从计算机视觉模型输出生成文本的NLP流水线的非限制性示例。一旦经过训练，计算机视觉模型可以接受MRI、CT、X射线或其他图像作为输入，并根据我们的信息模型输出图像中发现的位置及其类别两者，例如“解剖结构：左侧孔，观察：狭窄”、严重程度：中度，位置：C2-C3。”此阶段的NLP任务是根据这些输出(2.3)构建自然语言语句，例如“C2-C3：存在中度左侧孔狭窄”。
该NLP流水线主要包括基于规则的序连过程，但由于不同类型的发现的特性，可选地增加了复杂度。例如，一些脊柱状况与椎体有关(例如，终板变化)，而另一些则与椎骨跨度有关(例如，脊柱前凸)，并且必须如此报告。可以利用本体中嵌入的信息来处理此类情况。此外，本体可以包含层次信息和同义词，这允许对适合与最终用户进行交流的发现进行汇总和排序。
本体支持的特征
在一些实施方式中，本文公开的是生成图像研究的元素的本体表示(例如，所表示的发现)并且可选地基于本体表示(例如，在报告生成和/或评审过程期间将本体表示相互和/或与提取的发现进行比较)执行一个或多个功能的系统和方法。在一些实施方式中，系统和方法包括导入由自然语言处理生成的输入。在一些实施方式中，系统和方法包括组装可用于推断含义的上下文的一个或多个元素。上下文元素的非限制性示例包括研究类型、正在查看的系列/切片、基于CV该切片的解剖结构、语句被放入其中的报告/模板的子部分以及报告中的先前语句。在一些实施方式中，系统和方法包括生成本体表示或所表示的发现。在一些实施方式中，所表示的发现基于每个陈述或者可以是每个语句的多个陈述。在一些实施方式中，所表示的发现包括按照放射学专用本体的RDF图。
在一些实施方式中，使用公理丰富的(使用例如OWL公理或SWRL规则)本体实现推断关于每个陈述的附加事实(例如“软骨撕裂”被推断为具体类型的“软骨损伤”并且将是对诸如“组织损伤发现”或“软骨异常”或“软组织损伤”的查询的回答)。
在一些实施方式中，使用遵循规范化模式的组合图，其允许根据陈述的各部分的任何复杂(或简单)组合对陈述进行分类(并因此搜索)。
在一些实施方式中，从陈述的散文源的具体语法细节中抽象出来的含义的表示支持比通过文本本身的查询可以实现的更完整/正确的查询答案。
在一些实施方式中，执行陈述(或部分陈述)的比较。这使得能够生成要针对给定放射学研究类型进行评审的项目的检查表，从而实现“智能”检查报告是否满足给定研究类型的完整性的最低要求。例如，报告检查器功能可以使用此类列表来在报告最终确定和提交之前执行对报告的自动评审。
除了提取的发现(在本公开其他各处描述)之外，放射学研究的各种其他元素也可以用本体来表示，使得该元素的含义能够相互并与提取的发现进行比较，并且基于这些比较的结果触发某些软件功能。给定研究内的代表元素可能包括放射学研究本身的描述、研究中图像系列的描述、报告主体内的标题(小节标题)或报告总结部分内的文本(有时称为报告的印象部分)。研究本身之外的代表元素可以包括用于促进报告创作的预先撰写的模板、每个此类模板适合的研究类型的描述以及挂片协议适合的研究的描述。
在报告完成后，但在报告定稿(签出)之前，可以将全套代表的发现与所需发现的检查列表进行比较，该列表本身是基于来自此类检查列表池的研究元数据(研究类型)选择的。检查列表上至少一项发现未“满足”的项目可以作为警告呈现给用户(例如，放射科医生)，并有机会返回并修改报告以满足检查列表项目。此过程允许用户按照他们认为合适的任何顺序编写报告，同时仍然获得完整性检查的好处。然而在通常的实践中，由所描述的检查列表提供的完整性检查是通过使用报告模板来提供的，其中用户按照模板的排列顺序编写报告。此处的创新提供了完整性检查，而不要求用户遵守特定的报告顺序。
在一些实施方式中，将表示的发现与来自同一患者的先验研究的表示的发现进行比较。当先前的发现“匹配”时-也就是说，当在比较后发现共享合适的特性，表明当前报告正在描述所观察到的异常，该异常在先前的报告中也已被描述(即使经由不同的语言或具有不同的细节，例如不同的大小或严重程度)时，可以采取适当的行动。例如，可以提醒用户已发现“相关的先验”研究，并且他们可以选择将该先验的研究包括在与当前研究的比较中。
在一些实施方式中，将表示的发现与总结(印象)部分中的内容进行比较，检查是否存在犯错或遗漏的报告错误。犯错错误的示例是总结描述了发现部分中未提及的内容，表明其中一个或另一个是错误的，例如在“左”与“右”的重要细节方面存在分歧。遗漏错误可以是这样的情况：总结部分遗漏了发现部分中经计算具有某种最低级别临床意义的发现。
在一些实施方式中，将表示的发现与研究元数据(例如，研究描述的表示)进行比较，以基于与研究元数据的不一致来检查可能错误的发现。例如，对左膝中发现的描述不会适用于仅对右膝进行成像的研究，而对女性生殖系统特定发现的描述则不会适用于男性患者的研究。这些“健全性测试”是通过在表示研究元数据的同一概念框架(本体)中表示发现而成为可能的。
在一些实施方式中，每个表示的报告发现与本体中的相应表示相匹配，该相应表示包括所需和允许的细节的列表，其又可以适当地以不同的特异性级别来描述。任何缺少所需细节或包含不允许的细节的发现都可以标记给放射科医生进行纠正。
在一些实施方式中，提取的发现用于各种比较。在一些实施方式中，将提取的发现与同一患者的先验研究进行比较，以基于例如检查的相似/相同的解剖结构或检测到的异常向放射科医生提醒相关的先验。
在一些实施方式中，将提取的发现与印象(或等同物)部分中的报告总结进行比较，以确认印象和发现部分一致，并且印象部分反映了发现部分中具有临床意义的内容。
在一些实施方式中，将提取的发现与研究/手术元数据进行比较，以检测可疑的发现/细节(例如，报告中的解剖偏侧性与研究描述中指示出的偏侧性的不一致，或异性患者的研究中的性别特异性发现)。
在一些实施方式中，将提取的发现与给定类型的发现的最低级别的可接受细节进行比较，以确保每个发现中呈现足够的细节，使其具有临床意义(例如，对于“孔狭窄”，应指定椎间级别和偏侧性以及严重程度)。
在一些实施方式中，本文公开的系统和方法提供报告检查器功能。许多研究得出的结论是，如今的放射科医生一天内完成的报告比使用医疗转录员时要少。这很大程度上归因于口述后和口述期间对报告的校对过程，以及纠正文本中的错误或解决遗漏的过程。这以前是医学转录员的工作。除了影响放射科医生的效率和工作满意度级别之外，彻底评审和验证报告内容的能力也会影响转诊医生，最重要的是影响患者护理。
放射科医生在此过程中经常问自己的问题“我是否解决了临床问题”、“我是否犯了任何偏侧性错误”、“我是否拼写正确”、“我是否提供了清晰且可操作的印象”、“语音转文字是否犯了会让我感到尴尬并降低客户信任度的错误，或者更糟糕的是，影响护理质量？”并且更多的问题可以由本文所公开的计算机系统通过算法来询问。
在一些实施方式中，报告检查器功能使用报告文本、报告元数据、研究元数据、医学和非医学词典、其他输入或其任何组合，以便评估报告的内容、识别可能的错误和遗漏，并且可选地，建议具体或概括的前进路径。在一些实施方式中，数据(例如，DICOM数据)中的一个或多个描述字段可用于筛选指示出报告内的错误的词语。作为说明性示例，报告检查器功能运行搜索算法，该算法查看DICOM数据中的性别和/或研究描述字段，并识别女性患者报告中任何出现的词语“前列腺切除术”。
错误的另一个示例包括注意到先验报告中提到、在检查部分中怀疑或在临床病史部分中注意到，但在当前报告中未认可的发现。作为另一个示例，没有后续建议的可能的先验将是另一个示例。因此，在一些实施方式中，报告检查器功能可以被配置为提供针对清晰性、一致性或者甚至针对报告的特定接收者而优化的措辞建议。
医学图像的计算机视觉
本文描述的是用于促进医学图像的AI辅助解释和报告的系统、软件和方法。在一些情况下，系统、软件和方法包括识别/标记和/或预测医学病症、病况或症状(例如，病理)的诊断或严重程度。如本文所用，病理可用于指医学病症、病况或症状，例如骨折或椎间盘突出。在一些情况下，本文提供的是跨不同解剖结构(包括但不限于脊柱、膝盖、肩部和髋部)的少数骨科相关发现的识别和严重程度预测。可以使用用于执行图像分析(例如，图像分割和/或标记)的机器学习算法或模型(例如，卷积神经网络)的系统来生成给定解剖区域的相关发现。神经网络系统可以使用包括两个主要阶段的过程来执行图像分析。第一阶段(可选)是第一机器学习算法或模型，例如第一神经网络，其负责针对给定的较大解剖结构分割出相关解剖结构(参见例如图18)，这可以被称为分割步骤。第二阶段是第二机器学习算法或模型，例如第二神经网络，其负责对给定解剖结构中的感兴趣区域(例如，由第一网络识别的区域)进行拍摄并预测一个或多个发现的存在以及可选地它们的相对严重程度(参见例如图19)，这可以被称为发现步骤。
图18示出了使用神经网络进行图像分割的过程的说明性示例。对于分割步骤，神经网络从给定患者(101)摄入一组图像，这些图像本可以使用多种医学成像技术(例如，磁共振成像(MRI)、计算机断层扫描(CT)和射线照片(X射线))获取。MRI图像还可以来自各种序列，例如T1、具有对比的T1、T2和T2*(T2-“星”)。这些成像扫描可以从许多不同的角度获取，包括轴向、矢状和冠状取向。然后将这些图像集馈入到分割神经网络(102)中，该网络预测期望解剖结构(103)的位置。分割神经网络可以基于U-Net和Mask-RCNN架构的变化(103)。这些网络可以在具有专家手动注释的解剖结构的患者图像上进行训练。
预测的分割结构可以包括各种解剖结构。例如，脊柱扫描的预测分割结构包括但不限于：从第一颈椎一直到最后骶椎的所有椎体、椎体之间的所有椎间盘以及所有相关的棘突。膝扫描的预测分割结构包括但不限于：滑车、内侧/外侧前/后半月板、内侧/外侧股骨髁、内侧副韧带(MCL)、前十字韧带(ACL)、后十字韧带(LCL)、髌腱、胫骨软骨、髌骨、胫骨和股骨。
图19示出了用于生成关于医学图像中的一个或多个解剖结构的预测的说明性过程。对于发现步骤，来自给定患者的代表感兴趣区域(201)的至少一种成像类型和序列的一组图像被用作对网络的输入。来自同一患者的不同序列或取向的多个图像集可以用作附加输入(202)。该感兴趣区域可以使用来自分割步骤的分割(参见例如图18)或对原始图像的传统图像预处理技术(例如在肩关节周围裁剪)来获取。每个图像集被馈送通过至少一个2D或3D卷积层(203)。卷积层可以包括多个正则化步骤，例如批量标准化、最大或平均池化以及L2正则化。卷积层的输出可以向其应用激活函数，包括但不限于修正线性单元(ReLU)或sigmoid函数。在对给定输入图像集进行至少一个卷积层运算之后，如果存在多于一个输入图像集，则可以沿着通道维度序连所有输入图像集(204)。然后，序连的图像块可以经历一个或多个卷积层以及一个或多个密集连接层(205)。然后可以创建密集连接层来预测至少一个感兴趣的发现和/或其严重程度(206)。要预测的每个附加发现可以具有其自己的密集连接层(207)。这些网络可以使用自然语言处理(NLP)根据从相关联患者报告中提取的发现信息进行训练。
可以使用本文公开的系统、软件和方法来生成各种预测发现。例如脊柱案例的预测发现的非限制性示例包括但不限于：孔狭窄、中央管狭窄、椎间盘膨出、椎间盘突出、椎间盘干燥、滑膜囊肿、神经压迫、许莫氏结节、椎骨骨折和跨不同的椎体和椎间盘的脊柱侧凸。膝案例的预测发现包括但不限于跨上述各个解剖结构的撕裂、病变和骨折。肩部和髋部案例的预测发现包括但不限于跨该解剖区域中的不同关节、骨骼和韧带的撕裂、骨折和脱位。
动态模板
放射科医生使用报告模板有多种不同的原因，包括但不限于提供组织信息的结构化报告、指导他们对案例的评审、质量控制和计费。这些报告模板通常由用户或用户的组织创建和定义。此外，用户必须选择正确的模板以在其报告中使用。在一些实施方式中，本文公开的系统和方法包括自动提供根据上下文动态改变的报告模板。
解决了两个关键问题：(1)创建多个报告模板的手动且繁琐的过程；以及(2)找到、选择和使用正确/最佳的报告模板。基于用户上下文动态更改的报告模板使报告构建过程更加高效。
放射科医生在一个月内口述数百或数千份报告。该放射学报告是放射科医生用来传达其诊断输入的重要工具，放射科医生的目标是创建一致的高质量报告。
模板允许用户实现理想报告的包括一致、全面、易理解、可读的特性，从而达到提高效率、展示价值以及提高诊断质量的目标。通过使用模板来标准化格式、结构和数据内容，报告用户之间的交流得以改善，满足认证标准，可以测量质量，并可以满足按绩效付费的激励措施。
报告模板通常由用户或用户的组织手动创建和定义——通常用作团队的一部分以创建成百上千个模板。这个繁琐的过程可能会花费大量时间，需要多次迭代和评审。此外，模板可以根据用户的个人偏好或为满足具体的报告需求而更改。即使定义了一组模板，模板的使用也可能需要用户找到并选择案例的正确模板。
在一些实施方式中，本文公开的系统和方法在自动生成模板时考虑了单个或多个系统中的多个或所有现有报告模板。在一些实施方式中，系统或方法考虑使用模板的上下文，包括但不限于HL7命令、DICOM图像、图像元数据、PACS、RIS和/或EHR中包含的信息。使用此信息，自动提供并动态调整报告模板。
例如，腰骶移行椎(LSTV)是一种常见的腰骶脊柱先天性异常，甚至在打开案例之前就可以确定其存在于该案例中(例如使用机器学习算法)。在一些实施方式中，允许用户报告这样的发现的报告模板被自动生成并提供给用户。或者，在一些实施方式中，自动修改现有模板以包括发现。
在一些情况下，现有模板并不存在。在一些实施方式中，使用诸如机器学习算法或本体的方法来识别现有词语之间的关系，为用户创建可能的模板并动态地适应具体用例。
在一些实施方式中，动态模板与诸如TemplateMapper的一个或多个其他特征组合，由此模板基于上下文动态地改变并且内容被自动映射到该模板中的最佳位置。在这种情况下，放射科医生将被呈现以其报告的最终草案，他们可以评审然后提交该最终草案。
AI辅助图像解释和医学报告生成系统
本文描述的是用于促进医学图像的AI辅助解释和报告的系统、软件和方法。在一些情况下，系统、软件和方法利用一个或多个输入组件或传感器，例如眼睛跟踪设备、麦克风或音频检测组件，和/或其他输入设备，例如鼠标、键盘、触控板、控制器或触摸屏，用于获取用户输入和/或口述。在一些情况下，该系统包括用于示出一个或多个医学图像和/或报告或相关发现的可视化的显示器。在一些情况下，显示器示出用户的注视固定或选择的指示符(例如，鼠标光标悬停在其上的图像部分)。
在一些情况下，本文公开的系统、软件和方法利用网络元件来与服务器通信。在一些情况下，服务器是系统的一部分。在一些情况下，系统被配置为向服务器上传数据和/或从其下载数据。在一些情况下，服务器被配置为存储传感器数据、触觉反馈类型和程度、和/或对象的其他信息。在一些情况下，服务器被配置为存储对象的历史数据。在一些情况下，服务器被配置为备份来自系统或装置的数据。在一些情况下，本文描述的系统被配置为执行本文描述的任何方法。
在一些情况下，本文描述的系统包括处理器；可操作地耦合到处理器的手持式组件；非暂时性计算机可读存储介质，其用被配置为与处理器通信的计算机程序编码。在一些情况下，本文公开的处理器是计算机的一部分或链接到计算机，并且包括或可操作地耦合到显示器、输入设备、处理器。
在一些情况下，系统或装置被配置为加密数据。在一些情况下，服务器上的数据是加密的。在一些情况下，系统或装置包括用于存储数据的数据存储单元或存储器。在一些情况下，数据加密是使用高级加密标准(AES)执行的。在一些情况下，使用128位、192位或256位AES加密来执行数据加密。在一些情况下，数据加密包括数据存储单元的全盘加密(例如，加密服务器或装置上的整个硬盘驱动器)。在一些情况下，数据加密包括虚拟盘加密(例如，加密包含图像数据文件的文件夹)。在一些情况下，数据加密包括文件加密(例如，加密对象的图像数据文件)。在一些情况下，在系统或装置与其他设备或服务器之间传输或以其他方式通信的数据在传送期间被加密。在一些情况下，系统或装置与其他设备或服务器之间的无线通信被加密，例如使用安全套接层(SSL)。在一些情况下，对存储在本文描述的系统或装置上的数据的访问需要用户认证。在一些情况下，对如本文所述的存储在服务器上的数据的访问需要用户认证。
本文描述的装置包括数字处理设备，该数字处理设备包括一个或多个硬件中央处理单元(CPU)以及可能的执行具体计算的一个或多个通用图形处理单元(GPGPU)或张量处理单元(TPU)。该数字处理设备还包括被配置为执行可执行指令的操作系统。数字处理设备可选地连接到计算机网络。数字处理设备可选地连接至互联网，使得其访问万维网。数字处理设备可选地连接到云计算基础设施。作为非限制性示例，合适的数字处理设备包括服务器计算机、台式计算机、膝上型计算机、笔记本计算机、子笔记本计算机、上网本计算机、上网板计算机、机顶计算机、媒体流设备、手持计算机、互联网家电、移动智能电话、平板计算机、个人数字助理、视频游戏机和车辆。本领域技术人员将认识到许多智能电话适合在本文描述的系统中使用。
通常，数字处理设备包括被配置为执行可执行指令的操作系统。操作系统例如是包括程序和数据的软件，该软件管理设备的硬件并提供用于执行应用的服务。本领域技术人员将认识到，作为非限制性示例，合适的服务器操作系统包括FreeBSD、OpenBSD、Linux、/>Mac OS X/>Windows />和/> 本领域技术人员将认识到，作为非限制性示例，合适的个人计算机操作系统包括/>Mac OS/> 和类UNIX操作系统，例如/>在一些情况下，操作系统由云计算提供，包括非限制性示例，例如亚马逊网络服务(AWS)、谷歌云平台(GCP)或微软Azure。
本文描述的数字处理设备包括存储和/或存储器设备或者可操作地耦合到存储和/或存储器设备。存储和/或存储器设备是用于临时或永久存储数据或程序的一个或多个物理装置。在一些情况下，该设备是易失性存储器并且需要电力来维持存储的信息。在一些情况下，该设备是非易失性存储器并且当数字处理设备未通电时保留存储的信息。在另外的情况下，非易失性存储器包括闪存。在一些情况下，非易失性存储器包括动态随机存取存储器(DRAM)。在一些情况下，非易失性存储器包括铁电随机存取存储器(FRAM)。在一些情况下，非易失性存储器包括相变随机存取存储器(PRAM)。在其他情况下，该设备是存储设备，作为非限制性示例，包括CD-ROM、DVD、固态驱动器、磁盘驱动器、磁带驱动器、光盘驱动器和基于云计算的存储。在另外的情况下，存储和/或存储器设备是例如本文公开的那些设备的组合。
本文描述的系统的一些实施方式是基于计算机的系统。这些实施方式包括CPU，其包括处理器和存储器，存储器可以是非暂时性计算机可读存储介质的形式。这些系统实施方式还包括通常存储在存储器(诸如以非暂时性计算机可读存储介质的形式)中的软件，其中该软件被配置为使得处理器执行功能。并入到本文描述的系统中的软件实施方式包含一个或多个模块。
在各种情况下，装置包括计算设备或组件，例如数字处理设备。在本文描述的一些实施方式中，数字处理设备包括向用户发送视觉信息的显示器。适合与本文描述的系统和方法一起使用的显示器的非限制性示例包括液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光二极管(OLED)显示器、OLED显示器、有源矩阵OLED(AMOLED)显示器或等离子显示器。
在本文描述的一些实施方式中，数字处理设备包括从用户接收信息的输入设备。适合与本文描述的系统和方法一起使用的输入设备的非限制性示例包括键盘、鼠标、轨迹球、跟踪板、触笔、麦克风、姿势识别设备、眼睛跟踪设备或相机。在一些实施方式中，输入设备是触摸屏或多点触摸屏。
本文描述的系统和方法通常包括一个或多个非暂时性计算机可读存储介质，所述存储介质用程序编码，所述程序包括可由可选地联网的数字处理设备的操作系统执行的指令。在本文描述的系统和方法的一些实施方式中，非暂时性存储介质是数字处理设备的组件，该数字处理设备是系统的组件或者在方法中使用。在又一些实施方式中，计算机可读存储介质可选地可从数字处理设备移除。在一些实施方式中，作为非限制性示例，计算机可读存储介质包括CD-ROM、DVD、闪存设备、固态存储器、磁盘驱动器、磁带驱动器、光盘驱动器、云计算系统和服务等。在一些情况下，程序和指令被永久地、基本上永久地、半永久地或非暂时性地编码在介质上。
通常，本文描述的系统和方法包括至少一种计算机程序或其使用。计算机程序包括在数字处理设备的CPU中可执行的指令序列，该计算机程序被编写来执行指定的任务。计算机可读指令可以被实现为执行特定任务或实现特定抽象数据类型的程序模块，例如函数、对象、应用程序编程接口(API)、数据结构等。根据本文所提供的公开内容，本领域技术人员将认识到计算机程序可以以各种语言的各种版本来编写。计算机可读指令的功能可以根据期望在各种环境中组合或分布。在一些情况下，计算机程序包括一个指令序列。在一些情况下，计算机程序包括多个指令序列。在一些情况下，计算机程序从一个位置提供。在其他情况下，计算机程序从多个位置提供。在一些情况下，计算机程序包括一个或多个软件模块。在一些情况下，计算机程序部分或全部包括一个或多个网络应用、一个或多个移动应用、一个或多个独立应用、一个或多个网络浏览器插件、扩展、加载项或添加程序或其组合。在一些情况下，软件模块包括文件、代码段、编程对象、编程结构或其组合。在一些情况下，软件模块包括多个文件、多个代码段、多个编程对象、多个编程结构或其组合。在一些情况下，作为非限制性示例，一个或多个软件模块包括网络应用、移动应用和独立应用。在一些情况下，软件模块位于一个计算机程序或应用中。在其他情况下，软件模块位于多于一个计算机程序或应用中。在一些情况下，软件模块托管在一个机器上。在其他情况下，软件模块托管在多于一个机器上。在进一步的情况下，软件模块托管在云计算平台上。在一些情况下，软件模块托管在一个位置的一个或多个计算机上。在其他情况下，软件模块托管在多于一个位置的一个或多个计算机上。
通常，本文描述的系统和方法包括和/或利用一个或多个数据库。鉴于本文提供的公开内容，本领域技术人员将认识到许多数据库适合于存储和检索基线数据集、文件、文件系统、对象、对象系统以及数据结构和本文所述的其他类型的信息。在各种实施方式中，作为非限制性示例，合适的数据库包括关系数据库、非关系数据库、面向对象数据库、对象数据库、实体关系模型数据库、关联数据库和XML数据库。进一步的非限制性示例包括SQL、PostgreSQL、MySQL、Oracle、DB2和Sybase。在一些情况下，数据库是基于互联网的。在一些情况下，数据库是基于网络的。在一些情况下，数据库是基于云计算的。在其他情况下，数据库基于一个或多个本地计算机存储设备。
本文描述的系统和方法可以包括一种或多种受控术语或词汇来描述生物医学概念。本领域技术人员将认识到，多种格式可能是合适的，包括网络本体语言(OWL)或资源描述框架(RDF)，并且可以使用诸如SPARQL的查询语言来进行查询。相关本体和相关资源包括例如RadLex、解剖学基础模型(FMA)、SNOMED临床术语或UMLS Metathesaurus的非限制性示例。
图15示出了本文描述的系统的示例性实施方式，其包括诸如数字处理设备1501的装置。数字处理设备1501包括被配置为确定给用户的触觉反馈的类型和程度的软件应用。数字处理设备1501可以包括中央处理单元(CPU，本文也称为“处理器”和“计算机处理器”)1505，其可以是单核或多核处理器，或者用于并行处理的多个处理器。数字处理设备1501还包括存储器或存储位置1510(例如，随机存取存储器、只读存储器、闪存)、电子存储单元1515(例如，硬盘)、通信接口1520(例如，网络适配器、网络接口)，用于与一个或多个其他系统以及外围设备(例如，缓存)进行通信。外围设备可以包括经由存储接口1570与设备的其余部分通信的存储设备或存储介质1565。存储器1510、存储单元1515、接口1520和外围设备被配置为通过通信总线1525(例如，主板)与CPU1505通信。数字处理设备1501可以借助于通信接口1520可操作地耦合到计算机网络(“网络”)1530。网络1530可以包括互联网。网络1530可以是电信和/或数据网络。
数字处理设备1501包括从用户接收信息的输入设备1545，输入设备经由输入接口1550与设备的其他元件通信。数字处理设备1501可以包括输出设备1555，该输出设备1555经由输出接口1560与设备的其他元件通信。
CPU 1505被配置为执行在软件应用或模块中体现的机器可读指令。指令可以存储在存储器位置中，例如存储器1510。存储器1510可以包括各种组件(例如，机器可读介质)，包括但不限于随机存取存储器组件(例如，RAM)(例如，静态RAM“SRAM”、动态RAM“DRAM”等)或只读组件(例如，ROM)。存储器1510还可以包括基本输入/输出系统(BIOS)，包括帮助例如在设备启动期间在数字处理设备内的元件之间传输信息的基本例行程序，该基本例行程序可以存储在存储器1510中。
存储单元1515可以被配置为存储文件，例如健康或风险参数数据，例如个体健康或风险参数值、健康或风险参数值图以及值组。存储单元1515还可以用于存储操作系统、应用程序等。可选地，存储单元1515可以可移除地与数字处理设备对接(例如，经由外部端口连接器(未示出))和/或经由存储单元接口。软件可以完全或部分驻留在存储单元1515内部或外部的计算机可读存储介质内。在另一示例中，软件可以完全或部分驻留在处理器1505内。
可以通过显示器1535向用户显示信息和数据。显示器经由接口1540连接到总线1525，并且可以经由接口1540控制显示器与设备1501的其他元件之间的数据传输。
本文描述的方法可以通过存储在数字处理设备1501的电子存储位置上(诸如例如存储器1510或电子存储单元1515上)的机器(例如，计算机处理器)可执行代码来实现。机器可执行或机器可读代码可以以软件应用或软件模块的形式提供。在使用期间，代码可以由处理器1505执行。在一些情况下，代码可以从存储单元1515检索并且存储在存储器1510上以供处理器1505随时访问。在一些情况下，电子存储单元1515可以被排除，并且机器可执行指令被存储在存储器1510上。
在一些实施方式中，远程设备1502被配置为与数字处理设备1501通信，并且可以包括任何移动计算设备，其非限制性示例包括平板计算机、膝上型计算机、智能电话或智能手表。例如，在一些实施方式中，远程设备1502是用户的智能电话，其被配置为从本文描述的装置或系统的数字处理设备1501接收信息，其中该信息可以包括总结、传感器数据、触觉反馈的类型和程度或其他数据。在一些实施方式中，远程设备1502是网络上的服务器，被配置为从本文描述的装置或系统发送和/或接收数据。
深度信息链接
无缝汇总来自多个来源的数据并集成到工作流程中对于几乎每个信息密集型工作场所都至关重要。在医疗保健环境中，工作流程可能高度以信息为中心，信息通常包括非成像临床数据(例如，临床注记、手术报告、实验室值等)和成像数据(例如，放射学、病理学、皮肤病学、眼科等)。
对于非成像临床数据，电子健康记录(EHR)，也称为电子病历(EMR)，可以汇总不同的信息源，以便医生和其他医疗保健工作者通过单个计算机界面访问这此类信息。对于成像数据，以成像为中心的医学专业可以管理自己的图像数据(例如，放射科管理图片存档和通信系统或PACS)。最近，出现了一种通过所谓的企业成像或EI共享图像管理基础设施来降低医院间接成本的趋势。每个以图像为中心的部门可能有在共享基础设施上运行的自己的图像管理计算机界面。
一些EHR系统可以实现对来自PACS系统的图像的简化访问。然而，数字健康平台可能会被开发来汇总来自多个来源的数据。这种汇总使得可以访问临床非成像或成像数据的不同孤岛的单独应用(应用程序)可以呈现为并排的“图块”，以真正实现并排显示以其他方式孤立的数据。尽管同时显示，但信息并没有超出给定患者的上下文而深入链接。
本文描述的是被称为深度信息链接(“DIL”)的系统。DIL可以“在正确的时间、正确的地点向正确的人”提供“正确的信息”。如果医生在腹部MRI检查中检查肝脏，则患者左脚踝的手术报告不太可能具有临床相关性，而最近的一组肝脏实验室值可能具有临床相关性。相反，如果另一位医生正在检查肝脏实验室值，则他们可能希望查看最近的放射学报告，该放射学报告具有提取或突出显示肝脏相关的发现以及自动放大肝脏周围的图像。通过执行解剖结构分割的图像分割算法可以支持缩放到感兴趣器官周围的区域。可能在结构化报告的格式的帮助下，自然语言处理用于提取有关感兴趣器官的发现或印象。通过将具体临床上下文内的数据链接在一起，大大减轻了不断搜索潜在相关信息的认知负担。
本文描述的是深度信息链接(“DIL”)系统，其单独使用或与本文描述的任何系统、软件和方法组合使用。例如，DIL系统可以包括本文描述的跟踪系统(例如，眼睛跟踪)和/或本文公开的人工智能系统、软件和方法的使用。DIL系统可以包括本文描述的元件(例如，组件)的任何组合。在一些实施方式中，本文描述的系统、软件和方法还包括DIL系统。
在一些实施方式中，DIL系统包括界面。在一些实施方式中，界面显示信息(例如，与感兴趣器官临床相关的信息)。在一些实施方式中，界面显示医学图像(例如，MRI)。在一些实施方式中，界面显示患者信息(例如，年龄、性别、既往病史、实验室报告、医学或放射学报告等)。在一些实施方式中，界面显示医学图像和患者信息。在一些实施方式中，界面显示医学图像和患者信息(例如，患者医学信息(例如，实验室值、医学报告等))。
DIL可以显示医学图像(例如，放射学报告)。医学图像可以包括对象的解剖部分，例如肢体、躯干、胸部、腹部和/或头部。当用户(例如，使用鼠标光标和/或使用本文描述的跟踪系统)选择医学图像的一部分或悬停在医学图像的一部分(例如，特征(例如，一个或多个感兴趣的器官，例如，肝脏、肾脏、心脏、脑、肺、骨骼、组织等))上时，DIL可以检测医学图像中被选择或悬停在其上的部分，并且将显示与医学图像的该部分(例如，感兴趣的器官)临床相关的信息。临床相关信息可以是本领域技术人员会发现相关的任何信息。临床相关性可以根据各种参数或规则来确定或计算。例如，在一些实施方式中，如果用户选择显示肾脏的医学图像的一部分或悬停在显示肾脏的医学图像的一部分上，则DLI将收集与肾脏相关的临床相关信息(例如，关于肾脏的最近医学报告、与肾脏相关的功能和/或体征或症状、与肾脏相关的既往病史、药物干预、与肾脏相关的实验室值(例如，GFR、血清肌酐、血尿素氮、尿蛋白、微量白蛋白尿、尿肌酐等))等。在此示例中，提及肾脏或肾脏相关术语(例如，输尿管、肾小球、肾单位)的任何医学信息可以被分类为临床相关。包括可能与肾功能相关的度量的实验室测试也可能被认为具有临床相关性(例如，通过尿液测试检测到血尿)。在另一示例中，可以通过确定报告的一部分是否包含满足预定阈值的一个或多个关键字来确定临床相关性。该阈值可以解释存在的关键字的数目和/或每个关键字的强度。例如，如果用户选择显示肾脏的医学图像的一部分或悬停在显示肾脏的医学图像的一部分上，DLI将通过搜索词语或首字母缩略词(例如，肾脏、肾、CKD或在本领域中被接受的其他术语(例如，与关于肾脏的实验室值相关的那些))来收集与肾脏相关的临床相关信息，随后关键字则将被给予指定的强度，该强度随着关键字与特征(例如，所选器官)的相关关系而增加。强度关键字可以根据关键字和特征之间的关系而变化。例如，如果用户选择肾脏，则分配给相关尿液分析实验室的强度将足够高，其中尿液实验室将自动被视为临床相关。另外，临床相关信息可以是与被视为异常的特征相关的任何信息。在一些实施方式中，与特征相关并且超出我们正常范围的所有实验室结果(例如，实验室结果被认为是异常的)将自动被视为临床相关。在一些实施方式中，与特征相关并且超出我们正常范围的所有实验室结果(例如，实验室结果被认为是异常的)将自动被视为临床相关。临床相关信息可以由DIL系统(例如，通过AI)提取，以便显示临床相关信息的提取。临床信息的提取可以提供发现(例如，与健康个体不一致的发现)的概要(例如，简要总结)。用户可以通过进一步选择图形用户界面上显示的信息(例如，通过选择实验室值)来探索与概要相关的进一步信息。然后可以向用户提供与临床相关信息和/或第二组临床相关信息有关的进一步信息。第二组临床相关信息可以是与临床相关信息不同但关于特征(例如，所选器官)的信息。例如，临床相关信息可以是与特征(例如，所选器官)相关的实验室值，并且第二组临床相关信息可以是与医学图像和/或先验医学图像有关的从业者(例如，医生、药剂师、护士、物理治疗师等)的印象和/或发现。第二组临床相关信息可以包括本文公开的任何类型的信息(例如，实验室报告、发现、印象、注记、医学报告等)。临床相关信息的提取还可以提供突出显示的信息(例如，可以在诸如整个实验室报告或整个医学报告中提供信息，并且整个实验室报告或整个医学报告内的临床相关信息将被突出显示)。在一些实施方式中，使用自然语言处理(例如，本文所公开的那些)来提取临床相关信息(例如，与医学图像的一部分(例如感兴趣的器官)相关的发现或印象)。在一些实施方式中，DIL使用自然语言处理来提取临床相关信息(例如，关于感兴趣的器官)并创建结构化报告。在一些情况下，临床相关信息邻近医学图像显示(例如，参见图43B)。替代地或组合地，临床相关信息显示在弹出窗口中。
结构化报告可以使用人工智能来创建，并且可以包括临床相关信息。在一些实施方式中，结构化报告包括自动组织的临床相关信息(例如，通过实验室值数据、医学报告等)。在一些实施方式中，结构化报告包括由AI结构化的语句中显示的临床相关信息。
在一些实施方式中，当显示临床相关信息时，放大医学图像的与临床相关信息有关的部分。例如，如果显示肝脏的临床相关信息，则将显示放大的医学图像内的肝脏的图像。
在一些实施方式中，当用户选择医学图像的一部分或悬停在医学图像的一部分上时，医学图像的该部分将被放大(例如，以便显示感兴趣器官的放大图像)。在一些实施方式中，DIL包括图像分割的使用。在一些实施方式中，图像分割包括使用图像分割算法。在一些实施方式中，图像分割算法对医学图像内的解剖结构进行分割(例如，对医学图像内的器官和/或组织进行分割以便限定器官和/或组织)。在一些实施方式中，图像分割包括使用人工智能(AI)和/或机器学习图像分析。例如，MRI可以显示患者的肾脏、肝脏、心脏和肺部。图像分割算法可以检测每个器官的边界并描绘每个器官的边界。在一些实施方式中，放大到医学图像的一部分(例如，感兴趣的器官)包括图像分割算法。图像分割可用于收集和显示与感兴趣器官相关的临床相关信息，例如当用户选择感兴趣器官时，而不是显示与感兴趣器官不相关的所有患者相关信息。
某些定义
如本文所用，单数形式“一”、“一个”和“该”包括复数引用，除非上下文另有明确说明。例如，术语“样品”包括多个样品，包括其混合物。除非另有说明，否则本文中对“或”的任何引用旨在涵盖“和/或”。
如本文所用，短语“a、b、c和d中的至少一个”和“a、b、c或d中的至少一个”是指a、b、c或d，以及任何和所有包括a、b、c和d中的两个或多于两个的组合。
如本文所用，术语“人工智能”或“AI”是指任何计算机辅助算法，包括例如机器学习算法，诸如神经网络或支持向量机。
如本文所用，术语“机器学习”或“机器学习算法”是指由计算机系统使用来在没有明确指令的情况下执行任务的算法和/或模型或分类器。例如，可以使用已使用相关数据集进行训练的模型/分类器来执行任务，以在被呈现以新数据时对结果或分类进行预测或推断。
如本文所用，术语“放射学”和“放射科医生”用作医学成像的更大领域的代表。这些术语涵盖的非限制性示例包括许多可能的医学亚专业和处理医学图像的临床医生(例如，放射学、核医学、病理学、心脏病学、妇产科、急诊医学等)。
如本文所用，术语“医疗保健提供者”或“医疗保健从业者”用作提供医疗保健或医疗保健相关产品和/或服务的任何个人或实体的代表。这些术语涵盖的非限制性示例包括许多医疗保健或医学相关工作者，例如放射科医生、放射学技术员、外科医生、家庭医生、内科医生、儿科医生、妇产科医生、皮肤科医生、传染病科医生、肾病科医生、眼科医生、肺科医生、神经科医生、麻醉科医生、肿瘤科医生、护士、护理助理、医疗助理、临床实验室技术员和物理治疗师。
虽然本文已经示出和描述了本发明的优选实施方式，但是对于本领域技术人员来说将容易理解的是，这些实施方式仅作为示例来提供。在不背离本发明的情况下，本领域技术人员现在将想到许多变化、改变和替代。应当理解，在实施本发明时可以采用本文描述的本发明实施方式的各种替代方案。所附权利要求旨在限定本发明的范围，并且由此涵盖这些权利要求范围内的方法和结构及其等同物。
示例
示例1–图像分割
对脊柱图像执行图像分割。对分割模块的输入图像是脊柱的MRI T2-加权矢状图像。执行图像分割以区分以下四类：椎骨、椎间盘、脊髓和上下文。在此阶段，所有可见椎骨被分割为单个类别，并且所有可见椎间盘被分割为单个类别，而不尝试区分单独椎骨(例如，L1、L2、L3等；参见图22)。使用带有Adam优化器的交叉熵损失使用2.5D全卷积网络(FCN)执行图像分割(Long J等人，arXiv 2015)。调整图像大小并标准化强度。经由网格搜索来执行超参数搜索。正则化包括早期停止标准、批量标准化和随机失活。单个FCN模型用于颈椎、胸椎和腰椎成像研究的分割。如图22所示，解剖导航器示出脊柱分割，原始源图像在左侧示出，计算的分割在右侧示出，其中椎体为黄色，椎间盘为蓝色。
示例2–图像标记
图像区域标记将代表所有椎骨的区域细分为单独的椎骨(C1至S1)，并将代表所有椎间盘的区域细分为单独的椎间盘(C1-C2至L5-S1)，如图23所示。它还在每个椎间盘级别放置与左/右孔和左/右小关节相对应的点。对于腰椎研究，在脊髓圆锥处放置单个点。如果期望如此，用户可以打开或关闭任何这些区域/点和/或文本标签的可视化。此外，带有标签的整个脊柱模型也可以以3D方式可视化。使用带有Adam优化器的交叉熵损失使用2.5DDeepLab v3神经网络执行椎骨和椎间盘标记(Chen LC等人，IEEE PAMI 2018)。调整图像大小并标准化强度。经由网格搜索来执行超参数搜索。正则化包括早期停止标准、批量标准化和随机失活。使用卷积姿态机(CPM)(其结合了姿态机的远程图像序列优势与卷积神经网络的特征检测和空间上下文感知优势(Wei SE等人，arXiv 2016))对左/右孔、左/右小关节和圆锥执行界标检测。这些网络通过欧几里德距离度量和正确关键点百分比(PCK)度量进行评估。
示例3–用户检查步骤
为用户提供了仔细检查标记区域并采取三个动作之一的过程：接受、拒绝或编辑(参见图24)。如果用户接受结果，则标记区域将用于将3D坐标转换为解剖描述符，如下所述。如果用户拒绝结果，则不会向报告器提供任何解剖描述符，并且报告器会退回到基本交互，其中用户点击报告器窗口中的模板区域或使用录音机上的前进和后退键。如果用户选择编辑，则他们可以编辑每个区域中包括的像素(分割编辑)和/或每个区域的标签(标签编辑)。对于分割编辑，提供了一组编辑工具，包括添加或移除像素的画笔以及腐蚀/膨胀工具。对于标签编辑，用户可以点击标签并通过语音或上下文下拉菜单选择新标签。
示例4–解剖映射器
对于本文描述的各种导航模式，解剖映射器模块将用户接受的标记图像区域作为输入，如示例3中所述。在一种交互模式中，用户点击图像，并且通过标记分割图中的直接像素查找将3D坐标(在给定DICOM参考框架内的DICOM参考坐标系中)映射到解剖描述符。报告器文本输入光标简单放置在与该描述符对应的字段中。如果结果是上下文标签，则选择包罗万象的“附加信息：”模板字段。
在另一种导航模式中，用户选择报告模板字段并且该字段的解剖描述符被转换成填充边界框，如下所示。标记分割图中该像素标签的紧密边界框被计算为最小/最大x-y-z边界，并且为了提供周围解剖结构的上下文，在所有方向上向边界框添加了额外的50％填充。当图像视口被滚动、平移和缩放以适合该边界框时，首先，每个图像视口被滚动和平移，使得边界框中心位于图像视口的中心。设置的最大缩放完全包括每个图像视口中的每个填充边界框。
为了减少“视线移开”回到报告器窗口的次数，实时提供解剖描述符的视觉反馈。当鼠标跨图像视口移动时，查找解剖描述符，并将相应的文本显示为图像视口中的注释。此外，标记区域的几何形状以半透明彩色边界显示。
对于另一种交互模式，解剖描述符由语音到文本提供。与其他两种交互模式一样，选择相应的模板字段，适当地滚动、平移和缩放图像视口，并提供图像区域的视觉反馈。
示例5–算法开发
获取成像数据的数据集并对其进行去识别化以生成算法/模型。对于此数据集，采集是连续的，训练集和验证集来自最初的1600项研究，测试集来自最终的400项研究。训练和验证集源自不同的图像中心，具有扫描仪型号和制造商的不同混合，以证明外部有效性。
两千项成人脊柱MRI研究选自典型工作流程，并且完全去识别化。训练集、验证集和测试集之间的比例为50％/30％/20％。使用标准数据增强，包括平移、旋转、裁剪和剪切。注释者团队已对2000项成像研究进行了数据注释，所有注释者均具有先验医学图像注释经验。以一组2D轮廓的形式为每个单独的椎骨和每个椎间盘提供注释。
注释者还提供了具体椎骨和椎间盘的标签。对于颈椎，他们从C2开始向下方进行标记。对于腰椎，标记从S1开始并向上方进行。对于胸椎，没有明显的锚椎，因此使用视场中具有整个脊柱的矢状定位器图像，其中从C2开始向下方添加点注释。使用基于强度的3D区域填充工具对脊髓执行注释。使用逐点标记图像注释工具对孔、小关节和圆锥执行逐点注释。
示例6–算法测试
对解剖导航器模块的分割和标记算法进行了台架测试。首先，测试每类体积分割结构(椎骨、椎间盘、脊髓)的分割准确性。参考标准分割由两名委员会认证的肌肉骨骼(MSK)放射科医生或神经放射科医生执行。对于脊髓以及每个单独的椎骨和椎间盘，如果两位放射科医生之间的Dice分数低于0.8，则第三位高级MSK或神经放射科医生将选择更准确的分割，或者在两者都不可接受的情况下注释其自己的分割。如果Dice分数大于或等于0.8，则将使用两者的并集来确定单个参考标准区域。
对于逐点界标，如果两个放射科医生的界标点之间的距离大于8mm，则对这些点进行类似的判定。否则，将使用两位放射科医生点的质心作为单一参考标准。每类区域(所有椎骨、所有椎间盘、脊髓)的分割准确性以总体Dice分数、每像素灵敏度和每像素特异性来报告。
其次，测试每个重复结构(包括椎骨、椎间盘、孔和小关节)的标记准确性。为了重复结构的标记准确性，我们的目标是检测“偏离一个或多个”级别的情况。如果分割体积结构的Dice分数大于或等于参考标准单独标记的结构的分数0.5，则认为该分割体积结构具有正确的标签。如果与上述定义的参考标准相差在8mm以内，则认为逐点结构已正确标记。标记准确度以总体百分比准确度的形式报告。将通过脊柱区域(颈椎/胸椎/腰椎)、患者性别和年龄、扫描仪场强、扫描仪制造商和型号、脉冲序列参数(TE/TR/TI)和图像像素间距细分数据集而执行子分析。
示例7–AI辅助的发现口述
用户打开放射图像分析工作站并访问该软件进行AI辅助图像分析。用户从软件的工作流程中选择放射图像。用户指向并使用计算机鼠标点击放射图像中解剖结构的具体部分，这继而设置软件的解剖上下文。该软件使用这种解剖上下文以便保持图像与报告文本同步显示，报告文本可以使用模板来支持构建文本。
系统中的每个解剖结构都有描述解剖结构类型的标签。这是软件本体中每种解剖结构类型的唯一标识符。该标识符用于全局设置解剖上下文，使得所有其他用户动作都在此上下文中发生。使用本文公开的图像分割和标记技术来生成标签。
然后向用户呈现与该解剖结构的该部分相关的可能的临床发现列表。在这种情况下，发现列表由计算机辅助检测/诊断模块生成，该模块在图像的特定区域创建可能发现的列表，其中推断是特定于该特定患者的。为每个可能的发现给出分数或概率，并且发现按降序顺序呈现。这些可能的发现是使用图像分析算法生成的，该算法包括识别图像中所示的解剖结构中可能的病理或特征的模块或分类器。
当用户从列表中选择特定发现时，生成该发现的结构化表示。该发现通过知识图来表示，该知识图表示各种概念，包括解剖位置和观察类型。对于每个概念，一个或多个修饰符与其相关联，包括亚解剖位置和观察的严重程度。
最后，成像发现的结构化表示被转换为自然文本以插入到报告中。这种自然文本表示是通过查询先前成像发现的数据库及其作为知识图的结构化表示来创建的。此外，在给定知识图结构的情况下，还可以通过一组简单的产生规则来创建自然文本表示。
示例8–将用户输入和解剖上下文映射到预先存在的语句
如示例7中所描述的，例如通过菜单选择或口述来获得用户输入。然后将用户输入与存储在数据库中的预先写好的语句进行匹配。
在语音驱动的用户输入(例如，用户口述)的情况下，通过启发法执行简单的关键字匹配。使用用户口述的关键字或使用词语嵌入的其同义词来匹配语句。还应用启发法，例如，考虑词序并返回匹配标记与总标记比率最高的语句。
或者，对于语音驱动的用户输入，可以执行带有推断(而不是启发法)的关键字匹配。在这种情况下，引入了推断层，该推断层从关键字映射到发现的公式，并利用这些映射以及解剖上下文来限制用户可能意味着的发现数目。这些发现公式包含构成有效发现的所有变量。这些变量的值在本体中定义。“椎间孔狭窄”发现的公式包括椎间盘级别、偏侧性和严重程度的变量。“椎管狭窄”发现的公式仅包括椎间盘级别和严重程度。当用户口述“双侧”和“狭窄”时，推断它们可能指的是“椎间孔狭窄”而不是“椎管狭窄”。因此，这种方法通过防止用户不得不说出两个词(“椎间孔”)以及从解剖导航器上下文中获得的椎间盘级别来提高效率。这种方法依赖于先前将现有语句映射到其规范含义。这可以使用整个NLP解析/迷你图表示来完成。当用户输入是菜单驱动而不是语音驱动时，用户的菜单选择可以允许迷你图与预先存在的和预先解析的语句相匹配。
示例9–自动测量功能
用户输入可以如示例7中所述获得并用于自动测量功能，该功能可以单独提供或与AI辅助的发现口述结合提供。在自动测量工具的半手动版本中，只要激活测量工具，鼠标指针附近的图像的放大版本就会覆盖在未放大的图像上，并且操作标尺端点时的鼠标移动是为了避免上述问题而在放大图像中完成。此外，还提供辅助以确保标尺端点尽可能靠近图像地放置在图像中。这是通过计算图像的边缘势图I来实现的(参见图28A)。图像梯度是使用高斯核导数G的卷积来计算的，如著名的Canny边缘检测器(Canny，IEEE TPAMI 1986)中所使用的那样。使用与图像梯度幅度成反比变化的任何函数(诸如图28B中的公式)来计算边缘势图g。
从放置的标尺端点的原始位置，通过沿着两个标尺端点定义的线执行线搜索来计算期望的端点。边缘势图用于允许标尺端点落入局部最小值，此时它们成为期望端点。因此，只要标尺端点最初放置在靠近图像边缘的位置，它们就会自动找到边缘并粘在其上。
在自动测量工具的全自动版本中，用户在图像上定义单个点(例如，使用鼠标点击或眼睛跟踪)来启用该工具。在多个角度进行线性测量，并且用户选择单个最长的进行1D测量或最长的测量以及与其垂直的测量进行2D或3D测量。
从最初放置在对象中心附近的点，使用星形图案以各种角度(例如，每45度)执行方向线搜索。当达到足够深度的局部最小值(例如，<初始点处的边缘势的50％)时，每次搜索终止。
对于半手动和全自动测量方法两者，用户能够通过使用语音输入来增加/减少期望端点(说“更大”或“更小”)或通过使用鼠标滚轮以自动方式调整测量。
示例10–比较案例流程
用户输入可以如示例7中所述获得，并用于比较案例流程，其可以单独提供或与AI辅助的发现口述结合提供。例如，示例7中描述的AI辅助发现口述可以包括利用所描述的解剖分割和标记功能的比较案例流程功能。当比较图像堆栈(例如当前图像堆栈和先验图像堆栈)时，相关解剖结构的分割和标记将已经被计算。与3D到3D图像配准的一般情况相比，进行了简化的假设，使得配准是1D的，其中鉴于一个图像堆栈中的图像，期望另一图像堆栈中最近的匹配图像而无需完全3D旋转。
固定图像堆栈中的当前图像由用户选择，并且比较案例流程找到移动图像堆栈中与固定图像的解剖结构最匹配的图像。为了将此视为1D问题，计算每个3D解剖标记区域的质心，然后将其投影到垂直于图像堆栈的线上。对于固定图像堆栈和移动图像堆栈均执行此操作。计算匹配的解剖区域对之间的距离di，并计算它们的平方和D，如图29A所示。该和被最小化以便找到固定图像和移动图像之间的最佳1D平移，如图29B所示，其中，对于固定(上方)图像堆栈和移动(下方)图像堆栈，计算四个解剖区域质心(圆)并将其投影到垂直于每个图像堆栈的线(细水平线)上。成对距离以粗水平线示出。
示例11–图像查询功能
用户输入可以如示例7中所述获得并用于图像查询功能，该功能可以单独提供或与AI辅助的发现口述结合提供。针对脊柱MRI图像的50种不同异常中的每一种生成深度卷积神经网络。每个网络都在至少5,000个分割的MRI图像的数据集上进行训练，这些图像带有针对具体异常的适当标签。每个网络都被配置为输出与异常的严重程度相对应的数值(标准化为0到1之间)。数值分为异常的严重程度的类别(0–0.2轻度、0.2<至0.7中度、0.7<至1严重)。
在用户开始评估图像之前使用经过训练的神经网络预先评估图像，在用户开始评估图像时评估图像，或者在用户选择图像的一部分并发起查询之后评估图像。例如，当例如在示例7中的AI辅助发现过程期间用户评估图像时，用户使用指定的鼠标按钮、键盘热键或通过语音命令(“这是什么？”)发起查询。在查询时，使用鼠标或通过其他计算机输入设备(例如眼睛跟踪设备)来定义图像位置。
如果经过训练的神经网络识别出的候选病变(异常)足够接近指定的图像位置并且概率或分数高于给定阈值，则查询将向用户呈现此结果并形成描述此发现的全文语句。然后将提示用户接受或拒绝语句进入医学报告的发现果部分。
示例12–深度信息链接(“DIL”)
用户打开其放射图像分析工作站并访问软件进行图像分析。用户从软件的工作流程中选择MRI。如图43A所示，在用户可以选择感兴趣器官之前，工作站显示器示出腹部MRI的医学图像并且可以显示用于显示临床相关信息的区域。该系统使用图像分割算法对MRI中的解剖结构进行分割，从而确定肝脏、肺和肾脏的边界。希望分析肝脏的用户使用光标在腹部MRI中选择肝脏。使用自然语言处理，系统提取临床相关信息(例如，第二组临床相关信息)，例如关于肝脏的医学图像(例如，同一医学图像或先验医学图像)的发现或印象，以及将自动显示在相邻窗口中的肝功能的最近实验室值，如图43B所示。
然后，用户可以选择诸如图43B中显示的那些肝脏值(例如，肝脏实验室值)或将光标悬停于其上，这使得系统放大MRI内的肝脏，并且从特定于肝脏的放射学报告中提取的发现和印象将被显示，如图43D所示。用户可以通过可通过图形用户界面访问的软件设置来打开或关闭该显示功能。
然后希望分析肾脏功能的用户在腹部MRI中选择肾脏，并且最近的肾脏手术报告将自动在附近显示于相邻窗口中，如图43C所示。

Claims (88)

1.一种用于医学报告生成的基于计算机的系统，所述系统包括：
(a)处理器；
(b)显示器，所述显示器被配置为示出用于评估医学图像的图形用户界面；
(c)用计算机程序编码的非暂时性计算机可读存储介质，所述计算机程序使所述处理器：
(i)示出所述图形用户界面，所述图形用户界面示出包括解剖导航功能和/或发现导航功能的仪表板；以及
(ii)当用户接受包含在所述报告内的所述计算机生成的发现时，生成包括与所述医学图像相关的计算机生成的发现的医学报告。
2.根据权利要求1所述的系统，包括被配置为生成所述计算机生成的发现的图像分析算法，其中所述图像分析算法包括用于将所述医学图像划分成对应于多个图像特征的多个像素段的图像分割算法。
3.根据权利要求2所述的系统，其中所述图像分析算法包括注释算法，所述注释算法对所述多个图像特征中的至少一个图像特征进行注释。
4.根据权利要求3所述的系统，其中所述多个图像特征按层次结构进行组织。
5.根据权利要求1所述的系统，其中所述多个特征中的每一个对应于解剖结构、组织类型、肿瘤或组织异常、造影剂或其任何组合。
6.根据权利要求5所述的系统，其中所述多个特征包括神经、血管、淋巴管、器官、关节、骨骼、肌肉、软骨、淋巴、血液、脂肪、韧带或肌腱中的一种或多种。
7.根据权利要求5所述的系统，其中所述解剖结构包括解剖变异。
8.根据权利要求1所述的系统，其中所述医学报告包括描述或评估所述至少一个特征的一个或多个语句或短语。
9.根据权利要求1所述的系统，其中所述系统还包括音频检测组件，所述音频检测组件被配置为检测或记录指示出所述用户何时接受包含的所述计算机生成的发现的输入。
10.根据权利要求1-9中任一项所述的系统，其中所述医学图像是放射线照相图像、磁共振成像(MRI)图像、超声图像、内窥镜图像、弹性成像图像、热谱图像、正电子发射断层扫描(PET)图像、单光子发射计算机断层扫描(SPECT)图像、光学相干断层扫描(OCT)图像、计算机断层扫描(CT)图像、显微镜图像或医学摄影图像。
11.根据权利要求1-10中任一项所述的系统，其中所述用户是医疗保健提供者。
12.根据权利要求11中任一项所述的系统，其中所述医疗保健提供者是放射科医生、放射科技术员或助理、外科医生、家庭医生、内科医生、儿科医生、妇产科医生、皮肤科医生、传染病科医生、肾病科医生、眼科医生、肺科医生、神经科医生、麻醉师、肿瘤科医生、护士或物理治疗师。
13.根据权利要求1-12中任一项所述的系统，其中所述计算机程序还被配置为使所述处理器使用机器学习分类器算法来分析所述图像，从而生成包括所述计算机生成的发现的结果。
14.根据权利要求13所述的系统，其中所述计算机生成的发现包括病理的识别或评估。
15.根据权利要求14所述的系统，其中所述病理的所述识别或评估包括所述病理的严重程度、数量、测量、存在或不存在或其体征或症状中的至少一个。
16.根据权利要求13所述的系统，其中当所述发现包括阳性识别或所述病理时，所述计算机生成的发现被包括在所述医学报告中。
17.根据权利要求1-16中任一项所述的系统，其中所述系统使用基于云的服务器或网络来执行所述医学图像的分析和所述报告的生成中的至少一个。
18.根据权利要求1-17中任一项所述的系统，其中所述处理器被配置为提供工作列表管理界面，允许所述用户保留一个或多个案例，所述一个或多个案例包括来自可用于评审的多个案例的一个或多个图像。
19.根据权利要求1-18中任一项所述的系统，其中所述处理器被配置为确定所述计算机生成的发现与包括在所述报告中的用户发现之间的一致性。
20.根据权利要求19所述的系统，其中所述处理器被配置为基于所述特征和所述输入之间的一致性的确定来自动填充所述医学报告的一部分。
21.根据权利要求19所述的系统，其中所述处理器被配置为将所述计算机生成的发现呈现给所述用户以供接受和可选地编辑，其中接受的计算机生成的发现被自动填充到所述报告的所述部分中。
22.根据权利要求21所述的系统，其中所述计算机生成的发现包括全文语句。
23.根据权利要求1所述的系统，其中所述处理器被配置为执行所述报告的质量度量评估。
24.根据权利要求23所述的系统，其中所述质量度量评估包括使用所述报告的自然语言处理来生成一个或多个发现的列表，以及分析一个或多个发现的所述列表以生成一个或多个质量度量。
25.根据权利要求1所述的系统，其中所述处理器被配置为收集关于用户与所述系统的交互的分析并且提供用于提高效率或质量的反馈。
26.根据权利要求1所述的系统，包括通信集线器，所述通信集线器被配置为允许用户发送包括嵌入的患者信息的基于上下文的消息。
27.根据权利要求1所述的系统，其中所述医学报告是使用动态模板生成的，所述动态模板基于上下文信息自动向用户提供一个或多个建议的发现。
28.根据权利要求27所述的系统，其中所述上下文信息包括从HL7命令、DICOM图像、图像元数据、PACS、RIS、EHR或其任何组合提取的数据。
29.根据权利要求1所述的系统，其中还使所述处理器对所述医学报告执行报告检查器功能。
30.根据权利要求29所述的系统，其中所述报告检查器功能利用从报告文本、报告元数据、研究元数据、医学和非医学词典或其任何组合中提取的信息来评估所述报告的所述内容并识别错误和遗漏。
31.根据权利要求30所述的系统，其中所述报告检查器功能还提供一个或多个建议以纠正任何识别出的错误或遗漏。
32.根据权利要求29所述的系统，其中所述报告检查器功能将基于本体框架生成的所表示的发现与一个或多个所需发现的列表进行比较。
33.一种用于评估医学图像的基于计算机的系统，所述系统包括：
(a)处理器；
(b)显示器；
(c)用计算机程序编码的非暂时性计算机可读存储介质，所述计算机程序使所述处理器：
(i)在所述显示器上显示所述医学图像；
(ii)确定用户控制的指示符在所述医学图像的坐标处的位置；
(iii)生成与所述医学图像的所述坐标处的解剖结构相关联的一个或多个发现；
(iv)生成对应于所述一个或多个发现以及所述医学图像的所述坐标处的所述解剖结构的超链接；
(v)生成包括所述一个或多个发现的医学报告，其中所述一个或多个发现中的至少一个用所述超链接标记，使得对所述超链接的选择检索在所述医学图像的所述坐标处的所述解剖结构以供查看。
34.根据权利要求33所述的系统，其中所述超链接被链接到包括所述医学图像的多个相关医学图像。
35.根据权利要求33所述的系统，其中对所述超链接的所述选择检索与所述解剖结构相关联的信息。
36.根据权利要求33所述的系统，其中所述信息包括所述解剖结构的空间位置、取向和尺寸或所述解剖结构的相关病理。
37.根据权利要求33所述的系统，其中所述计算机程序被配置为使所述处理器至少部分地基于所述用户说出的所述一个或多个词语来生成一个或多个语句或短语以供插入到医学报告中，其中所述一个或多个语句或短语包括所述一个或多个发现。
38.根据权利要求33所述的系统，其中所述计算机程序还被配置为使所述处理器至少部分地基于所述一个或多个发现自动生成医学报告的至少一部分。
39.根据权利要求38所述的系统，其中所述计算机程序还被配置为使所述处理器与第三方共享或互通所述医学报告。
40.根据权利要求33-39中任一项所述的系统，其中所述医学图像是X射线放射线照相图像、磁共振成像(MRI)图像、超声图像、内窥镜图像、弹性成像图像、热谱图像、正电子发射断层扫描(PET)图像、单光子发射计算机断层扫描(SPECT)图像、光学相干断层扫描(OCT)图像、计算机断层扫描(CT)图像、显微镜图像或医学摄影图像。
41.根据权利要求33所述的系统，其中所述系统使用基于云的服务器或网络来基于所述位置和所述第二输入执行所述图像的分析或报告的一部分的生成中的至少一个。
42.根据权利要求33所述的系统，其中所述处理器被配置为提供工作列表管理界面，允许所述用户保留一个或多个案例，所述一个或多个案例包括来自可用于评审的多个案例的一个或多个图像。
43.一种基于计算机的报告生成系统，所述系统包括：
(a)处理器；
(b)显示器；
(c)用计算机程序编码的非暂时性计算机可读存储介质，所述计算机程序使所述处理器：
(i)在所述显示器上显示包括多个特征的医学图像；
(ii)接收来自所述用户的输入；
(iii)将所述输入与来自所述多个特征的一个特征相关联；以及
(iv)生成包括所述输入的医学报告，其中所述医学报告内的所述输入与包括超链接的标签相关联，并且其中当所述标签被占用时，显示与所述输入相关联的所述特征。
44.根据权利要求43所述的系统，其中所述多个特征中的每一个对应于解剖结构、组织类型、肿瘤或组织异常、造影剂或其任何组合。
45.根据权利要求43或44所述的系统，其中所述输入包括描述或评估所述特征的一个或多个口头或书面词语。
46.根据权利要求43-45中任一项所述的系统，其中所述医学图像是放射线照相图像、磁共振成像(MRI)图像、超声图像、内窥镜图像、弹性成像图像、热谱图像、正电子发射断层扫描(PET)图像、单光子发射计算机断层扫描(SPECT)图像、光学相干断层扫描(OCT)图像、显微镜图像或医学摄影图像。
47.根据权利要求43-46所述的系统，其中基于所述特征和所述输入的匹配或重叠的时间戳来将所述特征和来自所述用户的所述输入相关联。
48.根据权利要求43所述的系统，其中所述标签包括超链接。
49.根据权利要求43所述的系统，其中所述用户是放射科医生并且所述医学报告包括放射科医生的报告。
50.根据权利要求43所述的系统，其中所述用户包括医疗保健提供者。
51.一种计算机实现的方法，所述方法包括：
(a)响应于来自用户的指令，使用机器学习软件模块分析医学图像，从而生成计算机发现；
(b)向所述用户提供将所述计算机发现合并到由所述用户生成的医学报告中的选项；以及
(c)分析所述医学报告以确定所述计算机发现是否存在于所述医学报告中。
52.根据权利要求51所述的计算机实现的方法，其中使用至少一个医学图像和至少一个相应的医学报告来训练所述机器学习软件模块。
53.根据权利要求51所述的计算机实现的方法，其中所述机器学习软件模块包括神经网络。
54.根据权利要求51所述的计算机实现的方法，其中所述机器学习软件模块包括分类器。
55.根据权利要求51所述的计算机实现的方法，其中所述医学图像是放射线照相图像、磁共振成像(MRI)图像、超声图像、内窥镜图像、弹性成像图像、热谱图像、正电子发射断层扫描(PET)图像、单光子发射计算机断层扫描(SPECT)图像、光学相干断层扫描(OCT)图像、计算机断层扫描(CT)图像、显微镜图像或医学摄影图像。
56.根据权利要求51所述的计算机实现的方法，其中使用自然语言处理来分析所述医学报告。
57.根据权利要求51所述的计算机实现的方法，其中所述医学报告包括放射学报告。
58.一种基于计算机的图像分析系统，所述系统包括：
(a)处理器；
(b)显示器；
(c)用计算机程序编码的非暂时性计算机可读存储介质，所述计算机程序使所述处理器：
(i)根据用户定义的一个或多个特性生成包括用于定制挂片协议的规则的决策矩阵；
(ii)从包括一个或多个医学图像的医学图像集中提取多个参数；
(iii)使用所述决策矩阵分析所述多个参数的至少一部分以识别用于显示所述医学图像集的合适的挂片协议；以及
(iv)根据所述合适的挂片协议显示所述医学图像集。
59.根据权利要求58所述的系统，其中所述医学图像是放射线照相图像、磁共振成像(MRI)图像、超声图像、内窥镜图像、弹性成像图像、热谱图像、正电子发射断层扫描(PET)图像、单光子发射计算机断层扫描(SPECT)图像、光学相干断层扫描(OCT)图像、计算机断层扫描(CT)图像、显微镜图像或医学摄影图像。
60.根据权利要求58所述的系统，其中所述一个或多个特性包括先验、查看器的数目、模态、主体部分、视口的数目、取向、权重或其任何组合。
61.根据权利要求58所述的系统，其中所述决策矩阵定义用于识别所述合适的挂片协议的分层决策树。
62.根据权利要求58所述的系统，其中使所述处理器提供示出挂片协议载入环境的仪表板，所述挂片协议载入环境允许用户创建所述定制挂片协议。
63.根据权利要求58所述的系统，其中使所述处理器提供示出挂片协议载入环境的仪表板，所述挂片协议载入环境允许所述定制挂片协议的可视组装，可选地允许所述定制挂片协议的参数被拖放。
64.根据权利要求58所述的系统，其中还使所述处理器基于所述医学图像集生成包括的一个或多个计算机发现的医学报告。
65.根据权利要求64所述的系统，其中所述医学报告包括放射学报告。
66.一种显示医学图像的临床相关信息的方法，所述方法包括：
(a)检测用户与显示器上示出的医学图像的一部分的交互；
(b)识别所述医学图像的所述部分内的特征；
(c)自动显示与所述特征有关的临床相关信息。
67.根据权利要求66所述的方法，其中所述医学图像包括对象的解剖部分。
68.根据权利要求67所述的方法，其中所述解剖部分包括肢体、躯干、胸部、腹部、头部中的至少一个。
69.根据权利要求66所述的方法，其中所述对象的所述特征包括器官。
70.根据权利要求69所述的方法，其中所述器官选自心脏、肺、肾脏、肝脏、胃肠系统、脑、骨、胰腺、甲状腺、泌尿道器官、生殖器官或其组合。
71.根据权利要求66所述的方法，其中所述方法还包括分割医学图像以检测所述特征。
72.根据权利要求71所述的方法，其中使用分割算法来分析所述医学图像。
73.根据权利要求71所述的方法，还包括使用机器学习算法来分析所述医学图像以识别所述特征。
74.根据权利要求71所述的方法，其中所述医学图像包括多个特征。
75.根据权利要求74所述的方法，其中所述多个特征中的每个特征被分割。
76.根据权利要求66所述的方法，其中所述提供临床相关信息包括从医学报告、先验医学图像、实验室报告、与所述医学图像有关的注记或其组合中的一个或多个提取信息。
77.根据权利要求76所述的方法，其中提取信息包括使用自然语言处理。
78.根据权利要求76所述的方法，其中不提供被视为包括非临床相关材料的信息。
79.根据权利要求76所述的方法，还包括确定信息是否是临床相关信息。
80.根据权利要求79所述的方法，其中确定信息是否是临床相关信息包括检测一个或多个关键字和/或应用一个或多个规则。
81.根据权利要求66所述的方法，其中所述方法还包括确定用户对所述临床相关信息的至少一部分的选择。
82.根据权利要求81所述的方法，其中所述方法还包括放大到所述特征。
83.根据权利要求82所述的方法，其中所述方法还包括提供与所述特征有关的第二组临床相关信息，其中所述第二组临床相关信息不同于所述临床相关信息。
84.根据权利要求83所述的方法，其中所述特征包括肝脏，所述临床相关信息包括实验室值，并且所述第二组临床相关信息包括与所述肝脏有关的发现或印象。
85.根据权利要求83所述的方法，其中所述特征包括肾脏，所述临床相关信息包括实验室值，并且所述第二组临床相关信息包括与所述肾脏有关的发现或印象。
86.根据权利要求83所述的方法，其中所述特征包括肺，所述临床相关信息包括实验室值，并且所述第二组临床相关信息包括与所述肺有关的发现或印象。
87.根据权利要求83所述的方法，其中所述特征包括心脏，所述临床相关信息包括实验室值，并且所述第二组临床相关信息包括与所述心脏有关的发现或印象。
88.根据权利要求83所述的方法，其中所述特征包括脑，所述临床相关信息包括实验室值，并且所述第二组临床相关信息包括与所述脑有关的发现或印象。
CN202280039388.9A 2021-03-31 2022-03-31 用于人工智能辅助图像分析的系统和方法 Pending CN117501375A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163169050P 2021-03-31 2021-03-31
US63/169,050 2021-03-31
PCT/US2022/022928 WO2022212771A2 (en) 2021-03-31 2022-03-31 Systems and methods for artificial intelligence-assisted image analysis

Publications (1)

Publication Number Publication Date
CN117501375A true CN117501375A (zh) 2024-02-02

Family

ID=83460005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280039388.9A Pending CN117501375A (zh) 2021-03-31 2022-03-31 用于人工智能辅助图像分析的系统和方法

Country Status (8)

Country Link
US (1) US20240177836A1 (zh)
EP (1) EP4315349A2 (zh)
JP (1) JP2024515534A (zh)
KR (1) KR20240008838A (zh)
CN (1) CN117501375A (zh)
AU (1) AU2022246663A1 (zh)
CA (1) CA3213801A1 (zh)
WO (1) WO2022212771A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118210908A (zh) * 2024-05-21 2024-06-18 上海普华科技发展股份有限公司 一种检索增强方法、装置、电子设备及存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230114066A1 (en) * 2015-11-30 2023-04-13 Ascend Hit Llc System and methods for displaying medical information
AU2020357886A1 (en) 2019-10-01 2022-04-21 Sirona Medical Inc. AI-assisted medical image interpretation and report generation
US11956315B2 (en) * 2020-11-03 2024-04-09 Microsoft Technology Licensing, Llc Communication system and method
WO2023069524A1 (en) * 2021-10-19 2023-04-27 PaxeraHealth Corp High-definition labeling system for medical imaging ai algorithms
WO2023096814A1 (en) * 2021-11-24 2023-06-01 Hyland Software, Inc. Computing system and method for relevancy classification of clinical data sets using knowledge graphs
US20230377309A1 (en) * 2022-05-17 2023-11-23 Fmr Llc Methods and systems for automated cross-browser user interface testing
WO2024132729A1 (en) * 2022-12-22 2024-06-27 Koninklijke Philips N.V. Method and/or system for creating a structured report
US12100152B1 (en) * 2023-01-30 2024-09-24 BelleTorus Corporation Compute system with acne diagnostic mechanism and method of operation thereof
CN117351003B (zh) * 2023-11-24 2024-02-23 华南理工大学 一种基于视频动作的多模型集成多相位mri肿瘤分类方法
CN118039088B (zh) * 2024-04-15 2024-06-07 达州爱迦飞诗特科技有限公司 一种人工智能辅助诊断数据处理系统
CN118298269B (zh) * 2024-06-05 2024-08-23 北京爱康宜诚医疗器材有限公司 一种基于共享表征的膝关节ct和磁共振多模态影像融合方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11024406B2 (en) * 2013-03-12 2021-06-01 Nuance Communications, Inc. Systems and methods for identifying errors and/or critical results in medical reports
US10311566B2 (en) * 2015-06-12 2019-06-04 International Business Machines Corporation Methods and systems for automatically determining image characteristics serving as a basis for a diagnosis associated with an image study type
WO2017151757A1 (en) * 2016-03-01 2017-09-08 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Recurrent neural feedback model for automated image annotation
US10452813B2 (en) * 2016-11-17 2019-10-22 Terarecon, Inc. Medical image identification and interpretation
WO2019175404A1 (en) * 2018-03-16 2019-09-19 Koninklijke Philips N.V. Method and system for generating medical image based on textual data in medical report
US20200342968A1 (en) * 2019-04-24 2020-10-29 GE Precision Healthcare LLC Visualization of medical device event processing
US11705226B2 (en) * 2019-09-19 2023-07-18 Tempus Labs, Inc. Data based cancer research and treatment systems and methods

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118210908A (zh) * 2024-05-21 2024-06-18 上海普华科技发展股份有限公司 一种检索增强方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CA3213801A1 (en) 2022-10-06
JP2024515534A (ja) 2024-04-10
AU2022246663A1 (en) 2023-10-19
EP4315349A2 (en) 2024-02-07
KR20240008838A (ko) 2024-01-19
WO2022212771A2 (en) 2022-10-06
US20240177836A1 (en) 2024-05-30
WO2022212771A3 (en) 2022-12-29

Similar Documents

Publication Publication Date Title
US11164045B2 (en) Complex image data analysis using artificial intelligence and machine learning algorithms
US20240177836A1 (en) Systems and methods for artificial intelligence-assisted image analysis
CN113366580B (zh) 图像处理系统、方法和机器可读存储介质
Chen et al. Explainable medical imaging AI needs human-centered design: guidelines and evidence from a systematic review
Wu et al. Comparison of chest radiograph interpretations by artificial intelligence algorithm vs radiology residents
US9003319B2 (en) Method and apparatus for dynamic multiresolution clinical data display
US20190220978A1 (en) Method for integrating image analysis, longitudinal tracking of a region of interest and updating of a knowledge representation
US20100145720A1 (en) Method of extracting real-time structured data and performing data analysis and decision support in medical reporting
JP5952835B2 (ja) 撮像プロトコルの更新及び／又はリコメンダ
US7607079B2 (en) Multi-input reporting and editing tool
US20100131293A1 (en) Interactive multi-axis longitudinal health record systems and methods of use
US20160210441A1 (en) Characterizing States of Subject
US20100131482A1 (en) Adaptive user interface systems and methods for healthcare applications
Beddiar et al. Automatic captioning for medical imaging (MIC): a rapid review of literature
US20100131283A1 (en) Method and apparatus for clinical widget distribution
CN105940401A (zh) 背景敏感医学数据输入系统
JP2015524107A (ja) 患者情報を臨床基準にマッチングするシステム及び方法
JP2012510670A (ja) ウィジェット型アプリケーションにおける臨床要素の抽出、保持、及び送信のシステム及び方法
Deorankar et al. Optimizing Healthcare Throughput: The Role of Machine Learning and Data Analytics
Calisto MIMBCD-UI
Hsu Using knowledge encoded in graphical disease models to support context-sensitive visualization of medical data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination