CN110428886A - 使用移动设备的自动射线照相诊断 - Google Patents

使用移动设备的自动射线照相诊断 Download PDF

Info

Publication number
CN110428886A
CN110428886A CN201810768341.1A CN201810768341A CN110428886A CN 110428886 A CN110428886 A CN 110428886A CN 201810768341 A CN201810768341 A CN 201810768341A CN 110428886 A CN110428886 A CN 110428886A
Authority
CN
China
Prior art keywords
photo
diagnosis
display
mobile device
radiograph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810768341.1A
Other languages
English (en)
Inventor
H.莫斯托菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN110428886A publication Critical patent/CN110428886A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

描述了无线设备、无线设备上的应用以及用于自动诊断射线照片的方法。该应用提示用户使用移动设备的相机捕获移动设备外部的射线照片的照片。照片的质量被评估，并且如果质量不足，则报告错误状况。模块在移动设备的显示器上显示(1)分配给射线照片的诊断和(2)至少一个类似的射线照片。通过使照片经受在大量标记的射线照片上训练的深度学习模型来分配诊断。深度学习模型可以驻留在移动设备上或后端服务器中。该应用包括用于使用户能够通过显示器上的手势选择和导航输入照片和类似射线照片的工具、以及用于显示与诊断相关联的医学知识的工具。

Description

使用移动设备的自动射线照相诊断
本公开涉及一种使用机器学习生成射线照片(数字或模拟)的诊断并将诊断提供给诸如智能电话的移动计算设备的方法。本公开的特征支持非放射科医师，例如通常负责解释X光片的X射线技术人员或护士，这是由于受过训练的放射科医师(特别是在发展中国家)、或放射科医师或甚至可能缺乏专门培训的非专业人员的短缺所致的。该方法可以在驻留在移动设备上的应用中实现，或者在移动设备和后端服务器的组合中实现。
使用传输到智能电话的JPEG格式的射线照片的远程射线照相诊断是已知的，参见Peter G.Noel等人的OFF-SITE SMARTPHONE VS.STANDARD WORKSTATION IN THERADIOGRAPHIC DIAGNOSIS OF SMALLINTESTINAL MECHANICAL OBSTRUCTION IN DOGS ANDCATS，Vet Radiol Ultrasound，Vol.57，No.5，2016，pp 457–461。其他现有技术包括A.Rodriguez等人的Radiology smartphone applications；current provision andcautions，Insights Imaging；以及G.Litgens等人的A Survey on Deep Learning inMedical Image Analysis arXiv:1702.05747v2[cs.CV]2017年6月4日。
术语“移动设备”旨在被解释为涵盖便携式电子通信设备，诸如智能电话、个人数字助理、平板电脑和仅wifi设备。通常，这样的设备将至少包括相机、触敏显示器、连接到计算机网络的无线通信技术(例如，当前的4G、LTE、wifi等)、以及执行加载在设备上的应用的中央处理单元。以下讨论将移动设备描述为智能电话，但是将理解的是，这些方法可以与例如平板电脑的其他类型的移动设备一起使用。
发明内容
在本公开的一个方面，描述了一种移动设备，包括：相机；处理单元，触敏显示器；以及存储器，存储用于由处理单元执行的应用的指令。所述应用包括：
a)提示，用于用户用相机捕获移动设备外部的一个或多个模拟或数字射线照片的至少一个照片；
b)图像质量评估模块，用于评估由相机捕获的所述至少一个照片的质量，并且如果所述至少一个照片的质量不足则报告错误状况；
c)用于在显示器上显示(1)分配给所述一个或多个模拟或数字射线照片的诊断和(2)与诊断相关联的至少一个类似射线照片的模块，其中通过使所述至少一个照片经受在大量射线照片上训练的深度学习模型来分配诊断；
d)用于使用户能够通过显示器上的手势选择与诊断相关联的所述至少一个类似射线照片并且在所述至少一个类似射线照片内导航的工具；以及
e)用于在显示器上显示与诊断相关联的医学知识的工具。
在另一方面，描述了一种用于在具有相机和显示器的移动设备上提供用于射线图像的诊断信息的方法，包括以下步骤：
(a)评估由相机拍摄的一个或多个模拟或数字射线照片图像的至少一个照片的图像质量；
(b)如果所述至少一个照片的质量不足，则报告错误状况；
(c)使所述至少一个照片经受在大量射线照片上训练的深度学习模型来，并对于所述至少一个照片生成诊断；
(d)识别与具有诊断的所述至少一个照片类似的至少一个射线照片图像；
(e)在显示器上显示(1)由步骤(c)中的深度学习模型生成的诊断和(2)在步骤(d)中识别的所述至少一个类似的射线照片图像；
(f)在移动设备上提供工具，使用户能够通过显示器上的手势选择与诊断相关联的所述至少一个类似的射线照片图像并在所述至少一个类似的射线照片图像内导航；以及
(g)提供用于在显示器上显示与诊断相关联的医学知识的工具。
在另一方面，公开了一种用于移动设备的应用，所述移动设备具有相机、处理单元、触敏显示器和存储由所述处理单元执行的应用的指令的存储器，其中所述应用包括：
a)在显示器上呈现的提示，用于用户用相机捕获移动设备外部的一个或多个模拟或数字射线照片的至少一个照片；以及
b)图像质量评估模块，用于评估由相机捕获的所述至少一个照片的质量或适用性，以用于由深度学习诊断模型处理，如果所述至少一个照片的质量或适用性不足，则评估模块报告错误状况。
附图说明
图1是根据一个实施例的用于射线照相诊断的移动设备(在这种情况下是智能电话)的使用的概述图，其中远程计算机网络上的深度学习模型用于返回诊断和类似的医学图像。在替代实施例中，深度学习模型和类似医学图像本地存储在智能电话上。
图2是具有本公开的特征的智能电话的框图。
图3是加载在图2的智能电话上的放射学应用的框图。
图4是示出本公开的方法的一个实施例的流程图。
图5是智能电话上的放射学应用的家庭显示器的图示，其中向用户提供选项以选择不同类型的射线照片用于诊断。
图6是放射学应用的显示器的图示，其示出了利用智能电话相机捕获外部胸部X射线(数字或模拟)的照片的提示。显示器上的工具允许用户选择捕获单个图像或多个图像。
图7是由可选地在智能电话中实现的图像质量评估模块产生的错误消息，指示图6中捕获的图像质量不足以执行机器学习算法并生成诊断。
图8是对于根据图6捕获的图像通过深度学习模型生成的可能诊断的显示，以及针对每种可能的诊断从其他患者获得的类似医学图像(胸部X射线)。
图9是应用上的“比较输入”显示，其示出由智能电话相机并排捕获的输入图像，其中一个类似图像如图8所示。
图10是智能电话上与图8中返回的诊断有关的附加医学知识的显示；通过激活图2、图8或图9中的学习更多图标来访问附加医学知识。
具体实施方式
现在将结合图1描述使用移动设备的自动射线照相诊断方法的概述。在该方法中，用户10(通常是非放射科医师，例如技师、护士或全科医生，或甚至是患者)具有配备有相机(图1中未示出)和触敏显示器13的传统移动设备(例如，智能电话、平板电脑等)12。下面描述的应用驻留在智能电话上，其提供本文所述方法的提示、显示和可选的机器学习方面。在显示器上显示提示，要求用户用智能电话相机拍摄模拟X射线胶片14或在计算机屏幕16上呈现的数字X射线的照片。在一些情况下，例如在胸部X射线诊断场景中，捕获多个X射线的图像，诸如前/后和侧X射线视图。可以使用相机以静态相机模式或以摄像机模式捕获输入图像，在相机模式的情况下，例如当用户以相机模式使用相机并在显示器上查看相机图像时，由应用抓取一帧图像。
例如，利用卷积神经网络评估由智能电话相机捕获的图像18的质量。该评估可选地通过执行作为应用的一部分的图像质量评估模块在智能电话上本地完成。如果图像质量差或者通过机器学习算法进行解释或处理是不可行的，则立即向用户返回错误并在智能电话上显示。拒绝图像的各种原因包括用户错误(数字显示器上的射线照片的不正确的窗口/水平设置、数字显示器上的太多眩光、相机焦点问题)或与射线照相技术相关的质量问题(灵感问题、专利轮换、包含问题、射线照片过度曝光或曝光不足等等)。错误消息可以包括有关如何克服错误情况的提示或指示。
一旦射线照相图像的可接受的(高质量)照片被智能电话相机捕获并在应用中输入，它们将被提供给深度卷积神经网络，其已被在标记有诊断的标定真实数据(groundtruth)注释的大量的X射线图像上进行训练。深度卷积网络推断出诊断(或潜在的替代诊断)。推断的诊断或替代诊断将与来自通过诊断分组的其他患者的类似X射线图像一起返回到智能电话。在一种配置中，智能电话经由蜂窝数据网络和连接的网络(诸如因特网)与后端服务器20连接。在该配置中，服务提供商实现后端服务器20，其包含：用于生成诊断的深度卷积神经网络24；以及数据存储器26，其包含多个标记的标定真实数据的射线照相图像，其中的一个或多个由神经网络选择用于传输到智能电话12。在一种可能的配置中后端服务器20还可以实现图像质量评估模块。
在一种可能的配置中，智能电话12配置有诸如MobileNet的本地轻量级深度卷积神经网络模型，使得深度学习模型24可以在本地运行而不会不利地牺牲精度和取消。参见例如Andrew G.Howard等人的MobileNets:Efficient Convolutional Neural Networksfor Mobile Vision Applications，arXiv:1704.04861[cs.CV](2017年4月17日)。在移动设备上本地运行深度学习卷积神经网络具有以下优点：例如在该方法在远程区域中实现的情况下，不需要小区服务或后端服务器连接来生成诊断或显示相关图像。
智能电话上的应用包括用于显示诊断30(在该示例中，“张力性气胸”)、输入图像32(在该示例中，胸部X射线)和各种格式的一个或多个类似图像34的模块。在一种格式中，类似图像按照敏度的顺序按诊断结果分组。诸如箭头37或滚动条的工具允许用户滚动并查看与诊断一起返回的相关类似图像。用户还可以点击任何类似图像34或点击诸如“比较输入”的工具并前进到图像比较屏幕，其中在智能电话上捕获的输入图像被显示为与类似图像相邻。
应用上提供了其他工具，用于查看类似图像或输入图像：
a)用户可以通过图像上的单指的向上/向下手势在周围进行平移/缩放。
b)用户可以用两个手指上/下或左/右手势进行窗口化或水平化。
c)用户可以通过点击所显示的类似图像的左侧和右侧的箭头来继续查看下一个类似图像。可以平移和缩放类似的图像以显示具有类似发现/诊断的相关感兴趣区域。
该应用还包括附加的医学学习信息工具，通过它们可以获得与针对输入图像建议的发现/诊断相关的更多信息。例如，应用可以在输入图像32旁边显示“学习更多”图标36，并且如果选择了图标36，则应用通过推荐管理显示对基础病理的解释。
图2是被配置为执行上述方法的移动设备12的一个示例的框图。移动设备是智能电话12的形式，其包括相机40、显示器13、中央处理单元42、存储应用和程序代码(包括在图1的方法中使用的放射学应用46)的存储器44、无线传输和接收电路48(传统的)、扬声器50和其他传统电路52，其细节并不重要。
图3是在图2的智能电话12上加载的放射学应用46的框图。该应用包括提示60，用于提示用户采取某些动作，诸如用智能电话的相机捕获射线照片的照片。该应用包括显示62，其用于显示提示、由相机捕获的输入图像、以及将用图5-10的屏幕截图解释的其他特征。该应用还包括工具62，其包括与触敏显示器一起工作的手势工具，以使用户能够导航浏览输入图像或类似图像或采取其他动作，如结合图5-10所解释的。该应用还包括图像质量评估模块66，其被实现为卷积神经网络，其评估由智能电话相机捕获的射线图像的质量，以便适合机器学习算法使用以生成诊断。训练网络以检测错误状况，诸如用户错误(例如没有捕获足够数量的射线照片、照明不足、眩光太多、相机焦点问题)或射线照相技术质量问题(例如，灵感问题、专利轮换、包含问题、射线照片过度曝光或曝光不足等)。图像质量评估模块可以具有被训练的深度卷积神经网络的相同的一般体系结构，以生成如以下在一定程度上或在所引用的科学和专利文献中描述的诊断列表。如果图像质量评估模块没有注意到这样的错误状况，则输入图像被提供给深度学习模块68，例如在具有标定真实数据标签的大量放射线图像上训练的轻量级深度卷积神经网络(例如，MobileNet)，以便为输入的射线照相图像生成诊断。
应用46还包括以文本或文本加图像形式的医学知识70的存储，其与深度学习模块68被训练进行的诊断相关。医学知识可以包括诊断描述、以及治疗或响应指南，以及用于提示用户在诊断使得与输入射线图像相关的患者需要立即采取医疗照顾的情况下采取某些动作的警告提示。
应用46还包括类似医学图像的数据存储72。例如，在胸部X射线场景中，数据存储可以包括具有来自胸部X射线的各种诊断的患者的数百个存储的射线照相图像。每个图像可以与图像的元数据相关联，所述元数据诸如诊断、治疗信息、患者的年龄、吸烟者状态等。该应用程序还包括用于按照图4的逻辑表示的顺序和下面图5-10的描述呈现显示的程序代码74。在给出本公开的情况下，本领域技术人员可以开发这样的代码。
图4是示出本公开的方法的一个实施例的流程图。在步骤100，提示用户捕获射线照片的照片，该照片可以是模拟形式或数字形式，例如，显示在电脑显示器上。用户使用智能电话的相机捕获照片。在步骤102，调用图像质量评估模块66(图3)，其确定图像中是否存在错误状况。如果是，则在步骤104，智能电话报告错误状况并提示用户纠正错误，例如，通过减少眩光、提供更高的照明度等，并且在步骤100再次提示用户拍摄图像。
如果在步骤102没有检测到错误状况，则将输入图像传递给深度学习模型106。例如，深度学习模型可以驻留在后端服务器中，如图1所示，或者可以在智能电话上以轻量级格式实现深度学习模型，参见图3中的68。该模型被训练以执行两个任务：1)生成诊断，步骤108；和2)将数据存储中的类似射线图像110识别为输入图像并具有相同的诊断。在一个替代方案中，可以存在两种不同的深度学习模型，一种用于执行步骤108，并且一种用于执行步骤110。
用于搜索类似医学图像的机器学习模型在文献中描述，参见例如：J.Wang等人的Learning fine-grained image similarity with deep ranking，https://arxiv.org/abs/1404.4661(2017)，以及其中引用的文献；2018年3月29日提交的PCT申请PCT/US18/25054和以下美国专利文献：9275456；9081822；7188103；2010/0017389；2007/0258630；2003/0013951。
用于从射线图像生成诊断的机器学习模型在2018年2月16日提交的PCT申请PCT/US2018/018509中描述。这样的机器学习模型(图1，24；图3；68，图4；106)可以在几种不同的配置中实现。一种实现是Inception-v3深度卷积神经网络架构，其在科学文献中描述。参见以下参考文献，其内容通过引用并入本文：C.Szegedy等人的Going Deeper withConvolutions，arXiv:1409.4842[cs.CV](2014年9月)；C.Szegedy等人的Rethinking theInception Architecture for Computer Vision，arXiv:1512.00567[cs.CV](2015年12月)；还参见C.Szegedy等人的美国专利申请，“Processing Images Using Deep NeuralNetworks”，序列号14/839，452，2015年8月28日提交。称为Inception-v4的第四代被认为是替代架构。参见C.Szegedy等人的Inception-v4，Inception-ResNet and the Impact ofResidual Connections on Learning，arXiv:1602.0761[cs.CV](2016年2月)。还参见C.Vanhoucke的美国专利申请，“Image Classification Neural Networks”，序列号15/395,530，2016年12月30日提交。在这些论文和专利申请中对卷积神经网络的描述在此引入作为参考。X.Wang等人的论文(ChestX-ray8:Hospital-scale Chest X-ray Database andBenchmarks on Weakly-Supervised Classification and Localization of CommonThorax Diseases，arXiv:1705.02315v5[cs.CV](2017年12月))中描述了深度学习模型的另一种替代方案，其内容通过引用并入。
再次参考图4，在步骤112，输入图像和类似图像的诊断显示在智能电话12的显示器上。在步骤114，用户使用智能电话上的工具，例如，选择类似的图像以进一步研究，在输入图像或类似图像周围导航，或者显示与诊断有关的存储的医学知识，例如以便更多地了解诊断或诊断中反映的状况的管理或治疗。
现在将描述图5-10的屏幕截图，其示出了驻留在移动设备上的应用的一个特定配置。应当理解，屏幕截图是通过说明其中可以实践本公开的方法的一种可能方式来提供的，并且绝不是限制性的。
图5是移动设备12上的放射学应用(应用46，图2)的家庭显示器200的图示。用户被提供以用于选择不同类型的X射线照片以用于诊断的选项，例如通过激活指示用户将被捕获胸部X射线的图标202，指示用户将被捕获腹部X射线的图标204，并且通过激活提示206，用户指示他们将被捕获四肢的X射线。通过激活图标中的一个，标记针对该类型的X射线训练的特定深度学习模型，使得输入图像被引导到相关的深度学习模型。
现在假设用户已经选择了胸部X射线图标202。此时，应用在智能电话上呈现图6的显示210。经由提示212提示用户利用其智能电话的相机在方形边界区域214内捕获外部模拟或数字胸部X射线的照片。胸部X射线图像216表示相机捕获的取景器图像。用户可以激活“单个图像”的图标218以指示他们将捕获单个图像。用户可以激活“多个图像”的图标220以指示他们将捕获多于一个图像。通过按压中心的圆区域222，智能电话相机被操作以捕获照片。显示器底部的导航工具224允许用户导航回主屏幕或返回到前一屏幕。
在捕获图像216之后，图像质量评估模块66(图3)优选地在智能电话上本地地处理图像216。图7描绘了由可选地在智能电话中实现的图像质量评估模块产生的错误消息300，其指示图6中捕获的图像质量不足以执行机器学习算法并生成诊断。在此示例中，图像是在未对焦时捕获的，并且会产生过多的眩光。该错误消息包括关于如何克服错误状况的指示，例如，通过文本“请用改进的焦点和减小的眩光重新拍摄照片。”
图8是对于根据图6捕获的图像由深度学习模型(图2，68)生成的可能的诊断400、402的显示，以及对每个可能的诊断从其他患者获得的类似的医学图像(胸部X射线)404、406、410、412。在该示例中，第一列出的诊断400是张力性气胸，并且该诊断与下面的三个类似图像(404、406和408)以及图标409一起显示，该图标409指示可以查看超过200个其他类似图像。下面列出了诊断肺结节、以及类似的图像410、412、414和图标415，该图标415指示对于该诊断八十四个类似的图像可用于查看。通过在显示器上使用手势，用户可以向下滚动以查看其他可能的诊断和相关联的类似图像。
每个诊断具有“比较输入”的图标416，其允许输入图像和类似图像中的一个的并排比较，参见图9。此外，每个诊断具有“学习更多”的图标418，其在被激活时生成与诊断相关联的医学知识的显示。
图9是应用上的“比较输入”的显示500，示出了由智能电话相机并排(在这种情况下，上面)捕获的输入图像502，其中一个类似图像在图8中示出，在这种情况下，图像404来自图8。用户可以使用手势来围绕输入图像502或类似图像的显示进行导航，例如，使用一个或两个图形手势来平移、放大、缩小。诊断显示在下部区域506。显示“学习更多”的图标418，其在被激活时将显示改变为与诊断相关的医学知识的文本或文本加图形/图像的显示。
图10是智能电话上与图8中返回的诊断有关的附加医学知识的显示；通过激活图8或9的“学习更多”的图标418来访问附加医学知识。
进一步考虑：
在一种可能的实施方式中，如果返回的诊断指示与射线照片相关联的患者需要紧急医疗照顾，则诊断屏幕(图8)可以包括让患者立即寻求医疗照顾的警报或提示。在一种配置中，警报可以包括到实时在线医疗支持服务提供商或用于呼叫的医疗热线的链接。这通过在诊断“张力性气胸”下的“紧急”通知而在图8中示出。
鉴于上述情况，显而易见的是，已经描述了移动设备12，其包括：相机40(图2)、处理单元42(图2)、触敏显示器13(图1、2、5-10)；以及存储器46(图2)，存储由处理单元42执行的应用46(图2、3)的指令，其中应用中包括：
a)提示(图6，212)，用于用户用相机捕获移动设备外部的一个或多个模拟或数字射线照片的至少一个照片；
b)图像质量评估模块(图3，66)，用于评估由相机捕获的至少一个照片的质量，并且如果所述至少一个照片的质量不足则报告错误状况；
c)用于在显示器上显示(1)分配给所述一个或多个模拟或数字射线照片的诊断和(2)与诊断相关联的至少一个类似射线照片的模块，其中通过使至少一个照片经受在大量射线照片上训练的深度学习模型来分配诊断(图8，显示模块62，图3)；
d)用于使用户能够通过显示器上的手势(例如，通过进行手势来触摸图8的图像或使用图8的“比较输入”的图标416)选择与诊断相关联的至少一个类似射线照片并且在至少一个类似射线照片内导航的工具；以及
e)用于在显示器上显示与诊断相关联的医学知识的工具(例如，图8、图10的“学习更多”的图标418)。
显而易见的是，还描述了具有上述特征a)-e)的用于移动设备的应用(图2、3、5-10，应用46)。
还描述了一种用于在具有相机和显示器的移动设备上提供用于放射线图像的诊断信息的方法，包括以下步骤：
(a)评估由相机拍摄的一个或多个模拟或数字射线照相图像的至少一个照片的图像质量(图4步骤102)；
(b)如果所述至少一个照片的质量不足，则报告错误状况(图4步骤104)；
(c)使至少一个照片经受在大量射线照片上训练的深度学习模型，并生成对所述至少一个照片的诊断(图4，步骤106，108)；
(d)识别与具有诊断的所述至少一个照片类似的至少一个射线照片图像(图4步骤110)；
(e)在显示器上显示(1)由步骤(c)中的深度学习模型生成的诊断和(2)在步骤(d)中识别的所述至少一个类似的射线照片图像(图4步骤112，图8)；
(f)在移动设备上提供工具，使用户能够通过显示器上的手势选择与诊断相关联的所述至少一个类似的射线照片图像，并在所述至少一个类似的射线照片图像内导航(参见图8的描述，包括可以触摸和操纵的图标和显示图像；以及
(g)提供用于在显示器上显示与诊断相关联的医学知识(图8、9中的“学习更多”的图标、以及图10中呈现的知识)的工具。
移动设备本地确定由训练的深度学习诊断模型使用的捕获图像的适用性的能力是独立有用和有利的。因此，在本公开的另一方面，提供了一种用于移动设备的应用，其具有相机、处理单元、触敏显示器和存储由处理单元执行的应用的指令的存储器，其中，在应用中包括a)在显示器上呈现的提示，用于用户用相机捕获移动设备外部的一个或多个模拟或数字射线照片的至少一个照片(例如，图6的图标212)；以及b)图像质量评估模块66(图3)，用于评估由相机捕获的至少一个照片的质量或适用性，以用于深度学习诊断模型处理，如果至少一个照片的质量或适用性是不足的，则评估模块报告错误状况。

Claims (20)

1.一种移动设备，包括：
相机；
处理单元；
触敏显示器；以及
存储器，存储用于由处理单元执行的应用的指令，其中，所述应用包括：
a)提示，用于用户用相机捕获移动设备外部的一个或多个模拟或数字射线照片的至少一个照片；
b)图像质量评估模块，用于评估由相机捕获的所述至少一个照片的质量，并且如果所述至少一个照片的质量不足则报告错误状况；
c)用于在显示器上显示(1)分配给所述一个或多个模拟或数字射线照片的诊断和(2)与诊断相关联的至少一个类似射线照片的模块，其中通过使所述至少一个照片经受在大量射线照片上训练的深度学习模型来分配诊断；
d)用于使用户能够通过显示器上的手势选择与诊断相关联的所述至少一个类似射线照片并且在所述至少一个类似射线照片内导航的工具；以及
e)用于在显示器上显示与诊断相关联的医学知识的工具。
2.根据权利要求1所述的移动设备，其中，所述一个或多个模拟或数字射线照片包括胸部X射线。
3.根据权利要求1所述的移动设备，其中，所述一个或多个模拟或数字射线照片包括腹部X射线。
4.根据权利要求1所述的移动设备，其中，所述一个或多个模拟或数字射线照片包括身体四肢的X射线。
5.根据权利要求1所述的移动设备，其中，在大量射线照片上训练的深度学习模型驻留在所述移动设备上。
6.根据权利要求1所述的移动设备，其中，在大量射线照片上训练的深度学习模型驻留在后端服务器上。
7.根据权利要求1所述的移动设备，还包括多个射线照片图像的存储，并且其中从所述存储中检索与所述诊断相关联的至少一个类似射线照片。
8.根据权利要求1所述的移动设备，其中，所述显示器显示所述诊断和来自与所述诊断的显示分组在一起的不同患者的多个类似射线照片。
9.根据权利要求1所述的移动设备，其中，所述图像质量评估模块被配置为检测捕获所述至少一个照片时的用户错误和所述至少一个射线照片中的错误两者。
10.一种装置，包括用于移动设备的应用，所述移动设备具有相机、处理单元、触敏显示器和存储由处理单元执行的应用的指令的存储器，其中，所述应用包括：
a)在显示器上呈现的提示，用于用户用相机捕获移动设备外部的一个或多个模拟或数字射线照片的至少一个照片；
b)图像质量评估模块，用于评估由相机捕获的所述至少一个照片的质量，并且如果所述至少一个照片的质量不足则报告错误状况；
c)用于在显示器上显示(1)分配给所述一个或多个模拟或数字射线照片的诊断和(2)与诊断相关联的至少一个类似射线照片的模块，其中通过使所述至少一个照片经受在大量射线照片上训练的深度学习模型来分配诊断；
d)用于使用户能够通过显示器上的手势选择与诊断相关联的所述至少一个类似射线照片并且在所述至少一个类似射线照片内导航的工具；以及
e)用于在显示器上显示与诊断相关联的医学知识的工具。
11.根据权利要求10所述的应用，其中，所述一个或多个模拟或数字射线照片包括胸部X射线。
12.根据权利要求10所述的应用，其中，所述一个或多个模拟或数字射线照片包括腹部X射线。
13.根据权利要求10所述的应用，其中，所述一个或多个模拟或数字射线照片包括身体四肢的X射线。
14.根据权利要求10所述的应用，其中，所述应用还包括在大量射线照片上训练的深度学习模型。
15.根据权利要求10所述的应用，其中，所述应用还包括多个射线照片图像的存储，并且其中从所述存储中检索与所述诊断相关联的所述至少一个类似射线照片。
16.根据权利要求10所述的应用，其中，所述图像质量评估模块被配置为检测捕获所述至少一个照片时的用户错误和至少一个射线照片中的错误两者。
17.一种用于在具有相机和显示器的移动设备上提供用于射线照片图像的诊断信息的方法，包括以下步骤：
(a)评估由相机拍摄的一个或多个模拟或数字射线照片图像的至少一个照片的图像质量；
(b)如果所述至少一个照片的质量不足，则报告错误状况；
(c)使所述至少一个照片经受在大量射线照片上训练的深度学习模型，并针对所述至少一个照片生成诊断；
(d)识别与具有诊断的所述至少一个照片类似的至少一个射线照片图像；
(e)在显示器上显示(1)由步骤(c)中的深度学习模型生成的诊断和(2)在步骤(d)中识别的所述至少一个类似的射线照片图像；
(f)在移动设备上提供使用户能够通过显示器上的手势选择与诊断相关联的所述至少一个类似的射线照片图像并在所述至少一个类似的射线照片图像内导航的工具；以及
(g)提供用于在显示器上显示与诊断相关联的医学知识的工具。
18.一种装置，包括用于移动设备的应用，所述移动设备具有相机、处理单元、触敏显示器和存储由所述处理单元执行的应用的指令的存储器，其中所述应用包括：
a)在显示器上呈现的提示，用于用户用相机捕获移动设备外部的一个或多个模拟或数字射线照片的至少一个照片；以及
b)图像质量评估模块，用于评估由相机捕获的所述至少一个照片的质量或适用性，以用于由深度学习诊断模型处理，如果所述至少一个照片的质量或适用性不足，则图像质量评估模块报告错误状况。
19.根据权利要求18所述的装置，其中，所述图像质量评估模块被配置为检测捕获所述至少一个照片时的用户错误和所述至少一个射线照片中的错误两者。
20.根据权利要求18所述的装置，其中，所述深度学习诊断模型被训练为诊断胸部、腹腔或四肢X射线中的状况。
CN201810768341.1A 2018-05-01 2018-07-13 使用移动设备的自动射线照相诊断 Pending CN110428886A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/968,282 US20190341150A1 (en) 2018-05-01 2018-05-01 Automated Radiographic Diagnosis Using a Mobile Device
US15/968,282 2018-05-01

Publications (1)

Publication Number Publication Date
CN110428886A true CN110428886A (zh) 2019-11-08

Family

ID=68385494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810768341.1A Pending CN110428886A (zh) 2018-05-01 2018-07-13 使用移动设备的自动射线照相诊断

Country Status (2)

Country Link
US (1) US20190341150A1 (zh)
CN (1) CN110428886A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7122625B2 (ja) * 2018-07-02 2022-08-22 パナソニックＩｐマネジメント株式会社 学習データ収集装置、学習データ収集システム、及び学習データ収集方法
KR102192164B1 (ko) * 2018-08-08 2020-12-16 주식회사 딥바이오 생체 이미지 진단 시스템, 생체 이미지 진단 방법, 및 이를 수행하기 위한 단말
JP7324937B2 (ja) * 2020-03-30 2023-08-10 富士フイルム株式会社 撮影支援装置、その作動方法、及び作動プログラム
US11763581B1 (en) * 2022-10-17 2023-09-19 Eygs Llp Methods and apparatus for end-to-end document image quality assessment using machine learning without having ground truth for characters

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103930030A (zh) * 2011-10-18 2014-07-16 迷笛公司 具有自动化病变检测和骨疾病负荷变化的量化评定的计算机辅助骨扫描评定
US20150065803A1 (en) * 2013-09-05 2015-03-05 Erik Scott DOUGLAS Apparatuses and methods for mobile imaging and analysis
CN105612554A (zh) * 2013-10-11 2016-05-25 冒纳凯阿技术公司 用于表征通过视频医疗设备获取的图像的方法
CN205665697U (zh) * 2016-04-05 2016-10-26 陈进民 基于细胞神经网络或卷积神经网络的医学影像识别诊断系统
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
CN106415555A (zh) * 2013-11-26 2017-02-15 皇家飞利浦有限公司 用于病理学报告与放射学报告的相关联的系统和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103930030A (zh) * 2011-10-18 2014-07-16 迷笛公司 具有自动化病变检测和骨疾病负荷变化的量化评定的计算机辅助骨扫描评定
US20150065803A1 (en) * 2013-09-05 2015-03-05 Erik Scott DOUGLAS Apparatuses and methods for mobile imaging and analysis
CN105612554A (zh) * 2013-10-11 2016-05-25 冒纳凯阿技术公司 用于表征通过视频医疗设备获取的图像的方法
CN106415555A (zh) * 2013-11-26 2017-02-15 皇家飞利浦有限公司 用于病理学报告与放射学报告的相关联的系统和方法
CN205665697U (zh) * 2016-04-05 2016-10-26 陈进民 基于细胞神经网络或卷积神经网络的医学影像识别诊断系统
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统

Also Published As

Publication number Publication date
US20190341150A1 (en) 2019-11-07

Similar Documents

Publication Publication Date Title
US11380432B2 (en) Systems and methods for improved analysis and generation of medical imaging reports
CN110140178B (zh) 用于知道上下文的图像质量收集和反馈的闭环系统
CN103505227B (zh) 放射线摄像控制设备和放射线摄像系统
CN110428886A (zh) 使用移动设备的自动射线照相诊断
JP4979334B2 (ja) 医用画像読影支援システム及びプログラム
US10977796B2 (en) Platform for evaluating medical information and method for using the same
US20090204437A1 (en) System and method for improving diagnoses of medical image reading
EP3770914A1 (en) Methods and systems for workflow management
JP2006305371A (ja) コンピュータで実現される医用イメージングプロシージャを実行する方法
CN108139387A (zh) 用于从使用一次性检测试剂盒收集测试数据的方法和装置
CN109416938B (zh) 用于临床智能的无缝工作流程集成和编排的系统和体系结构
CN103890807B (zh) 死因推测装置及其死因推测方法
JP2008234309A (ja) 症例収集システム
JP2017085194A (ja) 情報処理装置およびその制御方法
JP2006110202A (ja) 医用画像診断システムおよび医用画像診断方法
CN111753831A (zh) 一种图像分析方法、装置、图像采集设备及存储介质
JP2008220482A (ja) 診断支援システム
JP2008188096A (ja) 医用画像管理システム、データ管理方法
JP2017207793A (ja) 画像表示装置および画像表示システム
US20220172824A1 (en) Snip-triggered digital image report generation
KR20170046115A (ko) 의료 영상과 관련된 장치들 간에 송수신되는 의료 데이터를 생성하는 방법 및 장치.
CN103548029A (zh) 用于图像采集工作流的方法和系统
EP3624128A1 (en) An apparatus and method for detecting an incidental finding
JP2020154630A (ja) 医用情報収集装置
JP2020039622A (ja) 診断支援装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191108