CN106170799A - 从图像提取信息以及将信息包括在临床报告中 - Google Patents

从图像提取信息以及将信息包括在临床报告中 Download PDF

Info

Publication number
CN106170799A
CN106170799A CN201580006098.4A CN201580006098A CN106170799A CN 106170799 A CN106170799 A CN 106170799A CN 201580006098 A CN201580006098 A CN 201580006098A CN 106170799 A CN106170799 A CN 106170799A
Authority
CN
China
Prior art keywords
image
pixel
annotation
information
pattern identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580006098.4A
Other languages
English (en)
Other versions
CN106170799B (zh
Inventor
邓寅晖
林其忠
L·博罗茨基
李俊杰
吴英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN106170799A publication Critical patent/CN106170799A/zh
Application granted granted Critical
Publication of CN106170799B publication Critical patent/CN106170799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635—Overlay text, e.g. embedded captions in a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1448—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on markings or identifiers characterising the document or the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

一种以电子格式获得包括医学图像显示区域(104)和信息显示区域(106)的图像(102)的方法。所述医学图像显示区域或所述信息显示区域中的至少一个包括表示注释(110、112、114、116)或字母数字信息(118、120、122、124、126、128、130、132、134、136、138、140)中的至少一个的图形标识。所述方法还包括评价所述图像的像素，以识别包括表示所述图像中的感兴趣的注释或字母数字信息的所述图形标识的像素。所述方法还包括从来自所述图像的所识别的图形标识中提取所述感兴趣的注释或字母数字信息。所述方法还包括将所提取的感兴趣的注释或字母数字信息插入到针对所述图像的电子格式的临床报告中。

Description

从图像提取信息以及将信息包括在临床报告中
技术领域
以下内容总体上涉及从图像提取信息以及将所提取的信息包括在对应于所述图像的临床报告中。合适的图像的范例是由成像系统生成的图像，所述成像系统例如为超声(US)成像系统、计算机断层摄影(CT)成像系统、X射线成像系统、磁共振(MR)成像系统、正电子发射断层摄影(PET)成像系统、单光子发射计算机断层摄影(SPECT)成像系统和/或其他成像系统。
背景技术
图1示出了范例图像102。通常，图像102包括两个单独的区域104和106。区域104是医学图像显示区域，而区域106是信息显示区域。在图示的范例中，医学图像显示区域显示具有被重叠在图像上的叠加图中的注释(图1中的图形，但也能够包括文本)的超声图像108。注释包括标记对110/112和114/116，其识别用于其间的距离测量的端点。在图1中，距离与图像中表示的病变的短轴和长轴有关。
信息显示区域106显示关于图像、成像流程、成像设施、成像装置、患者、图像中测量的参数等的字母数字信息。例如，在图示的实施例中，该信息包括像素强度窗口和水平设定118、流程类型120和122、医院名称124、超声成像帧速率的频率126、被扫描患者的侧面128、距离测量结果130和132(基于标记对110/112和114/116)，以及测量类型134和136和单元138和140。其他图像包括更少或更多信息、位于不同区域中的信息等。
阅读的临床人员可以想要包括对应于图像的临床报告中的一些或所有注释和/或字母数字信息，其形式为电子格式文件。在不容易获得注释和/或字母数字信息(例如，不被包括在DICOM标头中、不被包括在命令条/文件中、不以由查看/报告系统可读的格式等)的实例中，如果需要的话，生成或更新具有注释和/或字母数字信息的临床报告的人员必须手动输入注释和/或字母数字信息。
然而，注释和/或字母数字信息的手动输入要求用户看着图像102，记住和/或写下感兴趣的注释和/或字母数字信息，看着运行软件应用的报告生成，并且然后将注释和/或字母数字信息添加到报告中。遗憾地是，例如，在阅读的医生或其他医学人员将文本注释和/或字母数字信息添加到临床报告种的情况下，该过程会冗长并且耗费时间，该时间原本能够花费在患者上和/或阅读其他图像上。
发明内容
在本文中所描述的各方面解决了以上提到的问题和其他问题。
下文描述了查看/报告系统从图像提取信息并将所提取的信息并入对应的报告中的方法。
在一个方面中，一种方法包括以电子格式获得包括医学图像显示区域和信息显示区域的图像。所述医学图像显示区域或所述信息显示区域中的至少一个包括表示注释或字母数字信息中的至少一个的图形标识。所述方法还包括评价图像的像素，以识别包括表示所述图像中的感兴趣的注释或字母数字信息的图形标识的像素。所述方法还包括从来自所述图像的所识别的图形标识中提取所述感兴趣的注释或字母数字信息。所述方法还包括将所提取的感兴趣的注释或字母数字信息插入到针对所述图像的电子格式的临床报告中。
在另一方面中，一种计算系统包括具有指令的计算机可读存储介质，所述计算机可读存储介质包括信息提取模块和报告生成/编辑模块。所述计算系统还包括运行所述指令的处理器。响应于运行所述指令，所述处理器以电子格式获得包括医学图像显示区域和信息显示区域的图像。所述医学图像显示区域或所述信息显示区域中的至少一个包括表示注释或字母数字信息中的至少一个的图形标识。响应于运行所述指令，所述处理器还评价所述图像的像素，以识别包括表示所述图像中的感兴趣的注释或字母数字信息的图形标识的像素。响应于运行所述指令，所述处理器还从来自所述图像的所识别的图形标识中提供所述感兴趣的注释或字母数字信息。响应于运行所述指令，所述处理器还将所提取的感兴趣的注释或字母数字信息插入到针对所述图像的电子临床报告中。
在另一方面中，一种计算机可读存储介质被编码具有计算机可读指令。当由处理器运行时，所述计算机可读指令令所述处理器：以电子格式获得包括医学图像显示区域和信息显示区域的图像。所述医学图像显示区域或所述信息显示区域中的至少一个包括表示注释或字母数字信息中的至少一个的图形标识。当由所述处理器运行时，所述计算机可读指令还令所述处理器：评价所述图像的像素，以识别包括表示所述图像中的感兴趣的注释或字母数字信息的所述图形标识的像素。当由所述处理器运行时，所述计算机可读指令还令所述处理器：从来自所述图像的所识别的图形标识中提取感兴趣的注释或字母数字信息。当由所述处理器运行时，所述计算机可读指令还令所述处理器：将所提取的感兴趣的注释或字母数字信息插入到针对所述图像的电子临床报告中。
附图说明
本发明可以采用各种部件和部件的布置，以及各种步骤和步骤的安排的形式。附图仅用于图示优选实施例，并且不应被解释为限制本发明。
图1图示了具有注释和/或字母数字信息的图像。
图2示意性地图示了与多个成像系统和数据资源库相连接的范例查看/报告计算装置。
图3图示了用于从图像中提取注释和/或字母数字信息并将所提取的注释和/或字母数字信息包括在对应于所述图像的临床报告中的范例方法。
图4图示了用于从图像的标识中提取病变短轴和长轴的数字测量值并将所提取的数字测量值包括在对应于所述图像的临床报告中的范例方法。
图5示意性地图示了不包括某些数字值的临床报告。
图6示意性地图示了在从图1的图像中提取某些数字值并将其包括在报告中之后的图5的临床报告。
图7示意性地图示了不包括某些数字值或其测量单位的临床报告。
图8示意性地图示了在从图1的图像中提取某些数字值及其测量单位并将其包括在报告中之后的图7的临床报告。
图9示意性地图示了不包括某些数字值、其测量单位或测量类型的临床报告。
图10示意性地图示了在从图1的图像中提取某些数字值、其测量单位和测量类型并将其包括在报告中之后的图9的临床报告。
具体实施方式
初始参考图2，示意性地图示了系统200。系统200包括与数据资源库204和N个成像系统206相连接的查看/报告计算装置202，其中，N为等于或大于1的整数。在所图示的实施例中，查看/报告计算装置202从成像系统206和/或数据资源库204中接收电子格式的图像。所述图像包括具有灰度值和/或彩色强度值的像素以及被印入图像或被覆盖在图像上的注释和/或字母数字信息。
N个成像系统206包括以下中的一个或多个：超声(US)扫描器2061、计算机断层摄影(CT)扫描器2062、磁共振(MR)扫描器2063、单光子发射计算机断层摄影(SPECT)扫描器2061、……，以及正电子发射断层摄影(PET)扫描器206N。数据资源库204包括以下中的一个或多个：图片存档及通信系统(PACS)、放射科信息系统(RIS)、医院信息系统(HIS)、电子病历(EMR)、数据库、服务器、成像系统和/或其他数据资源库。
查看/报告计算装置202例如是计算机，例如，台式计算机、笔记本电脑和/或其他计算机。正因如此，查看/报告计算装置202包括处理器208(例如，中央处理单元或CPU、微处理器等)。查看/报告计算装置202还包括输入部/输出部(I/O)210，所述输入部/输出部便于至少(一个或多个)输出设备212(例如，显示监视器、电影放映机等)、(一个或多个)输入设备214(例如，鼠标、键盘、触摸屏的触摸敏感区域等)与网络216的通信。
查看/报告计算装置202还包括计算机可读存储介质218，其排除瞬态介质(例如，物理存储器)和/或其他非瞬态存储器。计算机可读存储介质218存储计算机可读指令220和数据222。处理器208运行被存储在计算机可读存储介质218中的计算机可读指令220。处理器208也能够运行由信号、载波和其他瞬态(即，非计算机可读存储)介质承载的计算机可读指令。
在所图示的范例中，指令218包括至少信息提取模块224和报告生成/编辑模块226。数据222包括至少搜索标准228、搜索区域230、提取区域232和报告(包括)规则234。如在下文中更加详细地描述的，信息提取模块224基于搜索标准228和搜索区域230来定位包括来自接收到的图像的至少感兴趣的注释和/或字母数字信息的标识，并且报告生成/编辑模块226基于报告规则234将所提取的注释和/或字母数字信息插入到针对图像的临床报告中。
图3图示了从图像中提取注释和/或字母数字信息并将所提取的注释和/或字母数字信息包括在对应于所述图像的临床报告中的范例方法。
应当意识到，不限制所述方法中的动作的排序。正因如此，在本文中预期其他排序。另外，可以省略一个或多个动作和/或包括一个或多个额外的动作。
在302处，获得包括感兴趣的注释和/或字母数字信息的(一幅或多幅)图像。
如在本文中所讨论的，在查看/报告计算系统202处将图像接收为以电子格式的(一个或多个)文件，并且注释和/或字母数字信息是图像的部分，并且不是分开的数据。
在304处，评价图像的像素的集合，以基于搜索标准228和搜索区域230来识别包括感兴趣的注释和/或字母数字信息的像素。例如，使用诸如字符辨识、组分模型、基于学习的分类器的模板映射方法和/或其他方法来识别像素。
搜索标准228在每个集合中识别要搜索的标识以及像素的数目和像素组。例如，在使用字符辨识的情况下，搜索标准228是字母数字字符，并且像素的集合可以个体像素、像素串(例如，10个连续像素等)或二维像素块(例如，5x5、10x2等)。例如，要搜索的标识是预定默认的和/或用户定义的。对于后者，例如，用户在搜索之前定义标识和/或在搜索时提供标识。在一个实例中，像素的集合对图像是通用的。然而，在变型中，像素的集合考虑图像分辨率。
搜索区域230识别图像内的要搜索的子区域。在一个实例中，所识别的子区域覆盖整个图像。在另一实例中，所识别的子区域覆盖小于整个图像，例如，仅为显示注释和/或字母数字信息的区域。在一个范例中，子区域是图像中显示医学图像的区域的仅外部的子区域。在又一范例中，子区域是图像的仅显示的医学图像。
在306处，基于提取区域232从所识别的像素中提取感兴趣的注释和/或字母数字信息数据。
例如，提取区域232可以指示仅包括标识的像素被提取。这非常适合于搜索标准包括感兴趣的注释和/或字母数字信息数据的情形。在另一范例中，提取区域232可以指示仅在包括标识的像素之前的预定数目的像素被提取。这非常适合于搜索标准包括遵循感兴趣的注释和/或字母数字信息数据的标识的情形。
在又一范例中，提取区域232可以指示仅在包括标识的像素之后的预定数目的像素被提取。这非常适合于搜索标准包括在感兴趣的注释和/或字母数字信息数据之前的标识的情形。在又一范例中，提取区域232可以指示在包括所述标识的像素之前、之后的像素和/仅包括包含所述标识的像素的像素被提取。之前的像素和之后的像素的数目能够是相同的或不同的。在本文中也预期其他方式。
在308处，所提取的注释和/或字母数字信息被包括在对应于所述图像的电子格式的临床报告中。
如在本文中所讨论的，基于报告规则234来包括注释和/或字母数字信息。在一个实例中，报告规则234识别报告中的预定位置。在另一实例中，报告规则234将注释和/或字母数字信息插入在用户识别的位置处。在一个实例中，报告规则234指示注释和/或字母数字信息中的数字子部分或字母子部分被包括在报告中。
在310处，具有包括的所提取的注释和/或字母数字信息的临床报告被保存到计算机可读存储介质，经由显示监视器来显示，被打印到纸上，(以电子格式)被传递到另一设备，等。
可以借助于被编码或嵌入在计算机可读存储介质上的计算机可读指令来实施以上方法，当由(一个或多个)计算机处理器运行时，所述计算机可读指令令所述(一个或多个)处理器执行所描述的动作。额外地或备选地，由信号、载波或其他瞬态介质来承载计算机可读指令中的至少一个。
接下来，结合图1和图4-10来描述特定范例。正如图3，图4的动作的排序是非限制性的，使得在本文中预期其他排序。另外，可以省略一个或多个动作和/或可以包括一个或多个额外的动作。
在该范例中，基于标记对110/112和114/116来测量经由在图1的显示区域104中显示的超声图像108的像素所表示的病变的短轴和长轴，并且表示所述测量结果的标识被放置在图像上，并且后续被提取并包括在临床报告中。通常，病变可以涉及疾病，例如，癌症。病变的尺寸影响诊断；大尺寸通常涉及恶性的病变。病变尺寸的准确测量用于临床诊断、疾病进展和治疗管理决策。
参考图4，在402处，搜索标准22(图2)指示如何分析图像。例如，在一个实例中，整个图像被逐个像素分析，直到感兴趣的图形标识经由字符辨识和/或其他方式被定位。在变型中，两个或更多个像素组被分析，直到感兴趣的标识被定位。在变型中，仅分析图像显示区域104外部的区域106。在另一变型中，仅分析图像102的子部分(例如，左下角四分之一)。
例如，在又一实例中，在感兴趣的标识被重叠在图像108上的情况下，仅分析图像显示区域104。在404处，搜索标准228(图2)指示要由信息提取模块224(图2)提取的信息。在所图示的范例中，搜索标准228包括表示感兴趣的数字值的单位的字母字符。在该实例中，搜索标准为“mm”、“cm”和/或其他单位，使用缩写(如所示)或完整字句。
额外地或备选地，搜索标准228包括表示测量类型的字母字符。该数据的范例包括“距离”、“面积”、“体积”、“标准”、“变化”和/或其他测量类型，使用缩写(如图1所示)或完整字句。在变型中，搜索标准228包括用于在视觉上识别标记110、112、114和116的字符，所述标记被叠加在图像108上并且连同表示数字值的标识一起被包括。在所图示的范例中，字符将是和
一旦基于搜索标准228和搜索区域230识别了像素组，在406处，从图像102中提取数字值。在搜索标准为“cm”的情况下，在搜索标准之前的至少预定数目的像素被提取。在所图示的范例中，预定数目的像素将确保数字值130和/或132被提取。在搜索标准为“距离”的情况下，在搜索标准之后的至少预定数目的像素被提取。在所图示的范例中，预定数目的像素将确保数字值130和/或132被提取。
在搜索标准是数字位数(例如，0、1、2、……、9等)的情况下，覆盖搜索标准的至少预定数目的像素被提取。在所图示的范例中，同样地，预定数目的像素将确保数字值130和/或132被提取。在所有这三个范例中，能够进一步提取在预定数目的像素之前和/或之后的额外像素。在本文中也预期包括以上三种方法的组合的其他方法。
在408处，基于报告规则232，所提取的数字值被并入针对图像的电子格式的临床报告。结合图5、图6、图7、图8、图9和图10，示出了若干范例。电子格式报告中的位置能够是预定的(如所示)和/或基于用户选择的位置。利用预定位置，字符辨识能够用于将字句定位到期望位置的左侧和右侧。
图5和图6示出了报告中仅数字值被插入到报告中的子部分中。图7和图8示出了报告中数字值和测量单位被插入到报告中的子部分中。图9和图10示出了报告中数字值、测量单位和测量类型被插入到报告中的子部分中。图5、图7和图9表示包括感兴趣的字母数字数据之前的报告，并且图6、图8和图10表示包括感兴趣的字母数字数据之后的报告。
已经参考优选实施例对本发明进行了描述。在阅读和理解上述详细描述后，他人可以进行修改和变型。本发明旨在被解释为包括所有这样的修改和变型，只要它们落入权利要求或其等价方案的范围内。

Claims (21)

1.一种方法，包括：
以电子格式获得包括医学图像显示区域(104)和信息显示区域(106)的图像(102)，
其中，所述医学图像显示区域或所述信息显示区域中的至少一个包括表示注释(110、112、114、116)或字母数字信息(118、120、122、124、126、128、130、132、134、136、138、140)中的至少一个的图形标识；
评价所述图像的像素，以识别包括表示所述图像中的感兴趣的注释或字母数字信息的所述图形标识的像素；
从来自所述图像的所识别的图形标识中提取所述感兴趣的注释或字母数字信息；并且
将所提取的感兴趣的注释或字母数字信息插入到针对所述图像的电子格式的临床报告中。
2.根据权利要求1所述的方法，还包括：
逐个像素地评价所述图像。
3.根据权利要求1所述的方法，还包括：
基于预定的搜索区域(230)来确定搜索像素组(230)，其中，所述搜索像素组包括两个或更多个像素；并且
逐个搜索像素组地评价所述图像。
4.根据权利要求1到3中的任一项所述的方法，还包括：
在整个图像上搜索所述图形标识。
5.根据权利要求1到4中的任一项所述的方法，还包括：
基于所述预定的搜索区域来确定所述图像的要搜索的搜索区域，其中，所述搜索区域是所述图像的子区域；并且
仅在所述图像的所述搜索区域中搜索图形标识。
6.根据权利要求5的所述方法，其中，所述子区域包括仅所述医学图像显示区域或仅所述信息显示区域中的一个。
7.根据权利要求1到6中的任一项所述的方法，还包括：
基于预定的提取区域(232)来确定提取像素组；并且
响应于识别出所述图形标识来提取所述提取像素组，其中，所述提取像素组包括所述标识。
8.根据权利要求7所述的方法，其中，所述提取像素组包括仅被识别为包括所述标识的像素。
9.根据权利要求7所述的方法，其中，所述提取像素组包括仅在被识别为包括所述标识的所述像素之前的预定数目的像素。
10.根据权利要求7所述的方法，其中，所述提取像素组包括仅被识别为包括所述标识的所述像素之后的预定数目的像素。
11.根据权利要求1到10中的任一项所述的方法，还包括：
采用字符辨识来识别包括所述图形标识的所述像素。
12.根据权利要求1到11中的任一项所述的方法，其中，所识别的像素包括表示以下中的至少一个的图形标识：所述图像中至少两个用户识别的位置之间的数值距离的测量结果，所述测量结果的测量单位或所述测量结果的测量类型。
13.根据权利要求1到12中的任一项所述的方法，还包括：
基于预定的报告规则(234)来确定电子临床报告中插入所提取的注释或字母数字信息的位置；并且，
将所提取的注释或字母数字信息插入在所述位置处。
14.根据权利要求13所述的方法，其中，所述位置对应于用户识别的位置或预定位置中的一个。
15.根据权利要求1到14中的任一项所述的方法，还包括：
从成像系统(206)或数据资源库(204)中的一个获得所述图像。
16.一种计算系统(202)，包括：
具有指令(220)的计算机可读存储介质(218)，所述计算机可读存储介质包括信息提取模块(224)和报告生成/编辑模块(226)；以及
处理器(208)，其响应于运行所述指令而以电子格式获得包括医学图像显示区域(104)和信息显示区域(106)的图像(102)，其中，所述医学图像显示区域或所述信息显示区域中的至少一个包括表示注释(110、112、114、116)或字母数字信息(118、120、122、124、126、128、130、132、134、136、138、140)中的至少一个的图形标识；评价所述图像的像素，以识别包括表示所述图像中的感兴趣的注释或字母数字信息的所述图形标识的像素；从来自所述图像的所识别的图形标识中提取所述感兴趣的注释或字母数字信息；并且将所提取的感兴趣的注释或字母数字信息插入到针对所述的图像的电子临床报告中。
17.根据权利要求16所述的计算系统，其中，所述处理器至少基于逐个像素来评价所述图像。
18.根据权利要求16到17中的任一项所述的计算系统，其中，所述处理器在整个图像的至少子部分上搜索所述图形标识。
19.根据权利要求16到18中的任一项所述的计算系统，其中，所述处理器提取以下中的一个：仅包括所述标识的像素、仅在包括所述标识的所述像素之前的预定像素组，或仅在包括所述标识的所述像素之后的预定像素组。
20.根据权利要求16到19中的任一项所述的计算系统，其中，所述处理器使用包括以下中的至少一个的模板映射方法来提取所述像素：字符辨识、组分模型或基于学习的分类器。
21.一种被编码具有计算机可读指令的计算机可读存储介质，当由处理器运行时，所述计算机可读指令令所述处理器：
以电子格式获得包括医学图像显示区域(104)和信息显示区域(106)的图像(102)，
其中，所述医学图像显示区域或所述信息显示区域中的至少一个包括表示注释(110、112、114、116)或字母数字信息(118、120、122、124、126、128、130、132、134、136、138、140)中的至少一个的图形标识，
评价所述图像的像素，以识别包括表示所述图像中的感兴趣的注释或字母数字信息的所述图形标识的像素，
从来自所述图像的所识别的图形标识中提取所述感兴趣的注释或字母数字信息，并且
将所提取的感兴趣的注释或字母数字信息插入到针对所述图像的电子临床报告中。
CN201580006098.4A 2014-01-27 2015-01-12 从图像提取信息以及将信息包括在临床报告中 Active CN106170799B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461931735P 2014-01-27 2014-01-27
US61/931,735 2014-01-27
PCT/IB2015/050214 WO2015110932A1 (en) 2014-01-27 2015-01-12 Extraction of information from an image and inclusion thereof in a clinical report

Publications (2)

Publication Number Publication Date
CN106170799A true CN106170799A (zh) 2016-11-30
CN106170799B CN106170799B (zh) 2021-01-22

Family

ID=52589709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580006098.4A Active CN106170799B (zh) 2014-01-27 2015-01-12 从图像提取信息以及将信息包括在临床报告中

Country Status (4)

Country Link
US (1) US10664567B2 (zh)
EP (1) EP3100209B1 (zh)
CN (1) CN106170799B (zh)
WO (1) WO2015110932A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599861A (zh) * 2016-12-20 2017-04-26 江苏大学附属医院 一种超声报告数值自动读取方法及装置
CN106934383A (zh) * 2017-03-23 2017-07-07 掌阅科技股份有限公司 文件中图片标注信息识别方法、装置及服务器
CN109003263A (zh) * 2018-06-30 2018-12-14 上海联影医疗科技有限公司 医学图像的参数信息显示方法、装置及pet系统
CN109147890A (zh) * 2018-05-14 2019-01-04 平安科技（深圳）有限公司 一种医学报告的生成方法及设备
CN109192261A (zh) * 2018-08-21 2019-01-11 上海商汤智能科技有限公司 信息处理方法及装置、电子设备及存储介质
WO2019056491A1 (zh) * 2017-09-21 2019-03-28 平安科技（深圳）有限公司 一种 ocr 识别的处理方法、存储介质和服务器
CN110168540A (zh) * 2017-01-09 2019-08-23 微软技术许可有限责任公司 在电子显示器上捕获注释
CN111627511A (zh) * 2020-05-29 2020-09-04 北京大恒普信医疗技术有限公司 眼科报告内容识别方法及装置、可读存储介质
CN113835598A (zh) * 2021-09-03 2021-12-24 维沃移动通信（杭州）有限公司 信息获取方法、装置及电子设备
US12094593B2 (en) * 2022-05-20 2024-09-17 Konica Minolta, Inc. Medical image display system, medical image display terminal, and recording medium

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9922026B2 (en) * 2011-11-14 2018-03-20 Koninklijke Philips N.V. System and method for processing a natural language textual report
US10176569B2 (en) 2016-09-07 2019-01-08 International Business Machines Corporation Multiple algorithm lesion segmentation
EP3754666A1 (en) * 2019-06-20 2020-12-23 Koninklijke Philips N.V. Medical image check apparatus
WO2021107099A1 (ja) * 2019-11-29 2021-06-03 富士フイルム株式会社 文書作成支援装置、文書作成支援方法及びプログラム
US20210366592A1 (en) * 2020-05-20 2021-11-25 Koninklijke Philips N.V. Real-time digital imaging and communication in medicine (dicom) label checker
WO2022103937A1 (en) * 2020-11-13 2022-05-19 Nuance Communications, Inc. Feedback system and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561848A (zh) * 2008-04-18 2009-10-21 株式会社东芝 阅片报告制作支援系统
US20110249299A1 (en) * 2010-04-07 2011-10-13 Xerox Corporation Preserving user applied markings made to a hardcopy original document
US20120020563A1 (en) * 2010-07-23 2012-01-26 International Business Machines Corporation Systems and Methods for Automated Extraction of Measurement Information in Medical Videos
CN102395974A (zh) * 2009-04-17 2012-03-28 皇家飞利浦电子股份有限公司 用于存储候选报告的系统和方法
CN102663446A (zh) * 2012-04-24 2012-09-12 南方医科大学 一种医学病灶图像的词袋模型的构建方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0616290B1 (en) * 1993-03-01 2003-02-05 Kabushiki Kaisha Toshiba Medical information processing system for supporting diagnosis.
US7242806B2 (en) 2002-01-23 2007-07-10 Honeywell International Inc. Methods, functional Data, and Systems for image feature translation
US7564999B2 (en) 2005-07-25 2009-07-21 Carestream Health, Inc. Method for identifying markers in radiographic images
DE102006035617A1 (de) 2006-07-31 2008-02-21 Siemens Ag Automatische Bestimmung von Tumorlast
WO2011137374A1 (en) * 2010-04-30 2011-11-03 Cornell University System and method for radiation dose reporting
JP2012038239A (ja) * 2010-08-11 2012-02-23 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
JP5462414B2 (ja) * 2011-06-30 2014-04-02 パナソニック株式会社 類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法
US8533204B2 (en) * 2011-09-02 2013-09-10 Xerox Corporation Text-based searching of image data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561848A (zh) * 2008-04-18 2009-10-21 株式会社东芝 阅片报告制作支援系统
CN102395974A (zh) * 2009-04-17 2012-03-28 皇家飞利浦电子股份有限公司 用于存储候选报告的系统和方法
US20110249299A1 (en) * 2010-04-07 2011-10-13 Xerox Corporation Preserving user applied markings made to a hardcopy original document
US20120020563A1 (en) * 2010-07-23 2012-01-26 International Business Machines Corporation Systems and Methods for Automated Extraction of Measurement Information in Medical Videos
CN102663446A (zh) * 2012-04-24 2012-09-12 南方医科大学 一种医学病灶图像的词袋模型的构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DAEKEUN YOU, ET AL.: "Figure content analysis for improved biomedical article retrieval", 《PROC. SPIE 7247, DOCUMENT RECOGNITION AND RETRIEVAL XVI》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599861A (zh) * 2016-12-20 2017-04-26 江苏大学附属医院 一种超声报告数值自动读取方法及装置
CN106599861B (zh) * 2016-12-20 2019-07-26 江苏大学附属医院 一种超声报告数值自动读取方法及装置
CN110168540A (zh) * 2017-01-09 2019-08-23 微软技术许可有限责任公司 在电子显示器上捕获注释
CN106934383A (zh) * 2017-03-23 2017-07-07 掌阅科技股份有限公司 文件中图片标注信息识别方法、装置及服务器
WO2019056491A1 (zh) * 2017-09-21 2019-03-28 平安科技（深圳）有限公司 一种 ocr 识别的处理方法、存储介质和服务器
CN109147890A (zh) * 2018-05-14 2019-01-04 平安科技（深圳）有限公司 一种医学报告的生成方法及设备
CN109003263A (zh) * 2018-06-30 2018-12-14 上海联影医疗科技有限公司 医学图像的参数信息显示方法、装置及pet系统
CN109192261A (zh) * 2018-08-21 2019-01-11 上海商汤智能科技有限公司 信息处理方法及装置、电子设备及存储介质
CN109192261B (zh) * 2018-08-21 2023-03-24 上海商汤智能科技有限公司 信息处理方法及装置、电子设备及存储介质
CN111627511A (zh) * 2020-05-29 2020-09-04 北京大恒普信医疗技术有限公司 眼科报告内容识别方法及装置、可读存储介质
CN113835598A (zh) * 2021-09-03 2021-12-24 维沃移动通信（杭州）有限公司 信息获取方法、装置及电子设备
US12094593B2 (en) * 2022-05-20 2024-09-17 Konica Minolta, Inc. Medical image display system, medical image display terminal, and recording medium

Also Published As

Publication number Publication date
EP3100209B1 (en) 2022-11-02
US10664567B2 (en) 2020-05-26
WO2015110932A1 (en) 2015-07-30
CN106170799B (zh) 2021-01-22
EP3100209A1 (en) 2016-12-07
US20160328517A1 (en) 2016-11-10

Similar Documents

Publication Publication Date Title
CN106170799A (zh) 从图像提取信息以及将信息包括在临床报告中
Wang Deep learning techniques to diagnose lung cancer
Rajaraman et al. Analyzing inter-reader variability affecting deep ensemble learning for COVID-19 detection in chest radiographs
CN106796621B (zh) 图像报告注释识别
RU2711305C2 (ru) Связывание отчета / изображения
CN105144242B (zh) 对图像注释进行分组
CN109564773B (zh) 用于自动检测关键图像的系统和方法
Dutta et al. Deep learning segmentation of triple-negative breast cancer (TNBC) patient derived tumor xenograft (PDX) and sensitivity of radiomic pipeline to tumor probability boundary
Candemir et al. Automatic heart localization and radiographic index computation in chest x-rays
US10878564B2 (en) Systems and methods for processing 3D anatomical volumes based on localization of 2D slices thereof
CN107004042A (zh) 图像指纹识别
CN111696082A (zh) 图像分割方法、装置、电子设备及计算机可读存储介质
CN111080583B (zh) 医学图像检测方法、计算机设备和可读存储介质
Chiang et al. Automatic classification of medical image modality and anatomical location using convolutional neural network
CN105190633B (zh) 图像可视化
Rajaraman et al. DeBoNet: A deep bone suppression model ensemble to improve disease detection in chest radiographs
von Berg et al. Robust chest x-ray quality assessment using convolutional neural networks and atlas regularization
WO2023274599A1 (en) Methods and systems for automated follow-up reading of medical image data
Huynh et al. Region-of-interest optimization for deep-learning-based breast cancer detection in mammograms
Ghosh et al. Deep learning-based prediction of rib fracture presence in frontal radiographs of children under two years of age: a proof-of-concept study
Wang et al. Preparing CT imaging datasets for deep learning in lung nodule analysis: Insights from four well-known datasets
RU2740219C2 (ru) Движок для контекстно-зависимых медицинских рекомендаций
Capellán-Martín et al. Deep learning-based lung segmentation and automatic regional template in chest X-ray images for pediatric tuberculosis
Rajaraman et al. Interpreting deep ensemble learning through radiologist annotations for COVID-19 detection in chest radiographs
Gupta et al. Deep Learning Based Automatic Detection of Adequately Positioned Mammograms

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant