CN113707291A - 医学影像辅助判读系统 - Google Patents

医学影像辅助判读系统 Download PDF

Info

Publication number
CN113707291A
CN113707291A CN202010620829.7A CN202010620829A CN113707291A CN 113707291 A CN113707291 A CN 113707291A CN 202010620829 A CN202010620829 A CN 202010620829A CN 113707291 A CN113707291 A CN 113707291A
Authority
CN
China
Prior art keywords
tissue
marks
image
medical image
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010620829.7A
Other languages
English (en)
Inventor
黄建中
杨建霆
沈子贵
高煜勋
洪国栋
李岳衡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beizhi Medical Electronics Co ltd
Original Assignee
Times Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Times Polytron Technologies Inc filed Critical Times Polytron Technologies Inc
Publication of CN113707291A publication Critical patent/CN113707291A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种医学影像辅助判读系统，适用于使多张组织影像呈现多个组织特征，并包含处理单元及显示单元。所述处理单元包括产生多个分别对应所述组织影像且适用于呈现所述组织影像相对位置的参考位置尺标的位置信息模块，及产生多个分别对应所述组织影像且相关于所述组织特征的提示记号的特征标记模块。所述显示单元包括用于将各自的所述参考位置尺标及所述提示记号与对应的所述组织影像同时显示的辅助显示模块。所述辅助显示模块依据所述组织影像的排列顺序，使所述提示记号显示在所述参考位置尺标的对应位置，便于快速辨认所述组织特征。

Description

医学影像辅助判读系统
技术领域
本发明涉及一种影像辅助系统，特别是涉及一种医学影像辅助判读系统。
背景技术
为了能准确诊断人体内部器官的疾病或伤害，或者是在进行手术前找出病灶的位置，医师常以电脑断层扫描(ComputedTomography，简称CT)，或是磁振造影(MagneticResonance Imaging，简称MRI)等成像技术对人体进行扫描，在取得人体内部器官的影像后，以逐张判读的方式找出病灶。然而，由于每次扫描后将取得数百张的影像，即使医师能依照经验针对疾病的好发位置锁定一个优先判读的范围，但仍须花费不少时间进行判读，另外，在病灶的定位、标示及尺寸测量等后续步骤的执行也十分耗时。除了将加重医师的工作负担，也可能使医师在时间压力下忽略了位于该优先判读范围以外的其他病灶，造成诊断上的疏忽。
虽然目前坊间已有运用人工智能(Artificial Intelligence，简称为AI)进行医学影像辅助判读的技术，但由于在执行前通常需要另外安装医学影像辅助判读软件，并不能以医师原本惯用的影像浏览软件执行AI辅助判读，使得医师需要额外花费时间熟悉新的软件，且须同时开启医学影像辅助判读软件及既有的影像浏览软件，并针对病灶的所在位置进行交互比对，才能得知病灶的确切位置，造成使用上极大的不便。因此，需要一种更便于医师使用的辅助判读工具。
发明内容
本发明的目的在于提供一种能解决上述至少一个问题的医学影像辅助判读系统。
本发明医学影像辅助判读系统，适用于配合显示装置，在医学影像模型的多张组织影像中呈现出多个组织特征。所述医学影像辅助判读系统包含适用于依据执行规则组合自动分析所述组织影像的处理单元，及信息连接所述处理单元及所述显示装置的显示单元。
所述处理单元包括依据所述执行规则组合的呈现规则运作的位置信息模块，及依据所述执行规则组合的标记规则运作的特征标记模块，所述位置信息模块用于产生多个分别对应所述组织影像且适用于呈现所述组织影像的相对位置的参考位置尺标，所述特征标记模块用于产生多个分别对应所述组织影像且相关于所述组织特征的提示记号。
所述显示单元包括适用于使所述显示装置显示所述组织影像的影像显示模块，及用于将各自的所述参考位置尺标及所述提示记号与对应的所述组织影像同时显示于所述显示装置的辅助显示模块，所述辅助显示模块依据所述组织影像的排列顺序，使所述提示记号显示在所述参考位置尺标的对应位置，以适用于供使用者在所述医学影像模型中快速辨认所述组织特征。
本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。
较佳地，前述的医学影像辅助判读系统，其中所述位置信息模块还产生多个分别对应所述组织影像且相关于所述组织影像的排列顺序的顺序记号，所述辅助显示模块还用于将各自的所述顺序记号与对应的所述组织影像同时显示。
较佳地，前述的医学影像辅助判读系统，其中所述特征标记模块还产生多个分别对应所述组织特征的特征记号，所述辅助显示模块还用于将各自的所述特征记号与对应的所述组织影像同时显示。
较佳地，前述的医学影像辅助判读系统，其中每一参考位置尺标为座标轴，所述特征标记模块适用于依据所述组织影像的排列顺序，在所述座标轴的对应位置标记所述组织影像对应的所述提示记号。
较佳地，前述的医学影像辅助判读系统，其中每一参考位置尺标为网格，所述影像显示模块还适用于在所述网格中显示多张排列顺序相邻于对应的所述组织影像的预览缩图，所述特征标记模块适用于依据所述预览缩图对应的所述组织影像，及所述组织影像的排列顺序，在每一网格的对应位置标记所述组织影像对应的所述提示记号。
较佳地，前述的医学影像辅助判读系统，其中每一参考位置尺标为座标轴，所述位置信息模块适用于依据所述组织影像的排列顺序，在每一座标轴的对应位置标记每一组织影像对应的所述顺序记号。
较佳地，前述的医学影像辅助判读系统，其中每一参考位置尺标为网格，所述影像显示模块还适用于在所述网格中显示多张排列顺序相邻于对应的所述组织影像的预览缩图，所述位置信息模块适用于依据所述预览缩图对应的所述组织影像，及所述组织影像的排列顺序，在每一网格的对应位置标记每一组织影像对应的所述顺序记号。
较佳地，前述的医学影像辅助判读系统，其中所述医学影像辅助判读系统还包含信息连接所述处理单元的储存单元，所述储存单元储存有多个分别对应于多种组织特征的特征条件，所述特征标记模块依据所述特征条件，在所述医学影像模型中标记分别对应于所述组织特征的所述提示记号。
较佳地，前述的医学影像辅助判读系统，其中每一特征条件对应的所述提示记号的型态，与其他特征条件对应的所述提示记号的型态不同。
较佳地，前述的医学影像辅助判读系统，其中所述显示单元还包括信息连接所述辅助显示模块的界面模块，所述界面模块可受操作，而使每一特征条件对应的所述提示记号，与其他特征条件对应的所述提示记号同时或不同时地显示。
较佳地，前述的医学影像辅助判读系统，其中所述储存单元还储存有多个分别对应于多种判读敏感度的敏感度条件，所述特征标记模块依据所述敏感度条件，在所述医学影像模型中标记对应所述判读敏感度的所述提示记号。
较佳地，前述的医学影像辅助判读系统，其中每一敏感度条件对应的所述提示记号的型态，与其他敏感度条件对应的所述提示记号的型态不同。
较佳地，前述的医学影像辅助判读系统，其中所述显示单元还包括信息连接所述辅助显示模块的界面模块，所述界面模块可受操作，而使每一敏感度条件对应的所述提示记号，与其他特征条件对应的所述提示记号同时或不同时地显示。
较佳地，前述的医学影像辅助判读系统，其中所述处理单元储存有用于执行所述标记规则的神经网络模型。
较佳地，前述的医学影像辅助判读系统，其中所述处理单元储存有多个用于执行所述标记规则，且分别对应于所述特征条件的神经网络模型。
较佳地，前述的医学影像辅助判读系统，其中所述组织影像、所述参考位置尺标，及所述提示记号的传输标准是遵守医疗数位影像传输协定(Digital Imaging andCommunications in Medicine，DICOM)。
本发明的有益效果在于：以所述位置信息模块及所述特征标记模块产生所述参考位置尺标及所述提示记号，在所述影像显示装置使其中一张组织影像显示时，所述辅助显示装置能使对应的所述参考位置尺标及所述提示记号同时显示，使所述使用者能以单一个既有的影像软件同时浏览所述组织影像、所述参考位置尺标及所述提示记号，并能以所述参考位置尺标及所述提示记号的相对位置，预先辨认出所述组织影像中所含有的所述组织特征的种类，有效提升所述使用者的浏览效率。
附图说明
图1是一示意图，说明本发明医学影像辅助判读系统的一实施例；
图2是一示意图，说明以该实施例分析多张组织影像时，该实施例的一处理单元及一显示单元的运作方式；
图3是一示意图，说明该实施例的一个第一实施方式，及该实施例的一界面模块受操作的情况；
图4是一示意图，说明该界面模块受操作后，该实施例的一辅助显示模块使一参考位置尺标、一顺序记号，及该实施例的一储存单元所储存的其中一种特征条件对应的多个提示记号，与一组织影像同时显示的情况；
图5是一示意图，说明一使用者所浏览的该组织影像中含有一被标记的组织特征时，将对应显示一特征记号的情况；
图6是一示意图，说明该界面模块受操作后，该辅助显示模块使该储存单元所储存的多种特征条件对应的这些提示记号，与该组织影像同时显示的情况；
图7是一示意图，说明该界面模块受操作后，该辅助显示模块使该储存单元所储存的多种敏感度条件对应的这些特征记号及这些提示记号，与该组织影像同时显示的情况；
图8及图9是一示意图，配合说明该实施例的一个第二实施方式；及
图10及图11是一示意图，配合说明该实施例的一个第三实施方式。
具体实施方式
下面结合附图及实施例对本发明进行详细说明：
参阅图1，本发明医学影像辅助判读系统的一实施例，适用于配合一显示装置，在一医学影像模型的多张组织影像中呈现出多个组织特征。须先行说明的是，本实施例所指的医学影像模型，为病患以医学成像设备进行一次摄影后，所拍摄的一系列含有病患组织影像的集合，每一个医学影像模型中含有多张呈连续性的组织影像。在本实施例中，所呈现的这些组织特征可以是未病变的正常组织，也可以是病变后的非正常组织，例如结节或囊肿等。
另外，这些组织影像的传输标准是遵守医疗数位影像传输协定(Digital Imagingand Communications in Medicine，简称为DICOM)，且这些组织影像在经过本实施例的处理后仍遵守DICOM，使得一使用者(例如为医师或护理师等医护人员)可通过一医学影像存档与通信系统(Picture Archiving and Communication System，简称为PACS)，或是一医院信息系统(Hospital Information System，简称为HIS)直接调阅以本实施例处理的这些组织影像，并能直接以惯用的影像浏览软件进行浏览。
该医学影像辅助判读系统包含一适用于依据一执行规则组合自动分析这些组织影像的处理单元1、一信息连接该处理单元1及该显示装置的显示单元2，及一信息连接该处理单元1的储存单元3。本实施例可被程式化，而以程式软件的方式实现，也就是说，在本实施例的部分实施方式中，前述该些单元可以不为实体的元件。
该处理单元1包括一依据该执行规则组合的一呈现规则运作的位置信息模块11，及一依据该执行规则组合的一标记规则运作的特征标记模块12。在本实施例中，该处理单元1储存有多个用于执行该标记规则的神经网络模型，且这些神经网络模型是以例如深度学习的方式预先训练，但并不以此为限。
该位置信息模块11用于产生多个分别对应这些组织影像且适用于呈现这些组织影像的相对位置的参考位置尺标，及多个分别对应这些组织影像且相关于这些组织影像的排列顺序的顺序记号。该特征标记模块12用于产生多个分别对应这些组织影像且相关于这些组织特征的提示记号，及多个分别对应这些组织特征的特征记号。在本实施例中，每一个顺序记号含有组织影像序数及组织影像总数，每一个特征记号含有特征编号、特征尺寸的其中至少一个，然而，这些顺序记号及这些特征记号所含有的文字信息并不以此为限。
该显示单元2包括一影像显示模块21、一辅助显示模块22，及一信息连接该辅助显示模块22的界面模块23。该影像显示模块21适用于使该显示装置显示这些组织影像，该辅助显示模块22用于将各自的该参考位置尺标及这些提示记号与对应的该组织影像同时显示于该显示装置，并依据这些组织影像的排列顺序，使这些提示记号显示在这些参考位置尺标的对应位置，以及将各自的该顺序记号及各自的该特征记号，与对应的该组织影像同时显示。
该储存单元3储存有多个分别对应于多种组织特征的特征条件，及多个分别对应于多种判读敏感度的敏感度条件，使该特征标记模块12能依据这些特征条件，在该医学影像模型中标记分别对应于这些组织特征的这些特征记号及这些提示记号，并使该特征标记模块12能依据这些敏感度条件，在该医学影像模型中标记对应这些判读敏感度的这些提示记号。该界面模块23可受操作，而使每一个特征条件对应的这些特征记号及这些提示记号，与其他特征条件对应的这些特征记号及这些提示记号同时或不同时地显示，并使每一个敏感度条件对应的这些提示记号，与其他特征条件对应的这些提示记号同时或不同时地显示。
在本实施例中，该处理单元1所储存的这些神经网络模型是分别对应于这些特征条件，也就是说，每一个神经网络模型是根据一种特征条件执行该标记规则，使该特征标记模块12依据该神经网络模型所根据的该特征条件进行标记，借此，即能同时以多个神经网络模型针对同一个医学影像模型进行不同种组织特征的标记。
举例而言，该处理单元1可储存有两个神经网络模型，而该储存单元3同时储存有一个对应于结节的特征条件，及一个对应于囊肿的特征条件，其中一个神经网络模型是根据对应于结节的该特征条件执行该标记规则，另一个神经网络模型是根据对应于囊肿的该特征条件执行该标记规则，即能使该特征标记模块12依据对应于结节的该特征条件，在该医学影像模型中标记对应结节的这些特征记号及这些提示记号，并依据对应于囊肿的该特征条件，在该医学影像模型中标记对应囊肿的这些特征记号及这些提示记号。
须补充说明的是，在本实施例中，判读敏感度是指该处理单元1对于该使用者所感兴趣的组织特征的侦测程度，与这些提示记号及这些特征记号的数量相关。当该处理单元1以越高的判读敏感度分析这些组织影像时，该特征标记模块12可能将侦测到越多的组织特征，并对应这些组织特征标记出越多的这些特征记号，且根据越多的这些特征记号，在这些特征记号所对应的这些参考位置尺标标记出越多的这些提示记号；当该处理单元1以越低的判读敏感度分析这些组织影像时，该特征标记模块12可能将侦测到越少的组织特征，并对应这些组织特征标记出越少的这些特征记号，且在根据越少的这些特征记号，这些特征记号所对应的这些参考位置尺标标记出越少的这些提示记号。
另外，判读敏感度并非为越高越好，当该使用者想自这些组织影像中辨识出结节时，在所设定的判读敏感度越高时，该处理单元1也有可能将正常组织误判为结节，使得该特征标记模块12针对正常组织标记对应的该特征记号。该使用者可在多次使用本实施例后，依据对于本实施例的信任度，或自身需求选择适当的判读敏感度。举例而言，当该使用者认为本实施例即使在以高判读敏感度进行辅助，也不容易因为过度侦测而导致该使用者误判，或者是由于病患的病况特殊，或病患为罹患某种疾病的高危险群，而需要更加谨慎地评估这些组织影像时，该使用者即能操作该界面模块23选择这些敏感度条件中较高的一个，以确保该使用者能掌握更多可能相关于病变的这些组织特征。
在本实施例中，每一个特征条件对应的这些提示记号的型态，可与其他特征条件对应的这些提示记号的型态相同或不同，每一个特征条件对应的这些特征记号的型态，可与其他特征条件对应的这些特征记号的型态相同或不同，而这些提示记号及这些特征记号的型态差异包含但不限于形状、颜色、大小、线条粗细。当每一个特征条件对应的这些提示记号及这些特征记号的型态，与其他特征条件对应的这些提示记号及这些特征记号的型态不同时，该使用者能很容易地通过不同型态的这些提示记号及这些特征记号，辨认出这些提示记号及这些特征记号所对应的该特征条件不同，并能轻易得知这些提示记号及这些特征记号各自对应的组织特征。
同样地，在本实施例中，每一个敏感度条件对应的这些提示记号的型态，可与其他敏感度条件对应的这些提示记号的型态相同或不同，每一个敏感度条件对应的这些特征记号的型态，可与其他敏感度条件对应的这些特征记号的型态相同或不同，而这些提示记号及这些特征记号的型态差异包含但不限于形状、颜色、大小。当每一个敏感度条件对应的这些提示记号及这些特征记号的型态，与其他敏感度条件对应的这些提示记号及这些特征记号的型态不同时，该使用者能很容易地通过不同型态的这些提示记号及这些特征记号，辨认出这些提示记号及这些特征记号所对应的该敏感度条件不同，并能轻易得知这些提示记号及这些特征记号各自对应的敏感度。
为有助于理解本实施例的实施方式，以下将举例说明本实施例的其中一种执行方式。
配合参阅图1与图2，在本实施例中，该位置信息模块11在依据该呈现规则运作后，将根据这些组织影像的数量产生相同数量的这些参考位置尺标及这些顺序记号。举例而言，当这些组织影像的总数量如图2所示地为四张时，该位置信息模块11将产生四个参考位置尺标及四个顺序记号。为便于说明，以下将图2中位于相对上方的两个参考位置尺标由上至下标示为“4a”、“4b”，并将图2中位于相对上方的两个顺序记号由上至下标示为“5a”、“5b”。
该影像显示模块21将一次显示一张组织影像，该辅助显示模块22将使一个参考位置尺标与一张组织影像同时显示，并使代表第一张组织影像的该顺序记号5a如图2所示地显示在该参考位置尺标4a的对应位置，代表第二张组织影像的该顺序记号5b显示在该参考位置尺标4b的对应位置，以此类推。借此，该使用者即能通过每一个顺序记号与所对应的该参考位置尺标的相对位置，以及这些顺序记号所显示的文字信息，判断目前显示的该组织影像在所有组织影像中的顺序。
而每一个神经网络模型执行该标记规则后，该特征标记模块12将根据这些组织特征的数量，产生相同数量的这些特征记号，并根据这些特征记号所对应的这些组织影像的数量，产生数量相同的这些提示记号，这些提示记号及这些特征记号的数量并非为一对一的对应关系。
举例而言，以一个神经网络模型针对这些组织影像执行该标记规则后，若分析出只有其中一张组织影像含有一个病变的组织特征，则该特征标记模块12将产生一个相关于病变的组织特征的特征记号，以及一个对应的提示记号，并针对其他三张组织影像产生三个相关于正常的组织特征的特征记号，以及三个对应的提示记号。当分析出其中一张组织影像含有两个病变的组织特征时，该特征标记模块12将产生两个对应于同一张组织影像的特征记号，并仅产生一个对应于该组织影像的提示记号。
须特别说明的是，为便于区隔不同种类的这些组织特征，可将相关于不同种类的这些组织特征的这些特征记号以不同的型态作为区隔，所对应的这些提示记号的型态也将彼此不同，且其型态差异包含但不限于颜色差异，例如，该使用者能通过有色及无色的这些特征记号及这些提示记号，区分所对应的这些特征组织。也就是说，当未有任何有色的特征记号与经分析过的该组织影像同时显示时，即代表实质上显示了一个无色的特征记号及一个无色的提示记号，但该使用者无法在该显示装置上观察到该特征记号及该提示记号。
为便于说明，以下将图2中的该特征记号标示为由上至下标示为“6a”、“6b”、“6c”、“6d”、“6e”，并将这些提示记号由上至下标示为“7a”、“7b”、“7c”、“7d”。其中，仅有有色的这些特征记号6b、6c，及有色的该提示记号7b是相关于病变的这些组织特征，无色(图2中以虚线绘示)的这些特征记号6a、6d、6e，及无色(图2中以虚线绘示)的这些提示记号7a、7c、7d皆相关于正常的这些组织特征。须补充说明的是，还能再将有色的这些特征记号6b、6c，进一步再以颜色差异将病变的这些组织特征再进行分类。例如，当该特征记号6b为红色，而该特征记号6c为绿色时，即代表该特征记号6b是相关于恶性的这些组织特征(如恶性肿瘤)，且该特征记号6c是相关于良性的这些组织特征(如良性肿瘤)。
在该特征标记模块12产生这些特征记号及这些提示记号后，该特征标记模块12将再于这些参考位置尺标上分别标记该提示记号7b，使该使用者在浏览任一张组织影像时，该提示记号7b将能显示在每一个参考位置尺标上代表第二张组织影像的位置，因此，该使用者在浏览第一张组织影像时，即能通过该提示记号7b，预先得知在所有组织影像中仅有第二张组织影像含有病变的这些组织特征。
为方便说明本实施例的运作方式，以下仅就本实施例的其中一个使用情境，来说明该医学影像辅助判读系统的执行。在本实施例中，是以电脑断层扫描仪针对病患的肺部进行扫描，而取得相关于该病患肺部组织的该医学影像模型，即该使用者是希望在含有病患肺部的这些组织影像中，快速辨认出肺结节及肺囊肿等组织特征。然而，在本实施例的其他实施方式中，所能分析的组织特征并不限于肺结节及肺囊肿。
配合参阅图1、图3与图4，本实施例的一个第一实施方式。由于该使用者是以既有的浏览软件配合本实施例浏览这些组织影像，实际操作时，这些组织影像将可能与例如病历号码、拍摄时间及拍摄部位等文字信息同时显示，以便于了解这些组织影像的相关信息。然而，这些文字信息的显示为现有技术，且非本案所要主张的主要技术内容，因此本说明书不再进一步说明，也不绘示于图式中，合先叙明。
在本第一实施方式中，每一个参考位置尺标为一座标轴，该位置信息模块11适用于依据这些组织影像的排列顺序，在每一个座标轴的对应位置标记每一张组织影像对应的该顺序记号，该特征标记模块12适用于依据这些组织影像的排列顺序，在这些座标轴的对应位置标记这些组织影像对应的这些提示记号。在该使用者浏览该医学影像模型的这些组织影像时，该影像显示模块21将使该显示装置显示该医学影像模型的其中一张组织影像，该使用者可操作该界面模块23，使对应的该参考位置尺标、对应的该顺序记号、对应的该特征记号，及这些提示记号皆如图3所示地不显示于该显示装置，或是如图4所示地与该组织影像同时显示于该显示装置(图4仅显示相关于肺结节的这些提示记号)。
配合参阅图4与图5，借此，该使用者能由图4所示的未含有对应的该特征记号的画面，得知所浏览的该组织影像中未含有肺结节，并由图5所示的含有对应的该特征记号的画面，得知所浏览的该组织影像中含有一个肺结节，再通过该特征记号所含有的文字信息得知肺结节的尺寸或密度等信息。另外，在浏览排列顺序较前面的这些组织影像时，即能通过这些提示记号，预先得知排列顺序较后面的部分组织影像中将含有肺结节。该使用者能通过这些特征记号及这些提示记号，快速确认该医学影像模型中含有肺结节，并迅速得知肺结节的所在位置，且该使用者也可依据这些提示记号，直接针对标记有这些特征记号的这些组织影像进行浏览，能有效提升该使用者的浏览效率。
配合参阅图1、图5与图6，该使用者还能操作该界面模块23，而使对应肺结节的这些特征记号及这些提示记号，与对应肺囊肿的这些特征记号及这些提示记号如图5所示地不同时显示，或如图6所示地同时显示(图6中未绘示对应肺囊肿的这些特征记号)。在本第一实施方式中，是以形状区隔不同的这些特征条件所对应的这些提示记号，该使用者即能由图6中正方形的这些提示记号，得知其所对应的这些组织影像中含有相关于肺结节的这些组织特征，并能由图6中三角形的这些提示记号，得知其所对应的这些组织影像中含有相关于肺囊肿的这些组织特征。借此，该使用者即能轻易分辨这些提示记号所对应的这些组织特征。
配合参阅图1、图5与图7，该使用者还能再操作该界面模块23，而使不同敏感度条件对应的这些提示记号及这些特征记号，与其他特征条件对应的这些提示记号及这些特征记号如图5所示地不同时显示，或如图7所示地同时显示。在本第一实施方式中，是以框线粗细区隔不同敏感度条件所对应的这些特征记号，并以颜色区隔不同敏感度条件所对应的这些提示记号，该使用者即能由颜色较深的这些提示记号，以及由图7中框线较细的这些特征记号，得知这些提示记号及这些特征记号是以较低的判读敏感度进行标记，并能由颜色较浅的这些提示记号，以及由图7中框线较粗的这些特征记号，得知这些提示记号及这些特征记号是以较高的判读敏感度进行标记。借此，该使用者即能轻易分辨这些提示记号及这些特征记号所对应的这些敏感度条件。
配合参阅图1、图8与图9，本实施例的一个第二实施方式，本第二实施方式与该第一实施方式大致相同，差异在于，在本第二实施方式中，每一个参考位置尺标为一网格，该影像显示模块21还适用于在该网格中显示多张排列顺序相邻于对应的该组织影像的预览缩图，该位置信息模块11适用于依据这些预览缩图对应的这些组织影像，及这些组织影像的排列顺序，在每一个网格的对应位置标记每一个由该影像显示模块21显示的该组织影像对应的该顺序记号，该特征标记模块12适用于依据这些预览缩图对应的这些组织影像，及这些组织影像的排列顺序，在每一个网格的对应位置标记这些组织影像对应的这些提示记号。本第二实施方式是以列数及栏数皆为三的该网格作为示例，然而实际使用时，该网格的列数及栏数并不以此为限。
该使用者能操作该界面模块23，而使对应肺结节的这些特征记号及这些提示记号，与对应肺囊肿的这些特征记号及这些提示记号如图8所示地不同时显示，或如图9所示地同时显示(图9中未绘示对应肺囊肿的这些特征记号)。在本第二实施方式中，是以线条方式区隔不同特征条件所对应的这些提示记号，该使用者即能由图8及图9中线条为粗实线的该提示记号，得知其所对应的该组织影像中含有相关于肺结节的该组织特征，并能由图9中线条为粗虚线的该提示记号，得知其所对应的该组织影像中含有相关于肺囊肿的该组织特征。借此，该使用者即能如图9所示地，在浏览排列顺序较前面的这些组织影像时，即能通过这些提示记号，预先得知排列顺序较后面的该组织影像中将含有相关于肺囊肿的该组织特征。
配合参阅图1、图10与图11，本实施例的一个第三实施方式，本第三实施方式与该第二实施方式大致相同，差异在于，本第三实施方式可针对其中一张组织影像再进行放大检视。在本第三实施方式中，这些预览缩图为该组织影像的局部缩图，该影像显示模块21适用于在该网格中显示多张该组织影像的局部缩图，并在图10中左方显示该组织影像的其中一张局部放大图，该使用者同样能以线条方式区隔不同特征条件所对应的这些提示记号，即能由图10中线条为粗实线的这些提示记号，先行得知这些提示记号所对应的这些组织影像中含有相关于肺结节的该组织特征。
由于现有的AI影像辅助判读技术，所采用的AI模型多为沿用共享资源进行编辑而形成，因此，所能分析的影像格式将受限于JPG或BMP等常见的数位影像档案格式，须先将传输标准遵守DICOM的这些组织影像进行格式转换，才能再以AI模型执行辅助判读。因此，该使用者须使用另外的软件检视AI辅助判读结果，且经转换格式的影像也难以还原成传输标准遵守DICOM的格式，该使用者须手动将这些组织特征标记在传输标准遵守DICOM的这些组织影像，才能再通过PACS或HIS进行这些组织影像的后续使用，将大量耗费该使用者的时间及精神。
而本实施例所储存的这些神经网络模型可使该特征标记模块12在不改变影像格式的前提下，直接在传输标准遵守DICOM的这些组织影像上加注附加信息，除了不须破坏原有的影像传输架构，更能有效节省该使用者的浏览等作业时间，并降低人工作业而可能导致的错误率。
须特别说明的是，在本实施例的其他实施方式中，该处理单元1也可以只储存有一个神经网络模型，该储存单元3也可以只储存有一个特征条件，该处理单元1同样能以该神经网络模型根据该特征条件执行该标记规则，而分析这些组织影像。另外，每一个参考位置尺标也可以同时为该座标轴及该网格，可同时以两种不同方式的这些参考位置尺标进行视觉上的辅助。

Claims (16)

1.一种医学影像辅助判读系统，适用于配合显示装置，在医学影像模型的多张组织影像中呈现出多个组织特征；其特征在于：所述医学影像辅助判读系统包含：
处理单元，适用于依据执行规则组合自动分析所述组织影像，并包括依据所述执行规则组合的呈现规则运作的位置信息模块，及依据所述执行规则组合的标记规则运作的特征标记模块，所述位置信息模块用于产生多个分别对应所述组织影像且适用于呈现所述组织影像的相对位置的参考位置尺标，所述特征标记模块用于产生多个分别对应所述组织影像且相关于所述组织特征的提示记号；及
显示单元，信息连接所述处理单元及所述显示装置，并包括适用于使所述显示装置显示所述组织影像的影像显示模块，及用于将各自的所述参考位置尺标及所述提示记号与对应的所述组织影像同时显示于所述显示装置的辅助显示模块，所述辅助显示模块依据所述组织影像的排列顺序，使所述提示记号显示在所述参考位置尺标的对应位置，以适用于供使用者在所述医学影像模型中快速辨认所述组织特征。
2.如权利要求1所述的医学影像辅助判读系统，其特征在于：所述位置信息模块还产生多个分别对应所述组织影像且相关于所述组织影像的排列顺序的顺序记号，所述辅助显示模块还用于将各自的所述顺序记号与对应的所述组织影像同时显示。
3.如权利要求1所述的医学影像辅助判读系统，其特征在于：所述特征标记模块还产生多个分别对应所述组织特征的特征记号，所述辅助显示模块还用于将各自的所述特征记号与对应的所述组织影像同时显示。
4.如权利要求1所述的医学影像辅助判读系统，其特征在于：每一参考位置尺标为座标轴，所述特征标记模块适用于依据所述组织影像的排列顺序，在所述座标轴的对应位置标记所述组织影像对应的所述提示记号。
5.如权利要求1或4所述的医学影像辅助判读系统，其特征在于：每一参考位置尺标为网格，所述影像显示模块还适用于在所述网格中显示多张排列顺序相邻于对应的所述组织影像的预览缩图，所述特征标记模块适用于依据所述预览缩图对应的所述组织影像，及所述组织影像的排列顺序，在每一网格的对应位置标记所述组织影像对应的所述提示记号。
6.如权利要求2所述的医学影像辅助判读系统，其特征在于：每一参考位置尺标为座标轴，所述位置信息模块适用于依据所述组织影像的排列顺序，在每一座标轴的对应位置标记每一组织影像对应的所述顺序记号。
7.如权利要求2或6所述的医学影像辅助判读系统，其特征在于：每一参考位置尺标为网格，所述影像显示模块还适用于在所述网格中显示多张排列顺序相邻于对应的所述组织影像的预览缩图，所述位置信息模块适用于依据所述预览缩图对应的所述组织影像，及所述组织影像的排列顺序，在每一网格的对应位置标记每一组织影像对应的所述顺序记号。
8.如权利要求1所述的医学影像辅助判读系统，其特征在于：还包含信息连接所述处理单元的储存单元，所述储存单元储存有多个分别对应于多种组织特征的特征条件，所述特征标记模块依据所述特征条件，在所述医学影像模型中标记分别对应于所述组织特征的所述提示记号。
9.如权利要求8所述的医学影像辅助判读系统，其特征在于：每一特征条件对应的所述提示记号的型态，与其他特征条件对应的所述提示记号的型态不同。
10.如权利要求8或9所述的医学影像辅助判读系统，其特征在于：所述显示单元还包括信息连接所述辅助显示模块的界面模块，所述界面模块可受操作，而使每一特征条件对应的所述提示记号，与其他特征条件对应的所述提示记号同时或不同时地显示。
11.如权利要求1所述的医学影像辅助判读系统，其特征在于：所述储存单元还储存有多个分别对应于多种判读敏感度的敏感度条件，所述特征标记模块依据所述敏感度条件，在所述医学影像模型中标记对应所述判读敏感度的所述提示记号。
12.如权利要求11所述的医学影像辅助判读系统，其特征在于：每一敏感度条件对应的所述提示记号的型态，与其他敏感度条件对应的所述提示记号的型态不同。
13.如权利要求11或12所述的医学影像辅助判读系统，其特征在于：所述显示单元还包括信息连接所述辅助显示模块的界面模块，所述界面模块可受操作，而使每一敏感度条件对应的所述提示记号，与其他特征条件对应的所述提示记号同时或不同时地显示。
14.如权利要求1所述的医学影像辅助判读系统，其特征在于：所述处理单元储存有用于执行所述标记规则的神经网络模型。
15.如权利要求8所述的医学影像辅助判读系统，其特征在于：所述处理单元储存有多个用于执行所述标记规则，且分别对应于所述特征条件的神经网络模型。
16.如权利要求1所述的医学影像辅助判读系统，其特征在于：所述组织影像、所述参考位置尺标，及所述提示记号的传输标准是遵守医疗数位影像传输协定。
CN202010620829.7A 2020-05-20 2020-06-30 医学影像辅助判读系统 Pending CN113707291A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW109116758A TWI799705B (zh) 2020-05-20 2020-05-20 醫學影像輔助判讀系統
TW109116758 2020-05-20

Publications (1)

Publication Number Publication Date
CN113707291A true CN113707291A (zh) 2021-11-26

Family

ID=78608175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010620829.7A Pending CN113707291A (zh) 2020-05-20 2020-06-30 医学影像辅助判读系统

Country Status (4)

Country Link
US (1) US11580643B2 (zh)
JP (1) JP2021183114A (zh)
CN (1) CN113707291A (zh)
TW (1) TWI799705B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030095697A1 (en) * 2000-11-22 2003-05-22 Wood Susan A. Graphical user interface for display of anatomical information
US20030212327A1 (en) * 2000-11-24 2003-11-13 U-Systems Inc. Adjunctive ultrasound processing and display for breast cancer screening
JP2010131239A (ja) * 2008-12-05 2010-06-17 Konica Minolta Medical & Graphic Inc 医用画像表示装置及びプログラム
US20140033126A1 (en) * 2008-12-08 2014-01-30 Hologic, Inc. Displaying Computer-Aided Detection Information With Associated Breast Tomosynthesis Image Information
CN107908323A (zh) * 2017-11-10 2018-04-13 上海联影医疗科技有限公司 医学图像显示方法、装置和计算机存储介质
CN108962355A (zh) * 2018-07-06 2018-12-07 腾讯科技（深圳）有限公司 一种影像的关联显示方法、装置及服务设备、存储介质
CN110675398A (zh) * 2019-10-22 2020-01-10 深圳瀚维智能医疗科技有限公司 乳腺超声筛查方法、装置及计算机设备
CN111142753A (zh) * 2019-12-27 2020-05-12 杭州依图医疗技术有限公司 交互方法、信息处理方法及存储介质
CN111161822A (zh) * 2018-11-08 2020-05-15 北京赛迈特锐医疗科技有限公司 医学影像人工智能诊断数据管理系统及其管理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630531B2 (en) * 2006-01-31 2009-12-08 Mevis Medical Solutions, Inc. Enhanced navigational tools for comparing medical images
US8051386B2 (en) * 2006-12-21 2011-11-01 Sectra Ab CAD-based navigation of views of medical image data stacks or volumes
US20100141654A1 (en) * 2008-12-08 2010-06-10 Neemuchwala Huzefa F Device and Method for Displaying Feature Marks Related to Features in Three Dimensional Images on Review Stations
EP2535829A3 (en) * 2009-10-07 2013-07-10 Hologic, Inc. Processing and displaying computer-aided detection information associated with breast x-ray images
US10049445B2 (en) * 2011-07-29 2018-08-14 Canon Kabushiki Kaisha Image processing apparatus and image processing method of a three-dimensional medical image
DE102016208647A1 (de) * 2016-05-19 2017-11-23 Siemens Healthcare Gmbh Verfahren und Vorrichtung zur Überwachung einer Brustuntersuchung
US10909679B2 (en) * 2017-09-24 2021-02-02 PME IP Pty Ltd Method and system for rule based display of sets of images using image content derived parameters
JP6945474B2 (ja) * 2018-02-28 2021-10-06 富士フイルム株式会社 学習用データ作成支援装置、学習用データ作成支援方法、および学習用データ作成支援プログラム
AU2019289081B2 (en) * 2018-06-19 2022-02-24 Howmedica Osteonics Corp. Mixed reality-aided education related to orthopedic surgical procedures
EP3611733B1 (en) * 2018-08-15 2024-09-25 Siemens Healthineers AG Searching a medical reference image
JP7341874B2 (ja) * 2018-12-26 2023-09-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7203474B2 (ja) * 2019-02-20 2023-01-13 富士フイルム株式会社 マンモグラフィ装置及びプログラム
WO2020264355A1 (en) * 2019-06-27 2020-12-30 Viz.ai Inc. Method and system for computer-aided triage of stroke
US11315246B2 (en) * 2019-11-27 2022-04-26 Shanghai United Imaging Intelligence Co., Ltd. Cardiac feature tracking

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030095697A1 (en) * 2000-11-22 2003-05-22 Wood Susan A. Graphical user interface for display of anatomical information
US20030212327A1 (en) * 2000-11-24 2003-11-13 U-Systems Inc. Adjunctive ultrasound processing and display for breast cancer screening
JP2010131239A (ja) * 2008-12-05 2010-06-17 Konica Minolta Medical & Graphic Inc 医用画像表示装置及びプログラム
US20140033126A1 (en) * 2008-12-08 2014-01-30 Hologic, Inc. Displaying Computer-Aided Detection Information With Associated Breast Tomosynthesis Image Information
CN107908323A (zh) * 2017-11-10 2018-04-13 上海联影医疗科技有限公司 医学图像显示方法、装置和计算机存储介质
CN108962355A (zh) * 2018-07-06 2018-12-07 腾讯科技（深圳）有限公司 一种影像的关联显示方法、装置及服务设备、存储介质
CN111161822A (zh) * 2018-11-08 2020-05-15 北京赛迈特锐医疗科技有限公司 医学影像人工智能诊断数据管理系统及其管理方法
CN110675398A (zh) * 2019-10-22 2020-01-10 深圳瀚维智能医疗科技有限公司 乳腺超声筛查方法、装置及计算机设备
CN111142753A (zh) * 2019-12-27 2020-05-12 杭州依图医疗技术有限公司 交互方法、信息处理方法及存储介质

Also Published As

Publication number Publication date
TW202145252A (zh) 2021-12-01
TWI799705B (zh) 2023-04-21
US11580643B2 (en) 2023-02-14
US20210366117A1 (en) 2021-11-25
JP2021183114A (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
EP2888686B1 (en) Automatic detection and retrieval of prior annotations relevant for an imaging study for efficient viewing and reporting
US10762687B2 (en) Method and system for rule based display of sets of images
JP6596406B2 (ja) 診断支援装置とその作動方法および作動プログラム、並びに診断支援システム
US8799013B2 (en) Mammography information system
US20110066635A1 (en) Medical image information display apparatus, medical image information display method, and recording medium on which medical image information display program is recorded
US20140114679A1 (en) Method of anatomical tagging of findings in image data
US8786601B2 (en) Generating views of medical images
US20140313222A1 (en) Anatomical tagging of findings in image data of serial studies
KR20140055152A (ko) 병변 진단 보조 장치 및 방법
CN104798107B (zh) 从医学图像生成关键图像
US20140204242A1 (en) Exam review facilitated by clinical findings management with anatomical tagging
US20040024292A1 (en) System and method for assigning a computer aided detection application to a digital image
WO2012112182A1 (en) Presentation of locations in medical diagnosis
CN110537178B (zh) 用于针对发现的指示而对图像切片进行计算机辅助搜索的系统和方法
CN110610756A (zh) 基于dicom图像信息实现胶片自动分类打印的方法
CN113707291A (zh) 医学影像辅助判读系统
CN116471993A (zh) 医疗用图像显示系统、医疗用图像显示方法、以及程序
KR102527778B1 (ko) 학습 데이터 생성 장치 및 방법
EP4358021A1 (en) Medical image diagnosis system, medical image diagnosis method, and program
TW202145248A (zh) 醫學影像分析及處理系統
US20230253097A1 (en) Medical information processing device, method for operating medical information processing device, and program
JP2023032238A (ja) 医用画像表示装置
CN115251986A (zh) 超声图像的显示方法及设备
CN116456905A (zh) 医疗用图像显示系统、医疗用图像显示方法、以及程序
CN116977555A (zh) 影像学检查ai识别及三维动态展示方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240121

Address after: 7th Floor, No. 36 Chenggong 12th Street, Zhubei City, Hsinchu County, Taiwan, China

Applicant after: Beizhi Medical Electronics Co.,Ltd.

Country or region after: Taiwan, China

Address before: 5th Floor, No. 7 Lixing 3rd Road, Hsinchu Science Park, Hsinchu City, Taiwan, China

Applicant before: Times Polytron Technologies Inc.

Country or region before: Taiwan, China

TA01 Transfer of patent application right