CN109923617A - 背景敏感放大镜 - Google Patents

背景敏感放大镜 Download PDF

Info

Publication number
CN109923617A
CN109923617A CN201780068482.6A CN201780068482A CN109923617A CN 109923617 A CN109923617 A CN 109923617A CN 201780068482 A CN201780068482 A CN 201780068482A CN 109923617 A CN109923617 A CN 109923617A
Authority
CN
China
Prior art keywords
interest
area
medical image
input
partial enlargement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780068482.6A
Other languages
English (en)
Other versions
CN109923617B (zh
Inventor
M·塞芬斯特
T·A·福斯贝里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN109923617A publication Critical patent/CN109923617A/zh
Application granted granted Critical
Publication of CN109923617B publication Critical patent/CN109923617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04805Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Nuclear Medicine (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

一种医学成像系统(100),包括用户接口(110)和放大视图引擎(130)。所述用户接口在显示设备(114)上显示医学图像的视图,并且提供标识位于所显示的医学图像中的可移动点的可移动指示器(116)。放大视图引擎(130)响应于根据由一个或多个输入设备的第一输入以及由所述可移动指示器的当前位置所指示的对所显示的医学图像中的现有端点或现有轮廓的选择,来生成在所显示的医学图像内的感兴趣区域的局部放大。

Description

背景敏感放大镜
技术领域
下文总体涉及成像,并且更具体涉及对来自各模态的医学图像的解读和测量,所述模态诸如是计算机断层摄影(CT)重建、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)、磁共振(MR)以及其组合。
背景技术
对医学图像的解读能够包括定量测量,诸如病变的尺寸。例如,在实体肿瘤的响应评估标准(RECIST)中,在图像切片或视图中跨病变在最宽的点处进行测量。亦即,测量病变的最宽部分。然后,使用随时间的测量结果来对肿瘤进行分级或者提供肿瘤的状态,诸如发展或稳定。根据正式指南,肿瘤的分级或状态然后通常被用于确定针对患者的处置选择。
诸如放射科医师的健康护理专业人员接收针对患者的医学图像并且解读或阅读所述图像。健康护理专业人员在解读所述医学图像方面面临时间压力。通常通过标记起点和端点来进行测量,诸如进行RECIST测量。然而,由于显示所述图像的显示设备的分辨率以及诸如鼠标光标的指针相对于所显示的图像的精度,对端点的放置会在测量中引入误差。解决该问题的典型方案是使用缩放特征。缩放特征在显示设备的物理约束内放大所述显示设备上的图像,其提供相对于所测量的病变的边界的更精确放置的端点。
放大和缩小图像会中断工作流,并且增加处理的时间。放大图像额外地从视图中移除所述图像的部分以在显示设备的约束内或者在显示设备内的窗口内适应缩放的图像,其提供相对于作为整体的图像的背景和解读。例如,在具有多个病变的图像中,为了测量特定病变而放大图像可能会从视图中移除其他病变,对此,健康护理从业者之后在缩小返回以重新确立背景之后在视觉和心理上重新扫描。背景例如能够包括测量哪些病变以及接下来要测量哪些病变,这增加了用于重新扫描和重新确立背景的额外时间。
一种方案是添加工具栏或下拉菜单,其增加额外的输入,诸如鼠标点击,以选择放大工具和/或测量工具。随着时间,该方案增加了类似于放大和缩小图像的重复额外输入的开销。
解读和测量的另一种方案是图像处理,其使用基于计算机的算法自动地标识和分割图像中的病变。利用轮廓线来标识经分割的病变,能够根据所述轮廓线进行测量。经画轮廓的病变被呈现为叠加在所述图像上,这允许健康护理专业人员在进行测量之前调节轮廓线,亦即,拖动或移动轮廓线以更好地符合病变的形状。常常利用放大经画轮廓的病变来标识对所述轮廓线的更好的放置,这提出了与上文所描述的为了测量的放大相类似的问题。
发明内容
在本文中所描述的各方面解决了上文所提到的问题以及其他问题。
下文描述了在显示设备上显示的医学图像的视图内所显示的背景敏感放大镜。所述背景敏感放大镜包括对所显示的医学图像中的感兴趣区域的局部放大。输入能够是在所述感兴趣区域的所述局部放大中接收到的标记点,所述标记点被映射到所述医学图像的尺寸。能够响应于当前显示的信息和/或来自一个或多个输入设备的输入来调用所述背景敏感放大镜。
在一个方面中,一种医学成像系统,包括用户接口和放大视图引擎。所述用户接口在显示设备(114)上显示医学图像的视图,并且提供标识位于所显示的医学图像中的可移动点的可移动指示器(116)。所述放大视图引擎(130)响应于根据由一个或多个输入设备的第一输入以及由所述可移动指示器的当前位置所指示的对所显示的医学图像中的现有端点或现有轮廓的选择,来生成在所显示的医学图像内的感兴趣区域的局部放大。
在另一方面中,一种显示医学图像的方法,包括:在显示设备上显示医学图像的视图,并且提供标识位于所显示的医学图像中的可移动点的可移动指示器。响应于根据由一个或多个输入设备的第一输入以及由所述可移动指示器的当前位置所指示的对所显示的医学图像中的现有端点或现有轮廓的选择,来生成在所显示的医学图像内的感兴趣区域的局部放大。
在另一方面中,一种医学成像系统,包括用户接口、意图检测引擎以及放大视图引擎。所述用户接口在显示设备上显示医学图像的视图,并且提供标识位于所显示的医学图像中的可移动点的可移动指示器。所述意图检测引擎响应于根据由一个或多个输入设备的第一输入以及由所述可移动指示器的当前位置所指示的对所显示的医学图像中的现有端点或现有轮廓的选择,来生成请求在所显示的医学图像内的所述感兴趣区域的局部放大的信号,并且评估将至少所述第一输入的评估映射到所生成的信号的规则集。所述放大视图引擎响应于所生成的信号来生成在所显示的医学图像内的感兴趣区域的局部放大。
根据下文所描述的(一个或多个)实施例并且参考所述实施例加以阐述,本发明的这些方面和其他方面将变得显而易见。
附图说明
本发明可以采取各种部件和部件布置以及各种步骤和步骤安排的形式。附图仅仅是出于例示说明优选实施例的目的,而不应当被解读为限制本发明。
图1示意性图示了具有背景敏感放大视图引擎的医学成像系统的实施例。
图2示意性图示了感兴趣区域的局部放大的范例显示,其中,端点位于病变的末端处。
图3示意性图示了感兴趣区域的局部放大的范例显示,其中,点指示经分割的病变轮廓的移动。
图4图示了在选择病变的末端处的现有端点的范例医学图像的视图内的感兴趣区域的局部放大的范例显示。
图5流程图示出了利用感兴趣区域的背景敏感的局部放大来显示医学图像的方法的实施例。
具体实施方式
参照图1,示意性图示了具有背景敏感放大视图引擎的医学成像系统100的实施例。系统100包括用户接口110,用户接口110在显示设备114上显示医学图像112的视图并且提供可移动指示器116。可移动指示器116根据由一个或多个输入设备118的第一输入来标识位于所显示的医学图像112中的可移动点,所述输入设备118诸如是鼠标、键盘、麦克风、触摸屏、光笔、组合等。用户接口110将第一坐标系中的可移动指示器116的位置映射到所述医学图像的第二坐标系。
例如,DICOM格式的医学图像能够包括与第一坐标系中的患者的解剖位置和大小相对应的尺寸,并且所述医学图像的显示在第二坐标系中改变尺寸,诸如对于具有缩放因子的包括所显示的医学图像112的视图或窗口,所述缩放因子放大所述医学图像以适配在显示设备114的显示区域120之内。根据显示设备114的坐标,所显示的医学图像112,以及可移动指示器116的位置被映射到DICOM格式的医学图像的坐标系。因此,例如,当在所显示的医学图像112中测量病变122时,所述测量是根据由DICOM格式指示的解剖学距离,而不是显示设备114的具有病变123的放大部分的物理尺寸。
所显示的医学图像112能够直接从医学成像扫描器124接收,医学成像扫描器124诸如是计算机断层摄影(CT)扫描器、磁共振(MR)扫描器、正电子发射断层摄影(PET)扫描器、单光子发射计算机断层摄影(SPECT)扫描器、超声(US)扫描器,其组合等。能够从存储子系统126接收所显示的医学图像112,存储子系统126诸如是图片存档和通信系统(PACS)、放射学信息系统(RIS)、电子医学记录(EMR)、医院信息系统(HIS)等。所述医学图像能够包括二维或更多维的医学图像,其在显示设备114上以二维视图显示为所显示的医学图像112。
放大视图引擎130相对于可移动指示器116的当前位置生成在所显示的医学图像112内的感兴趣区域132的局部放大。放大视图引擎130确定所述感兴趣区域的局部放大的属性,所述属性包括大小、缩放因子、位置和形状。局部放大包括所显示的医学图像112的放大区域,其小于整幅图像,这样的区域小于所显示的医学图像112的区域的百分之十。在一些实施例中,基于用户偏好或默认值来确定所述属性。在一些实施例中,基于所显示的关于所显示的医学图像112的信息来确定所述属性,诸如测量的端点或者经分割的病变的区域轮廓的宽度。
例如,所述感兴趣区域的所述局部放大的大小能够与现有端点之间的距离成比例,所述感兴趣区域的所述局部放大的缩放因子能够与所述距离成反比,和/或所述感兴趣区域的所述局部放大的位置能够包括在所显示的医学图像内的所述端点中的一个端点。在另一范例中,所述距离对应于跨经画轮廓的经分割的病变的最大宽度。
能够利用来自一个或多个输入设备118的输入来修改感兴趣区域132的局部放大的属性。例如,来自鼠标滚轮的输入能够增大或减小当前显示的感兴趣区域132的局部放大的缩放因子。用户接口110调节从感兴趣区域132的所述局部放大之内的第三坐标系到根据可移动指示器116的所述医学图像的第一坐标系的映射,所述第三坐标系不同于所显示的医学图像112的第二坐标系。
对比度引擎140能够与在所显示的医学图像中的感兴趣区域不同地修改所述感兴趣区域的局部放大的对比度。在一些情况下,能够增加来自未放大的所显示的感兴趣区域的对比度,使得病变122的边缘更容易明显。在一些情况下,与所显示的医学图像112的周围未放大区域的对比度的差异增加对于对比区域的聚焦,诸如增加视觉注意力,同时保持相对于作为整体的所显示的医学图像112的背景。
意图检测引擎150能够生成调用放大视图引擎130以生成感兴趣区域132的局部放大的第一信号以及调用放大视图引擎130以移除感兴趣区域132的局部放大的第二信号。能够使用本领域中已知的计算机调用或中断功能来实施所述第一信号和所述第二信号。能够基于将输入映射到信号的规则来评估所述信号。
能够基于当前显示的信息、输入和/或来自所述输入的属性,诸如对端点或轮廓的选择,或者结合其他输入对端点或轮廓的选择,来生成所述第一信号。在一些情况下,所述第一信号指示意图的响应,所述意图的响应指示健康护理从业者试图轻微调节现有端点或轮廓的位置。在一些情况下,根据一个或多个输入设备118的小的和/或接近的移动以及可移动指示器116的对应移动来推断所述意图。在一些情况下,避免了不必要地调用对感兴趣区域132的局部放大,因为针对一些健康护理从业者而言,在最初大约50%的时间,现有端点被正确地放置,并且用于移除针对正确地放置的端点而对感兴趣区域132的局部放大的不需要的额外的输入和/或动作被避免,同时用于调用针对不正确地放置的端点而对感兴趣区域132的局部放大的额外的输入和/或动作被最小化。
能够基于输入命令或者将可移动指示器115定位在感兴趣区域132的所述局部放大的外部来生成所述第二信号。例如,放大视图引擎130响应于鼠标位置而被发信号,所述鼠标位置被接收为对应于可移动指示器116的输入,其不再在感兴趣区域132的所述局部放大之内。在另一范例中,响应于由意图检测引擎150接收到的键盘命令,放大视图引擎130被发信号以移除感兴趣区域132的所述局部放大。在移除感兴趣区域132的所述局部放大之后,在非放大显示的感兴趣区域132中校正地显示现有端点或轮廓的位置的变化。换言之,对在所述放大区域中指示的现有端点的改变被从所述放大区域映射到解剖坐标系,并且在从所述放大区域移除之后被从所述解剖坐标系映射到显示图像坐标系。
用户接口110、放大视图引擎130、对比度引擎140以及意图检测引擎150适当地由一个或多个配置的处理器来实现,所述处理器诸如是计算设备162的一个或多个处理器160。所配置的(一个或多个)处理器160执行被存储在计算机可读存储介质中的至少一条计算机可读指令以执行所公开的相位重建、分割、掩模构造、血管增强、配准、运动估计以及运动补偿重建技术,所述计算机可读存储介质诸如是计算设备162的存储器164,其不包括瞬态介质并且包括物理存储器和/或其他非瞬态介质。所配置的处理器还可以执行由载波、信号或者其他瞬态介质承载的一条或多条计算机可读指令。计算设备162能够包括工作站、膝上型电脑、平板电脑、智能电话、身体穿戴式计算设备、服务器、组合等。图中所表示的部件之间的线表示通信路径,所述通信路径能够是有线的或无线的。
计算设备162包括:显示设备114,诸如计算机显示器、投影仪、身体穿戴式显示器等;以及一个或多个输入设备118,诸如鼠标、键盘、麦克风、触摸或手势接口等。计算设备162包括一个或多个处理器160,诸如数字处理器、微处理器、电子处理器、光学处理器、多处理器、包括对等或协同操作处理器的处理器分布、处理器的客户端-服务器布置等。
参照图2,示意性图示了在病变122的末端处具有端点200的感兴趣区域132的局部放大的范例显示。感兴趣区域132的所述局部放大位于所显示的医学图像112之内。在一些情况下,感兴趣区域132的所述局部放大仅包括病变123的放大部分、轮廓和/或测量的一个现有端点。
利用诸如鼠标点击的输入的可移动指示器116选择现有端点200,诸如先前输入的或现有的端点、用于测量病变122的两个端点中的一个端点或者现有的轮廓线。确立背景,所述背景包括所显示的随后被选择的现有端点的信息。在一些实施例中,选择现有端点的背景生成调用感兴趣区域132的局部放大的信号。在一些情况下,所述背景减少了由健康护理专业人员为了准确地定位端点而进行的输入和/或动作的数量,诸如在窗口内的单独窗口中自动地放大所显示的医学图像112的特定区域而不会丢失所显示的医学图像112内的位置的背景。
在一些实施例中,结合选择现有端点和附加输入,诸如结合可移动指示器的速度、可移动指示器的最大速度、可移动指示器116的平均速度、可移动指示器116的当前位置与所选择的现有端点的最大距离、一个或多个输入设备118的按下键或者按下键的持续时间,和/或可移动指示器116在相对于所选择的现有端点的固定位置中的持续时间,来生成所述第一信号以调用感兴趣区域132的局部放大的背景。能够将所述持续时间与设置为大于正常响应时间的预定阈值进行比较。
参照图3,示意性图示了感兴趣区域132的局部放大的范例显示,其中,点300指示经分割的病变轮廓302的移动。在一些实施例中,生成所述第一信号以基于所显示的信息(诸如经分割的病变的轮廓302)来调用感兴趣区域132的所述局部放大。例如,在由轮廓302定义的区域内的鼠标点击调用感兴趣区域132的局部放大。在一些实施例中,确定感兴趣区域132的局部放大的属性,使得整个轮廓302在感兴趣区域132的局部放大之内可见。改变或重新定位轮廓或者轮廓的部分能够根据本领域中已知的算法。
能够利用可移动指示器116来指示轮廓302的变化或移动。例如,利用拖动操作对沿着所述轮廓的点的选择能够被用于修改所述轮廓。在一些实施例中,移动轮廓302的输入以及移动感兴趣区域132的所述局部放大的输入是基于当前显示的信息的。例如,在轮廓302的点上的鼠标点击以及拖动移动所述轮廓302,而在感兴趣区域132的局部放大之内而不在由轮廓302定义的区域之内的鼠标点击以及拖动移动感兴趣区域132的所述局部放大。一个或多个输入设备118的重新定位轮廓的移动能够调用感兴趣区域132的局部放大,类似于重新定位图2的现有端点200的移动。
参照图4,图示了在选择病变的末端处的现有端点的范例医学图像的视图内的感兴趣区域132的局部放大的范例显示。所显示的医学图像包括两个测量结果:32.1毫米(mm)的“A”测量结果,以及32.0mm的“B”测量结果。利用对由虚线指示的“A”测量结果的两个端点中的一个端点的选择来调用感兴趣区域132的局部放大。所述第一端点位于感兴趣区域132的所述局部放大的外部。第二(选定的)端点位于感兴趣区域132的所述局部放大之内。可移动指示器116由具有画边界的虚线的未填充的矩形形状来指示。所述矩形的中心表示点。在一些情况下,所述未填充的矩形形状允许所显示的医学图像112的放大区域在不被可移动指示器116遮挡的点周围在视觉上明显。感兴趣区域132的所述局部放大包括边界,所述边界将经放大的感兴趣区域与所显示的医学图像112的剩余区域分开并区分。
规则能够被用于调用感兴趣区域132的所述局部放大,其评估一个或多个输入的属性以及当前显示的信息以生成调用感兴趣区域132的所述局部放大的信号。例如,在图4中,对应于所选择的端点的鼠标点击输入,X=是。亦即,可移动指示器116被定位成对应于当点击鼠标时当前显示的现有端点。所述输入的属性包括持续时间Y,以毫秒为单位,在此期间,用户修改所述测量的起点或端点的位置。亦即,利用拖动将端点移动到新的位置,并且以毫秒为单位测量所述拖动的持续时间。所述输入的另一属性包括鼠标跟踪的平均速度,对于毫秒的预定窗口,为Z mm/s。亦即,所述输入的属性包括所述可移动指示器跨所显示的医学图像112的平均速度。
范例规则能够包括:如果X=是并且Y>1000ms,则调用感兴趣区域132的所述局部放大或者生成所述第一信号。在一些情况下,健康护理专业人员在选择端点之后暂停,这表明放大将有帮助。另一范例能够包括,如果X=是,Z<阈值并且Y>500,则调用感兴趣区域132的所述局部放大或者生成所述第一信号。在一些情况下,健康护理专业人员正在将可移动指示器116以小增量缓慢移动一段时间,或者接近原始定位的端点,这表明放大将有帮助。
在一些实施例中,诸如Y和/或Z的参数是可配置的。在一些实施例中,系统100能够通过分析用户交互的数据库来学习优化一个或多个参数。能够使用统计学或机器学习技术来确定和/或修改参数值,所述技术使“假阳性”率最小化,亦即,使调用感兴趣区域132的局部放大的情况的百分比最小化,而无需指示移动所选择的端点或者固定新的端点的任何输入。
参照图5,以流程图示出了利用感兴趣区域的背景敏感局部放大来显示医学图像的方法的实施例。在500处,在显示设备114上显示医学图像的视图,并且可移动指示器116提供位于所显示的医学图像112中的可移动点。由一个或多个输入设备118进行的第一输入选择所显示的医学图像内的轮廓的现有端点或位置,诸如鼠标跟踪。所显示的医学图像112能够包括其他显示的信息,诸如一个或多个现有端点和/或现有的轮廓。
在502处,生成第一信号,所述第一信号根据第二输入请求生成在所显示的医学图像112内的感兴趣区域132的局部放大。所述第二输入能够包括以下属性:可移动指示器116的速度、持续时间和/或可移动指示器116与在现有轮廓上选择的原始或选定的现有端点或位置的距离。所述第一信号能够响应于选择现有端点或轮廓。所述第一信号能够组合另一输入和/或其他输入属性,诸如速度、持续时间或距离,而响应于选择现有端点或轮廓。所述第一信号的生成能够使用将所述第二输入映射到所述第一信号的规则。
在504处,响应于所述第一信号,生成相对于可移动指示器116的当前位置的在所显示的医学图像112内的感兴趣区域132的所述局部放大。生成感兴趣区域132的所述局部放大包括确定感兴趣区域132的所述局部放大的大小、缩放因子、位置和形状的属性。感兴趣区域132的所述局部放大的属性能够根据所选择的端点与另一端点之间的距离、跨由现有轮廓限定的区域的宽度和/或用户或系统参数来确定。所生成的感兴趣区域132的局部放大能够包括与在所显示的医学图像112中的所述感兴趣区域不同地修改感兴趣区域132的局部放大的对比度。
在506处,能够接收第三输入,所述第三输入在感兴趣区域132的局部放大中移动现有端点或轮廓。经移动的点或轮廓被从感兴趣区域132的所述局部放大的坐标系映射到所述医学图像的坐标系。所述第三输入能够包括指示叠加在感兴趣区域132的所述局部放大上的移动点,诸如鼠标按钮的释放。所述第三输入能够包括修改当前在感兴趣区域132的所述局部放大中所显示的轮廓。
在508处,生成第二信号以基于第四输入移除感兴趣区域132的局部放大。所述第四输入能够是命令,诸如键盘命令。所述第四输入能够包括所述第一输入的属性,诸如可移动指示器116的位置在感兴趣区域132的所述局部放大的外部。在一些情况下,所述第四输入能够包括对所述第一输入的另一检查。
在510处,能够计算测量结果,诸如两个端点之间的距离、轮廓的面积、基于轮廓的距离等。所计算的测量结果能够包括显示被叠加在所显示的医学图像112上的测量结果。所计算的测量结果能够包括视觉指示器,诸如端点之间的虚线。
以上内容可以通过被编码或嵌入在计算机可读存储介质上的计算机可读指令来实施,所述计算机可读指令当由(一个或多个)计算机处理器执行时,使得所述(一个或多个)处理器执行所描述的动作。另外地或备选地,所述计算机可读指令中的至少一条计算机可读指令由信号、载波或者其他瞬态介质来承载。
已经参照优选实施例描述了本发明。在阅读和理解前文的详细描述后,他人可以想到修改和变更。本发明旨在被构造为包括所有这样的修改和变更,只要其落入随附的权利要求或者其等同物的范围之内。

Claims (20)

1.一种医学成像系统(100),包括:
用户接口(110),其被配置为:在显示设备(114)上显示医学图像的视图,并且提供标识位于所显示的医学图像中的可移动点的可移动指示器(116);以及
放大视图引擎(130),其被配置为:响应于根据由一个或多个输入设备的第一输入以及由所述可移动指示器的当前位置所指示的对在所显示的医学图像中的现有端点或现有轮廓的选择,来生成在所显示的医学图像内的感兴趣区域的局部放大。
2.根据权利要求1所述的系统,还包括:
意图检测引擎(150),其被配置为根据第二输入来生成请求所生成的在所显示的医学图像内的所述感兴趣区域的局部放大的信号,所述第二输入包括从包括以下项的组中选择的至少一项:所述可移动指示器的速度、所述可移动指示器的最大速度、所述可移动指示器的平均速度,以及所述可移动指示器的所述当前位置与所选择的现有端点的最大距离;并且
其中,所述放大视图引擎还被配置为响应于所生成的信号来生成所述感兴趣区域的所述局部放大。
3.根据权利要求2所述的系统,其中,所述意图检测引擎(150)还被配置为根据第三输入来生成请求所生成的在所显示的医学图像内的所述感兴趣区域的局部放大的所述信号,所述第三输入包括从包括以下项的组中选择的至少一项:所述一个或多个输入设备的按下键的持续时间,以及所述可移动指示器在相对于所选择的现有端点的固定位置中的持续时间。
4.根据权利要求1-3中的任一项所述的系统,其中,所生成的感兴趣区域的局部放大的位置是相对于从包括以下项的组中选择的至少一项的位置:所述可移动指示器的所述当前位置、所述现有端点的位置、所述现有端点和另一端点的位置,以及所述现有轮廓的位置。
5.根据权利要求2-4中的任一项所述的系统,其中,所述意图检测引擎使用将从包括所述第一输入、所述第二输入和所述第三输入的组中选择的至少一个输入映射到请求所生成的所述感兴趣区域的局部放大的所述信号的规则。
6.根据权利要求1-5中的任一项所述的系统,其中,所述放大视图引擎根据所选择的现有端点与另一端点之间的第一距离来确定所述感兴趣区域的所述局部放大的大小、缩放因子和形状。
7.根据权利要求1-6中的任一项所述的系统,其中,所述放大视图引擎根据跨由所述现有轮廓限定的区域的宽度的第二距离来确定所述感兴趣区域的所述局部放大的大小、缩放因子和形状。
8.根据权利要求6和7中的任一项所述的系统,其中,所述感兴趣区域的所述局部放大的所述大小与从所述第一距离和所述第二距离的组中选择的至少一个距离成比例。
9.根据权利要求6-8中的任一项所述的系统,其中,所述感兴趣区域的所述局部放大的所述缩放因子与从所述第一距离和所述第二距离的组中选择的至少一个距离成反比。
10.根据权利要求1-9中的任一项所述的系统,还包括:
对比度引擎(140),其被配置为与在所显示的医学图像中的所述感兴趣区域不同地修改所述感兴趣区域的所述局部放大的对比度。
11.一种显示医学图像的方法,包括:
在显示设备上显示(500)医学图像的视图,并且提供标识位于所显示的医学图像中的可移动点的可移动指示器;并且
响应于根据由一个或多个输入设备的第一输入以及由所述可移动指示器的当前位置所指示的对在所显示的医学图像中的现有端点或现有轮廓的选择,来生成(504)在所显示的医学图像内的感兴趣区域的局部放大。
12.根据权利要求11所述的方法,还包括:
根据第二输入来生成(502)请求所生成的在所显示的医学图像内的所述感兴趣区域的局部放大的信号,所述第二输入包括从包括以下项的组中选择的至少一项:所述可移动指示器的速度、所述可移动指示器的最大速度、所述可移动指示器的平均速度,以及所述可移动指示器的所述当前位置与所选择的现有端点的最大距离,其中,所生成的所述感兴趣区域的所述局部放大是响应于所生成的信号的。
13.根据权利要求11和12中的任一项所述的方法,其中,生成所述信号包括:
根据第三输入来生成请求所生成的在所显示的医学图像内的所述感兴趣区域的局部放大的所述信号,所述第三输入包括从包括以下项的组中选择的至少一项:所述一个或多个输入设备的按下键的持续时间,以及所述可移动指示器在相对于所选择的现有端点的固定位置中的持续时间。
14.根据权利要求12和13中的任一项所述的方法,其中,所生成的感兴趣区域的局部放大的位置是相对于从包括以下项的组中选择的至少一项的位置的:所述可移动指示器的所述当前位置、所述现有端点的位置、所述现有端点和另一端点的位置,以及所述现有轮廓的位置。
15.根据权利要求11-14中的任一项所述的方法,其中,生成所述信号包括:
使用将从包括所述第一输入、所述第二输入和所述第三输入的组中选择的至少一个输入映射到请求所生成的所述感兴趣区域的局部放大的所述信号的规则。
16.根据权利要求11-14中的任一项所述的方法,其中,生成感兴趣区域的局部放大包括:
根据所选择的现有端点与另一端点之间的第一距离来确定所述感兴趣区域的所述局部放大的大小、缩放因子和形状。
17.根据权利要求11-16中的任一项所述的方法,其中,生成感兴趣区域的所述局部放大包括:
与在所显示的医学图像中的所述感兴趣区域不同地修改所述感兴趣区域的所述局部放大的对比度。
18.一种非瞬态计算机可读存储介质(164),其承载控制一个或多个处理器(160)以执行根据权利要求11-17中的任一项所述的方法的软件。
19.一种被配置为执行根据权利要求11-18中的任一项所述的方法的处理器(160)。
20.一种医学成像系统(100),包括:
用户接口(110),其被配置为:在显示设备(114)上显示医学图像的视图,并且提供标识位于所显示的医学图像中的可移动点的可移动指示器(116);
意图检测引擎(150),其被配置为:响应于根据由一个或多个输入设备的第一输入以及由所述可移动指示器的当前位置所指示的对在所显示的医学图像中的现有端点或现有轮廓的选择,来生成请求在所显示的医学图像内的感兴趣区域的局部放大的信号,并且评估将至少所述第一输入的评估映射到所生成的信号的规则集;以及
放大视图引擎(130),其被配置为响应于所生成的信号来生成在所显示的医学图像内的感兴趣区域的所述局部放大。
CN201780068482.6A 2016-10-07 2017-09-26 背景敏感放大镜 Active CN109923617B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662405295P 2016-10-07 2016-10-07
US62/405,295 2016-10-07
PCT/EP2017/074295 WO2018065257A1 (en) 2016-10-07 2017-09-26 Context sensitive magnifying glass

Publications (2)

Publication Number Publication Date
CN109923617A true CN109923617A (zh) 2019-06-21
CN109923617B CN109923617B (zh) 2023-09-22

Family

ID=60117629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780068482.6A Active CN109923617B (zh) 2016-10-07 2017-09-26 背景敏感放大镜

Country Status (5)

Country Link
US (1) US11099724B2 (zh)
EP (1) EP3523810A1 (zh)
JP (1) JP7325325B2 (zh)
CN (1) CN109923617B (zh)
WO (1) WO2018065257A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113867602A (zh) * 2021-09-26 2021-12-31 北京德为智慧科技有限公司 一种改善图像显示效果的方法及介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI3669749T3 (fi) * 2018-12-20 2024-05-28 Optos Plc Optisen koherenssitomografiakuvantamisen ohjaus
US11908340B2 (en) * 2019-07-24 2024-02-20 Arris Enterprises Llc Magnification enhancement of video for visually impaired viewers
JP7491755B2 (ja) 2020-07-13 2024-05-28 繁 塩澤 データ生成装置、検出装置、及びプログラム
US11617553B2 (en) 2021-08-13 2023-04-04 GE Precision Healthcare LLC Local enhancement for a medical image

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5736974A (en) * 1995-02-17 1998-04-07 International Business Machines Corporation Method and apparatus for improving visibility and selectability of icons
CN1658137A (zh) * 2004-02-10 2005-08-24 微软公司 结合数字上墨使用动态数字缩放界面的系统和方法
JP2005224460A (ja) * 2004-02-16 2005-08-25 Hitachi Medical Corp 医用画像診断装置
CN101636762A (zh) * 2006-11-22 2010-01-27 爱克发医疗保健公司 自动缩放标记显示系统和方法
US20100054556A1 (en) * 2008-09-03 2010-03-04 General Electric Company System and methods for applying image presentation context functions to image sub-regions
US20110074828A1 (en) * 2009-09-25 2011-03-31 Jay Christopher Capela Device, Method, and Graphical User Interface for Touch-Based Gestural Input on an Electronic Canvas
CN103620643A (zh) * 2011-06-29 2014-03-05 皇家飞利浦有限公司 医学图像的缩放
CN103889330A (zh) * 2012-10-15 2014-06-25 株式会社东芝 医用图像显示装置
CN104685536A (zh) * 2012-10-05 2015-06-03 皇家飞利浦有限公司 用于优化子图像视图的实时图像处理

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6989848B2 (en) * 2003-09-29 2006-01-24 Beon Media Inc. Method and system for specifying zoom speed
US7736313B2 (en) 2004-11-22 2010-06-15 Carestream Health, Inc. Detecting and classifying lesions in ultrasound images
US20100135562A1 (en) 2008-11-28 2010-06-03 Siemens Computer Aided Diagnosis Ltd. Computer-aided detection with enhanced workflow
US8218727B2 (en) * 2009-09-04 2012-07-10 Siemens Medical Solutions Usa, Inc. System for medical image processing, manipulation and display
US8438531B2 (en) * 2009-12-01 2013-05-07 Cadence Design Systems, Inc. Visualization and information display for shapes in displayed graphical images
US9058098B2 (en) * 2011-02-14 2015-06-16 Sony Corporation Display control device
US20140118577A1 (en) * 2011-07-05 2014-05-01 Nec Casio Mobile Communications, Ltd. Imaging device and recording medium
JP6215227B2 (ja) * 2011-12-30 2017-10-18 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. イメージング検査プロトコル更新推奨部
US8988519B2 (en) 2012-03-20 2015-03-24 Cisco Technology, Inc. Automatic magnification of data on display screen based on eye characteristics of user
JP5620440B2 (ja) * 2012-08-09 2014-11-05 パナソニックインテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 表示制御装置、表示制御方法及びプログラム
US11096668B2 (en) * 2013-03-13 2021-08-24 Samsung Electronics Co., Ltd. Method and ultrasound apparatus for displaying an object
JP2016100698A (ja) * 2014-11-19 2016-05-30 株式会社リコー 校正装置、校正方法、プログラム
CN109901765B (zh) * 2015-10-06 2022-06-21 佳能株式会社 电子设备及其控制方法
JP6700749B2 (ja) * 2015-11-28 2020-05-27 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5736974A (en) * 1995-02-17 1998-04-07 International Business Machines Corporation Method and apparatus for improving visibility and selectability of icons
CN1658137A (zh) * 2004-02-10 2005-08-24 微软公司 结合数字上墨使用动态数字缩放界面的系统和方法
JP2005224460A (ja) * 2004-02-16 2005-08-25 Hitachi Medical Corp 医用画像診断装置
CN101636762A (zh) * 2006-11-22 2010-01-27 爱克发医疗保健公司 自动缩放标记显示系统和方法
US20100054556A1 (en) * 2008-09-03 2010-03-04 General Electric Company System and methods for applying image presentation context functions to image sub-regions
US20110074828A1 (en) * 2009-09-25 2011-03-31 Jay Christopher Capela Device, Method, and Graphical User Interface for Touch-Based Gestural Input on an Electronic Canvas
CN103620643A (zh) * 2011-06-29 2014-03-05 皇家飞利浦有限公司 医学图像的缩放
CN104685536A (zh) * 2012-10-05 2015-06-03 皇家飞利浦有限公司 用于优化子图像视图的实时图像处理
CN103889330A (zh) * 2012-10-15 2014-06-25 株式会社东芝 医用图像显示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113867602A (zh) * 2021-09-26 2021-12-31 北京德为智慧科技有限公司 一种改善图像显示效果的方法及介质

Also Published As

Publication number Publication date
JP7325325B2 (ja) 2023-08-14
US20190286305A1 (en) 2019-09-19
EP3523810A1 (en) 2019-08-14
US11099724B2 (en) 2021-08-24
WO2018065257A1 (en) 2018-04-12
CN109923617B (zh) 2023-09-22
JP2019536505A (ja) 2019-12-19

Similar Documents

Publication Publication Date Title
CN109923617A (zh) 背景敏感放大镜
US10127662B1 (en) Systems and user interfaces for automated generation of matching 2D series of medical images and efficient annotation of matching 2D medical images
EP3151197B1 (en) Automatic measurement of objects in images
CN104516627B (zh) 显示设备和使用所述显示设备的图像显示方法
US7346199B2 (en) Anatomic triangulation
JP2016517114A (ja) 画像注釈のグループ化
EP3203914B1 (en) Radiation dose applied to different anatomical stages
US10088992B2 (en) Enabling a user to study image data
JP6292726B2 (ja) 診断プロセスにおいてユーザを支援する支援装置
CN105684040B (zh) 支持肿瘤响应测量的方法
CN113516700A (zh) 图像处理方法、装置及其相关设备和存储介质
JP2024041755A (ja) ディスプレイ上のマーカの正確な位置決め
US10185805B2 (en) Medical image processing apparatus and method
CN113516701A (zh) 图像处理方法、装置及其相关设备和存储介质
US11409422B2 (en) Device, system and method for interacting with vessel images
JP7249940B2 (ja) インテリジェントな腫瘍サイズの変更通知を伴う腫瘍追跡
JP7279133B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20230223124A1 (en) Information processing apparatus, information processing method, and information processing program
JP2017153852A (ja) 画像診断支援装置、画像診断支援方法および画像診断支援プログラム
EP4221597A1 (en) Methods and systems for tool tracking
CN114092543A (zh) 血管直径的获取方法、医疗设备
US20160247485A1 (en) Diagnostic Measuring Tools and Methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant