CN116457746A - 用于组织图像的数字堆栈的图像操纵的系统和方法 - Google Patents

用于组织图像的数字堆栈的图像操纵的系统和方法 Download PDF

Info

Publication number
CN116457746A
CN116457746A CN202180077393.4A CN202180077393A CN116457746A CN 116457746 A CN116457746 A CN 116457746A CN 202180077393 A CN202180077393 A CN 202180077393A CN 116457746 A CN116457746 A CN 116457746A
Authority
CN
China
Prior art keywords
foot
image
point
tissue
image manipulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180077393.4A
Other languages
English (en)
Inventor
马克·福彻特
约翰·西曼斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Delphinus Medical Technologies Inc
Original Assignee
Delphinus Medical Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delphinus Medical Technologies Inc filed Critical Delphinus Medical Technologies Inc
Publication of CN116457746A publication Critical patent/CN116457746A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0334Foot operated pointing devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/467Arrangements for interfacing with the operator or the patient characterised by special input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00973Surgical instruments, devices or methods, e.g. tourniquets pedal-operated
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/037Emission tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/485Diagnostic techniques involving measuring strain or elastic properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本文描述了用于帮助用户滚动或以其他方式操纵医学和组织图像的堆栈的系统、设备和方法。本文描述的系统可以包括:脚控制器,其被配置为检测用户的脚的垂直和水平运动中的一个或多个以控制图像导航、检查、定位和查看功能;计算机;和用户界面。

Description

用于组织图像的数字堆栈的图像操纵的系统和方法
交叉引用
本申请要求于2020年9月18日提交的美国临时申请号63/080,138的权益,通过引用将其全部内容合并于此。
背景技术
本申请涉及医疗系统、设备和方法,特别是用于由医学专业人员对成像数据的检查。
放射科医师和其他医学专业人员在典型的研究期间经常查看多个图像和屏幕,并经常使用常规的手持鼠标进行活动。手持鼠标的重复动作可能导致损伤,如腕管综合症。在腕管综合征的情况下,这样的活动变得痛苦、困难,并且是对应该给予阅读图像堆栈的注意力的显著分散。此外,手持鼠标和键盘的使用只能在单个时间段内容纳有限数量的输入。因此,期望代替和/或补充手持鼠标的一些或所有功能的改进的系统、设备和方法,以减轻损伤并增强用户体验。
发明内容
本文公开了一种操纵多个组织图像的方法,包括:提供图像分析系统,该系统包括:(i)计算设备,该计算设备包括处理器、存储器和显示器;(ii)可操作地耦合到计算设备的一个或多个脚控制器,该一个或多个脚控制器中的脚控制器包括:能够检测第一点和第二点之间的垂直运动的脚运动输入接收器;和(iii)存储有指令的该计算设备的存储器,该指令使得处理器实施第一图像操纵,该第一图像操纵是响应于用户正在操作的脚控制器在多个组织图像之间的滚动功能,并使得显示器示出滚动的组织图像。脚控制器可以包括一个或多个水平运动输入接收器,该一个或多个水平运动输入接收器能够检测在内点和外点之间的水平运动平面中的移动,其中该外点位于径向远离内点的位置。图像分析系统还可以包括第二图像操纵,该第二图像操纵可以是通过挂片协议或图像布局的搜索功能。
该方法还可以包括确定一个或多个水平运动输入接收器的位置,并控制第二图像操纵的值作为一个或多个水平运动输入接收器在水平运动平面中的位置的函数。控制可以跟一个或多个水平运动输入接收器与中性起始位置相比的移动成比例。该方法还可以包括按比例地控制第一图像操纵的值作为垂直运动平面中的脚运动输入接收器的函数。
该方法还可以包括确定在第一点和第二点之间的脚运动输入接收器的位置。脚控制器可以包括脚跟开关,该脚跟开关被配置为在接合位置和未接合位置之间的垂直运动平面中移动,在接合位置中脚跟开关与固定的脚跟支架平齐,在未接合位置中脚跟开关不与固定的脚跟支架平齐。
图像分析系统还可以包括第二图像操纵,该第二图像操纵可以是自动滚动功能。方法还可以包括确定脚跟开关的位置以及接合或断开脚跟开关。脚控制器可以包括一个或多个侧面开关,该一个或多个侧面开关被配置为向计算机发送信号,以在接合时放大或缩小。图像分析系统还可以包括第二图像操纵,该第二图像操纵是缩放功能。方法还可以包括确定一个或多个侧面开关的位置,并且按比例地控制第二图像操纵的值作为一个或多个侧面开关的接合的函数。第一点可以与组织的远侧部分的组织图像相关,而第二点可以与组织的近侧部分的组织图像相关。第一点可以是脚踏板的完全未压下位置,而第二点可以是脚踏板的完全压下位置。
组织图像的数字堆栈可以是乳房组织的。组织图像的数字堆栈可以是超声图像。
脚控制器可以无线地连接到计算机。脚控制器可以经由USB连接到计算机。
在垂直运动平面中的移动可以具有在第一点和中间点之间的第一区域以及在中间点和第二点之间的第二区域。滚动功能可以保持在每次移动到第一区域中的中间点时一个图像的恒定最小值。滚动功能可以包括与脚踏板在第二区域中的中间位置和第二点之间的位置成比例的可变滚动速率。可变滚动速率可以在第二区域中以线性方式增加。
本文公开了一种用于操纵多个组织图像的系统,包括:计算设备,该计算设备包括处理器、存储器和显示器;可操作地耦合到计算设备的脚控制器,该脚控制器包括能够检测第一点和第二点之间的垂直移动的脚运动输入接收器;和存储有指令的计算设备的存储器,该指令使得处理器实施第一图像操纵,该第一图像操纵是响应于正在被操作的脚控制器在多个组织图像之间的滚动功能,并使得显示器示出滚动的组织图像。
脚控制器可以包括脚跟开关,该脚跟开关被配置为在接合位置和未接合位置之间的垂直运动平面中移动,在接合位置中脚跟开关与固定的脚跟支架平齐,在未接合位置中脚跟开关不与固定的脚跟支架平齐。脚控制器可以包括一个或多个侧面开关,该一个或多个侧面开关可以包括一个或多个刻度盘模式二进制开关。一个或多个刻度盘模式二进制开关可以被配置为接合到第一模式和第二模式。第一模式可以通过在一个或多个侧面开关中的开关上向下施加压力来激活,并且第二模式可以通过在一个或多个侧面开关中的开关上侧向施加压力来激活。
本文公开了一种操纵多个组织图像的方法,包括提供图像分析系统,该系统包括:(i)计算设备,该计算设备包括处理器、存储器和显示器;(ii)可操作地耦合到计算设备的一个或多个脚控制器,一个或多个脚控制器中的脚控制器包括:能够检测第一点和第二点之间的移动的脚运动输入接收器;和(iii)存储有指令的计算设备的存储器,该指令使得处理器实施第一图像操纵和第二图像操纵,该第一图像操纵是响应于用户正在处理的脚控制器在多个组织图像之间的滚动功能,并使得显示器示出滚动的组织图像。脚控制器可以包括一个或多个水平运动输入接收器,该一个或多个水平运动输入接收器能够检测在内点和外点之间的水平运动平面中的移动,其中该外点位于径向远离内点的位置。第二图像操纵可以是通过挂片协议或图像布局的搜索功能。
该方法还可以包括确定一个或多个水平运动输入接收器的水平位置,并控制第二图像操纵的值作为一个或多个水平运动输入接收器在水平运动平面中的位置的函数。控制可以跟一个或多个水平运动输入接收器与中性起始位置相比的移动成比例。脚运动输入接收器能够检测第一点和第二点之间的垂直运动平面中的运动。方法还可以包括按比例地控制第一图像操纵的值作为垂直运动平面中的脚运动输入接收器的函数。
该方法还可以包括确定第一点和第二点之间的脚运动输入接收器的位置。脚控制器可以包括脚跟开关,该脚跟开关被配置为在接合位置和未接合位置之间的垂直运动平面中移动,在接合位置中脚跟开关与固定的脚跟支架平齐,在未接合位置中脚跟开关不与固定的脚跟支架平齐。
第二图像操纵可以是自动滚动功能。方法还可以包括确定脚跟开关的位置以及接合或断开脚跟开关。脚控制器可以包括一个或多个侧面开关,所一个或多个述侧面开关被配置为向计算机发送信号,以在接合时放大或缩小。图像分析系统还可以包括第二图像操纵,该第二图像操纵可以是缩放功能。方法还可以包括确定一个或多个侧面开关的位置,并且按比例地控制第二图像操纵的值作为一个或多个侧面开关的接合的函数。第一点可以与组织的远侧部分的组织图像相关,而第二点可以与组织的近侧部分的组织图像相关。第一点可以是脚踏板的完全未压下位置,而第二点可以是脚踏板的完全压下位置。
组织图像的数字堆栈可以是乳房组织的。组织图像的数字堆栈可以是超声图像。
脚控制器可以无线地连接到计算机。脚控制器可以经由USB连接到计算机。
在垂直运动平面中的移动可以具有在第一点和中间点之间的第一区域以及在中间点和第二点之间的第二区域。滚动功能可以保持在每次移动到第一区域中的中间点一个图像的恒定最小值。滚动功能可以包括与脚踏板在第二区域中的中间位置和第二点之间的位置成比例的可变滚动速率。可变滚动速率可以在第二区域中以线性方式增加。
本文公开了一种用于操纵多个组织图像的系统,包括:计算设备,该计算设备包括处理器、存储器和显示器;可操作地耦合到计算设备的脚控制器,该脚控制器包括能够检测第一点和第二点之间的移动的脚运动输入接收器;和存储有指令的计算设备的存储器,该指令使得处理器实施第一图像操纵和第二图像操纵,该第一图像操纵是响应于正在被操作的脚控制器在多个组织图像之间的滚动功能,并使得显示器示出滚动的组织图像。
脚控制器可以包括脚跟开关,该脚跟开关被配置为在接合位置和未接合位置之间的垂直运动平面中移动,在接合位置中脚跟开关与固定的脚跟支架平齐,在未接合位置中脚跟开关不与固定的脚跟支架平齐。脚控制器可以包括一个或多个侧面开关,该一个或多个侧面开关包括一个或多个刻度盘模式二进制开关。一个或多个刻度盘模式二进制开关可以被配置为接合到第一模式和第二模式。第一模式可以通过在一个或多个侧面开关中的开关上向下施加压力来激活,并且第二模式可以通过在一个或多个侧面开关中的开关上侧向施加压力来激活。第二图像操纵可以是缩放功能。第二图像操纵可以是自动滚动功能。
援引并入
本说明书中所提及的所有出版物、专利和专利申请均通过引用并入本文,其程度如同特别地且单独地指出每个单独的出版物、专利或专利申请通过引用而并入。
附图说明
在所附权利要求中具体阐述了本公开的新颖特征。通过参考以下详细说明,可以获得对本公开的特征和优点的更好的理解,以下详细说明阐述了其中利用了本公开的原理的示例实施方式及其附图:
图1是根据本文所述的实施方式的脚控制器的俯视图。
图2A是图1的脚控制器的俯视图。
图2B是图1的脚控制器的脚踏板的侧视图。
图3是根据所述实施方式的描述脚踏板可用于操纵图像的数字堆栈的过程的流程图。
图4是根据本文所述实施方式的工作站、标准工作站界面和配置为操纵数字图像堆栈的脚控制器的示意图示。
图5是根据本文所述实施方式的可编程或以其他方式可配置以允许呈现组织的图像堆栈的示例处理系统的示意图。
图6是适用于本文所述实施方式的具有由关系数据库管理系统访问的一个或多个数据库的示例应用提供系统的示意图。
图7是根据本文所述实施方式的描述示例性方法的流程图,通过该方法用户可以使用脚控制器来操纵图像堆栈。
图8是如本文所述的可通过使用脚控制器滚动的示例性软件工作流程和挂片功能的屏幕截图。
图9是如本文所述的示例性软件图像检查工具的屏幕截图,该软件图像检查工具可由脚控制器和/或与脚控制器结合的辅助控制器控制。
图10是如本文所述的使用脚控制器控制主要和辅助功能的示例性脚踏位置的示意图示。
图11是描述如本文所述的示例性方法的流程图,通过该方法用户可以使用脚控制器来操纵图像堆栈。
图12A是描述脚控制器输入以控制主要滚动功能的示例的流程图。
图12B是描述脚控制器输入以控制挂片协议或图像布局选择的示例的流程图。
图12C是描述脚控制器输入以选择和使用缩放功能的示例的流程图。
具体实施方式
本文所述的方法、设备和系统为医护专业人员提供了方法和工具,使他们能够以降低的受伤风险和提高的生产力执行重复动作,如滚动或以其他方式操纵(计算机化或数字)图像的堆栈。本文公开的方法、设备和系统可以帮助用户(例如医生)使用脚控制器来检查和操纵图像堆栈。
尽管本公开的示例是在脚控制器的具体实施方式中说明的,但本文所述的实施方式可被实施用于任何其他替代的脚控制器系统。可以同时使用两个脚控制器,例如一个用于用户的右脚,一个用于用户的左脚。本文所公开的设备和使用方法可用于检查来自各种成像模态(例如磁共振成像(MRI)或计算机断层扫描(CT)或正电子发射断层扫描(PET)或成像模态的组合)的图像。本文所公开的设备和使用方法可用于检查许多生物组织的图像。生物组织可以包括患者或受试者的器官或组织。本文所述的方法和系统还可以在来自身体的任何器官或组织的图像上实现。所述器官或组织可以包括例如:肌肉、腱、韧带、口、舌、咽、食道、胃、肠、肛门、乳腺、肝、胆囊、胰腺、鼻、喉、气管、肺、肾、膀胱、尿道、子宫、阴道、卵巢、睾丸、前列腺、心脏、动脉、静脉、脾脏、腺体、脑、脊髓、神经等,仅举几例。
其它生物组织可包含身体部位,例如脑、脚、手、膝、踝、腹部、肌肉、腱、韧带、口、舌、咽、食道、胃、肠、肛门、肝、胆囊、胰腺、鼻、喉、气管、肺、肾、膀胱、尿道、子宫、阴道、卵巢、乳房、睾丸、前列腺、心脏、动脉、静脉、脾脏、腺体、脊髓、神经或任何其它身体部位。身体部位可以可操作地附接到活人或包含在活人内。在一些实施方式中,身体部位包括肌肉组织、脂肪组织、骨骼等。身体部位可以是人类的身部位。身体部位可以是非人类的动物的身体部位,例如小鼠、猫、狗、鸟、猪、绵羊、牛、马或非人类灵长类动物的身体部位。
本文使用的术语仅用于描述特定实施方式,而不旨在对权利要求进行限制。如在实施方式和所附权利要求的描述中所使用的,单数形式“一”、“一个”和“该”也旨在包括复数形式,除非上下文另有明确指示。还应当理解,本文使用的术语“和/或”指的是并涵盖相关联列出项中的一个或多个的任何和所有可能的组合。还应当理解,当在本说明书中使用时,术语“包括”和/或“包含”说明所述特征、整体、步骤、操作、元件和/或部件的存在,但不排除一个或多个其它特征、整体、步骤、操作、元件、部件和/或其组合的存在或添加。
如本文所用并且除非另有说明,术语“约”或“大约”是指本领域普通技术人员确定的特定值的可接受误差,其部分取决于如何测量或确定该值。在某些实施方案中,术语“约”或“大约”是指在1、2、3或4个标准偏差内。在某些实施方式中,术语“约”或“大约”是指在给定值或范围的30%、25%、20%、15%、10%、9%、8%、7%、6%、5%、4%、3%、2%、1%、0.5%、0.1%或0.05%内。
如本文所用,术语“包括”、“包含”或其任何其他变体,旨在涵盖非排他性的包含,例如,包括一系列元件的过程、方法、物品或装置不仅包括这些元件,还可能包括未明确列出的或此类过程、方法、物品或装置固有的其他元件。
如本文所用,术语“受试者”和“患者”可互换使用。如本文所用,术语“受试者”和“受试者们”是指动物(例如,鸟类、爬行动物和哺乳动物),哺乳动物包括灵长类动物(例如,猴子、黑猩猩和人)和非灵长类动物(例如,骆驼、驴、斑马、牛、猪、马、猫、狗、大鼠和小鼠)。在某些实施方式中,哺乳动物的年龄是0至6个月、6至12个月、1至5岁、5至10岁、10至15岁、15至20岁、20至25岁、25至30岁、30至35岁、35至40岁、40至45岁、45至50岁、50至55岁、55至60岁、60至65岁、65至70岁、70至75岁、75至80岁、80至85岁、85至90岁、90至95岁或95至100岁。
如本文所用,术语“用户”是指使用本公开的方法和系统的医护专业人员或任何个人,包括但不限于医生,如放射科医师。
除非另有定义,否则本文使用的所有技术术语具有与本发明所属领域的普通技术人员所一般理解的相同的含义。
现在将详细参考各种实施方式,其示例在附图中说明。在下面的详细描述中,为了提供对本公开和所描述的实施方式的透彻理解,阐述了许多具体细节。然而,本公开的实施方式可选地在没有这些具体细节的情况下实施。在其他情况中,没有详细描述公知的方法、程序、部件和电路,以免不必要地模糊实施方式的方面。在附图中,相同的附图标记表示相同或相似的步骤或部件。
脚控制器
帮助用户操纵图像堆栈的系统可包括脚控制器。作为诸如键盘和鼠标之类的常规手控制器的替代或补充,本文所公开的用于帮助用户操纵图像堆栈的系统和方法可以促进用户在操纵图像堆栈方面的生产力。例如,该系统可以减轻可能导致诸如腕管综合症之类的损伤的重复性手部运动的负担,和/或提供附加功能以对诸如键盘、鼠标、触摸屏显示器和/或语音控制之类的典型用户界面进行补充。
图1示出了根据一些实施方式的用于帮助用户分类或以其他方式操纵医疗、组织或其他图像的堆栈的系统的脚控制器的示例。图1示出了脚控制器10的前透视图。脚控制器10可以具有主体,该主体具有将脚控制器支撑在地板上的基座。主体可以包括脚踏板15、脚跟支架14、左脚趾开关11A、右脚趾开关11A、左脚跟开关13、右脚跟开关13,以及可选地用以连接到计算机系统的电线或电缆12(例如,USB电缆)。可备选地或组合地,脚控制器10可以与计算机系统无线地通信,诸如通过蓝牙或其他无线连接协议。
脚控制器可以被配置用于右脚或左脚。脚控制器可以是可调节的,以适应不同的脚宽和脚长。脚控制器的踏板和侧面按钮可被配置为在两个垂直轨道上滑动,以适应不同的脚宽和脚长。侧面按钮和踏板可被配置为锁定到一个位置,以便适应操作员的脚的长度和宽度。
图2A是脚控制器10的俯视图。脚控制器10可旋转地耦合到主体。脚控制器10的脚踏板15可以使用用户的脚的前部压下,以从完全未压下的位置移动到完全压下的位置,在该位置,脚控制器通常位于与脚跟支架相同的平面中(或其间的任何水平的压下)。脚控制器10的脚踏板15可被配置为以基本垂直的方式移动,该移动可以类似于汽车的油门踏板。脚控制器10的脚踏板15可被配置为在脚的后部或前部处以旋转轴移动,当被释放时脚踏板15可以恢复到初始位置,该移动可以类似于Wah踏板。脚控制器10的脚踏板15可被配置为以基本水平的方式移动,其中脚踏板15以脚的中间为旋转轴前后移动,脚踏板15可被配置为当被释放时恢复到初始位置。脚踏板15的压下可以允许用户线性地滚动图像堆栈。例如,脚踏板15的压下可以允许用户线性地滚动从乳头到胸壁的乳房组织的图像堆栈。在一些实施方式中,脚踏板15被压下的程度可以控制滚动的速度。例如,脚踏板15被压下的程度越大,图像滚动的速率就越高。图2B是脚控制器10的脚踏板15的侧视图,其中由角θ描述的线性移动用于控制图像的滚动,例如,从处于初始踏板角的最前面的位置(例如乳头)到踏板角θ为0度的后面的位置(例如胸壁)。脚跟支架14的平面可以设置成相对于基座的平面成一定角度,以增加用户的舒适度。可备选地,脚跟支架14的平面可以平行于基座的平面。脚控制器可用于提供图像搜索功能的比例控制,例如通过挂片协议移动、从组织的远端到近端的线性移动、自动滚动和缩放。
脚控制器10可适应多种图像操纵和/或系统控制模式。左脚趾开关11可以是双模式二进制开关。当用户用他们的脚趾向下按压开关时,可以致动开关的第一模式11A。该第一模式本文称为左垂直开关11A。第一模式可以控制缩放功能。左脚趾开关的第一模式可以由用户激活,以与用户的脚趾在左脚趾开关上的向下运动成比例地放大。在一些实施方式中,脚踏板15被压下的程度可以控制放大或调大的速度。例如,脚踏板15被压下的程度越大,缩放或调大的速率就越高。可备选地,左脚趾开关的第一模式11A可以由用户激活,以与用户的脚趾在左脚趾开关上的向下运动成比例地缩小。当用户用他们的脚的侧面在通常向外、水平的方向上按压开关时,可以致动左脚趾开关的第二模式11B。第二模式本文称为左水平开关11B。左脚趾开关的第二模式可以允许用户向前移动挂片或其他协议的菜单。可备选地,左脚趾开关的第二模式可以允许用户向后移动挂片协议的菜单。开关可以是向用户提供触觉反馈的瞬时致动型开关。
右脚趾开关11同样可以是刻度盘模式二进制开关。当用户用他们的脚趾向下按压开关时,可以致动开关的第一模式11A。第一模式本文可以称为右垂直开关11A。第一模式可以控制缩放功能。右脚趾开关11的第一模式可以由用户激活,以与用户的脚趾在右脚趾开关11上的向下运动成比例地放大。在一些实施方式中,脚踏板15被压下的程度可以控制缩小的速度。例如,缩放或调大可以以与脚踏板15被压下的越大的程度成比例的速率增加。可备选地,右脚趾开关11的第一模式可以由用户激活,以与用户的脚趾在右脚趾开关11上的向下运动成比例地缩小。当用户用他或她的脚的侧面在开关上以通常向外、水平的方向按压时,可以致动第二模式11B。第二模式可以被称为右水平开关11B。右脚趾开关的第二模式可以允许用户向前移动挂片协议的菜单。可备选地,右脚趾开关的第二模式可以允许用户向后移动挂片协议的菜单。开关可以是向用户提供触觉反馈的瞬时致动型开关。
脚跟开关13可以是瞬时致动型,其允许用户在图像堆栈中进行自动滚动。
脚控制器可配置为在开关接合时向用户提供反馈,例如通过振动、音频或视觉信号。例如,当用户滚动图像堆栈并到达堆的末端时,踏板可以振动。
图3是描述过程300的流程图,通过该过程300,脚踏板可用于与诸如键盘和鼠标的工作站界面同时地操纵图像堆栈。在301中,脚控制器可以通过脚踏板接受用户输入,并且与来自工作站界面(即,键盘和鼠标)的输入同时切换。在302中,脚控制器然后可以向计算机程序发送信息,该计算机程序追踪踏板接合和线性移动以及来自工作站界面的任何输入。在303中,计算机程序然后可以将来自脚控制器的所追踪的输入转换成光标移动以及标准键盘和鼠标输入,以滚动和操纵图像堆栈,同时接受来自工作站界面的输入。在304中,计算机程序然后可以响应来自脚控制器和工作站界面的输入。
尽管上述操作示出了使用脚控制器的方法300,但根据一些实施方式,本领域普通技术人员将认识到基于本文所述教导的许多变化。这些步骤可以以任何顺序完成。可以添加或删除步骤。一些步骤可以包括子步骤。许多步骤可能重复地越多对该方法越有益。
脚控制器可包括能够检测用户脚的水平和垂直运动的传感器。传感器可以是夹式传感器。传感器可以是被配置为附接到用户的鞋上的夹式传感器。传感器可以包括陀螺仪,以检测相对于起始点的水平和垂直脚运动。传感器可以包括加速度计以检测运动速率。脚控制器可以包括电容器。脚控制器可以包括基于光或激光的传感器。脚控制器可以包括限定活动区域的垫子,在该活动区域中接收传感器的输入,以防止当脚不在垫子上时激活控制。用户的脚的位置和用户的脚的运动速率可以用于按比例地控制功能,例如滚动图像组、选择不同的挂片协议或图像布局以及放大/缩小。例如,用户可以快速连续地轻拍他们的脚两次以激活交互式缩放功能。用户可以通过轻拍他们的脚来选择诸如自动图像滚动之类的功能,即单次轻拍以进入滚动速度设置,其中将用户的脚移动到起始点的右侧会增加速度,而将用户的脚移动到起始点的左侧会降低速度。用户的脚跟可以基本上是固定的。用户可以通过第二次轻拍脚来取消选择该功能。
如图10所示,用户的脚的位置可以激活诸如滚动之类的主要动作。用户可以通过将他们的脚跖球移动到中立位置1001的右侧1002或左侧1003的第一位置,同时将他们的脚跟保持在单个位置1004来启动第一主要动作。主要动作包括滚动速率和方向。滚动可以是标准速率或快速速率。滚动的速度可以与用户在保持其脚跟基本上固定的情况下将他们的脚向中立位置的左侧或右侧移动的距离成比例地增加或减少。滚动方向可以是向前或向后滚动图像堆栈。用户可以通过垂直轻拍他们的脚一次1005或多次1006来启动辅助动作。辅助动作包括工具选择、缩放、挂片协议/图像布局选择等。例如,在通过垂直脚轻拍启动挂片协议选择模式之后,可以通过分别向右侧1002或向左侧1003移动脚跖球来选择下一个或前一个挂片协议/图像布局。类似地,在通过脚轻拍两次选择它之后,通过分别向右侧1002或向左侧1003移动脚跖球来实现放大或缩小。
可以通过图示对用户进行视觉引导,以帮助确定脚的位置。图示可以在用户工作站的地板上。图示可以是地板上的垫子。图示可以是地板上的光投影。图示可以被集成到用户界面中,例如在计算机屏幕上。可以通过来自脚控制器的触觉或听觉反馈来引导用户。触觉反馈可以是振动。听觉反馈可以是嘟嘟声或其他声音。可以通过用户界面的计算机屏幕上的视觉帮助来引导用户。脚控制器可以与脚支撑件(例如允许用户在垂直平面中以受控方式移动他们的脚的脚踏板结构)结合使用,以帮助用户在一段时间内保持脚的位置。脚控制器可以与脚跟开关结合使用。
现在参考图11,示出了用于方法1100的脚控制器的示例性功能的流程图。在1101中,用户可以通过将他们的脚跖球移动到中立位置右侧的第一位置来接合脚控制器的脚踏板。在1102中,脚控制器可以向计算机程序发送信号,该计算机程序将该信号解释为向前滚动图像堆栈的命令。在1103中,用户然后可以在他们到达期望的图像时将他们的脚跖球移回到中立位置。在1104中,脚控制器然后可以向计算机程序发送信号,该计算机程序将该信号解释为停止滚动的命令。在1105中,为了放大图像,用户然后可以轻拍他们的脚以访问辅助缩放功能。在1106中,用户将其脚跖球移动到中立位置右侧的第一位置以放大图像。在1107中,响应于来自用户的输入,脚控制器可以向计算机程序发送信号,计算机程序将该信号解释为放大图像的指令。在1108中,为了停止调大,用户然后可以在期望的调大时将他们的脚跖球移动到中立位置。在1109中,响应于来自用户的输入,脚控制器可以向计算机程序发送信号,该计算机程序将该信号解释为停止调大图像的指令。然后,用户可以通过将他们的脚跖球移动到中立位置左侧的位置来缩小图像。用户可以通过在快速连续的垂直上下运动中轻拍他们的脚跖球两次来访问挂片协议选择。然后,用户可以将他们的脚跖球移动到中立位置的右侧或左侧的位置,以分别移动到下一个或前一个挂片协议/图像布局。为了返回到主要功能,用户可以轻拍他们的脚跖球。
脚控制器可被配置为在距用户界面计算机的指定距离内向用户界面计算机传送信号。脚控制器可被配置为如果用户的脚跟位置移动,则停止传送信号。在一些情况下,脚控制器可以与脚跟开关结合使用,并且脚控制器可被配置为如果脚控制器移动超出脚跟开关近侧,则停止传送信号。脚控制器可使用标准工作站界面(例如鼠标或键盘)来激活。脚控制器可使用标准工作站界面(例如鼠标或键盘)来停用。
图4是示例性工作站400的示意图,该工作站400包括一个或多个计算机屏幕401以显示组织图像402的堆栈,其中用户可以单独使用脚控制器10或将其与工作站界面(例如键盘404和鼠标405)以及必要的图像操纵软件相结合来操纵组织图像的状态。图像操纵软件可以包括Hologic SecurView、MIM Software、OsiriX、Three Palm Workstation One、Vital Images Vitrea、Siemens Syngo、GE Advantage Workstation等。通过脚控制器10,键盘404和鼠标405可以由计算机处理器403处理,该计算机处理器403运行被配置为转换来自工作站界面(即,键盘404和鼠标405)和脚控制器10的输入以操纵图像堆栈的程序。
现在参考图7,示出了用于方法700的脚控制器的示例性功能的流程图。在701中,用户可以通过用他们的脚下压脚踏板来接合脚控制器的脚踏板。在702中,脚控制器可以向计算机程序发送信号,该计算机程序将该信号解释为向前滚动图像堆栈的命令。在703中,用户然后可以通过在他们到达期望的图像时抬起他们的脚来移除脚踏板上的压力。在704中,脚控制器然后可以向计算机程序发送信号,该计算机程序将该信号解释为停止滚动的命令。在705中,为了放大图像,用户然后可以用他们的脚向下推动左脚趾开关,使用脚控制器的脚跟支架作为他们的脚的枢轴点。在706中,响应于来自用户的输入,脚控制器可以向计算机程序发送信号,该计算机程序将该信号解释为放大图像的指令。在707中,为了停止调大,用户然后可以在期望的调大时释放脚趾开关。在708中,响应于来自用户的输入,脚控制器可以向计算机程序发送信号,该计算机程序将该信号解释为停止调大图像的指令。然后,用户可以通过向下按压右脚趾开关来缩小图像,或者通过滑动左和右脚趾开关以分别向左或向右移动挂片功能来滚动该功能。
现在参考图12A,示出了使用脚控制器的踏板1215来执行滚动图像堆栈的主要功能的示例性方法的流程图。通过在第一方向上推动脚控制器的踏板1215,用户可以将图像组从组的后方位置1201滚动到前方位置1202,直到图像组的末端1203。通过在第二方向上推动脚控制器的踏板1215,用户可以在第二、相反方向上将图像组从组的前方位置1204滚动到图像组的期望位置1205。用户可以通过从踏板1215移除压力而保持在图像组的期望位置1205。
现在参考图12B,示出了使用脚控制器的踏板1215来选择挂片协议或图像布局选择的示例性方法的流程图。用户可以使用脚控制器的第一脚跟开关1213来查看第一图像布局1206。用户可以使用脚控制器的第一脚跟开关1213来查看第二图像布局1207。然后,用户可以使用脚控制器的第一脚跟开关1213来查看第三图像布局1208。第二脚跟开关1212可以用于查看先前的布局。
现在参考图12C,示出了使用脚控制器的开关1211来选择缩放功能并使用脚控制器的踏板1215来放大或缩小图像的示例性方法的流程图。用户可以通过向脚控制器的开关1211施加水平压力来选择缩放功能。用户可以通过在第一方向上推动脚控制器的踏板1215来将图像1209放大到期望的调大图像1210。用户可以通过在第二方向上推动脚控制器的踏板1215来从图像1210缩小到期望的调大图像1214。用户可以通过从踏板1215移除压力来保持期望的调大图像1214。
图8是一个示例性应用SoftVue中的挂片和工作流程协议的屏幕截图。本文描述的脚控制器可用于滚动并应用工作流程和挂片协议,例如双边检查、晶片-声速、反射-声速和晶片-刚度融合。在备选的图像检查软件应用中,例如Hologic SecurView、MIM Software、OsiriX、Three Palm Workstation One、Vital Images Vitrea、Siemens Syngo、GEAdvantage Workstation等,可以考虑类似的协议。
图9是辅助功能的屏幕截图,即,一个示例性应用SoftVue中的图像检查工具,其可以由辅助控制器结合本文所述的脚控制器来控制。辅助控制器可以是第二脚控制器或手控制器。图像检查工具可以包括对比度调整、缩放、1D测量、2D测量、自动旋转、自动滚动、图像视图选择和密度评估。在备选的图像检查软件应用中,例如Hologic SecurView、MMviewer、OsiriX MD和Three Palm Workstation One,可以考虑类似的工具。
在一些实施方式中,超声图像,例如超声断层扫描图像,被用于本公开的方法和系统中。可以通过发射声波形来获得组织图像,并且可以使用超声断层扫描仪来执行声信号集的检测,例如,使用与美国专利号6,385,474、6,728,567、8,663,113、8,876,716和9,113,835以及美国公开号2013/0041261和2013/0204136中描述的方法类似的方法,前述通过引用整体均并入本文。然而,可以使用任何合适的超声设备或扫描仪。声速渲染可以从波形声速方法生成。这样的方法可以包括响应于根据行进时间断层扫描算法的模拟波形来生成初始声速渲染。可以迭代地优化初始声速渲染,直到针对多个声频分量中的每一个将射线伪影减小到预定阈值。可以迭代地调整初始方法渲染,直到获得的模型足够好作为波形声速方法的初始模型以收敛到真实模型。这样的方法可以包括在美国专利申请号14/817,470中描述的方法,其全部通过引用整体并入本文。
可使用扫描台获得图像。扫描器台可以包括在本文中并入的任何参考文献,以及附加地或可备选地在题为“Patient Interface System”的美国专利申请序列号14/208,181、题为“System for Providing Scanning Medium”的美国专利申请序列号14/811,316,或题为“System for Shaping and Positioning a Tissue Body”的P.C.T.国际专利申请公布号WO2017139389(其全部通过引用整体均并入本文)中描述的患者界面系统的实施方式、变形或示例。然而,超声系统可以附加地或可备选地包括任何其他合适的患者界面系统或与任何其他合适的患者界面系统耦合。
在一些实施方式中,本公开的系统和方法可用于帮助用户生成或操纵增强反射图像。增强反射图像可以包括在共同转让的申请中描述的用于生成组织体积的增强图像的系统和方法的实施方式、变形或示例:美国专利申请号15/829,748和P.C.T.申请号PCT/US2017/064350,其全部通过引用整体均并入本文。简而言之,所引用参考文献的系统和方法可以将通过检测来自组织体积的反射信号而生成的反射图像与速度图像进行组合以生成增强的反射图像。可以从声速图像的梯度生成第二反射图像,并且可以组合两个反射图像,如并入的参考文献中所述。
在一些实施方式中,本公开的系统和方法可与来自人类或其他动物的一个或多个图像或渲染结合使用。因此,在一个变形中,与系统结合使用的图像可以由用户检查以表征组织以便于诊断癌症、评估其类型并确定其程度(例如,确定组织中的肿块是否可以手术移除),或者评估癌症进展的风险(例如,测量乳房组织密度)。可以基于声速渲染和声衰减渲染中的一个或多个来生成刚度渲染。可以基于声速渲染和声衰减渲染的组合来生成刚度渲染。刚度渲染可以包括以下一个或多个:对应于不同刚度值或刚度值范围的颜色分布,对应于不同刚度值或刚度值范围的图案分布,对应于不同刚度值或刚度值范围的阴影(例如,强度)分布,对应于不同刚度值或刚度值范围的饱和参数的分布,以及表示组织体积内的参数的分布的任何其他合适的方法。生成刚度渲染的方法可以包括在美国专利申请号14/703,746中描述的方法,前述申请通过引用整体并入本文。
使用本文公开的系统和方法,可以从一个或多个图像中提取一个或多个图像表征参数。图像表征参数可以通过熟练用户(例如临床医生)的观察来确定。图像表征参数可以完全通过或借助于计算机以及本文所述的系统和方法来确定。所述一个或多个图像表征参数可以包括P.C.T.申请号PCT/US2019/029592中图像表征参数(例如,预后参数)的实施方式、变形或示例,前述申请通过引用整体并入本文。在P.C.T.申请号PCT/US2019/029592中提供了完全通过或借助于计算机确定图像表征参数的示例,前述申请通过引用整体并入本文。
图像或数据集中的参数集的参数可以包括肿瘤内的声音传播度量、肿瘤内的峰度值、肿瘤内的峰度值与肿瘤周围内的峰度值之间的差、肿瘤内灰度的标准偏差、肿瘤内灰度图像的梯度、肿瘤周围内梯度的标准偏差、肿瘤周围内梯度的偏度、肿瘤周围内的校正衰减的峰度、肿瘤内能量的校正衰减、肿瘤周围内的图像的灰度的对比度、肿瘤周围内的图像的灰度的均匀性或肿瘤内和肿瘤周围内的灰度的对比度差的平均值。
图像或数据集中的参数集的参数可以包括基础声参数(每个图像的原始像素)的阶次统计(即,平均值、方差、偏度、峰度、对比度、噪声水平、信噪比(SNR)等)或灰度/彩色度计数器部分。
在一些情况下,可以通过使用表征灰度分布值的直方图的阶次统计来评估图像的纹理。灰度是单色(灰色)阴影范围的集合。灰度范围可以从白色到黑色。在发光方面,灰度范围可以从亮到暗。在一些实施方式中,本文的特征包括纹理特征,诸如一阶直方图特征。在一些实施方式中,特征包括进一步表征纹理的较高阶特征,例如灰度共现矩阵(GLCM)及其各自的标量特征(能量、熵等)。在一些实施方式中,本文的共现矩阵是将像素的强度与其局部邻域进行比较的方法。在一些实施方式中,共现矩阵可以检查特定值(灰度)与以某个定义的空间关系与另一个共存的次数。
在一些情况下,可以使用从色阶图像导出的参数来评估图像。色阶可以涉及超声图像(例如可以以颜色显示的刚度图像)的渲染。这些图像可以代表诸如乳房组织等组织的体积的刚度特性。颜色图的范围可以从黑色到红色。在一些实施方式中,颜色图的范围可以从蓝色到红色。可以为表示刚度参数范围的组织体积定义其他颜色范围。组织刚度越高,颜色越接近颜色范围的红色端。黑色或蓝色可以指示出没有刚度或不存在刚度。在一些情况下,这些参数可以从表征灰度分布的值的直方图的阶次统计中导出。
图像或数据集中的参数集的参数可以包括“光晕”。在一些声速图像中,暗环(光晕)可以围绕组织体积,例如乳房组织。在一些纤维腺瘤或囊肿中可观察到光晕。光晕可能是良性过程的指示。
图像或数据集中的参数集中的参数可以包括峰度值。峰度值可以描述或表示频率分布曲线的峰值的清晰度。在一些情况下,峰度可以被计算为诸如灰度图像的图像的梯度的峰度。可以为任何类型的图像确定峰度,例如,校正的衰减图像、增强的反射图像、复合增强反射图像、声速图像等。
图像或数据集中的参数集的参数可以包括对比度。对比度可以是ROI(例如肿瘤或肿瘤周围)内信号差的度量。
图像或数据集中的参数集的参数可以包括均匀性值。均匀性值可以是ROI(例如肿瘤或肿瘤周围)内变异的度量。
图像或数据集中的参数集的参数可以包括ROI的至少一个纹理度量。纹理度量可以包括边缘、灰度级共现矩阵和Law的纹理图中的至少一个。
图像或数据集中的参数集的参数可以包括图像的小波的参数。在一些情况下,图像的小波可以表示图像。在一些情况下,可以在图像的分析中使用小波。小波的示例可以包括图像的连续小波变换或图像的离散小波变换。
图像或数据集中的参数集中的参数可以包括肿瘤内被侵蚀的灰度图像的标准偏差、肿瘤内被侵蚀的灰度图像的平均值、肿瘤周围内被侵蚀的灰度图像的标准偏差、肿瘤内梯度的一阶熵、肿瘤内梯度的一阶均值、肿瘤内的一阶熵与肿瘤周围内的一阶熵之间的差、肿瘤内的对比度、肿瘤内的相关性、肿瘤与肿瘤周围之间的对比度的差或肿瘤与肿瘤周围之间的均匀性的差。
图像或数据集中的参数集中的参数可以包括以下中的一个或多个:边缘边界得分、平均增强反射、ROI内部和外部的增强反射的相对平均值、增强反射的标准偏差、平均声速、ROI内部和外部的相对平均声速、声速的标准偏差、平均衰减,衰减的标准偏差、针对边缘边界得分校正的衰减的平均值以及针对边缘边界得分校正的衰减的标准偏差。
图像或数据集中的参数集中的参数可以包括以下中的一个或多个:边缘的不规则性、肿瘤内声速值的平均值、肿瘤周围内的平均衰减值、肿瘤周围内的反射的对比纹理特性、肿瘤内平均反射值与肿瘤周围内的平均反射值之间的差、肿瘤内反射的对比纹理特性、肿瘤内声速值的一阶标准偏差、肿瘤内的反射值的平均值、肿瘤周围内的反射值的平均值、肿瘤内的反射值的一阶平均值、肿瘤内和肿瘤周围内的反射的均匀纹理特性之间的差、肿瘤周围内的声速值的一阶平均值、肿瘤内的衰减的对比纹理特性与肿瘤周围内的衰减的对比纹理特性之间的差、声速边缘的小波细节系数的标准偏差、反射边缘的小波细节系数的标准偏差、反射边缘的小波细节系数的熵的直方图、反射边缘的小波细节系数的局部最小标准偏差,或脆性对比度的标准偏差的最大值。
如上文所述,每个图像都可以包含渲染的一部分。例如,渲染可以由2D图像的一个或多个“堆栈(stack)”形成,该2D图像对应于在扫描组织体积的每个步骤处针对每个测量的声学机械参数的组织体积的一系列“片段”。每个片段可以包括渲染的图像或层。每一层、层的子集、层的分类和/或ROI可以具有一个或多个相关联的参数,例如,与如本文所述的图像特性相关联的任何类型的参数。
图像或数据集中的参数集的参数可以包括体积参数。体积参数可以从沿着组织的前-外轴的多个图像位置导出。在一些情况下,体积参数可以是定性体积参数。在一些情况下,体积参数可以是定量体积参数。
在定性体积参数的示例中,用户可以指示出感兴趣区域是否从3D图像堆栈的层“流动”到层。参数“流动”可用于区分致密组织与病变或肿块。流动实质的概念可能与肿块检测有关。在一系列图像中,致密乳房组织可能像经过的云一样流动,而在一个图像或图像的子集中可能出现肿块。如果组织体积的区域从片段到片段流动或改变形状,则该体积成为肿块的可能性可能很小。
在声速图像中,当一个人查看图像堆栈的同时滚动浏览乳房时,致密乳房组织从片段到片段流动(例如,不规则地改变形状或甚至消失),而病变或肿块将保留在图像中或在多个图像片段中均匀地改变形状。
在定性体积参数的示例中,用户可以指示出感兴趣区域是否在多种图像类型中从图像类型到图像类型“持续”。例如,持续参数可以涉及出现在多于一个超声图像渲染中的肿块,例如,出现在反射和晶片图像中。如果肿块仅出现在一种图像类型中,例如仅出现在反射图像中,则该组织体积是真实肿块的可能性可能很小。反射图像中的暗区通常可以表示正常组织。在一些情况下,如果肿块的尺寸很小,例如小于1cm,则该肿块可能不会在不同的图像类型之间持续。
在定性体积参数的示例中,用户可以指示出感兴趣区域是否“停留”在色阶图像上。参数“停留”可用于区分致密组织与病变或肿块。通常,它涉及当用户滚动刚度图像序列(例如,在一系列层中随图像深度变化的序列)中的刚度图像时的颜色停留。与致密组织相关联的颜色可能不会停留,并且当用户滚动一系列刚度图像时,可能像云流动一样通过。具有癌性肿块时,颜色停留的可能性很高。
参数集可以包括至少1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、50、100、1000或更多个参数。
其它参数、提取方法及其使用方法描述于国际专利申请PCT/US2019/029592中,其通过引用整体并入本文。
尽管上述操作示出了使用脚控制器的方法700,但根据一些实施方式,本领域普通技术人员将认识到基于本文所述教导的许多变化。这些步骤可以以任何顺序完成。可以添加或删除步骤。一些步骤可以包括子步骤。许多步骤可能重复地越多对该方法越有益。
数字处理设备
在一些实施方式中,本文描述的平台、系统、介质和方法包括数字处理设备或等同物、处理器。在其他实施方式中,数字处理设备包括执行设备的功能的一个或多个硬件中央处理器(CPU)或通用图形处理单元(GPGPU)或张量处理单元(TPU)。在其他实施方式中,数字处理设备还包括被配置为执行可执行指令的处理系统。在一些实施方式中,数字处理设备可选地连接到计算机网络。在其他实施方式中,数字处理设备可选地连接到因特网,使得其访问万维网。在其他实施方式中,数字处理设备可选地连接到云计算基础设施。在其他实施方式中,数字处理设备可选地连接到内部网。在其他实施方式中,数字处理设备可选地连接到数据存储设备。
根据本文的描述,作为非限制性示例,合适的数字处理设备包括服务器计算机、台式计算机、膝上型计算机、笔记本计算机、子笔记本计算机、上网本计算机、上网本计算机、机顶盒计算机、媒体流设备、手持计算机、因特网设备、移动智能电话、平板计算机、个人数字助理、视频游戏机和车辆。本领域技术人员将认识到,许多智能电话适用于本文所述的系统。本领域技术人员还将认识到,具有可选的计算机网络连接性的选定的电视、视频播放器和数字音乐播放器适用于本文所述的系统。合适的平板计算机包括本领域技术人员已知的具有本、平板和可转换构造的那些。
在一些实施方式中,处理器包括被配置为执行可执行指令的处理系统。操作系统是例如包含程序和数据的软件,该软件管理设备的硬件并提供用于执行应用的服务。本领域技术人员将认识到,作为非限制性示例,合适的服务器操作系统包括FreeBSD、OpenBSD、Linux、/>Mac OS X/>Windows和/>本领域技术人员将认识到,作为非限制性示例,合适的个人计算机操作系统包括/>Mac OS/>和类似UNIX的操作系统,例如/>在一些实施方式中,操作系统由云计算提供。本领域技术人员还将认识到,作为非限制性示例,合适的移动智能电话操作系统包括 OS、/>Research In/>BlackBerry/> Windows/>OS、/>WindowsOS、/>和/>本领域技术人员还将认识到,作为非限制性示例,合适的媒体流设备操作系统包括Apple/>Google/>Google/>Amazon/>和/>本领域技术人员还将认识到,作为非限制性示例,合适的视频游戏机操作系统包括: Xbox/>Microsoft Xbox One、 和/>
在一些实施方式中,处理器包括存储和/或存储器设备。存储和/或存储器设备是用于临时或永久地存储数据或程序的一个或多个物理设备。在一些实施方式中,该设备是易失性存储器,并且需要电力来维持存储的信息。在一些实施方式中,该设备是非易失性存储器,并且在数字处理设备不通电时保留所存储的信息。在其他实施方式中,非易失性存储器包括闪存。在一些实施方式中,非易失性存储器包括动态随机存取存储器(DRAM)。在一些实施方式中,非易失性存储器包括铁电随机存取存储器(FRAM)。在一些实施方式中,非易失性存储器包括相变随机存取存储器(PRAM)。在其他实施方式中,该设备是存储设备,作为非限制性示例,其包括CD-ROM、DVD、闪存设备、磁盘驱动器、磁带驱动器、光盘驱动器和基于云计算的存储。在另外的实施方式中,存储和/或存储器设备是诸如本文公开的那些的设备的组合。
在一些实施方式中,处理器包括显示器,以将视觉信息发送给用户。在一些实施方式中,显示器是液晶显示器(LCD)。在其他实施方式中,显示器是薄膜晶体管液晶显示器(TFT-LCD)。在一些实施方式中,显示器是有机发光二极管(OLED)显示器。在各种其他实施方式中,OLED显示器是无源矩阵OLED(PMOLED)或有源矩阵OLED(AMOLED)显示器。在一些实施方式中,显示器是等离子体显示器。在其他实施方式中,显示器是视频投影仪。在其他实施方式中,显示器是与处理器通信的头戴式显示器,例如VR耳机。在其他实施方式中,作为非限制性示例,合适的VR耳机包括HTC Vive、Oculus Rift、Samsung Gear VR、MicrosoftHoloLens、Razer OSVR、FOVE VR、Zeiss VR One、Avergant Glyph、Freefly VR耳机等。在其他实施方式中,显示器是诸如本文公开的那些设备的组合。
在一些实施方式中,处理器包括用于从用户接收信息的输入设备。输入设备是脚控制器。处理器可以同时从多个输入源(例如鼠标、键盘和脚控制器)接收信息。在一些实施方式中,除了脚控制器之外,输入设备可以包括指示设备,该指示设备包括,作为非限制性示例,鼠标、轨迹球、轨迹板、操纵杆、游戏控制器或触控笔。在一些实施方式中,除了脚控制器之外,输入设备是触摸屏或多点触摸屏。在其他实施方式中,除了脚控制器之外,输入设备是麦克风以捕获语音或其他声音输入。在其他实施方式中,除了脚控制器之外,输入设备是摄像机或其他传感器以捕获运动或视觉输入。在其他实施方式中,除了脚控制器之外,输入设备是Kinect、Leap Motion等。在其他实施方式中,输入设备是诸如本文公开的那些的设备的组合。
参考图5,在特定实施方式中,示例处理器501被编程或以其他方式配置为允许呈现组织图像的堆栈。处理器501可以调节本公开的各个方面,例如来自脚踏控制器和工作站用户界面(如键盘和鼠标)的输入。在该实施方式中,处理器501包括中央处理单元(CPU,本文也称为“处理器”和“计算机处理器”1205),其可以是单核或多核处理器,或用于并行处理的多个处理器。处理器501还包括存储器或存储器位置510(例如,随机存取存储器、只读存储器、闪存)、电子存储单元515(例如,硬盘)、用于与一个或多个其他系统通信的通信界面520(例如,网络适配器、网络界面)以及外围设备(例如高速缓存、其他存储器、数据存储和/或电子显示适配器)。外围设备可以包括存储设备或存储介质565,它们通过存储界面570与设备的其余部分通信。存储器510、存储单元515、界面520和外围设备通过通信总线525(例如主板)与CPU 505通信。存储单元515可以是用于存储数据的数据存储单元(或数据存储库)。处理器501可以借助于通信界面520可操作地耦合到计算机网络(“网络”)530。网络530可以是因特网、互联网和/或外部网,或与因特网通信的内部网和/或外部网。在一些情况下,网络530是电信和/或数据网络。网络530可以包括一个或多个计算机服务器,其可以启用分布式计算,例如云计算。在一些情况下,网络530可以在设备501的帮助下实现对等网络,该对等网络可以使耦合至设备501的设备能够充当客户端或服务器。
继续参考图5,处理器501包括用于从用户接收信息的脚控制器,该脚控制器通过输入界面550与其他输入设备通信。处理器501可以包括输出设备555,其通过输出界面560与脚控制器通信。
继续参考图5,存储器510可以包括各种组件(例如,机器可读介质),包括但不限于随机存取存储器组件(例如,RAM)(例如,静态RAM“SRAM”、动态RAM“DRAM等”)或只读组件(例如,ROM)。存储器还可以包括基本输入/输出系统(BIOS),该基本输入/输出系统(BIOS)包括诸如在设备启动期间帮助在处理器内的元件之间传递信息的基本例程,其可以存储在存储器510中。
继续参考图5,CPU 505可以执行一系列机器可读指令,其可以体现在程序或软件中。指令可以存储在诸如存储器510的存储器位置中。指令可以被定向到CPU 505,CPU 505可以随后对CPU 505进行编程或以其他方式配置CPU 505以实现本公开的方法。CPU 505执行的操作的示例可以包括获取,解码,执行和写回。CPU 505可以是电路的一部分,例如集成电路。设备501的一个或多个其他组件可以包括在电路中。在一些情况下,该电路是专用集成电路(ASIC)或现场可编程门阵列(FPGA)。
继续参考图5,存储单元515可以存储文件,例如驱动程序、库和保存的程序。存储单元515可以存储用户数据,例如,用户偏好和用户程序。在一些情况下,处理器501可以包括一个或多个外部的附加数据存储单元,例如位于通过内部网或因特网通信的远程服务器上。存储单元515还可以用于存储操作系统、应用程序等。可选地,存储单元515可以(例如,通过外部端口连接器(未示出))和/或通过存储单元界面与处理器可移除地对接。软件可以全部或部分地驻留在存储单元515之内或之外的计算机可读存储介质中。在另一个示例中,软件可以全部或部分地驻留在处理器505内。
继续参考图5,处理器501可以通过网络530与一个或多个远程计算机系统502通信。例如,设备501可以与用户的远程计算机系统通信。远程计算机系统的示例包括个人计算机(例如,便携式PC)、板或平板PC(例如,iPad、/>Galaxy Tab)、电话、智能电话(例如,/>iPhone、支持Android的设备、/>)或个人数字助理。
继续参考图5,可以通过显示器535向用户显示信息和数据。
如本文所描述的方法可以通过存储在处理器501的电子存储位置上(例如在存储器510或电子存储单元515上)的机器(例如,计算机处理器)可执行代码来实现。可以以软件形式提供机器可执行或机器可读代码。在使用期间,代码可以由处理器505执行。在一些情况下,可以从存储单元515搜索代码并将其存储在存储器510上,以供处理器505随时访问。在一些情况下,电子存储单元515可以被“排除”,并且将机器可执行指令存储在存储器510上。
非暂时性计算机可读存储介质
在一些实施方式中,本文公开的平台、系统、介质和方法包括一种或多种非暂时性计算机可读存储介质,其用程序编码,该程序包括可由可选联网的处理器的操作系统执行的指令。在其他实施方式中,计算机可读存储介质是处理器的有形组件。在其他实施方式中,计算机可读存储介质可选地可从处理器移除。在一些实施方式中,作为非限制性示例,计算机可读存储介质包括CD-ROM、DVD、闪存设备、固态存储器、磁盘驱动器、磁带驱动器、光盘驱动器、云计算系统和服务等。在一些情况下,程序和指令被永久、基本上永久、半永久或非临时编码在介质上。
计算机程序
在一些实施方式中,本文公开的平台、系统、介质和方法包括至少一个计算机程序或它们的使用。计算机程序包括一系列指令,其可在处理器的CPU中执行,这些指令被编写为执行指定任务。计算机可读指令可以被实现为执行特定任务或实现特定抽象数据类型的程序模块,例如功能、对象、应用编程界面(API)、数据结构等。根据本文提供的公开内容,本领域技术人员将认识到,可以用各种语言的各种版本来编写计算机程序。
计算机可读指令的功能可以在各种环境中根据需要组合或分布。在一些实施方式中,计算机程序包括一个指令序列。在一些实施方式中,计算机程序包括多个指令序列。在一些实施方式中,从一个位置提供计算机程序。在其他实施方式中,从多个位置提供计算机程序。在各种实施方式中,计算机程序包括一个或多个软件模块。在各种实施方式中,计算机程序部分或全部包括一个或多个Web应用、一个或多个移动应用、一个或多个独立应用、一个或多个Web浏览器插件、扩展件、加载件或添加件或其组合。
在一些实施方式中,用户能够通过脚控制器的输入在多个图像内滚动。在一些情况下,用户能够通过脚控制器的输入在图像类型之间切换以比较图像。在一些实施方式中,不同的图像类型,例如诸如声速和反射的超声图像的渲染,可以彼此相邻地示出,或者以其他顺序示出,以便用户通过脚控制器的输入进行比较。在一些情况下,用户能够通过脚控制器的输入来放大或缩小图像以聚焦于某些特征。在一些实施方式中,不同的图像类型可以通过脚控制器的输入以某种顺序呈现。在其他情况下,不同图像的呈现可能没有顺序。
Web应用
在一些实施方式中,计算机程序包括web应用。根据本文提供的公开内容,本领域技术人员将认识到,在各种实施方式中,web应用利用一个或多个软件框架和一个或多个数据库系统。在一些实施方式中,基于诸如NET或Ruby on Rails(RoR)的软件框架来创建web应用。在一些实施方式中,web应用利用一个或多个数据库系统,作为非限制性示例,包括关系、非关系、面向对象、关联和XML数据库系统。在其他实施方式中,作为非限制性示例,合适的关系数据库系统包括/>SQL Server、mySQLTM和/>本领域技术人员还将认识到,在各种实施方式中,以一种或多种语言的一种或多种版本来编写web应用。可以用一种或多种标记语言、表示定义语言、客户端脚本语言、服务器端编码语言、数据库查询语言或其组合来编写web应用。在一些实施方式中,在某种程度上以诸如超文本标记语言(HTML)、可扩展超文本标记语言(XHTML)或可扩展标记语言(XML)的标记语言编写web应用。在一些实施方式中,在某种程度上以诸如级联样式表(CSS)的表示定义语言编写web应用。在一些实施方式中,在某种程度上以诸如异步Javascript和XML(AJAX)、ActionScript、Javascript或/>的客户端脚本语言编写web应用。在一些实施方式中,在某种程度上以诸如活动服务器页面(ASP)、Perl、JavaTM、JavaServerPages(JSP)、超文本预处理器(PHP)、PythonTM、Ruby、Tcl、Smalltalk、/>或Groovy的服务器端编码语言来编写web应用。在一些实施方式中,在某种程度上以诸如结构化查询语言(SQL)的数据库查询语言来编写web应用。在一些实施方式中,web应用集成企业服务器产品,例如/>Lotus/>在一些实施方式中,网络应用包括媒体播放器元件。在各种其他实施方式中,媒体播放器元件利用许多合适的多媒体技术中的一个或多个,作为非限制性示例,包括:/>HTML 5、JavaTM和/>
参考图6,在特定实施方式中,应用提供系统包括由关系数据库管理系统(RDBMS)610访问的一个或多个数据库600。合适的RDBMS包括Firebird、MySQL、PostgreSQL、SQLite、Oracle数据库、Microsoft SQL Server、IBM DB2、IBM Informix、SAP Sybase、SAP Sybase、Teradata等。在该实施方式中,应用提供系统还包括一个或多个应用服务器620(例如,Java服务器、.NET服务器、PHP服务器等)和一个或多个Web服务器630(例如,Apache、IIS、GWS等)。Web服务器可以通过app应用编程界面(API)640公开一个或多个Web服务。该系统通过网络(例如因特网)提供基于浏览器的和/或移动电话本地用户界面。
鉴于本文提供的公开内容,通过本领域技术人员已知的技术使用本领域已知的硬件、语言和开发环境来创建移动应用。本领域技术人员将认识到,移动应用是用几种语言编写的。作为非限制性示例,合适的编程语言包括C、C++、C#、Objective-C、JavaTM、Javascript、Pascal、Object Pascal、PythonTM、Ruby、VB.NET、WML和具有或不具有CSS的XHTML/HTML或其组合。
可从几个来源获得合适的移动应用开发环境。作为非限制性示例,可商购的开发环境包括AirplaySDK、alcheMo、Celsius、Bedrock、Flash Lite、.NETCompact Framework、Rhomobile和WorkLight移动平台。其他开发环境免费提供,作为非限制性示例,包括Lazarus、MobiFlex、MoSync和Phonegap。此外,移动设备制造商还分发软件开发人员工具包,作为非限制性示例,包括iPhone和iPad(iOS)SDK、AndroidTMSDK、SDK、BREW SDK、/>OS SDK、Symbian SDK、webOS SDK和/>Mobile SDK。
本领域技术人员将认识到,几个商业论坛可用于分发移动应用,作为非限制性示例,包括App Store、/>Play、Chrome WebStore、/>AppWorld、用于Palm设备的App Store、用于webOS的应用目录、用于移动设备的/>Marketplace、用于/>设备的Ovi Store、/>Apps和/>DSiShop。
软件模块
在一些实施方式中,本文公开的平台、系统、介质和方法包括软件、服务器和/或数据库模块或它们的使用。鉴于本文提供的公开,软件模块通过本领域技术人员已知的技术使用本领域已知的机器、软件和语言来创建。本文公开的软件模块以多种方式实现。在各种实施方式中,软件模块包括文件、代码段、编程对象、编程结构或其组合。在进一步的各种实施方式中,软件模块包括多个文件、多个代码段、多个编程对象、多个编程结构或其组合。在各种实施方式中,作为非限制性示例,一个或多个软件模块包括网络应用、移动应用和独立应用。在一些实施方式中,软件模块在一个计算机程序或应用中。在其他实施方式中,软件模块在一个以上的计算机程序或应用中。在一些实施方式中,软件模块被托管在一台机器上。在其他实施方式中,软件模块托管在一台以上的机器上。在其他实施方式中,软件模块托管在云计算平台上。在一些实施方式中,软件模块被托管在一个位置的一台或多台机器上。在其他实施方式中,软件模块被托管在一个以上的位置的一台或多台机器上。本文公开的系统和方法可以以移动应用或计算机软件程序的形式实现。
在一些实施方式中,本文公开的平台、系统、媒体和方法包括一个或多个数据库或它们的使用。鉴于本文提供的公开,本领域技术人员将认识到,许多数据库适合于存储和搜索原始图像数据、重构图像数据、ROI、存储的分类数据、标签或分类、特征、特征子类别等。在各种实施方式中,作为非限制性示例,合适的数据库包括关系数据库、非关系数据库、面向对象的数据库、对象数据库、实体关系模型数据库、关联数据库和XML数据库。其他非限制性示例包括SQL、PostgreSQL、MySQL、Oracle、DB2和Sybase。在一些实施方式中,数据库是基于因特网的。在其他实施方式中,数据库是基于网络的。还在其他实施方式中,数据库是基于云计算的。在其他实施方式中,数据库基于一个或多个本地计算机存储设备。
实施例
实施例1:SoftVue中乳房组织图像堆栈的控制和操纵
本文所述的脚控制器用于在检查乳房组织图像时控制SoftVue应用中图像检查的主要和辅助功能。主要功能包括向胸壁滚动图像、向乳头滚动图像以及导航SoftVue挂片协议或图像布局。SoftVue挂片协议布局包括双边审查、晶片声速、反射声速、晶片刚度融合等,如图8中可以看到的。辅助功能包括放大和缩小图像、将光标集中在图像堆栈上、自动旋转、2D测量等,如图9中可以看到的。通过按下左脚趾开关来控制从胸壁到乳头滚动图像堆栈的主要功能。通过按下右脚趾开关来控制从乳头到胸壁滚动图像堆栈的主要功能。通过按下左脚跟开关来控制向后移动SoftVue图像检查挂片协议或图像布局的主要功能。通过按下右脚跟开关来控制向前移动SoftVue图像检查挂片协议或图像布局的主要功能。脚踏板被接合以放大图像,当踏板被进一步按下时,图像被按比例放大。辅助功能由手控制器(诸如鼠标)控制。
实施例2:图像堆栈的图像表征参数的控制和操纵
本文所述的脚控制器,包括夹在用户鞋上的设备中的加速度计和陀螺仪,用于控制超声图像堆栈的图像的参数集中的参数。如本文所述,用户通过将他们的脚从中立位置移动到第一位置来滚动超声反射图像集(移动可以在垂直或水平平面中)。用户通过将他们的脚移动到中立位置来选择感兴趣的图像。用户轻拍他们的脚以访问辅助选择功能,并使用诸如键盘等用户界面的第二控制器来识别感兴趣的图像中的非流动肿块。辅助功能可以是挂片协议/图像布局的缩放或选择,它们是便于在滚动时对检测到的感兴趣区域进行评估的功能。反射图像中的暗区通常可以表示正常组织。非流动肿块通过多个图像片段均匀地改变形状。然后,用户轻拍他们的脚以返回到主要控制,并将他们的脚移动到第一位置以滚动图像堆栈中的剩余系列的超声反射图像。用户重复前面的步骤以识别具有肿块的一系列图像,并随后轻拍他们的脚以访问辅助选择功能,并使用诸如键盘等用户界面的第二控制器来识别具有非流动肿块的一系列图像,以确定该肿块是否从超声反射图像堆栈的层流动到层。
如本文所述的脚控制器用于识别第二感兴趣的区域是否在多种图像类型中从图像类型到图像类型持续。持续参数涉及在一个以上的超声图像渲染上(例如在反射图像和晶片图像中)出现的肿块。如果肿块仅出现在一种图像类型中,则该体积的组织是肿块的可能性很小。用户选择对应于与先前使用用户界面检查的超声反射图像集相同的组织的晶片图像集。如本文所述,用户通过将他们的脚从中立位置移动到第一位置来滚动该晶片图像集。用户通过将他们的脚移动到中立位置来选择感兴趣的晶片图像。用户轻拍他们的脚以访问辅助挂片协议或图像布局选择功能,并使用脚控制器上的向左或向右的移动来在晶片图像布局和反射图像布局之间切换,该反射图像布局与具有先前识别的感兴趣区域的反射图像相同的组织段相关。
虽然本文已经示出和描述了本发明的优选实施方式,但是对于本领域技术人员而言显而易见的是,这些实施方式仅作为示例提供。在不脱离本发明的情况下,本领域技术人员现在将想到许多变化、改变和备选。应该理解,在实践本发明时可以采用本文所述发明的实施方式的各种替代方案。所附权利要求旨在限定本发明的范围,并且这些权利要求及其等同物范围内的方法和结构由此被覆盖。

Claims (60)

1.一种操纵多个组织图像的方法,包括:
提供一图像分析系统,所述系统包括:
i.计算设备,所述计算设备包括处理器、存储器和显示器;
ii.可操作地耦合到所述计算设备的一个或多个脚控制器,所述一个或多个脚控制器中的脚控制器包括:
能够检测第一点和第二点之间的垂直移动的脚运动输入接收器;和
iii.存储有指令的所述计算设备的所述存储器,所述指令使得所述处理器实施第一图像操纵,所述第一图像操纵是响应于用户正在操作的所述脚控制器在所述多个组织图像之间的滚动功能,并使得所述显示器示出所述滚动的组织图像。
2.根据权利要求1所述的方法,其中所述脚控制器包括一个或多个水平运动输入接收器,所述一个或多个水平运动输入接收器能够检测在内点和外点之间的水平运动平面中的移动,其中所述外点位于径向远离所述内点的位置。
3.根据权利要求2所述的方法,其中所述图像分析系统还包括第二图像操纵,所述第二图像操纵是用于挂片协议或图像布局和图像类型的不同组合的选择功能。
4.根据权利要求3所述的方法,还包括确定一个或多个水平运动输入接收器的水平位置,并控制所述第二图像操纵的值作为所述一个或多个水平运动输入接收器在所述水平运动平面中的所述位置的函数。
5.根据权利要求4所述的方法,其中所述控制跟所述一个或多个水平运动输入接收器与中性起始位置相比的移动成比例。
6.根据权利要求1所述的方法,还包括按比例地控制所述第一图像操纵的值作为所述垂直运动平面中的所述脚运动输入接收器的函数。
7.根据权利要求1所述的方法,还包括确定在所述第一点和所述第二点之间的所述脚运动输入接收器的位置。
8.根据权利要求1所述的方法,其中所述脚控制器包括脚跟开关,所述脚跟开关被配置为在接合位置和未接合位置之间的垂直运动平面中移动,在所述接合位置中所述脚跟开关与固定的脚跟支架平齐,在所述未接合位置中所述脚跟开关不与所述固定的脚跟支架平齐。
9.根据权利要求1所述的方法,其中所述图像分析系统还包括第二图像操纵,所述第二图像操纵是自动滚动功能。
10.根据权利要求9所述的方法,还包括确定所述脚跟开关的位置以及接合或断开所述脚跟开关。
11.根据权利要求1所述的方法,其中所述脚控制器包括一个或多个侧面开关,所述一个或多个侧面开关被配置为向所述计算机发送信号以在接合时放大或缩小。
12.根据权利要求11所述的方法,其中所述图像分析系统还包括第二图像操纵,所述第二图像操纵是缩放功能。
13.根据权利要求12所述的方法,还包括确定所述一个或多个侧面开关的位置,并且按比例地控制所述第二图像操纵的值作为所述一个或多个侧面开关的接合的函数。
14.根据权利要求1所述的方法,其中所述第一点与组织的远侧部分的组织图像相关,并且所述第二点与所述组织的近侧部分的组织图像相关。
15.根据权利要求1所述的方法,其中所述组织图像的数字堆栈是乳房组织的。
16.根据权利要求1所述的方法,其中所述组织图像的数字堆栈是超声图像。
17.根据权利要求1所述的方法,其中所述脚控制器无线地连接到所述计算机。
18.根据权利要求1所述的方法,其中所述脚控制器经由USB连接到所述计算机。
19.根据权利要求1所述的方法,其中所述脚运动输入接收器是脚踏板,其中所述第一点是所述脚踏板的完全未压下位置,而所述第二点是所述脚踏板的完全压下位置。
20.根据权利要求1所述的方法,其中在所述垂直运动平面中的所述移动具有在所述第一点和中间点之间的第一区域以及在所述中间点和所述第二点之间的第二区域。
21.根据权利要求20所述的方法,其中所述滚动功能保持在每次移动到所述第一区域中的所述中间点时一个图像的恒定最小值。
22.根据权利要求20所述的方法,其中所述滚动功能包括与所述脚踏板在所述第二区域中的所述中间位置和所述第二点之间的位置成比例的可变滚动速率。
23.根据权利要求22所述的方法,其中所述可变滚动速率在所述第二区域中以线性方式增加。
24.一种用于操纵多个组织图像的系统,包括:
a.计算设备,所述计算设备包括处理器、存储器和显示器;
b.可操作地耦合到所述计算设备的脚控制器,所述脚控制器包括能够检测第一点和第二点之间的垂直移动的脚运动输入接收器。
c.存储有指令的所述计算设备的所述存储器,所述指令使得所述处理器实施第一图像操纵,所述第一图像操纵是响应于正在被操作的所述脚控制器在所述多个组织图像之间的滚动功能,并使得所述显示器示出所述滚动的组织图像。
25.根据权利要求24所述的系统,其中所述脚控制器包括脚跟开关,所述脚跟开关被配置为在接合位置和未接合位置之间的垂直运动平面中移动,在所述接合位置中所述脚跟开关与固定的脚跟支架平齐,在所述未接合位置中所述脚跟开关不与所述固定的脚跟支架平齐。
26.根据权利要求24所述的系统,其中所述脚控制器包括一个或多个侧面开关,所述一个或多个侧面开关包括一个或多个刻度盘模式二进制开关。
27.根据权利要求26所述的系统,其中所述一个或多个刻度盘模式二进制开关被配置为接合到第一模式和第二模式。
28.根据权利要求27所述的系统,其中所述第一模式通过在所述一个或多个侧面开关中的开关上向下施加压力来激活,并且所述第二模式通过在所述一个或多个侧面开关中的开关上侧向施加压力来激活。
29.一种操纵多个组织图像的方法,包括:
提供图像分析系统,所述系统包括:
i.计算设备,所述计算设备包括处理器、存储器和显示器;
ii.可操作地耦合到所述计算设备的一个或多个脚控制器,所述一个或多个脚控制器中的脚控制器包括:
能够检测第一点和第二点之间的移动的脚运动输入接收器;和
iii.存储有指令的所述计算设备的所述存储器,所述指令使得所述处理器实施第一图像操纵和第二图像操纵,
所述第一图像操纵是响应于用户正在操作的所述脚控制器在所述多个组织图像之间的滚动功能,并使得所述显示器示出所述滚动的组织图像。
30.根据权利要求29所述的方法,其中所述脚控制器包括一个或多个水平运动输入接收器,所述一个或多个水平运动输入接收器能够检测在内点和外点之间的水平运动平面中的移动,其中所述外点位于径向远离所述内点的位置。
31.根据权利要求30所述的方法,其中所述第二图像操纵是用于挂片协议或图像布局和图像类型的不同组合的选择功能。
32.根据权利要求31所述的方法,还包括确定一个或多个水平运动输入接收器的水平位置,并控制所述第二图像操纵的值作为所述一个或多个水平运动输入接收器在所述水平运动平面中的所述位置的函数。
33.根据权利要求32所述的方法,其中所述控制跟所述一个或多个水平运动输入接收器与中性起始位置相比的移动成比例。
34.根据权利要求29所述的方法,其中所述脚运动输入接收器能够检测所述第一点和所述第二点之间的垂直运动平面中的移动。
35.根据权利要求34所述的方法,还包括按比例地控制所述第一图像操纵的值作为所述垂直运动平面中的所述脚运动输入接收器的函数。
36.根据权利要求29所述的方法,还包括确定所述第一点和所述第二点之间的所述脚运动输入接收器的位置。
37.根据权利要求29所述的方法,其中所述脚控制器包括脚跟开关,所述脚跟开关被配置为在接合位置和未接合位置之间的垂直运动平面中移动,在所述接合位置中所述脚跟开关与固定的脚跟支架平齐,在所述未接合位置中所述脚跟开关不与所述固定的脚跟支架平齐。
38.根据权利要求34所述的方法,其中所述第二图像操纵是自动滚动功能。
39.根据权利要求34所述的方法,还包括确定所述脚跟开关的位置以及接合或断开所述脚跟开关。
40.根据权利要求29所述的方法,其中所述脚控制器包括一个或多个侧面开关,所述一个或多个侧面开关被配置为向所述计算机发送信号以在接合时放大或缩小。
41.根据权利要求40所述的方法,其中所述第二图像操纵是缩放功能。
42.根据权利要求41所述的方法,还包括确定所述一个或多个侧面开关的位置,并且按比例地控制所述第二图像操纵的值作为所述一个或多个侧面开关的接合的函数。
43.根据权利要求29所述的方法,其中所述第一点与组织的远侧部分的组织图像相关,并且所述第二点与所述组织的近侧部分的组织图像相关。
44.根据权利要求29所述的方法,其中所述组织图像的数字堆栈是乳房组织的。
45.根据权利要求29所述的方法,其中所述组织图像的数字堆栈是超声图像。
46.根据权利要求29所述的方法,其中所述脚控制器无线地连接到所述计算机。
47.根据权利要求29所述的方法,其中所述脚控制器经由USB连接到所述计算机。
48.根据权利要求29所述的方法,其中所述脚运动输入接收器是脚踏板,其中所述第一点是所述脚踏板的完全未压下位置,而所述第二点是所述脚踏板的完全压下位置。
49.根据权利要求29所述的方法,其中在所述垂直运动平面中的所述移动具有在所述第一点和中间点之间的第一区域以及在所述中间点和所述第二点之间的第二区域。
50.根据权利要求49所述的方法,其中所述滚动功能保持在每次移动到所述第一区域中的所述中间点时一个图像的恒定最小值。
51.根据权利要求49所述的方法,其中所述滚动功能包括与所述脚踏板在所述第二区域中的所述中间位置和所述第二点之间的位置成比例的可变滚动速率。
52.根据权利要求51所述的方法,其中所述可变滚动速率在所述第二区域中以线性方式增加。
53.一种用于操纵多个组织图像的系统,包括:
a.计算设备,所述计算设备包括处理器、存储器和显示器;
b.可操作地耦合到所述计算设备的脚控制器,所述脚控制器包括能够检测第一点和第二点之间的移动的脚运动输入接收器;和
c.存储有指令的所述计算设备的所述存储器,所述指令使得所述处理器实施第一图像操纵和第二图像操纵,所述第一图像操纵是响应于正在被操作的所述脚控制器在所述多个组织图像之间的滚动功能,并使得所述显示器示出所述滚动的组织图像。
54.根据权利要求53所述的系统,其中所述脚运动输入接收器能够检测所述第一点和所述第二点之间的垂直运动平面中的移动。
55.根据权利要求53所述的系统,其中所述脚控制器包括脚跟开关,所述脚跟开关被配置为在接合位置和未接合位置之间的垂直运动平面中移动,在所述接合位置中所述脚跟开关与固定的脚跟支架平齐,在所述未接合位置中所述脚跟开关不与所述固定的脚跟支架平齐。
56.根据权利要求53所述的系统,其中所述脚控制器包括一个或多个侧面开关,所述一个或多个侧面开关包括一个或多个刻度盘模式二进制开关。
57.根据权利要求56所述的系统,其中所述一个或多个刻度盘模式二进制开关被配置为接合到第一模式和第二模式。
58.根据权利要求57所述的系统,其中所述第一模式通过在所述一个或多个侧面开关中的开关上向下施加压力来激活,并且所述第二模式通过在所述一个或多个侧面开关中的开关上侧向施加压力来激活。
59.根据权利要求57所述的系统,其中所述第二图像操纵是缩放功能。
60.根据权利要求57所述的系统,其中所述第二图像操纵是自动滚动功能。
CN202180077393.4A 2020-09-18 2021-09-14 用于组织图像的数字堆栈的图像操纵的系统和方法 Pending CN116457746A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063080138P 2020-09-18 2020-09-18
US63/080,138 2020-09-18
PCT/US2021/050287 WO2022060739A1 (en) 2020-09-18 2021-09-14 Systems and methods for image manipulation of a digital stack of tissue images

Publications (1)

Publication Number Publication Date
CN116457746A true CN116457746A (zh) 2023-07-18

Family

ID=80777401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180077393.4A Pending CN116457746A (zh) 2020-09-18 2021-09-14 用于组织图像的数字堆栈的图像操纵的系统和方法

Country Status (5)

Country Link
US (1) US20230215005A1 (zh)
EP (1) EP4214597A4 (zh)
JP (1) JP2023541958A (zh)
CN (1) CN116457746A (zh)
WO (1) WO2022060739A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5883615A (en) * 1995-09-29 1999-03-16 Liebel-Flarsheim Company Foot-operated control system for a multi-function
MXPA03000894A (es) * 2000-10-17 2003-06-24 Alcon Inc Controlador de pedal representable en mapa para sistema micro quirurgico.
CA2883498C (en) * 2012-08-30 2022-05-31 Truevision Systems, Inc. Imaging system and methods displaying a fused multidimensional reconstructed image
CA3000759A1 (en) * 2014-10-23 2016-04-28 Orpyx Medical Technologies Inc. Foot gesture-based control device

Also Published As

Publication number Publication date
JP2023541958A (ja) 2023-10-04
WO2022060739A1 (en) 2022-03-24
US20230215005A1 (en) 2023-07-06
EP4214597A4 (en) 2024-06-05
EP4214597A1 (en) 2023-07-26

Similar Documents

Publication Publication Date Title
US11900266B2 (en) Database systems and interactive user interfaces for dynamic conversational interactions
US20220392085A1 (en) Systems and methods for updating three-dimensional medical images using two-dimensional information
US11900594B2 (en) Methods and systems for displaying a region of interest of a medical image
CN111968070B (zh) 一种基于三维建模的血管检测方法及装置
WO2018026431A1 (en) Computer-aided diagnosis system for medical images using deep convolutional neural networks
US9678644B2 (en) Displaying a plurality of registered images
US20220133589A1 (en) Systems and methods for thermographic body mapping with therapy
US20220323043A1 (en) Methods and systems for cancer risk assessment using tissue sound speed and stiffness
US20230005601A1 (en) Document creation support apparatus, method, and program
US20230095492A1 (en) Methods and systems using fractional rank precision and mean average precision as test-retest reliability measures
US20220084203A1 (en) System and methods for interactive lesion characterization
CN105122309B (zh) 与独立背景图像结合的光滑刚性线的描绘和/或校正
US20230215005A1 (en) Systems and methods for image manipulation of a digital stack of tissue images
CN115243610A (zh) 激光散斑力反馈估计
US12118650B2 (en) Systems and methods for rendering objects translucent in x-ray images
US20240249406A1 (en) Method to detect and measure a wound site on a mobile device
US12080002B2 (en) Systems and methods for medical image registration
KR102321642B1 (ko) 입력 장치 및 이를 포함하는 의료 영상 장치
US20220277134A1 (en) Document creation support apparatus, method, and program
EP3822983A1 (en) Learning, indexing, and/or applying aspects of digital hanging protocols

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination