CN107077211B - 视线跟踪驱动的感兴趣区域分割 - Google Patents
视线跟踪驱动的感兴趣区域分割 Download PDFInfo
- Publication number
- CN107077211B CN107077211B CN201580057307.8A CN201580057307A CN107077211B CN 107077211 B CN107077211 B CN 107077211B CN 201580057307 A CN201580057307 A CN 201580057307A CN 107077211 B CN107077211 B CN 107077211B
- Authority
- CN
- China
- Prior art keywords
- point
- roi
- gaze
- image
- dwell
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 claims description 20
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims description 8
- 238000007476 Maximum Likelihood Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 238000002059 diagnostic imaging Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims 5
- 230000008901 benefit Effects 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 6
- 238000002604 ultrasonography Methods 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000014616 translation Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 238000002603 single-photon emission computed tomography Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- WYTGDNHDOZPMIW-RCBQFDQVSA-N alstonine Natural products C1=CC2=C3C=CC=CC3=NC2=C2N1C[C@H]1[C@H](C)OC=C(C(=O)OC)[C@H]1C2 WYTGDNHDOZPMIW-RCBQFDQVSA-N 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Ophthalmology & Optometry (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nonlinear Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Abstract
一种感兴趣区域(ROI)分割系统(10)包括显示设备(20)、视线跟踪设备(28)、视线点收集器(32)、边界识别器(36)，以及区域识别器(38)。所述显示设备(20)显示图像(14)。所述视线跟踪设备(28)生成相对于所显示的图像(14)的视线点。所述视线点收集器(32)从与所显示的图像(14)的感兴趣区域(ROI)(25)相对应的所生成的视线点(30)中选择视线点；所述边界识别器(36)基于所选择的视线点(54、60)来估计边界(70)。所述区域识别器(38)基于所估计的边界(70)来分割所述ROI(25)。
Description
技术领域
下文总体上涉及医学成像。下文尤其与对医学图像中的感兴趣区域的分割结合应用，并且将具体参考其进行描述。然而，应当理解，下文也适用于其他使用场景，而不必限于前述应用。
背景技术
感兴趣区域(ROI)的分割被使用在对医学图像中的组织和结构的分析中，例如，疾病检测和/或疾病传播。分割涉及识别结构和/或组织的边界，并且能够包括基于所识别的边界和其他特征(例如，强度、尺寸、形状、和/或从一幅图像到另一幅图像的测量结果的改变)的测量。分割被采用在许多成像模态中，例如，磁共振成像(MRI)、超声(US)、X射线计算机断层摄影(CT)、正电子发射断层摄影(PET)、单光子发射断层摄影(SPECT)、它们的组合等。
由于因为ROI的根本性质、不同模态以及每种模态可用的不同成像参数造成的变化的强度、尺寸和形状，分割目标ROI会是困难的。要被分析的目标ROI能够包括肿瘤、结节、淋巴结、具有毛玻璃样不透明区的组织，其可以由受过训练的健康护理从业者识别出，但是其可能并非源自医学图集。各模态呈现结构和/或代谢活动的不同图像表示。目标ROI可以与周边结构/器官/组织共享能检测的特征。每种模态都能够使用不同的成像参数，其针对相同的对象和相同的时间呈现不同的图像表示。
一种方法是由健康护理从业者使用工具集对目标ROI的手动识别，以指示目标ROI。例如，使用绘线工具和/或多边形形状工具，健康护理从业者勾画对目标ROI的近似的轮廓。所述工具通常基于被用于沿着边界绘制形状的计算机鼠标和/或光笔。分割算法进一步细化经粗略绘制的形状，以分割组织和/或结构。该方法将计算机处理资源集中于手动识别的目标ROI，并且需要健康护理从业者的大量时间，这降低了由从业者在分析图像的质量中的吞吐量。该过程是单调且耗时的，并且通常被认为不是有成本有效的，甚至对于远少于由成像设施成像的对象的量的个体对象的图像也是如此。
另一种方法是完全自动化的，其在无健康护理从业者输入的情况下在图像中分割所有组织和/或结构。尽管该方法节省了稀缺的健康护理从业者资源，但是分割算法有时由于结构的变异性而失败。大量的计算资源和时间被浪费在对在分析中不使用的结构的分割。
混合方法包括每种方法的不同方面，其中，健康护理从业者输入通常通过使用由手操纵的输入设备来指示点和/或多边形形状。输入设备需要手动灵巧性和时间以协调设备的移动与所述输入相对于图像的放置的表示。基本操作系统包括用于由鼠标的光标操纵的参数，例如，点击速度、指针速度、指针轨迹、指针表示等，指示由输入设备对个体计算机用户生产率和吞吐量的影响。
US 2006/112334A1公开了一种修改数字图像的部分的方法。在一个布置中，数字图像被显示在显示器上，并且确定用户查看在所述显示器上的图像的视线数据。然后确定由用户查看的所述图像的对应于所确定的视线数据的部分以识别视线区域。所识别的视线区域被修改以生成经修改的视线区域，并且结果得到的经修改的视线区域被显示在所述显示器上。
US 2005/069206A1公开了用于图像注意力分析的系统和方法。在一个方面中，通过预处理图像对图像注意力进行建模以生成图像块的量化集合。然后根据经量化的图像块来生成用于对图像注意力的一对三水平进行建模的基于对比度的显著图。
发明内容
下文公开了新的且改进的视线跟踪驱动的感兴趣分割，其解决了上述问题和其他问题。
根据一个方面，一种感兴趣区域(ROI)分割系统，包括显示设备、视线跟踪设备、视线点收集器、边界识别器，以及区域识别器。所述显示设备显示图像。所述视线跟踪设备提供相对于所显示的图像的跟踪的视线点。所述视线点收集器从所提供的与所显示的图像的感兴趣区域(ROI)相对应的视线点中选择视线点。所述边界识别器基于所选择的视线点来估计边界。所述区域识别器基于所估计的边界来分割所述ROI。
根据另一方面，一种感兴趣区域(ROI)分割的方法，包括：显示图像；生成相对于所显示的图像的视线点；从与所显示的图像的感兴趣区域(ROI)相对应的所生成的视线点中选择视线点；基于所选择的视线点来估计边界；基于所估计的边界来分割所述ROI。
一个优点是利用视线点的聚类对目标感兴趣区域进行识别。
另一优点在于在识别目标ROI中健康护理从业者输入的速度。
另一优点在于在识别目标ROI中的输入的特异性。
另一优点在于使用户交互最小化。
另一优点在于初始获得的指示目标ROI的空间位置和/或图像值的分布。
另一优点在于从初始输入到分割的目标ROI的分割的速度。
本领域普通技术人员在阅读和理解了下文的详细描述之后将意识到另外的优点。
附图说明
本发明可以采取各种部件和各种部件的布置，以及各个步骤和各个步骤的安排的形式。附图仅是出于图示优选实施例的目的，而不应被解释为对本发明的限制。
图1图解性图示了视线跟踪驱动的感兴趣区域分割系统的实施例。
图2利用所显示的图像和视线点的分解视图图示了示范性医学图像。
图3图示了具有校准设定的示范性医学图像。
图4图示了具有经过滤的视线点的示范性医学图像。
图5图示了基于经过滤的视线点的具有初始边界的示范性医学图像。
图6图示了具有经分割的ROI的示范性医学图像。
图7以流程图示出了使用视线点驱动的ROI分割的实施例的一种方法。
具体实施方式
参考图1，图解性图示了视线跟踪驱动的感兴趣区域分割系统10的实施例。计算机或计算设备12从存储设备16或者从生成对象的医学图像的医学成像设备18接收图像14。计算机12由工作站、膝上型计算机、智能手机、平板计算机等合适地实施。所显示的图像能够是2维的、3维体积表示的2维切片、3维体积的2维表示等。所显示的图像14能够包括运动。存储设备16包括系统能访问的存储设备，例如，图片存档与通信系统(PACS)、部门放射学系统、患者病历系统、和/或直接可访问的存储设备，例如，云存储设备、本地存储设备等。医学成像设备18是生成对象的医学图像的设备，例如，磁共振成像(MRI)扫描器、计算机断层摄影(CT)扫描器、正电子发射计算机断层摄影(PET)扫描器、单光子发射计算机断层摄影(SPECT)扫描器、超声(US)扫描器，它们的组合等。计算机12包括显示设备12，所述显示设备12显示所接收的图像。计算机12包括一个或多个数据处理器26。
计算机12包括一个或多个输入设备22，例如，鼠标、光笔、键盘、麦克风、触摸屏等，所述一个或多个输入设备22输入相对于所显示的图像14的参考点或驻留点24。例如，利用被定位在感兴趣区域(ROI)25内的鼠标的指针，对鼠标按钮的点击在空间上并且在时间上识别驻留点24。驻留点24能够被表示在所显示的图像中，例如，利用着色斑点或几何形状、对比的十字交叉线等。
视线跟踪设备或器件28生成相对于所显示的图像14的视线点30。视线跟踪设备28能够相对于计算机12和/或显示设备20来安装，和/或包括身体佩戴的设备，例如，眼镜等。例如，利用膝上型计算机和工作站来附接和校准的TobiiTM便携式眼睛跟踪系统使用微投影器来创建角膜反射图案以估计视线方向。成像传感器以足够的分辨率来记录角膜反射图案，从而确定视线点。视线跟踪设备28能够包括校准动作以相对于显示设备20和/或所显示的图像14来校准视线点30。视线跟踪设备28能够包括针对个体用户的视线进行校准的型线(profile)。视线跟踪设备28实时生成视线点30，例如每秒30个视线点。
在一个实施例中，视线跟踪设备28跟踪并呈现指示驻留点24的输入。例如，在视线在预定时间段内被指向定位区和/或伴随有诸如语音命令的另一输入的情况下，所述驻留点在空间上和时间上被固定。
视线点收集器、处理器、计算机例程、或者器件32从与所显示的图像14的ROI 25相对应的所生成的视线点30中选择视线点。每个视线点在所显示的图像14的坐标系中相关。驻留点24识别对视线点30的空间和时间接近度。例如，在ROI内的驻留点定义到相对于ROI的每个视线点的距离、在基于运动的图像的实例中与ROI的时间关系、以及针对所述驻留点的时间关系，例如，所述驻留点的时间的+1秒。
所述时间接近度能够包括在相对于驻留点24的预定时间窗口或区间[T0，T1]中的视线点30。例如，所选择的视线点包括在所述驻留点之前的一秒的时间区间中跟踪的视线点。在另一范例中，所选择的视线点包括在所述驻留点之前的一秒与在所述驻留点之后的半秒之间的时间区间中跟踪的视线点。所述视线点是以例如每秒30次的频率来采样的。预定的区间[T0，T1]被选择为足够大以生成对所跟踪的视线点30的合适的采样或选择。预定的时间区间[T0，T1]是在时间上接近驻留点24来确定的，例如，在驻留点固定之前和/或之后的时间，以定位在空间上接近ROI的视线点。所选择的视线点的分布比指示ROI的单个位置的输入提供更多的信息，例如，变化。
视线点过滤器、处理器、计算机例程、或者器件34根据相关的ROI 25的图像特征对所选择的视线点进行过滤。例如，与类似于驻留点24的像素强度的像素强度相对应的视线点30被包括在经过滤的视线点中。所述图像特征能够包括空间测量结果和/或图像像素值。视线点过滤器34使用对视线点30的空间位置与驻留点24的空间位置之间的图像特征的最大似然分析。
边界识别器、处理器、计算机例程、或者器件36基于所选择的视线点来选择边界。在一个实施例中，所选择的视线点是由视线点滤波器34过滤的视线点。所述边界从视线点30的离散点改变为连续边界区或体积，其逼近在ROI 25内的所显示的图像14的区或体积。
区域识别器、分割处理器、计算机例程、或者器件38基于所生成的边界来分割ROI25。所述区域识别器使用算法来基于图像特征将所述边界扩展和/或接触到ROI 25，并且使用所生成边界作为初始估计以用于对自动分割算法的输入。所分割的ROI 25被单独地显示在所显示的图像14上，和/或被存储在图像数据存储设备40中，例如，系统可访问的存储设备和/或可直接访问的存储设备。区和/或体积测量能够使用所分割的ROI 25来执行。例如，所分割的ROI能够被用于根据在对象的一幅图像中以及在同一对象的稍后图像中对ROI的分割来确定肿瘤的生长。
视线点收集器32、视线点过滤器34、边界识别器36、以及区域识别器38是由如下设备合适地实施的：数据处理设备26，例如，计算机12的电子处理器或电子处理设备；或者通过网络与计算机12操作性连接的基于网络的服务器计算机等。此外，使用存储能由数据处理设备读取并且能由数据处理设备运行以执行所公开的技术的指令(例如，软件)的非瞬态存储介质来合适地实施所公开的收集、过滤、边界识别和分割技术。
参考图2，图示了示范性医学图像50以及所显示的图像14中选择了视线点54的部分的分解视图52。ROI 25是通常由所选择的视线点54覆盖的发白区。所选择的视线点54是以棋盘样式来图示的。所选择的视线点54能够利用与所显示的图像14形成对比的不同的颜色、形状和/或强度来图示的。利用白色圆圈来指示驻留点24。驻留点能够利用与所显示的图像14形成对比的不同的颜色、形状和/或强度以及所选择的视线点54来指示。例如，驻留点是利用闪烁斑点来指示的，并且视线点是利用在灰度图像中的黄色斑点来指示的。所选择的视线点54是从在鼠标点击之前的一秒由视线跟踪设备生成的点的列表中收集的。在列表中收集的点与驻留点24并且与所显示的图像14在空间上相关。
参考图3，具有视线点的示范性医学图像的分解视图52图示了来自输入设备22中的一个或多个的校准设定或额外输入。驻留点24和所选择的视线点54被显示为距ROI 25一定距离。视线点收集器32校准所选择的视线点54相对于ROI 25的空间位置。例如，利用输入空间位置56，在预期的ROI 25上来自鼠标的诸如点击或“点击和拖曳”输入，在32中对视线点的校准是基于驻留点24与平移的驻留点60之间的误匹配的。驻留点24与平移的驻留点60之间的距离提供经校准的测量结果，其被应用于基于驻留点24的所选择的视线点54。经校准的测量结果考了用户偏差和系统误差两者。恰当对准的驻留点(例如，所得到的平移)被表示在图2的分解视图52中。
参考图4，利用经过滤的视线点60图示了示范性医学图像的分解视图。在一个实施例中，由视线点过滤器34进行的最大似然分析来将所选择的视线点54细化到子集。最大似然分析向过滤器使用驻留点24的像素与每个视线点的像素之间的强度相似度、梯度相似度和/或空间距离。设想到了其他过滤技术。很可能相似的所选择的视线点54被包括在经过滤的子集中；并且很可能不相似的所选择的视线点54被排除。例如，在图2中所图示的被定位在暗区中的所选择的视线点被排除，并且被定位在ROI的发白区域中的所选择的视线点被包括在经过滤的视线点60中。在具有ROI的根本性质、不同模态和每种模态可用的不同成像参数的医学图像中，并且所选择的视线点54(例如，被定位在ROI附近和外部的视线点)是含噪声的并且通过过滤而被排除。
参考图5，图示了基于经过滤的视线点60的具有初始边界70的示范性医学图像。边界识别器36使用主动轮廓模型或算法和/或水平集算法来生成边界。该算法将具有由视线点或经过滤的视线点表示的像素值的空间点转换为连续边界。初始边界70能够被显示在显示设备20上。在示范性医学图像中，初始边界70被表示为在棋盘图案中利用宽线连续界定的区域。初始边界70能够利用与所显示的图像14形成对比的不同的纹理、颜色、突出显示等来表示。
参考图6，图示了具有经分割的ROI 80的示范性医学图像。区域识别器38使用初始边界70作为输入来分割ROI 25。区域识别器38使用自动区域分割技术来分割ROI 25，所述自动区域分割技术例如为区域生长算法、主动轮廓算法、live wire算法和/或基于区域的水平集算法。在一个实施例中，代价函数将当前边界外部的像素位置的像素值与当前边界内的像素位置的像素值进行比较，以确定在经修正的边界中的内含。经分割的ROI 80能够被显示在所显示的图像14上、被单独地显示、被进一步用于区或体积测量、和/或被存储在图像数据存储设备40中。在示范性医学图像中，经分割的ROI 80由包围ROI 25的连续棋盘线来表示，其在暗包围区中显现为发白。经分割的ROI 80能够使用与所显示的图像14形成对比的颜色、纹理、突出显示等来显示。
参考图7，以流程图示出了使用视线点驱动的ROI分割的实施例的一种方法。在一步骤中或者通过模块90，对视线跟踪进行校准。使用视线跟踪设备28的视线跟踪校准将用户视线校准到显示设备20的坐标系。校准能够包括对用户型线的构造和/或更新，其被存储并被重新使用。例如，能够显示点，并且用户的测量的视线点被校准到显示点。校准能够通过利用在屏幕上的各个位置处显示的额外点重复该技术而被细化。
在一步骤中或者通过模块92，图像14被显示在显示设备20上。所显示的图像14能够从图像数据存储设备16被接收，例如，系统可访问的存储设备、可直接访问的存储设备等。
在一步骤中或者通过模块94，通过视线跟踪设备28相对于所显示的图像14来生成视线点30。每个视线点包括时间属性和空间属性。例如，视线点包括时间戳Ti和相对于显示设备和/或所显示的图像的位置(xi,yi)。相对于显示设备的位置被平移到相对于所显示的图像的位置。
在一步骤中或者通过模块96，从与所显示的图像14的ROI 25相对应的所生成的视线点30中选择视线点30。来自一个或多个输入设备22的输入确定驻留点24。输入在空间上和在时间上对点进行固定。对应的预定的时间区间被用于选择视线点，所述视线点是从在预定的时间区间内所生成的视线点30中选择的。例如，鼠标点击输入图像位置并且在时间Tm处发生，并且Tm与在输入之前的0.2秒移动了0.8秒的预定的时间区间[Tm-1.0秒，Tm-0.2秒]相对应、选择在区间[Tm-1.0秒，Tm-0.2秒]内发生的所生成的视线点。所选择的视线点54指示要被用于分割的ROI 25的用户输入。
在决策步骤中或者通过模块98，确定校准。所述校准使用输入来平移所选择的视线点54。例如，利用所显示的所选择的视线点，系统暂停输入。在一步骤中或者通过模块100，使用输入来校准所选择的视线点54。例如，使用鼠标输入的拖放操作相对于所显示的图像来平移所选择的视线点，例如，对所显示的视线点进行移位。平移能够使用驻留点24作为锚定点以用于平移。在一个实施例中，平移使用所选择的视线点作为视线点的连接的云或聚类，以在一个输入操作中移动云或聚类。
在一步骤中或者通过模块102，所选择的视线点54能够进行过滤。过滤器使用对驻留点24的像素值和所选择的视线点54的像素值的最大似然分析来确定在经过滤的视线点60中的内含/排除。最大似然分析使用强度相似度、梯度相似度和/或空间距离。例如，距驻留点的距离被用于排除大于最大距离的所选择的视线点。在一个实施例中，显示经过滤的视线点60，并且额外的输入能够进一步移除经个体过滤的视线点。
在一步骤中或者通过模块104，基于经过滤的视线点60来生成初始估计的边界70。在一个实施例中，基于所选择的视线点54来生成边界70。由边界识别器36使用例如主动轮廓算法或水平集算法来生成边界70。该算法输入经过滤的视线点60和所显示的图像14像素位置和值，并且生成连续边界，例如，蛇形边界。
在一步骤中或者通过模块106，基于经估计的边界70来分割ROI 25。区域识别器38使用自动分割技术来将估计的边界70扩展/接触到经分割的ROI 80。自动分割技术例如包括区域生长算法、主动轮廓算法、live wire算法，或者基于区域的水平集算法。
能够针对其他ROI重复这些步骤。这些步骤能够包括重复和/或返回到其他步骤。例如，能够重复对选择点100的校准。在另一范例中，基于对所选择的视线点54和/或经过滤的视线点60的显示，该处理能够返回到生成视线点94或校准视线跟踪90。
应当理解，结合本文提出的具体的说明性实施例，特定结构特征和/或功能特征被描述为并入定义的元件和/或部件中。然而，预期这些特征也可以同样地被并入其他恰当的元件和/或部件中，以得到相同或类似的益处。还应当理解，可以以恰当的方式有选择地采用示范性实施例的不同方面，以获得适合所期望的应用的其他备选实施例，从而其他备选实施例实现并入其中的各方面的各自优点。
还应当理解，本文描述的具体元件或部件可以经由硬件、软件、固件或其组合来适当地实施其功能。额外地，应当理解，本文描述的一起并入的特定元件在适当的境况下可以是独立元件或以其他方式被分开。类似地，描述的由一个具体元件执行的多个具体功能可以由独立作用以执行个体功能的多个有区别的元件来执行，或者特定个体功能可以被拆分并且由协同作用的多个有区别的元件来执行。或者，本文中以其他方式描述和/或示出为彼此有区别的一些元件或部件可以在适当的情况下物理地或在功能上被组合。
简言之，已经参考优选实施例阐述了本说明书。显然，他人在阅读和理解本说明书的情况下将做出修改和替代。旨在将本发明解释为包括所有这样的修改和替代，只要它们落入权利要求书及其等价方案的范围之内。亦即，应当理解，各种以上公开的特征和功能以及其他特征和功能，或其备选，可以以期望方式被组合到许多其他不同的系统或应用中，并且，本领域技术人员随后也可以做出各种本文目前未预见或未预料的替代、修改、变型或改进，权利要求同样意图涵盖它们。
Claims (15)
1.一种感兴趣区域ROI分割系统(10)，包括：
显示设备(20)，其被配置为显示图像(14)；
视线跟踪设备(28)，其被配置为生成相对于所显示的图像(14)的视线点；
视线点收集器(32)，其被配置为从与所显示的图像(14)的ROI(25)相对应的所生成的视线点(30)中选择视线点；
边界识别器(36)，其被配置为基于所选择的视线点(54、60)来估计边界(70)；以及
区域识别器(38)，其被配置为基于所生成的边界(70)来分割所述ROI(25)，
其中，所述视线点收集器(32)还被配置为根据所生成的视线点(30)来生成驻留点(24)，所述驻留点识别在所述ROI内的所显示的图像中的空间位置，所述驻留点定义所选择的视线点(54)的空间接近度和时间接近度，并且所述驻留点被显示为锚定点以供后续校准。
2.根据权利要求1所述的ROI分割系统(10)，其中，所述显示设备(20)还被配置为显示所述驻留点(24)相对于所显示的图像(14)的视觉表示。
3.根据权利要求1所述的ROI分割系统(10)，还包括：
计算机输入设备(22)，其输入识别在所述ROI内的所显示的图像中的空间位置的驻留点(24)，并且所述驻留点定义所选择的视线点(54)的时间接近度；并且
其中，所述显示设备(20)还被配置为显示所述驻留点(24)相对于所显示的图像(14)的视觉表示。
4.根据权利要求1-3中的任一项所述的ROI分割系统(10)，还包括：
视线点过滤器(34)，其被配置为根据所述驻留点(24)的图像特征对所选择的视线点进行过滤；并且
其中，所述边界识别器(36)还被配置为基于经过滤的视线点(60)来生成所述边界(70)。
5.根据权利要求4所述的ROI分割系统(10)，其中，所述视线点过滤器(34)使用包括如下中的至少一项的最大似然分析进行过滤：
对应于所述驻留点的图像的像素与对应于所选择的视线点的图像的像素之间的强度相似度；
对应于所述驻留点的所述图像的所述像素与对应于所选择的视线点的所述图像的像素之间的梯度相似度；或者
距对应于所述驻留点的所述图像的所述像素和对应于所选择的视线点的所述图像的像素的空间距离。
6.根据权利要求2或3所述的ROI分割系统(10)，其中，所述显示设备(20)被配置为显示所选择的视线点(54)的视觉表示；并且
所述视线点收集器(32)还被配置为基于来自计算机输入设备(22)的识别在所显示的图像(14)中的位置(56)的输入来校准所选择的视线点相对于所述ROI的空间位置。
7.根据权利要求1-3中的任一项所述的ROI分割系统(10)，其中，所述边界识别器(36)被配置为使用如下中的至少一项来生成所估计的边界(70)：主动轮廓算法和水平集算法。
8.根据权利要求1-3中的任一项所述的ROI分割系统，其中，所述区域识别器(38)被配置为基于如下中的至少一项来分割所述ROI(25)：
区域生长算法；
主动轮廓算法；
live wire算法；或
水平集算法。
9.根据权利要求1-3中的任一项所述的ROI分割系统，其中，所述视线跟踪设备(28)包括如下中的至少一项：固定安装的设备和身体佩戴的设备。
10.根据权利要求1-3中的任一项所述的ROI分割系统，其中，所显示的图像(14)是从如下中的至少一项中接收的：
图片存档与通信系统(PACS)(16)；以及
医学成像设备(18)。
11.一种感兴趣区域ROI分割的方法，包括：
显示(92)图像；
生成(94)相对于所显示的图像的视线点；
从与所显示的图像(14)的ROI(25)相对应的所生成的视线点(30)中选择(96)视线点；
基于所选择的视线点(54)来估计(104)边界(70)；并且
基于所估计的边界来分割(106)所述ROI(25)，
其中，选择(96)包括：
输入识别在所述ROI内的所显示的图像中的空间位置的驻留点，并且所述驻留点确定所选择的视线点的时间接近度；并且
将所述驻留点显示为锚定点以供后续校准。
12.根据权利要求11所述的ROI分割的方法，其中，选择(96)包括：
显示所述驻留点相对于所述图像的视觉表示。
13.根据权利要求11和12中的任一项所述的ROI分割的方法，还包括：
根据所述驻留点(24)的图像特征对所选择的视线点进行过滤(102)；并且
其中，对所述边界进行估计(104)是基于经过滤的视线点的。
14.根据权利要求13所述的ROI分割的方法，其中，过滤(102)使用包括如下中的至少一项的最大似然分析：
对应于所述驻留点的图像的像素与对应于所选择的视线点的图像的像素之间的强度相似度；
对应于所述驻留点的所述图像的所述像素与对应于所选择的视线点的所述图像的像素之间的梯度相似度；或者
距对应于所述驻留点的所述图像的所述像素和对应于所选择的视线点的所述图像的像素的空间距离。
15.根据权利要求11和12中的任一项所述的ROI分割的方法，还包括：
显示所选择的视线点的视觉表示；并且
基于从计算机输入设备(22)输入的图像位置(56)来校准(100)所选择的视线点相对于所述ROI的空间位置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201462067464P | 2014-10-23 | 2014-10-23 | |
| US62/067,464 | 2014-10-23 | ||
| PCT/IB2015/057760 WO2016063167A1 (en) | 2014-10-23 | 2015-10-10 | Gaze-tracking driven region of interest segmentation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107077211A CN107077211A (zh) | 2017-08-18 |
| CN107077211B true CN107077211B (zh) | 2021-02-02 |
Family
ID=54360498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580057307.8A Active CN107077211B (zh) | 2014-10-23 | 2015-10-10 | 视线跟踪驱动的感兴趣区域分割 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10133348B2 (zh) |
| EP (1) | EP3210163B1 (zh) |
| JP (1) | JP2017536873A (zh) |
| CN (1) | CN107077211B (zh) |
| RU (1) | RU2673975C2 (zh) |
| WO (1) | WO2016063167A1 (zh) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10678328B2 (en) * | 2014-12-16 | 2020-06-09 | Koninklijke Philips N.V. | Automatic radiology reading session detection |
| US10303247B2 (en) * | 2015-01-16 | 2019-05-28 | Hewlett-Packard Development Company, L.P. | User gaze detection |
| CN107533360B (zh) * | 2015-12-07 | 2021-06-15 | 华为技术有限公司 | 一种显示、处理的方法及相关装置 |
| US11579686B2 (en) * | 2016-03-07 | 2023-02-14 | Apple Inc. | Method and device for carrying out eye gaze mapping |
| US10733275B1 (en) * | 2016-04-01 | 2020-08-04 | Massachusetts Mutual Life Insurance Company | Access control through head imaging and biometric authentication |
| US10956544B1 (en) | 2016-04-01 | 2021-03-23 | Massachusetts Mutual Life Insurance Company | Access control through head imaging and biometric authentication |
| SK289010B6 (sk) * | 2016-10-17 | 2022-11-24 | Ústav experimentálnej fyziky SAV, v. v. i. | Spôsob interaktívnej kvantifikácie digitalizovaných 3D objektov pomocou kamery snímajúcej pohľad |
| US10971044B2 (en) * | 2017-08-24 | 2021-04-06 | Radiant Vision Systems, LLC | Methods and systems for measuring electronic visual displays using fractional pixels |
| US10959696B1 (en) * | 2019-11-25 | 2021-03-30 | Robert Edwin Douglas | Method and apparatus for an improved localizer for 3D imaging |
| CN108683841B (zh) * | 2018-04-13 | 2021-02-19 | 维沃移动通信有限公司 | 图像处理方法及移动终端 |
| US10748021B2 (en) * | 2018-05-11 | 2020-08-18 | Samsung Electronics Co., Ltd. | Method of analyzing objects in images recorded by a camera of a head mounted device |
| CN108919957A (zh) * | 2018-07-16 | 2018-11-30 | 北京七鑫易维信息技术有限公司 | 一种图像传输方法、装置、终端设备及存储介质 |
| US11580701B2 (en) * | 2019-02-20 | 2023-02-14 | Samsung Electronics Co., Ltd. | Apparatus and method for displaying contents on an augmented reality device |
| KR102235196B1 (ko) * | 2019-04-17 | 2021-04-02 | 이진균 | 의료 영상 세그멘테이션 장치 및 이를 이용한 모델링 방법 |
| DE102019211536A1 (de) * | 2019-08-01 | 2021-02-04 | Siemens Healthcare Gmbh | Automatische Lokalisierung einer Struktur |
| EP3786765A1 (en) * | 2019-08-29 | 2021-03-03 | Leica Instruments (Singapore) Pte. Ltd. | Microscope, control circuit, method and computer program for generating information on at least one inspected region of an image |
| US11490968B2 (en) | 2020-07-29 | 2022-11-08 | Karl Storz Se & Co. Kg | Devices, systems, and methods for labeling objects of interest during a medical procedure |
| US11567569B2 (en) | 2021-04-08 | 2023-01-31 | Google Llc | Object selection based on eye tracking in wearable device |
| CN113537295B (zh) * | 2021-06-22 | 2023-10-24 | 北京航空航天大学 | 基于离群点引导的视线估计跨场景适配方法和装置 |
| CN113837171B (zh) * | 2021-11-26 | 2022-02-08 | 成都数之联科技有限公司 | 候选区域提取方法及系统及装置及介质及目标检测方法 |
| US11556174B1 (en) * | 2022-03-30 | 2023-01-17 | Motorola Mobility Llc | Monitoring system having contextual gaze-detection-based selection/triggering of caregiver functions |
| WO2024120958A1 (en) * | 2022-12-09 | 2024-06-13 | Koninklijke Philips N.V. | Method, system, and computer program element for controlling an interface displaying medical images |
| CN116030247B (zh) * | 2023-03-20 | 2023-06-27 | 之江实验室 | 一种医学图像样本生成方法、装置、存储介质及电子设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521595A (zh) * | 2011-12-07 | 2012-06-27 | 中南大学 | 一种基于眼动数据和底层特征的图像感兴趣区域提取方法 |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2735598B1 (fr) * | 1995-06-16 | 1997-07-11 | Alsthom Cge Alcatel | Methode d'extraction de contours par une approche mixte contour actif et amorce/guidage |
| US5831594A (en) * | 1996-06-25 | 1998-11-03 | Sun Microsystems, Inc. | Method and apparatus for eyetrack derived backtrack |
| US6697506B1 (en) * | 1999-03-17 | 2004-02-24 | Siemens Corporate Research, Inc. | Mark-free computer-assisted diagnosis method and system for assisting diagnosis of abnormalities in digital medical images using diagnosis based image enhancement |
| US7176881B2 (en) * | 2002-05-08 | 2007-02-13 | Fujinon Corporation | Presentation system, material presenting device, and photographing device for presentation |
| US7400761B2 (en) * | 2003-09-30 | 2008-07-15 | Microsoft Corporation | Contrast-based image attention analysis framework |
| US7396129B2 (en) | 2004-11-22 | 2008-07-08 | Carestream Health, Inc. | Diagnostic system having gaze tracking |
| WO2007122698A1 (ja) * | 2006-04-18 | 2007-11-01 | Panasonic Corporation | 超音波診断装置 |
| US8792688B2 (en) * | 2007-03-01 | 2014-07-29 | Titan Medical Inc. | Methods, systems and devices for three dimensional input and control methods and systems based thereon |
| US7556377B2 (en) * | 2007-09-28 | 2009-07-07 | International Business Machines Corporation | System and method of detecting eye fixations using adaptive thresholds |
| JP5816257B2 (ja) * | 2010-03-22 | 2015-11-18 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 観察者の視線を追跡するシステム及び方法 |
| CN104887258B (zh) * | 2010-08-27 | 2018-04-03 | 柯尼卡美能达医疗印刷器材株式会社 | 诊断支援系统 |
| US8510166B2 (en) * | 2011-05-11 | 2013-08-13 | Google Inc. | Gaze tracking system |
| CN102221881A (zh) * | 2011-05-20 | 2011-10-19 | 北京航空航天大学 | 基于仿生代理与视线追踪兴趣区域分析的人机交互方法 |
| US20120326969A1 (en) * | 2011-06-24 | 2012-12-27 | Krishnan Ramanathan | Image slideshow based on gaze of a user |
| EP2774380B1 (en) * | 2011-11-02 | 2019-05-22 | Intuitive Surgical Operations, Inc. | Method and system for stereo gaze tracking |
| CN104395857A (zh) * | 2012-05-09 | 2015-03-04 | 英特尔公司 | 显示器的部分的基于眼球追踪的选择性强调 |
| US9239956B2 (en) | 2012-06-28 | 2016-01-19 | Oliver Hein | Method and apparatus for coding of eye and eye movement data |
| EP2907453B1 (en) * | 2012-09-28 | 2018-11-21 | JVC Kenwood Corporation | Diagnosis assistance device and diagnosis assistance method |
| US10775882B2 (en) * | 2016-01-21 | 2020-09-15 | Microsoft Technology Licensing, Llc | Implicitly adaptive eye-tracking user interface |
| JP6740699B2 (ja) * | 2016-05-10 | 2020-08-19 | コニカミノルタ株式会社 | 画像解析システム |
| JP6812685B2 (ja) * | 2016-07-13 | 2021-01-13 | コニカミノルタ株式会社 | 動態解析装置 |
| US10049457B2 (en) * | 2016-08-29 | 2018-08-14 | CephX Technologies Ltd. | Automated cephalometric analysis using machine learning |
-
2015
- 2015-10-10 EP EP15787020.5A patent/EP3210163B1/en active Active
- 2015-10-10 CN CN201580057307.8A patent/CN107077211B/zh active Active
- 2015-10-10 WO PCT/IB2015/057760 patent/WO2016063167A1/en active Application Filing
- 2015-10-10 RU RU2017117524A patent/RU2673975C2/ru active
- 2015-10-10 JP JP2017522093A patent/JP2017536873A/ja active Pending
- 2015-10-10 US US15/518,820 patent/US10133348B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521595A (zh) * | 2011-12-07 | 2012-06-27 | 中南大学 | 一种基于眼动数据和底层特征的图像感兴趣区域提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2017117524A (ru) | 2018-11-23 |
| RU2673975C2 (ru) | 2018-12-03 |
| WO2016063167A1 (en) | 2016-04-28 |
| EP3210163A1 (en) | 2017-08-30 |
| US10133348B2 (en) | 2018-11-20 |
| US20170242481A1 (en) | 2017-08-24 |
| CN107077211A (zh) | 2017-08-18 |
| EP3210163B1 (en) | 2020-12-23 |
| JP2017536873A (ja) | 2017-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107077211B (zh) | 视线跟踪驱动的感兴趣区域分割 | |
| CN107886508B (zh) | 差分减影方法和医学图像处理方法及系统 | |
| CN106709930B (zh) | 三维医学图像的感兴趣体积分割方法及装置 | |
| US10331981B2 (en) | Brain tissue classification | |
| US9406146B2 (en) | Quantitative perfusion analysis | |
| US20140301624A1 (en) | Method for interactive threshold segmentation of medical images | |
| WO2007044508A2 (en) | System and method for whole body landmark detection, segmentation and change quantification in digital images | |
| CN1620990A (zh) | 在ct血管造影术中分割结构的方法及设备 | |
| KR101728044B1 (ko) | 의료 영상을 디스플레이 하기 위한 방법 및 장치 | |
| EP2401719B1 (fr) | Méthodes de segmentation d'images et de détection de structures particulières | |
| CN109416835B (zh) | 医学图像中的变化检测 | |
| CN106709920B (zh) | 血管提取方法及其装置 | |
| US20180064409A1 (en) | Simultaneously displaying medical images | |
| JP5654561B2 (ja) | 輪郭形成のための自動コントラスト増強法 | |
| CN110636798A (zh) | 用于生理功能参数确定的方法和装置 | |
| Behrenbruch et al. | Image filtering techniques for medical image post-processing: an overview | |
| JP6747785B2 (ja) | 医用画像処理装置及び医用画像処理方法 | |
| EP4156089A1 (en) | Method, device and system for automated processing of medical images to output alerts for detected dissimilarities | |
| Faisal et al. | Computer assisted diagnostic system in tumor radiography | |
| CN107567638B (zh) | 对解剖结构的基于模型的分割 | |
| CA2650075A1 (en) | A method, a system, a computer program product and a user interface for segmenting image sets | |
| Myint et al. | Effective kidney segmentation using gradient based approach in abdominal CT images | |
| EP4300414A1 (en) | Transferring marker locations from a reference image to a follow-up medical image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |