CN104145237A - 用于处理指针移动的系统和方法 - Google Patents
用于处理指针移动的系统和方法 Download PDFInfo
- Publication number
- CN104145237A CN104145237A CN201380010339.3A CN201380010339A CN104145237A CN 104145237 A CN104145237 A CN 104145237A CN 201380010339 A CN201380010339 A CN 201380010339A CN 104145237 A CN104145237 A CN 104145237A
- Authority
- CN
- China
- Prior art keywords
- profile
- pointer movement
- pointer
- image
- primary importance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 title claims description 36
- 230000005764 inhibitory process Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 14
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 5
- 210000003484 anatomy Anatomy 0.000 claims description 2
- 230000002401 inhibitory effect Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 210000000056 organ Anatomy 0.000 description 6
- 238000002600 positron emission tomography Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009206 nuclear medicine Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03543—Mice or pucks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
- G06F3/0383—Signal control means within the pointing device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
Abstract
一种用于实时处理由指点设备提供的指针移动的系统100，所述系统包括：输出部130，其用于显示在图像152、154、156中的第一位置p1处的指针162、164，所述图像包括轮廓；用户输入部110，其用于从由用户可操作的指点设备140获得指针移动数据112，所述指针移动数据指示指针从图像中的第一位置到第二位置p2的指针移动v；以及，处理器120，其用于(i)通过减少沿着正交172于轮廓的方向上的指针移动抑制指针移动，以及(ii)基于所述经抑制的指针移动vd建立指针的第三位置p3。
Description
技术领域
本发明涉及一种用于实时处理由指点设备提供的指针移动的系统和方法。本发明还涉及一种包括所述系统的工作站和成像装置，并且涉及一种包括用于使处理器系统执行所述方法的指令的计算机程序产品。
指点设备(诸如计算机鼠标、触屏、触笔等)使用户能够与装置(诸如计算机、平板电脑等)交互。所述交互可以涉及图形用户界面的使用，其中，指点设备的位置或移动通过被定位和/或移动的指针或光标相应地被表示在屏幕上。以这一方式，提供与设备交互的直观方式。
背景技术
已知使用屏幕上示出的指针使用户能够操作指点设备以执行图像处理的系统和方法。例如，用户可以通过相应地移动指点设备在图像中绘制线条或曲线。
具体地，已知便于绘制医学图像中的边界。W.A.Barrett等人在Medical Image Analysis，1(4)：第331-341页，1997年上的出版物“InteractiveLive-Wire Boundary Extraction”描述了被称为允许要求最小用户输入的准确的边界提取的工具。当用户从手动指定的种子点开始移动鼠标时，以交互率计算并选择最优边界。当鼠标位置接近对象边缘时，“活跃的(live-wire)”边界捕捉到感兴趣的对象并且围绕其弯曲。应当注意，为了便于放置种子点，光标捕捉是可用的，其将鼠标指针强制到用户指定的邻域之内的最大梯度幅值像素。
以上工具的问题是使鼠标指针捕捉到图像中的具体像素以建立图像中的位置对用户而言是不方便的。
发明内容
具有一种使用指点设备使用户能够更方便地建立图像中的位置的系统或方法将是有利的。
为了更好地解决这一关注问题，本发明的第一方面提供一种用于实时处理由指点设备提供的指针移动的系统，所述系统包括：
-输出部，其用于显示在图像中的第一位置处的指针，图像包括轮廓；
-用户输入部，其用于从由用户可操作的指点设备获得指针移动数据，指针移动数据指示指针从图像中的第一位置到第二位置的指针移动；以及
-处理器，其用于(i)通过减少沿着正交于轮廓的方向上的指针移动来抑制指针移动，以及(ii)基于所述经抑制的指针移动建立指针的第三位置。
在本发明的又一方面，提供包括所述系统的工作站和成像装置。
在本发明的又一方面，提供一种用于实时处理由指点设备提供的指针移动的方法，所述方法包括：
-显示在图像中的第一位置处的指针，图像包括轮廓；
-获得来自由用户可操作的指点设备的指针移动数据，指针移动数据指示指针从图像中的第一位置到第二位置的指针移动；
-通过减少沿着正交于轮廓的方向上的指针移动来抑制指针移动；以及
-基于所述经抑制的指针移动建立指针的第三位置。
在本发明的又一方面，提供一种计算机程序产品，所述计算机程序产品包括用于使处理器系统执行所述方法的指令。
以上措施提供由指点设备提供的指针移动的实时处理。这里，实时指的是在用户操作指点设备(即，以所谓的交互率)同时进行处理的指针移动。所述系统包括输出部，诸如显示器或显示输出部，所述输出部能够例如通过将指针叠加在图像上来显示在图像中的第一位置处的指针。指针是图形指示符，诸如箭头或十字准线，一般也被称为光标。因此，当查看屏幕上的图像时，指针对用户来说是可见的。指针的第一位置可以反映指点设备的物理位置或用户关于第一时间处的指点设备的物理位置，例如，用户的手指相对于触屏表面的位置。
所述系统还包括用户输入部，当用户操作指点设备时，所述用户输入部从指点设备获得指针移动数据。指针移动数据指示指针从图像中的第一位置到第二位置的移动，并且由此允许所述系统建立第二位置。指针移动可以反映指点设备的物理移动或用户关于指点设备的物理移动，例如，用户手指在触屏上的移动。
图像包括轮廓。轮廓由图像的元素形成，诸如像素或体素。轮廓可以是边缘，即，在两个对象之间或对象与其背景之间的清晰边界。轮廓也可以由具有相同值或相似值的像素或体素形成，例如，在纹理区域中或沿着图像梯度的线条，例如，在概念上相似于地形图中的高度轮廓线。应当注意，轮廓可以是开放轮廓，即，具有不连接的起点和终点，也可以是闭合轮廓，即，与其本身连接的轮廓。
所述系统还包括处理器，所述处理器减少在垂直于图像中的轮廓的取向或方向的方向上的指针移动。因此，减少朝向和/或远离轮廓定向的指针移动的部分，即分量。因此，获得经抑制的指针移动，其用于建立指针的第三位置。因此，第三位置与从第一位置的指针的经抑制的移动相一致。因此，第三位置通常不同于第二位置。
以上措施具有在朝向和/或远离轮廓的方向上减少由用户提供的指针移动的作用。所以，基于轮廓的取向，指针移动受到抑制。因此，鉴于指针移动将以其他方式导致更靠近和/或更远离轮廓的第二位置，现在抑制指针移动，使得建立更不靠近和/或更不远离轮廓的第三位置。
本发明部分地基于以下认识，即用户通常很难使用指点设备跟随图像中的轮廓，或在给定距离处跟随轮廓。此后，在一定距离处跟随轮廓和跟随(即平行于轮廓的轮廓)一般被称为跟随轮廓。例如，当绘制围绕对象的线条、指出沿着轮廓的特征、基于指针的位置通过观察放大视图可视地检查轮廓等时，这样的对轮廓的跟随可以是高度相关联的。因此，当沿着图像中的轮廓朝向第二位置移动指针时，用户可以频繁地将指针移动到更远离或更靠近轮廓的第二位置。不利地，需要高度集中以通过使用指针准确地跟随轮廓。也不利地，用户在建立第二位置时出现误差。发明人也已经认识到，将指针移动局限于跟随轮廓是期望的。该问题的原因是用户不总是需要跟随轮廓。此外，当抑制是基于通过系统对轮廓的检测时，这样的检测可以是错误的，导致跟随错误检测的轮廓。
通过抑制指针在垂直于轮廓方向的方向上的移动，建立比第二位置更好地跟随轮廓的第三位置。然而，同时，由于即使做出更多努力(例如，要求指点设备的更多或更长的移动)用户仍然可以朝向或远离轮廓移动，用户不被局限于跟随轮廓。有利地，需要更少的集中以准确地跟随轮廓。也有利地，用户可以更方便地建立跟随图像中的轮廓的第三位置。
任选地，输出部被布置为显示在图像中的第三位置处的指针。因此，向用户示出经抑制的指针移动。有利地，当指针跟随图像中的轮廓时，用户察觉指针被稳定住，即更稳定。额外地或备选地，用户察觉指针在其跟随轮廓时比其偏离轮廓时的灵敏度更高。因此，用户可以更方便地利用指针跟随轮廓。
任选地，处理器被布置为基于第一位置和第三位置处理图像。因此，根据经抑制的指针移动，处理图像。因此，基于指针移动的图像处理受益于对指针移动的抑制。
任选地，处理图像包括在第一位置与第三位置之间绘制图像中的线条。由此获得在第一位置与第三位置之间绘制的线条。因此，与在第一位置与第二位置之间绘制的线条相比，在第一位置与第三位置之间绘制的线条更好地跟随轮廓。有利地，用户能够更准确地绘制跟随轮廓的线条。有利地，用户能够绘制比可能没有经抑制的指针移动更少起伏的线条。
任选地，处理器被布置为通过使在第一位置处的图像数据与位于从第二位置沿着正交于轮廓的方向上的其他图像数据之间的相似性特征最大化，建立第三位置。通过使在第一位置处的图像数据与位于第二位置处并且沿着正交于轮廓的方向上的其他图像数据之间的相似性特征最大化，在朝向或远离轮廓的点处建立第三位置，在所述第三位置处，其他图像数据最类似于在第一位置处的图像数据。因此，在从第二位置开始的多个位置处，将图像数据与在所述位置的其他图像数据进行比较，并且选择其中一个位置，在该位置处，其他图像数据使相似性特征最大化。由于当在第一位置处的图像数据示出图像梯度的一部分时，建立第三位置，所述第三位置示出图像梯度的相似部分，因此，所述量度提供隐含的轮廓跟随。相似地，当在第一位置处的图像数据示出在给定距离处的边缘的一部分时，建立第三位置，所述第三位置示出在相似距离处的边缘的相似部分。应当注意，这里，图像数据指的是在给定位置处的像素或体素，可能包括所述位置附近(例如在所述位置的邻域内)的像素和体素。有利地，可以跟随轮廓而不需要明确检测图像中的轮廓。有利地，避免与错误地检测图像中的轮廓相关的误差。
任选地，处理器被布置为在第一位置的邻域之内确定图像中的轮廓。因此，例如，通过检测图像之内的对象边缘或接收轮廓数据，处理器明确地建立图像中的轮廓。处理器确定第一位置的邻域之内的轮廓。因此，轮廓位于离指针的第一位置的有限距离处。
任选地，处理器被布置为基于在正交于轮廓的方向上的指针移动是否朝向或远离轮廓来抑制指针移动。由此，抑制是不同的，即，在朝向轮廓的方向和远离轮廓的方向上以不同方式减少指针移动。
任选地，当所述指针移动远离轮廓时，处理器被布置为比当所述指针移动朝向轮廓时更多地减少所述指针移动。因此，在朝向轮廓的方向上比在远离轮廓的方向上更容易偏离跟随轮廓。朝向轮廓移动指针通常提高轮廓的跟随。远离轮廓移动指针通常降低轮廓的跟随。有利地，用户可以容易地沿着轮廓和朝向轮廓移动指针，但不可以更远离轮廓。
任选地，处理器被布置为通过分解指示在平行于轮廓的方向上和正交于轮廓的方向上的指针移动的向量，以减少向量在沿着正交于轮廓的方向上的分量的大小来抑制指针移动。向量分解很适于建立指针移动在沿着正交于轮廓的方向上的部分。
任选地，处理器被布置为(i)基于轮廓确定梯度，(ii)基于梯度确定正交梯度，正交梯度正交于梯度，以及(iii)分解沿着梯度和正交梯度的向量，以减少向量沿着梯度的分量。因为梯度通常指向正交于轮廓方向的方向，因此梯度的使用很适于获得正交于轮廓的方向。
任选地，输出部被布置为显示用户界面，所述用户界面用于使用户能够提供所述抑制的调节，并且处理器被布置为基于调节执行所述抑制。
任选地，图像是具有相关解剖数据的医学图像，并且处理器被布置为基于解剖数据进一步抑制指针移动。由此，解剖数据用于进一步控制指针移动的抑制。有利地，解剖数据可以指示，例如，附近轮廓、轮廓的方向、是否需要抑制，抑制有多强等。
任选地，处理器被布置为通过以下操作来确定梯度：检测第一位置的邻域之内的多个边缘；(ii)基于多个边缘和第一位置，计算距离图；以及(iii)基于距离图获得在第一位置处的梯度。
本领域技术人员应当理解，可以以认为有用的任何方式对本发明的上述实施例、实施方式和/或方面中的两个或更多个进行组合。
基于本说明书，能够由本领域技术人员实现对应于描述的系统的修改和变型的成像装置、工作站、方法和/或计算机程序产品的修改和变型。
本领域技术人员应当理解，所述方法可以应用于多维图像数据，例如，二维(2-D)、三维(3-D)或四维(4-D)图像。多维图像数据的维度可以涉及时间。例如，三维图像可以包括时域系列的二维图像。图像可以是由各种采集模态采集的医学图像，诸如，但不限于，标准X-射线成像、计算机断层摄影(CT)、磁共振成像(MRI)、超声(US)、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)以及核医学(NM)。然而，图像也可以是任何其他类型，例如，用户想要注释的地图或地震图像。
在独立权利要求中定义本发明。在从属权利要求中定义有利实施例。
附图说明
参考下文描述的实施例，本发明的这些方面和其他方面将显而易见并得到阐明。在附图中，
图1示出了根据本发明的系统，以及显示器；
图2示出了根据本发明的方法；
图3示出了根据本发明的计算机程序产品；
图4示出了图像中轮廓附近的指针，示意性指示了从图像中的第一位置到第二位置的指针移动；
图5示出了在沿着轮廓的方向上和在正交于轮廓的方向上的指针移动的分解；
图6示出了基于轮廓的梯度的分解；
图7示出了经抑制的指针移动和基于经抑制的指针移动的指针的第三位置；
图8示出了基于经抑制的指针移动显示的指针；
图9示出了基于经抑制的指针移动绘制的轮廓；
图10再次示出了图像中的轮廓附近的指针；以及
图11示出了基于使相似性量度最大化的抑制的实例。
具体实施方式
图1示出了用于实时处理由指点设备140提供的指针移动的系统100。所述系统100包括输出部130，所述输出部130用于显示在图像152中的第一位置处的指针162。为了达到该目的，输出部130被示为被连接到显示器150。显示器150可以，但不必是系统100的一部分。输出部130被示为将显示数据132提供到显示器150，以用于图像152中指针162的所述显示。系统100还包括用户输入部110，所述用户输入部110用于从用户可操作的指点设备140获得指针移动数据112。指针移动数据112指示指针162从图像152中的第一位置到第二位置的指针移动。指点设备140被示为计算机鼠标。然而，应当理解，可以有利地使用任何其他类型的指点设备140，诸如触屏、凝视追踪器、触笔等。
系统100包括处理器120。处理器120被示为被连接到用户输入部110，以接收来自用户输入部110的指针移动数据112。此外，处理器120被示为连接到输出部130，以将输出数据122提供到输出部130。输出数据122可以，但不必等同于显示数据132。输出数据122至少指示指针的位置。处理器120被布置为(i)通过减少沿着正交于图像中的轮廓160的方向上的指针移动来抑制指针移动，以及(ii)基于所述经抑制的指针移动建立指针162的第三位置。
图2示出了用于实时处理由指点设备提供的指针移动的方法200。方法200包括，在标题为“显示在第一位置处的指针”的第一步骤中，显示210在图像中的第一位置处的指针，所述图像包括轮廓。方法200还包括，在标题为“获得指针移动数据”的第二步骤中，从由用户可操作的指点设备获得220指针移动数据，所述指针移动数据指示指针从图像中的第一位置到第二位置的指针移动。方法200还包括，在标题为“基于轮廓抑制指针移动”的第三步骤中，通过减少沿着正交于轮廓的方向上的指针移动来抑制230指针移动。方法200还包括，在标题为“基于经抑制的移动建立第三位置”的第四步骤中，基于所述经抑制的指针移动建立240指针的第三位置。方法200可以对应于系统100的操作，并且将参考系统100进行进一步解释。然而，应当理解，可以脱离于所述系统来执行所述方法。
图3示出了计算机程序产品260，所述计算机程序产品260包括用于使处理器系统执行根据本发明的方法的指令。计算机程序产品260可以被包括在计算机可读介质250上，例如，以一系列机器可读物理标记和/或具有不同电学(例如，磁性)或光学的属性或值的一系列元件的形式。
为了解释的目的，基于图像152的放大视图，图4和其他附图图示了系统100的操作。这里，在图像152中显示指针162。指针162被示为箭头，但可以等同是十字准线或任何其他合适的图形表示。指针162被示为被放置在第一位置p1处，即，箭头的尖端位于第一位置p1处。也示出第二位置p2，其对应于指针162远离第一位置p1通向第二位置p2的指针移动v。在图4中借助虚线示意性地图示了指针移动v。指针移动v可以构成或被解释为向量v。图像152还示出了轮廓160。轮廓160可以是对象边缘，即，对象与背景之间的边缘。然而，轮廓160可以等同是沿着图像梯度的纹理边缘或线条。
作为系统100的操作的一部分，可以通过系统确定轮廓160在第一位置p1的邻域166之内。确定轮廓160可以包括在邻域166或整个图像152之内执行边缘检测。为了达到该目的，可以有利地使用来自图像处理领域的各种技术。备选地或额外地，确定轮廓160可以包括获得指示轮廓160的轮廓数据。从先前执行的轮廓检测中可以获得轮廓数据。备选地，轮廓160可以由系统之内的轮廓数据来定义，例如，在轮廓160是基于向量的轮廓的情况下。这里，可以根据轮廓数据(例如，根据起点、中间点和终点的坐标)中直接确定轮廓160。轮廓160可以是最接近于第一位置p1的轮廓，或具有某个强度的最接近的轮廓。
邻域166被示为矩形邻域。然而，可以等同地使用任何其他合适的形状。此外，邻域166可以是被明确定义的邻域，例如由宽度和高度定义，或可以是被隐含定义的邻域，例如，是被限制到距离图像152中的第一位置p1一定距离的边缘检测或搜索算法的结果。在后一种情况下，可以在整个图像152上执行边缘检测，然后检测边缘选择算法基于边缘来选择最靠近第一位置p1的轮廓160。
图5示出了在跟随轮廓160(即与轮廓160平行运行)的方向170上，和正交于轮廓160的方向172上分解指针移动v的结果。这里应当注意，所述方向170、172被示为具有对应于构成向量v的指针移动的长度的虚线，向量v的分解产生在前述方向上的向量分量，并且箭头的长度则指示向量分量的大小。因此，由所述向量分量表示的个体向量的和产生指针移动v。图5示出了主要跟随轮廓160和在较小范围内远离轮廓160移动的指针移动v，如在图5中由线条170示出的，长度超过线条172的两倍多。
图6对应于图5，除了线条170和172现在涉及向量分解的结果。向量分解可以如下。在第一位置p1处确定梯度g。梯度是指向图像中最大变化的方向的向量。所述方向可以是最大像素变化(即，空间相邻像素的亮度值和/或色度值中的最大变化)的方向。因此，在轮廓160上的位置处的梯度通常将被定向远离在正交于轮廓的方向上的轮廓160。由于第一位置p1位于轮廓160附近，在p1处的梯度g通常也将指向正交于轮廓的方向。基于梯度g，确定正交梯度g0。然后在由梯度g和正交梯度g0形成的基础上表示构成向量v的指针移动，引起v＝a·g+b·g0，值a和b对应于在所述基础上的向量v的向量分量。应当理解，使用来自线性代数领域的任何已知技术可以计算以上向量分解。因此，值a指示远离轮廓的指针移动的大小，而值b指示跟随轮廓的指针移动的大小。图6示出了得到的向量a·g和b·g0，当一起求和时，其对应于向量v，即，指针移动v。
为了获得在第一位置p1处的梯度g，可以针对邻域166计算梯度场。计算梯度场可以包括：例如通过利用邻域166执行边缘检测来检测所述邻域166之内的多个边缘。然后，基于多个边缘和第一位置p1可以计算距离图，所述距离图指示在多个边缘中的每个与第一位置p1之间的距离。最后，通过计算所述距离图中的第一位置p1处的梯度可以获得所述梯度g。应当注意，可以有利地使用来自图像处理和线性代数领域的各种技术，以基于距离图来计算梯度。总体上，梯度g的计算可以包括根据前述图像处理领域已知的离散微分算子(诸如苏贝尔算子)的使用。此外，可以预先计算距离图，避免检测边缘的需要，并且当用户在图像中移动指针时，在此基础上计算距离图。
图7示出了通过减少沿着正交于轮廓160的方向上的指针移动来抑制指针移动的结果。这里，由抑制因子f抑制向量v的向量分量a，而不抑制向量b的向量分量b。因此，获得向量vd＝f·a·g+b·g0，其对应于经抑制的指针移动。抑制因子f小于1，这导致沿着正交于轮廓160的方向上的指针移动被减少。在图7的范例中，抑制因子f被选择为大约0.5。因此，沿着正交于轮廓160的方向上的指针移动被减少大约1/2。图7示出了第三位置p3，基于所述经抑制的指针移动vd建立所述第三位置p3。第三位置p3对应于指针162远离第一位置p1通向第三位置p3的经抑制的指针移动vd。通过将向量vd加到第一位置p1可以建立第三位置p3。作为抑制指针移动的结果，第三位置p3比第二位置p2的位置更靠近轮廓160。
图7还示出了用户界面180，所述用户界面180用于使用户能够调节抑制。例如，用户界面180可以使用户能够通过在数值刻度上滑动滑块来设置抑制因子f。因此，系统100可以根据用户的所述选择(即，选定的抑制因子f)执行抑制。应当注意，可以有利地使用许多不同的用户界面180。例如，用户界面180可以提供使用户能够选择的选择菜单，例如“弱”、“中”或“强”抑制，系统100建立对应于所述选择的抑制参数，例如抑制因子f。
图8示出了在图像154中的第三位置p3处显示的指针164的结果。为了解释的目的，在先前位置p1处的指针162被示为具有虚线外廓，以指示指针162以前位于那里。然而，实际上，在第三位置p3处的指针164对应于指针162的位置的更新，由此在第三位置p3处仅仅显示指针164。系统100可以被布置为连续接收来自指点设备的指针移动数据，例如在基于毫秒的间隔内，并且然后基于针对指针移动数据中的每个计算的经抑制的指针移动，连续更新图像154中的指针164的位置。因此，示出给用户的指针164的移动对应于经抑制的指针移动。
额外地，可以基于第一位置p1和第三位置p3处理图像。例如，可以利用提供图像分割的初始化的第一位置p1和第三位置p3执行图像分割。图9示出了图像156的处理包括在第一位置p1与第三位置p3之间绘制图像156中的轮廓168的范例。这里同样地，系统100可以被布置为连续接收来自指点设备的指针移动数据，例如在基于毫秒的间隔内，并且然后基于针对指针移动数据中的每个计算的经抑制的指针移动，绘制图像156中的轮廓168。应当注意，指针164的位置可以与基于第三位置p3执行的图像处理一起被更新。备选地，可以仅仅执行图像处理，即，不显示第三位置p3处的指针164。例如，当抑制仅仅需要用于图像处理时，或当在图像处理期间不期望显示指针时，这可以是期望的。例如，当绘制轮廓时，因为正在被绘制的轮廓的终点已经可以有效地充当指针，因此指针可以不被示出。
图10和图11图示了系统100的操作，其中，通过系统100未明确确定轮廓160。在这种情况下，处理器120可以被布置为通过使在第一位置p1处的图像数据190与位于沿着正交172于轮廓160的方向上开始于第二位置p2处的其他图像数据192、194之间的相似性特征最大化，建立第三位置p3。作为相似性特征，可以有利地使用来自图像处理领域的各种技术。基本范例是，计算在以第一位置p1为中心的方框190中的像素与从第二位置p2沿着正交172于轮廓160的方向上的方框192、194中的对应像素之间的绝对差和(SAD)。例如，可以计算在第一位置p1处的方框190与在第二位置p2处的方框之间的第一SAD，以及在进一步沿着所述方向的多个方框之间的第一SAD。为了清晰的目的，图11仅仅示出了在位置p3处的方框，其使相似性特征最小化，即，产生最低的SAD。因此，所述位置被建立为第三位置p3。应当理解，代替或除SAD之外，可以有利地使用许多其他技术。具体地，相似性特征可以强调图像数据中的边缘或轮廓。另外，相似性特征可以包含依赖距离的惩罚，以避免偏离第二位置p2太多。备选地或额外地，相似性特征的最大化可以被约束为距离第二位置p2或第二位置p2的邻域给定距离。到给定距离或邻域的依赖距离的惩罚或限制可以构成抑制因子，即，确定抑制的量级，并且由此具有与图7的描述中提到的前述抑制因子f相似的功能。
总体上，抑制可以基于常量抑制因子或用户可选择的抑制因子。备选地或额外地，抑制可以是自适应的。例如，指针移动的抑制可以基于在正交于轮廓的方向上的指针移动是否朝向或远离轮廓。因此，当指针移动远离轮廓时，抑制可以更强，即，比当所述指针移动朝向轮廓时可以更多地减少所述指针移动。这可以允许用户直接并且更容易地跟随轮廓，即，在轮廓的顶部移动指针。所述抑制也可以被反转，即，当指针移动朝向轮廓时，抑制可以更强。这可以允许用户更容易地保持轮廓的清晰。在图像是医学图像的情况下，抑制可以基于与医学图像相关的解剖数据。解剖数据可以基于第一位置p1的解剖背景确定抑制，例如抑制因子f。例如，在已知轮廓构成器官的轮廓的区域中，比已知轮廓构成器官的纹理边缘的区域中，抑制可以更强。因此，用户可以自由地在器官之内移动指针，仅仅围绕器官边界提供抑制。相似地，抑制可以基于与图像相关的通用元数据，即，既不是解剖数据也不是医学图像的数据。例如，当用户绘制围绕对象的线条(即，直线或曲线)时，关于图像中的对象的形状的知识可以用于抑制指针移动。
应当理解，本发明可以有利地用于医学领域，例如，用于放射疗法处置规划中的风险器官或靶体积的交互式分割、肿瘤学诊断中的肿瘤和器官勾勒、X-射线中的骨骼勾勒等。然而，本发明也可以用于非医学图像处理中，诸如使用图像处理软件包的手动照片编辑。
应当理解，本发明也应用于计算机程序，具体地在载体上或内的计算机程序，其适于将本发明付诸实践。程序可以是源代码、目标代码、源代码和目标代码中间的代码的形式(诸如，部分被编译的形式)，或适于在根据本发明的方法的实施方式中使用的任何其他形式。也应当理解，这样的程序可以具有许多不同的架构设计。例如，实施根据本发明的方法或系统的功能的程序代码可以被细分为一个或多个子例程。将功能分布在这些子例程之间的许多不同方式对技术人员来说将是显而易见的。子例程可以一起被存储在一个可执行文件中，以形成自含程序。这样的可执行文件可以包括计算机可执行指令，例如，处理器指令和/或解读器指令(例如，Java解读器指令)。备选地，一个或多个或所有的子例程可以被存储在至少一个外部库文件中，并且例如在运行时，静态地或动态地与主程序链接。主程序包含对子例程中的至少一个的至少一个调用。子例程也可以包括对彼此的函数调用。与计算机程序产品有关的实施例包括对应于本文阐述的方法中的至少一个的每个处理步骤的计算机可执行指令。这些指令可以被细分为子例程，和/或被存储在可以静态或动态地链接的一个或多个文件中。与计算机程序产品有关的另一实施例包括对应于本文阐述的系统和/或产品中的至少一个的每个器件的计算机可执行指令。这些指令可以被细分为子例程，和/或被存储在可以静态或动态地链接的一个或多个文件中。
计算机程序的载体可以是能够承载程序的任何实体或设备。例如，载体可以包括存储介质，诸如ROM(例如，CD ROM或半导体ROM)或磁记录介质(例如，硬盘)。此外，载体可以是可传输载体，诸如电信号或光信号，其可以经由电缆或光缆或通过无线电设备或其他器件进行输送。当程序被实施在这样的信号中时，载体可以由这样的缆线或其他设备或器件构成。备选地，载体可以是程序被嵌入其中的集成电路，所述集成电路适于执行相关方法，或用于相关方法的执行。
应当注意，上述实施例图示而非限制本发明，并且本领域的技术人员将能够设计许多备选实施例，而不脱离权利要求书的范围。在权利要求中，在括号中的任何附图标记不应被解释为限制权利要求。动词“包括”及其词形变化的使用不排除权利要求中列出的元件或步骤之外的元件或步骤的存在。在元件之前的冠词“一”或“一个”不排除多个这样的元件的存在。本发明可以借助包括若干不同元件的硬件，以及借助适当编程的计算机来实施。在列举若干器件的设备权利要求中，这些器件中的若干可以具体实现为一个相同的硬件项。在互不相同的从属权利要求中记载的特定措施的事实并不指示不能有利地使用这些措施的组合。
Claims (15)
1.一种用于实时处理由指点设备提供的指针移动的系统(100)，所述系统包括：
-输出部(130)，其用于显示在图像(152、154、156)中的第一位置(p1)处的指针(162、164)，所述图像包括轮廓(160)；
-用户输入部(110)，其用于从由用户能够操作的指点设备(140)获得指针移动数据(112)，所述指针移动数据指示所述指针从所述图像中的所述第一位置到第二位置(p2)的指针移动(v)；以及
-处理器(120)，其用于(i)通过减少沿着正交(172)于所述轮廓的方向上的所述指针移动来抑制所述指针移动，以及(ii)基于所述经抑制的指针移动(vd)建立所述指针的第三位置(p3)。
2.根据权利要求1所述的系统(100)，其中，所述输出部(130)被布置为显示在所述图像(154、156)中的所述第三位置(p3)处的所述指针(164)。
3.根据权利要求1所述的系统(100)，其中，所述处理器(120)被布置为基于所述第一位置(p1)和所述第三位置(p3)来处理所述图像(166)。
4.根据权利要求3所述的系统(100)，其中，处理所述图像包括绘制在所述第一位置(p1)与所述第三位置(p3)之间的所述图像中的线条(168)。
5.根据权利要求1所述的系统(100)，其中，所述处理器(120)被布置为通过使在所述第一位置(p1)处的图像数据(190)与位于从所述第二位置(p2)沿着正交(172)于所述轮廓(160)的所述方向上的其他图像数据(192、194)之间的相似性特征最大化，建立所述第三位置(p3)。
6.根据权利要求1所述的系统(100)，其中，所述处理器(120)被布置为确定在所述第一位置的邻域(166)之内的所述图像中的所述轮廓(160)。
7.根据权利要求6所述的系统(100)，其中，所述处理器(120)被布置为基于在正交(172)于所述轮廓(160)的所述方向上的所述指针移动是否朝向或远离所述轮廓来抑制所述指针移动(v)。
8.根据权利要求7所述的系统(100)，其中，所述处理器(120)被布置为，当所述指针移动(v)远离所述轮廓(160)时比当所述指针移动朝向所述轮廓时，减少更多所述指针移动。
9.根据权利要求6所述的系统(100)，其中，所述处理器(120)被布置为，通过分解指示在平行(170)于所述轮廓(160)的方向上和在正交(172)于所述轮廓的所述方向上的所述指针移动的向量(v)，以减少所述向量沿着正交于所述轮廓的所述方向上的分量的大小，从而抑制所述指针移动。
10.根据权利要求9所述的系统(100)，其中，所述处理器(120)被布置为：(i)基于所述轮廓(160)确定梯度(g)；(ii)基于所述梯度确定正交梯度(g0)，所述正交梯度正交于所述梯度；以及，(iii)分解沿着所述梯度和所述正交梯度的所述向量(v)，以减少所述向量沿着所述梯度的所述分量。
11.根据权利要求1所述的系统(100)，其中，所述输出部(130)被布置为显示用户界面(180)，所述用户界面(180)用于使所述用户能够提供所述抑制的调节，并且其中，所述处理器(120)被布置为基于所述调节执行所述抑制。
12.根据权利要求1所述的系统(100)，其中，所述图像(152、154、156)是具有相关解剖数据的医学图像，并且其中，所述处理器(120)被布置为基于所述解剖数据来进一步抑制所述指针移动(v)。
13.一种工作站或成像装置，其包括根据权利要求1所述的系统。
14.一种用于实时处理由指点设备提供的指针移动的方法(200)，所述方法包括：
-显示(210)在图像中的第一位置处的指针，所述图像包括轮廓；
-从由用户能够操作的指点设备获得(220)指针移动数据，所述指针移动数据指示所述指针从所述图像中的所述第一位置到第二位置的指针移动；
-通过减少沿着正交于所述轮廓的方向上的所述指针移动，抑制(230)所述指针移动；以及
-基于所述经抑制的指针移动，建立(240)所述指针的第三位置。
15.一种计算机程序产品(270)，其包括用于使处理器系统执行根据权利要求14所述的方法的指令。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261602756P | 2012-02-24 | 2012-02-24 | |
| US61/602,756 | 2012-02-24 | ||
| PCT/IB2013/050712 WO2013124751A1 (en) | 2012-02-24 | 2013-01-28 | System and method for processing a pointer movement |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104145237A true CN104145237A (zh) | 2014-11-12 |
| CN104145237B CN104145237B (zh) | 2017-10-13 |
Family
ID=47901247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201380010339.3A Active CN104145237B (zh) | 2012-02-24 | 2013-01-28 | 用于处理指针移动的系统和方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9542012B2 (zh) |
| EP (1) | EP2817695B1 (zh) |
| JP (1) | JP6133906B2 (zh) |
| CN (1) | CN104145237B (zh) |
| BR (1) | BR112014020960B1 (zh) |
| WO (1) | WO2013124751A1 (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013124751A1 (en) | 2012-02-24 | 2013-08-29 | Koninklijke Philips N.V. | System and method for processing a pointer movement |
| US9189860B2 (en) * | 2013-04-22 | 2015-11-17 | General Electric Company | Real-time, interactive image analysis |
| US9652125B2 (en) | 2015-06-18 | 2017-05-16 | Apple Inc. | Device, method, and graphical user interface for navigating media content |
| US9990113B2 (en) | 2015-09-08 | 2018-06-05 | Apple Inc. | Devices, methods, and graphical user interfaces for moving a current focus using a touch-sensitive remote control |
| US9928029B2 (en) | 2015-09-08 | 2018-03-27 | Apple Inc. | Device, method, and graphical user interface for providing audiovisual feedback |
| US10423293B2 (en) * | 2015-11-25 | 2019-09-24 | International Business Machines Corporation | Controlling cursor motion |
| US11922006B2 (en) | 2018-06-03 | 2024-03-05 | Apple Inc. | Media control for screensavers on an electronic device |
| US11182073B2 (en) | 2018-11-28 | 2021-11-23 | International Business Machines Corporation | Selection on user interface based on cursor gestures |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02171821A (ja) * | 1988-12-23 | 1990-07-03 | Shimadzu Corp | 座標入力装置 |
| JPH05143238A (ja) * | 1991-11-25 | 1993-06-11 | Fujitsu Ltd | ポインテイングカーソル移動制御装置 |
| US5577176A (en) * | 1994-11-23 | 1996-11-19 | Computervision Corporation | Method and apparatus for displaying a cursor along a two dimensional representation of a computer generated three dimensional surface |
| JPH10295679A (ja) * | 1997-04-23 | 1998-11-10 | Fuji Photo Film Co Ltd | 放射線画像の照射野認識方法および装置 |
| JP2004181240A (ja) * | 2002-12-03 | 2004-07-02 | Koninkl Philips Electronics Nv | 超音波撮像により撮像される対象物の境界を生成するシステム及び方法 |
| ATE369593T1 (de) | 2003-11-13 | 2007-08-15 | Koninkl Philips Electronics Nv | Dreidimensionale segmentierung durch verwendung deformierbarer oberflächen |
| US7383517B2 (en) * | 2004-04-21 | 2008-06-03 | Microsoft Corporation | System and method for acquiring a target with intelligent pointer movement |
| US8013837B1 (en) * | 2005-10-11 | 2011-09-06 | James Ernest Schroeder | Process and apparatus for providing a one-dimensional computer input interface allowing movement in one or two directions to conduct pointer operations usually performed with a mouse and character input usually performed with a keyboard |
| US7777731B2 (en) * | 2006-10-13 | 2010-08-17 | Siemens Medical Solutions Usa, Inc. | System and method for selection of points of interest during quantitative analysis using a touch screen display |
| KR20140102762A (ko) * | 2007-10-05 | 2014-08-22 | 지브이비비 홀딩스 에스.에이.알.엘. | 포인터 제어장치 |
| US8600133B2 (en) * | 2008-10-01 | 2013-12-03 | Koninklijke Philips N.V. | Selection of snapshots of a medical image sequence |
| JP5380079B2 (ja) * | 2009-01-06 | 2014-01-08 | 株式会社東芝 | 超音波治療支援装置および超音波治療支援プログラム |
| JP2011048423A (ja) * | 2009-08-25 | 2011-03-10 | Sony Corp | 情報処理方法、情報処理装置およびプログラム |
| EP2385451A1 (en) * | 2010-05-07 | 2011-11-09 | Samsung Electronics Co., Ltd. | Method for providing gui using pointer having visual effect showing that pointer is moved by gravity and electronic apparatus thereof |
| WO2013124751A1 (en) | 2012-02-24 | 2013-08-29 | Koninklijke Philips N.V. | System and method for processing a pointer movement |
-
2013
- 2013-01-28 WO PCT/IB2013/050712 patent/WO2013124751A1/en active Application Filing
- 2013-01-28 BR BR112014020960-0A patent/BR112014020960B1/pt active IP Right Grant
- 2013-01-28 JP JP2014558226A patent/JP6133906B2/ja active Active
- 2013-01-28 US US14/380,735 patent/US9542012B2/en active Active
- 2013-01-28 CN CN201380010339.3A patent/CN104145237B/zh active Active
- 2013-01-28 EP EP13710568.0A patent/EP2817695B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP2817695B1 (en) | 2018-03-14 |
| JP2015509628A (ja) | 2015-03-30 |
| US20150035753A1 (en) | 2015-02-05 |
| BR112014020960A2 (pt) | 2017-07-04 |
| WO2013124751A1 (en) | 2013-08-29 |
| BR112014020960B1 (pt) | 2022-04-19 |
| US9542012B2 (en) | 2017-01-10 |
| EP2817695A1 (en) | 2014-12-31 |
| JP6133906B2 (ja) | 2017-05-24 |
| CN104145237B (zh) | 2017-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104145237A (zh) | 用于处理指针移动的系统和方法 | |
| RU2673975C2 (ru) | Сегментация исследуемой области, управляемая отслеживанием взгляда | |
| US10629002B2 (en) | Measurements and calibration utilizing colorimetric sensors | |
| CN105408939A (zh) | 用于配准成像设备与跟踪设备的配准系统 | |
| US20200345422A1 (en) | System and method for generating a map for electromagnetic navigation | |
| CN106062753B (zh) | 使得用户能够研究图像数据 | |
| US9678644B2 (en) | Displaying a plurality of registered images | |
| US9697598B2 (en) | Generating a key-image from a medical image | |
| US10297089B2 (en) | Visualizing volumetric image of anatomical structure | |
| US9514575B2 (en) | Image and annotation display | |
| CN104885126A (zh) | 感兴趣组织的计算机辅助识别 | |
| US20180116730A1 (en) | System and method for identifying a location and/or an orientation of an electromagnetic sensor based on a map | |
| CN105408760A (zh) | 利用使用具有mdixon脉冲序列的多回波超短te（ute）的mri来区分组织 | |
| EP2987143B1 (en) | Delineation and/or correction of a smooth stiff line in connection with an independent background image | |
| CN103959335A (zh) | 图像处理装置 | |
| CN109890312B (zh) | 用于基于标测图来识别电磁传感器的位置和/或取向的系统和方法 | |
| CA2585054C (en) | Virtual grid alignment of sub-volumes | |
| Jung et al. | Mixed reality hologram slicer (mxdR-HS): a marker-less tangible user interface for interactive holographic volume visualization | |
| CN100543778C (zh) | 子体积的虚拟网格对准 | |
| CN104794746B (zh) | 一种三维平面剖分方法及系统 | |
| Merino-Caviedes et al. | User Interfaces to Interact with Tensor Fields |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |