CN101443729B - 调整3d空间中3d断面平面的操纵杆样图形用户界面 - Google Patents

调整3d空间中3d断面平面的操纵杆样图形用户界面 Download PDF

Info

Publication number
CN101443729B
CN101443729B CN2007800169499A CN200780016949A CN101443729B CN 101443729 B CN101443729 B CN 101443729B CN 2007800169499 A CN2007800169499 A CN 2007800169499A CN 200780016949 A CN200780016949 A CN 200780016949A CN 101443729 B CN101443729 B CN 101443729B
Authority
CN
China
Prior art keywords
coordinate
plane
operating rod
screen
rod
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007800169499A
Other languages
English (en)
Other versions
CN101443729A (zh
Inventor
梁正中
魏国庆
范黎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EDDA Technology Inc
Original Assignee
EDDA Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EDDA Technology Inc filed Critical EDDA Technology Inc
Publication of CN101443729A publication Critical patent/CN101443729A/zh
Application granted granted Critical
Publication of CN101443729B publication Critical patent/CN101443729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明披露了用于在3D空间中进行操纵杆图形控制的方法。3D数据在3D影像空间中在2D屏幕的区域内以某个方向显示。3D数据的一个或多个断面视图显示在3D影像空间中,其中,断面视图根据在3D位置剖切通过3D数据的相应一个或多个3D平面而得到。在一个3D平面上,操纵杆控制在根据操纵杆所确定的位置显示在3D空间中。

Description

调整3D空间中3D断面平面的操纵杆样图形用户界面
相关申请的交叉引用
本申请根据35U.S.C.§119要求申请日为2006年5月16日的临时专利申请号60/800,418的优先权。该申请的完整主题内容在此被结合入本文参考。
技术领域
本发明涉及用于数据处理的方法。更具体地讲,本发明涉及用于3D数据处理,显示,和操作的方法。
背景技术
为了研究来自如CT或MR的医用扫描装置诸如3D空间的密集3D数据集,通常使用断面切片。在大多数当今的应用程序中,与坐标轴对齐的切片生成为三正交视图,以便于研究3D空间。不过,有时沿所述角度的切片可能不能揭示用户期待看到的特征。在这些情况下,就需要斜角或双斜角切片。不过,如何使用户能有效确定斜角或双斜角切片的位置不是简单的任务。
要确定斜角或双斜角切片的位置就是要确定平面在3D空间中的方向和位置。与平面的方向和位置相关的有六自由度(DOF)。某些3D输入装置可以立即提供说明六自由度的信息。不过,在当前的计算机环境中,键盘、鼠标和二维(2D)屏幕可能仍是最常见的输入和输出装置。在所述环境中使用的鼠标是二自由度(DOF)装置。如何使用所述装置来实现六自由度(DOF)动作是一项挑战。某些应用程序将每个自由度作为滑块控件执行。用户可以调节每个滑块来改变每个自由度的值。不过,这种方法非常不直观,耗时并难以使用。另一种方法是提供三正交轴对齐的视图,和3D平面与这三个正交平面的相交线。用户可以拖曳或转动这些相交线,以定义3D平面的新方向和位置。由于用户可以在每个视图中看到当前的影像,也更易于用户将平面移动到希望的位置。不过,该方法仍然需要用户想象平面与正交平面的空间关系,这不是直截了当的,并且难以确定双斜角平面。由于上述方法存在的缺陷,需要一种更直接和直观的解决方案。
发明内容
本申请披露了知觉3D场景中的操纵杆样图形用户界面控制,它允许用户直接在知觉3D场景中改变3D平面的方向和位置。该操纵杆包括多个控制件,包括杆头,杆体,和杆座。杆头可用于改变3D平面的方向,杆体用于沿3D平面的某个方向移动3D平面的位置,而杆座用于改变定义3D平面转动基的3D平面上的一点。
控制件可以是活动或不活动的。活动的控制件可以与显示指示结合,例如当鼠标移动到控制件上时被加亮,以便于用户选择操作当前活动的控制件。控制件的操作产生控制动作,该动作导致数据处理的变化。利用控制件A控制动作进行的操作可被设计成跟随鼠标的运动,以便用户能完全控制所述动作。通过该直观控制和支持视图,用户能够以更有效的方式调整3D平面。
附图说明
图1示出根据本发明的一个实施例,具有操纵杆控制的示例显示屏结构;
图2示出根据本发明的一个实施例,使用操纵杆控制的示例控制操作;
图3示出根据本发明的一个实施例,操纵杆控制的示例转动范围;和
图4示出根据本发明的一个实施例,示例性使用可在3D平面的两侧进行控制的操纵杆控制。
具体实施方式
本发明披露了所见即所得(WYSIWYG)的方法,用于3D数据操作和处理控制。通过这种方法,用户可以直接在3D影像空间中看到3D数据和操纵杆控制及其操作。该方法消除了需要用户内心重建3D影像。根据本发明,2D显示屏被用于显示和操作3D数据。在2D显示屏上,至少部分2D显示屏被用于3D显示。该部分可称为3D影像空间。在3D影像空间,3D数据可以按照3D坐标系统以一定方向显示。除了3D数据以空间进行3D显示外,还在3D影像空间显示有一个或多个3D平面。每个3D平面沿平面的表面方向剖切通过3D数据空间。这些剖切面可以彼此相交。
图1示出根据本发明的一个实施例,2D显示屏上不同区域的示例性显示结构100。图1示出了显示空间106和多个观察区107a,108a,和109a,其中可以显示2D影像。在显示空间106中,3D数据101显示在3D影像空间,其中,可以看到3D平面102,显示有3D数据,并且3D平面102在3D空间中以一定角度定向或穿过3D数据。在某些实施例中,可能有其他类似于平面102的3D平面,各自具有自身的3D位置,并且可以按照3D空间中的一个角度剖切通过3D数据。当存在一个以上剖切面时,它们可以具有一定的空间关系。例如,所述剖切面可以彼此形成直角。
在示例性显示结构100中,还可以有一个或多个观察区。例如,可以有三个观察区107a,108a,109a,可被设计成显示沿3D影像空间106中显示的3D数据的某个维数或轴线所获得的断面视图。例如,观察区107可用于显示3D数据沿X轴的2D断面视图或切片。观察区108可用于显示3D数据沿Y轴的2D断面视图或切片。观察区109可用于显示3D数据沿Z轴的2D断面视图或切片。
当一个空间(或若干空间)显示在剖切面剖切通过的空间时,相应的断面切片也可以直接显示或投影在3D影像空间的剖切面上。另外,断面视图还可以显示为3D影像所显示空间中的2D影像。例如,在显示空间106中,对应3D平面102的2D断面视图102a显示为3D影像空间中的2D影像。
当存在一个以上3D平面时,所述平面可以具有某种空间关系。例如,三个平面可以彼此正交。它们可能或可能不与3D空间的三个(X,Y,和Z)轴对准。整个3D影像空间101可以通过鼠标拖曳操作转动。剖切通过3D数据的多个平面可以相交。所述3D平面可以集合成组,以便当一个平面移动时,其他平面也会相应地移动。所述3D平面还可以是独立的,使得一个平面发生的变化可以不影响其他平面。
在图1中,显示的操纵杆连接至3D剖切面,例如,3D平面102。操纵杆具有多个部分,包括杆座103,杆体104,和杆头105。杆座103是连接至3D平面102上一点的部分。操纵杆显示在3D数据体所呈现的空间范围内。操纵杆可以这样的方式显示,使得它的3D位置相对于3D平面102具有一定的空间关系。例如,可以显示操纵杆,使得杆体104相对于3D平面102的表面法线形成一定角度。一个例子是与平面102的表面法线成一直线。如图所示,杆座103是操纵杆与3D平面连接之处。另外,杆座103起着基点的作用,操纵杆可以通过杆头的运动相对它进行转动。
用户可以通过操纵杆对3D平面102进行操作。这使得用户能够以灵活的方式看到3D数据的不同断面视图。例如,用户可以通过抓住操纵杆的杆头105以绕操作杆的基点进行转动,来改变3D平面102的方向。根据本发明,当操纵杆以这种方式转动时,平面102的方向相应改变。另外,用户可以沿杆体上下滑动。当沿杆体的滑动位置变化时,平面102的3D位置可以相应地改变。另外,用户可以抓住操纵杆的杆座103,并且围绕平面102的表面移动。这可能导致操纵杆与平面连接的位置发生变化。
根据本发明,操纵杆可显示为一个物体,它具有刚性部分,以一定的物理结构连接。当操纵杆的一个部分发生变化时,其他部分可能根据不同部分之间的关系而变化。例如,如果杆座移动,操纵杆的其他部分作相应地移动。不过,在某些情况下,根据不同部分的结构,一个部分的移动不会导致其他部分随着移动。例如,当杆头移动或转动时,杆座不会移动。
当平面102的位置发生变化,包括方向或3D位置发生变化,平面102的显示作相应更新。例如,平面102的断面视图可以动态更新。另外,由平面102剖切的断面的区域102a中的2D影像显示也可以快速更新。另外,当3D影像空间中存在一个以上3D剖切面时,所述面可以形成一定的空间关系。在某些实施例中,当一个平面的位置发生变化时,不同平面之间的所述空间关系可以动态保持。在这种情况下,其他平面的显示也可以动态更新。例如,如果有三个平面彼此正交,如果一个平面改变方向,其他平面的方向也会发生变化,以便保持正交状态。在这种情况下,连接至一个平面的操纵杆可能影响其他平面,使得通过操纵杆对一个平面的控制可以延伸到其他平面。在某些实施例中,尽管3D空间中有多个剖切面,并且它们最初具有某种空间关系,通过连接至所述平面之一的操纵杆使该平面发生的变化可能对其他平面没有影响。在某些实施例中,每个所述的剖切面可以有它自己的控制操纵杆,并且通过每个所述操纵杆进行的控制范围可用在与操纵杆连接的平面上。
图2示出根据本发明的一个实施例,操纵杆的示例性操作。可以对操纵杆的三个部分进行操作,来进行某些控制操作。例如,用户可以抓住杆头并绕杆座基点转动,如201所示。正如本文所披露的,当杆头转动时,操纵杆所连接平面(例如,102)的方向也发生变化。抓住操作可以通过鼠标操作来完成,例如按住或一次或多次点击。用户还可以利用鼠标沿杆体滑动,如202所示。或上或下的滑动操作可相应地导致平面102位置的移动,如202所示。用户还可以通过鼠标操作抓住杆座,并且沿平面102移动杆座,来改变平面上操纵杆的位置。这在203示出。操纵杆可作为刚性体进行操作,使得当操纵杆的杆座移动时,操纵杆的其余部分如杆体和杆头也作相应地移动。
在操作时,鼠标可在2D空间(2D屏幕)操作,但是它的作用是在3D影像空间中对3D平面进行3D控制。杆头,杆体,和杆座可以单独和/或分别激活。例如,在某些实施例中,操纵杆上的控制部分可以在鼠标出现在某个距离范围内或与该部分重叠时被激活。这样,最接近鼠标的部分是活动的,从而更便于用户通过操纵杆的特定部分操作以进行控制。另外,操纵杆的活动控制部分对于它的活动状态是显示可见的。例如,活动部分在鼠标接近时可以被加亮显示,从而可便于用户看到操纵杆的哪一部分目前是活动的。
操纵杆上的每个控制部分可以具有它自身的操作范围。例如,在某些实施例中,杆座的操作范围可以是操纵杆所连接3D平面的表面。沿杆体进行滑动操作的范围可以是杆体的长度,它可以具有或不具有固定的长度。杆体的长度可以在沿垂直于操纵杆所连接3D平面的表面方向上与3D空间的厚度具有法向关系。这样,当鼠标沿杆体上下滑动时,沿杆体的每个滑动位置对应该方向的特定深度。在某些实施例中,杆体的长度可以对应从杆座沿由2D显示屏出来的方向延伸的部分。在某些实施例中,杆体可以从杆座沿两个相反方向延伸,一个方向是由屏幕出来的方向,而另一个方向是进入屏幕的方向。这在图4中示出。在这种情况下,杆体的总长度在垂直于操纵杆所连接平面的表面方向上相对3D空间的厚度具有法向关系。
类似地,杆头也可以具有它的操作范围。在某些实施例中,杆头的操作范围(例如相对于杆座的转动)可以在虚球的表面面积或部分表面面积内。这在图3中示出。所述虚球以杆座为中心,并且半径等于杆体的长度。在某些实施例中,杆头的操作范围可以局限在球体的可见表面,如图3所示。在某些实施例中,杆头的操作范围可以延伸到球体的遮没表面,如图4所示。
在拖曳杆头时,杆头与虚球相交。在杆头在球体上移动的每个位置,平面的方向是根据杆头所在位置的切面确定的。在某些实施例中,平面的方向可以平行于切面。在某些实施例中,平面和切面的方向可以具有某种关系。这样,用户可以灵活地转动平面。
在某些实施例中,当操纵杆所连接平面的方向改变时,其他正交平面的方向也可能发生变化,以便保持它们彼此之间的空间关系。例如,如果有三个彼此正交的平面,当一个平面的方向改变时,其他平面的方向相应地变化,以便保持这三个平面之间的正交关系。在某些实施例中,用户可以选择指定三个观察区107a,108a,和109a,来显示由相应剖切面获得的断面视图。在这种情况下,当一个平面的方向改变时,不仅其他平面的方向发生变化,对应每个平面的相应断面视图也会变化。因此,显示在2D观察区107a,108a,和109a中的2D影像以及显示在显示区102a中的2D影像在平面的方向发生变化的同时,可以快速动态更新。这样,为用户探查3D数据提供了一定的灵活性。
在某些实施例中,当操纵杆所连接平面(例如,102)的方向改变时,操纵杆的显示也可以动态更新。例如,操纵杆可以这样连接至平面,例如,102,使得杆体与平面的表面形成一定的空间关系(例如,杆体平行于平面的表面法线)。在这种情况下,无论平面的方向何时发生变化,操纵杆的3D柱可能需要作相应变化,以便保持空间关系。
如上文所述,操纵杆的各部分的灵活移动使得用户能够以更有效的方式探查3D数据。另外,由于对应剖切面的2D断面视图也显示在相同的3D影像空间,用户不需要在3D控制和2D控制之间来回移动或变动焦点来理解3D数据。当多个平面由相同的操纵杆控制并且所述平面的断面视图被指定在观察区显示时,这也为用户提供了观察和理解3D数据的强大工具。另外,如本文所述,将杆体和杆头的操作延伸到3D数据的遮没部分的能力也增强了用户有效探查和操作3D数据的能力。
正如所讨论的,在某些实施例中,操纵杆控制部分的运动,例如,杆头的转动,杆体上的滑动,或杆座的位置移动,可以通过使用2D鼠标运动来进行或实现。这使得商用计算机或装置更加通用,并且提供了能够增强3D数据探查和操作能力的低成本方式。为了便于鼠标激活的操纵杆3D控制,而不依赖于虚拟跟踪球(它不常见并且费用更高),在2D显示屏上所出现的鼠标位置需要被转换成显示3D数据和操纵杆的3D空间中的3D位置。
使基于2D的鼠标动作能够控制3D结构的一个有效方面涉及从2D屏幕坐标(鼠标所在处)转换成3D场景中的3D坐标。所述转换可以通过下述方式进行。转换可能涉及从2D屏幕坐标到2D画布(canvas)坐标的第一转换,以及从2D画布坐标到3D坐标的第二转换。可能由于不同的坐标转换而需要第一转换。2D屏幕坐标系统可以具有不同于2D画布坐标系统的光栅扫描转换。例如,2D屏幕坐标系统可能以左上角度作为它的原点,而2D画布坐标系统可能以左下角作为它的原点。另外,2D屏幕坐标系统可以具有不同于2D画布坐标系统的范围。例如,2D画布的覆盖率仅为2D屏幕的一部分。
当上述任何情况存在时,2D屏幕位置可能需要转换成2D画布坐标。根据2D屏幕坐标系统和2D画布坐标系统之间的差异,2D屏幕坐标可能水平翻转,以得到相应的2D画布坐标。另外,2D屏幕坐标可以垂直翻转,以得到相应的2D画布坐标。在其他情况,2D屏幕坐标可以通过平移和转动的组合进行平移或转换,来得到相应的2D画布坐标。
由(x,y)表示的2D画布坐标然后可以转换成3D空间中的3D坐标。在某些实施例中,对应2D画布坐标(x,y)的3D坐标可以通过跟踪试射射线直到与3D相关平面相交来确定。试射射线可以沿由矢量定义的方向,该矢量利用两个3D点,(x,y,0)和(x,y,1)构建,其中,″0″和″1″表示深度尺寸,(x,y,0)对应更接近屏幕的3D点,而(x,y,1)是距离屏幕更远的3D点。
要相交的3D结构可以根据操纵杆的哪一部分当前被激活或被操作来确定。例如,当鼠标被用于拖曳和移动杆头以改变操纵杆所连接平面的方向时,要相交的3D结构是由操纵杆定义的球体。当鼠标被用于移动杆座时,要相交的3D结构是平面的平面表面。当鼠标被用于沿杆体滑动时,要相交的3D结构是杆体本身。当已知当前的3D结构时,可以沿试射射线的方向进行射线跟踪,直到它与关注的3D结构相交。相交点定义3D空间中的3D位置,所述3D空间具有3D坐标,对应跟踪所开始的2D画布坐标的转换。
在某些实施例中,所述相交点可以解析得到。例如,当已知球体的解析表达时,2D画布点可被转换成球体上的3D点。3D场景和2D屏幕之间的关系类似于通过照相机观察3D世界。假设存在3D坐标系统到2D画布坐标系统的转换T。如本文所述,为了确定对应2D屏幕上的鼠标位置由2D画布坐标开始的试射射线和由操纵杆定义的球体之间的相交点,假设3D空间中的球体以杆座所在的已知3D位置为中心并且具有半径r,从而球体可以通过公式(P-C)2=r2解析表达。如本文所述,球体302的半径可以对应操纵杆杆体的长度。另外假设,当前鼠标位置的2D画布坐标是(x,y)。试射射线可以沿矢量构建,该矢量的方向为由进入画布点(x,y,0)朝向离开画布点(x,y,1)。
两个点(x,y,0)和(x,y,1)随后可以利用转换T进行反向转换和法向化,以生成法向的3D坐标,分别由P1和P2表示。转换后的方向矢量V随后可以表示为V=P2-P1。从P1沿方向V延伸的直线可以在二个,一个或零个点与球体相交。当没有相交时,表示鼠标没有控制杆头。当只有一个相交点时,试射射线与球体相交在切点处,并且试射射线在该相交点处于球体的切面上。当有两个相交点时,试射射线射过球体。
一个相交点表示为P3,可以利用公式P3=P1+k*V解析求出,其中,k是从P1到P3的距离。由于P3与球体相交,它也满足球体公式。因此,我们得到(P1+kV-C)2=r2。为了求出该公式的k,可能无解,对应没有相交点的情况,一个解,对应试射射线在相交点的切面的情况,或两个解,对应试射射线剖切通过球体的情况。当具有两个解时,选择表示更接近P1或更接近观察者眼睛的相交点的解是适当的。如果无解,鼠标没有控制操纵杆,因而没有操纵杆的控制部分可以通过鼠标移动。因此,在这种情况下,鼠标对3D数据及其显示没有控制。为了获得控制,鼠标需要移动到不同的位置,以便鼠标在操纵杆的控制部分之上或足够接近操纵杆的控制部分。
类似地,试射射线和平面表面之间的相交点也可以解析求出。所述解析解可用于确定操纵杆所连接平面上鼠标位置的3D坐标。如果所确定的3D坐标与杆座的3D坐标一致或足够接近,则鼠标控制杆座并可用来在操纵杆所连接的平面上将杆座从一个位置移动到另一个位置。
同样地,试射射线和杆体之间的相交点也可根据用于杆体的解析表达来解析求出。例如,在某些实施例中,杆体可以在3D空间中表述为圆柱体。随后相交点可以通过求解圆柱体的公式,通过在圆柱体公式中代入P3的表达式而得出。在某些实施例中,杆体还可以表述为3D线,以简化求解。在这种情况下,不需要求得解析解,可以确定并检查距离3D线距离最小的试射射线上的点。只有最小距离小于某一阈值时才可以确定相交点。
尽管业已结合某些说明性的实施方案对本发明进行了说明,本文所使用的文字是说明性的文字,而不是限定性的文字。在所附权利要求书的范围内,在不超出本发明各方面的范围和构思的前提下可以进行改变。尽管本文业已结合具体的结构,做法和材料对本发明进行了说明,本发明并非局限于所披露的特定内容,而是包括多种实施方式,其中某些方式可能与所披露的实施方案有很大不同,并且扩展到所附权利要求书范围内的所有等同的结构,做法和材料。

Claims (36)

1.一种在具有至少一个处理器、存储器和通信平台的计算机上进行实施的方法,包括:
在2D屏幕的第一区域提供3D影像空间;
在2D屏幕的3D影像空间显示3D数据,其中通过显示根据剖切通过3D影像空间中的3D数据的一个或多个平面而确定的所述3D数据的一个或多个断面视图来显示所述3D数据;
在所述2D屏幕的3D影像空间显示操纵杆,所述操纵杆具有杆座、杆体和杆头,以便所述杆座相对于所述一个或多个平面的第一平面显示,其中所述第一平面具有3D位置和3D方向;
接收用户输入以便操纵在2D屏幕上显示的操纵杆;和
根据所接收到的用户输入操纵所述操纵杆来更新所述第一平面在2D屏幕的3D影像空间中的3D位置和3D方向,其中
更新第一平面的3D方向是根据所述操纵杆的杆头在球体的可见表面中的移动进行控制的,和
每当所述第一平面的3D位置或者3D方向根据所述操纵杆的操纵进行更新,所述3D数据的一个或多个断面视图随之动态变化。
2.根据权利要求1所述的方法,其中,杆体从杆座沿3D方向延伸,从而杆体和第一平面形成一定角度。
3.根据权利要求2所述的方法,其中,杆头位于沿杆体与杆座相对的杆体一端。
4.根据权利要求1所述的方法,其中,操纵杆的杆座、杆体、和杆头中的至少一个是活动的。
5.根据权利要求4所述的方法,其中,操纵杆的活动部分根据可在2D空间操作的鼠标的位置确定。
6.根据权利要求5所述的方法,其中,操纵杆的活动部分在鼠标的2D屏幕位置变化时发生变化。
7.根据权利要求4所述的方法,其中,活动部分是加亮显示的。
8.根据权利要求4所述的方法,其中,活动部分可以在3D影像空间中图形移动。
9.根据权利要求8所述的方法,其中,活动部分在3D影像空间中的移动通过利用可在2D屏幕操作的鼠标抓住和/或拖曳活动部分来实现。
10.根据权利要求8所述的方法,其中,操纵杆显示为刚性体,使得操纵杆一个部分的移动导致其他部分作为刚性体相应移动。
11.根据权利要求1所述的方法,其中,杆座的移动导致在第一平面上3D位置的变化,以便根据所显示的操纵杆产生更新的3D杆座位置。
12.根据权利要求11所述的方法,其中,杆座的移动导致所显示的操纵杆根据更新的3D杆座位置发生变化。
13.根据权利要求1所述的方法,其中,鼠标沿杆体移动导致第一平面的位置发生变化,产生第一平面相对于3D数据的更新3D位置。
14.根据权利要求13所述的方法,其中,杆体的运动导致所显示的操纵杆根据第一平面的更新3D位置发生变化。
15.根据权利要求13所述的方法,其中,杆体的运动导致所述一个或多个平面的位置发生改变。
16.根据权利要求11所述的方法,其中,更新的3D杆座位置通过从2D屏幕上鼠标位置的2D屏幕位置转换到表示3D坐标系统中更新的3D杆座位置的3D坐标来确定。
17.根据权利要求16所述的方法,其中,所述转换包括:
将2D屏幕位置转换成2D画布位置;
将2D画布位置转换成以3D坐标系统中的3D坐标表示的3D杆座位置。
18.根据权利要求17所述的方法,其中,所述转换包括:
确定第一2D坐标,对应第一2D坐标系统中的2D屏幕位置;
确定第一2D坐标系统到与2D画布相关的第二坐标系统的第一转换;
利用第一转换将第一2D坐标转换成第二坐标系统中的第二2D坐标,其中,第二2D坐标表示2D画布位置。
19.根据权利要求18所述的方法,其中,所述转换包括:
在3D坐标系统中由第一3D坐标表示的第一3D点和由第二3D坐标表示的第二3D点之间构建矢量;
沿矢量的方向跟踪试射射线,直到与第一平面相交;
确定第三3D点为与第一平面的相交点;和
在3D坐标系统中确定第三3D点的3D坐标,来表示更新的3D杆座位置。
20.根据权利要求19所述的方法,其中
第一3D坐标根据第二2D坐标构建,并且第一值表示3D坐标系统中的第一深度;和
第二3D坐标根据第二2D坐标构建,并且第二值表示3D坐标系统中的第二深度。
21.根据权利要求1所述的方法,其中,第一平面的更新3D方向根据3D坐标系统中球体的可见表面上相交3D点的切面确定;并且所述球体的可见表面根据移动前表示杆座的3D位置的第一3D坐标和表示杆头的3D位置的第二3D坐标来确定。
22.根据权利要求21所述的方法,其中,所述球体的半径测量为3D坐标系统中杆座和杆头之间的距离,它根据第一3D坐标和第二3D坐标确定。
23.根据权利要求21所述的方法,其中,相交3D点通过下述步骤来确定:
将鼠标的2D屏幕位置转换成鼠标3D坐标,其中,鼠标可在2D屏幕中操作,并被用于在3D影像空间中转动杆头;
构建鼠标3D坐标和第三3D坐标之间的矢量;
沿矢量的方向跟踪试射射线,直到在相交3D点与球体第一次相交。
24.根据权利要求23所述的方法,其中,第三3D坐标除表示第三3D坐标的深度的值之外,具有与鼠标3D坐标相同的坐标,其中,第三3D坐标具有表示更深深度的值。
25.根据权利要求23所述的方法,其中,相交3D点解析求得为P3=P1+k*V,其中,P1表示鼠标3D坐标,V表示矢量,所述矢量的方向为从P1到P2并且表示为V=P2-P1,其中P2表示第三3D坐标,k表示从P1到P3的距离,其中,k根据公式(P1+k*V-C)=r2求得,其中,C是由第一3D坐标表示的3D杆座位置,而r表示球体的半径。
26.根据权利要求25所述的方法,还包括当多于一个解满足公式时,选择多于一个解中的一个,对应k,表示更接近于鼠标3D坐标的距离。
27.根据权利要求13所述的方法,其中,第一平面的更新3D位置根据3D相交点来确定,所述3D相交点在3D坐标系统与杆体相交,并且起始于表示可在2D屏幕中操作的鼠标的3D位置的第一3D坐标,并被用于在3D影像空间中沿杆体滑动。
28.根据权利要求27所述的方法,其中,3D相交点通过下述步骤确定:
将鼠标的2D屏幕位置转换成第一3D坐标;
构建第一3D坐标和第二3D坐标之间的矢量;
沿矢量的方向跟踪试射射线,直到在3D相交点与杆体相交。
29.根据权利要求1所述的方法,其中,操纵杆在3D影像空间中具有预定的可操作范围。
30.根据权利要求1所述的方法,其中,操纵杆可在第一平面的两侧操作。
31.根据权利要求1所述的方法,还包括在3D影像空间中显示利用第一平面剖切通过3D数据所获得的断面视图的2D影像。
32.根据权利要求1所述的方法,还包括在2D屏幕上显示第二区域。
33.根据权利要求32所述的方法,其中,第二区域包括一个或多个2D观察区,分别对应一个或多个平面。
34.根据权利要求33所述的方法,其中,每个观察区被用于显示一个或多个2D断面视图,所述断面视图通过沿根据对应观察区的平面所确定的方向剖切通过3D数据而获得。
35.一种用于医学数据处理的在具有至少一个处理器、存储器和通信平台的计算机上进行实施的方法,包括:
提供具有3D数据处理工具的医学数据处理系统,其中,3D数据处理工具能够:
在2D屏幕的第一区域定义3D影像空间;
在2D屏幕的3D影像空间显示3D数据,其中通过显示根据剖切通过3D影像空间中的3D数据的一个或多个平面而确定的3D数据的一个或多个断面视图来显示所述3D数据;
在所述2D屏幕的3D影像空间显示操纵杆,所述操纵杆具有杆座、杆体和杆头,以便所述杆座相对于所述一个或多个平面的第一平面显示,其中所述第一平面具有3D位置和3D方向;
接收用户输入以便操纵在2D屏幕上显示的操纵杆;和
根据所接收到的用户输入操纵所述操纵杆来更新所述第一平面在2D屏幕的3D影像空间中的3D位置和3D方向,其中
更新第一平面的3D方向是根据所述操纵杆的杆头在球体的可见表面中的移动进行控制的,和
每当所述第一平面的3D位置或者3D方向根据所述操纵杆的操纵进行更新,所述3D数据的一个或多个断面视图随之动态变化。
36.一种用于计算机辅助设计的在具有至少一个处理器、存储器和通信平台的计算机上进行实施的方法,包括:
提供具有3D数据处理工具的计算机辅助设计系统,其中,3D数据处理工具能够:
在2D屏幕的第一区域定义3D影像空间;
在2D屏幕的3D影像空间显示3D数据,其中通过显示根据剖切通过3D影像空间中的3D数据的一个或多个平面而确定的3D数据的一个或多个断面视图来显示所述3D数据;
在所述2D屏幕的3D影像空间显示操纵杆,所述操纵杆具有杆座、杆体和杆头,以便所述杆座相对于所述一个或多个平面的第一平面显示,其中所述第一平面具有3D位置和3D方向;
接收用户输入以便操纵在2D屏幕上显示的操纵杆;和
根据所接收到的用户输入操纵所述操纵杆来更新所述第一平面在2D屏幕的3D影像空间中的3D位置和3D方向,其中
更新第一平面的3D方向是根据所述操纵杆的杆头在球体的可见表面中的移动进行控制的,和
每当所述第一平面的3D位置或者3D方向根据所述操纵杆的操纵进行更新,所述3D数据的一个或多个断面视图随之动态变化。
CN2007800169499A 2006-05-16 2007-05-16 调整3d空间中3d断面平面的操纵杆样图形用户界面 Active CN101443729B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US80041806P 2006-05-16 2006-05-16
US60/800,418 2006-05-16
PCT/US2007/011657 WO2007136627A2 (en) 2006-05-16 2007-05-16 Joy-stick like graphical user interface to adjust 3d cross sectional plane in 3d volume

Publications (2)

Publication Number Publication Date
CN101443729A CN101443729A (zh) 2009-05-27
CN101443729B true CN101443729B (zh) 2013-02-13

Family

ID=38616250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800169499A Active CN101443729B (zh) 2006-05-16 2007-05-16 调整3d空间中3d断面平面的操纵杆样图形用户界面

Country Status (4)

Country Link
US (1) US8675022B2 (zh)
EP (2) EP3136212B1 (zh)
CN (1) CN101443729B (zh)
WO (1) WO2007136627A2 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8675022B2 (en) * 2006-05-16 2014-03-18 Edda Technology, Inc. Joy-stick like graphical user interface to adjust 3D cross sectional plane in 3D volume
US7728868B2 (en) 2006-08-02 2010-06-01 Inneroptic Technology, Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
US11264139B2 (en) * 2007-11-21 2022-03-01 Edda Technology, Inc. Method and system for adjusting interactive 3D treatment zone for percutaneous treatment
US8253726B1 (en) 2008-01-09 2012-08-28 Spaceclaim Corporation, Inc. Systems and methods for modifying three dimensional geometry using an arbitrary cross-section plane
CN101959452B (zh) * 2008-03-06 2013-08-28 美国医软科技公司 用于交互式肝叶分割的系统和方法
US8554307B2 (en) * 2010-04-12 2013-10-08 Inneroptic Technology, Inc. Image annotation in image-guided medical procedures
US8641621B2 (en) 2009-02-17 2014-02-04 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
US8690776B2 (en) 2009-02-17 2014-04-08 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image guided surgery
US11464578B2 (en) 2009-02-17 2022-10-11 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
US9099015B2 (en) * 2009-05-12 2015-08-04 Edda Technology, Inc. System, method, apparatus, and computer program for interactive pre-operative assessment involving safety margins and cutting planes in rendered 3D space
DE102009041557A1 (de) * 2009-09-15 2010-06-17 Daimler Ag Fahrzeug mit aktiver Totwinkelbeleuchtung und Verfahren
US10162491B2 (en) * 2011-08-12 2018-12-25 Otoy Inc. Drag and drop of objects between applications
AU2015200570B2 (en) * 2011-08-12 2017-03-09 Otoy, Inc. Drag and drop of objects between applications
US10314559B2 (en) 2013-03-14 2019-06-11 Inneroptic Technology, Inc. Medical device guidance
CN104574485B (zh) * 2013-10-22 2018-05-04 上海联影医疗科技有限公司 基于手持设备的医学图像重建的控制方法及控制系统
CN106716496B (zh) * 2014-09-24 2021-01-26 皇家飞利浦有限公司 对解剖结构的体积图像进行可视化
US9901406B2 (en) 2014-10-02 2018-02-27 Inneroptic Technology, Inc. Affected region display associated with a medical device
US10188467B2 (en) 2014-12-12 2019-01-29 Inneroptic Technology, Inc. Surgical guidance intersection display
US9949700B2 (en) 2015-07-22 2018-04-24 Inneroptic Technology, Inc. Medical device approaches
WO2017079064A1 (en) * 2015-11-02 2017-05-11 Foust Scott Everitt Dynamic surfaces for virtual reality applications
US9675319B1 (en) 2016-02-17 2017-06-13 Inneroptic Technology, Inc. Loupe display
US10278778B2 (en) 2016-10-27 2019-05-07 Inneroptic Technology, Inc. Medical device navigation using a virtual 3D space
US11259879B2 (en) 2017-08-01 2022-03-01 Inneroptic Technology, Inc. Selective transparency to assist medical device navigation
CN109427106A (zh) * 2017-09-01 2019-03-05 三纬国际立体列印科技股份有限公司 三维模型裁切方法与电子装置
US11484365B2 (en) 2018-01-23 2022-11-01 Inneroptic Technology, Inc. Medical image guidance
WO2021155238A1 (en) * 2020-01-29 2021-08-05 Vertex Software Llc Visualizing and evaluating 3d cross-sections

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5861889A (en) * 1996-04-19 1999-01-19 3D-Eye, Inc. Three dimensional computer graphics tool facilitating movement of displayed object
US6046749A (en) * 1996-08-09 2000-04-04 Autodesk, Inc. Method for the modification of three-dimensional objects

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5371778A (en) * 1991-11-29 1994-12-06 Picker International, Inc. Concurrent display and adjustment of 3D projection, coronal slice, sagittal slice, and transverse slice images
AU6121194A (en) * 1993-10-21 1995-05-08 Taligent, Inc. Object-oriented graphic manipulation system
JP4032404B2 (ja) * 1998-07-10 2008-01-16 フジノン株式会社 操作装置
US6295069B1 (en) * 1998-08-18 2001-09-25 Alventive, Inc. Three dimensional computer graphics tool facilitating movement of displayed object
US6448964B1 (en) * 1999-03-15 2002-09-10 Computer Associates Think, Inc. Graphic object manipulating tool
US6515687B1 (en) * 2000-05-25 2003-02-04 International Business Machines Corporation Virtual joystick graphical user interface control with one and two dimensional operation
DE10256659A1 (de) * 2002-12-04 2004-07-08 Siemens Ag Engabevorrichtung zur Orientierung in einer dreidimensionalen Visualisierung, Verfahren zur Visualisierung von dreidimensionalen Datensätzen, Darstellungsvorrichtung zur Darstellung einer Visualisierung von dreidimensionalen Datensätzen, Verfahren zum Betrieb eines bildgebenden medizinischen Üntersuchungsgeräts und Verfahren zur graphischen Positionierung einer mittels eines bildgebenden medizinischen Untersuchungsgeräts zu messenden Schicht in einem dreidimensionalen Datensatz einer Vorbereitungsmessung
WO2005104954A2 (en) * 2004-04-15 2005-11-10 Edda Technology, Inc. Multiple volume exploration system and method
WO2005103921A2 (en) * 2004-04-15 2005-11-03 Edda Technology, Inc. Interactive 3d data editing via 2d graphical drawing tools
US8675022B2 (en) * 2006-05-16 2014-03-18 Edda Technology, Inc. Joy-stick like graphical user interface to adjust 3D cross sectional plane in 3D volume

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5861889A (en) * 1996-04-19 1999-01-19 3D-Eye, Inc. Three dimensional computer graphics tool facilitating movement of displayed object
US6046749A (en) * 1996-08-09 2000-04-04 Autodesk, Inc. Method for the modification of three-dimensional objects

Also Published As

Publication number Publication date
US8675022B2 (en) 2014-03-18
WO2007136627A2 (en) 2007-11-29
WO2007136627A3 (en) 2008-05-29
EP3136212B1 (en) 2021-05-05
US20070291000A1 (en) 2007-12-20
EP3136212A1 (en) 2017-03-01
EP2018608A2 (en) 2009-01-28
CN101443729A (zh) 2009-05-27

Similar Documents

Publication Publication Date Title
CN101443729B (zh) 调整3d空间中3d断面平面的操纵杆样图形用户界面
US10304240B2 (en) Multi-modal method for interacting with 3D models
US5861889A (en) Three dimensional computer graphics tool facilitating movement of displayed object
US9513716B2 (en) Bimanual interactions on digital paper using a pen and a spatially-aware mobile projector
US10839613B2 (en) Fast manipulation of objects in a three-dimensional scene
US20180164982A1 (en) Method and system for generating a holographic image having simulated physical properties
Ziaei et al. Real-time markerless Augmented Reality for Remote Handling system in bad viewing conditions
CN105103112A (zh) 用于操纵显示装置上的对象的取向的设备和方法
CN107924268B (zh) 对象选择系统和方法
Stork et al. Efficient and precise solid modelling using a 3D input device
JP7475120B2 (ja) 回転を少なくとも含む動きを生成するための方法
US20020180809A1 (en) Navigation in rendered three-dimensional spaces
Mossel et al. Large scale cut plane: An occlusion management technique for immersive dense 3d reconstructions
US10102310B2 (en) Precise object manipulation system and method
KR101496761B1 (ko) 다면 스크린 프로젝션 기반 휴대용 3차원 모델 제어 시스템 및 그 방법
JP4493730B2 (ja) 3次元物体表示制御装置及びその方法
US11232237B2 (en) System and method for perception-based selection of features in a geometric model of a part
US20130278592A1 (en) Merging Drawing Objects from a Set of Canvas Elements
WO2018138657A1 (en) Affine transformations of 3d elements in a virtual environment using a 6dof input device
EP3295291B1 (en) Drawing object inferring system and method
Malomo et al. Generalized Trackball for Surfing Over Surfaces.
KR101357281B1 (ko) 쥠 입력수단을 이용한 가상 핸들 제공 시스템 및 방법
JP2005332231A (ja) ポインティング方法およびポインティング装置、ならびにポインティングプログラム
KR102392675B1 (ko) 3차원 스케치를 위한 인터페이싱 방법 및 장치
US10928932B2 (en) 3D mouse for computers

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant