CN104768442A - 显示装置、医用装置、显示方法及程序 - Google Patents

显示装置、医用装置、显示方法及程序 Download PDF

Info

Publication number
CN104768442A
CN104768442A CN201380055175.6A CN201380055175A CN104768442A CN 104768442 A CN104768442 A CN 104768442A CN 201380055175 A CN201380055175 A CN 201380055175A CN 104768442 A CN104768442 A CN 104768442A
Authority
CN
China
Prior art keywords
endoscope
endoscopic images
display
coordinate axes
display part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380055175.6A
Other languages
English (en)
Inventor
H.哈奎
仲成幸
森川茂广
谷彻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shiga University of Medical Science NUC
GE Medical Systems Global Technology Co LLC
Original Assignee
Shiga University of Medical Science NUC
GE Medical Systems Global Technology Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shiga University of Medical Science NUC, GE Medical Systems Global Technology Co LLC filed Critical Shiga University of Medical Science NUC
Publication of CN104768442A publication Critical patent/CN104768442A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

投影单元（81）以使坐标系（CH）的原点（O1）位于规定在内窥镜（30）的向量（N）的延长线上的方式，平行移动向量（N、U及V）。在平行移动向量（N、U及V）之后，投影单元（81）向内窥镜图像投影坐标轴（AP、RL及SI）。然后，将被投影的坐标轴（AP、RL及SI）与内窥镜图像一起显示在显示部（10）。施术者观看显示在显示部（10）的内窥镜图像，能够确认坐标轴（AP、RL及SI）的信息。从而，减轻操作内窥镜的施术者的负担。

Description

显示装置、医用装置、显示方法及程序
技术领域
本发明涉及显示内窥镜图像的显示装置、具有该显示装置的医用装置、显示内窥镜图像的显示方法以及用于显示装置的程序。
背景技术
近年来，已知一边以内窥镜观察患者的体内，一边以医用装置（MR装置、CT装置等）拍摄患者，边看内窥镜图像和医用图像（MR图像、CT图像）边进行手术的方法（参照专利文献1）。
现有技术文献
专利文献
专利文献1：日本特开2009－172050号公报。
发明内容
发明要解决的课题
然而，一般内窥镜的视野窄，因此施术者能够从内窥镜图像视觉辨认的范围受到限制。因此，施术者需要在能够视觉辨认的范围受限制的条件下决定内窥镜的移动方向等，对施术者带来很大的负担。基于这样的理由，期望减轻操作内窥镜的施术者的负担。
用于解决课题的方案
本发明的第1观点为一种显示装置，显示通过观察对象的内窥镜得到的内窥镜图像，其中具有：
投影单元，向所述内窥镜图像投影对于所述对象设定的坐标轴；以及
显示部，显示所述内窥镜图像和投影到所述内窥镜图像的所述坐标轴。
本发明的第2观点是具有第1观点的显示装置的医用装置。
本发明的第3观点为一种显示方法，显示通过观察对象的内窥镜得到的内窥镜图像，其中具有：
投影步骤，向所述内窥镜图像投影对于所述对象设定的坐标轴；以及
显示步骤，显示所述内窥镜图像和投影到所述内窥镜图像的所述坐标轴。
本发明的第4观点为一种程序，用于具备显示通过观察对象的内窥镜得到的内窥镜图像的显示部的显示装置，所述程序令计算机执行以下处理：
投影处理，向所述内窥镜图像投影对于所述对象设定的坐标轴；以及
显示控制处理，使所述显示部显示所述内窥镜图像和投影到所述内窥镜图像的所述坐标轴。
发明效果
在显示部中显示投影到内窥镜图像的坐标轴。因此，施术者能够容易识别显示在内窥镜图像的部位和坐标轴的对应关系。
附图说明
图1是本发明的第1方式的磁共振装置的概略图；
图2是内窥镜30的构造的说明图；
图3是示出使外科用器具34从内窥镜30的前端突出时的情况的图；
图4是对内窥镜30规定的向量的说明图；
图5是示出使内窥镜30的前端旋转时的面NV、NU及UV的图；
图6是概略示出将内窥镜30插入动物11时的情况的图；
图7是内窥镜图像的说明图；
图8是将内窥镜图像显示于显示部10时的说明图；
图9是概略示出显示于显示部10的内窥镜图像的一个例子的图；
图10是显示坐标系CH的坐标信息时的说明图；
图11是示出在内窥镜图像投影坐标轴AP、RL及SI后的情况的图；
图12是在显示部10显示坐标轴AP、RL和SI以及内窥镜图像时的说明图；
图13是概略示出显示于显示部10的内窥镜图像的一个例子的图；
图14是示出显示于显示部10的内窥镜图像的例子的图；
图15是示出将内窥镜30的前端的旋转角α从α0变更到α1时的坐标系CH与向量N、U及V的位置关系的图；
图16是在α＝α1的情况下取得的内窥镜图像的说明图；
图17是向内窥镜图像投影坐标轴AP、RL及SI时的说明图；
图18是示出向内窥镜图像投影坐标轴AP、RL及SI后的情况的图；
图19是在显示部10显示坐标轴AP、RL和SI及内窥镜图像时的说明图；
图20是概略示出显示于显示部10的内窥镜图像的一个例子的图；
图21是仅显示两个坐标轴时的说明图；
图22是从三个坐标轴之中选择与向量N所成的角度较大的坐标轴时的说明图；
图23是示出在内窥镜图像显示两个坐标轴AP及RL的例子的图；
图24是第2方式的MR装置200的概略图；
图25是仰角θ的说明图；
图26是示出显示于显示部10的仰角θ的显示方法的一个例子的图；
图27是示出内窥镜30的前端的仰角θ为θ＝0°时的坐标系CH与向量N的位置关系的图；
图28是示出在θ＝0°时的仰角指示器Ie的一个例子的图；
图29是示出内窥镜30的前端的仰角θ为θ＝－45°时的坐标系CH与向量N的位置关系的图；
图30是示出在θ＝－45°时的仰角指示器Ie的一个例子的图；
图31是方位角φ的说明图；
图32是示出显示于显示部10的方位角φ的显示方法的一个例子的图；
图33是示出内窥镜30的前端的方位角φ为φ＝0°时的坐标系CH与向量N的位置关系的图；
图34是示出在φ＝0°时的方位角指示器Ia的一个例子的图；
图35是示出内窥镜30的前端的方位角φ为φ＝20°L时的坐标系CH与向量N的位置关系的图；
图36是示出在φ＝20°L时的方位角指示器Ia的一个例子的图；
图37是示出第4方式中进行手术时的流程的图；
图38是概略示出通过扫描取得的图像数据D的图；
图39是示出施术者特定的目标T的图；
图40是概略示出将内窥镜30插入动物11时的情况的图；
图41是示出显示于显示部10的内窥镜图像或各种信息的一个例子的图；
图42是在显示部10显示目标T时的说明图；
图43是距离d、δ及Δ的说明图；
图44是概略示出调整内窥镜30的位置及朝向后的情况的图；
图45是向内窥镜图像投影目标T时的说明图；
图46是示出显示于显示部10的内窥镜图像的一个例子的图；
图47是示出将外科用器具34的假想突出距离δ设定为δ＝δ1时的情况的图；
图48是示出显示于显示部10的图像的一个例子的图；
图49是示出施术者将δ设定为其他值时的情况的图；
图50是示出显示于显示部10的图像的一个例子的图；
图51是示出显示面UV的MR图像、面NU的MR图像及面NV的MR图像时的一个例子的图。
具体实施方式
以下，对用于实施发明的方式进行说明，但本发明并不限定于以下的方式。
（1）第1方式
图1是本发明的第1方式的磁共振装置的概略图。
磁共振装置（以下，称为“MR装置”。MR：Magnetic Resonance（核磁共振））100具有磁体2、工作台3、接收线圈4等。
磁体2具有膛21。另外，在磁体2内置有超导线圈、梯度线圈及RF线圈等。超导线圈施加静磁场，梯度线圈施加梯度磁场，RF线圈发送RF脉冲。
工作台3具有托架3a。托架3a构成为能够在膛21内移动。托架3a上躺着接受手术的动物11。内窥镜30插入动物11中。施术者12及13一边操作内窥镜30一边进行动物11的手术。
接收线圈4安装在动物11。接收线圈4接收来自动物11的磁共振信号。
MR装置100还包括：发送器5、梯度磁场电源6、接收器7、控制部8、操作部9及显示部10等。
发送器5向RF线圈供给电流，梯度磁场电源6向梯度线圈供给电流。
接收器7对于从接收线圈4接受的信号执行检波等的信号处理。
控制部8 控制MR装置100的各部分的动作，以实现MR装置100的各种动作，诸如基于从接收器7接受的数据重建图像等。控制部8具有投影单元81、选择单元82及显示控制单元83等。
投影单元81向通过内窥镜30取得的内窥镜图像投影坐标轴AP、RL及SI（例如，参照图6）。
选择单元82从坐标轴AP、RL及SI之中选择与内窥镜图像重叠显示的坐标轴。
显示控制单元83控制显示部10。
控制部8是构成投影单元81、选择单元82及显示控制单元83的一个例子，通过执行既定程序，作为这些单元发挥功能。
操作部9被操作员操作，向控制部8输入各种信息。显示部10显示通过内窥镜30得到的内窥镜图像等。此外，结合显示部10及控制部8的装置是显示装置的一个例子。
MR装置100如上述那样构成。
接着，对内窥镜30进行说明。
图2是内窥镜30的构造的说明图。
图2（a）是内窥镜30的外观图，图2（b）是内窥镜30的前端的正视图。
在内窥镜30设有光源31、光纤32、磁传感器33及外科用器具34等。磁传感器33检测梯度磁场，求出内窥镜30的前端的位置及内窥镜30的前端的朝向。外科用器具34是用于进行动物11的外科治疗的器具，以能够从内窥镜30的前端突出的方式构成。图3中示出使外科用器具34从内窥镜30的前端突出时的情况。施术者通过操作内窥镜30的操作部，能够使外科用器具34从内窥镜30的前端沿既定方向n突出。
另外，内窥镜30中规定有向量（参照图4及图5）。
图4是对内窥镜30规定的向量的说明图。
在内窥镜30的前端规定有三个向量N、向量U及向量V。向量N、U及V是互相正交的向量。向量N的方向设定为内窥镜30的外科用器具34的突出方向n（参照图3）。通过向量N、U及V，规定三个面NV、NU及UV。这些面NV、NU及UV是如下规定的面。
面NV：由向量N及V规定的面；
面NU：由向量N及U规定的面；
面UV：由向量U及V规定的面。
内窥镜30的前端构成为能够以向量N为中心轴沿P方向及Q方向旋转。图5中示出使内窥镜30的前端旋转时的面NV、NU及UV。
图5（a）是示出使内窥镜30的前端以向量N为中心沿P方向旋转角度α＝α0的量时的面NV、NU及UV的图，图5（b）是从向量N的方向观看图5（a）时的图。
通过使内窥镜30的前端沿P方向（或Q方向）旋转，能够使面NV、NU及UV也以向量N为中心旋转。
MR装置100在手术期间能够执行以下的扫描。
（1）用于取得面NV的MR图像的扫描A；
（2）用于取得面NU的MR图像的扫描B；
（3）用于取得面UV的MR图像的扫描C。
施术者12及13能够从通过扫描A取得的MR图像、通过扫描B取得的MR图像、以及通过扫描C取得的MR图像之中任意选择显示于显示部10的MR图像。
以下，对施术者12及13利用内窥镜30进行动物11的手术时的顺序进行说明。
图6是概略示出将内窥镜30插入动物11时的情况的图。
图6（a）是示出设定于动物11的坐标系CH与内窥镜30的向量N、U及V的位置关系的图，图6（b）从向量N的方向观看图6（a）时的图。在图6中，示出内窥镜30的前端的旋转角α为α＝α0的情况下的例子。
在动物11设定有坐标系CH（坐标轴AP、RL及SI）。坐标轴AP、RL及SI的原点O1，例如定位于磁体2的等中心（isocenter）。
内窥镜30的磁传感器33检测梯度磁场。通过磁传感器33检测到的梯度磁场，发送到控制部8。在控制部8中，基于磁传感器33检测到的梯度磁场，检测内窥镜30的前端的位置及内窥镜30的前端的朝向。通过检测内窥镜30的前端的位置及朝向，能够检测向量N、U及V的位置及朝向。
另外，在图6（a）及（b）概略示出通过内窥镜30观察到的部位G。通过内窥镜30观察到的部位G，能作为内窥镜图像得到。
图7是内窥镜图像的说明图。
如图7（a）所示，内窥镜图像能够将通过内窥镜30观察到的部位G作为向面UV投影时的图像而得到。向量U规定内窥镜图像的上侧，向量V规定内窥镜图像的左侧。在图7（b）中示出从向量N的方向观看图7（a）时的图。内窥镜30的前端旋转α＝α0的量（参照图6），因此内窥镜图像也仅倾斜α＝α0。通过显示控制单元83，内窥镜图像显示于显示部10（参照图1）。
图8是将内窥镜图像显示于显示部10时的说明图。
在内窥镜30的前端旋转α＝α0的量的情况下，所得到的内窥镜图像也旋转α＝α0（参照图8（a））。因此，为了使内窥镜图像的旋转角回到原来，以向量的原点O2为中心使内窥镜图像沿顺时针方向旋转α0的量（参照图8（b））。由此，能够使向量U朝向上侧，使向量V朝向左侧。在这样使内窥镜图像旋转之后，在显示部10显示内窥镜图像。图9中概略示出显示于显示部10的内窥镜图像的一个例子。与内窥镜30的前端的旋转角无关地，以使向量U朝向上侧的方式在显示部10显示内窥镜图像。
另外，本方式中，在显示部10显示内窥镜图像以外，还显示坐标系CH（坐标轴AP、RL及SI）的坐标信息。以下，对坐标信息如何显示进行说明。
图10及图11是显示坐标系CH的坐标信息时的说明图。
如图10（a）所示，投影单元81（参照图1）以使坐标系CH的原点O1位于向量N的延长线上的方式，平行移动向量N、U及V。在图10（b）中示出从向量N的方向观看图10（a）时的图。在平行移动向量N、U及V之后，投影单元81向内窥镜图像投影坐标轴AP、RL及SI（参照图11）。
图11是示出向内窥镜图像投影坐标轴AP、RL及SI后的情况的图。图11（a）是概略示出向内窥镜图像投影坐标轴AP、RL及SI时的情况的图，图11（b）是从向量N的方向观看图11（a）时的图。
通过向内窥镜图像投影坐标轴AP、RL及SI，能够求出坐标轴AP、RL及SI与显示在内窥镜图像的部位的对应关系。通过显示控制单元83，被投影的坐标轴AP、RL及SI与内窥镜图像一起显示在显示部10（参照图12）。
图12是在显示部10显示坐标轴AP、RL和SI及内窥镜图像时的说明图。
内窥镜图像旋转α＝α0的量（参照图12（a）），因此为了使内窥镜图像的旋转角回到原来，以向量的原点O2为中心使内窥镜图像沿顺时针方向旋转α0（参照图12（b））。由此，能够使向量U朝向上侧，使向量V朝向左侧。在这样使内窥镜图像旋转之后，在显示部10显示内窥镜图像。在图13中概略示出显示于显示部10的内窥镜图像的一个例子。内窥镜图像中被投影坐标轴AP、RL及SI，因此施术者仅仅观看内窥镜图像就能可视地容易识别内窥镜图像的下侧为P轴侧（腹部侧）、内窥镜图像的上侧为A轴侧（脊背侧）的情况。因此，施术者能够将坐标轴的信息用作为决定内窥镜的移动方向等时的判断材料，从而能够减轻施术者的负担。
此外，在图13中，示出表示坐标轴AP、RL及SI的箭头。然而，由于这些箭头重叠于内窥镜图像，会妨碍施术者视觉辨认内窥镜图像。因此，在显示部10显示内窥镜图像时，使这些箭头不显示。图14中示出显示于显示部10的内窥镜图像的例子。图14（a）中不显示箭头，而在内窥镜图像示出表示AP轴的字母“A”及“P”、表示RL轴的字母“R”及“L”、表示SI轴的字母“S”及“I”。因此，能够方便施术者观看内窥镜图像。
另一方面，在图14（b）中追加了诸如包围字母“A”、“P”、“R”、“L”、“S”及“I”的圆。通过显示这样的圆，能够使施术者容易可视地识别内窥镜图像的中央部分的区域的位置。
接着，对在使内窥镜30的前端的角度α变化的情况下，AP轴、RL轴及SI轴的显示如何变化进行说明。
图15是示出将内窥镜30的前端的旋转角α从α0变更到α1时的坐标系CH与向量N、U及V的位置关系的图，图16是在α＝α1的情况下取得的内窥镜图像的说明图。
即便变更内窥镜30的前端的旋转角，通过内窥镜30观察的部位G也没有变化。因此，如图16（a）所示，在α＝α1的情况下，也与α＝α0的情况同样，作为内窥镜图像能得到部位G投影于面UV时的图像。图16（b）中示出从向量N的方向观看图16（a）时的图。
接着，向内窥镜图像投影坐标轴AP、RL及SI（参照图17及图18）。
图17及图18是向内窥镜图像投影坐标轴AP、RL及SI时的说明图。
投影单元81首先如图17（a）所示，以使坐标系CH的原点O1位于向量N的延长线上的方式平行移动向量N、U及V。在图17（b）中示出从向量N的方向观看图17（a）时的图。在平行移动向量N、U及V后，投影单元81向内窥镜图像投影坐标轴AP、RL及SI（参照图18）。
图18是示出向内窥镜图像投影坐标轴AP、RL及SI后的情况的图。图18（a）是概略示出向内窥镜图像投影坐标轴AP、RL及SI时的情况的图，图18（b）是从向量N的方向观看图18（a）时的图。
通过向内窥镜图像投影坐标轴AP、RL及SI，能够求出坐标轴AP、RL及SI与在内窥镜图像中显示的部位的对应关系。通过显示控制单元83，被投影的坐标轴AP、RL及SI与内窥镜图像一起显示在显示部10（参照图19）。
图19是在显示部10显示坐标轴AP、RL和SI及内窥镜图像时的说明图。
由于内窥镜图像旋转α＝α1的量（参照图19（a）），所以为了使内窥镜图像的旋转角回到原来，以向量的原点O2为中心使内窥镜图像沿顺时针方向旋转α0（参照图19（b））。由此，能够使向量U朝向上侧，使向量V朝向左侧。在这样使内窥镜图像旋转之后，在显示部10显示内窥镜图像。在图20概略示出显示于显示部10的内窥镜图像的一个例子。图20（a）示出不显示圆周的例子，图20（b）示出显示圆周的例子。在内窥镜图像中投影有坐标轴AP、RL及SI，因此施术者仅仅观看内窥镜图像，就能可视地容易识别内窥镜图像的下侧为L轴侧（左半身侧）、内窥镜图像的上侧为R轴侧（右半身侧）。
此外，在上述说明中，在内窥镜图像显示全部三个坐标轴AP、RL及SI。然而，无需显示全部三个坐标轴AP、RL及SI，例如，仅显示两个坐标轴也可。以下，对仅显示两个坐标轴的情况进行说明。
图21是仅显示两个坐标轴时的说明图。
施术者观看内窥镜图像时，施术者的视线为与向量N同一个方向。因此，作为施术者，认为在可视地识别内窥镜30的前端的位置的方面，知道与向量N所成的角度大的坐标轴的方向比知道与向量N所成的角度小的坐标轴的方向是更为有用的信息。因此，从三个坐标轴之中，选择与向量N所成的角度第1大的坐标轴和第2大的坐标轴，仅显示所选择的坐标轴也可（参照图22）。
图22是从三个坐标轴之中选择与向量N所成的角度较大的坐标轴时的说明图。
首先，以使坐标系CH的原点O1位于向量N的延长线上的方式平行移动内窥镜30的向量N、U及V。通过这样平行移动向量N、U及V，规定向量N与三个坐标轴AP、RL及SI所成的角β1、β2及β3。
选择单元82（参照图1）计算角β1、β2及β3。因此，通过比较角β1、β2及β3，能够选择与向量N所成的角度第1大的坐标轴和第2大的坐标轴。例如，在角β1、β2及β3之间存在β1＞β2＞β3的关系的情况下，与向量N所成的角成为最大的坐标轴为AP，与向量N所成的角第2大的坐标轴为RL。因此，显示两个坐标轴AP及RL。图23中示出在内窥镜图像显示两个坐标轴AP及RL的例子。对于内窥镜图像，仅显示三个坐标轴之中两个坐标轴，从而施术者不仅知道内窥镜30的前端的位置，而且能够只显示优先等级高的坐标轴。
（2）第2方式
图24是第2方式的MR装置200的概略图。
MR装置200具有计算内窥镜30的仰角θ的计算单元84。此外，其他的构成与第1方式相同。以下，对仰角θ进行说明。
图25是仰角θ的说明图。
求仰角θ的情况也与第1方式同样，以使内窥镜30的向量N横穿过坐标的原点O1的方式平行移动内窥镜30的向量N、U及V。图25中示出由SI轴和RL轴规定的面RI。仰角θ被规定为向量N的对面RI的投影分量N0与向量N所成的角度。仰角θ通过显示控制单元83显示在显示部10。在图26中示出显示于显示部10的仰角θ的显示方法的一个例子。在图26中，在内窥镜图像的中央部分显示用于表示仰角θ的仰角指示器Ie。仰角指示器Ie具有指示仰角θ的值的指针PT。在图26中，示出仰角指示器Ie示出10°～70°的角度范围、指针指示θ＝45°的例子。因此，施术者观看在显示部10显示的内窥镜图像，同时能够确认仰角θ（θ＝45°），因此能够知道内窥镜30的前端相对于面RI倾斜多少。
接着，对使仰角θ的值变化的情况下，仰角θ的显示如何变化进行说明。
图27是示出内窥镜30的前端的仰角θ为θ＝0°时的坐标系CH和向量N的位置关系的图，图28是示出在θ＝0°时的仰角指示器Ie的一个例子的图。
在θ＝0°的情况下，向量N相对于面RI平行。仰角指示器Ie示出－30°～30°的角度范围，指针指示θ＝0°。因此，施术者观看在显示部10显示的内窥镜图像，同时能够确认仰角θ（θ＝0°），因此能够识别出内窥镜30的向量N与面RI平行。
接着，对内窥镜30的前端的仰角θ为θ＝－45°的情况下的仰角指示器进行说明。
图29是示出内窥镜30的前端的仰角θ为θ＝－45°时的坐标系CH和向量N的位置关系的图，图30是示出θ＝－45°时的仰角指示器Ie的一个例子的图。
在θ＝－45°的情况下，向量N相对于面RI朝着斜上方向。仰角指示器示出－10°～－70°的角度范围，指针指示θ＝－45°。因此，施术者观看在显示部10显示的内窥镜图像，同时能够确认仰角θ的值（θ＝－45°），因此能够识别出内窥镜30的前端朝着斜上方向。
（3）第3方式
以下，对第3方式进行说明。第3方式中，构成为计算单元84计算仰角θ之外，还计算方位角φ，但其他的构成与第2方式相同。以下，对方位角φ进行说明。
图31是方位角φ的说明图。
求方位角φ时，也以使内窥镜30的向量N横穿过坐标的原点O1的方式平行移动内窥镜30的向量N、U及V。方位角φ被规定为向量N的对面RI的投影分量N0与SI轴所成的角。通过显示控制单元83，该角度φ显示在显示部10。图32中示出在显示部10显示的方位角φ的显示方法的一个例子。在图32中，在内窥镜图像内的圆周的上部，显示有用于表示方位角φ的方位角指示器Ia。方位角指示器Ia具有指示方位角φ的值的指针PT。在图32中，示出方位角指示器Ia示出50°R～10°L的角度范围、指针PT指示φ＝20°R的例子。此外，在表示φ的角度一并记载字母“R”或“L”。字母“R”表示角度φ相对于SI轴靠R轴侧，字母“L”表示角度φ相对于SI轴靠L轴侧。因此，指针PT所指示的φ＝20°R，表示相对于SI轴向R轴侧倾斜20°。施术者观看在显示部10显示的内窥镜图像，同时能够确认方位角φ（θ＝20°R），因此能够知道内窥镜30的前端相对于SI轴倾斜多少。
接着，对改变方位角φ的值的情况下方位角φ的显示如何变化进行说明。
图33是示出内窥镜30的前端的方位角φ为φ＝0°时的坐标系CH和向量N的位置关系的图，图34是示出在φ＝0°时的方位角指示器Ia的一个例子的图。
在图33中显示有面RI之外，显示有面AI。面AI是由SI轴和AP轴规定的面。在φ＝0°的情况下，向量N相对于面AI平行。方位角指示器示出30°R～30°L的角度范围，指针PT指示φ＝0°。因此，施术者观看在显示部10显示的内窥镜图像，同时能够确认方位角φ（φ＝0°），因此识别出内窥镜30的向量N与面AI平行。
接着，对内窥镜30的前端的方位角φ为φ＝20°L的情况下的方位角指示器进行说明。
图35是示出内窥镜30的前端的方位角φ为φ＝20°L时的坐标系CH和向量N的位置关系的图，图36是示出在φ＝20°L时的方位角指示器Ia的一个例子的图。
方位角指示器示出10°R～50°L的角度范围，指针指示φ＝20°L。因此，施术者观看在显示部10显示的内窥镜图像，同时能够确认方位角φ（φ＝20°L），因此能够知道向量N相对于SI轴倾斜20°。
（4）第4方式
以下，对第4方式进行说明。此外，MR装置的硬件构成与第2方式相同。
图37是示出第4方式中进行手术时的流程的图。
在步骤ST1中，执行用于取得手术部位的图像数据的扫描。在图38中概略示出经扫描取得的图像数据D。在执行扫描后，进入步骤ST2。
在步骤ST2中，施术者一边观看图像数据D，一边确定想要以外科用器具34实施外科处理的部位（以下，称为“目标”）。图39中示出施术者确定的目标T。在确定目标T之后，进入步骤ST3。
在步骤ST3中，向动物11插入内窥镜30，并进行手术。
图40是概略示出向动物11插入内窥镜30时的情况的图。
图40（a）是示出设定在动物11的坐标系CH和内窥镜30的向量N、U及V的位置关系的图，图40（b）是从向量N的方向观看图40（a）时的图。
通过插入内窥镜30，施术者能够观察到动物11的内部的部位G。此时，通过显示控制单元83，在显示部10显示内窥镜图像和各种信息。图41示出在显示部10显示的内窥镜图像和各种信息的一个例子。具体而言，在显示部10显示以下的（1）～（6）等。
（1）内窥镜图像
（2）坐标轴
（3）仰角指示器Ie
（4）方位角指示器Ia
（5）目标T
（6）距离d、δ及Δ
此外，（1）～（4）已在第1～第3方式中进行了说明，因此省略（1）～（3）的说明，以下，对于（5）及（6）进行说明。
（5）关于目标T
图42是将目标T显示于显示部10时的说明图。
图42（a）是示出向内窥镜图像投影目标T时的情况的图，图42（b）是从向量N的方向观看图42（a）时的图。
投影单元81将目标T投影于内窥镜图像。由此，能够求出内窥镜图像和目标T的位置关系。因此，如图41所示，能够在内窥镜图像内显示目标T。
（6）关于距离d、δ及Δ
图43是距离d、δ及Δ的说明图。
距离d是从内窥镜30的前端起到目标T为止的距离。内窥镜30的前端的位置，能够利用内窥镜30的磁传感器33来检测。另外，在步骤ST1求出目标T的位置。从而，由于知道内窥镜30的前端的位置和目标T的位置，所以能够计算出距离d。距离d是利用计算单元84来计算的。
距离δ表示在假想使外科用器具34从内窥镜30突出时的外科用器具34的假想的突出距离。在该情况下，向量U及V沿向量N的方向仅平行移动距离δ。距离δ通过施术者来设定。
距离Δ表示将从外科用器具34的假想的前端位置到目标T为止的距离g向向量N投影时的投影分量的长度。距离g能够从外科用器具34的假想的前端位置和目标T的位置计算。因此，通过将距离g向向量N投影，能够计算出距离Δ。距离Δ利用计算单元84来计算。
这样，在显示部10也显示目标T、距离d、δ、Δ等。
施术者观看显示部10（参照图41），确认目标T的位置，并且判断目标T是否与内窥镜图像的中心点C重叠。在图41中，目标T从内窥镜图像的中心点C偏离。因此，施术者以使目标T与内窥镜图像的中心点C重叠的方式调整内窥镜30的位置及朝向。
图44是概略示出调整内窥镜30的位置及朝向后的情况的图。在图44中，向量N横穿目标T。在该情况下，若将目标T投影于内窥镜图像，则成为如下。
图45是将目标T投影于内窥镜图像时的说明图。
图45（a）是示出将目标T投影于内窥镜图像时的情况的图，图45（b）是从向量N的方向观看图45（a）时的图。
在向量N横穿目标T的情况下，目标N投影于内窥镜图像的中心。因此，当观看显示在显示部10的内窥镜图像时，如图46所示，目标T显示于内窥镜图像的中心点C。如果施术者确认了目标T与内窥镜图像的中心点C重叠，则设定外科用器具34的假想的突出距离δ（参照图47）。
图47是示出将外科用器具34的假想的突出距离δ设定为δ＝δ1时的情况的图。
若设定突出距离δ＝δ1，则计算单元84计算距离Δ等。另外，MR装置执行用于取得面UV的MR图像的扫描。通过该扫描取得的面UV的MR图像，与内窥镜图像一起显示在显示部10。图48中示出显示在显示部10的图像的一个例子。
在δ＝δ1的情况下，外科用器具34的假想的前端位置没有到达目标T（参照图47）。在该情况下，面UV横穿目标T，因此施术者即便观看面UV的MR图像，也不能在面UV的MR图像之中确认目标T。因此，施术者可知δ＝δ1的位置从目标T的位置偏离。因此，施术者将δ设定为其他值（参照图49）。
图49是施术者将δ设定为其他值时的情况的图。
在图49中，示出设定为δ＝d的例子。在该情况下，外科用器具34的假想的前端位置到达目标T。MR装置执行用于取得面UV的MR图像的扫描。在该情况下，在显示部10显示如图50所示的图像。
在δ＝d的情况下，外科用器具34的假想的前端位置到达目标T（参照图49），因此施术者能够在面UV的MR图像之中确认目标T。
以下同样地，施术者将δ的值变更，并确认按每个δ的值得到的面UV的MR图像。这样，通过确认按每个δ的值得到的面UV的MR图像，施术者能够确认目标T的位置、大小、形状等的信息。施术者如果确认了目标T的位置、大小、形状等，就使外科用器具34实际从内窥镜30的前端突出，对目标T实施外科处理，从而进行治疗。
第4方式中，施术者通过观看显示部10，能够确认内窥镜图像和目标T的位置关系。另外，通过计算距离Δ，也能知道从外科用器具34的假想的前端位置到目标T为止的距离，因此能够作为施术者设定δ的值时的参考。
此外，在第4方式中，虽然显示面UV的MR图像，但是进一步显示面NU及面NV（参照图4）的MR图像也可。图51中示出显示面UV的MR图像、面NU的MR图像及面NV的MR图像时的一个例子。通过显示这些MR图像，施术者能够确认互相正交的3个面的MR图像，因此能够顺利进行内窥镜30的前端的位置、朝向的调整。
另外，在第1～第4方式中，对磁共振装置进行了说明。然而，只要为具有显示内窥镜图像的显示装置的医用装置，本发明就能适用于与磁共振装置不同的医用装置（例如，CT装置）。
另外，在第1～第4方式中，对取得动物11的内窥镜图像的例子进行了说明。然而，本发明以内窥镜观察的对象不限定于动物，能够将人体或生物以外的物体（例如，配管的内部或建筑物的内部）作为以内窥镜观察的对象。
标号说明
2　磁体；3　工作台；3a　托架；4　接收线圈；5　发送器；6　梯度磁场电源；7　接收器；8　控制部；9　操作部；10　显示部；11　动物；12、13　施术者；21　膛；81　投影单元；82　选择单元；83　显示控制单元。

Claims (16)

1. 一种显示装置，显示通过观察对象的内窥镜得到的内窥镜图像，其中具有：
投影单元，向所述内窥镜图像投影对于所述对象设定的坐标轴；以及
显示部，显示所述内窥镜图像和投影到所述内窥镜图像的所述坐标轴。
2. 如权利要求1所述的显示装置，其中，
对于所述对象设定多个坐标轴，
所述投影单元向所述内窥镜图像投影所述多个坐标轴，
所述显示部显示所述内窥镜图像和投影到所述内窥镜图像的所述多个坐标轴。
3. 如权利要求2所述的显示装置，其中，
具有从所述多个坐标轴之中选择显示于所述显示部的坐标轴的选择单元，
所述显示部显示通过所述选择单元选择的坐标轴。
4. 如权利要求1所述的显示装置，其中，
所述选择单元基于所述多个坐标轴的每一个与所述内窥镜的视野方向所成的角度，选择所述坐标轴。
5. 如权利要求1～4中的任一项所述的显示装置，其中，
具有计算所述内窥镜的前端的角度的第1计算单元。
6. 如权利要求5所述的显示装置，其中，
所述第1计算单元计算所述内窥镜的前端的仰角。
7. 如权利要求5或6所述的显示装置，其中，
所述第1计算单元计算所述内窥镜的前端的方位角。
8. 如权利要求1～7中的任一项所述的显示装置，其中，
在所述内窥镜的前端具备用于对所述对象的目标实施外科处理的外科用器具，
所述科用器具能够朝着所述内窥镜的视野方向突出。
9. 如权利要求8所述的显示装置，其中，
所述显示部显示所述对象的目标。
10. 如权利要求8或9所述的显示装置，其中，
具有计算从所述内窥镜的前端位置到所述对象的目标为止的距离的第2计算单元。
11. 如权利要求10所述的显示装置，其中，
所述显示部显示从所述内窥镜的前端位置到所述对象的目标为止的距离。
12. 如权利要求8～11中的任一项所述的显示装置，其中，
所述内窥镜构成为能够设定假想为使所述外科用器具从所述内窥镜的前端突出时的所述外科用器具的假想的突出距离。
13. 如权利要求12所述的显示装置，其中，
所述显示部显示所述突出距离。
14. 一种权利要求1～13中的任一项所述的医用装置。
15. 一种显示方法，显示通过观察对象的内窥镜得到的内窥镜图像，其中具有：
投影步骤，向所述内窥镜图像投影对于所述对象设定的坐标轴；以及
显示步骤，显示所述内窥镜图像和投影到所述内窥镜图像的所述坐标轴。
16. 一种程序，用于具备显示通过观察对象的内窥镜得到的内窥镜图像的显示部的显示装置，所述程序令计算机执行以下处理：
投影处理，向所述内窥镜图像投影对于所述对象设定的坐标轴；以及
显示控制处理，使所述显示部显示所述内窥镜图像和投影到所述内窥镜图像的所述坐标轴。
CN201380055175.6A 2012-10-22 2013-10-15 显示装置、医用装置、显示方法及程序 Pending CN104768442A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-233156 2012-10-22
JP2012233156A JP6221166B2 (ja) 2012-10-22 2012-10-22 表示装置、医用装置、およびプログラム
PCT/JP2013/077928 WO2014065154A1 (ja) 2012-10-22 2013-10-15 表示装置、医用装置、表示方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN104768442A true CN104768442A (zh) 2015-07-08

Family

ID=50544534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380055175.6A Pending CN104768442A (zh) 2012-10-22 2013-10-15 显示装置、医用装置、显示方法及程序

Country Status (4)

Country Link
US (1) US9826889B2 (zh)
JP (1) JP6221166B2 (zh)
CN (1) CN104768442A (zh)
WO (1) WO2014065154A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6356623B2 (ja) * 2015-03-18 2018-07-11 富士フイルム株式会社 画像処理装置、方法、及びプログラム
KR102645922B1 (ko) 2017-12-06 2024-03-13 아우리스 헬스, 인코포레이티드 지시되지 않은 기구 롤을 수정하기 위한 시스템 및 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001104333A (ja) * 1999-10-07 2001-04-17 Hitachi Ltd 手術支援装置
JP2003123097A (ja) * 2002-09-09 2003-04-25 Hitachi Medical Corp 表示方法及び表示装置
WO2006070669A1 (ja) * 2004-12-27 2006-07-06 Olympus Corporation 医療画像処理装置及び医療画像処理方法
JP2007007041A (ja) * 2005-06-29 2007-01-18 Hitachi Medical Corp 手術支援装置
CN101026988A (zh) * 2004-09-27 2007-08-29 奥林巴斯株式会社 弯曲控制装置
CN102170835A (zh) * 2008-09-30 2011-08-31 直观外科手术操作公司 提供计算机生成的摄像器械的辅助视图以控制医疗机器人系统的末端定位和取向的医疗机器人系统
CN102196761A (zh) * 2008-10-28 2011-09-21 奥林巴斯医疗株式会社 医疗设备
US20110245660A1 (en) * 2010-03-31 2011-10-06 Fujifilm Corporation Projection image generation apparatus and method, and computer readable recording medium on which is recorded program for the same

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0762793B2 (ja) * 1986-02-17 1995-07-05 三菱電機株式会社 三次元カ−ソル表示装置
JPH01269986A (ja) * 1988-04-21 1989-10-27 Nec Corp 座標指示方式
US6221007B1 (en) * 1996-05-03 2001-04-24 Philip S. Green System and method for endoscopic imaging and endosurgery
JP4695420B2 (ja) * 2004-09-27 2011-06-08 オリンパス株式会社 湾曲制御装置
WO2008099851A1 (ja) * 2007-02-14 2008-08-21 Olympus Medical Systems Corp. 操作装置、モニタ装置、およびカプセル誘導システム
WO2009069394A1 (ja) * 2007-11-29 2009-06-04 Olympus Medical Systems Corp. 内視鏡システム
JP5410021B2 (ja) 2008-01-22 2014-02-05 株式会社日立メディコ 医用画像診断装置
WO2011040104A1 (ja) * 2009-09-30 2011-04-07 オリンパスメディカルシステムズ株式会社 内視鏡装置及び湾曲駆動制御方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001104333A (ja) * 1999-10-07 2001-04-17 Hitachi Ltd 手術支援装置
JP2003123097A (ja) * 2002-09-09 2003-04-25 Hitachi Medical Corp 表示方法及び表示装置
CN101026988A (zh) * 2004-09-27 2007-08-29 奥林巴斯株式会社 弯曲控制装置
WO2006070669A1 (ja) * 2004-12-27 2006-07-06 Olympus Corporation 医療画像処理装置及び医療画像処理方法
JP2007007041A (ja) * 2005-06-29 2007-01-18 Hitachi Medical Corp 手術支援装置
CN102170835A (zh) * 2008-09-30 2011-08-31 直观外科手术操作公司 提供计算机生成的摄像器械的辅助视图以控制医疗机器人系统的末端定位和取向的医疗机器人系统
CN102196761A (zh) * 2008-10-28 2011-09-21 奥林巴斯医疗株式会社 医疗设备
US20110245660A1 (en) * 2010-03-31 2011-10-06 Fujifilm Corporation Projection image generation apparatus and method, and computer readable recording medium on which is recorded program for the same

Also Published As

Publication number Publication date
JP2014083156A (ja) 2014-05-12
US20150272427A1 (en) 2015-10-01
WO2014065154A1 (ja) 2014-05-01
US9826889B2 (en) 2017-11-28
JP6221166B2 (ja) 2017-11-01

Similar Documents

Publication Publication Date Title
US11596475B2 (en) Systems and methods for ultrasound image-guided ablation antenna placement
CN101248996B (zh) 用于电磁跟踪方法和系统的线圈排列
US8232798B2 (en) Magnetic tracking system for an imaging system
US20140051985A1 (en) Percutaneous nephrolithotomy target finding system
WO2015164171A1 (en) System and method for processing navigational sensor data
JPH03267054A (ja) 定位的脳手術支援装置
JP2002017753A (ja) 画像装置と協働の介入処置計画を容易にするシステム及び方法
US20200022609A1 (en) Simplified navigation of spinal medical imaging data
EP2870488B1 (en) A method for maintaining geometric alignment of mr scans in cases of strong patient motion
US20140253123A9 (en) Magnetic resonance apparatus and method for preparing a sensitivity map
JP7030682B2 (ja) 医療支援デバイス
Elayaperumal et al. Autonomous real-time interventional scan plane control with a 3-D shape-sensing needle
KR20030047818A (ko) 자기 공명 영상 방법 및 장치
US8308632B2 (en) Method and apparatus for displaying information in magnetically guided capsule endoscopy
JP2022526910A (ja) Ｘ線装置又は超音波装置環境において処置具を照準及び位置合わせするシステム及び方法
CN104768442A (zh) 显示装置、医用装置、显示方法及程序
de Almeida et al. A neuronavigation system using a mobile augmented reality solution
WO2018213489A1 (en) Systems, methods, and devices for assisting or performing guided interventional procedures using inertial measurement units and magnetometer sensors
US20130079636A1 (en) Ultrasound diagnostic apparatus and method thereof
JP7016111B2 (ja) 手術対象部位モニターシステム及び手術対象部位モニターシステムの作動方法
JP2005046394A (ja) 医用画像表示装置
JP6054024B2 (ja) スライス位置設定装置、磁気共鳴装置、スライス位置設定方法、およびプログラム
CN108938084B (zh) 轮换发射器的频率
JP2023507434A (ja) プローブの遠位端からの方向による医用画像上のカーソル位置の選択
Mewes et al. Integrated system for robot-assisted in prostate biopsy in closed MRI scanner

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150708