CN115484872A - 图像处理装置、图像处理系统、图像显示方法及图像处理程序 - Google Patents

图像处理装置、图像处理系统、图像显示方法及图像处理程序 Download PDF

Info

Publication number
CN115484872A
CN115484872A CN202180026956.7A CN202180026956A CN115484872A CN 115484872 A CN115484872 A CN 115484872A CN 202180026956 A CN202180026956 A CN 202180026956A CN 115484872 A CN115484872 A CN 115484872A
Authority
CN
China
Prior art keywords
mode
image processing
processing apparatus
catheter
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180026956.7A
Other languages
English (en)
Inventor
坂本泰一
清水克彦
石原弘之
C·雅凯
T·亨
S·郑
佐贺亮介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockan Corp
Terumo Corp
Original Assignee
Rockan Corp
Terumo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockan Corp, Terumo Corp filed Critical Rockan Corp
Publication of CN115484872A publication Critical patent/CN115484872A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Biophysics (AREA)
  • Primary Health Care (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Urology & Nephrology (AREA)
  • Computer Hardware Design (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Endoscopes (AREA)

Abstract

图像处理装置，其为将表示生物组织的三维数据作为三维图形显示在显示器上的图像处理装置，所述图像处理装置具备控制部，所述控制部根据通过边在所述生物组织的内腔移动边观察周围的传感器以时间序列得到的数据来检测被插入至所述生物组织的导管的一系列位置，并在第一模式与第二模式之间切换显示模式，所述第一模式是在所述三维图像中显示表示所述一系列位置的第一图形的模式，所述第二模式是在所述三维图像中显示表示所述一系列位置之中的一个位置的第二图形的模式。

Description

图像处理装置、图像处理系统、图像显示方法及图像处理程序
技术领域
本发明涉及图像处理装置、图像处理系统、图像显示方法及图像处理程序。
背景技术
专利文献1至专利文献3中，记载有使用US图像系统而生成心腔或血管的三维图像的技术。“US”是ultrasound(超声波)的缩写。
现有技术文献
专利文献
专利文献1：美国专利申请公开第2010/0215238号说明书
专利文献2：美国专利第6385332号说明书
专利文献3：美国专利第6251072号说明书
发明内容
发明所要解决的课题
针对心腔内、心脏血管和下肢动脉区域等使用IVUS的治疗被广为进行。“IVUS”是intravascular ultrasound(血管内超声)的缩写。IVUS是指提供相对于导管长轴垂直的平面的二维图像的器械或方法。
作为现状，施术者需要一边通过在头脑中层叠IVUS的二维图像而重构立体结构一边进行手术，特别地对于年轻的医生或者经验浅的医生而言存在障碍。为了消除这样的障碍，考虑由IVUS的二维图像自动生成表示心腔或血管等生物组织的结构的三维图像，并向施术者显示所生成的三维图像。在用于消融等手术的导管插入生物组织的情况下，考虑在三维图像中也显示该导管。
假设使用过去的拉回(pullback)信息来显示导管的一系列位置。如果拉回单元在相同位置停留一定时间，则存在过去的拉回信息中提取出的导管的一系列位置与导管的当前位置的关联性几乎消失的情况。特别地，如果导管在拉回单元位置固定的情况下被操作，则过去的一系列位置与当前位置之间的关联显著丧失。其结果是，难以知晓导管的位置。
本发明的目的在于，在生物组织的三维图像中显示导管时容易知晓导管的位置。
用于解决课题的手段
作为本发明的一个方案的图像处理装置，其为将表示生物组织的三维数据作为三维图形显示在显示器上的图像处理装置，所述图像处理装置具备控制部，所述控制部根据通过边在所述生物组织的内腔移动边观察周围的传感器以时间序列得到的数据来检测被插入至所述生物组织的导管的一系列位置，并在第一模式与第二模式之间切换显示模式，所述第一模式是在所述三维图像中显示表示所述一系列位置的第一图形的模式，所述第二模式是在所述三维图像中显示表示所述一系列位置之中的一个位置的第二图形的模式。
作为一实施方式，所述控制部将所述显示模式由所述第一模式切换至所述第二模式时，不显示所述第一图形。
作为一实施方式，所述控制部使得显示连接了所述一系列位置的线状或管状的图形作为所述第一图形。
作为一实施方式，所述控制部使得显示表示所述一个位置的球状图形作为所述第二图形，并显示包围该球状图形的至少一个同心圆或同心球。
作为一实施方式，所述控制部使得显示所述导管的靠近末端侧的粗细尺寸大于相反侧的粗细尺寸的图形作为所述第二图形。
作为一实施方式，所述控制部显示表示所述一个位置的弹丸状图形作为所述第二图形。
作为一实施方式，在显示表示除所述导管的前端以外的位置的图形作为所述第二图形的情况下，所述控制部使得以与显示表示所述导管的前端的位置的图形时不同的颜色显示所述第二图形来作为所述第二图形。
作为一实施方式，所述控制部根据所述传感器的移动状况的变化来切换所述显示模式。
作为一实施方式，所述传感器的移动状况的变化包括所述传感器的移动速度超过阈值。
作为一实施方式，在所述传感器的移动速度超过所述阈值的情况下，所述控制部根据所述传感器的移动速度是否为上限值以下来切换所述显示模式。
作为一实施方式，所述控制部根据所述传感器所捕捉的图像平面内是否存在所述导管来切换所述显示模式。
作为一实施方式，在所述图像平面内存在所述导管的情况下，所述控制部根据所述图像平面内的所述导管的运动的大小来切换所述显示模式。
作为一实施方式，在所述图像平面内不存在所述导管的情况下，所述控制部根据自检测到所述一系列位置之中最后的位置的时刻起的经过时间来切换所述显示模式。
作为一实施方式，所述控制部在所述第二模式中根据距所述生物组织的内壁面的距离来调节所述第二图形的大小及颜色中的至少任一者。
作为一实施方式，所述控制部在所述第二模式中根据与所述生物组织的内壁面有无接触来调节所述第二图形的大小及颜色中的至少任一者。
作为一实施方式，所述控制部在所述第二模式中还显示所述第二图形的影子。
作为一实施方式，所述控制部在所述第二模式中调节所述第二图形伴随着所述数据的更新而更新的频率。
作为本发明的一个方案的图像处理系统，其具备：传感器，其边在所述生物组织的内腔移动边获取所述生物组织的断层数据；和上述图像处理装置，其基于由所述传感器获取的断层数据生成所述三维数据。
作为一实施方式，所述图像处理系统还具备所述显示器。
作为本发明的一个方案的图像显示方法，其为将表示生物组织的三维数据作为三维图像显示在显示器上的图像显示方法，其中，计算机根据通过边在所述生物组织的内腔移动边观察周围的传感器以时间序列得到的数据来检测被插入至所述生物组织的导管的一系列位置，所述计算机在第一模式与第二模式之间切换显示模式，所述第一模式是在所述三维图像中显示表示所述一系列位置的第一图形的模式，所述第二模式是在所述三维图像中显示表示所述一系列位置之中的一个位置的第二图形的模式。
作为本发明的一个方案的图像处理程序，其使将表示生物组织的三维数据作为三维图像显示在显示器上的计算机执行下述处理：根据通过边在所述生物组织的内腔移动边观察周围的传感器以时间序列得到的数据来检测被插入至所述生物组织的导管的一系列位置的处理；和在第一模式与第二模式之间切换显示模式的处理，所述第一模式是在所述三维图像中显示表示所述一系列位置的第一图形的模式，所述第二模式是在所述三维图像中显示表示所述一系列位置之中的一个位置的第二图形的模式。
发明效果
根据本发明，在生物组织的三维图像中显示导管时容易知晓导管的位置。
附图说明
[图1]为作为本发明的一方案的图像处理系统的立体图。
[图2]为作为本发明的一方案的图像处理系统的探针和驱动单元的立体图。
[图3]为示出作为本发明的一方案的图像处理系统的构成的框图。
[图4]为示出在一实施方式中显示的三维图像及第一图形的图。
[图5]为示出在一实施方式中显示的三维图像及第二图形的图。
[图6]为示出作为本发明的一方案的图像处理系统的动作的流程图。
[图7]为示出作为本发明的一方案的图像处理系统的动作的流程图。
[图8]为示出图7的第一模式判定处理的步骤的流程图。
[图9]为示出在图像平面内不存在导管的例子的图。
[图10]为示出图7的第二模式判定处理的步骤的流程图。
[图11]为示出传感器的移动速度过快的例子的图。
[图12]为示出在一变形例中显示的三维图像及第二图形的图。
[图13]为示出在一变形例中显示的三维图像及第二图形的图。
[图14]为示出在一变形例中显示的三维图像及第二图形的图。
[图15]为示出在一变形例中显示的三维图像及第二图形的图。
具体实施方式
以下，针对作为本发明的一方案的具体例的一个实施方式参见附图进行说明。
各图中，对相同的或相当的部分标注相同附图标记。在本实施方式的说明中，针对相同的或相当的部分，适当地省略或简化说明。
参见图1、图3、图4及图5，说明本实施方式的概要。
本实施方式涉及的图像处理装置11是将表示生物组织60的三维数据52作为三维图像53显示在显示器16上的计算机。图像处理装置11通过边在生物组织60的内腔移动边观察周围的传感器以时间序列得到的数据来检测被插入至生物组织60的导管61的一系列位置。图像处理装置11在第一模式与第二模式之间切换显示模式，所述第一模式是在三维图像53中显示表示一系列位置的第一图形71的模式，所述第二模式是在三维图像53中显示表示一系列位置之中的一个位置的第二图形72的模式。
根据本实施方式，在生物组织60的三维图像53中显示导管61时容易知晓导管61的位置。例如，若用户为施术者，在固定拉回单元位置的状态下操作了导管61时，则代替使用过去的拉回信息显示导管61的一系列位置，而显示导管61的当前位置。因此，用户能够不被与导管61的当前位置没有关联性的过去的信息迷惑地进行手术。
在本实施方式中，作为边在生物组织60的内腔中移动边观察周围的传感器，使用超声波振子25。
生物组织60例如包括血管或心脏等器官。在图4及图5的例子中，生物组织60为血管。
导管61例如为消融导管。
在图4及图5中，X方向和与X方向正交的Y方向分别相当于生物组织60的横宽方向。与X方向和Y方向正交的Z方向相当于生物组织60的纵长方向。
在图4的例子中，当前的显示模式是第一模式。在某个时间点T1之前，根据由超声波振子25以时间序列得到的数据，检测出导管61的一系列位置P1、P2、P3、P4。位置P1是时间点T1处的导管61的前端62的位置。位置P2是比时间点T1靠前的时间点T2处的导管61的前端62的位置。位置P3是比时间点T2靠前的时间点T3处的导管61的前端62的位置。位置P4是比时间点T3靠前的时间点T4处的导管61的前端62的位置。显示器16显示表示一系列位置P1、P2、P3、P4的第一图形71作为时间点T1处的导管61的位置。
在图5的例子中，当前的显示模式是第二模式。在从时间点T1起的一定期间内，根据由超声波振子25以时间序列得到的数据持续检测出相同的位置P1，在之后的时间点T1'，根据由超声波振子25得到的数据检测出不同的位置P1'。位置P1'是从时间点T1经过一定期间后的时间点T1'处的导管61的前端62的位置。在位置P1'和位置P1处，Z方向的位置相同。即，在位置P1'和位置P1处，对应的超声波振子25的位置相同。显示器16在显示表示一系列位置P1、P2、P3、P4中的1个位置P1的第二图形72作为从时间点T1起的一定期间内的导管61的位置之后，显示表示一系列位置P1'、P1、P2、P3、P4中的1个位置P1'的第二图形72作为时间点T1'处的导管61的位置。
参见图1，说明本实施方式涉及的图像处理系统10的构成。
图像处理系统10具备图像处理装置11、电缆12、驱动单元13、键盘14、鼠标15和显示器16。
图像处理装置11为在本实施方式中在图像诊断中专门专用的计算机，但也可以是PC等通用的计算机。“PC”是personal computer(个人计算机)的缩写。
电缆12用于连接图像处理装置11和驱动单元13。
驱动单元13为用于与如图2所示的探针20连接、驱动探针20的装置。驱动单元13也被称为MDU。“MDU”是motor drive unit(电机驱动单元)的缩写。探针20适用于IVUS中。探针20也被称为IVUS导管或图像诊断用导管。
键盘14、鼠标15和显示器16经由任意的电缆或通过无线方式与图像处理装置11连接。显示器16例如为LCD、有机EL显示器或HMD。“LCD”是liquid crystal display(液晶显示器)的缩写。“EL”是electro luminescence(电发光)的缩写。“HMD”是head-mounteddisplay(头盔式显示器)的缩写。
作为一选项，图像处理系统10进一步具备连接端子17和车单元(cart unit)18。
连接端子17用于连接图像处理装置11与外部机器。连接端子17例如为USB端子。“USB”是Universal Serial Bus(通用串行总线)的缩写。外部机器例如为磁盘驱动器、磁光盘驱动器或光盘驱动器等记录介质。
车单元18为带有用于移动的脚轮的车(cart)。车单元18的车本体中设置了图像处理装置11、电缆12和驱动单元13。车单元18的最上部的桌(table)上设置了键盘14、鼠标15和显示器16。
参见图2，说明本实施方式涉及的探针20和驱动单元13的构成。
探针20具备驱动轴21、毂部22、鞘层23、外管24、超声波振子25和中继连接器26。
对于驱动轴21而言，其穿过被插入于生物体体腔内的鞘层23和连接于鞘层23的基端的外管24，延伸至在探针20的基端内设置的毂部22的内部。驱动轴21的前端具有接收发送信号的超声波振子25，并且驱动轴21被设置为能够在鞘层23和外管24内旋转。中继连接器26连接鞘层23和外管24。
毂部22、驱动轴21和超声波振子25以各自整体地在轴向上进退移动的方式而相互连接。因此，当进行例如毂部22被向前端侧向按压的操作时，驱动轴21和超声波振子25在鞘层23的内部向前端侧移动。例如当进行将毂部22向基端侧拉的操作时，如箭头所示，驱动轴21和超声波振子25在鞘层23的内部向基端侧移动。
驱动单元13具备扫描单元31、滑动单元32和底盖33。
扫描单元31经由电缆12与图像处理装置11连接。扫描单元31具备与探针20连接的探针连接部34、作为使驱动轴21旋转的驱动源的扫描电动机35。
对于探针连接部34而言，其经由在探针20的基端设置的毂部22的插入口36，与探针20可拆卸地连接。驱动轴21的基端被旋转自如地支承在毂部22的内部，扫描电动机35的旋转力传至驱动轴21。另外，驱动轴21与图像处理装置11之间经由电缆12接收发送信号。在图像处理装置11中，基于从驱动轴21传达的信号，进行生物体管腔的断层图像的生成以及图像处理。
滑动单元32以使扫描单元31进退自如的方式承载扫描单元31，并与扫描单元31机械连接且电连接。滑动单元32具备探针夹部37、滑动电动机38和开关组39。
探针夹部37以在比探针连接部34更靠前端侧的位置与探针连接部34同轴配置的方式设置，并对连接至探针连接部34的探针20进行支承。
滑动电动机38是产生轴向驱动力的驱动源。通过滑动电动机38的驱动从而扫描单元31进退动作，伴随着该进退动作，驱动轴21在轴向进退动作。滑动电动机38例如为伺服电动机。
开关组39中包括例如在扫描单元31的进退操作时按下的正向开关和返回开关(pullback switch)、和图像描写的开始以及终止时按下的扫描开关。此处的示例中没有特别限定，根据需要开关组39包含各种开关。
当按下正向开关时，滑动电动机38正旋转，扫描单元31前进。另一方面，当按下返回开关时，滑动电动机38逆旋转，扫描单元31后退。
当按下扫描开关时开始图像描写，扫描电动机35驱动，并且滑动电动机38驱动而使扫描单元31进行后退。施术者等用户事先将探针20连接至扫描单元31，开始图像描写，并且使驱动轴21一边旋转一边向轴向基端侧移动。对于扫描电动机35和滑动电动机38而言，再度按下扫描开关则停止并终止图像描写。
底盖33覆盖滑动单元32的底面和底面侧的侧面全周，且相对于滑动单元32的底面自由接近分离。
参见图3，说明图像处理装置11的构成。
图像处理装置11具备控制部41、存储部42、通信部43、输入部44和输出部45。
控制部41包含至少一个专用电路、至少一个专用电路或他们的组合。处理器，可以是CPU或GPU等通用处理器、或者在特定的处理中专门专用的处理器。“CPU”是centralprocessing unit(中央处理单元)的缩写。“GPU”是graphics processing unit(图形处理单元)的缩写。专用电路例如为FPGA或者ASIC。“FPGA”是field-programmable gate array(现场可编程门阵列)的缩写。“ASIC”是application specific integrated circuit(专用集成电路)的缩写。控制部41一边控制包括图像处理装置11的图像处理系统10的各部分，一边执行涉及图像处理装置11的动作的处理。
存储部42包含至少一个半导体存储器、至少一个磁存储器、至少一个光存储器，或者他们之中至少两种的组合。半导体存储器例如为RAM或ROM。“RAM”是random accessmemory(随机存取存储器)的缩写。“ROM”是read only memory(只读存储器)的缩写。RAM例如为SRAM或DRAM。“SRAM”是static random access memory(静态随机存取存储器)的缩写。“DRAM”是dynamic random access memory(动态随机存取存储器)的缩写。ROM例如为EEPROM。“EEPROM”是electrically erasable programmable read only memory(电可擦只读存储器)的缩写。存储部42例如用于主存储装置、辅助存储装置或高速缓冲存储器。在存储部42中，存储了断层数据51等用于图像处理装置11的动作的数据、和三维数据52及三维图像53等根据图像处理装置11的动作而得到的数据。
通信部43包含至少一个通信用接口。通信用接口例如为有线LAN接口、无线LAN接口或接收IVUS的信号以及进行A/D转换的图像诊断用接口。“LAN”是local area network(局域网)的缩写。“A/D”是analog to digital(模数转换)的缩写。通信部43接收用于图像处理装置11的动作的数据，另外，发送根据图像处理装置11的动作而得到的数据。在本实施方式中，驱动单元13连接至通信部43所包含的图像诊断用接口。
输入部44包含至少一个输入用接口。输入用接口例如为USB接口、HDMI(注册商标)接口或Bluetooth(注册商标)等对应近距离无线通信的接口。“HDMI”是High-DefinitionMultimedia Interface(高清多介质接口)的缩写。输入部44接受输入用于图像处理装置11的动作的数据的操作等、用户的操作。在本实施方式中，输入部44包含的USB接口或对应近距离无线通信的接口与键盘14和鼠标15连接。触摸屏和显示器16设置为整体地的情况下，输入部44包含的USB接口或HDMI(注册商标)接口也可以与显示器16连接。
输出部45包含至少一个输出用接口。输出用接口例如为USB接口、HDMI(注册商标)接口或Bluetooth(注册商标)等对应近距离无线通信的接口。输出部45输出根据图像处理装置11的动作而得到的数据。在本实施方式中，显示器16连接至输出部45所包含的USB接口或HDMI(注册商标)接口。
通过利用相当于控制部41的处理器执行本实施方式涉及的图像处理程序，从而可实现图像处理装置11的功能。即，图像处理装置11的功能可通过软件而实现。图像处理程序为如下程序：用于使计算机执行图像处理装置11的各处理，从而使计算机作为图像处理装置11发挥功能。即，计算机通过按照图像处理程序执行图像处理装置11的各处理从而作为图像处理装置11发挥功能。
程序能够存储于非临时的计算机可读取介质中。非临时的计算机可读取介质例如为闪存、磁记录装置、光盘、磁光记录介质或ROM。程序的分发可例如通过出售、转让或出借存储有程序的SD卡、DVD或CD-ROM等便携型介质而进行。“SD”是Secure Digital(安全数字卡)的缩写。“DVD”是digital versatile disc(数字光盘)的缩写。“CD-ROM”是compactdisc read only memory(只读存储光盘)的缩写。可以在服务器的存储器(storage)中存储程序，从服务器向其它的计算机中传送程序，从而来分发程序。可作为程序产品来提供程序。
计算机例如将存储于便携型介质中的程序或从服务器传送的程序暂时存储在主存储装置中。然后，计算机用处理器读取在主存储装置中存储的程序，利用处理器按照读取的程序执行处理。计算机可以直接从便携型介质读取程序，按照程序执行处理。计算机也可以在每次从服务器将程序传送至计算机时，依次按照已收到的程序执行处理。可以不进行从服务器向计算机的程序的传送，通过仅按照执行指示及结果取得而实现功能的、所谓的ASP型的服务而执行处理。“ASP”是application service provider(应用服务提供商)的缩写。在程序中包含了作为为电子计算机进行处理而提供的信息、且依照程序的内容。例如，具有不是对计算机直接的指令但规定计算机处理的性质的数据相当于“依照程序的内容”。
图像处理装置11的部分或全部的功能可以通过相当于控制部41的专用电路而实现。即，图像处理装置11的部分或全部的功能可以通过硬件而实现。
参见图6～图11，说明本实施方式涉及的图像处理系统10的动作。图像处理系统10的动作相当于本实施方式涉及的图像显示方法。
图6的流程开始前，由用户对探针20进行预冲(priming)。其后，探针20嵌入在驱动单元13的探针连接部34及探针夹部37中，并连接及固定至驱动单元13。然后，探针20被插入至血管或心腔等生物组织60内的目标部位。
步骤S101中，通过按下开关组39所包含的扫描开关，以及进一步按下开关组39所包含的返回开关，进行所谓的返回操作。探针20在生物组织60的内部利用通过返回操作在轴向上后退的超声波振子25发送超声波。超声波振子25在生物组织60的内部移动的同时放射线状地发送超声波。超声波振子25接收已发送的超声波的反射波。探针20将超声波振子25接收的反射波的信号输入至图像处理装置11。图像处理装置11的控制部41通过处理输入信号并依次生成生物组织60的断面图像，从而取得包含多个断面图像的断层数据51。
具体而言，探针20在生物组织60的内部使超声波振子25周向旋转，同时使之轴向移动，同时超声波振子25从旋转中心向外侧的多个方向发送超声波。探针20通过超声波振子25接收生物组织60内部的多个方向存在的反射物而来的反射波。探针20将接收的反射波信号通过驱动单元13及电缆12发送至图像处理装置11。图像处理装置11的通信部43接收探针20发送的信号。通信部43将接收的信号进行A/D转换。通信部43将A/D转换后的信号输入至控制部41。控制部41处理所输入的信号，并算出在超声波振子25的超声波发送方向存在的反射物反射来的反射波的强度值分布。控制部41依次生成将具有与算出的强度值分布相当的辉度值分布的二维图像作为生物组织60的断面图像，以此取得断面图像的数据集即断层数据51。控制部41将取得的断层数据51存储在存储部42。
在本实施方式中，超声波振子25接收的反射波的信号相当于断层数据51的原始数据，图像处理装置11处理反射波的信号而生成的断面图像相当于断层数据51的加工数据。
作为本实施方式的一变形例，图像处理装置11的控制部41也可以将自探针20输入的信号直接作为断层数据51存储在存储部42。或者，控制部41也可以将对自探针20输入的信号进行处理而算出的表示反射波的强度值分布的数据作为断层数据51存储在存储部42。即，断层数据51不仅限于生物组织60的断面图像的数据集，也可以是超声波振子25的各移动位置处的以任意形式表达生物组织60的断面的数据。
作为本实施方式的一变形例，也可以使用不旋转地向多个方向发送超声波的超声波振子，以代替周向旋转的同时向多个方向发送超声波的超声波振子25。
作为本实施方式的一变形例，断层数据51也可以使用OFDI或OCT取得，以代替使用IVUS取得。“OFDI”是optical frequency domain imaging(光学频域成像)的缩写。“OCT”是optical coherence tomography(光学相干层析成像)的缩写。使用OFDI或OCT的情况下，作为边在生物组织60的内腔移动边取得断层数据51的传感器，使用在生物组织60的内腔放射光来取得断层数据51的传感器，以代替在生物组织60的内腔发送超声波来取得断层数据51的超声波振子25。
作为本实施方式的一变形例，也可以使用其他装置生成同样的数据集，图像处理装置11从该其他装置取得此数据集，以代替图像处理装置11生成生物组织60的断面图像的数据集。即，也可以使用其他装置处理IVUS的信号并生成生物组织60的断面图像，将生成的断面图像输入图像处理装置11，以代替图像处理装置11的控制部41处理IVUS的信号并生成生物组织60的断面图像。
步骤S102中，图像处理装置11的控制部41基于在步骤S1中取得的断层数据51生成生物组织60的三维数据52。
具体而言，图像处理装置11的控制部41将存储部42存储的断层数据51所含的生物组织60的断面图像层叠并三维化，以生成生物组织60的三维数据52。作为三维化的方法可使用面绘制或体绘制等绘制方法，及其附带的包含环境映射的纹理映射和凹凸纹理映射等各种处理中任意的方法。控制部41将生成的三维数据52存储在存储部42。
步骤S103中，图像处理装置11的控制部41将步骤S102中生成的三维数据52作为三维图像53在显示器16显示。
具体而言，图像处理装置11的控制部41根据存储部42存储的三维数据52生成三维图像53。控制部41将生成的三维图像53经由输出部45显示在显示器16。
步骤S104中，如果有断层数据51的更新，则进行步骤S105和步骤S106的处理。
步骤S105中，图像处理装置11的控制部41与步骤S101的处理同样地对从探针20输入的信号进行处理而新生成生物组织60的断面图像，由此取得包含至少一个新的断面图像的断层数据51。
步骤S106中，图像处理装置11的控制部41根据在步骤S105中取得的断层数据51来更新生物组织60的三维数据52。并且，在步骤S103中，控制单元41将在步骤S108中更新的三维数据52作为三维图像53显示在显示器16上。
作为本实施方式的一个变形例，图像处理装置11的控制部41也可以经由输入部44接受设定显示三维图像53的角度的操作作为用户操作。在该情况下，控制部41将显示三维图像53的角度调节为所设定的角度。然后，控制部41使三维图像53以所设定的角度显示在显示器16上。
作为本实施方式的一个变形例，图像处理装置11的控制部41也可以经由输入部44接受在三维图像53中设定使生物组织60的内腔露出的开口的操作，作为用户操作。在这种情况下，控制部41在三维数据52中形成所设定的开口。控制部41将三维数据52作为三维图像53显示在显示器16上，并且根据形成于三维数据52的开口的位置，调节将三维图像53显示在显示器16上时的视点。所谓“视点”是指配置于三维空间的假想相机的位置。例如，控制部41将视点配置在从生物组织60的内表面通过开口延伸到生物组织60的外部的直线上。由此，用户能够从开口观察生物组织60的内部而假想地观察生物组织60的内表面。
在步骤S103中在三维图像53中显示插入到生物组织60中的导管61的位置的情况下，开始图7的流程。是否显示导管61的位置可以根据导管61的有无而自动决定，或者也可以根据用户操作而手动决定。
在步骤S102之后的步骤S103中，对在步骤S101中取得的断层数据51中包括的多个断面图像分别执行从步骤S201到步骤S205的处理。在步骤S106之后的步骤S103中，针对在步骤S105中取得到的断层数据51所包含的新的断面图像，执行步骤S201至步骤S205的处理。
以下，对针对在某时间点Ti得到的断面图像执行步骤S201至步骤S205的处理的步骤进行说明。
在步骤S201中，图像处理装置11的控制部41根据在时间点Ti得到的断面图像，使用机器学习等任意的方法，检测导管61的位置Pi。
在步骤S202中，如果当前的显示模式是第一模式，则进行步骤S203的第一模式判定处理。如果当前的显示模式是第二模式，则进行步骤S204的第二模式判定处理。
图8示出步骤S203的第一模式判定处理的步骤。
在步骤S301中，图像处理装置11的控制部41判定在时间点Ti超声波振子25捕捉的图像平面内是否存在导管61。若在步骤S201中检测出导管61的位置Pi，则在超声波振子25捕捉的图像平面内存在导管61，因此进行步骤S302的处理。若在步骤S201中未检测出导管61的位置Pi，则如图9所示，在超声波振子25捕捉的图像平面内不存在导管61，因此进行步骤S304的处理。
在步骤S302中，图像处理装置11的控制部41判定时间点Ti的超声波振子25的移动速度V是否超过阈值Tz。如果没有超过，则进行步骤S303的处理。如果超过，则不切换显示模式，保持第一模式不变进行步骤S205的处理。
超声波振子25的移动速度V是指超声波振子25沿着导管61的轴向、即在生物组织60的内腔的行进方向每单位时间移动的距离，而非是超声波振子25的旋转方向上的移动距离。
阈值Tz只要是低至能够检测出超声波振子25的动作停止的程度的值即可，在本实施方式中为0。阈值Tz也可以设定为0.01mm/FPS以上且1cm/FPS以下的值。“FPS”是framesper second(帧频)的缩写。FPS是在1秒钟内更新的断面图像的张数。
在步骤S303中，图像处理装置11的控制部41判定在时间点Ti超声波振子25捕捉的图像平面内的每单位时间的导管61的运动的大小ABLxyV是否超过阈值Txy。如果没有超过，则不切换显示模式，保持第一模式不变地进行步骤S205的处理。如果超过，则控制部41将显示模式从第一模式切换为第二模式。之后，进行步骤S205的处理。例如，在施术者进行消融时，使消融导管在同一平面上移动，将生物组织60的内表面呈环状地进行烧灼，因此将显示模式切换为第二模式是有益的。另一方面，在没有同一平面上的消融导管的运动的情况下，不需要将显示模式切换为第二模式。
在步骤S304中，图像处理装置11的控制部41判定从最后检测出导管61的位置的时间点起的经过时间是否为阈值D以上。如果不是阈值D以上，则不切换显示模式，保持第一模式不变地进行步骤S205的处理。如果是阈值D以上，则控制部41将显示模式从第一模式切换为第二模式。之后，进行步骤S205的处理。
阈值D可以是任意的值，在本实施方式中设定为0秒以上且10秒以下的值。
这样，在本实施方式中，图像处理装置11的控制部41根据超声波振子25的移动状况的变化来切换显示模式。超声波振子25的移动状况的变化包括超声波振子25的移动速度V超过阈值Tz。另外，控制部41根据导管61是否存在于超声波振子25捕捉的图像平面内来切换显示模式。
具体而言，控制部41在导管61存在于超声波振子25捕捉的图像平面内的情况下，根据图像平面内的导管61的运动的大小来切换显示模式。更具体而言，在导管61存在于超声波振子25捕捉的图像平面内，超声波振子25的移动速度V未超过阈值Tz，且图像平面内的每单位时间的导管61的运动的大小ABLxyV超过阈值Txy的情况下，控制部41将显示模式从第一模式切换为第二模式。
另外，控制部41在导管61不存在于超声波振子25捕捉的图像平面内的情况下，根据从检测到已检测出的导管61的一系列位置中的最后的位置的时间点起的经过时间来切换显示模式。更具体而言，在超声波振子25捕捉的图像平面内不存在导管61，且从最后确认导管61起的经过时间为阈值D以上的情况下，控制部41将显示模式从第一模式切换为第二模式。
作为本实施方式的一变形例，控制部41也可以仅在超声波振子25的移动速度V未超过阈值Tz的情况下，将显示模式从第一模式切换为第二模式。即，也可以省略步骤S301，步骤S303以及步骤S304的处理。
作为本实施方式的一变形例，控制部41也可以仅在导管61存在于超声波振子25捕捉的图像平面内、且超声波振子25的移动速度V未超过阈值Tz的情况下，将显示模式从第一模式切换为第二模式。即，也可以省略步骤S303的处理。
图10表示步骤S204的第二模式判定处理的步骤。
在步骤S401中，图像处理装置11的控制部41判定时间点Ti的超声波振子25的移动速度V是否超过阈值Tz。如果超过，则进行步骤S402的处理。如果没有超过，则不切换显示模式，保持第二模式不变地进行步骤S205的处理。
在步骤S402中，图像处理装置11的控制部41判定在时间点Ti超声波振子25捕捉的图像平面内是否存在导管61。若在步骤S201中检测出导管61的位置Pi，则在超声波振子25捕捉的图像平面内存在导管61，因此进行步骤S403的处理。若在步骤S201中未检测出导管61的位置Pi，则如图9所示，在超声波振子25捕捉的图像平面内不存在导管61，因此不切换显示模式，保持第二模式不变地进行步骤S205的处理。
在步骤S403中，图像处理装置11的控制部41判定时间点Ti的超声波振子25的移动速度V是否超过上限值Tzmax。如果超过，则不切换显示模式，保持第二模式不变进行步骤S205的处理。如果没有超过，则控制部41将显示模式从第二模式切换为第一模式。之后，进行步骤S205的处理。例如，如图11所示，在超声波振子25的移动速度V过快的情况下，即使将导管61的前1个位置P2与当前的位置P1直接连接，也有可能无法得到导管61的正确的轨迹。在这样的情况下，显示模式保持为第二模式会促使施术者使超声波振子25移动而重新进行扫描。
这样，在本实施方式中，图像处理装置11的控制部41根据超声波振子25的移动状况的变化来切换显示模式。超声波振子25的移动状况的变化包括超声波振子25的移动速度V超过阈值Tz。另外，控制部41根据导管61是否存在于超声波振子25捕捉的图像平面内来切换显示模式。
具体而言，控制部41在超声波振子25的移动速度V超过阈值Tz的情况下，根据超声波振子25的移动速度V是否为上限值Tzmax以下来切换显示模式。更具体而言，控制部41在超声波振子25的移动速度V超过阈值Tz、导管61存在于超声波振子25捕捉的图像平面内、且超声波振子25的移动速度V为允许的最大值即上限值Tzmax以下的情况下，将显示模式从第二模式切换为第一模式。
作为本实施方式的一变形例，控制部41也可以仅在超声波振子25的移动速度V超过阈值Tz的情况下，将显示模式从第二模式切换为第一模式。即，也可以省略步骤S402以及步骤S403的处理。
作为本实施方式的一变形例，控制部41也可以仅在超声波振子25的移动速度V超过阈值Tz、且导管61存在于超声波振子25捕捉的图像平面内的情况下，将显示模式从第二模式切换为第一模式。即，也可以省略步骤S403的处理。
在步骤S205中，如果当前的显示模式是第一模式，则图像处理装置11的控制部41如图4的例子那样，在三维图像53中显示包含在步骤S201中检测出的位置Pi作为最近的位置的、表示导管61的一系列位置的第一图形71。在图4的例子中，在时间点T1相当于时间点Ti的情况下，位置P1相当于位置Pi。
在图4的例子中，第一模式是将过去的导管位置连接起来而将导管61如管那样显示的模式，但作为另一例，第一模式也可以是将导管61如1条线那样显示的模式。即，作为第一图形71，图像处理装置11的控制部41也可以显示将导管61的一系列位置连接起来的线状的图形，而代替显示将导管61的一系列位置连接起来的管状的图形。
在步骤S205中，如果当前的显示模式是第二模式，则图像处理装置11的控制部41如图5的例子所示，在三维图像53中显示将在步骤S201中检测出的位置Pi表示为最近的位置的第二图形72。在图5的例子中，在时间点T1相当于时间点Ti的情况下，位置P1相当于位置Pi。在时间点T1'相当于时间点Ti的情况下，位置P1'相当于位置Pi。
在图5的例子中，第二模式是如球那样显示当前的导管位置的模式，但也可以如图12的例子那样，第二模式是如土星那样显示当前的导管位置的模式。即，图像处理装置11的控制部41也可以显示表示导管61的一系列位置中的1个位置的球状的图形作为第二图形72，并且显示包围该球状的图形的至少1个同心圆73。或者，控制部41也可以显示表示导管61的一系列位置中的1个位置的球状的图形作为第二图形72，并且显示包围该球状的图形的至少1个同心球。通过具有同心圆73或同心球，从而在第二模式时容易知晓与血管壁的距离。在图12的例子中，显示了3个同心圆73，但同心圆73的数量也可以少于3个，或者也可以多于3个。
作为在第二模式时容易知晓与血管壁的距离的其他例子，可以根据与血管壁的距离来改变第二图形72的大小，或者也可以根据与血管壁的距离来改变第二图形72的颜色。或者，也可以在第二模式时附加第二图形72的影子。即，图像处理装置11的控制部41也可以在第二模式中根据距生物组织60的内壁面63的距离来调节第二图形72的大小和颜色中的至少任一方。或者，控制部41也可以在第二模式下进一步显示第二图形72的影子。
如图13的例子所示，第二模式也可以是如子弹那样显示当前的导管位置的模式。即，图像处理装置11的控制部41也可以显示靠近导管61的末端的一侧的粗细尺寸比相反侧的粗细尺寸大的图形作为第二图形72。具体而言，控制部41也可以显示表示导管61的一系列位置中的1个位置的弹丸状的图形作为第二图形72。特别是，控制部41也可以显示表示导管61的顶端62的位置的弹丸状的图形作为第二图形72。通过用枪弹那样的形状表示导管61的前端62，由此容易知晓导管61的移动方向，如导管61是从上下哪一方来等。
在图5的例子中，当前的导管位置是导管61的前端62的位置，但有时当前的导管位置不是导管61的前端62的位置。因此，如图14的例子那样，在当前的导管位置不是导管61的前端62的位置的情况下，也可以改变颜色。即，图像处理装置11的控制部41也可以在显示表示导管61的前端62以外的位置的图形作为第二图形72的情况下，以与显示表示导管61的前端62的位置的图形作为第二图形72时不同的颜色来显示第二图形72。
在第二模式时追加第二图形72的影子的情况下，如图15所示，第二图形72越接近远离假想的光源75的一侧的血管壁，影子越小。因此，优选在距组织的距离远的情况下表现大的导管位置，在距组织的距离近的情况下表现小的导管位置。
在将显示模式从第一模式变更为第二模式的情况下，如果使第二图形72大于第一图形71的对应部分，则易于观察。
作为容易知晓导管61是否与组织接触的例子，在导管61与血管壁接触的情况下，可以改变第二图形72的大小，或者也可以改变第二图形72的颜色。即，图像处理装置11的控制部41也可以在第二模式中根据与生物组织60的内壁面63的接触的有无来调节第二图形72的大小和颜色中的至少任一方。
在本实施方式中，图像处理装置11的控制部41根据超声波振子25的移动状况的变化来切换显示模式，但作为本实施方式的一个变形例，控制部41也可以根据超声波振子25与导管61的位置关系的变化来切换显示模式。
在本实施方式中，图像处理装置11的控制部41以时间序列判定超声波振子25的移动速度V是否超过阈值Tz。控制部41在超声波振子25的移动速度V未超过阈值Tz的情况下，若也满足其他要件，则将显示模式从第一模式切换为第二模式。即，在超声波振子25停留在相同场所的情况下，控制部41不是用一系列位置而是用最近的1个位置表示导管61。需要说明的是，也可以不附加“其他要件”。
在根据超声波振子25与导管61的位置关系的变化来切换显示模式的变形例中，控制部41以时间序列判定超声波振子25捕捉的图像平面内的每单位时间的导管61的运动的大小ABLxyV是否超过阈值Txy。控制部41在导管61的运动的大小ABLxyV超过阈值Txy的情况下，如果也满足其他要件，则将显示模式从第一模式切换为第二模式。即，在Z方向上导管61大幅移动的情况下，控制部41用最近的1个位置来表示导管61，而不是用一系列位置来表示。需要说明的是，也可以不附加“其他要件”。
如上所述，在本实施方式中，图像处理装置11的控制部41将表示生物组织60的三维数据52作为三维图像53显示在显示器16上。控制部41根据由边在生物组织60的内腔中移动边观察周围的超声波振子25以时间序列得到的断层数据51，检测插入到生物组织60中的导管61的一系列位置。控制部41在使表示一系列位置的第一图形71显示在三维图像53中的第一模式与使表示一系列位置中的1个位置的第二图形72显示在三维图像53中的第二模式之间切换显示模式。
根据本实施方式，在生物组织60的三维图像53中显示导管61时，能够容易知晓导管61的位置。
在本实施方式中，图像处理装置11的控制部41逐一确认拉回单元的移动状况。控制部41在拉回单元的动作停止的情况下，以仅表示“点”等当前位置的显示方法显示导管61的位置。控制部41在拉回单元再次开始移动时，以“线”等表示一系列位置的显示方法显示导管61的行进履历。控制部41在拉回单元再次返回到原来的道路的情况下，将行进履历的显示暂时复位，显示从该时间点起的行进履历。
根据本实施方式，如果用户是施术者，则用户在拉回单元的运动停止的情况下，能够不被与导管61的当前位置没有关联性的过去的信息迷惑地进行手术。
在本实施方式中，若取得包含至少1个新的断面图像的断层数据51，则针对该新的断面图像，执行步骤S201至步骤S205的处理。即，每当在步骤S105中更新断层数据51时，执行步骤S203的第一模式判定处理或步骤S204的第二模式判定处理。然后，在步骤S205中，如果当前的显示模式是第一模式，则如图4的例子所示，在三维图像53中显示包含在步骤S201中检测出的位置Pi作为最近的位置的、表示导管61的一系列位置的第一图形71。这意味着，作为伴随着断层数据51的更新的第一模式判定处理的结果，在不切换显示模式而保持第一模式进行步骤S205的处理的情况下，第一图形71被更新。另一方面，在步骤S205中，如果当前的显示模式是第二模式，则如图5的例子所示，在三维图像53中显示将在步骤S201中检测出的位置Pi表示为最近的位置的第二图形72。这意味着，作为伴随断层数据51的更新的第二模式判定处理的结果，在不切换显示模式而保持第二模式不变地进行步骤S205的处理的情况下，第二图形72被更新。
即使在第一模式时“线”等第一图形71被频繁地更新，对于用户来说也不怎么担心，但如果在第二模式时“点”等第二图形72被频繁地更新，则其看起来像闪烁，有可能给用户带来不适感或使用户感到疲劳。如果用户是施术者，则集中力被削减，有可能对手术产生不良影响。因此，作为本实施方式的一个变形例，在第二模式时，可以有意地减慢第二图形72的更新速度。即，图像处理装置11的控制部41也可以在第二模式中调节第二图形72伴随着断层数据51的更新而更新的频率。例如，控制部41也可以将第二图形72的更新速度调节为相对于断层数据51的更新速度以固定的比率或可变的比率降低。或者，控制部41也可以针对断层数据51的多次更新，以比其少的次数更新第二图形72。控制部41在第一模式中，可以在每次更新断层数据51时更新第一图形71，或者也可以调节第一图形71伴随着断层数据51的更新而更新的频率。
对该变形例进一步进行说明。
图像处理装置11的控制部41在第二模式下，仅针对导管61反而引起帧速率延迟。例如，在以30FPS更新三维图像53的情况下，在第二模式下的显示中振动剧烈，反而会引起显示难以观察的现象。因此，控制部41进行仅降低导管位置的帧速率来进行显示的控制。具体地说，控制部41进行以相对于显示三维图像53的帧速率为70％左右至20％左右的帧速率显示第二图形72的控制。
或者，图像处理装置11的控制单元41在第二模式中，反而引起延迟。例如，在以30FPS更新三维图像53的情况下，在第二模式下的显示中振动剧烈，反而会引起显示难以观察的现象。因此，控制部41进行第二模式下的移动距离的限制。具体而言，控制部41在生物组织60的内腔直径的1/10至1/1000的范围内将任意距离设定为最大移动距离。例如，从某时间点t的第二模式的导管位置P[t]到单位时间后的时间点t+1的第二模式的导管位置P[t+1]的移动距离比最大移动距离长。在该情况下，控制部41使第二图形72在从1s到10ms的期间逐渐移动到P[t+1]，来代替使第二图形72从P[t]瞬时移动到P[t+1]。通过该操作，能够实现顺畅的移动。但是，在实际的导管位置急剧地大幅移动的情况下，通过使用本方法会产生与现实的不一致的情况。因此，在从P[t]到P[t+1]的移动距离显著长的情况下，控制部41使第二图形72从P[t]瞬间移动到P[t+1]。即，控制部41直接显示导管位置。即，如果每单位时间的移动距离小于最大移动距离，或者为比最大移动距离长的基准距离以上，则控制部41不引起延迟，直接显示导管位置。若每单位时间的移动距离为最大移动距离以上且小于基准距离，则控制部41引起延迟。
在第一模式中，图像处理装置11的控制部41也可以仅针对导管61反而引起帧速率延迟。在第一模式中，考虑过去的导管位置来生成第一图形71，但是用于生成第一图形71的计算有可能不收敛在30FPS等的更新速度内。因此，控制部41也可以进行仅降低导管位置的帧速率来进行显示的控制。例如，在以30FPS更新三维图像53的情况下，控制部41也可以进行以10FPS等比30FPS慢的帧速率显示第一图形71的控制。
如上所述，在该变形例中，图像处理装置11的控制部41将表示生物组织60的三维数据52作为三维图像53显示在显示器16上。控制部41根据由边在生物组织60的内腔中移动边观察周围的超声波振子25以时间序列得到的断层数据51，分别构建表示生物组织60的三维生物组织数据、和作为对插入到生物组织60中的导管61的一系列位置进行检测的结果而表示该一系列位置的第一图形数据。控制部41将三维生物组织数据和第一图形数据分别作为三维图像53和第一图形71逐次显示在显示器16上。控制部41进行使第一图形71的更新速度低于三维图像53的更新速度的控制。
根据该变形例，即使在以三维图像53的更新速度来不及更新第一图形71的情况下，图像显示也不会滞后。
本发明不限于所述的实施方式。例如，可以将框图中记载的多个框集成，或可以将一个框分割。可以取代按照描述以时间序列执行基于流程图中记载的多个步骤，而根据执行各步骤的装置的处理能力或根据需要，并行地或以不同的顺序进行执行。另外，在不脱离本发明的宗旨的情况下可以进行变更。
附图标记说明
10 图像处理系统
11 图像处理装置
12 电缆
13 驱动单元
14 键盘
15 鼠标
16 显示器
17 连接端子
18 车单元
20 探针
21 驱动轴
22 毂部
23 鞘层
24 外管
25 超声波振子
26 中继连接器
31 扫描单元
32 滑动单元
33 底盖
34 探针连接部
35 扫描电动机
36 插入口
37 探针夹部
38 滑动电动机
39 开关组
41 控制部
42 存储部
43 通信部
44 输入部
45 输出部
51 断层数据
52 三维数据
53 三维图像
60 生物组织
61 导管
62 前端
63 内壁面
71 第一图形
72 第二图形
73 同心圆
74 第三图形
75 光源

Claims (21)

1.图像处理装置，其为将表示生物组织的三维数据作为三维图形显示在显示器上的图像处理装置，
所述图像处理装置具备控制部，所述控制部根据通过边在所述生物组织的内腔移动边观察周围的传感器以时间序列得到的数据来检测被插入至所述生物组织的导管的一系列位置，并在第一模式与第二模式之间切换显示模式，
所述第一模式是在所述三维图像中显示表示所述一系列位置的第一图形的模式，
所述第二模式是在所述三维图像中显示表示所述一系列位置之中的一个位置的第二图形的模式。
2.如权利要求1所述的图像处理装置，其中，所述控制部将所述显示模式由所述第一模式切换至所述第二模式时，不显示所述第一图形。
3.如权利要求1或2所述的图像处理装置，其中，所述控制部使得显示连接了所述一系列位置的线状或管状的图形作为所述第一图形。
4.如权利要求1～3中任一项所述的图像处理装置，其中，所述控制部使得显示表示所述一个位置的球状图形作为所述第二图形，并显示包围该球状图形的至少一个同心圆或同心球。
5.如权利要求1～3中任一项所述的图像处理装置，其中，所述控制部使得显示所述导管的靠近末端侧的粗细尺寸大于相反侧的粗细尺寸的图形作为所述第二图形。
6.如权利要求5所述的图像处理装置，其中，所述控制部显示表示所述一个位置的弹丸状图形作为所述第二图形。
7.如权利要求1～3中任一项所述的图像处理装置，其中，在显示表示除所述导管的前端以外的位置的图形作为所述第二图形的情况下，所述控制部使得以与显示表示所述导管的前端的位置的图形时不同的颜色显示所述第二图形来作为所述第二图形。
8.如权利要求1～7中任一项所述的图像处理装置，其中，所述控制部根据所述传感器的移动状况的变化来切换所述显示模式。
9.如权利要求8所述的图像处理装置，其中，所述传感器的移动状况的变化包括所述传感器的移动速度超过阈值。
10.如权利要求9所述的图像处理装置，其中，在所述传感器的移动速度超过所述阈值的情况下，所述控制部根据所述传感器的移动速度是否为上限值以下来切换所述显示模式。
11.如权利要求1～10中任一项所述的图像处理装置，其中，所述控制部根据所述传感器所捕捉的图像平面内是否存在所述导管来切换所述显示模式。
12.如权利要求11所述的图像处理装置，其中，在所述图像平面内存在所述导管的情况下，所述控制部根据所述图像平面内的所述导管的运动的大小来切换所述显示模式。
13.如权利要求11或12所述的图像处理装置，其中，在所述图像平面内不存在所述导管的情况下，所述控制部根据自检测到所述一系列位置之中最后的位置的时刻起的经过时间来切换所述显示模式。
14.如权利要求1～13中任一项所述的图像处理装置，其中，所述控制部在所述第二模式中根据距所述生物组织的内壁面的距离来调节所述第二图形的大小及颜色中的至少任一者。
15.如权利要求1～14中任一项所述的图像处理装置，其中，所述控制部在所述第二模式中根据与所述生物组织的内壁面有无接触来调节所述第二图形的大小及颜色中的至少任一者。
16.如权利要求1～15中任一项所述的图像处理装置，其中，所述控制部在所述第二模式中还显示所述第二图形的影子。
17.如权利要求1～16中任一项所述的图像处理装置，其中，所述控制部在所述第二模式中调节所述第二图形伴随着所述数据的更新而更新的频率。
18.图像处理系统，其具备：
传感器，其边在所述生物组织的内腔移动边获取所述生物组织的断层数据；和
权利要求1～17中任一项所述的图像处理装置，其基于由所述传感器获取的断层数据生成所述三维数据。
19.如权利要求18所述的图像处理系统，其还具备所述显示器。
20.图像显示方法，其为将表示生物组织的三维数据作为三维图像显示在显示器上的图像显示方法，其中，
计算机根据通过边在所述生物组织的内腔移动边观察周围的传感器以时间序列得到的数据来检测被插入至所述生物组织的导管的一系列位置，
所述计算机在第一模式与第二模式之间切换显示模式，所述第一模式是在所述三维图像中显示表示所述一系列位置的第一图形的模式，所述第二模式是在所述三维图像中显示表示所述一系列位置之中的一个位置的第二图形的模式。
21.图像处理程序，其使将表示生物组织的三维数据作为三维图像显示在显示器上的计算机执行下述处理：
根据通过边在所述生物组织的内腔移动边观察周围的传感器以时间序列得到的数据来检测被插入至所述生物组织的导管的一系列位置的处理；和
在第一模式与第二模式之间切换显示模式的处理，所述第一模式是在所述三维图像中显示表示所述一系列位置的第一图形的模式，所述第二模式是在所述三维图像中显示表示所述一系列位置之中的一个位置的第二图形的模式。
CN202180026956.7A 2020-03-31 2021-03-19 图像处理装置、图像处理系统、图像显示方法及图像处理程序 Pending CN115484872A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-061800 2020-03-31
JP2020061800 2020-03-31
PCT/JP2021/011534 WO2021200295A1 (ja) 2020-03-31 2021-03-19 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム

Publications (1)

Publication Number Publication Date
CN115484872A true CN115484872A (zh) 2022-12-16

Family

ID=77928838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180026956.7A Pending CN115484872A (zh) 2020-03-31 2021-03-19 图像处理装置、图像处理系统、图像显示方法及图像处理程序

Country Status (4)

Country Link
US (1) US20230025720A1 (zh)
JP (1) JPWO2021200295A1 (zh)
CN (1) CN115484872A (zh)
WO (1) WO2021200295A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3668822B2 (ja) * 1996-11-11 2005-07-06 株式会社島津製作所 医用画像処理装置
JP4516429B2 (ja) * 2002-12-04 2010-08-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 血管へのカテーテルのナビゲーション支援装置及び方法
JP4698589B2 (ja) * 2003-09-04 2011-06-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 血管の超音波画像を表示する装置及び方法
JP5485753B2 (ja) * 2010-03-18 2014-05-07 テルモ株式会社 情報処理装置、その処理方法及びプログラム
JP6128796B2 (ja) * 2012-10-25 2017-05-17 オリンパス株式会社 挿入システム、挿入支援装置、挿入支援装置の作動方法及びプログラム
WO2014175853A1 (en) * 2013-03-12 2014-10-30 Lightlab Imaging, Inc. Vascular data processing and image registration systems, methods, and apparatuses
WO2015044983A1 (ja) * 2013-09-27 2015-04-02 テルモ株式会社 画像診断装置及びその制御方法
WO2015171602A1 (en) * 2014-05-07 2015-11-12 Muffin Incorporated Guide members and associated apparatuses useful for intravascular ultrasound procedures
WO2017019626A1 (en) * 2015-07-25 2017-02-02 Lightlab Imaging, Inc. Guidewire detection systems, methods, and apparatuses

Also Published As

Publication number Publication date
US20230025720A1 (en) 2023-01-26
WO2021200295A1 (ja) 2021-10-07
JPWO2021200295A1 (zh) 2021-10-07

Similar Documents

Publication Publication Date Title
US20220218309A1 (en) Diagnostic assistance device, diagnostic assistance system, and diagnostic assistance method
CN115484872A (zh) 图像处理装置、图像处理系统、图像显示方法及图像处理程序
US20220039778A1 (en) Diagnostic assistance device and diagnostic assistance method
WO2023013601A1 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
CN114502079B (zh) 诊断支援装置、诊断支援系统及诊断支援方法
WO2024071054A1 (ja) 画像処理装置、画像表示システム、画像表示方法、及び画像処理プログラム
US20240108313A1 (en) Image processing device, image display system, image processing method, and image processing program
JP2023024072A (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
WO2022202200A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
US20230255569A1 (en) Image processing device, image processing system, image display method, and image processing program
US20240013387A1 (en) Image processing device, image processing system, image display method, and image processing program
EP4119061A1 (en) Image processing device, image processing system, image display method, and image processing program
WO2021065746A1 (ja) 診断支援装置、診断支援システム、及び診断支援方法
US20240016474A1 (en) Image processing device, image processing system, image display method, and image processing program
US20230252749A1 (en) Image processing device, image processing system, image display method, and image processing program
WO2022202202A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
US20230245306A1 (en) Image processing device, image processing system, image display method, and image processing program
WO2023176741A1 (ja) 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
CN115397336A (zh) 图像处理装置、图像处理系统、图像显示方法及图像处理程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination