CN114302679A - 超声波内窥镜系统及超声波内窥镜系统的工作方法 - Google Patents

超声波内窥镜系统及超声波内窥镜系统的工作方法 Download PDF

Info

Publication number
CN114302679A
CN114302679A CN202080060272.4A CN202080060272A CN114302679A CN 114302679 A CN114302679 A CN 114302679A CN 202080060272 A CN202080060272 A CN 202080060272A CN 114302679 A CN114302679 A CN 114302679A
Authority
CN
China
Prior art keywords
ultrasonic
ultrasonic endoscope
distal end
image
end portion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080060272.4A
Other languages
English (en)
Inventor
内原匡信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN114302679A publication Critical patent/CN114302679A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Abstract

在本发明的超声波内窥镜系统及超声波内窥镜系统的工作方法中，超声波图像识别部将受检体的体腔内的超声波内窥镜的前端部的位置与基于观察对象部位的观察顺序的标签编号建立对应关联，并且对多个学习用超声波图像预先学习学习用超声波图像和与拍摄学习用超声波图像时的超声波内窥镜的前端部的位置对应的标签编号之间的关系，并根据学习结果从诊断用超声波图像识别与拍摄诊断用超声波图像时的超声波内窥镜的前端部的位置对应的标签编号，显示控制部将与通过超声波图像识别部识别出的标签编号对应的超声波内窥镜的前端部的位置显示于显示器。

Description

超声波内窥镜系统及超声波内窥镜系统的工作方法
技术领域
本发明涉及一种使用超声波观察受检体的体内的观察对象部位的状态的超声波内窥镜系统及超声波内窥镜系统的工作方法。
背景技术
超声波内窥镜系统以经消化管观察胰脏或胆囊等为主要目的，将在前端具有内窥镜观察部及超声波观察部的超声波内窥镜插入于受检体的消化管内，并拍摄消化管内的内窥镜图像及位于消化管壁外侧的部位的超声波图像。
在超声波内窥镜系统中，从超声波内窥镜的前端所具有的照明部对消化管内的观察对象相邻部位照射照明光，通过超声波内窥镜的前端所具有的摄像部接收其反射光，根据反射光的摄像信号生成内窥镜图像。并且，通过超声波内窥镜的前端所具有的多个超声波振子，使位于消化管壁外侧的器官等观察对象部位收发超声波，根据超声波的接收信号生成超声波图像。
在观察内窥镜图像时，若将超声波内窥镜插入于受检体的消化管内，则例如看到食道的内壁，若进一步推进超声波内窥镜的前端部，则看到胃的内壁，如此执业医师(超声波内窥镜系统的用户)比较容易知晓当前超声波内窥镜的前端部位于受检体的消化器内的哪个位置，朝向哪个方向，正在观察哪个部位。
相对于此，存在对超声波图像不熟练的执业医师极难分辨在超声波图像中显示有什么，例如是胰脏还是胆囊，或是血管还是胆管还是胰管等问题。并且，对超声波图像不熟练的执业医师在超声波图像的观察中，难以分辨当前超声波内窥镜的前端部位于哪个位置，朝向哪个方向，正在观察哪个部位，从而存在在受检体的体内会迷失的问题。
在此，作为对与本发明具有关联性的以往技术文献，有专利文献1～4。
在专利文献1中记载有如下内容，即，大致提取受检体内的诊断部位的图像中的目标部位，预测用于使用神经网络识别目标部位的大局信息，使用大局信息识别目标部位的轮廓，并且与原图像一同显示其识别结果。
在专利文献2中记载有如下内容，即，根据来自线圈的电信号，生成超声波内窥镜的前端部的位置/取向数据，根据该位置/取向数据生成用于表示超声波内窥镜的插入形状的插入形状数据，通过与受检者的器官群等组织结构的三维活体组织模型数据进行组合，生成导向图像，并生成组合了超声波图像与导向图像的合成图像的视频信号而显示于显示器。
并且，在专利文献2中记载有如下内容，即，立体导向图像及截面导向图像配置于画面的左侧区域并显示，超声波图像配置于画面的右侧区域并显示。
而且，在专利文献2中记载有用于放大或缩小超声波图像的显示范围的按钮。
在专利文献3中记载有如下内容，即，在显示装置的画面内，将受检体的超声波断层像及其光学图像相邻显示于一位置，以便能够同时观察两个图像。
在专利文献4中记载有如下内容，即，超声波图像及示意图显示于同一画面，示意图为图解图或人体的实际的光学图像，在示意图中一并显示超声波内窥镜的扫描面及插入形状。
并且，在专利文献4中记载有如下内容，即，从使用线圈而检测到的超声波内窥镜的位置及方向的信号检测超声波内窥镜的扫描位置的区域并输出超声波扫描区域数据，从部位名称存储部读取与超声波扫描区域数据对应的部位名称数据，在超声波图像上重叠显示部位名称。
以往技术文献
专利文献
专利文献1：日本特开平06-233761号公报
专利文献2：日本特开2010-069018号公报
专利文献3：日本特开平02-045045号公报
专利文献4：日本特开2004-113629号公报
发明内容
发明要解决的技术课题
本发明的第1目的在于，提供一种解决上述以往技术的问题，并且即便是对超声波图像不熟练的执业医师也能够可靠地掌握超声波内窥镜的前端部的位置以及方向的超声波内窥镜系统及超声波内窥镜系统的工作方法。
本发明的第2目的在于，除了上述第1目的以外，还提供一种即便是对超声波图像不熟练的执业医师也不会在受检体的体内迷失而能够准确地使超声波内窥镜的前端部从当前的观察对象部位向下一个观察对象部位移动的超声波内窥镜系统及超声波内窥镜系统的工作方法。
用于解决技术课题的手段
为了实现上述目的，本发明提供一种超声波内窥镜系统，其具备：超声波内窥镜，在前端具有超声波振子；
超声波观测装置，通过超声波振子收发超声波，并且根据超声波的接收信号生成诊断用超声波图像；
超声波图像识别部，将受检体的体腔内的超声波内窥镜的前端部的位置与基于观察对象部位的观察顺序的标签编号建立对应关联，并且对多个学习用超声波图像预先学习学习用超声波图像和与拍摄学习用超声波图像时的超声波内窥镜的前端部的位置对应的标签编号之间的关系，并根据学习结果从诊断用超声波图像识别与拍摄诊断用超声波图像时的超声波内窥镜的前端部的位置对应的标签编号；及
显示控制部，将与通过超声波图像识别部识别出的标签编号对应的超声波内窥镜的前端部的位置显示于显示器。
在此，优选显示控制部将与识别出的标签编号对应的观察对象部位的名称作为字符信息显示于显示器。
并且，优选显示控制部将重叠显示有与识别出的标签编号对应的超声波内窥镜的前端部的位置来作为图像信息的解剖学图解图显示于显示器。
并且，优选超声波图像识别部将超声波内窥镜的前端部的位置及朝向与标签编号建立对应关联，并且对多个学习用超声波图像预先学习学习用超声波图像和与拍摄学习用超声波图像时的超声波内窥镜的前端部的位置及朝向对应的标签编号之间的关系，并根据学习结果从诊断用超声波图像识别与拍摄诊断用超声波图像时的超声波内窥镜的前端部的位置及朝向对应的标签编号，
显示控制部将与通过超声波图像识别部识别出的标签编号对应的超声波内窥镜的前端部的位置及朝向显示于显示器。
并且，优选显示控制部将与识别出的标签编号对应的观察对象部位的名称作为字符信息显示于显示器。
并且，优选显示控制部将重叠显示有与识别出的标签编号对应的超声波内窥镜的前端部的位置及朝向来作为图像信息的解剖学图解图显示于显示器。
优选还具备操作过程存储部，存储用于使超声波内窥镜的前端部从与一个标签编号对应的观察对象部位向观察顺序与一个标签编号的下一个标签编号对应的观察对象部位移动的操作过程，
显示控制部从操作过程存储部获取用于使超声波内窥镜的前端部从与当前的标签编号对应的观察对象部位向观察顺序与当前的标签编号的下一个标签编号对应的观察对象部位移动的操作过程，并将所获取的操作过程显示于显示器。
优选显示控制部还将观察顺序与当前的标签编号的下一个标签编号对应的观察对象部位的名称作为字符信息显示于显示器。
并且，优选显示控制部将操作过程作为字符信息显示于显示器。
并且，优选操作过程包含使超声波内窥镜的前端部移动时描绘的一个以上的器官的名称。
并且，优选显示控制部将重叠显示有操作过程来作为图像信息的解剖学图解图显示于显示器。
并且，优选显示控制部在解剖学图解图上，对使超声波内窥镜的前端部移动时描绘的一个以上的器官的区域进行着色，并将区域被着色的解剖学图解图显示于显示器。
并且，优选显示控制部在解剖学图解图上，将观察顺序与当前的标签编号的下一个标签编号对应的观察对象部位的区域和使超声波内窥镜的前端部移动时描绘的一个以上的器官的区域着色成不同的颜色，并将区域着色成不同的颜色的解剖学图解图显示于显示器。
优选还具备警告产生部，在超声波内窥镜的前端部从与当前的标签编号对应的观察对象部位向除观察顺序与当前的标签编号的下一个标签编号对应的观察对象部位以外的观察对象部位移动时，发出警告。
并且，优选警告产生部将警告作为声音信息来发出，或同时发出字符信息及声音信息这两者来作为警告。
并且，优选显示控制部在超声波内窥镜的前端部每次到达与各个标签编号对应的观察对象部位时，对与所到达的观察对象部位对应的标签编号赋予对勾标记，并将赋予了对勾标记的标签编号作为字符信息显示于显示器。
并且，优选显示控制部在超声波内窥镜的前端部每次到达与各个标签编号对应的观察对象部位时，在解剖学图解图上，对所到达的观察对象部位的区域进行着色，并将所到达的观察对象部位的区域被着色的解剖学图解图显示于显示器。
并且，优选显示控制部在解剖学图解图上，强调观察顺序与当前的标签编号的下一个标签编号对应的观察对象部位的区域，并将强调了观察对象部位的区域的解剖学图解图显示于显示器。
并且，优选显示控制部在解剖学图解图上，将观察顺序与当前的标签编号的下一个标签编号对应的观察对象部位的区域着色成和除观察顺序与当前的标签编号的下一个标签编号对应的观察对象部位以外的观察对象部位的区域不同的颜色，并将观察对象部位的区域被着色的解剖学图解图显示于显示器。
并且，优选显示控制部将超声波内窥镜的前端部根据观察对象部位的观察顺序而理想地移动时的移动路径及超声波内窥镜的前端部根据实际操作而实际移动时的移动路径作为图像信息排列在解剖学图解图上并显示于显示器。
优选还具备移动路径登记部，预先登记超声波内窥镜的前端部根据观察对象部位的观察顺序而理想地移动时的移动路径。
并且，优选超声波图像识别部内置于超声波观测装置。
优选超声波内窥镜在前端还具有照明部及摄像部，
还具备通过摄像部接收从照明部照射的照明光的反射光并且根据反射光的摄像信号生成诊断用内窥镜图像的内窥镜处理器，
超声波图像识别部内置于内窥镜处理器。
优选超声波内窥镜在前端还具有照明部及摄像部，
还具备通过摄像部接收从照明部照射的照明光的反射光并且根据反射光的摄像信号生成诊断用内窥镜图像的内窥镜处理器，
超声波图像识别部设置于超声波观测装置及内窥镜处理器的外部。
并且，本发明提供一种超声波内窥镜系统的工作方法，其包括如下步骤：超声波图像识别部将受检体的体腔内的超声波内窥镜的前端部的位置与基于观察对象部位的观察顺序的标签编号建立对应关联，并且对多个学习用超声波图像预先学习学习用超声波图像和与拍摄学习用超声波图像时的超声波内窥镜的前端部的位置对应的标签编号之间的关系的步骤；
超声波观测装置通过超声波内窥镜的前端所具有的超声波振子收发超声波，并且根据超声波的接收信号生成诊断用超声波图像的顺序；
超声波图像识别部根据学习结果从诊断用超声波图像识别与拍摄诊断用超声波图像时的超声波内窥镜的前端部的位置对应的标签编号的步骤；及
显示控制部将与通过超声波图像识别部识别出的标签编号对应的超声波内窥镜的前端部的位置显示于显示器的步骤。
在此，优选将超声波内窥镜的前端部的位置及朝向与标签编号建立对应关联，并且对多个学习用超声波图像预先学习学习用超声波图像和与拍摄学习用超声波图像时的超声波内窥镜的前端部的位置及朝向对应的标签编号之间的关系，
根据学习结果从珍断用超声波图像识别与拍摄诊断用超声波图像时的超声波内窥镜的前端部的位置及朝向对应的标签编号，
将与通过超声波图像识别部识别出的标签编号对应的超声波内窥镜的前端部的位置及朝向显示于显示器。
优选还包括操作过程存储部存储用于使超声波内窥镜的前端部从与一个标签编号对应的观察对象部位向观察顺序与一个标签编号的下一个标签编号对应的观察对象部位移动的操作过程的步骤，
将识别出的标签编号作为当前的标签编号，从操作过程存储部获取用于使超声波内窥镜的前端部从与当前的标签编号对应的观察对象部位向观察顺序与当前的标签编号的下一个标签编号对应的观察对象部位移动的操作过程，
将所获取的操作过程显示于显示器。
并且，超声波图像识别部、显示控制部及警告产生部优选为硬件或执行程序的处理器，操作过程存储部及移动路径登记部优选为硬件或存储器。
发明效果
在本发明中，超声波内窥镜的前端部的位置以及朝向显示于显示器。由此，根据本发明，例如，即便是对超声波图像不熟练的执业医师也能够可靠地掌握当前超声波内窥镜的前端部位于哪个位置，朝向哪个方向，正在观察哪个部位。
并且，在本发明中，能够将用于使超声波内窥镜的前端部移动的操作过程显示于显示器。由此，根据本发明，例如，即便是对超声波图像不熟练的执业医师也不会在受检体的体内迷失而能够准确地使超声波内窥镜的前端部从当前的观察对象部位向下一个观察对象部位移动。
附图说明
图1是表示本发明的一实施方式所涉及的超声波内窥镜系统的概略结构的图。
图2是表示超声波内窥镜的插入部的前端部及其周边的俯视图。
图3是表示用图2所图示的I-I截面来切断了超声波内窥镜的插入部的前端部时的截面的图。
图4是表示内窥镜图像识别部的结构的一实施方式的框图。
图5是表示超声波观测装置的结构的框图。
图6是表示超声波图像识别部的结构的一实施方式的框图。
图7是表示使用了超声波内窥镜系统的诊断处理的流程的图。
图8是表示诊断处理中的诊断步骤的过程的图。
图9是表示内窥镜图像、超声波图像及解剖学图解图的一实施方式的概念图。
图10是表示赋予了对勾标记的标签编号的一实施方式的概念图。
图11是表示超声波图像识别部内置于超声波观测装置时的超声波内窥镜系统的结构的一实施方式的框图。
图12是表示超声波图像识别部内置于内窥镜处理器时的超声波内窥镜系统的结构的一实施方式的框图。
图13是表示超声波图像识别部设置于超声波观测装置及内窥镜处理器外部时的超声波内窥镜系统的结构的一实施方式的框图。
具体实施方式
参考附图所示的优选实施方式对本发明的一实施方式(本实施方式)所涉及的超声波内窥镜系统进行详细说明。
另外，本实施方式为本发明的代表性的实施方式，但只不过是一例，并不限定本发明。
＜＜超声波内窥镜系统的概要＞＞
关于本实施方式所涉及的超声波内窥镜系统10，参考图1对其概要进行说明。图1是表示超声波内窥镜系统10的概略结构的图。
超声波内窥镜系统10用于使用超声波来观察受检体即患者体内的观察对象部位的状态(以下，也称为超声波诊断)。在此，观察对象部位为难以从患者的体表侧进行检查的部位，例如为胰脏或胆囊。通过使用超声波内窥镜系统10，经由患者的体腔即食道、胃、十二指肠、小肠及大肠等消化管能够对观察对象部位的状态及有无异常进行超声波诊断。
超声波内窥镜系统10获取超声波图像及内窥镜图像，如图1所示，具有超声波内窥镜12、超声波观测装置14、内窥镜处理器16、光源装置18、显示器20、送水罐21a、抽吸泵21b及操作台100。
超声波内窥镜12具备插入于患者体腔内的插入部22、由医生或技师等执业医师(用户)操作的操作部24及安装于插入部22的前端部40的超声波振子单元46(参考图2及图3)。超声波内窥镜12作为超声波观察部36，在前端具有超声波振子单元46所具备的多个超声波振子48(参考图2及图3)。并且，超声波内窥镜12作为内窥镜观察部38，在前端具有包含照明窗88等的照明部以及包含观察窗82，物镜84及固体成像元件86等的摄像部(参考图2及图3)。执业医师通过超声波内窥镜12的功能，获取内窥镜图像及超声波图像。
在此，“内窥镜图像”为通过光学方法拍摄患者的体腔内壁而获得的图像。并且，“超声波图像”为接收从患者的体腔内朝向观察对象部位发送的超声波的反射波(回波)并通过对该接收信号进行图像化而获得的图像。
另外，关于超声波内窥镜12，将在后面详细说明。
超声波观测装置14经由通用塞绳26及设置于其端部的超声波用连接器32a与超声波内窥镜12连接。超声波观测装置14控制超声波内窥镜12的超声波振子单元46并发送超声波。并且，超声波观测装置14对超声波振子单元46接收了所发送的超声波的反射波(回波)时的接收信号进行图像化而生成超声波图像。换言之，超声波观测装置14通过超声波振子单元46所具备的多个超声波振子48收发超声波，根据超声波的接收信号生成诊断用超声波图像(以下，也简称为超声波图像)。
另外，关于超声波观测装置14，将在后面详细说明。
内窥镜处理器16经由通用塞绳26及设置于其端部的内窥镜用连接器32b与超声波内窥镜12连接。内窥镜处理器16获取通过超声波内窥镜12(详细而言，后述的固体成像元件86)拍摄的观察对象相邻部位的图像数据，并对所获取的图像数据实施规定的图像处理而生成内窥镜图像。换言之，内窥镜处理器16将从超声波内窥镜12的前端所具有的照明部照射的照明光的反射光通过同样在超声波内窥镜12的前端具有的摄像部接收，并且根据反射光的摄像信号生成诊断用内窥镜图像(以下，也简称为内窥镜图像)。
在此，“观察对象相邻部位”是指，在患者的体腔内壁中，位于与观察对象部相邻的位置的部分。
另外，在本实施方式中，超声波观测装置14及内窥镜处理器16由单独设置的两台装置(计算机)构成。但是，并不限定于此，也可以由一台装置来构成超声波观测装置14及内窥镜处理器16这两者。
光源装置18经由通用塞绳26及设置于其端部的光源用连接器32c与超声波内窥镜12连接。光源装置18在使用超声波内窥镜12来拍摄观察对象相邻部位时，照射由红色光、绿色光及蓝色光这三原色光构成的白色光或特定波长光。光源装置18照射的光通过内含于通用塞绳26的光导件(未图示)而在超声波内窥镜12内传播，并从超声波内窥镜12(详细而言，后述的照明窗88)射出。由此，观察对象相邻部位被来自光源装置18的光照射。
显示器20与超声波观测装置14及内窥镜处理器16连接，并且显示通过超声波观测装置14生成的超声波图像、通过内窥镜处理器16生成的内窥镜图像及其他解剖学图解图。
作为超声波图像及内窥镜图像的显示方式，可以是将一个图像切换为其他图像中的一个并显示于显示器20的方式，也可以是同时并列显示两个以上的图像的方式。
另外，在本实施方式中，在一台显示器20中显示超声波图像及内窥镜图像，但也可以单独设置超声波图像显示用的显示器、内窥镜图像显示用的显示器及解剖学图解图用的显示器。并且，除了显示器20以外的显示方式例如也可以以显示于执业医师所携带的终端的显示器的方式显示超声波图像及内窥镜图像。
操作台100为获取从执业医师(用户)输入的命令的命令获取部的一例，是为了在进行超声波诊断时执业医师输入所需的信息，或对超声波观测装置14发出开始超声波诊断的命令等而设置的装置。操作台100例如由键盘、鼠标、追踪球、触控板及触摸面板等构成。若操作操作台100，则根据其操作内容，超声波观测装置14的CPU(控制电路)152(参考图5)控制装置各部(例如，后述的接收电路142及发送电路144)。
具体而言，执业医师在开始超声波诊断的前阶段，通过操作台100输入检查信息(例如，包含年月日及顺序编号等的检查顺序信息以及包含患者ID及患者名称等的患者信息)。完成检查信息的输入之后，若执业医师通过操作台100发出开始超声波诊断的命令，则超声波观测装置14的CPU152以根据所输入的检查信息实施超声波诊断的方式控制超声波观测装置14各部。
并且，执业医师在实施超声波诊断时，通过操作台100能够设定各种控制参数。作为控制参数，例如可举出实况模式及冻结模式的选择结果、显示深度(深度)的设定值及超声波图像生成模式的选择结果等。
在此，“实况模式”为依次显示(实时显示)以规定的帧速率获得的超声波图像(动态图像)的模式。“冻结模式”为从后述的电影存储器150读取过去所生成的超声波图像(动态图像)的1帧图像(静态图像)并显示的模式。
在本实施方式中，存在多个可选择的超声波图像生成模式，具体而言，B(Brightness：亮度)模式、CF(Color Flow：彩色血流)模式及PW(Pulse Wave：脉冲多普勒)模式。B模式为将超声波回波的振幅转换为亮度而显示断层图像的模式。CF模式为将平均血流速度、血流变动、血流信号的强度或血流动力等映射为各种颜色而重叠显示于B模式图像的模式。PW模式为显示根据脉冲波的收发而检测的超声波回波源的速度(例如，血流的速度)的模式。
另外，上述超声波图像生成模式只不过是一例，可以包含除了上述三种模式以外的模式，例如A(Amplitude：振幅)模式、M(Motion：运动)模式及造影模式等。
＜＜超声波内窥镜12的结构＞＞
接着，参考所示出的图1及图2、图3及图5对超声波内窥镜12的结构进行说明。图2是放大示出超声波内窥镜12的插入部22的前端部及其周边的俯视图。图3是表示用图2所图示的I-I截面来切断了超声波内窥镜12的插入部22的前端部40时的剖视图。图5是表示超声波观测装置14的结构的框图。
如前述，超声波内窥镜12具有插入部22及操作部24。如图1所示，插入部22从前端侧(自由端侧)依次具备前端部40、弯曲部42及软性部43。如图2所示，在前端部40设置有超声波观察部36及内窥镜观察部38。如图3所示，在超声波观察部36配置有具备多个超声波振子48的超声波振子单元46。
并且，如图2所示，在前端部40设置有处置器具导出口44。处置器具导出口44成为钳子、穿刺针或高频刀等处置器具(未图示)的出口。并且，处置器具导出口44还成为抽吸血液及体内污物等抽吸物时的抽吸口。
弯曲部42为连接设置于比前端部40更靠基端侧(与设置有超声波振子单元46的侧相反的一侧)的部分，且弯曲自如。软性部43为连结弯曲部42与操作部24之间的部分，且具有挠性，并且以细长延伸的状态设置。
在插入部22及操作部24各自的内部分别形成有多个送气送水用管路及抽吸用管路。而且，在插入部22及操作部24各自的内部形成有一端通往处置器具导出口44的处置器具通道45。
接着，在超声波内窥镜12的结构要件中，对超声波观察部36、内窥镜观察部38、送水罐21a、抽吸泵21b及操作部24进行详细说明。
(超声波观察部36)
超声波观察部36是为了获取超声波图像而设置的部分，在插入部22的前端部40中配置于前端侧。如图3所示，超声波观察部36具备超声波振子单元46、多个同轴电缆56及FPC(Flexible Printed Circuit：挠性印制电路)60。
超声波振子单元46相当于超声波探头(探针)，在患者的体腔内，使用排列有后述的多个超声波振子48的超声波振子阵列50而发送超声波，且接收在观察对象部位反射的超声波的反射波(回波)而输出接收信号。本实施方式所涉及的超声波振子单元46为凸型，以放射状(圆弧状)发送超声波。但是，关于超声波振子单元46的种类(型式)并不特别限定于此，只要能够收发超声波，则可以是其他种类，例如可以是径向型及直线型等。
如图3所示，超声波振子单元46通过层叠背衬材料层54、超声波振子阵列50、声匹配层74及声透镜76而构成。
超声波振子阵列50由以一维阵列状排列的多个超声波振子48(超声波换能器)构成。更详细而言，超声波振子阵列50通过N个(例如N＝128)超声波振子48沿前端部40的轴线方向(插入部22的纵轴方向)以凸弯曲状等间隔排列而构成。另外，超声波振子阵列50也可以构成为将多个超声波振子48以二维阵列状配置。
N个超声波振子48的每一个通过在压电元件(压电体)的两个表面配置电极而构成。作为压电元件，可使用钛酸钡(BaTiO3)、锆钛酸铅(PZT)及铌酸钾(KNbO3)等。
电极由对多个超声波振子48的每一个单独设置的单独电极(未图示)及在多个超声波振子48中通用的振子接地电极(未图示)构成。并且，电极经由同轴电缆56及FPC60与超声波观测装置14电连接。
脉冲状的驱动电压作为输入信号(发送信号)而从超声波观测装置14通过同轴电缆56供给至各超声波振子48。若该驱动电压施加于超声波振子48的电极，则压电元件伸缩而超声波振子48进行驱动(振动)。其结果，从超声波振子48输出脉冲状的超声波。此时，从超声波振子48输出的超声波的振幅成为与该超声波振子48输出超声波时的强度(输出强度)相对应的大小。在此，输出强度被定义为从超声波振子48输出的超声波的声压的大小。
并且，若接收超声波的反射波(回波)，则伴随于此各超声波振子48进行振动(驱动)，各超声波振子48的压电元件产生电信号。该电信号作为超声波的接收信号而从各超声波振子48朝向超声波观测装置14输出。此时，从超声波振子48输出的电信号的大小(电压值)成为与该超声波振子48接收了超声波时的接收灵敏度相对应的大小。在此，接收灵敏度被定义为相对于超声波振子48所发送的超声波的振幅，该超声波振子48接收并输出超声波的电信号的振幅之比。
在本实施方式中，通过多工器140(参考图5)等电子开关依次驱动N个超声波振子48，由此超声波以沿配置有超声波振子阵列50的曲面的扫描范围例如自曲面的曲率中心起数十mm左右的范围进行扫描。更详细而言，在作为超声波图像获取B模式图像(断层图像)时，通过选择多工器140的开口通道，对N个超声波振子48中连续排列的m个(例如，m＝N/2)超声波振子48(以下，称为驱动对象振子)供给驱动电压。由此，m个驱动对象振子被驱动，从开口通道的各驱动对象振子输出超声波。从m个驱动对象振子输出的超声波立即被合成，该合成波(超声波束)朝向观察对象部位发送。然后，m个驱动对象振子的每一个接收在观察对象部位反射的超声波(回波)，并输出与在该时点的接收灵敏度相对应的电信号(接收信号)。
而且，将N个超声波振子48中的驱动对象振子的位置每次错开一个(每次错开一个超声波振子48)而重复进行上述一系列工序(即，驱动电压的供给、超声波的收发及电信号的输出)。具体而言，从N个超声波振子48中以位于一端的超声波振子48为中心的其两侧的m个驱动对象振子开始上述一系列工序。而且，在每次通过由多工器140切换开口通道而错开驱动对象振子的位置时，重复上述一系列工序。最终，共计N次重复实施上述一系列工序，直至到达N个超声波振子48中以位于另一端的超声波振子48为中心的其两侧的m个驱动对象振子。
背衬材料层54从背面侧支承超声波振子阵列50的各超声波振子48。并且，背衬材料层54具有如下功能，即，使从超声波振子48发出的超声波或在观察对象部位反射的超声波(回波)中传播到背衬材料层54侧的超声波衰减。另外，背衬材料由硬质橡胶等具有刚性的材料构成，并且根据需要添加有超声波衰减材料(铁氧体及陶瓷等)。
声匹配层74重叠于超声波振子阵列50上，并且为了获取患者的人体与超声波振子48之间的声阻抗匹配而设置。设置有声匹配层74，由此能够提高超声波的透射率。作为声匹配层74的材料，能够使用声阻抗的值与超声波振子48的压电元件相比，更接近患者的人体的声阻抗的值的有机材料。具体而言，作为声匹配层74的材料，可举出环氧系树脂、硅橡胶、聚酰亚胺及聚乙烯等。
重叠于声匹配层74上的声透镜76使从超声波振子阵列50发出的超声波朝向观察对象部位会聚。另外，声透镜76例如由硅系树脂(混炼型硅橡胶(HTV橡胶)、液状硅橡胶(RTV橡胶)等)、丁二烯系树脂及聚氨酯系树脂等构成，并且根据需要混合氧化钛、氧化铝或二氧化硅等粉末。
PPC60与各超声波振子48所具备的电极电连接。多个同轴电缆56的每一个通过其一端配线于FPC60。而且，若超声波内窥镜12经由超声波用连接器32a与超声波观测装置14连接，则多个同轴电缆56的每一个通过其另一端(与PPC60侧相反的一侧)与超声波观测装置14电连接。
(内窥镜观察部38)
内窥镜观察部38是为了获取内窥镜图像而设置的部分，在插入部22的前端部40中配置于比超声波观察部36更靠基端侧的位置。如图2及图3所示，内窥镜观察部38由观察窗82、物镜84、固体成像元件86、照明窗88、清洗喷嘴90及配线电缆92等构成。
观察窗82在插入部22的前端部40中以相对于轴线方向(插入部22的长度轴方向)倾斜的状态安装。在观察对象相邻部位反射而从观察窗82入射的光通过物镜84成像于固体成像元件86的成像面。
固体成像元件86对透射观察窗82及物镜84而成像于成像面的观察对象相邻部位的反射光进行光电转换并输出成像信号。作为固体成像元件86，能够利用CCD(chargecoupled device：电荷耦合器件)及CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等。通过固体成像元件86输出的摄像图像信号经由从插入部22延伸设置至操作部24的配线电缆92通过通用塞绳26传输至内窥镜处理器16。
照明窗88设置于观察窗82的两侧位置。在照明窗88中连接有光导件(未图示)的射出端。光导件从插入部22延伸设置至操作部24，其入射端与经由通用塞绳26连接的光源装置18连接。通过光源装置18发出的照明光在光导件中传播，并从照明窗88照向观察对象相邻部位。
清洗喷嘴90是为了清洗观察窗82及照明窗88的表面而形成于插入部22的前端部40的喷出孔，空气或清洗用液体从清洗喷嘴90朝向观察窗82及照明窗88喷出。另外，在本实施方式中，从清洗喷嘴90喷出的清洗用液体为水，尤其为脱气水。但是，关于清洗用液体并无特别限定，也可以是其他液体，例如普通的水(未脱气的水)。
(送水罐21a及抽吸泵21b)
送水罐21a为储存脱气水的罐，并且通过送气送水用软管34a与光源用连接器32c连接。另外，脱气水可用作从清洗喷嘴90喷出的清洗用液体。
抽吸泵21b通过处置器具导出口44抽吸体腔内的抽吸物(包含以清洗用供给的脱气水)。抽吸泵21b通过抽吸用软管34b与光源用连接器32c连接。另外，超声波内窥镜系统10也可以具备对规定的送气目的地供给空气的送气泵等。
在插入部22及操作部24内设置有处置器具通道45及送气送水管路(未图示)。
处置器具通道45连通设置于操作部24的处置器具插入口30与处置器具导出口44之间。并且，处置器具通道45与设置于操作部24的抽吸按钮28b连接。抽吸按钮28b除了处置器具通道45以外，还与抽吸泵21b连接。
送气送水管路在其一端侧与清洗喷嘴90连通，在另一端侧与设置于操作部24的送气送水按钮28a连接。送气送水按钮28a除了送气送水管路以外，还与送水罐21a连接。
(操作部24)
操作部24为在开始超声波诊断时，诊断中及诊断结束时等由执业医师操作的部分，在其一端连接有通用塞绳26的一端。并且，如图1所示，操作部24具有送气送水按钮28a、抽吸按钮28b、一对弯角钮29及处置器具插入口(钳子口)30。
若转动一对各弯角钮29的每一个，则弯曲部42被远程操作而弯曲变形。通过该变形操作，能够使设置于超声波观察部36及内窥镜观察部38的插入部22的前端部40朝向所期望的方向。
处置器具插入口130是为了插入贯通钳子等处置器具(未图示)而形成的孔，且经由处置器具通道45与处置器具导出口44连通。插入于处置器具插入口130的处置器具通过处置器具通道45之后从处置器具导出口44导入于体腔内。
送气送水按钮28a及抽吸按钮28b为两档切换式的按钮，且为了切换设置于插入部22及操作部24各自的内部的管路的开闭而操作。
＜＜内窥镜处理器16的概略结构＞＞
在此，省略对内窥镜处理器16的详细结构的说明，但内窥镜处理器16除了拍摄内窥镜图像的以往公知的常规构成要件以外，还具备内窥镜图像识别部170。
内窥镜图像识别部170对多个学习用内窥镜图像预先学习学习用内窥镜图像与显示于学习用内窥镜图像的病变区域之间的关系，根据学习结果从通过内窥镜处理器16生成的诊断用内窥镜图像识别显示于该诊断用内窥镜图像的病变区域。
学习用内窥镜图像为内窥镜图像识别部170用于学习内窥镜图像与显示于内窥镜图像的病变区域之间的关系的现有的内窥镜图像，例如能够利用过去拍摄的各种内窥镜图像。
如图4所示，内窥镜图像识别部170具备病变区域检测部102、位置信息获取部104、选择部106及病变区域检测控制部108。
病变区域检测部102根据学习结果从诊断用内窥镜图像检测病变区域。病变区域检测部102具备分别与体腔内的多个位置对应的多个检测部。在此，作为一例，如图4所示，具备第1～第11检测部102A～102K。第1检测部102A与直肠对应，第2检测部102B与乙状结肠对应，第3检测部102C与降结肠对应，第4检测部102D与横结肠对应，第5检测部102E与升结肠对应，第6检测部102F与盲肠对应，第7检测部102G与回肠对应，第8检测部102H与空肠对应，第9检测部102I与十二指肠对应，第10检测部102J与胃对应，第11检测部102K与食道对应。
第1～第11检测部102A～102K分别为学习完毕模型。该多个学习完毕模型分别为使用由不同的学习用内窥镜图像构成的数据集而进行了学习的模型。详细而言，多个学习完毕模型分别为使用由拍摄了体腔内的不同的位置的学习用内窥镜图像构成的数据集而预先学习了学习用内窥镜图像与显示于学习用内窥镜图像的病变区域之间的关系的模型。
即，第1检测部102A为使用由直肠的学习用内窥镜图像构成的数据集而进行学习的模型，第2检测部102B为使用由乙状结肠的学习用内窥镜图像构成的数据集而进行学习的模型，第3检测部102C为使用由降结肠的学习用内窥镜图像构成的数据集而进行学习的模型，第4检测部102D为使用由横结肠的学习用内窥镜图像构成的数据集而进行学习的模型，第5检测部102E为使用由升结肠的学习用内窥镜图像构成的数据集而进行学习的模型，第6检测部102F为使用由盲肠的学习用内窥镜图像构成的数据集而进行学习的模型，第7检测部102G为使用由回肠的学习用内窥镜图像构成的数据集而进行学习的模型，第8检测部102H为使用由空肠的学习用内窥镜图像构成的数据集而进行学习的模型，第9检测部102I为使用由十二指肠的学习用内窥镜图像构成的数据集而进行学习的模型，第10检测部102J为使用由胃的学习用内窥镜图像构成的数据集而进行学习的模型，第11检测部102K为使用由食道的学习用内窥镜图像构成数据集而进行学习的模型。
学习方法只要是能够从多个学习用内窥镜图像学习内窥镜图像与病变区域之间的关系并生成学习完毕模型的方法，则并无特别限定。
作为学习方法，例如能够利用作为人工智能(AI：Artificial Intellige nce)技术之一即机器学习(machine learning)的一例的使用层次结构型神经网络的深度学习(Deep learning)等。
另外，可以利用除深度学习以外的机器学习，也可以利用除机器学习以外的人工智能技术，还可以利用除人工智能技术以外的学习方法。
并且，也可以仅使用学习用内窥镜图像来生成学习完毕模型。在该情况下，学习完毕模型不会被更新，从而能够始终使用相同的学习完毕模型。
或者，也可以以除了学习用内窥镜图像以外还使用诊断用内窥镜图像而生成学习完毕模型的方式构成。在该情况下，学习诊断用内窥镜图像与显示于该诊断用内窥镜图像的病变区域之间的关系而随时更新学习完毕模型。
接着，位置信息获取部104获取内窥镜图像的体腔内的位置信息。在此，医生等执业医师使用操作台100输入位置信息。位置信息获取部104获取从操作台100输入的位置信息。
作为图像的体腔内的位置信息，输入直肠、乙状结肠、降结肠、横结肠、升结肠、盲肠、回肠、空肠、十二指肠、胃及食道等的信息。也可以以将这些位置候选可选择地显示于显示器20并且医生等执业医师使用操作台100进行选择的方式构成。
接着，选择部106从病变区域检测部102选择与位置信息获取部104所获取的位置信息对应的检测部。即，选择部106在位置信息为直肠时选择第1检测部102A，在位置信息为乙状结肠时选择第2检测部102B，在位置信息为降结肠时选择第3检测部102C，在位置信息为横结肠时选择第4检测部102D，在位置信息为升结肠时选择第5检测部102E，在位置信息为盲肠时选择第6检测部102F，在位置信息为回肠时选择第7检测部102G，在位置信息为空肠时选择第8检测部102H，在位置信息为十二指肠时选择第9检测部102I，在位置信息为胃时选择第10检测部102J，在位置信息为食道时选择第11检测部102K。
接着，病变区域检测控制部108通过选择部106所选择的检测部从内窥镜图像检测病变区域。这里的病变区域并不限定于由疾病引起的区域，还包含与外观上正常的状态不同的状态的区域。作为病变区域，例如能够例示息肉、癌、大肠憩室、炎症、EMR(EndoscopicMucosal Resection：内镜下粘膜切除术)瘢痕或ESD(Endoscopic SubmucosalDissection：内镜粘膜下剥离术)瘢痕等治疗痕迹、夹闭部位、出血点、穿孔及血管异型性等。
＜＜超声波观测装置14的结构＞＞
超声波观测装置14使超声波振子单元46收发超声波，且对在接收超声波时超声波振子48(详细而言，驱动对象元件)所输出的接收信号进行图像化而生成超声波图像。并且，超声波观测装置14除了所生成的超声波图像以外，还将从内窥镜处理器16传送的内窥镜图像及解剖学图解图等显示于显示器20。
如图5所示，超声波观测装置14具有多工器140、接收电路142、发送电路144、A/D转换器146、ASIC(Application Specific Integrated Circui t：专用集成电路)148、电影存储器150、CPU(Central Processing Unit：中央处理器)152、DSC(Digital ScanConverter：数字扫描转换器)154、超声波图像识别部168、操作过程存储部174、警告产生部176、移动路径登记部178及显示控制部172。
接收电路142及发送电路144与超声波内窥镜12的超声波振子阵列50电连接。多工器140从N个超声波振子48中最多选择m个驱动对象振子，并且使其通道开口。
发送电路144由FPGA(现场可编程门阵列)、脉冲发生器(脉冲发生电路158)及SW(开关)等构成，并且与MUX(多工器140)连接。另外，也可以代替FPGA而使用ASIC(专用集成电路)。
发送电路144是为了从超声波振子单元46发送超声波而按照从CPU152传送过来的控制信号对通过多工器140选择的驱动对象振子供给超声波发送用驱动电压的电路。驱动电压为脉冲状的电压信号(发送信号)，且经由通用塞绳26及同轴电缆56施加于驱动对象振子的电极。
发送电路144具有根据控制信号而生成发送信号的脉冲发生电路158，通过CPU152的控制，使用脉冲发生电路158生成驱动多个超声波振子48而产生超声波的发送信号并供给至多个超声波振子48。更详细而言，在通过CPU152的控制进行超声波诊断时，发送电路144使用脉冲发生电路158生成具有用于进行超声波诊断的驱动电压的发送信号。
接收电路142为接收从接收了超声波(回波)的驱动对象振子输出的电信号即接收信号的电路。并且，接收电路142按照从CPU152传送过来的控制信号放大从超声波振子48接收的接收信号，并将放大后的信号传递至A/D转换器146。A/D转换器146与接收电路142连接，且将从接收电路142接收的接收信号从模拟信号转换为数字信号，并将转换后的数字信号输出至ASIC148。
ASIC148与A/D转换器146连接，如图5所示，构成相位匹配部160、B模式图像生成部162、PW模式图像生成部164、CF模式图像生成部166及存储控制器151。
另外，在本实施方式中，通过如ASIC148那样的硬件电路实现上述功能(具体而言，相位匹配部160、B模式图像生成部162、PW模式图像生成部164、CF模式图像生成部166及存储控制器151)，但并不限定于此。也可以通过使中央运算装置(CPU)与用于执行各种数据处理的软件(计算机程序)联动来实现上述功能。
相位匹配部160执行对通过A/D转换器146进行了数字信号化的接收信号(接收数据)附加延迟时间而进行整相相加(使接收数据的相位匹配之后进行加法运算)的处理。通过整相相加处理，生成超声波回波的焦点缩小的声线信号。
B模式图像生成部162、PW模式图像生成部164及CF模式图像生成部166根据在超声波振子单元46接收了超声波时多个超声波振子48中的驱动对象振子所输出的电信号(严格而言，通过对接收数据进行整相相加而生成的声线信号)，生成超声波图像。
B模式图像生成部162为生成患者内部(体腔内)的断层图像即B模式图像的图像生成部。B模式图像生成部162通过STC(Sensitivity Time gain Control：灵敏度时间控制)对依次生成的声线信号实施根据超声波的反射位置的深度而由传播距离引起的衰减的校正。并且，B模式图像生成部162对校正后的声线信号实施包络检波处理及Log(对数)压缩处理而生成B模式图像(图像信号)。
PW模式图像生成部164为生成显示规定方向上的血流的速度的图像的图像生成部。PW模式图像生成部164在通过相位匹配部160依次生成的声线信号中，对相同方向上的多个声线信号实施高速傅里叶变换，由此提取频率成分。然后，PW模式图像生成部164根据所提取的频率成分计算血流的速度，并生成显示计算出的血流的速度的PW模式图像(图像信号)。
CF模式图像生成部166为生成显示规定方向上的血流的信息的图像的图像生成部。CF模式图像生成部166求出在通过相位匹配部160依次生成的声线信号中相同方向上的多个声线信号的自相关，由此生成显示与血流相关的信息的图像信号。然后，CF模式图像生成部166根据上述图像信号，生成对通过B模式图像生成部162生成的B模式图像信号叠加了与血流相关的信息的作为彩颜色图像的CF模式图像(图像信号)。
存储控制器151将B模式图像生成部162、PW模式图像生成部164或CF模式图像生成部166所生成的图像信号存储于电影存储器150。
DSC154与ASIC148连接，并且将B模式图像生成部162、PW模式图像生成部164或CF模式图像生成部166所生成的图像的信号转换为按照常规电视信号的扫描方式的图像信号(光栅转换)，并对图像信号实施灰度处理等各种所需的图像处理之后输出至超声波图像识别部168。
超声波图像识别部168将受检体的体腔内的超声波内窥镜12的前端部的位置及朝向与基于器官等观察对象部位的观察顺序的标签编号建立对应关联，并且对多个学习用超声波图像预先学习学习用超声波图像和与拍摄学习用超声波图像时的超声波内窥镜12的前端部40的位置及朝向对应的标签编号之间的关系，根据学习结果从通过DSC154光栅转换的超声波图像即通过超声波观测装置14生成的诊断用超声波图像识别与拍摄该诊断用超声波图像时的超声波内窥镜12的前端部40的位置及朝向对应的标签编号。通过超声波图像识别部168识别的标签编号输出至后述的显示控制部172及警告产生部176(参考图5)。
观察对象部位的观察顺序是指，在受检体的体腔内拍摄(观察)超声波图像的观察对象部位的顺序。关于观察对象部位的观察顺序，将在后面举例进行说明。
根据观察对象部位的观察顺序，赋予标签编号。例如，若观察顺序为第1个的观察对象部位是肝左叶，则对肝左叶赋予第1标签编号。只要已知顺序，则标签编号可以是任意标签，而不必是“编号”。
学习用超声波图像为超声波图像识别部168用于学习超声波图像和与拍摄超声波图像时的超声波内窥镜12的前端部40的位置及朝向对应的标签编号之间的关系的现有的超声波图像，例如能够利用过去拍摄的各种超声波图像。
如图6所示，超声波图像识别部168具备标签编号检测部112、器官名称检测部120以及位置及朝向检测部122。
标签编号检测部112根据学习结果从诊断用超声波图像检测与拍摄诊断用超声波图像时的超声波内窥镜12的前端部40的位置及朝向对应的标签编号。
标签编号检测部112为学习完毕模型。该学习完毕模型为如下模型，即，使用由分别拍摄了成为受检体体内的观察对象部位的不同的位置的学习用超声波图像构成的数据集，赋予与拍摄学习用超声波图像时的超声波内窥镜12的前端部40的各位置及朝向对应的各个标签编号，并且预先学习学习用超声波图像和与拍摄学习用超声波图像时的超声波内窥镜12的前端部40的位置及朝向对应的标签编号之间的关系。
学习方法只要是能够从多个学习用超声波图像学习超声波图像和与超声波内窥镜12进行拍摄时的前端部40的位置及朝向对应的标签编号之间的关系并生成学习完毕模型的方法，则并无特别限定。
作为学习方法，例如能够利用作为人工智能(AI：Artificial Intellige nce)技术之一即机器学习(machine learning)的一例的使用层次结构型神经网络的深度学习(Deep learning)等。
另外，可以利用除深度学习以外的机器学习，也可以利用除机器学习以外的人工智能技术，还可以利用除人工智能技术以外的学习方法。
并且，也可以仅使用学习用超声波图像来生成学习完毕模型。在该情况下，学习完毕模型不会被更新，从而能够始终使用相同的学习完毕模型。
或者，也可以以除了学习用超声波图像以外还使用诊断用超声波图像来生成学习完毕模型的方式构成。在该情况下，学习诊断用超声波图像和与拍摄该诊断用超声波图像时的超声波内窥镜12的前端部40的位置及朝向对应的标签编号之间的关系而随时更新学习完毕模型。
大致确定有拍摄超声波图像时的体内的观察顺序(超声波内窥镜12的前端部40的移动路径)及代表性的观察点(超声波内窥镜12的前端部40的位置及朝向)。因此，能够将代表性的观察点上的超声波图像和与拍摄该观察点上的超声波图像时的超声波内窥镜12的前端部40的位置及朝向对应的标签编号建立关联而进行学习。
以下，按照观察顺序，对拍摄超声波图像时的体内的代表性的观察点(超声波内窥镜12的前端部40的位置及朝向)进行说明。
作为体内的代表性的观察点，例如有以下(1)～(12)等。
(1)肝左叶
(2)大动脉、腹腔动脉及肠系膜上动脉的合流部
(3)胰体部
(4)胰尾部
(5)脾静脉、肠系膜上静脉及门静脉的合流部(汇流点)
(6)胰头部
(7)胆囊
(8)门静脉
(9)胆总管
(10)胆囊
(11)胰头钩突部
(12)乳头状突起
在此，(1)肝左叶、(2)大动脉、腹腔动脉及肠系膜上动脉的合流部、(3)胰体部、(4)胰尾部、(5)脾静脉、肠系膜上静脉及门静脉的合流部、(6)胰头部及(7)胆囊为来自胃内的代表性的观察点，(8)门静脉、(9)胆总管及(10)胆囊为来自十二指肠球部的代表性的观察点，(11)胰头钩突部及(12)乳头状突起为来自十二指肠降部的代表性的观察点。
(1)～(12)与标签编号(观察对象部位的观察顺序)对应，(1)～(12)的观察点与观察对象部位(器官)对应。
另外，上述观察对象部位的观察顺序为一例，还存在根据执业医师而观察对象部位的观察顺序略有不同的情况。因此，可以设为如下方式，即，根据执业医师，准备多个彼此不同的观察对象部位的观察顺序的列表，关于各列表，对多个学习用超声波图像学习学习用超声波图像和与拍摄学习用超声波图像时的超声波内窥镜12的前端部40的位置及朝向对应的标签编号之间的关系，由执业医师切换所使用的列表即观察对象部位的观察顺序。或者，也可以设为如下方式，即，执业医师能够登记所期望的列表。
并且，列表中的观察对象部位的数量可以多于上述观察对象部位的观察顺序，相反也可以少于该观察顺序。即，可以在一个观察对象部位与观察顺序为一个观察对象部位的下一个的观察对象部位之间追加一个以上的其他观察对象部位，相反，也可以从观察顺序连续的多个观察对象部位中删除一个以上的观察对象部位。
接着，器官名称检测部120检测与通过标签编号检测部112检测到的标签编号(1)～(12)对应的器官的名称。标签编号与观察对象部位的观察顺序建立有对应关联，因此根据标签编号能够获得与该标签编号对应的观察对象部位(器官)的名称。
接着，位置及朝向检测部122根据通过标签编号检测部112检测到的标签编号(1)～(12)，检测拍摄诊断用超声波图像时的超声波内窥镜12的前端部40的位置及朝向。由于标签编号与拍摄超声波图像时的超声波内窥镜12的前端部40的位置及朝向建立有对应关联，因此根据标签编号能够获得与该标签编号对应的超声波内窥镜12的前端部40的位置及朝向。
在本实施方式的情况下，作为超声波内窥镜12的前端部40的位置及朝向，检测与上述标签编号(1)～(12)对应的观察点，即拍摄(1)肝左叶，(2)大动脉、腹腔动脉及肠系膜上动脉的合流部、(3)胰体部、(4)胰尾部、(5)脾静脉、肠系膜上静脉及门静脉的合流部、(6)胰头部及(7)胆囊(来自胃内的代表性的观察点)、(8)门静脉、(9)胆总管及(10)胆囊(十二指腸球部的代表性的观察点)，(11)胰头钩突部及(12)乳头状突起(十二指肠球部的代表性的观察点)中的超声波图像时的超声波内窥镜12的前端部40的位置及朝向。
如本实施方式，在超声波振子单元46为凸型时，优选使超声波内窥镜12的前端部40的位置及朝向与标签编号对应，并且检测与标签编号对应的位置及朝向。
另一方面，在超声波振子单元46为径向型时，无需检测超声波内窥镜12的前端部40的朝向，因此优选仅使超声波内窥镜12的前端部40的位置与标签编号对应，并且仅检测与标签编号对应的位置。
操作过程存储部174存储用于使超声波内窥镜12的前端部40从与一个标签编号对应的观察对象部位向观察顺序与一个标签编号的下一个标签编号对应的观察对象部位移动的操作过程。操作过程输出至显示控制部172。
一个标签编号为与按照观察顺序观察的观察对象部位中的任意一个观察对象部位对应的标签编号，观察顺序为一个标签编号的下一个的标签编号是与该任意一个观察对象部位的下一个观察对象部位对应的标签编号。
例如，假设与第1个标签编号对应的第1个观察对象部位为肝左叶，与第2标签编号对应的第2观察对象部位为大动脉、腹腔动脉及肠系膜上动脉的合流部。在该情况下，操作过程存储部174存储用于使超声波内窥镜12的前端部40从与第1个标签编号对应的肝左叶向与第2标签编号对应的大动脉、腹腔动脉及肠系膜上动脉的合流部移动的操作过程。操作过程存储部174对与第2个以后的各个标签编号对应的观察对象部位也同样地存储操作过程。另外，不存储关于观察顺序与最后的标签编号对应的观察对象部位的操作过程。
在操作过程中包含用于使超声波内窥镜12的前端部40移动的各种命令。例如，包含使超声波内窥镜12前进、使超声波内窥镜12向顺时针方向或逆时针方向旋转、使超声波内窥镜12的前端部40弯曲等命令。
在超声波内窥镜12的前端部40从与当前的标签编号对应的观察对象部位向除观察顺序与当前的标签编号的下一个标签编号对应的观察对象部位以外的观察对象部位移动时，警告产生部176发出警告。
当前的标签编号是指，与按照观察顺序观察的观察对象部位中的当前观察的观察对象部位对应的标签编号，换言之，当前通过超声波图像识别部168识别的标签编号。观察顺序为当前的标签编号的下一个的标签编号是与当前观察的观察对象部位的下一个所观察的观察对象部位对应的标签编号。
同样地，假设与第1个标签编号对应的第1个观察对象部位为肝左叶，与第2标签编号对应的第2观察对象部位为大动脉、腹腔动脉及肠系膜上动脉的合流部。在该情况下，若当前观察肝左叶，则与肝左叶对应的第1个标签编号为当前的标签编号，与大动脉、腹腔动脉及肠系膜上动脉的合流部对应的第2标签编号是观察顺序为当前的标签编号的下一个的标签编号。
如前述，大致确定有观察对象部位的观察顺序。因此，在超声波内窥镜12的前端部40从与当前的标签编号对应的观察对象部位向除观察顺序与当前的标签编号的下一个标签编号对应的观察对象部位以外的观察对象部位移动时，警告产生部176判定为由执业医师操作的超声波内窥镜12的前端部40的移动方向错误，并发出警告。
警告产生部176发出警告，由此执业医师能够注意到正在使超声波内窥镜12的前端部40向错误的方向移动，从而能够使超声波内窥镜12的前端部40向正确的方向移动。
在本实施方式的情况下，通过警告产生部176发出的警告输出至显示控制部172，通过显示控制部172的控制，例如，如“移动方向错误！”等那样的警告作为字符信息显示于显示器20。另外，发出警告的机构并无特别限定，例如可以将警告作为声音信息来从扬声器发出，或作为警告也可以同时发出字符信息及声音信息这两者。
移动路径登记部178预先登记超声波内窥镜12的前端部40根据观察对象部位的观察顺序而理想地移动时的移动路径。该理想的移动路径输出至显示控制部172。
理想的移动路径是指，按照观察对象部位的观察顺序，超声波内窥镜12的前端部40得到正确操作而移动时的移动路径。
接着，显示控制部172将与通过超声波图像识别部168识别出的标签编号对应的超声波内窥镜12的前端部40的位置及朝向显示于显示器20。
并且，显示控制部172根据来自执业医师的命令，在内窥镜图像上重叠显示病变区域，或在超声波图像上重叠显示器官的名称，或在解剖学图解图上重叠显示超声波内窥镜12的前端部40的位置及朝向。
换言之，显示控制部172根据来自执业医师的命令，从未显示病变区域的内窥镜图像、重叠显示有病变区域的内窥镜图像、未显示器官的名称的超声波图像、重叠显示有器官的名称的超声波图像、未显示超声波内窥镜12的前端部40的位置及朝向的解剖学图解图以及重叠显示有超声波内窥镜12的前端部40的位置及朝向的解剖学图解图中，将一个图像或两个以上的图像并列显示于显示器20的画面内。
器官的名称例如在超声波图像上重叠而显示于该器官的附近，例如显示于该器官上，超声波内窥镜12的前端部40的位置及朝向例如重叠显示于解剖学图解图上。病变区域例如在内窥镜图像上重叠而以框线来包围病变区域的方式显示。
电影存储器150具有用于积蓄1帧量或数帧量的图像信号的容量。ASIC148所生成的图像信号输出至DSC154，另一方面，通过存储控制器151也存储于电影存储器150。在为冻结模式时，存储控制器151读取存储于电影存储器150的图像信号并输出至DSC154。由此，在显示器20中可显示基于从电影存储器150读取的图像信号的超声波图像(静态图像)。
CPU152作为控制超声波观测装置14各部的控制部而发挥作用，与接收电路142、发送电路144、A/D转换器146及ASIC148连接，并控制这些器件。具体而言，CPU152与操作台100连接，并且按照通过操作台100输入的检查信息及控制参数等控制超声波观测装置14各部。
并且，若超声波内窥镜12经由超声波用连接器32a与超声波观测装置14连接，则CPU152通过PnP(Plug and Play：即插即用)等方式自动识别超声波内窥镜12。
＜＜关于超声波内窥镜系统10的动作例＞＞
接着，作为超声波内窥镜系统10的动作例，参考图7及图8对与超声波诊断相关的一系列处理(以下，也称为诊断处理)的流程进行说明。图7是表示使用了超声波内窥镜系统10的诊断处理的流程的图。图8是表示诊断处理中的诊断步骤的过程的图。
若以超声波内窥镜12与超声波观测装置14、内窥镜处理器16及光源装置18连接的状态对超声波内窥镜系统10各部接通电源，则以其为触发而开始诊断处理。在诊断处理中，如图7所示，首先实施输入步骤(S001)。在输入步骤中，执业医师通过操作台100输入检查信息及控制参数等。若完成输入步骤，则实施待机步骤(S002)，直至发出开始诊断的命令。
接着，若从执业医师发出诊断开始命令(S003中“是”)，则CPU152控制超声波观测装置14各部而实施诊断步骤(S004)。诊断步骤按照图8中所图示的流程进行，在所指定的图像生成模式为B模式时(S031中“是”)，以生成B模式图像的方式控制超声波观测装置14各部(S032)。并且，在所指定的图像生成模式不是B模式(S031中“否”)而是CF模式时(S033中“是”)，以生成CF模式图像的方式控制超声波观测装置14各部(S034)。而且，在所指定的图像生成模式不是CF模式(S033中“否”)而是PW模式时(S035中“是”)，以生成PW模式图像的方式控制超声波观测装置14各部(S036)。另外，在所指定的图像生成模式不是PW模式时(S035中“否”)，转到步骤S037。
接着，CPU152判定超声波诊断是否已结束(S037)。在超声波诊断尚未结束时(S037中“否”)，返回到诊断步骤S031，并且重复实施基于各图像生成模式的超声波图像的生成，直至诊断结束条件成立。作为诊断结束条件，例如可举出执业医师通过操作台100命令结束诊断等。
另一方面，若诊断结束条件成立而超声波诊断结束(S037中“是”)，则结束诊断步骤。
接着，返回到图7，若超声波内窥镜系统10各部的电源成为关断状态(S006中“是”)，则结束诊断处理。另一方面，在超声波内窥镜系统10各部的电源维持开通状态时(S005中“否”)，返回到输入步骤S001，并重复上述诊断处理的各步骤。
＜＜内窥镜图像、超声波图像及解剖学图解图的显示方法＞＞
接着，对内窥镜图像、超声波图像及解剖学图解图的显示方法进行说明。
执业医师通过操作操作台100发出命令，能够将内窥镜图像、超声波图像及解剖学图解图中的至少一个显示于显示器20的画面内。
在该情况下，通过显示控制部172，并根据来自执业医师的命令，从内窥镜图像(有/无显示病变区域)、超声波图像(有/无显示器官的名称)及解剖学图解图(有/无显示超声波内窥镜12的前端部40的位置及朝向)中，一个图像或两个以上的图像并列显示于显示器20的画面内。
并且，根据来自执业医师的命令，通过显示控制部172能够从显示于显示器20的两个以上的图像中将一个图像作为关注图像显示为大于其他图像。
在超声波内窥镜系统10中，在超声波图像或解剖学图解图显示于显示器20的画面内时，超声波图像识别部168进行动作，在内窥镜图像显示于显示器20的画面内时，内窥镜图像识别部170进行动作。
由此，根据来自执业医师的命令，能够将在其上重叠显示有病变区域的内窥镜图像显示于显示器20，或将在其上重叠显示有器官的名称的超声波图像显示于显示器20，或将在其上重叠显示有超声波内窥镜12的前端部40的位置及朝向的解剖学图解图显示于显示器20。
例如，如图9所示，执业医师能够将内窥镜图像、超声波图像及解剖学图解图显示于显示器20的画面内。
在从图9所示的显示器20的画面内的左部起中央部显示有超声波图像，在超声波图像上重叠显示有器官的名称Panc、PD、SV、SA。Panc表示胰脏的名称，PD表示胰管的名称，SV表示脾静脉的名称，SA表示脾动脉的名称。在显示器20的画面内的右上部显示有解剖学图解图，在解剖学图解图上重叠显示有超声波内窥镜12的前端部40的位置及朝向。在显示器20的画面内的右下部显示有未显示病变区域的内窥镜图像。在该例子的情况下，超声波图像作为关注图像显示为大于解剖学图解图及内窥镜图像。并且，在显示器20的画面内的右中央部的解剖学图解图与内窥镜图像之间，用于使超声波内窥镜12的前端部40移动的操作过程显示为“下一个观察对象部位：请沿第4个胰尾部SV向顺时针方向旋转。”这一字符信息。
另外，并不限定于图9的例子，执业医师能够将一个图像或两个以上的图像任意进行组合来排列显示于显示器20的画面内。并且，执业医师能够任意地设定将内窥镜图像、超声波图像、解剖学图解图及操作过程配置于哪个位置。并且，执业医师能够从显示于显示器20的图像中切换显示关注图像。
＜＜基于显示控制部的显示控制方法＞＞
接着，对基于显示控制部172的各种显示的控制方法进行说明。
首先，对超声波内窥镜12的前端部40的位置及朝向的显示方法进行说明。
显示控制部172能够将与通过超声波图像识别部168识别出的标签编号对应的超声波内窥镜12的前端部40的位置及朝向作为字符信息显示于显示器20。在该情况下，通过显示控制部172，例如，如“当前，超声波内窥镜的前端部正在描绘从胃内向肝左叶的方向。”等，对超声波内窥镜12的前端部40的位置及朝向进行说明的字符信息显示于显示器20。并且，显示控制部172能够将与通过超声波图像识别部168识别出的标签编号对应的观察对象部位的名称作为字符信息显示于显示器20。
并且，显示控制部172能够将重叠显示有通过超声波图像识别部168识别出的超声波内窥镜12的前端部40的位置及朝向来作为图像信息的解剖学图解图显示于显示器20。在该情况下，通过显示控制部172，如图9的右上部所示，解剖学图解图显示于显示器20，超声波内窥镜12的前端部40的位置及朝向作为图像信息重叠显示于解剖学图解图上。
如此，通过将超声波内窥镜12的前端部40的位置及朝向显示于显示器20，例如，即便是对超声波图像不熟练的执业医师，也能够可靠地掌握当前超声波内窥镜12的前端部40位于哪个位置，朝向哪个方向，正在观察哪个部位。
另外，显示控制部172可以将超声波内窥镜12的前端部40的位置及朝向作为字符信息显示于显示器20，且作为图像信息显示于显示器20。即，也可以同时显示字符信息及图像信息这两者。
接着，对操作过程的显示方法进行说明。
显示控制部172能够将用于使超声波内窥镜12的前端部40移动的操作过程显示于显示器20。在该情况下，通过显示控制部172从操作过程存储部174获取用于使超声波内窥镜12的前端部40从与当前的标签编号对应的观察对象部位向观察顺序与当前的标签编号的下一个标签编号对应的观察对象部位移动的操作过程，并且从操作过程存储部174获取的操作过程显示于显示器20。
由此，例如，即便是对超声波图像不熟练的执业医师也不会在受检体的体内迷失而能够准确地使超声波内窥镜12的前端部40从当前的观察对象部位向下一个观察对象部位移动。
例如，显示控制部172能够将操作过程作为对该操作过程进行说明的字符信息显示于显示器20。
在该情况下，如图9的右中央部所示，操作过程可以包含成为操作的标记的一个以上的器官的名称。在图9的操作过程的例子中，“请沿SV向顺时针方向旋转。”中的“SV”为成为操作的标记的器官的名称。
由此，执业医师能够轻松地掌握使超声波内窥镜12的前端部40移动的方向，从而能够使超声波内窥镜12的前端部40向正确的方向移动。
成为操作的标记的器官只要是成为使超声波内窥镜12的前端部40移动时的目标物的器官且使超声波内窥镜12的前端部40移动时描绘的器官，换言之在从与当前的标签编号对应的观察对象部位朝向观察顺序与当前的标签编号的下一个标签编号对应的观察对象部位的方向上存在的器官，则并无特别限定，能够例示从显示于当前的超声波图像的器官、显示于从当前的超声波图像的超声波内窥镜12的前端部40的位置起一定范围内的器官及所规定的多个器官中选择的一个以上的器官。
并且，显示控制部172能够将重叠显示有操作过程来作为表示超声波内窥镜12的前端部40的移动路径的图像信息的解剖学图解图显示于显示器20。
在该情况下，显示控制部172可以在解剖学图解图上，对成为操作的标记的一个以上的器官的区域进行着色，并将该区域被着色的解剖学图解图显示于显示器20。
并且，显示控制部172可以在解剖学图解图上，将观察顺序与当前的标签编号的下一个标签编号对应的观察对象部位的区域和上述的成为操作的标记的一个以上的器官的区域着色成不同的颜色，并将这些区域着色成不同的颜色的解剖学图解图显示于显示器20。
如此，通过对在使超声波内窥镜12的前端部40移动的方向上存在的器官的区域进行着色，执业医师能够轻松地掌握使超声波内窥镜12的前端部40移动的方向。
另外，显示控制部172可以将超声波内窥镜12的前端部40的位置及朝向和操作过程这两者同时显示于显示器20。
如图9的右中央部所示，显示控制部172还将观察顺序与当前的标签编号的下一个标签编号对应的观察对象部位的名称作为字符信息显示于显示器20。在图9的操作过程的例子中，“下一个观察对象部位：第4个胰尾部”为与下一个标签编号对应的观察对象部位的名称。标签编号与观察对象部位的观察顺序建立有对应关联，因此根据标签编号能够获得观察顺序与该标签编号的下一个标签编号对应的观察对象部位的名称。
由此，执业医师能够轻松地掌握下一个观察对象部位是哪个部位。
此外，显示控制部172在超声波内窥镜12的前端部40每次到达与各个标签编号对应的观察对象部位时，可以对与所到达的观察对象部位对应的标签编号赋予对勾标记，如图10所示，将赋予了对勾标记的标签编号作为字符信息显示于显示器20。即，对与超声波内窥镜12的前端部40所到达的观察对象部位对应的标签编号赋予对勾标记。在图10的例子的情况下，对标签编号的(1)肝左叶、(2)大动脉、腹腔动脉及肠系膜上动脉的合流部、(3)胰体部的左侧赋予对勾标记，而对标签编号的(4)胰尾部以后未赋予对勾标记，因此能够知晓超声波内窥镜12的前端部40到达至与标签编号的(3)胰体部对应的观察对象部位。
并且，显示控制部172在超声波内窥镜12的前端部40每次到达与各个标签编号对应的观察对象部位时，可以在解剖学图解图上，对所到达的观察对象部位的区域进行着色，并将所到达的观察对象部位的区域被着色的解剖学图解图显示于显示器20。即，超声波内窥镜12的前端部40所到达的观察对象部位的区域被着色。
由此，执业医师能够轻松地掌握当前超声波内窥镜12的前端部40到达至观察顺序与第几个标签编号对应的观察对象部位。即，执业医师能够确认超声波内窥镜12的前端部40到达至与赋予了对勾标记的标签编号对应的观察对象部位，或到达至被着色的观察对象部位。相应于此，执业医师能够轻松地掌握观察顺序与当前的标签编号的下一个标签编号对应的观察对象部位是哪个观察对象部位。
并且，显示控制部172可以在解剖学图解图上，强调观察顺序与当前的标签编号的下一个标签编号对应的观察对象部位的区域，并将观察对象部位的区域得到强调的解剖学图解图显示于显示器20。
例如，显示控制部172可以在解剖学图解图上，将观察顺序与当前的标签编号的下一个标签编号对应的观察对象部位的区域着色成和除观察顺序与当前的标签编号的下一个标签编号对应的观察对象部位以外的观察对象部位的区域不同的颜色，例如，将观察顺序与当前的标签编号的下一个标签编号对应的观察对象部位的区域着色成比除观察顺序与当前的标签编号的下一个标签编号对应的观察对象部位以外的观察对象部位的区域更浓的颜色或更浅的颜色，并将这些观察对象部位的区域被着色的解剖学图解图显示于显示器20。
由此，在解剖学图解图上，将观察顺序与当前的标签编号的下一个标签编号对应的观察对象部位的区域相比于除此以外的观察对象部位的区域强调显示。因此，执业医师能够轻松地使超声波内窥镜12的前端部40从与当前的标签编号对应的观察对象部位向观察顺序与当前的标签编号的下一个标签编号对应的观察对象部位移动。
强调观察对象部位的区域的方法并不限于上述方法，例如能够例示用粗框来包围欲强调的观察对象部位的区域、仅对欲强调的观察对象部位的区域进行着色、标注表示欲强调的观察对象部位的箭头等。
并且，显示控制部172可以从移动路径登记部178获取超声波内窥镜12的前端部40根据观察对象部位的观察顺序而理想地移动时的移动路径，并且将超声波内窥镜12的前端部40根据观察对象部位的观察顺序而理想地移动时的移动路径及超声波内窥镜12的前端部40根据基于执业医师的实际操作而实际上移动时的移动路径作为表示这些路径的图像信息排列在解剖学图解图上并显示于显示器20。
由此，执业医师能够一边确认理想的移动路径，且确认基于自己操作的移动路径，一边使超声波内窥镜12的前端部40移动。因此，执业医师能够以使实际路径与理想的路径一致的方式使超声波内窥镜12的前端部40移动，其结果，能够使实际移动路径接近理想的移动路径。
＜＜超声波图像识别部168及内窥镜图像识别部170的配置位置＞＞
接着，对超声波图像识别部168及内窥镜图像识别部170的配置位置进行说明。
在本实施方式的情况下，超声波图像识别部168内置于超声波观测装置14，但并不限于此，例如可以内置于内窥镜处理器16，或也可以设置于超声波观测装置14及内窥镜处理器16的外部。
如本实施方式，在超声波图像识别部168内置于超声波观测装置14时，如图11所示，内窥镜图像从内窥镜处理器16传送至超声波观测装置14。
并且，在超声波图像识别部168内置于内窥镜处理器16时，如图12所示，超声波图像从超声波观测装置14传送至内窥镜处理器16。
在超声波图像识别部168设置于超声波观测装置14及内窥镜处理器16的外部时，如图13所示，内窥镜图像从内窥镜处理器16传送至超声波观测装置14，进而内窥镜图像及超声波图像从超声波观测装置14传送至超声波图像识别部168。
在该情况下，也可以将超声波图像从超声波观测装置14传送至内窥镜处理器16，进而将内窥镜图像及超声波图像从内窥镜处理器16传送至超声波图像识别部168。或者，也可以将内窥镜图像从内窥镜处理器16传送至超声波图像识别部168，而不是从内窥镜处理器16传送至超声波观测装置14，进而从超声波观测装置14传送至超声波图像识别部168。
显示控制部172配置于输出至显示器20的最终图像信号与显示器20之间。
在超声波图像识别部168内置于超声波观测装置14时，显示控制部172例如能够内置于超声波观测装置14，或设置于超声波观测装置14与显示器20之间。
并且，在超声波图像识别部168内置于内窥镜处理器16时，显示控制部172例如能够内置于内窥镜处理器16，或设置于内窥镜处理器16与显示器20之间。
而且，在超声波图像识别部168设置于超声波观测装置14及内窥镜处理器16的外部时，显示控制部172例如能够设置于超声波观测装置14及内窥镜处理器16的外部。
显示控制部172根据来自执业医师的命令，从内窥镜图像(有/无显示病变区域)、超声波图像(有/无显示器官的名称)及解剖学图解图(有/无显示超声波内窥镜12的前端部40的位置及朝向)中，将一个图像或两个以上的图像并列显示于显示器20的画面内。
内窥镜图像识别部170的配置位置也能够以与超声波图像识别部168的配置位置相同的方式确定。即，在本实施方式的情况下，内窥镜图像识别部170内置于内窥镜处理器16，但并不限于此，例如也可以内置于超声波观测装置14，或设置于超声波观测装置14及内窥镜处理器16的外部。
如此，在超声波内窥镜系统10中，超声波图像识别部168及内窥镜图像识别部170的配置位置不是固定的，能够将超声波图像识别部168及内窥镜图像识别部170配置于任意的配置位置。
在本发明的装置中，例如，内窥镜图像识别部170(病变区域检测部102、位置信息获取部104、选择部106及病变区域检测控制部108)、超声波图像识别部168(标签编号检测部112、位置信息获取部114、选择部116、标签编号检测控制部118、器官名称检测部120以及位置及朝向检测部122)、显示控制部172、警告产生部176及操作台(命令获取部)100等执行各种处理的处理部(Processing Unit)的硬件结构可以是专用的硬件，也可以是执行程序的各种处理器或计算机。并且，操作过程存储部174及移动路径登记部178的硬件结构可以是专用的硬件，或也可以是半导体存储器等存储器。
各种处理器中包含执行软件(程序)而作为各种处理部发挥作用的通用的处理器即CPU(Central Processing Unit/中央处理器)、FPGA(Field Progr ammable GateArray/现场可编程门阵列)等制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、ASIC(Applicat ion Specific IntegratedCircuit/专用集成电路)等具有为了执行特定处理而专门设计的电路结构的处理器即专用电气电路等。
可以将一个处理部由这些各种处理器中的一个来构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个FPGA的组合或FPGA及CPU的组合)等来构成。并且，可以将多个处理部由各种处理器中的一个来构成，也可以由集成多个处理部中的两个以上而使用一个处理器来构成。
例如，以服务器及客户端等计算机为代表，有由一个以上的CPU与软件的组合来构成一个处理器，并且该处理器作为多个处理部而发挥作用的方式。并且，有如以片上系统(System on Chip：SoC)等为代表，使用将包含多个处理部的整个系统的功能由一个IC(Integrated Circuit/集成电路)芯片来实现的处理器的方式。
而且，更具体而言，这些各种处理器的硬件结构为组合了半导体元件等电路元件的方式的电气电路(Circuitry)。
并且，本发明的方法例如能够通过用于使计算机执行其各步骤的程序来实施。并且，还能够提供记录有该程序的计算机可读取的记录介质。
以上，对本发明进行了详细说明，但本发明并不限定于上述实施方式，在不脱离本发明的宗旨的范围内，可以进行各种改良及变更是显而易见的。
符号说明
10-超声波内窥镜系统，12-超声波内窥镜，14-超声波观测装置，16-内窥镜处理器，18-光源装置，20-显示器，21a-送水罐，21b-抽吸泵，22-插入部，24-操作部，26-通用塞绳，28a-送气送水按钮，28b-抽吸按钮，29-弯角钮，30-处置器具插入口，32a-超声波用连接器，32b-内窥镜用连接器，32c-光源用连接器，34a-送气送水用软管，34b-抽吸用软管，36-超声波观察部，38-内窥镜观察部，40-前端部，42-弯曲部，43-软性部，44-处置器具导出口，45-处置器具通道，46-超声波振子单元，48-超声波振子，50-超声波振子阵列，54-背衬材料层，56-同轴电缆，60-FPC，74-声匹配层，76-声透镜，82-观察窗，84-物镜，86-固体成像元件，88-照明窗，90-清洗喷嘴，92-配线电缆，100-操作台，102-病变区域检测部，102A～102K-第1～第12检测部，104、114-位置信息获取部，106、116-选择部，108-病变区域检测控制部，112-标签编号检测部，112A～112L-第1～第12检测部，118-标签编号检测控制部，120-器官名称检测部，122-位置及朝向检测部，140-多工器，142-接收电路，144-发送电路，146-A/D转换器，148-ASIC，150-电影存储器，151-存储控制器，152-CPU，154-DSC，158-脉冲发生电路，160-相位匹配部，162-B模式图像生成部，164-PW模式图像生成部，166-CF模式图像生成部，168-超声波图像识别部，170-内窥镜图像识别部，172-显示控制部，174-操作过程存储部，176-警告产生部，178-移动路径登记部。

Claims (27)

1.一种超声波内窥镜系统，其具备：
超声波内窥镜，在前端具有超声波振子；
超声波观测装置，通过所述超声波振子收发超声波，并且根据所述超声波的接收信号生成诊断用超声波图像；
超声波图像识别部，将受检体的体腔内的所述超声波内窥镜的前端部的位置与基于观察对象部位的观察顺序的标签编号建立对应关联，并且对多个学习用超声波图像预先学习所述学习用超声波图像和与拍摄所述学习用超声波图像时的所述超声波内窥镜的前端部的位置对应的标签编号之间的关系，并根据学习结果从所述诊断用超声波图像识别与拍摄所述诊断用超声波图像时的所述超声波内窥镜的前端部的位置对应的标签编号；及
显示控制部，将与通过所述超声波图像识别部识别出的标签编号对应的超声波内窥镜的前端部的位置显示于显示器。
2.根据权利要求1所述的超声波内窥镜系统，其中，
所述显示控制部将与识别出的所述标签编号对应的观察对象部位的名称作为字符信息显示于所述显示器。
3.根据权利要求1所述的超声波内窥镜系统，其中，
所述显示控制部将重叠显示有与识别出的所述标签编号对应的超声波内窥镜的前端部的位置来作为图像信息的解剖学图解图显示于所述显示器。
4.根据权利要求1所述的超声波内窥镜系统，其中，
所述超声波图像识别部将所述超声波内窥镜的前端部的位置及朝向与所述标签编号建立对应关联，并且对所述多个学习用超声波图像预先学习所述学习用超声波图像和与拍摄所述学习用超声波图像时的所述超声波内窥镜的前端部的位置及朝向对应的标签编号之间的关系，并根据学习结果从所述诊断用超声波图像识别与拍摄所述诊断用超声波图像时的所述超声波内窥镜的前端部的位置及朝向对应的标签编号，
所述显示控制部将与通过所述超声波图像识别部识别出的标签编号对应的超声波内窥镜的前端部的位置及朝向显示于所述显示器。
5.根据权利要求4所述的超声波内窥镜系统，其中，
所述显示控制部将与识别出的所述标签编号对应的观察对象部位的名称作为字符信息显示于所述显示器。
6.根据权利要求4所述的超声波内窥镜系统，其中，
所述显示控制部将重叠显示有与识别出的所述标签编号对应的超声波内窥镜的前端部的位置及朝向来作为图像信息的解剖学图解图显示于所述显示器。
7.根据权利要求1至6中任一项所述的超声波内窥镜系统，其中，
所述超声波内窥镜系统还具备：
操作过程存储部，存储用于使所述超声波内窥镜的前端部从与一个标签编号对应的观察对象部位向所述观察顺序与所述一个标签编号的下一个标签编号对应的观察对象部位移动的操作过程，
所述显示控制部从所述操作过程存储部获取用于使所述超声波内窥镜的前端部从与当前的标签编号对应的观察对象部位向所述观察顺序与所述当前的标签编号的下一个标签编号对应的观察对象部位移动的操作过程，并将获取的所述操作过程显示于所述显示器。
8.根据权利要求7所述的超声波内窥镜系统，其中，
所述显示控制部还将所述观察顺序与所述当前的标签编号的下一个标签编号对应的观察对象部位的名称作为字符信息显示于所述显示器。
9.根据权利要求7或8所述的超声波内窥镜系统，其中，
所述显示控制部将所述操作过程作为字符信息显示于所述显示器。
10.根据权利要求9所述的超声波内窥镜系统，其中，
所述操作过程包含使所述超声波内窥镜的前端部移动时描绘的一个以上的器官的名称。
11.根据权利要求7或8所述的超声波内窥镜系统，其中，
所述显示控制部将重叠显示有所述操作过程来作为图像信息的解剖学图解图显示于所述显示器。
12.根据权利要求11所述的超声波内窥镜系统，其中，
所述显示控制部在解剖学图解图上，对使所述超声波内窥镜的前端部移动时描绘的一个以上的器官的区域进行着色，并将所述区域被着色的解剖学图解图显示于所述显示器。
13.根据权利要求12所述的超声波内窥镜系统，其中，
所述显示控制部在解剖学图解图上，将所述观察顺序与所述当前的标签编号的下一个标签编号对应的观察对象部位的区域和使所述超声波内窥镜的前端部移动时描绘的一个以上的器官的区域着色成不同的颜色，并将所述区域被着色成不同的颜色的解剖学图解图显示于所述显示器。
14.根据权利要求7至13中任一项所述的超声波内窥镜系统，其中，
所述超声波内窥镜系统还具备：
警告产生部，在所述超声波内窥镜的前端部从与所述当前的标签编号对应的观察对象部位向除所述观察顺序与所述当前的标签编号的下一个标签编号对应的观察对象部位以外的观察对象部位移动时，发出警告。
15.根据权利要求14所述的超声波内窥镜系统，其中，
所述警告产生部将所述警告作为声音信息来发出，或同时发出字符信息及声音信息这两者来作为所述警告。
16.根据权利要求7至15中任一项所述的超声波内窥镜系统，其中，
所述显示控制部在所述超声波内窥镜的前端部每次到达与各个标签编号对应的观察对象部位时，对与到达的所述观察对象部位对应的标签编号赋予对勾标记，并将赋予了所述对勾标记的标签编号作为字符信息显示于所述显示器。
17.根据权利要求7至16中任一项所述的超声波内窥镜系统，其中，
所述显示控制部在所述超声波内窥镜的前端部每次到达与各个标签编号对应的观察对象部位时，在解剖学图解图上，对到达的所述观察对象部位的区域进行着色，并将到达的所述观察对象部位的区域被着色的解剖学图解图显示于所述显示器。
18.根据权利要求7至17中任一项所述的超声波内窥镜系统，其中，
所述显示控制部在解剖学图解图上，强调所述观察顺序与所述当前的标签编号的下一个标签编号对应的观察对象部位的区域，并将强调了所述观察对象部位的区域的解剖学图解图显示于所述显示器。
19.根据权利要求18所述的超声波内窥镜系统，其中，
所述显示控制部在解剖学图解图上，将所述观察顺序与所述当前的标签编号的下一个标签编号对应的观察对象部位的区域着色成和除所述观察顺序与所述当前的标签编号的下一个标签编号对应的观察对象部位以外的观察对象部位的区域不同的颜色，并将所述观察对象部位的区域被着色的解剖学图解图显示于所述显示器。
20.根据权利要求7至19中任一项所述的超声波内窥镜系统，其中，
所述显示控制部将所述超声波内窥镜的前端部根据所述观察对象部位的观察顺序而理想地移动时的移动路径及所述超声波内窥镜的前端部根据实际操作而实际移动时的移动路径作为图像信息排列在解剖学图解图上并显示于所述显示器。
21.根据权利要求20所述的超声波内窥镜系统，其中，
所述超声波内窥镜系统还具备：
移动路径登记部，预先登记所述超声波内窥镜的前端部根据所述观察对象部位的观察顺序而理想地移动时的移动路径。
22.根据权利要求1至21中任一项所述的超声波内窥镜系统，其中，
所述超声波图像识别部内置于所述超声波观测装置。
23.根据权利要求1至21中任一项所述的超声波内窥镜系统，其中，
所述超声波内窥镜在前端还具有照明部及摄像部，
所述超声波内窥镜系统还具备内窥镜处理器，所述内窥镜处理器通过所述摄像部接收从所述照明部照射的照明光的反射光，根据所述反射光的摄像信号生成诊断用内窥镜图像，
所述超声波图像识别部内置于所述内窥镜处理器。
24.根据权利要求1至21中任一项所述的超声波内窥镜系统，其中，
所述超声波内窥镜在前端还具有照明部及摄像部，
所述超声波内窥镜系统还具备内窥镜处理器，所述内窥镜处理器通过所述摄像部接收从所述照明部照射的照明光的反射光，根据所述反射光的摄像信号生成诊断用内窥镜图像，
所述超声波图像识别部设置于所述超声波观测装置及所述内窥镜处理器的外部。
25.一种超声波内窥镜系统的工作方法，其包括如下步骤：
超声波图像识别部将受检体的体腔内的超声波内窥镜的前端部的位置与基于观察对象部位的观察顺序的标签编号建立对应关联，并且对多个学习用超声波图像预先学习所述学习用超声波图像和与拍摄所述学习用超声波图像时的所述超声波内窥镜的前端部的位置对应的标签编号之间的关系的步骤；
超声波观测装置通过所述超声波内窥镜的前端所具有的超声波振子收发超声波，并且根据所述超声波的接收信号生成诊断用超声波图像的步骤；
所述超声波图像识别部根据学习结果从所述诊断用超声波图像识别与拍摄所述诊断用超声波图像时的所述超声波内窥镜的前端部的位置对应的标签编号的步骤；及
显示控制部将与通过所述超声波图像识别部识别出的标签编号对应的超声波内窥镜的前端部的位置显示于显示器的步骤。
26.根据权利要求25所述的超声波内窥镜系统的工作方法，其中，
将所述超声波内窥镜的前端部的位置及朝向与所述标签编号建立对应关联，并且对所述多个学习用超声波图像预先学习所述学习用超声波图像和与拍摄所述学习用超声波图像时的所述超声波内窥镜的前端部的位置及朝向对应的标签编号之间的关系，
根据学习结果从所述诊断用超声波图像识别与拍摄所述诊断用超声波图像时的所述超声波内窥镜的前端部的位置及朝向对应的标签编号，
将与通过所述超声波图像识别部识别出的标签编号对应的超声波内窥镜的前端部的位置及朝向显示于所述显示器。
27.根据权利要求25或26所述的超声波内窥镜系统的工作方法，其中，
所述超声波内窥镜系统的工作方法还包括：
操作过程存储部存储用于使所述超声波内窥镜的前端部从与一个标签编号对应的观察对象部位向所述观察顺序与所述一个标签编号的下一个标签编号对应的观察对象部位移动的操作过程的步骤，
将识别出的所述标签编号作为当前的标签编号，从所述操作过程存储部获取用于使所述超声波内窥镜的前端部从与所述当前的标签编号对应的观察对象部位向所述观察顺序与所述当前的标签编号的下一个标签编号对应的观察对象部位移动的操作过程，
将获取的所述操作过程显示于所述显示器。
CN202080060272.4A 2019-08-27 2020-06-30 超声波内窥镜系统及超声波内窥镜系统的工作方法 Pending CN114302679A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019154475 2019-08-27
JP2019-154475 2019-08-27
PCT/JP2020/025725 WO2021039101A1 (ja) 2019-08-27 2020-06-30 超音波内視鏡システムおよび超音波内視鏡システムの作動方法

Publications (1)

Publication Number Publication Date
CN114302679A true CN114302679A (zh) 2022-04-08

Family

ID=74683660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080060272.4A Pending CN114302679A (zh) 2019-08-27 2020-06-30 超声波内窥镜系统及超声波内窥镜系统的工作方法

Country Status (3)

Country Link
JP (1) JP7158596B2 (zh)
CN (1) CN114302679A (zh)
WO (1) WO2021039101A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023054467A1 (ja) * 2021-09-30 2023-04-06 テルモ株式会社 モデル生成方法、学習モデル、コンピュータプログラム、情報処理方法及び情報処理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102639049A (zh) * 2010-09-29 2012-08-15 奥林巴斯医疗株式会社 信息处理装置以及胶囊型内窥镜系统
US20130035596A1 (en) * 2011-07-14 2013-02-07 Siemens Corporation Model-based positioning for intracardiac echocardiography volume stitching
WO2017195540A1 (ja) * 2016-05-12 2017-11-16 株式会社日立製作所 超音波撮像装置、画像処理装置、及びその方法
CN109091098A (zh) * 2017-10-27 2018-12-28 重庆金山医疗器械有限公司 磁控胶囊式内窥镜诊查系统
CN109414251A (zh) * 2016-06-30 2019-03-01 富士胶片株式会社 超声波内窥镜及其制造方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102639049A (zh) * 2010-09-29 2012-08-15 奥林巴斯医疗株式会社 信息处理装置以及胶囊型内窥镜系统
US20130035596A1 (en) * 2011-07-14 2013-02-07 Siemens Corporation Model-based positioning for intracardiac echocardiography volume stitching
WO2017195540A1 (ja) * 2016-05-12 2017-11-16 株式会社日立製作所 超音波撮像装置、画像処理装置、及びその方法
CN109414251A (zh) * 2016-06-30 2019-03-01 富士胶片株式会社 超声波内窥镜及其制造方法
CN109091098A (zh) * 2017-10-27 2018-12-28 重庆金山医疗器械有限公司 磁控胶囊式内窥镜诊查系统

Also Published As

Publication number Publication date
JPWO2021039101A1 (zh) 2021-03-04
JP7158596B2 (ja) 2022-10-21
WO2021039101A1 (ja) 2021-03-04

Similar Documents

Publication Publication Date Title
US20210369238A1 (en) Ultrasound endoscope system and method of operating ultrasound endoscope system
JP7265593B2 (ja) 超音波システム、及び、超音波画像生成方法
JP6899804B2 (ja) 超音波診断装置および超音波診断装置の作動方法
US20220313067A1 (en) Medical image processing apparatus, endoscope system, diagnosis assistance method, and program
US20180161063A1 (en) Ultrasound observation apparatus, method of operating ultrasound observation apparatus, and computer readable recording medium
US20210007709A1 (en) Measurement apparatus, ultrasound diagnostic apparatus, measurement method, and measurement program
JP7158596B2 (ja) 超音波内視鏡システムおよび超音波内視鏡システムの作動方法
JP2021035442A (ja) 超音波診断システムおよび超音波診断システムの作動方法
US20200245978A1 (en) Failure diagnosis system of ultrasonic endoscope apparatus, failure diagnosis method of ultrasonic endoscope apparatus, and failure diagnosis program of ultrasonic endoscope apparatus
CN111685794B (zh) 超声波诊断系统及超声波诊断系统的工作方法
US20200305834A1 (en) Ultrasound observation apparatus and ultrasonic endoscope system
JP7041014B2 (ja) 超音波診断装置、及び、超音波診断装置の作動方法
JP7292184B2 (ja) 学習装置、学習方法および学習済みモデル
JP7253058B2 (ja) 計測装置、超音波診断装置、計測方法、計測プログラム
JP2022132940A (ja) 内視鏡及び内視鏡システム
JP2022066545A (ja) 超音波診断装置、及び、超音波診断装置の作動方法
CN117915838A (zh) 超声波内窥镜系统及超声波内窥镜系统的工作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination