CN112351722A - 内窥镜系统、内窥镜的校准方法以及内窥镜的控制装置 - Google Patents

内窥镜系统、内窥镜的校准方法以及内窥镜的控制装置 Download PDF

Info

Publication number
CN112351722A
CN112351722A CN201880095017.6A CN201880095017A CN112351722A CN 112351722 A CN112351722 A CN 112351722A CN 201880095017 A CN201880095017 A CN 201880095017A CN 112351722 A CN112351722 A CN 112351722A
Authority
CN
China
Prior art keywords
endoscope
control device
motion vector
bending
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880095017.6A
Other languages
English (en)
Inventor
上杉谦介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN112351722A publication Critical patent/CN112351722A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/0016—Holding or positioning arrangements using motor drive units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part
    • A61B1/0052—Constructional details of control elements, e.g. handles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00725—Calibration or performance testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors

Abstract

内窥镜系统(1)具有：长条部(5)，其具有长度轴；摄像部(6)，其配置在长条部(5)的前端；弯曲部(7)，其使摄像部(6)相对于长条部(5)的倾斜角度变化；弯曲驱动部(8)，其驱动弯曲部(7)；旋转驱动部(9)，其使长条部(5)绕长度轴旋转；以及控制装置(10)，其对由摄像部(6)获取的图像进行处理，控制装置(10)从摄像部(6)获取在长条部(5)的基于旋转驱动部(9)的旋转动作中拍摄到的多个图像，根据获取的多个图像计算图像上的不动点的位置，决定从计算出的不动点的位置来位于图像的中心的方向。

Description

内窥镜系统、内窥镜的校准方法以及内窥镜的控制装置
技术领域
本发明涉及内窥镜系统、内窥镜的校准方法以及内窥镜的控制装置。
背景技术
公知有进行使设置在插入部的前端的弯曲部自动地动作为笔直延伸的状态的所谓的定心动作的内窥镜(例如参照专利文献1)。
在专利文献1的内窥镜中，利用电位计检测用于使弯曲部进行动作的各马达的旋转量，并根据检测出的旋转量来估计弯曲剩余角度，使马达动作估计出的弯曲剩余角度量。
现有技术文献
专利文献
专利文献1：日本特开2002-323661号公报
发明内容
发明要解决的课题
但是，在专利文献1的内窥镜中，由于仅校正根据马达的旋转量估计出的弯曲剩余角度，因此关于现实中是否已使弯曲部直线化并不明确。
本发明的目的在于，提供能够高精度地使弯曲部直线化的内窥镜系统、内窥镜的校准方法以及内窥镜的控制装置。
用于解决课题的手段
本发明的一个方式为内窥镜系统，该内窥镜系统具有：长条部，其具有长度轴；摄像部，其设置在该长条部的前端；弯曲部，其使该摄像部相对于所述长条部的倾斜角度变化；弯曲驱动部，其驱动该弯曲部；旋转驱动部，其使所述长条部绕所述长度轴旋转；以及控制装置，其对由所述摄像部获取的图像进行处理，该控制装置进行如下处理：从所述摄像部获取在所述长条部的基于所述旋转驱动部的旋转动作中拍摄到的多个所述图像；根据获取的多个所述图像来计算该图像上的不动点的位置；以及决定从计算出的所述不动点的位置来位于所述图像的中心的方向。
根据本方式，将长条部从摄像部插入到体内，使旋转驱动部进行动作而使长条部绕长度轴旋转，并且在旋转动作中使摄像部进行动作，获取由摄像部拍摄的多个图像。根据获取到的多个图像，由控制装置计算图像上的不动点的位置，决定从不动点的位置来位于图像的中心的方向。
即，基于旋转驱动部的旋转动作使长条部绕长度轴旋转，因此在旋转动作中由摄像部随时间获取的图像绕不动点旋转，该不动点是配置在长度轴的延长线上的点。因此，通过弯曲驱动部驱动弯曲部，能够决定从不动点的位置来位于图像的中心的方向，由此，能够高精度地使弯曲部直线化。
在上述方式中，也可以是，所述控制装置进行如下处理：根据多个所述图像设定多个不动点候选；计算各该不动点候选在所述长条部的旋转动作中的运动矢量；以及计算所计算的各该运动矢量的大小成为最小的所述不动点候选的位置，作为所述不动点的位置。
通过该结构，在图像内存在不动点的情况下，能够高精度地计算出不动点的位置。因此，能够决定从高精度地计算出的不动点的位置来位于图像的中心的方向，由此，能够高精度地使弯曲部直线化。
另外，在上述方式中，所述控制装置也可以计算所述运动矢量的大小为最小并且比规定阈值小的所述不动点候选的位置，作为所述不动点的位置。
通过该结构，在图像内不存在不动点的情况下，能够防止将运动矢量的大小成为最小的不动点候选误检测为不动点。
另外，在上述方式中，也可以是，所述控制装置在所述运动矢量的大小比所述规定阈值大的情况下，通过所述弯曲驱动部使所述弯曲部与所述运动矢量交叉，并且使所述弯曲部向所述运动矢量变小的方向进行动作。
通过该结构，能够将配置在运动矢量为最小的位置的不动点引入到图像内，进行不动点的位置的计算。
另外，在上述方式中，也可以是，该内窥镜系统还具有进退驱动部，该进退驱动部使所述长条部沿所述长度轴方向进退，所述控制装置在所述运动矢量的大小比所述规定阈值大的情况下，控制所述进退驱动部，以使内窥镜向所述长度轴方向后方后退。
通过该结构，通过使长条部向长度轴方向后方后退，视野范围扩大，因此能够将露出到图像的外侧的不动点引入图像内。
另外，在上述方式中，也可以是，所述控制装置根据决定的所述方向而控制所述弯曲驱动部。
通过该结构，通过控制装置的动作，能够决定从配置在运动矢量为最小的位置的不动点来位于图像的中心的方向，从而自动地高精度地使弯曲部直线化。
另外，在上述方式中，也可以是，所述控制装置将所述弯曲部的角度向使计算出的所述不动点的位置与所述中心的距离减小的方向调节。
通过该结构，能够决定从配置在运动矢量为最小的位置的不动点来位于图像的中心的方向，从而高精度地使弯曲部直线化。
另外，在上述方式中，也可以是，该内窥镜系统具有信息通知部，该信息通知部通知由所述控制装置决定的所述方向。
通过该结构，手术医生能够根据通知的信息来操作内窥镜，使弯曲部弯曲，能够决定从配置在运动矢量为最小的位置的不动点来位于图像的中心的方向，从而通过手动高精度地使弯曲部直线化。
另外，本发明的另一方式为内窥镜的校准方法，所述内窥镜具有：长条部，其具有长度轴；摄像部，其配置在该长条部的前端；以及弯曲部，其使该摄像部相对于所述长条部的倾斜角度变化，该内窥镜的校准方法具有如下步骤：获取由所述摄像部在所述长条部的旋转动作中拍摄到的多个图像；根据获取的多个所述图像来计算该图像上的不动点的位置；决定从计算出的该不动点的位置来位于所述图像的中心的方向；以及根据决定的方向使所述弯曲部进行动作。
在上述方式中，也可以是，该内窥镜的校准方法具有如下步骤：根据多个所述图像设定多个不动点候选；计算各该不动点候选在所述长条部的旋转动作中的运动矢量；以及计算所计算的各该运动矢量的大小成为最小的所述不动点候选的位置，作为所述不动点的位置。
另外，在上述方式中，也可以是，计算所述运动矢量的大小为最小并且比规定阈值小的所述不动点候选的位置，作为所述不动点的位置。
另外，在上述方式中，也可以是，在所述运动矢量的大小比所述规定阈值大的情况下，使所述弯曲部与所述运动矢量交叉，并且使所述弯曲部向所述运动矢量变小的方向进行动作。
另外，在上述方式中，也可以是，在所述运动矢量的大小比所述规定阈值大的情况下，使所述内窥镜向该内窥镜的长度轴方向后方后退。
另外，本发明的另一方式为内窥镜的控制装置，其中，该内窥镜的控制装置具有1个以上的处理器，该处理器进行如下处理：由所述内窥镜的摄像部获取在所述内窥镜的长条部的基于所述内窥镜的旋转驱动部的旋转动作中拍摄到的多个图像；根据获取的所述多个图像来计算图像上的不动点的位置；以及决定从计算出的所述不动点的位置来位于所述图像的中心的方向。
在上述方式中，也可以是，所述处理器进行如下处理：根据多个所述图像设定多个不动点候选；计算各该不动点候选在所述长条部的旋转动作中的运动矢量；以及计算所计算的各该运动矢量的大小成为最小的所述不动点候选的位置，作为所述不动点的位置。
另外，在上述方式中，也可以是，所述处理器计算所述运动矢量的大小为最小并且比规定阈值小的所述不动点候选的位置，作为所述不动点的位置。
另外，在上述方式中，也可以是，所述处理器在所述运动矢量的大小比所述规定阈值大的情况下，使所述内窥镜的弯曲部与所述运动矢量交叉，并且使所述弯曲部向所述运动矢量变小的方向进行动作。
另外，在上述方式中，也可以是，所述处理器在所述运动矢量的大小比所述规定阈值大的情况下，使所述内窥镜向所述长条部的长度轴方向后方后退。
发明效果
根据本发明实现了如下效果：能够高精度地使弯曲部直线化。
附图说明
图1是示出本发明的一个实施方式的内窥镜系统的整体结构图。
图2是示出图1的内窥镜系统所具备的内窥镜的插入部和被摄体中的特征点的一例的图。
图3是示出由图2的内窥镜的摄像部获取的图像例的图。
图4是示出在从图2的状态使插入部绕长度轴旋转90°时获取的图像例的图。
图5是示出在从图2的状态使插入部绕长度轴旋转180°时获取的图像例的图。
图6是示出在从图2的状态使插入部绕长度轴旋转270°时获取的图像例的图。
图7是示出根据图3至图6的图像计算出的每个特征点的运动矢量的一例的图。
图8是对使用了图1的内窥镜系统的内窥镜的校准方法进行说明的流程图。
图9是对图8的不动点的检测步骤进行说明的流程图。
图10是对图8的弯曲部驱动步骤进行说明的流程图。
图11是对图10的弯曲部驱动步骤的变形例进行说明的流程图。
图12是示出具有控制装置的内窥镜的一例的图。
图13是示出图1的内窥镜系统的变形例的整体结构图。
具体实施方式
以下，参照附图对本发明的一个实施方式的内窥镜系统1、内窥镜2的校准方法以及内窥镜2的控制装置10进行说明。
如图1所示，本实施方式的内窥镜系统1具有：内窥镜2，其插入到患者的体腔X内，获取体腔X内的图像(参照图3)G；机器人3，其能够调节内窥镜2的位置和姿势；以及控制装置10，其对由内窥镜2获取的图像G进行处理。
内窥镜(2)具有：长条的插入部(长条部)5，其从形成在患者的体壁上的孔插入；摄像部6，其设置在插入部5的前端；弯曲部7，其使摄像部6的视野范围相对于插入部5的长度轴K的倾斜角度变化；弯曲马达(弯曲驱动部)8，其驱动弯曲部7；以及滚动马达(旋转驱动部)9，其使插入部5绕长度轴K旋转。
机器人3可以是将内窥镜2支承在手腕前端的通用的6轴多关节型机器人。
机器人3和内窥镜2与控制装置10连接，在控制装置10上连接有操作装置11。
操作装置11是供操作者在远程操作内窥镜2和机器人3时进行操作的装置，能够进行指示校准的开始的输入。
控制装置10在被从操作装置11进行了指示校准的开始的输入时，通过使内窥镜2的滚动马达9进行动作，使内窥镜2进行动作。然后，控制装置10在插入部5绕长度轴K的旋转动作中获取多张图像G。控制装置10由具有处理器和存储器的计算机构成。
控制装置10在被输入了在插入部5绕长度轴K的旋转动作中获取的多个图像G时，通过处理所输入的多个图像G，计算图像G上的不动点的位置，根据使计算出的不动点的位置接近图像G的中心位置(中心)P的信息，使弯曲马达8进行动作。
另外，关于多个图像G，只要获取多个至少旋转角度位置不同的时机的图像G即可。更具体地说，在插入部5的旋转动作中，按摄像部6的帧频获取多个图像G(随时间获取图像G)。或者，也可以通过在控制装置10中安装计时器功能，预先设定任意的时间间隔或随机的时间间隔，在该时机下获取多个图像G。或者，也可以从滚动马达9的未图示的编码器获取插入部5的旋转角度，根据编码器的检测值，每隔规定的旋转角度获取多个图像G。
这里，对不动点的位置的计算进行说明。
如图2所示，在被摄体O中存在多个特征点的情况下，当在初始状态下弯曲部7向一个方向稍微弯曲时，通过摄像部6获取图3所示那样的图像G。如果从该状态起，在使滚动马达9进行动作而使内窥镜2绕插入部5的长度轴K旋转一周的期间，每隔规定角度例如每隔90°由摄像部6获取图像G，则获取到图3至图6所示的合计4张图像G。
当被输入了这些图像G时，控制装置10计算各特征点的运动矢量。如图7所示，即使在弯曲部7弯曲的状态下使插入部5旋转，配置在插入部5的长度轴K的延长线上的特征点也配置在图像G上的相同位置，因此运动矢量的大小为最小。控制装置10在时间轴方向上相邻的2张图像G之间分别计算各特征点的运动矢量，对计算出的运动矢量的大小进行合计。由此，能够将计算出的运动矢量的大小的合计为最小的特征点检测为不动点。
控制装置10在计算出不动点的位置的坐标时，计算使不动点移动至图像G的中心位置P所需的弯曲马达8的驱动量，作为使计算出的不动点的位置接近图像G的中心位置P的信息。控制装置10根据驱动量来驱动弯曲马达8，由此使弯曲部7进行动作。由此，能够使弯曲部7接近沿着插入部5的长度轴K呈直线状延伸的状态。
接下来，对本实施方式的内窥镜系统1中的内窥镜2的校准方法进行说明。
本实施方式的校准方法是将弯曲部7配置成沿着插入部5的长度轴K呈直线状延伸的状态的方法，如图8所示，首先，该方法包含：不动点检测步骤S1，计算图像G内的不动点的位置，弯曲部驱动步骤S2，根据计算出的不动点位置，使弯曲部7进行弯曲动作。
在不动点检测步骤S1中，如图9所示，在操作装置11中输入了开始校准的指示时，首先将计数器n设定为n＝0(步骤S101)，通过摄像部6获取图像G(步骤S102)。
获取到的图像G被发送给控制装置10而被提取多个特征点(步骤S103)，存储发送来的图像G和提取的特征点的坐标(步骤S104)。
判定计数器是否为规定的次数A(步骤S105)，在不为规定的次数A的情况下，使滚动马达9进行动作，使插入部5绕长度轴K旋转规定角度θ(步骤S106)。这里，例如θ＝90°，A＝360°/θ＝4。规定角度θ只要小于180°即可。
将计数器递增(步骤S107)，判定计数器n是否为n＝1(步骤S108)，在n＝1的情况下，反复进行从步骤S102开始的程序。在计数器n不为n＝1的情况下，根据紧前的2张图像G来计算各特征点的运动矢量(步骤S109)并存储(步骤S110)，反复进行从步骤S102开始的程序。
在步骤S105中n＝A的情况下，按每个特征点计算到此为止计算出的运动矢量的大小的总和S(步骤S111)。然后，对针对各特征点计算出的运动矢量的大小的总和S的大小进行比较，提取具有最小的总和Smin的特征点(步骤S112)。然后，判定计算出的最小的总和Smin是否小于规定的阈值B(步骤S113)，在小于规定的阈值B的情况下，将具有最小的总和Smin的特征点检测为不动点，并存储其坐标(步骤S114)。在最小的总和Smin为规定的阈值B以上的情况下，有可能在图像G上不存在不动点，因此在使弯曲部7进行动作之后(步骤S115)，反复进行从步骤S101开始的程序。
作为步骤S115中的弯曲动作，可以举出以下两种方法。
第一是如下方法：由于估计为在连结图像G的中心位置P和在步骤S112中提取出的具有最小的运动矢量的总和Smin的特征点的直线的延长线上存在不动点，因此为了使从图像G露出的不动点进入图像G内，使弯曲部7向前端从图像G的中心位置P朝向具有最小的运动矢量的总和Smin的特征点移动的方向进行弯曲动作。
第二是如下方法：不估计不动点的方向，而一边使弯曲部7向任意的方向弯曲规定角度一边搜索不动点，在即使弯曲多次也未发现不动点的情况下，切换弯曲方向而反复进行同样的处理。
如图10所示，在弯曲部驱动步骤S2中，首先根据计算出的不动点的位置的坐标和图像G的中心位置P的坐标来计算从图像G的中心位置P至不动点的距离L(步骤S201)。判定计算出的距离L是否为规定的阈值Th以下(步骤S202)，如果为阈值Th以下，则结束处理。在比阈值Th大的情况下，判定不动点相对于图像G的中心位置P的方向(步骤S203)。
在步骤S203中，判定不动点相对于图像G的中心位置P是否位于上下方向，在位于上下方向的情况下，判定是否位于上方向(步骤S204)，在不位于上方向的情况下，可以判定为弯曲部7相对于插入部5的长度轴K向上弯曲，控制装置10控制弯曲马达8，使弯曲部7向下动作规定角度(步骤S205)。另一方面，在不动点相对于图像G的中心位置P存在于上方向的情况下，可以判定为弯曲部7相对于插入部5的长度轴K向下弯曲，控制装置10使弯曲部7向上动作规定角度(步骤S206)。
另外，在步骤S203中判定为不位于上下方向的情况下，判定是否位于左方向(步骤S207)，在不位于左方向的情况下，可以判定为弯曲部7相对于插入部5的长度轴K向左弯曲，控制装置10使弯曲部7向右动作规定角度(步骤S208)。另一方面，在不动点相对于图像G的中心位置P存在于左方向的情况下，可以判定为弯曲部7相对于插入部5的长度轴K向右弯曲，控制装置10使弯曲部7向左动作规定角度(步骤S209)。
在步骤S205、S206、S208、S209结束之后，反复进行从步骤S201开始的程序。然后，在步骤S202中，在判定为距离L为阈值Th以下的情况下，校准动作结束。
根据本实施方式的内窥镜系统1、内窥镜2的校准方法以及内窥镜2的控制装置10，将内窥镜2的插入部5从设置在前端的摄像部6插入到体内，使滚动马达9进行动作，使插入部5绕长度轴K旋转，并且在旋转动作中使摄像部6进行动作，获取多个图像G。
然后，通过在控制装置10中处理所获取的多个图像G，计算出图像G上的不动点的位置，得到使不动点的位置接近图像G的中心位置P的信息。
即，基于滚动马达9的旋转动作使插入部5绕长度轴K旋转，因此在旋转动作中由摄像部6随时间获取的图像G绕不动点旋转，该不动点是配置在长度轴K的延长线上的点。因此，控制装置10根据信息，通过弯曲马达8的动作来驱动弯曲部7，使不动点的位置接近图像G的中心位置P。即，能够决定从不动点的位置来位于图像G的中心位置P的方向，由此，能够高精度地使弯曲部7直线化。
另外，在本实施方式中，例示了在弯曲部驱动步骤S2中，将弯曲部7向上下左右方向驱动规定角度的情况，但也可以取而代之，如图11所示，根据在步骤S201中计算出的距离L来计算弯曲马达8的驱动角度(步骤S210)。例如，只要通过距离L乘以常数C来计算弯曲马达8的驱动角度D即可。由此，随着不动点接近图像G的中心位置P，弯曲部7的驱动角度D变小，因此具有能够更高精度地使弯曲部7直线化的优点。
另外，在本实施方式中，例示了控制装置10根据操作装置11的操作来控制机器人3和内窥镜2的内窥镜系统1，但不限于此，也可以是手动的内窥镜2由保持内窥镜2的位置和姿势的外科用臂等支承装置支承。只要在内窥镜2上设置有使插入部5绕长度轴K旋转的手动的手柄(旋转驱动部：参照图12)22和使弯曲部7弯曲的手动的手柄(弯曲驱动部：参照图12)23即可。
在该情况下，只要具有如下的信息通知部(参照图12)20即可，该信息通知部20通知从控制装置10输出的使不动点的位置接近图像G的中心位置P的信息。
作为信息通知部20，可以采用显示器、扬声器等任意的通知单元。
在通过显示器进行通知的情况下，也可以是，作为使不动点的位置接近图像G的中心位置P的信息，显示“请向右方向弯曲5°”那样的文字。手术医生根据信息通知部20中的通知内容，使内窥镜2进行动作，由此，控制装置10对获取到的图像G进行处理，能够使不动点的位置接近图像G的中心位置P。另外，也可以不明示角度，而仅通知弯曲的方向。
另外，可以不准备机器人3或外科用臂，而应用于手动的内窥镜系统21，该内窥镜系统21如图12所示，在手术医生所支承的内窥镜2自身设置有手柄22、23、控制装置10、滚动马达9以及弯曲马达8。
另外，在本实施方式中，在未在图像G内计算出不动点的位置的情况下，使弯曲部7进行弯曲动作，使内窥镜2的视野范围移动至不动点被取入到图像G内的位置，但也可以取而代之，通过机器人(进退驱动部)3等使内窥镜2在沿着插入部5的长度轴K的方向上后退，扩大视野范围，由此将不动点取入到图像G内。由此，不使弯曲部7进行动作即可，因此在插入部5的前端的弯曲部7的动作空间狭小的情况下，可以在避免与周围组织的干涉的同时计算不动点的位置。
另外，在该情况下，例示了6轴多关节型机器人，但也可以取而代之，如图13所示，采用在4轴机器人的前端具有使内窥镜2在沿着插入部5的长度轴K的方向上进退的直动轴(进退驱动部)30的机器人3。由此，能够更简单地使内窥镜2沿插入部5的长度轴方向进退。
另外，在本实施方式中，例示了为了使图像G的中心位置P与不动点一致，使弯曲部7向上下左右这4个方向分别进行弯曲动作的情况，但也可以取而代之，组合4个方向的弯曲动作，使弯曲部7与计算出的运动矢量交叉，并且使弯曲部7向运动矢量变小的方向进行弯曲动作。
另外，在本实施方式中，作为控制装置10，例示了执行内窥镜2的控制和图像处理的装置，但也可以取而代之，采用单独设置控制内窥镜2的装置和执行图像处理的装置的结构。
标号说明
1、21：内窥镜系统；3：机器人(进退驱动部)；5：插入部(长条部)；6：摄像部；7：弯曲部；8：弯曲马达(弯曲驱动部)；9：滚动马达(旋转驱动部)；10：控制装置；20：信息通知部；22：手柄(旋转驱动部)；23：手柄(弯曲驱动部)；30：直动轴(进退驱动部)；G：图像；K：长度轴；P：中心位置(中心)。

Claims (18)

1.一种内窥镜系统，其具有：
长条部，其具有长度轴；
摄像部，其设置在该长条部的前端；
弯曲部，其使该摄像部相对于所述长条部的倾斜角度变化；
弯曲驱动部，其驱动该弯曲部；
旋转驱动部，其使所述长条部绕所述长度轴旋转；以及
控制装置，其对由所述摄像部获取的图像进行处理，
该控制装置进行如下处理：
从所述摄像部获取在所述长条部的基于所述旋转驱动部的旋转动作中拍摄到的多个所述图像；
根据获取的多个所述图像来计算该图像上的不动点的位置；以及
决定从计算出的所述不动点的位置来位于所述图像的中心的方向。
2.根据权利要求1所述的内窥镜系统，其中，
所述控制装置进行如下处理：
根据多个所述图像设定多个不动点候选；
计算各该不动点候选在所述长条部的旋转动作中的运动矢量；以及
计算所计算的各该运动矢量的大小成为最小的所述不动点候选的位置，作为所述不动点的位置。
3.根据权利要求2所述的内窥镜系统，其中，
所述控制装置计算所述运动矢量的大小为最小且比规定阈值小的所述不动点候选的位置，作为所述不动点的位置。
4.根据权利要求3所述的内窥镜系统，其中，
所述控制装置在所述运动矢量的大小比所述规定阈值大的情况下，通过所述弯曲驱动部使所述弯曲部与所述运动矢量交叉，并且使所述弯曲部向所述运动矢量变小的方向进行动作。
5.根据权利要求3所述的内窥镜系统，其中，
该内窥镜系统还具有进退驱动部，该进退驱动部使所述长条部沿所述长度轴方向进退，
所述控制装置在所述运动矢量的大小比所述规定阈值大的情况下，控制所述进退驱动部，以使内窥镜向所述长度轴方向后方后退。
6.根据权利要求1所述的内窥镜系统，其中，
所述控制装置根据决定的所述方向而控制所述弯曲驱动部。
7.根据权利要求6所述的内窥镜系统，其中，
所述控制装置将所述弯曲部的角度向使计算出的所述不动点的位置与所述中心的距离减小的方向调节。
8.根据权利要求1所述的内窥镜系统，其中，
该内窥镜系统具有信息通知部，该信息通知部通知由所述控制装置决定的所述方向。
9.一种内窥镜的校准方法，其中，
所述内窥镜具有：长条部，其具有长度轴；摄像部，其设置在该长条部的前端；以及弯曲部，其使该摄像部相对于所述长条部的倾斜角度变化，
该内窥镜的校准方法具有如下步骤：
获取由所述摄像部在所述长条部的旋转动作中拍摄到的多个图像；
根据获取的多个所述图像来计算该图像上的不动点的位置；
决定从计算出的该不动点的位置来位于所述图像的中心的方向；以及
根据决定的方向使所述弯曲部进行动作。
10.根据权利要求9所述的内窥镜的校准方法，其中，
该内窥镜的校准方法具有如下步骤：
根据多个所述图像设定多个不动点候选；
计算各该不动点候选在所述长条部的旋转动作中的运动矢量；以及
计算所计算的各该运动矢量的大小成为最小的所述不动点候选的位置，作为所述不动点的位置。
11.根据权利要求10所述的内窥镜的校准方法，其中，
计算所述运动矢量的大小为最小并且比规定阈值小的所述不动点候选的位置，作为所述不动点的位置。
12.根据权利要求11所述的内窥镜的校准方法，其中，
在所述运动矢量的大小比所述规定阈值大的情况下，使所述弯曲部与所述运动矢量交叉，并且使所述弯曲部向所述运动矢量变小的方向进行动作。
13.根据权利要求11所述的内窥镜的校准方法，其中，
在所述运动矢量的大小比所述规定阈值大的情况下，使所述内窥镜向该内窥镜的长度轴方向后方后退。
14.一种内窥镜的控制装置，其中，
该内窥镜的控制装置具有1个以上的处理器，
该处理器进行如下处理：
由所述内窥镜的摄像部获取在所述内窥镜的长条部的基于所述内窥镜的旋转驱动部的旋转动作中拍摄到的多个图像；
根据获取的所述多个图像来计算图像上的不动点的位置；以及
决定从计算出的所述不动点的位置来位于所述图像的中心的方向。
15.根据权利要求14所述的内窥镜的控制装置，其中，
所述处理器进行如下处理：
根据多个所述图像设定多个不动点候选；
计算各该不动点候选在所述长条部的旋转动作中的运动矢量；以及
计算所计算的各该运动矢量的大小成为最小的所述不动点候选的位置，作为所述不动点的位置。
16.根据权利要求15所述的内窥镜的控制装置，其中，
所述处理器计算所述运动矢量的大小为最小并且比规定阈值小的所述不动点候选的位置，作为所述不动点的位置。
17.根据权利要求16所述的内窥镜的控制装置，其中，
所述处理器在所述运动矢量的大小比所述规定阈值大的情况下，使所述内窥镜的弯曲部与所述运动矢量交叉，并且使所述弯曲部向所述运动矢量变小的方向进行动作。
18.根据权利要求16所述的内窥镜的控制装置，其中，
所述处理器在所述运动矢量的大小比所述规定阈值大的情况下，使所述内窥镜向所述长条部的长度轴方向后方后退。
CN201880095017.6A 2018-07-11 2018-07-11 内窥镜系统、内窥镜的校准方法以及内窥镜的控制装置 Pending CN112351722A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/026181 WO2020012576A1 (ja) 2018-07-11 2018-07-11 内視鏡システム、内視鏡のキャリブレーション方法および内視鏡の制御装置

Publications (1)

Publication Number Publication Date
CN112351722A true CN112351722A (zh) 2021-02-09

Family

ID=69141418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880095017.6A Pending CN112351722A (zh) 2018-07-11 2018-07-11 内窥镜系统、内窥镜的校准方法以及内窥镜的控制装置

Country Status (4)

Country Link
US (1) US20210121250A1 (zh)
JP (1) JP7135087B2 (zh)
CN (1) CN112351722A (zh)
WO (1) WO2020012576A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113397704B (zh) * 2021-05-10 2022-05-20 武汉联影智融医疗科技有限公司 机器人定位方法、装置、系统及计算机设备
WO2023126769A1 (en) * 2021-12-30 2023-07-06 Auris Health, Inc. Calibration of camera and location sensor
CN114136682B (zh) * 2022-01-27 2022-05-17 极限人工智能有限公司 器械的运动控制精度检测方法、装置、设备及存储介质

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06114002A (ja) * 1992-10-01 1994-04-26 Olympus Optical Co Ltd 内視鏡装置
US20020165430A1 (en) * 2001-04-24 2002-11-07 Olympus Optical Co., Ltd. Centering mechanism for controlling the bending of an electrically bendable endoscope, and an endoscope system
US20050177026A1 (en) * 2004-02-09 2005-08-11 Hoeg Hans D. Endoscope with variable direction of view module
WO2005091649A1 (ja) * 2004-03-22 2005-09-29 National University Corporation Shizuoka University 単一の撮像装置で連続取得したビデオ映像による立体表示方法
US20060015012A1 (en) * 2004-07-14 2006-01-19 Saichi Sato Endoscope device
US20070083098A1 (en) * 2005-09-29 2007-04-12 Intuitive Surgical Inc. Autofocus and/or autoscaling in telesurgery
US20090259099A1 (en) * 2008-04-10 2009-10-15 Georgia Tech Research Corporation Image-based control systems
JP2009261798A (ja) * 2008-04-28 2009-11-12 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2010035587A (ja) * 2008-07-31 2010-02-18 Fujifilm Corp 内視鏡、内視鏡システム及び内視鏡の湾曲部矯正方法
CN102469914A (zh) * 2009-09-30 2012-05-23 奥林巴斯医疗株式会社 内窥镜装置以及弯曲驱动控制方法
JP2014232222A (ja) * 2013-05-29 2014-12-11 オリンパス株式会社 内視鏡装置及び内視鏡画像の撮影方法
WO2015141483A1 (ja) * 2014-03-17 2015-09-24 オリンパス株式会社 内視鏡システム
WO2016136353A1 (ja) * 2015-02-26 2016-09-01 オリンパス株式会社 内視鏡システム及び内視鏡較正方法
US20170135557A1 (en) * 2014-12-19 2017-05-18 Olympus Corporation Endoscope system
US20170360285A1 (en) * 2015-03-18 2017-12-21 Fujifilm Corporation Image processing device, method, and program
US20180008251A1 (en) * 2016-07-07 2018-01-11 Brian Giles Medical devices with distal control
US20180132699A1 (en) * 2015-05-28 2018-05-17 Olympus Corporation Endoscope system
US20180140168A1 (en) * 2015-07-23 2018-05-24 Olympus Corporation Manipulator, medical system, and medical system control method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5588948A (en) * 1993-02-17 1996-12-31 Olympus Optical Co. Ltd. Stereoscopic endoscope
JP4197877B2 (ja) * 2002-02-25 2008-12-17 オリンパス株式会社 電動湾曲内視鏡装置及びキャリブレーション方法
US7599730B2 (en) * 2002-11-19 2009-10-06 Medtronic Navigation, Inc. Navigation system for cardiac therapies
WO2013192598A1 (en) * 2012-06-21 2013-12-27 Excelsius Surgical, L.L.C. Surgical robot platform

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06114002A (ja) * 1992-10-01 1994-04-26 Olympus Optical Co Ltd 内視鏡装置
US20020165430A1 (en) * 2001-04-24 2002-11-07 Olympus Optical Co., Ltd. Centering mechanism for controlling the bending of an electrically bendable endoscope, and an endoscope system
US20050177026A1 (en) * 2004-02-09 2005-08-11 Hoeg Hans D. Endoscope with variable direction of view module
WO2005091649A1 (ja) * 2004-03-22 2005-09-29 National University Corporation Shizuoka University 単一の撮像装置で連続取得したビデオ映像による立体表示方法
US20060015012A1 (en) * 2004-07-14 2006-01-19 Saichi Sato Endoscope device
US20070083098A1 (en) * 2005-09-29 2007-04-12 Intuitive Surgical Inc. Autofocus and/or autoscaling in telesurgery
US20090259099A1 (en) * 2008-04-10 2009-10-15 Georgia Tech Research Corporation Image-based control systems
JP2009261798A (ja) * 2008-04-28 2009-11-12 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2010035587A (ja) * 2008-07-31 2010-02-18 Fujifilm Corp 内視鏡、内視鏡システム及び内視鏡の湾曲部矯正方法
CN102469914A (zh) * 2009-09-30 2012-05-23 奥林巴斯医疗株式会社 内窥镜装置以及弯曲驱动控制方法
JP2014232222A (ja) * 2013-05-29 2014-12-11 オリンパス株式会社 内視鏡装置及び内視鏡画像の撮影方法
WO2015141483A1 (ja) * 2014-03-17 2015-09-24 オリンパス株式会社 内視鏡システム
US20170135557A1 (en) * 2014-12-19 2017-05-18 Olympus Corporation Endoscope system
WO2016136353A1 (ja) * 2015-02-26 2016-09-01 オリンパス株式会社 内視鏡システム及び内視鏡較正方法
US20170360285A1 (en) * 2015-03-18 2017-12-21 Fujifilm Corporation Image processing device, method, and program
US20180132699A1 (en) * 2015-05-28 2018-05-17 Olympus Corporation Endoscope system
US20180140168A1 (en) * 2015-07-23 2018-05-24 Olympus Corporation Manipulator, medical system, and medical system control method
US20180008251A1 (en) * 2016-07-07 2018-01-11 Brian Giles Medical devices with distal control

Also Published As

Publication number Publication date
JP7135087B2 (ja) 2022-09-12
JPWO2020012576A1 (ja) 2021-08-02
WO2020012576A1 (ja) 2020-01-16
US20210121250A1 (en) 2021-04-29

Similar Documents

Publication Publication Date Title
US20210121250A1 (en) Endoscope system, method for calibrating endoscope, and endoscope control device
US10932875B2 (en) Manipulator, medical system, and medical system control method
JP6218634B2 (ja) 内視鏡システム及び内視鏡の作動方法
JP6064263B2 (ja) 力計測装置及び力計測方法、マスタースレーブ装置、力計測プログラム、並びに、集積電子回路
EP3326566A1 (en) Medical system and operation method therefor
JP5024785B2 (ja) 内視鏡装置に搭載されるアームシステム
JP5932172B2 (ja) 内視鏡システム
JP5788623B2 (ja) 内視鏡システム
JP6957645B2 (ja) 推奨操作呈示システム、推奨操作呈示制御装置及び推奨操作呈示システムの作動方法
US11540699B2 (en) Medical manipulator system
JP2006218027A (ja) 内視鏡装置
WO2015116584A1 (en) Ultrasound diagnostic apparatus, method thereof and program
US20230172675A1 (en) Controller, endoscope system, and control method
KR102386660B1 (ko) 결석 제거장치 및 결석 크기 측정방법
JP2016168142A (ja) 超音波プローブの位置姿勢提示システム、画像生成装置及びそのプログラム
EP3305161A1 (en) Endoscope system
US9603507B2 (en) Insertion device
WO2019003272A1 (ja) 可撓管挿入装置、挿入制御装置及び挿入制御プログラム
US11812925B2 (en) Movement assistance system and movement assistance method for controlling output of position estimation result
CN111522299B (zh) 机械控制装置
WO2023100234A1 (ja) 内視鏡システムおよび座標系補正方法
CN113876427B (zh) 一种腔内夹钳的检测装置及方法
US20230363777A1 (en) Medical system, operation method for medical system, and information storage medium
JP7221787B2 (ja) 血管径測定システム
CN112004495A (zh) 推算装置、推算方法、以及程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination