CN108685560A - 用于机器人内窥镜的自动化转向系统和方法 - Google Patents

用于机器人内窥镜的自动化转向系统和方法 Download PDF

Info

Publication number
CN108685560A
CN108685560A CN201810326469.2A CN201810326469A CN108685560A CN 108685560 A CN108685560 A CN 108685560A CN 201810326469 A CN201810326469 A CN 201810326469A CN 108685560 A CN108685560 A CN 108685560A
Authority
CN
China
Prior art keywords
data
chamber
center
image
cases
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810326469.2A
Other languages
English (en)
Other versions
CN108685560B (zh
Inventor
杨重光
朱棣文
陈文岭
彭天泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelligent Microinvasive Medicine Hong Kong Co ltd
Original Assignee
Hong Kong Biomedical Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hong Kong Biomedical Engineering Co Ltd filed Critical Hong Kong Biomedical Engineering Co Ltd
Publication of CN108685560A publication Critical patent/CN108685560A/zh
Application granted granted Critical
Publication of CN108685560B publication Critical patent/CN108685560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00097—Sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/0016—Holding or positioning arrangements using motor drive units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/303—Surgical robots specifically adapted for manipulations within body lumens, e.g. within lumen of gut, spine, or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45118—Endoscopic, laparoscopic manipulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Endoscopes (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)

Abstract

提供了用于机器人内窥镜(例如，结肠镜)的自动化转向控制的系统和方法。所述控制系统可以包括：a)第一图像传感器，其被配置用于捕获包含腔的一系列两个或更多个图像的第一输入数据流；以及b)一个或多个处理器，其单独地或共同地被配置用于基于使用机器学习架构对从所述第一输入数据流导出的数据的分析来生成转向控制输出信号，其中所述转向控制输出信号实时适应于所述第一输入数据流的数据的变化。

Description

用于机器人内窥镜的自动化转向系统和方法
交叉引用
本申请要求2017年4月12日提交的美国临时申请号62/484,754, 2017年7月21日提交的美国临时申请号62/535,386,2018年3月22 日提交的美国正式申请号15/928,843和2018年3月22日提交的PCT 申请号PCT/CN2018/080034的权益，上述申请通过引用并入于此。
背景技术
常规结肠镜检查已被用于结直肠癌筛查。然而，由于结肠是具有许多内部隆脊和急弯的曲折而柔韧的管，因此结肠镜的推进是困难的，并且往往并发结肠过度纠缠和拉伸。这可能导致显著疼痛和不适，以及结肠过度扩张或者甚至穿孔的重大风险。因此，结肠镜的熟练操纵需要来自医生的很高程度的技术专长。
机器人技术具有可以并入到用于包括结肠镜检查在内的多种应用的内窥镜中的优点。例如，通过利用能够有效地穿过像结肠内部之类复杂环境移动的柔软可变形结构，可以显著减轻疼痛和患者不适，同时将结肠穿孔的风险减到最小。然而，对此类机器人内窥镜的引导可能仍然需要医生的高度技术专长。
因此，总体上需要用于内窥镜自动化转向控制并且特别是用于机器人结肠镜转向的改进的系统和方法。在文献中已经描述了用于标识结肠腔的中心和确定推进的结肠镜的导航方向的多种基于图像处理的方法(例如，参见：2010年10月18-22日在中国台湾台北举办的 IEEE/RSJ International Conference on Intelligent Robots and Systems的页2339，Reilink等人(2010)的“Image-Based Flexible Endoscope Steering”；2012年6月24-27日在意大利罗马举办的The Fourth IEEE RAS/EMBS International Conference onBiomedical Robotics and Biomechatronics的页13，van der Stap等人(2012)的“TheUse of the Focus of Expansion for Automated Steering of Flexible Endoscopes”；Ciuti等人(2012)的“Intra-Operative Monocular 3D Reconstruction for Image-Guided Navigation in Active Locomotion Capsule Endoscopy”, IEEE RAS EMBSInternational Conference on Biomedical Robotics and Biomechatronics，pp.768-774；Bell等人(2013)的“Image Partitioning and Illumination in Image Based PoseDetection for Teloperated Flexible Endoscopes”，Artificial Intelligence inMedicine 59(3):185-196；van der Stap等人(2013)的“Towards Automated VisualFlexible Endoscope Navigation”，Surg Endosc.27(10):3539-3547；Pullens等人(2016)的“Colonoscopy with Robotic Steering and Automated Lumen Centralization:aFeasibility Study in a Colon Model”，Endoscopy 48(3):286-290；以及van der Stap等人(2016)的“Feasibility of Automated Target Centralization in Colonoscopy”，Int J Comput Assist Radiol Surg.11(3):457-465)。然而，迄今为止，还没有任何单一方法已足够可靠用于增强或替代熟练外科医生所提供的诀窍。本公开内容描述了新颖方法和系统，其利用多个图像传感器和/或非成像传感器所提供的数据，使用图像处理算法和/或机器学习算法的组合的图像处理来标识推进的结肠镜前方的结肠腔的中心位置和确定导航方向。机器学习方法的使用允许该系统仿真外科医生引导结肠镜前进的思维过程。除了结肠镜检查之外，所公开的方法和系统还可适用于多种其他内窥镜应用。
发明内容
提供了用于机器人内窥镜(例如，机器人结肠镜)的自动化转向控制的系统和方法。本文所述的本发明各个方面可适用于下文阐述的任何特定应用。本发明可应用为机器人结肠镜检查系统或者任何需要转向控制的机器人内窥镜系统的自动化转向控制系统。所述系统和方法可以采用基于人工智能的控制方法来改善内窥镜检查系统的性能。
本文公开了用于提供使机器人内窥镜转向的自适应转向控制输出信号的控制系统，所述控制系统包括：a)第一图像传感器，其被配置用于捕获包含腔的一系列两个或更多个图像的第一输入数据流；以及b)一个或多个处理器，其单独地或共同地被配置用于基于使用机器学习架构对从所述第一输入数据流导出的数据的分析来生成转向控制输出信号，其中所述转向控制输出信号实时适应于从所述第一输入数据流导出的数据的变化。
在一些实施方式中，所述控制系统还包括至少第二图像传感器，该第二图像传感器被配置用于捕获包含所述腔的一系列两个或更多个图像的至少第二输入数据流，其中基于使用机器学习架构对从所述第一输入数据流和所述至少第二输入数据流导出的数据的分析来生成所述转向控制输出信号，并且其中所述转向控制输出信号实时适应于从所述第一输入数据流或所述至少第二输入数据流导出的数据的变化。在一些实施方式中，所述第一输入数据流或至少第二输入数据流包含视频数据。在一些实施方式中，所述第一图像传感器和至少第二图像传感器用于提供立体图像，该立体图像包含关于所述腔的壁或其他障碍物相对于所述机器人内窥镜的远端的接近度(proximity)的深度信息。在一些实施方式中，所述分析包括对所述腔的中心的区位的确定、对所述腔的壁的区位的确定、对障碍物的区位的确定、对确定所述腔的中心的区位的置信水平的计算、对腔中心位置数据的完整性的损失或改变的确定，或者其任何组合。在一些实施方式中，所述第一图像传感器位于所述机器人内窥镜的所述远端的可转向远端部分。在一些实施方式中，所述分析包括对一个或多个图像进行自动化图像处理和特征提取以标识所述腔的中心位置。在一些实施方式中，所述分析包括使用至少两种图像处理算法的组合对一个或多个图像进行自动化图像处理和特征提取以标识所述腔的中心位置。在一些实施方式中，所述腔的中心在所述一个或多个图像内不可见，并且基于从由所述第一图像传感器或至少第二图像传感器先前捕获的两个或更多个图像中的所述腔的中心位置导出的运动矢量来计算所述腔的中心的预测位置。在一些实施方式中，单独地或共同地使用图像特征提取数据和所述腔的中心的所述预测位置来实时确定所述腔中心的位置。在一些实施方式中，所述分析包括对一个或多个图像进行自动化图像处理以标识高光反射区域并从而基于光反射与接近度之间的关系确定腔壁或障碍物到所述机器人内窥镜的所述远端的接近度。在一些实施方式中，所述关系由光反射强度梯度或颜色梯度图表示。在一些实施方式中，对所述腔的中心的区位的确定包括：(i)生成多个矢量，其中每个矢量在与图像中标识的轮廓的局部节段垂直的方向上对准，以及(ii)计数与所述图像中的给定像素相交的矢量的数目。在一些实施方式中，对从所述第一输入数据流导出的数据的分析包括计算运动矢量或光强度梯度。在一些实施方式中，基于被标识为所述腔的中心的图像特征的转动惯量来计算确定所述腔的中心的区位的置信水平。在一些实施方式中，针对所述第一输入数据流的图像采集和处理速率至少为10Hz。在一些实施方式中，针对所述至少第二输入数据流的图像采集和处理速率至少为10Hz。在一些实施方式中，所述处理器中的至少一个位于所述机器人内窥镜的所述远端的可转向远端部分，位于所述腔之外，或者远程耦合到所述机器人内窥镜。在一些实施方式中，所述机器学习架构是人工神经网络、递归神经网络或递归卷积神经网络。在一些实施方式中，所述神经网络包括至少 3个层，所述至少3个层包含输入层、一个或多个隐藏层以及输出层。在一些实施方式中，至少所述第一输入数据流作为输入数据提供给所述机器学习架构，并且其中所述机器学习架构的一个或多个参数储存在可由所述一个或多个处理器访问的介质中。在一些实施方式中，所述一个或多个参数预储存在所述介质中。在一些实施方式中，根据至少所述第一输入数据流的可用性来选择所述一个或多个参数。在一些实施方式中，基于由一个或多个附加的机器人内窥镜提供的参数来动态地更新所述一个或多个参数。在一些实施方式中，与所述一个或多个附加的机器人内窥镜共享所述机器学习架构的所述一个或多个参数。在一些实施方式中，使用一个或多个训练数据集作为输入来完善由所述机器学习架构进行的分析。在一些实施方式中，基于熟练操作者的重复使用来完善由所述机器学习架构进行的分析。在一些实施方式中，使用所述转向控制输出信号来控制所述机器人内窥镜的一个或多个致动器。在一些实施方式中，所述一个或多个致动器使所述机器人内窥镜的可转向远端部分的移动生效。在一些实施方式中，围绕包括横滚轴、偏航轴、俯仰轴或其任何组合的一个或多个旋转轴使所述可转向远端部分的移动生效。在一些实施方式中，所述一个或多个致动器选自液压致动器、气动致动器或筋驱动式致动器机构。在一些实施方式中，所述一个或多个处理器还被配置用于当确定所述腔的中心相对于所述机器人内窥镜的所述远端的区位的置信水平低于第一阈限时生成转向控制输出信号以导引所述机器人内窥镜沿着指定路径进行搜索，以及重复以下步骤：(i)对至少所述第一输入数据流的一个或多个图像进行自动化图像处理和特征提取以标识所述腔的中心位置，(ii)计算确定所述腔的中心位置的新的置信水平，以及(iii) 生成所述转向控制输出信号以导引所述机器人内窥镜沿着所述指定路径进行搜索直到所述新的置信水平高于第二阈限。在一些实施方式中，基于针对从所述第一输入数据流确定的腔中心位置的强度计算、转动惯量计算和/或凸度计算来计算所述置信水平。在一些实施方式中，所述指定路径是从螺旋路径、直线网格图案、圆形图案、二维路径、三维路径或其任何组合之中选择的预先确定的路径。在一些实施方式中，通过所述机器学习架构确定所述指定路径。在一些实施方式中，基于对所述第一输入数据流的分析自动地选择所述指定路径。在一些实施方式中，所述机器人内窥镜是机器人结肠镜。在一些实施方式中，所述机器人结肠镜是软机器人结肠镜。
本文还公开了用于提供使机器人内窥镜转向的自适应转向控制输出信号的方法，所述方法包括：a)提供包含一系列两个或更多个图像的第一输入数据流；以及b)基于使用机器学习架构对从所述第一输入数据流导出的数据的分析来生成转向控制输出信号，其中所述转向控制输出信号实时适应于所述第一输入数据流的数据的变化。
在一些实施方式中，所述方法还包括提供包含一系列两个或更多个图像的至少第二输入数据流，其中所述转向控制输出信号是基于使用机器学习架构对从所述第一输入数据流和所述至少第二输入数据流导出的数据的分析的，并且其中所述转向控制输出信号实时适应于从所述第一输入数据流或所述至少第二输入数据流导出的数据的变化。在一些实施方式中，所述第一输入数据流或至少第二输入数据流包含视频数据。在一些实施方式中，所述分析包括对所述腔的中心的区位的确定、对所述腔的壁的区位的确定、对障碍物的区位的确定、对确定所述腔的中心的区位的置信水平的计算、对腔中心位置数据的完整性的损失或改变的确定，或者其任何组合。在一些实施方式中，由位于所述机器人内窥镜的远端的可转向远端部分的图像传感器捕获所述第一输入数据流。在一些实施方式中，由位于所述机器人内窥镜的远端的可转向远端部分的单一图像传感器捕获所述第一输入数据流和至少第二输入数据流。在一些实施方式中，由位于所述机器人内窥镜的远端的可转向部分的第一图像传感器和至少第二图像传感器捕获所述第一输入数据流和至少第二输入数据流。在一些实施方式中，所述分析包括对一个或多个图像进行自动化图像处理和特征提取以标识所述腔的中心位置。在一些实施方式中，所述分析包括使用至少两种图像处理算法的组合对一个或多个图像进行自动化图像处理和特征提取以标识所述腔的中心位置。在一些实施方式中，所述腔的中心在所述一个或多个图像内不可见，并且基于从由所述第一图像传感器或至少第二图像传感器先前捕获的两个或更多个图像中的所述腔的中心位置导出的运动矢量来计算所述腔的中心位置。在一些实施方式中，单独地或共同地使用图像特征提取数据和所述腔的中心的预测位置来实时确定所述腔中心的位置。在一些实施方式中，所述分析包括对一个或多个图像进行自动化图像处理以标识高光反射区域并从而基于光反射与接近度之间的关系确定腔壁或障碍物到所述机器人内窥镜的所述远端的接近度。在一些实施方式中，所述关系由光反射强度梯度或颜色梯度图表示。在一些实施方式中，所述第一图像传感器和至少第二图像传感器用于提供立体图像，该立体图像包含关于所述腔的壁或其他障碍物相对于所述机器人内窥镜的所述远端的接近度的深度信息。在一些实施方式中，对所述腔的中心的区位的确定包括：(i)生成多个矢量，其中每个矢量在与图像中标识的轮廓的局部节段垂直的方向上对准，以及(ii)计数与所述图像中的给定像素相交的矢量的数目。在一些实施方式中，对从所述第一输入数据流导出的数据的分析包括计算运动矢量或光强度梯度。在一些实施方式中，基于被标识为所述腔的中心的图像特征的转动惯量来计算确定所述腔的中心的区位的置信水平。在一些实施方式中，以至少10Hz的速率更新所述转向控制输出信号。在一些实施方式中，以至少100Hz 的速率更新所述转向控制输出信号。在一些实施方式中，所述机器学习架构是人工神经网络、递归神经网络或递归卷积神经网络。在一些实施方式中，所述神经网络包括至少3个层，所述至少3个层包含输入层、一个或多个隐藏层以及输出层。在一些实施方式中，至少所述第一输入数据流作为输入数据提供给所述机器学习架构，并且其中所述机器学习架构的一个或多个参数储存在可由被配置用于实现所述机器学习架构的一个或多个处理器访问的介质中。在一些实施方式中，所述一个或多个参数预储存在所述介质中。在一些实施方式中，根据至少所述第一输入数据流的可用性来选择所述一个或多个参数。在一些实施方式中，基于由一个或多个附加的机器人内窥镜提供的参数来动态地更新所述一个或多个参数。在一些实施方式中，与所述一个或多个附加的机器人内窥镜共享所述机器学习架构的所述一个或多个参数。在一些实施方式中，使用一个或多个训练数据集作为输入来完善由所述机器学习架构进行的分析。在一些实施方式中，基于熟练操作者的重复使用来完善由所述机器学习架构进行的分析。在一些实施方式中，使用所述转向控制输出信号来控制所述机器人内窥镜的一个或多个致动器。在一些实施方式中，所述一个或多个致动器使所述机器人内窥镜的可转向远端部分的移动生效。在一些实施方式中，围绕包括横滚轴、偏航轴、俯仰轴或其任何组合的一个或多个旋转轴使所述可转向远端部分的移动生效。在一些实施方式中，所述一个或多个致动器选自液压致动器、气动致动器或筋驱动式致动器机构。在一些实施方式中，所述方法还包括当确定所述腔的中心相对于所述机器人内窥镜的所述远端的区位的置信水平低于第一阈限时生成转向控制输出信号以导引所述机器人内窥镜沿着指定路径进行搜索，以及重复以下步骤：(i)对至少所述第一输入数据流的一个或多个图像进行自动化图像处理和特征提取以标识所述腔的中心位置，(ii)计算确定所述腔的中心位置的新的置信水平，以及(iii)生成所述转向控制输出信号以导引所述机器人内窥镜沿着所述指定路径进行搜索直到所述新的置信水平高于第二阈限。在一些实施方式中，基于针对从所述第一输入数据流确定的腔中心位置的强度计算、转动惯量计算和/或凸度计算来计算所述置信水平。在一些实施方式中，所述指定路径是从螺旋路径、直线网格图案、圆形图案、二维路径、三维路径或其任何组合之中选择的预先确定的路径。在一些实施方式中，通过所述机器学习架构确定所述指定路径。在一些实施方式中，基于对所述第一输入数据流的分析自动地选择所述指定路径。在一些实施方式中，所述机器人内窥镜是机器人结肠镜。在一些实施方式中，所述机器人结肠镜是软机器人结肠镜。
本文公开了机器人内窥镜，包括：a)细长体结构，其包括一个或多个致动单元以及可转向远端部分；以及b)控制系统，其包括：i) 第一图像传感器，其被配置用于捕获包含腔的一系列两个或更多个图像的第一输入数据流；以及ii)一个或多个处理器，其单独地或共同地被配置用于基于使用机器学习架构对从所述第一输入数据流导出的数据的分析来生成转向控制输出信号以控制所述一个或多个致动单元，其中所述转向控制输出信号实时适应于从所述第一输入数据流导出的数据的变化。
在一些实施方式中，所述细长体结构还包括一个或多个丝线，所述一个或多个丝线由所述一个或多个致动单元驱动以使所述可转向远端部分转向。在一些实施方式中，所述细长体结构包括细长弹性体结构。在一些实施方式中，所述机器人内窥镜还包括至少第二图像传感器，该第二图像传感器被配置用于捕获包含所述腔的一系列两个或更多个图像的至少第二输入数据流，其中基于使用机器学习架构对从所述第一输入数据流和所述至少第二输入数据流导出的数据的分析来生成所述转向控制输出信号，并且其中所述转向控制输出信号实时适应于从所述第一输入数据流或所述至少第二输入数据流导出的数据的变化。在一些实施方式中，所述第一输入数据流或至少第二输入数据流包含视频数据。在一些实施方式中，所述第一图像传感器和至少第二图像传感器用于提供立体图像，该立体图像包含关于所述腔的壁或其他障碍物相对于所述机器人内窥镜的远端的接近度的深度信息。在一些实施方式中，所述分析包括对所述腔的中心的区位的确定、对所述腔的壁的区位的确定、对障碍物的区位的确定、对确定所述腔的中心的区位的置信水平的计算、对腔中心位置数据的完整性的损失或改变的确定，或者其任何组合。在一些实施方式中，所述第一图像传感器位于所述机器人内窥镜的所述可转向远端部分。在一些实施方式中，所述分析包括对一个或多个图像进行自动化图像处理和特征提取以标识所述腔的中心位置。在一些实施方式中，所述分析包括使用至少两种图像处理算法的组合对一个或多个图像进行自动化图像处理和特征提取以标识所述腔的中心位置。在一些实施方式中，所述腔的中心在所述一个或多个图像内不可见，并且基于从由所述第一图像传感器或至少第二图像传感器先前捕获的两个或更多个图像中的所述腔的中心位置导出的运动矢量来计算所述腔的中心的预测位置。在一些实施方式中，单独地或共同地使用图像特征提取数据和所述腔的中心的所述预测位置来实时确定所述腔中心的位置。在一些实施方式中，所述分析包括对一个或多个图像进行自动化图像处理以标识高光反射区域并从而基于光反射与接近度之间的关系确定腔壁或障碍物到所述机器人内窥镜的所述远端的接近度。在一些实施方式中，所述关系由光反射强度梯度或颜色梯度图表示。在一些实施方式中，对所述腔的中心的区位的确定包括：(i)生成多个矢量，其中每个矢量在与图像中标识的轮廓的局部节段垂直的方向上对准，以及(ii) 计数与所述图像中的给定像素相交的矢量的数目。在一些实施方式中，对从所述第一输入数据流导出的数据的分析包括计算运动矢量或光强度梯度。在一些实施方式中，基于被标识为所述腔的中心的图像特征的转动惯量来计算确定所述腔的中心的区位的置信水平。在一些实施方式中，针对所述第一输入数据流的图像采集和处理速率至少为10 Hz。在一些实施方式中，针对所述至少第二输入数据流的图像采集和处理速率至少为10Hz。在一些实施方式中，所述处理器中的至少一个位于所述机器人内窥镜的所述远端的可转向远端部分，位于所述腔之外，或者远程耦合到所述机器人内窥镜。在一些实施方式中，所述机器学习架构是人工神经网络、递归神经网络或递归卷积神经网络。在一些实施方式中，所述神经网络包括至少3个层，所述至少3个层包含输入层、一个或多个隐藏层以及输出层。在一些实施方式中，至少所述第一输入数据流作为输入数据提供给所述机器学习架构，并且其中所述机器学习架构的一个或多个参数储存在可由所述一个或多个处理器访问的介质中。在一些实施方式中，所述一个或多个参数预储存在所述介质中。在一些实施方式中，根据至少所述第一输入数据流的可用性来选择所述一个或多个参数。在一些实施方式中，基于由一个或多个附加的机器人内窥镜提供的参数来动态地更新所述一个或多个参数。在一些实施方式中，与所述一个或多个附加的机器人内窥镜共享所述机器学习架构的所述一个或多个参数。在一些实施方式中，使用一个或多个训练数据集作为输入来完善由所述机器学习架构进行的分析。在一些实施方式中，基于熟练操作者的重复使用来完善由所述机器学习架构进行的分析。在一些实施方式中，所述一个或多个致动器使所述机器人内窥镜的可转向远端部分的移动生效。在一些实施方式中，围绕包括横滚轴、偏航轴、俯仰轴或其任何组合的一个或多个旋转轴使所述可转向远端部分的移动生效。在一些实施方式中，所述一个或多个致动器选自液压致动器、气动致动器或筋驱动式致动器机构。在一些实施方式中，以至少10Hz的速率更新所述转向控制输出信号。在一些实施方式中，以至少100Hz的速率更新所述转向控制输出信号。在一些实施方式中，所述机器人内窥镜的所述远端还包括一个或多个光源用以提供照明。在一些实施方式中，所述一个或多个光源包括发光二极管(LED)。在一些实施方式中，所述机器人内窥镜的所述可转向远端部分包括一个或多个光纤，所述一个或多个光纤耦合到位于结肠腔之外的一个或多个光源。在一些实施方式中，所述一个或多个处理器还被配置用于当确定所述腔的中心相对于所述机器人内窥镜的所述远端的区位的置信水平低于第一阈限时生成转向控制输出信号以导引所述机器人内窥镜的所述可转向远端部分沿着指定路径进行搜索，以及重复以下步骤：(i)对至少所述第一输入数据流的一个或多个图像进行自动化图像处理和特征提取以标识所述腔的中心位置，(ii)计算确定所述腔的中心位置的新的置信水平，以及(iii)生成所述转向控制输出信号以导引所述机器人内窥镜沿着所述指定路径进行搜索直到所述新的置信水平高于第二阈限。在一些实施方式中，基于针对从所述第一输入数据流确定的腔中心位置的强度计算、转动惯量计算和/或凸度计算来计算所述置信水平。在一些实施方式中，所述指定路径是从螺旋路径、直线网格图案、圆形图案、二维路径、三维路径或其任何组合之中选择的预先确定的路径。在一些实施方式中，通过所述机器学习架构确定所述指定路径。在一些实施方式中，基于对所述第一输入数据流的分析自动地选择所述指定路径。在一些实施方式中，所述机器人内窥镜是机器人结肠镜。在一些实施方式中，所述机器人结肠镜是软机器人结肠镜。
在本发明的一个方面，提供了一种用于提供使机器人内窥镜转向的自适应转向控制输出信号的控制系统。所述控制系统可以包括： a)第一传感器，其被配置用于提供第一输入数据流，其中所述第一输入数据流包含与所述机器人内窥镜的远端相对于腔的中心、相对于所述腔的壁、相对于其他障碍物或其任何组合的位置相关的数据；以及b)处理器，其被配置用于基于使用机器学习架构对所述第一输入数据流的分析来生成转向控制输出信号，其中所述转向控制输出信号实时适应于所述第一输入数据流的数据的变化。
在一些实施方式中，所述系统还包括至少第二传感器，该第二传感器被配置用于提供至少第二输入数据流，其中所述至少第二输入数据流包含不同于所述第一输入数据流的，与所述机器人内窥镜的所述远端相对于所述腔的中心、相对于所述腔的壁、相对于其他障碍物或其任何组合的位置相关的数据；并且其中所述处理器被配置用于基于使用所述机器学习架构对所述第一输入数据流和所述至少第二输入数据流的分析来生成转向控制输出信号，其中所述转向控制输出信号实时适应于所述第一数据流或至少第二数据流中任一个或其组合的变化。在一些情况下，所述第一传感器是图像传感器。在一些情况下，所述第一传感器和所述至少第二传感器全都是图像传感器。在一些情况下，所述图像传感器被配置用于采集图像数据或视频数据。在一些实施方式中，所述第一传感器位于所述机器人内窥镜的所述远端的可转向远端部分。
在一些情况下，所述第一输入数据流包含通过对一个或多个图像帧进行自动化图像处理和特征提取而获得的数据，用以标识所述腔的中心位置。在一些情况下，所述腔的中心在所述一个或多个图像帧中的至少一个内不可见，并且基于运动矢量来计算所述腔的中心位置。在一些情况下，所述第一输入数据流包含通过对一个或多个图像帧进行自动化图像处理而获得数据，用以标识高光反射区域并从而基于光反射与接近度之间的关系来确定腔壁或障碍物到所述机器人内窥镜的所述远端的接近度，并且在一些示例中，所述关系由光反射强度梯度或颜色梯度图表示。
在一些情况下，所述第一图像传感器和至少第二图像传感器用于提供立体图像，该立体图像包含关于靠近所述机器人内窥镜的所述远端的腔的深度信息。在一些情况下，所述深度信息指示出所述腔的壁或其他障碍物相对于所述机器人内窥镜的所述远端的接近度。在一些情况下，所述第一输入数据流包含通过对一个或多个立体图像帧进行自动化图像处理和特征提取而获得的数据，用以标识所述腔的中心位置。在一些情况下，所述腔的中心在所述一个或多个立体图像帧中的至少一个内不可见，并且基于运动矢量来计算结肠腔的中心位置。在一些情况下，所述第一输入数据流包含通过对一个或多个立体图像帧进行自动化图像处理而获得的数据，用以标识高光反射区域并从而基于光反射与接近度之间的关系来确定腔壁或障碍物到所述机器人内窥镜的所述远端的接近度，并且所述关系在一些示例中由光反射强度梯度或颜色梯度图表示。在一些情况下，所述至少第二传感器是距离传感器，诸如包括多个感测电极的电容碰触传感器。在一些示例中，所述距离传感器位于所述机器人内窥镜的所述远端的可转向远端部分。
在一些实施方式中，图像采集和处理速率针对所述第一数据流至少为10Hz，并且针对所述至少第二数据流至少为10Hz。在一些实施方式中，所述处理器位于所述机器人内窥镜的所述远端的可转向远端部分，或者位于所述腔之外。在一些实施方式中，所述处理器远程耦合到所述机器人内窥镜。
在一些实施方式中，将所述机器学习架构实现为神经网络。在一些情况下，所述神经网络包括至少3个层。在一些情况下，所述至少3个层包含输入层、一个或多个隐藏层以及输出层。在一些情况下，将至少第一输入数据流作为输入数据提供给所述机器学习架构，并且其中将所述机器学习架构的一个或多个参数储存在可由所述处理器访问的介质中。在一些情况下，将所述一个或多个参数预储存在所述介质中，并且根据输入数据流的可用性来选择所述一个或多个参数。在一些情况下，基于由一个或多个附加的机器人内窥镜提供的参数来动态地更新所述一个或多个参数。在一些情况下，与所述一个或多个附加的机器人内窥镜共享所述机器学习架构的所述一个或多个参数。在一些实施方式中，所述机器学习架构链接到因特网的基于云的数据库。在一些实施方式中，使用一个或多个训练数据集作为输入来完善由所述机器学习架构进行的分析。在一些实施方式中，基于熟练操作者的重复使用来完善由所述机器学习架构进行的分析。
在一些实施方式中，所述转向控制输出信号用于控制所述机器人内窥镜的一个或多个致动器。在一些情况下，所述一个或多个致动器使所述机器人内窥镜的可转向远端部分的移动生效。在一些情况下，围绕诸如横滚轴、偏航轴、俯仰轴或其任何组合等一个或多个旋转轴使所述可转向远端部分的移动生效。在一些情况下，所述一个或多个致动器选自液压致动器、气动致动器或筋驱动式致动器机构。
在一些实施方式中，所述机器人内窥镜是机器人结肠镜。在一些实施方式中，所述机器人结肠镜是软机器人结肠镜。
在本发明的另一方面，提供了一种机器人结肠镜系统。所述机器人结肠镜系统可以包括：a)细长弹性体结构，其包括一个或多个致动单元以及可转向远端部分；以及b)控制系统，其包括：a)第一传感器，其被配置用于提供第一输入数据流，其中所述第一输入数据流包含与所述可转动远端部分相对于结肠腔的中心、相对于结肠腔的壁、相对于其他障碍物或其任何组合的位置相关的数据；以及ii)处理器，其被配置用于基于使用机器学习架构对所述第一输入数据流的分析来生成转向控制输出信号以控制所述一个或多个致动单元，其中所述转向控制输出信号实时适应于所述第一输入数据流的数据的变化。
在一些实施方式中，所述机器人结肠镜系统还包括至少第二传感器，该至少第二传感器被配置用于提供第二输入数据流，其中所述第二输入数据流包含不同于所述第一输入数据流的，与所述可转向远端部分相对于结肠腔的中心、相对于结肠腔的壁、相对于其他障碍物或其任何组合的位置相关的数据；并且其中所述处理器被配置用于基于使用所述机器学习架构对所述第一输入数据流和至少第二输入数据流的分析来生成转向控制输出信号，其中所述转向控制输出信号实时适应于所述第一数据流或至少第二数据流中任一个或其组合的变化。
在一些实施方式中，所述第一传感器是图像传感器或距离传感器。在一些情况下，所述第一传感器和所述至少第二传感器全都是图像传感器。在一些情况下，所述图像传感器被配置用于采集图像数据或视频数据。
在一些实施方式中，所述第一传感器位于所述机器人结肠镜的所述可转向远端部分，并且所述机器人结肠镜的远端还包括一个或多个光源用以提供照明。在一些情况下，所述一个或多个光源包括发光二极管(LED)。在一些情况下，所述机器人结肠镜的所述可转向远端部分包括一个或多个光纤，所述一个或多个光纤耦合到位于结肠腔之外的一个或多个光源。在一些情况下，所述第一输入数据流包含通过对一个或多个图像帧进行自动化图像处理和特征提取而获得的数据，用以标识结肠腔的中心位置。在一些情况下，结肠腔的中心在所述一个或多个图像帧中的至少一个内不可见，并且基于运动矢量来计算结肠腔的中心位置。在一些情况下，所述第一输入数据流包含通过对一个或多个图像帧进行自动化图像处理而获得的数据，用以标识高光反射区域并从而基于光反射与接近度之间的关系来确定腔壁或障碍物到所述机器人结肠镜的所述远端的接近度，并且所述关系由光反射强度梯度或颜色梯度图表示。
在一些情况下，所述第一图像传感器和至少第二图像传感器用于提供立体图像，该立体图像包含关于靠近所述机器人结肠镜的所述远端的结肠腔的深度信息。在一些情况下，所述深度信息指示出所述腔的壁或其他障碍物相对于所述机器人结肠镜的所述远端的接近度。在一些情况下，所述第一输入数据流包含通过对一个或多个立体图像帧进行自动化图像处理和特征提取而获得的数据，用以标识结肠腔的中心位置。在一些情况下，结肠腔的中心在所述一个或多个立体图像帧中的至少一个内不可见，并且基于运动矢量来计算结肠腔的中心位置。在一些情况下，所述第一输入数据流包含通过对一个或多个立体图像帧进行自动化图像处理而获得的数据，用以标识高光反射区域并从而基于光反射与接近度之间的关系来确定腔壁或障碍物到所述机器人结肠镜的所述远端的接近度，并且所述关系由光反射强度梯度或颜色梯度图表示。
在一些实施方式中，将所述机器学习架构实现为神经网络。在一些情况下，所述神经网络包括至少3个层。在一些情况下，所述至少3个层包含输入层、一个或多个隐藏层以及输出层。在一些情况下，将至少第一输入数据流作为输入数据提供给所述机器学习架构，并且其中将所述机器学习架构的一个或多个参数储存在可由所述处理器访问的介质中。在一些情况下，将所述一个或多个参数预储存在所述介质中，并且根据所述输入数据流的可用性来选择所述一个或多个参数。在一些情况下，基于由一个或多个附加的机器人内窥镜提供的参数来动态地更新所述一个或多个参数。在一些情况下，与所述一个或多个附加的机器人内窥镜共享所述机器学习架构的所述一个或多个参数。在一些实施方式中，所述机器学习架构链接到因特网的基于云的数据库。在一些实施方式中，使用一个或多个训练数据集作为输入来完善由所述机器学习架构进行的分析。在一些实施方式中，基于熟练操作者的重复使用来完善由所述机器学习架构进行的分析。
在一些实施方式中，所述转向控制输出信号用于控制所述机器人内窥镜的一个或多个致动器。在一些情况下，所述一个或多个致动器使所述机器人内窥镜的可转向远端部分的移动生效。在一些情况下，围绕诸如横滚轴、偏航轴、俯仰轴或其任何组合等一个或多个旋转轴使所述可转向远端部分的移动生效。在一些情况下，所述一个或多个致动器选自液压致动器、气动致动器或筋驱动式致动器机构。
在一些实施方式中，所述机器人内窥镜是机器人结肠镜。
在另一单独但相关的方面，提供了一种用于提供使机器人内窥镜转向的自适应转向控制输出信号的方法。所述方法包括：a)提供第一输入数据流，其中所述第一输入数据流包含与所述机器人内窥镜的远端相对于腔的中心、相对于所述腔的壁、相对于其他障碍物或其任何组合的位置相关的数据；以及b)基于使用机器学习架构对所述第一输入数据流的分析来生成转向控制输出信号，其中所述转向控制输出信号实时适应于所述第一输入数据流的数据的变化。
在一些实施方式中，所述方法还包括提供至少第二输入数据流，其中所述至少第二输入数据流包含不同于所述第一输入数据流的，与所述机器人内窥镜的所述远端相对于所述腔的中心、相对于所述腔的壁、相对于其他障碍物或其任何组合的位置相关的数据；并且其中所述转向控制输出信号实时适应于所述第一输入数据流或第二输入数据流中任一个或其组合的变化。在一些情况下，所述第一数据流和至少第二输入数据流全都由位于所述机器人内窥镜的所述远端的可转向远端部分的单一图像传感器捕获。在备选情况下，所述第一数据流和至少第二输入数据流由位于所述机器人内窥镜的所述远端的可转向远端部分的第一图像传感器和至少第二图像传感器捕获。在一些情况下，所述图像传感器被配置用于采集图像数据或视频数据。在一些情况下，所述第一输入数据流包含通过对一个或多个图像帧进行自动化图像处理和特征提取而获得的数据。在一些情况下，所述腔的中心在所述一个或多个图像帧中的至少一个内不可见，并且基于运动矢量来计算所述腔的中心位置。在一些情况下，所述第一输入数据流包含通过对一个或多个图像帧进行自动化图像处理而获得数据，用以标识高光反射区域并从而基于光反射与接近度之间的关系来确定腔壁或障碍物到所述机器人内窥镜的所述远端的接近度，并且所述关系由光反射强度梯度或颜色梯度图表示。
在一些情况下，所述第一图像传感器和至少第二图像传感器用于提供立体图像，该立体图像包含关于靠近所述机器人结肠镜的所述远端的结肠腔的深度信息。在一些情况下，所述深度信息指示出所述腔的壁或其他障碍物相对于所述机器人结肠镜的所述远端的接近度。在一些情况下，所述第一输入数据流包含通过对一个或多个立体图像帧进行自动化图像处理和特征提取而获得的数据，用以标识结肠腔的中心位置。在一些情况下，结肠腔的中心在所述一个或多个立体图像帧中的至少一个内不可见，并且基于运动矢量来计算结肠腔的中心位置。在一些情况下，所述第一输入数据流包含通过对一个或多个立体图像帧进行自动化图像处理而获得的数据，用以标识高光反射区域并从而基于光反射与接近度之间的关系来确定腔壁或障碍物到所述机器人结肠镜的所述远端的接近度，并且所述关系由光反射强度梯度或颜色梯度图表示。
在一些实施方式中，将所述机器学习架构实现为神经网络。在一些情况下，所述神经网络包括至少3个层。在一些情况下，所述至少3个层包含输入层、一个或多个隐藏层以及输出层。在一些情况下，将至少第一输入数据流作为输入数据提供给所述机器学习架构，并且其中将所述机器学习架构的一个或多个参数储存在可由所述处理器访问的介质中。在一些情况下，将所述一个或多个参数预储存在所述介质中，并且根据所述输入数据流的可用性来选择所述一个或多个参数。在一些情况下，基于由一个或多个附加的机器人内窥镜提供的参数来动态地更新所述一个或多个参数。在一些情况下，与所述一个或多个附加的机器人内窥镜共享所述机器学习架构的所述一个或多个参数。在一些实施方式中，所述机器学习架构链接到因特网的基于云的数据库。在一些实施方式中，使用一个或多个训练数据集作为输入来完善由所述机器学习架构进行的分析。在一些实施方式中，基于熟练操作者的重复使用来完善由所述机器学习架构进行的分析。
在一些实施方式中，所述转向控制输出信号用于控制所述机器人内窥镜的一个或多个致动器。在一些情况下，所述一个或多个致动器使所述机器人内窥镜的可转向远端部分的移动生效。在一些情况下，围绕诸如横滚轴、偏航轴、俯仰轴或其任何组合等一个或多个旋转轴使所述可转向远端部分的移动生效。在一些情况下，所述一个或多个致动器选自液压致动器、气动致动器或筋驱动式致动器机构。
在一些实施方式中，所述机器人内窥镜是机器人结肠镜。在一些实施方式中，所述机器人结肠镜是软机器人结肠镜。
在另一方面，提供了一种用于使用机器学习架构来优化自动化结肠镜转向机构的方法。所述方法包括：a)提供从两种或更多种不同类型的传感器获得的两组或更多组输入传感器数据；b)提供多个训练数据集，其中训练数据集包含所述两种或更多种不同类型的传感器中的每一种的至少第一组已知输入传感器数据以及对应的一组已知输出转向控制信号；以及c)使用所述机器学习架构来分析所述多个训练数据集以确定一组加权参数，其中所述加权参数随后由所述机器学习架构用于提供适应于所述两组或更多组输入传感器数据的变化的所述自动化结肠镜转向机构的转向控制信号。
在一些实施方式中，由距离传感器或图像传感器提供所述第一组输入传感器数据。在一些实施方式中，从至少一个距离传感器和至少一个图像传感器导出所述输入传感器数据，并且所述输入传感器数据包含指示出结肠腔的中心位置、机器人结肠镜的引导部分到结肠腔的壁的接近度或者障碍物相对于机器人结肠镜的引导部分的区位的信息。在一些情况下，通过分析结肠腔的图像，或者通过基于分析结肠腔的两个或更多个图像计算结肠腔的预测中心位置，来获得指示出结肠腔的中心位置的信息。在一些情况下，中心位置数据的完整性的改变包括用以标识结肠腔的中心位置的自动化图像特征提取步骤失败，或者用以标识障碍物的自动化图像处理步骤失败，并且导致所述机器学习架构仅基于距离传感器数据提供转向控制信号。
在一些实施方式中，从提供给机器人结肠镜的转向机构的经验性转向控制指令集获得所述训练数据集的输出转向控制信号。在一些情况下，由所述机器人结肠镜的一个或多个熟练操作者响应于所述训练数据集的所述输入传感器数据而生成所述经验性转向控制指令。所述输出转向控制信号用于控制机器人结肠镜的一个或多个致动单元。在一些实施方式中，所述输出转向控制信号指示出导航方向，并且所述导航方向无需与结肠腔的中心位置对准。在一些实施方式中，所述机器人内窥镜是软机器人结肠镜。
在另一方面，提供了一种用于提供使机器人结肠镜转向的自适应转向控制输出信号的控制系统。所述控制系统包括：a)一个或多个图像传感器，其被配置用于捕获结肠腔的两个或更多个图像；以及 b)一个或多个处理器，其单独地或共同地被配置用于(i)对一系列两个或更多个图像进行自动化特征提取以确定结肠腔的中心位置，(ii) 对所述一系列两个或更多个图像进行自动化图像处理以基于高光反射区域来标识十分靠近所述机器人结肠镜的远端的结肠壁或其他障碍物的区位，以及(iii)使用对步骤(i)和步骤(ii)中确定的中心位置和区位的基于机器学习架构的分析来确定朝向结肠腔的中心位置导引所述机器人结肠镜的导航方向，其中所述基于机器学习架构的分析提供适应于中心位置或区位数据的完整性的损失或改变的转向控制输出信号。
在一些实施方式中，所述控制系统还包括使用距离传感器数据来确定所述导航方向，并且所述导航方向可以与结肠腔的中心对准或者可以不与其对准。在一些实施方式中，中心位置数据的完整性的损失或改变包括用以标识结肠腔的中心位置的自动化图像特征提取步骤失败，或者用以标识障碍物的自动化图像处理步骤失败，并且导致所述机器学习架构仅基于距离传感器数据提供转向控制信号。在一些实施方式中，由从通过对一个或多个光学图像传感器先前捕获的两个或更多个图像的自动化处理获得的结肠腔的中心位置所获得的运动矢量计算结肠腔的预测中心位置。在一些情况下，所述图像特征提取数据和所述预测腔中心位置数据单独地或共同地用于实时确定腔中心的位置。
在另一单独但相关的方面，提供了一种用于提供使机器人结肠镜转向的自适应转向控制输出信号的方法。所述方法包括：a)提供结肠腔的两个或更多个图像；b)对一系列两个或更多个图像进行自动化特征提取以确定结肠腔的中心位置；c)对所述一系列两个或更多个图像进行自动化图像处理以基于高光反射区域来标识十分靠近所述机器人结肠镜的远端的结肠腔壁或其他障碍物的区位；以及d) 使用对步骤(b)和步骤(c)中确定的中心位置和区位的基于机器学习架构的分析来确定朝向结肠腔的中心位置导引所述机器人结肠镜的导航方向，其中所述基于机器学习架构的分析提供了适应于中心位置或区位数据的完整性的损失或改变的转向控制输出信号。
在另一方面，提供了一种用于通过向机器人内窥镜提供自适应转向控制输出信号来跟踪感兴趣物体的控制系统。所述控制系统可以包括：a)第一图像传感器，其被配置用于提供第一图像数据流，其中所述第一图像数据流包含与所述第一图像传感器的视场内的感兴趣物体的位置相关的数据；以及b)处理器，其被配置用于基于使用机器学习架构对所述第一图像数据流的分析来生成转向控制输出信号，以使得所述感兴趣物体相对于所述第一图像传感器的视场位置基本上固定，并且其中所述转向控制输出信号实时适应于所述第一图像数据流的数据的变化。
在一些实施方式中，所述第一图像数据流为视频数据流。在一些情况下，将所述感兴趣物体自动地定位在所述视场的中心或者定位在由用户或由所述机器学习架构确定的所述视场内的某一区位处。在一些情况下，使用自动化图像特征提取来识别所述感兴趣物体，所述自动化图像特征提取包括以下方法中的至少一种：强度水平分析、轮廓绘图、噪声去除以及质心计算过程，或者自动化光强度梯度分析过程。在一些情况下，通过使用步骤(b)的所述机器学习架构进行附加的图像数据处理来识别所述感兴趣物体。
所述方法还可以包括确定所述感兴趣物体的识别的置信水平。所述置信水平基于下列各项中的至少一项来确定：感兴趣物体的图像的强度、转动惯量或凸度。所述方法还可以包括计算所述感兴趣物体相对于所述机器人内窥镜的转向方向的运动方向矢量。
在一些实施方式中，所述第一图像传感器位于所述机器人内窥镜的远端的可转向远端部分。所述第一图像数据流还包含与所述机器人内窥镜的所述远端相对于腔的中心位置、腔的壁或障碍物的位置相关的数据。通过对一个或多个图像帧进行自动化图像处理和特征提取以标识腔的中心以及/或者通过对一个或多个图像帧进行自动化光强度梯度分析以标识腔的中心来获得与所述机器人内窥镜的所述远端相对于腔的中心位置、腔的壁或障碍物的位置相关的数据。在一些情况下，所述方法还包括确定所述腔的中心的标识的置信水平。所述置信水平基于下列各项中的至少一项来确定：所述腔的中心的图像的强度、转动惯量或凸度。
在一些情况下，调整所述转向控制信号以使所述机器人内窥镜的转向方向与所述感兴趣物体的运动方向矢量对准。在一些实施方式中，所述系统还可以包括第二传感器，所述第二传感器被配置用于提供第二数据流，其中所述第二数据流包含与所述机器人内窥镜的所述远端相对于腔的中心位置、腔的壁或另一障碍物的位置相关的数据。在一些实施方式中，所述第二传感器为距离传感器。例如，所述距离传感器是包括多个感测电极的电容碰触传感器。所述距离传感器位于所述机器人内窥镜的所述远端的可转动远端部分。在一些实施方式中，基于对所述第一图像数据流和所述第二数据流二者的分析来生成所述转向控制输出信号。
在一些实施方式中，所述转向控制系统还可以包括至少第三传感器，所述至少第三传感器被配置用于提供至少第三数据流，其中所述至少第三数据流包含与所述机器人内窥镜的主体的节段相对于腔的中心位置、腔的壁或另一障碍物的位置相关的数据。在一些实施方式中，所述至少第三传感器为距离传感器。在一些实施方式中，所述至少第三传感器是电容碰触传感器。在一些实施方式中，所述电容碰触传感器包括多个感测电极。在一些实施方式中，所述至少第三传感器位于所述机器人内窥镜的所述主体的所述节段上。在一些实施方式中，基于对所述第一图像数据流、所述第二数据流和所述至少第三数据流的分析来生成所述转向控制输出信号。
在一些情况下，基于对所述第一图像数据流、所述第二输入数据流、所述至少第三数据流、历史数据集或其任何组合的分析来生成所述转向控制输出信号。所述历史数据集可以包括多个过去的转向控制矢量和/或运动方向矢量，以及/或者从对所述第一图像数据流的处理提取的点位。在一些情况下，调整所述转向控制输出信号，以使得所述视场内的所述感兴趣物体的位置从所述第一图像数据流的一个图像帧到下一图像帧改变少于2000个像素。在一些情况下，调整所述转向控制信号，以使得所述视场内的所述感兴趣物体的位置从所述第一图像数据流的一个图像帧到下一图像帧改变少于1000个像素。
所述转向控制输出信号用于控制所述机器人内窥镜的一个或多个致动器。在一些实施方式中，所述机器人内窥镜是机器人结肠镜。在一些情况下，由所提供的系统跟踪的感兴趣物体是息肉、病灶、腺瘤或癌性生长。
在另一方面，提供了一种用于通过向机器人内窥镜提供自适应转向控制输出信号来进行自动化路径搜索的控制系统。所述控制系统包括：a)第一图像传感器，其被配置用于提供第一图像数据流，其中所述第一图像数据流包含与所述机器人内窥镜的远端相对于腔的中心位置、腔的壁、障碍物或其任何组合的位置相关的数据；以及b) 处理器，其被配置用于：i)对所述第一图像数据流的一个或多个图像帧进行自动化图像处理和特征提取以标识所述腔的中心位置；ii)确定与所述腔相对于所述机器人内窥镜的所述远端的中心位置相关的数据的置信水平；iii)当所述置信水平低于第一阈限时，生成转向控制输出信号以导引所述机器人内窥镜沿着指定路径进行搜索；iv)重复步骤(i)至步骤(iii)直到所述置信水平高于第二阈限；以及v) 基于使用机器学习架构对所述第一图像数据流的分析来生成新的转向控制输出信号。
在一些实施方式中，基于针对从所述第一图像数据流提取的腔中心位置数据的强度、转动惯量和/或凸度计算来确定所述置信水平。在一些实施方式中，所述指定路径是从螺旋路径、直线网格图案、圆形图案、二维路径、三维路径或其任何组合之中选择的预先确定的路径。在一些情况下，通过所述机器学习架构来确定所述指定路径。例如，可以基于由所述机器学习架构对所述第一图像数据流的分析来自动地选择所述指定路径。
在另一方面，提供了一种用于使用配备自适应转向控制系统的机器人内窥镜来构建腔的中心位置的三维地图的方法。所述方法可以包括：a)提供第一图像数据流，其中所述第一图像数据流包含与所述机器人内窥镜的远端相对于所述腔的中心、相对于所述腔的壁、相对于障碍物或其任何组合的位置相关的图像数据；b)基于使用机器学习架构对所述第一图像数据流的分析来生成转向控制输出信号以标识朝向所述腔的中心移动的转向方向，其中所述转向控制输出信号实时适应于所述第一图像数据流的数据的变化；c)将一系列数据对储存在计算机存储器设备中，其中每个数据对包括所述机器人内窥镜的转向方向和平移位移；以及d)使用处理器以及转向方向和平移位移的存储值来创建所述腔的中心的位置的三维地图。
在一些实施方式中，所述方法还包括使用所述三维地图来提供一组空间坐标，所述一组空间坐标标识在所述第一图像数据流中检测到的感兴趣特征的区位。在一些情况下，所述一组空间坐标由外科医生或其他医疗保健提供者用于指导后续外科手术或医疗保健手术。
在另一方面，提供了一种用于使用配备自适应转向控制系统的机器人内窥镜来重建腔的内部的三维图像地图的方法。所述方法可以包括：a)提供第一图像数据流，其中所述第一图像数据流包含与所述机器人内窥镜的远端相对于腔的中心、相对于腔的壁、相对于障碍物或其任何组合的位置相关的图像数据；b)基于使用机器学习架构对第一图像数据流的分析来生成转向控制输出信号以标识朝向腔中心的移动的转向方向，其中所述转向控制输出信号实时适应于所述第一图像数据流的数据的变化；c)在计算机存储器设备中储存来自所述第一图像数据流的图像数据，以及所述机器人内窥镜的转向方向和平移移动的值；d)使用转向方向和平移移动的存储值来创建所述腔的中心的位置的三维地图；以及d)用腔的中心的位置的三维地图来覆盖存储的图像数据，以重建腔内部的三维图像地图。
在一些实施方式中，所述方法还可以包括在观看设备上显示全部三维图像地图数据或其一部分。在一些实施方式中，所述观看设备包括显示屏，或者是显示三维视图的可穿戴式增强现实设备。在一些实施方式中，所述三维视图是第一人称视图，或者包含重建的腔内部和所述机器人内窥镜的图像的增强现实视图。在一些情况下，基于所述机器人内窥镜的预存储的计算机辅助设计模型来构建所述三维视图中所述机器人内窥镜的图像。
援引并入
本说明书中提及的所有公开、专利和专利申请均通过引用而全文并入于此，如同具体地和个别地指出通过引用而全文并入每一个别公开、专利或专利申请。当本文中的术语与并入的参考文献中的术语出现冲突时，应以本文中的术语为准。
附图说明
通过参考对利用到本发明原理的说明性实施方式加以阐述的以下详细描述和附图，将会对本发明的特征和优点获得更好的理解；在附图中：
图1A示意性地图示了根据本发明一些实施方式，由自动化转向系统控制的结肠镜。
图1B图示了由穿过结肠镜的柔性区段的一系列嵌入式筋致动的结肠镜的可弯曲/可延伸区段(即，可转向远端)。
图2示出了根据本公开内容一些实施方式，由转向控制系统控制的示例性机器人内窥镜系统的框图。
图3示出了用于在内窥镜的远端处，例如，在机器人结肠镜的远端处提供碰触或接近度感测的电容传感器的示例。
图4A示出了用于在内窥镜的远端处，例如，在机器人结肠镜的远端处提供碰触或接近度感测的电容传感器的另一示例；并且图4B 图示了用于使用接近度感测来确定方向矢量的示例性方法。
图5A示出了包含关于推进的结肠镜前方的结肠腔中心的区位和/或该腔的弯曲方向的信息的示例性图像；图5B示出了用于从图像数据标识腔中心的区位或感兴趣物体的区位的过程的一个非限制性示例；并且图5C示出了用于基于针对图像数据的光强度值测量以及转动惯量和凸度计算来确定腔中心置信度得分的方法的一个非限制性示例。
图6A和图6B示出了用于提供关于腔中心位置的区位的信息和关于图像中的特征的深度信息的图像数据处理方法的示例。
图7示出了用于机器人内窥镜系统，例如，机器人结肠镜的转向控制的示例性人工神经网络(artificial neural network，ANN)的示意图。
图8A和图8B示意性地图示了供应给例如神经网络等机器学习算法的输入传感器数据和训练数据集的示例，该输入传感器数据和训练数据集的用途在于完善所述算法的运算参数和为机器人内窥镜提供实时适应于一个或多个输入传感器数据流中的变化的转向控制信号；并且图8C示出了根据本发明实施方式，用于训练过程的示例性用户接口。
图9提供了图示出如何根据对从中推进机器人内窥镜的腔的中心位置的确定产生影响的数据完整性的变化来评价和修改向神经网络馈送的输入数据的流程图。
图10A和图10B示出了用于机器人内窥镜的示例性自适应转向控制系统的框图。
图11图示了使用所提供的用于控制机器人内窥镜系统的转向方向的自动化转向控制方法的示例。
图12示出了用于实现本公开内容的基于人工神经网络的转向控制系统的用户接口软件的示例性屏幕截图。
图13示出了包含感兴趣物体和用于进行外科手术的工具的示例性视场图像。
图14示出了用于执行自动路径搜索的方法的示例。
图15示出了使用由图像传感器收集的数据来生成转向控制信号的，用于机器人内窥镜的示例性自适应转向控制系统的框图，其中使用两种或更多种图像处理算法对图像数据进行处理，并且随后将该图像数据用作将输入数据映射到导航方向的人工神经网络(ANN)的输入。
图16图示了用于在例如结肠腔的图像内标识可能是结肠腔的中心位置的候选者的暗区的图像处理方法的步骤。
图17图示了用于标识例如结肠腔的图像内的图案以及随后标识结肠腔的中心的位置的图像处理方法的步骤。
图18图示了用于处理图像数据和确定机器人内窥镜的转向方向和/或转向控制指令集的“双”ANN模型。
图19示出了结肠的内部的图像，并且图示了用于评价原型系统的性能的误差测量Derr的定义。
图20示出了置信水平数据与Derr的散点图的示例。
图21示出了置信水平数据与Derr的散点图的示例。
图22示出了置信水平数据与Derr的散点图的示例。
图23示出了使用由图像传感器收集的数据来生成转向控制信号的，用于机器人内窥镜的示例性自适应转向控制系统的框图，其中使用两种或更多种图像处理算法对图像数据进行处理，并且随后将该图像数据用作将输入数据映射到导航方向和/或转向控制指令集的递归神经网络的输入。
图24图示了构成递归神经网络(RNN)的架构和可调参数。
图25示出了使用由图像传感器收集的数据来生成转向控制信号的，用于机器人内窥镜的示例性自适应转向控制系统的框图，其中由将输入数据映射到导航方向和/或转向控制指令集的递归卷积神经网络直接处理图像数据。
具体实施方式
虽然在此示出和描述了本发明的优选实施方式，但对于本领域技术人员显而易见的是，这样的实施方式只是以示例方式提供的。本领域技术人员将会想到许多更改、改变和替换而不偏离本发明。应当理解，在实践本发明的过程中可以采用本文所述的本发明实施方式的各种替代方案。
概述：本文公开了用于机器人内窥镜的半自动化或全自动化转向控制的系统和方法。虽然主要是在机器人结肠镜的背景下作出描述，但本领域技术人员将会理解，所公开的发明可适用于任何机器人结肠镜检查系统的半自动化或全自动化转向控制，或者总体上适用于任何需要转向控制的机器人或内窥镜系统。本文所述发明的各个方面可适用于下文阐述的任何特定应用。应当理解，本发明的不同方面可以单独地、共同地或彼此结合地理解。
在本发明的一个方面，提供了一种转向控制系统和方法。该控制系统可以实时提供用于对机器人内窥镜进行转向的自适应转向控制输出信号。在一些情况下，转向控制系统(或方法)可以利用人工智能算法(例如，深度机器学习算法)来处理图像数据作为输入，以及提供预测转向方向和/或转向控制信号作为用于引导机器人内窥镜的移动的输出。在一些情况下，转向控制系统可以利用图像处理算法来在将图像数据作为输入提供给人工智能算法之前对该图像数据进行预处理。在一些情况下，转向控制系统可以利用两种或更多种图像处理算法的组合来在将图像数据作为输入提供给人工智能算法之前对该图像数据进行预处理。在一些情况下，转向控制系统可以利用人工智能算法来处理碰触/距离传感器数据作为输入，以及提供预测转向方向和/或转向控制信号作为用于引导机器人内窥镜的移动的输出。在一些情况下，转向控制系统可以利用人工智能算法来整合和处理图像数据和碰触/距离传感器信号数据二者作为输入，以及提供预测转向方向和/或转向控制信号作为用于引导机器人内窥镜的移动的输出。在一些情况下，例如，在半自动化模式下，转向控制系统可被配置用于向主动引导推进的内窥镜的外科医生提供协助。在一些情况下，例如，在全自动化模式下，转向控制系统可被配置用于在没有来自外科医生或其他操作者的输入或输入很少的情况下引导推进的内窥镜。在一些情况下，控制系统可以包括：a)第一传感器(例如，图像传感器)，其被配置用于提供第一输入数据流，其中所述第一输入数据流包含与机器人内窥镜的远端相对于腔、区室或空腔的位置相关的数据；b) 可选地，第二传感器(例如，图像传感器)，其被配置用于提供第二输入数据流，其中所述第二输入数据流包含与机器人内窥镜的远端相对于腔、区室、空腔的壁或其他障碍物的位置相关的数据；以及c) 一个或多个处理器，其单独地或共同地被配置用于基于使用机器学习架构对第一输入数据流和第二输入数据流的分析来确定转向方向和/ 或生成转向控制输出信号，其中所述转向控制输出信号实时适应于第一数据流或第二数据流中任何一个或者其组合的变化。在其中第一输入数据流和/或第二输入数据流包含图像数据的那些实施方式中，可以在将图像数据作为输入提供给机器学习算法之前使用一种或多种图像处理算法对该图像数据进行预处理。在一些实施方式中，控制系统还包括第三传感器(例如，碰触/距离传感器)，该第三传感器被配置用于提供第三输入数据流，其中所述第三输入数据流包含不同于第二输入数据流的、与机器人内窥镜的远端相对于腔、区室、空腔或其他障碍物的壁的位置相关的数据；并且其中所述一个或多个处理器单独地或共同地被配置用于基于使用机器学习架构对第一输入数据流、第二输入数据流和第三输入数据流的分析来确定转向方向和/或生成转向控制输出信号，其中所述转向控制输出信号实时适应于第一数据流、第二数据流或第三数据流中任何一个或者其组合的变化。在一些情况下，所公开的转向控制系统和方法可以用于引导机器人结肠镜。在一些情况下，机器人结肠镜可以是软机器人结肠镜。
在本发明的第二方面，描述了一种利用所公开的转向控制方法和系统的机器人内窥镜系统，例如，软机器人内窥镜。在一些情况下，例如，在半自动化模式下，机器人内窥镜的转向控制系统可被配置用于向主动引导推进的机器人内窥镜的外科医生提供协助。在一些情况下，例如，在全自动化模式下，机器人内窥镜的转向控制系统可被配置用于在没有来自外科医生或其他操作者的输入或输入很少的情况下引导推进的内窥镜。在一些情况下，机器人内窥镜系统可以包括： a)细长弹性体结构，其包括一个或多个致动单元以及可转向远端部分；以及b)控制系统，其包括：i)第一传感器，其被配置用于提供第一输入数据流，其中所述第一输入数据流包含与可转向远端部分相对于结肠腔的中心、相对于结肠腔的壁、相对于其他障碍物或者其任何组合的位置相关的数据；以及ii)处理器，其被配置用于基于使用机器学习架构对第一输入数据流的分析来生成转向控制输出信号以控制所述一个或多个致动单元，其中所述转向控制输出信号实时适应于第一数据流的数据的变化。
在本发明的第三方面，提供了用于训练和优化所公开的转向控制系统的性能的方法。在一些情况下，所述方法可以包括：a)提供第一组输入传感器数据；b)提供多个训练数据集，其中训练数据集至少包含第一组已知输入传感器数据和对应的一组已知输出转向控制信号；以及c)使用机器学习架构来分析所述多个训练数据集以确定一组加权参数，其中所述加权参数随后由机器学习架构用于提供适应于第一组输入传感器数据中的数据的变化的自动化机器人内窥镜转向机构的转向控制信号。在一些实施方式中，用于训练和优化转向控制系统的性能的训练数据可以包括记录的图像和/或传感器数据以及在先前的内窥镜手术期间由外科医生或其他熟练操作者向机器人内窥镜的转向机构提供的经验性转向控制指令。在一些实施方式中，用于训练和优化转向控制系统的性能的训练数据可以包括来自先前的内窥镜手术的记录的图像数据以及在仿真的内窥镜手术期间由外科医生或其他熟练操作者向虚拟转向机构提供的经验性转向控制指令。在一些实施方式中，用于训练和优化转向控制系统的性能的训练数据可以包括仿真图像数据以及配对的经验性转向指令集。在一些实施方式中，训练数据可以包括前述数据集的任何组合，并且还可以链接到基于云的数据库并经由该数据库得到更新。
在本发明的第四方面，描述了所公开的转向控制方法和系统的特殊特征。示例包括但不限于(i)图像处理算法及其组合，用以提高在图像中正确标识腔中心位置的可靠性，(ii)跟踪图像传感器的视场内的感兴趣物体，其中所述感兴趣物体由外科医生或其他熟练操作者手动选择，或者在一些情况下，由用于实现转向控制系统的图像处理算法和/或机器学习算法标识，(iii)使用在内窥镜手术的每个步骤中确定的关于腔的中心位置和导航方向的存储数据，连同每个步骤中推进的距离的数据，来构建腔中心位置的三维地图，以及(iv)腔中心位置的三维地图与内窥镜手术的每个步骤中拍摄的图像的组合，用以重建腔的内部的三维地图。
定义：除非另有定义，否则本文所使用的所有技术术语均具有与本公开内容所属领域普通技术人员通常理解相同的含义。如本说明书和所附权利要求书中所使用的，单数形式“一个”、“一种”和“该”包括复数指代，除非上下文另有明确规定。本文对“或”的任何提及旨在包含“和/或”，除非另有说明。
如本文所使用的，术语“数据流”可以是指用于传输或接收信息的模拟或数字编码信号(例如，电压信号、电流信号、包含空间编码的光强度和/或波长数据的图像数据等)的连续或不连续系列或序列。
如本文所使用的，术语“腔”可以是指诸如动脉或肠等管状生物结构的内部空间，胃肠道(例如，结肠或大肠，或者小肠)的内部空间，或者活生物体(例如，动物或人)的身体内的空区室或空腔的内部空间。
如本文所使用的，术语“机器学习”可以是指用于进行监督学习、无监督学习、强化学习或其任何组合的多种人工智能算法中的任一种(例如，包含多个隐藏层的人工神经网络(artificial neural network， ANN))。
如本文所使用的，术语“实时”可以是指用以响应于一个或多个输入数据流的变化而更新对转向方向和/或转向控制信号的预测的，使用机器学习或人工神经网络算法进行的反馈查看中采集、处理和/ 或使用传感器数据的速率。
如本文所使用的，术语“软机器人”可以是指包含用硅树脂、塑料、织物、橡胶之类柔软且可变形的材料构建而成的一个或多个非刚性组件以及弹簧之类顺应性机械部件的机器人系统，例如，软机器人内窥镜。这样的机器人系统可以包括本领域技术人员已知的多种致动器或致动机构中的任一种，包括但不限于气动致动器、液压致动器、弹簧、电气马达或微型马达、压电换能器等。
应用：本文所公开的转向控制方法和系统可以用于任何需要转向控制功能的机器人系统。在优选实施方式中，所公开的方法和系统可以用于引导机器人内窥镜的移动。所公开的方法和系统可潜在适用的内窥镜的示例包括但不限于膀胱镜(用于膀胱检查)、肾镜(用于肾脏检查)、支气管镜(用于支气管检查)、关节镜(用于关节检查)、结肠镜(用于结肠检查)、十二指肠镜(用于十二指肠检查)、肠镜 (用于小肠检查)、食管胃十二指肠镜(用于食管内里、胃，以及小肠的第一部分的检查)以及腹腔镜(用于腹部或骨盆的检查)。在一些情况下，内窥镜可以不仅用于目视检查和诊断，而且还用于协助药物或装置(例如，支架)递送或者在外科手术中使用(例如，腹腔镜外科吻合术、关节镜检查等)。在一个优选示例中，转向控制方法可以用于控制结肠镜检查系统，例如，软机器人结肠镜检查系统。
机器人结肠镜的自动化转向：图1A示意性地图示了根据本发明实施方式，由自动化转向系统控制的结肠镜110。在一些实施方式中，结肠镜110可以包括用塑料之类可变形材料或者弹簧之类柔性机械组件制成的机器人系统。结肠镜和所提供的转向控制系统可以用于在患者的诸如结肠腔等体腔内进行诊断、治疗或外科手术。所提供的转向控制系统和方法可以使内窥镜系统110能够围绕空腔的曲部(例如，纠缠区段和/或弯曲区段)诸如结肠腔内的曲部推进。在一些情况下，转向控制系统可以是半自动化的，即，被配置用于向正在引导结肠镜的外科医生或其他熟练操作者提供转向协助。在一些情况下，转向控制系统可以是全自动化的，即，被配置用于在没有来自外科医生或熟练操作者的输入或输入很少的情况下确定正确的导航方向以及向机器人结肠镜的一个或多个致动器提供转向控制指令集。
结肠镜的行进也可以得到自动或半自动控制。在一些情况下，可以手动控制为了向前移动的结肠镜插入，同时可以手动或自动控制后续移动方向，即，在向前或向后方向上。备选地，结肠镜的向前移动或向后移动以及转向方向可以全都得到自动控制。一般而言，结肠镜的向前运动或向后运动的速率将会在进行手术的过程中变化，并且范围可能从约0cm/秒到约10cm/秒。在一些情况下，手术中给定点的向前运动或向后运动的速率可以是至少0cm/秒、至少1cm/秒、至少2cm/秒、至少3cm/秒、至少4cm/秒、至少5cm/秒、至少6cm/秒、至少7cm/秒、至少8cm/秒、至少9cm/秒或至少10cm/秒。在一些情况下，手术中给定点的向前运动或向后运动的速率可以是至多 10cm/秒、至多9cm/秒、至多8cm/秒、至多7cm/秒、至多6cm/秒、至多5cm/秒、至多4cm/秒、至多3cm/秒、至多2cm/秒、至多1cm/ 秒或至多0cm/秒。本领域技术人员将会认识到，在手术中的给定点，向前运动或向后运动的速率可以具有该范围内的任何值，例如，约3.5 cm/秒。在一些情况下，本公开内容的自动化转向控制方法和系统的使用可以在手术过程中实现比常规手动结肠镜所实现的快得多的结肠镜向前运动或向后运动平均速率，从而缩短手术的总持续时间。
所公开的方法和系统的使用允许结肠镜相对于其环境105调整其移动方向101。在一些示例中，可以通过调整结肠镜的远端103的方向或定向，或者通过相对于周围环境调整远端的位置，来控制移动方向。远端103例如可以是对结肠镜的主体的移动加以引导的头部，从而允许结肠镜通过环境导航。例如，在结肠腔内，环境105可包括转向控制系统允许结肠镜机动经过的多个曲折区段、纠缠区段或弯曲区段。例如，结肠镜可以能够相对于结肠腔的中心或结肠腔的壁调整或控制远端103的位置。在另一例子中，结肠镜可以能够相对于结肠镜的主体、结肠腔的中心或结肠腔的壁调整或控制远端103的方向或定向。在一些情况下，转向控制系统可以关于至少两个自由度(degree of freedom，DOF)控制远端103的移动，诸如俯仰移动和偏航移动。在一些情况下，可以关于横滚移动、俯仰移动或偏航移动的任何组合来控制远端103的移动。在示例实施方式中，每个自由度可以例如包括至少1度、5度、10度、20度、30度、40度、50度、60度、70 度、80度、90度、100度、110度、120度、130度、140度、150度、 160度、170度或180度的角度变化。在一些实施方式中，每个独立自由度的运动范围可以相同或者可以不同，并且范围例如可以是从1 度到180度，或者是在其任何分数范围内。在一些情况下，由转向控制系统控制的远端103的移动可以包括平移移动，诸如向前移动或向后移动。
如上所述，所公开的用于自动化转向控制的方法和系统允许基于结肠镜(或者更一般地，内窥镜)的远端相对于其环境的位置来控制结肠镜(或内窥镜)的移动方向。环境可以包括任何类型的障碍物或轮廓——其需要确定新的转向方向以便避让障碍物或围绕轮廓导航。通常，要使用结肠镜(或内窥镜)检查的环境可以包括基本上中空的空间，并且由自动化转向系统提供给结肠镜(或内窥镜)的转向方向或转向控制信号可以是相对于中空空间的壁，或者相对于结肠镜 (或内窥镜)的推进的远端前方紧邻的中空空间的所标识或预测的中心点的指定方向。例如，结肠腔的环境具有为了导航经过结肠而必须使结肠镜转向经过的许多曲折纠缠或弯曲区段。
在一些情况下，可以相对于结肠腔的壁和/或相对于结肠腔的中心确定结肠镜的远端的转向方向。在一些情况下，可以从传感器数据 (例如，图像传感器数据)标识出靠近结肠镜的远端103的腔中心的区位，以便确定导航或转向方向。在一些情况下，可以从传感器数据 (例如，图像传感器数据和/或碰触/距离传感器数据)标识出远端103 相对于靠近该远端的周围结肠壁或障碍物的位置，以便确定导航或转向方向。在一些情况下，一旦已知远端相对于腔中心和/或周围壁的位置，就可以朝向腔中心并远离与结肠壁或障碍物的接触而转向和引导远端。转向方向可以与腔的中心轴对准，或者可以不与其对准。转向方向或导航方向可以通过所提供的自动化转向控制系统或方法来确定。在一些情况下，可以使用用于确定转向方向或导航方向的输入传感器数据来进行结肠镜检查系统的反馈控制，使得转向方向或导航方向实时适应于输入传感器数据的变化。转向控制系统可以接收由多个传感器收集的输入传感器数据，并向结肠镜的致动单元输出目标方向或控制信号。在一些情况下，可以将每个时间点确定的转向方向或导航方向与用于结肠镜的向前平移移动的数据一起使用以便跟踪远端随时间推移的位置，从而生成远端的运动路径的记录。因此，可以通过鉴于导航方向而并入机器人系统的动力学属性来生成当前区位与目标导航方向所预测的位置之间的运动矢量。
可以使用所提供的并入了对单一输入传感器数据流或多个输入传感器数据流的使用以及使用人工智能算法的处理的转向控制方法和系统来确定内窥镜(例如，结肠镜)的可转向远端的转向方向或移动。在一些情况下，例如当至少一个输入传感器数据流包含图像数据时，可以在将经处理的图像数据或结果提供给人工智能算法之前，使用多种图像处理算法中的任何一种或其组合来对图像数据进行预处理。可通过使用所公开的方法和系统进行控制的移动的类型包括但不限于远端的转向方向、内窥镜的向后移动或向前移动、平移(向前或向后)移动的速率、加速度等。
一旦确定了远端的转向方向或移动方向，就可以通过一个或多个致动器来致动远端以使其根据转向方向而弯曲、转动、枢转、扭转或移动。可以通过所提供的方法生成的控制信号来影响所述一个或多个致动器。在一些实施方式中，可以借助于丝线(或“筋”)将一个或多个致动器连接到内窥镜的可转向远端的一个或多个区段，以便影响可转向远端的移动。可以使用各个传感器来提供关于腔中心的区位和远端相对于腔壁的位置的信息。可以确定转向方向并且可以生成对远端的一个或多个致动器的控制指令，以便使远端或结肠镜的移动生效。
图2示出了根据实施方式，由转向控制系统210控制的示例性机器人结肠镜系统的框图。在一些实施方式中，转向控制系统可以包括转向控制模块211，转向控制模块211被配置用于处理由一个或多个传感器209提供的数据，以便确定转向方向和生成转向控制信号。在一些情况下，转向控制信号可以传输到结肠镜系统的控制器201，以供控制致动单元203。在一些情况下，转向控制系统210的输出可以是向致动单元直接发送的控制信号。在其他情况下，转向控制系统可以包括所述控制器，因此该系统的输出为向致动单元发送的控制信号。转向方向的确定和转向控制系统所输出的转向控制信号的生成可以使用基于机器学习架构的控制算法诸如运行于处理器(即，转向控制处理器)上的神经网络来进行。本文在稍后讨论关于控制算法的细节。致动单元203可以用于使结肠镜的转向方向生效。例如，致动单元可以影响结肠镜的远端207的转向方向。
如本文其他各处所述，结肠镜可以包含远端207，远端207引导结肠镜的主体205的移动。主体可以是柔性而顺应性的。在一些情况下，主体可以是细长管状体。在其他情况下，主体可以具有能够插入到患者的空腔并由远端引导的任何形状或尺寸。
可以将远端207朝向转向控制系统所确定的目标方向转向。远端可以耦合到或者可以不耦合到诸如活检工具或药物递送装置等附加工具。可以通过任何合适的致动机构来操纵远端，以便实现转向移动。例如，远端可以包括可转向部分，诸如可相对于主体在一个或多个方向上致动的弯曲区段。可以使用任何合适的机构来实现远端的转向方向。例如，远端可以包括由可变形材料制造的一个或多个内部空腔，从而通过控制压力、温度、差分刚度或者影响其大小、形状或体积的其他此类参数的变化而可以扩张、弯曲或延伸，使得远端的方向可以得到控制。可以将各种其他机构用于致动远端在目标转向方向上的移动(诸如弯曲、伸直、转动、枢转、扭转、移动等)。例如，可以使用丝线或其他连续体机械结构来使远端转向。在一些情况下，还可以利用微型电气马达或压电换能器来进行致动。
远端207可由致动单元203来致动。致动单元可以包括合适的致动器或致动机构，用于实现远端在由转向控制系统210确定的目标方向上的移动。致动单元可以可操作地耦合到转向控制系统210或控制器201。可以使用各种致动器或机构。例如，致动单元可以利用一个或多个液压致动器或气动致动器。致动单元可以利用各种其他类型的致动器，诸如电马达、微型马达、压电换能器等。在一些实施方式中，可以借助于丝线(或“筋”)将致动器连接到内窥镜的可转向远端的一个或多个区段，以便影响可转向远端的移动。根据结肠镜的特定致动单元和/或动力学属性，可以选择控制器201来为致动器生成控制信号，以便使远端的转向方向生效。在一些情况下，控制器201与转向控制系统210分开。控制器201可以从转向控制系统接收目标方向，并生成控制信号来控制致动单元203。在一些情况下，控制器201 可以并入到转向控制系统中。在该情况下，可以由转向控制系统210 生成向致动单元供应的控制信号。致动单元或致动器可以位于或者可以不位于患者的空腔内。致动单元或致动器可以位于或者可以不位于结肠镜的远端。
在一些实施方式中，结肠镜的可转向远端可以包括如图1B中所示的可弯曲/可延伸区段，其中通过对穿过该可弯曲/可延伸区段的一系列嵌入式筋的致动(即，筋驱动式致动器机构)来实现弯曲。结肠镜的远端处的可弯曲/可延伸(颈部)区段被收容于两个可膨胀球囊的位置之间，如图1B中所示。这两个可膨胀球囊充当锚固件，用以根据需要保持结肠镜的位置。在一些实施方式中，柔性的筋驱动式区段具有不超过40mm的长度，具有大于150°的弯曲角度，并且被设计用于执行结肠镜的全向弯曲，以允许对结肠中的褶皱背后的彻底检查。在一些实施方式中，可弯曲/可延伸区段的长度可以不超过20mm、不超过30mm、不超过40mm、不超过50mm或者不超过60mm。在一些实施方式中，柔性的筋驱动式区段的弯曲角度可以大于90°、大于100°、大于110°、大于120°、大于130°、大于140°、大于150°、大于160°或者大于170°。弯曲角度和弯曲方向由穿过柔性区段的多个嵌入式筋的运动来控制。另外，该区段还可以机动化以延伸/伸长远端。在一些实施方式中，用于延伸/伸长的致动器并不作为结肠镜装置的一部分而嵌入，而是其放置在控制系统上。因此，这一实用设计不需要在丢弃结肠镜装置时丢弃致动器，这节省了装置的制造成本。
再次参考图2，转向控制系统210可被配置用于控制结肠镜的转向移动。转向控制系统可以控制结肠镜的包括转向移动和推进移动在内的移动。转向控制系统可以使得能够实现结肠镜的自动化或半自动化控制。在一些情况下，结肠镜的转向方向由转向控制系统自动控制，而插入速度或深度则可以手动控制。可以通过附加的控制器来控制插入移动，该附加控制器经由诸如按钮、操纵杆、摇杆、触摸板、运动控制、语音控制、加速度计、触觉反馈等任何合适的用户接口从操作者或用户接收输入。备选地，可以通过用于导引结肠镜的远端的移动的同一转向控制系统来控制插入移动。转向控制系统可被配置用于生成目标方向。在一些情况下，转向控制系统可被配置用于提供用以使机器人结肠镜转向的自适应转向控制输出信号，例如，实时适应于一个或多个传感器的输入传感器数据的变化的转向控制输出信号。转向控制系统可以可操作地耦合到结肠镜。
在一些实施方式中，转向控制系统210可以至少包括一个转向控制模块211和一个传感器209。在一些实施方式中，转向控制系统 210可以至少包括一个转向控制模块211和多个传感器209。转向控制模块211可以可操作地耦合到结肠镜。在一些情况下，转向控制模块可搭载于结肠镜上。在一些情况下，转向控制模块位于患者的空腔之外。备选地，转向控制模块可以位于患者的空腔之内并且连接到结肠镜。转向控制模块可以包括一个或多个处理器，所述一个或多个处理器被配置用于确定目标方向和/或生成给致动单元的输出控制信号。在一些实施方式中，一个或多个处理器可以是可编程处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)、通用处理单元或微控制器)，形式为细粒度空间架构，诸如现场可编程门阵列(FPGA)、专用集成电路(ASIC)以及/或者一个或多个先进RISC机器(ARM) 处理器。
在一些实施方式中，一个或多个处理器可以可操作地耦合到非暂时性计算机可读介质。非暂时性计算机可读介质可以储存可由一个或多个处理器单元执行以供实行一个或多个处理步骤的逻辑、代码和 /或程序指令。在一些情况下，转向控制系统210的一个或多个存储器单元可以储存多个计算参数，例如，加权因子、偏置、阈值，以及限定机器学习架构和一个或多个计算指令的各个其他数据。本文稍后将会讨论关于机器学习架构的细节。非暂时性计算机可读介质可以包括一个或多个存储器单元(例如，可移动介质、主存储器、外部存储诸如SD卡，或者随机存取存储器(RAM))。存储器单元可以包括任何合适的RAM，包括静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(SDRAM)、双倍数据速率(DDR)、双倍数据速率同步动态随机存取存储器(DDR SDRAM)、DDR、DDR2、DDR3、T-RAM、Z-RAM等。
在一些实施方式中，多个传感器209可以位于或十分靠近结肠镜的远端207。在一些实施方式中，多个传感器可以包括至少一个传感器、至少两个传感器、至少三个传感器、至少四个传感器、至少五个传感器，或者多于五个传感器。多个传感器可以提供包含与腔中心的区位或者远端相对于周围结肠壁的位置相关的信息的传感器数据。在一些实施方式中，多个传感器可以至少包括光学成像传感器和碰触 /距离传感器。在一些实施方式中，光学成像传感器和碰触/距离传感器全都位于远端。
在一些情况下，多个传感器可以可移除地附接到远端。多个传感器可以附接到远端的不同区位，诸如远端的周界周围。多个传感器可以布置成例如使得光学成像传感器和碰触或距离传感器可以提供关于靠近远端的障碍物或结肠壁部分的信息。在一些情况下，可以基于传感器的区位而确定感测范围。例如，当图像传感器(例如，微型相机)的视线(line of sight，LOS)与向前移动方向基本上对准时，成像传感器可以提供使得能够实现对远端前方的物体或环境的结构的检测的感测范围(例如，视场)。在一些情况下，可以在视场内标识出腔中心的区位。在一些情况下，可以基于从图像数据导出的光反射强度而标识出视场内的障碍物。举例而言，在另一例子中，当碰触或距离传感器定位在远端的周界周围时，感测范围可以是指可在其中感测到位于远端的周界周围的障碍物或环境结构的范围。
在一些情况下，多个传感器可以包括位于结肠镜的远端处或结肠镜的主体中的传感器，诸如光传感器、光学图像传感器、附加的碰触/距离传感器、运动传感器或位置传感器，使得这些传感器可以提供关于主体部分相对于结肠壁或腔中心的相对位置或者结肠镜的各种运动性质的附加信息。在一些实施方式中，传感器中的附加传感器的数目可以包括至少一个传感器、至少两个传感器、至少三个传感器、至少四个传感器、至少五个传感器或者多于五个传感器。
附加信息或传感器数据可以供应给转向控制模块用于确定控制信号或目标方向，或者可以不供应给转向控制模块。在一些实施方式中，位于结肠镜的主体中(例如，结肠镜的主体的一个或多个节段中) 的传感器可以提供诸如接近度数据等传感器数据作为向控制系统供应的输入数据的一部分，以供生成转向控制信号。例如，除了从位于远端的传感器收集的输入数据之外，还可以将指示出主体的一个或多个节段相对于结肠壁或腔中心的位置的接近度信息用于生成控制信号。这对于提供结肠镜的配置和转向方向的优化控制可能是有益的。备选地或附加地，可以利用由位于结肠镜的主体中的传感器收集的传感器数据来提供关于主体的配置的实时数据，以供帮助重建腔的内部的二维或三维地图。本文稍后将会讨论关于二维或三维地图重建的细节。
多个传感器可以可操作地耦合到转向控制模块211。多个传感器所收集的传感器数据可以传输到转向控制模块以供确定目标转向方向。在一些情况下，多个传感器可被配置成以有线或无线方式传输传感器数据。可以利用任何合适的手段来进行数据传输。例如，可以提供有线通信总线(例如，内部集成电路(I2C))用于数据传输。应当注意，可以使用任何类型和任何数目的有线通信总线(诸如I2C 或串行外设接口(SPI))或无线通信手段(例如，蓝牙、Wi-Fi)来实现数据传输。对用于传输数据的各种手段的选择可以基于传输速度需求和带宽要求而确定。
碰触或距离传感器：在一些实施方式中，多个传感器209可以包括碰触或距离传感器。碰触或距离传感器可以用于提供结肠镜附近的结肠腔的形貌信息，或者检测十分靠近结肠镜的推进的端头的障碍物。例如，碰触或距离传感器可被配置用于监测或测量远端相对于周围结肠壁或相对于腔中心的位置。可以采用各种技术来提供碰触或接近度感测能力，诸如电容感测、电阻感测或者两者的组合。诸如热红外、雷达或光学感测等其他技术也可以用于接近度感测。
图3和图4示出了用于提供碰触或接近度感测的示例性电容传感器。电容感测技术可以利用电容耦合机制，该机制可以检测和测量由靠近感测电极的导电材料或介电材料的相对运动造成的电容变化。
如图3中所示，电容传感器可以包括一个或多个电极感测板301。电极感测板可以包括诸如柔性印刷电路等电路。电极感测板可被配置用于测量电容，从而可以基于电容来测量感测板与物体(例如，结肠壁)之间的距离。在一些情况下，电容传感器可以依赖于互电容的测量，例如，其中靠近诸如结肠壁等物体改变了依次扫描的电极感测板的行电极与列电极之间的互电容耦合。在一些情况下，电容传感器可以依赖于自电容(或绝对电容)的测量，例如，其中十分靠近诸如结肠壁等物体增大了与地的寄生电容。电极感测板可以具有各种形状，诸如矩形、正方形、圆形等。电容传感器可以包括电极感测板中的一个或多个。在一些情况下，一个或多个电极感测板可以对称地安装在结肠镜的远端303的周界周围。备选地，电极感测板可以不对称放置。电极感测板可以安装到远端的刚性部分，使得电极感测板所附接的区位可相对于彼此固定。电容传感器可以包括任何数目的电极板。例如，电容传感器可以至少包括1个、2个、3个、4个、5个、6个、7个或8个电极板。电容传感器还可以包括微控制器。在一些情况下，微控制器可以封闭在壳体内，或者例如嵌入在收容图像传感器(例如，微型相机)的同一封装中。
在一些情况下，测量所述电容传感器与结肠壁之间的距离。例如，可以检测位于电容传感器的一定接近范围305内的物体或结肠壁区域，并且可以测量距离。感测范围例如可以至少是1mm、2mm、 3mm、5mm、7mm、10mm、15mm、20mm、30mm、40mm或 50mm。在一些情况下，感测范围可以是固定的。在一些情况下，感测范围可以是可调的。在一些情况下，感测范围可以是从约1mm到约50mm的范围。在一些情况下，其可以约小于1mm。在一些情况下，其可以约大于50mm。在一些情况下，确定远端相对于结肠壁或腔中心的位置。例如，当多个电极板对称放置时，来自多个电极板的读出值的偏移可以指示出远端相对于腔中心的偏离中心的位置。电容传感器可以用于在检测接触或不检测接触的情况下测量远端相对于腔壁或腔中心的位置。在一些情况下，可以在不检测接触点的情况下确定相对位置。在一些情况下，电容传感器可以检测与诸如结肠壁等物体的碰触点或接触点。在一些情况下，当检测到物体或结肠壁的部分处于结肠镜的远端的一定接近度内时，转向控制系统可以将结肠镜转向到远离该物体或结肠壁的该部分的方向上。电容传感器数据可以传输到转向控制模块并且用于确定目标方向，从而可以重新定位远端以避免与物体的接触或者从物体移开。
图4A示出了根据某些实施方式的电容传感器的另一示例。如图4A中所示，电容传感器可以包括一个或多个感测触须401。感测触须可以是径向安装在远端上的金属丝线。感测触须可以包括位于附接到远端的触须基部的一个或多个电路。感测触须可被配置用于测量电容，从而可以基于电容来测量感测触须与物体(例如，结肠壁的部分)之间的距离。例如，测得的电容可随着电容传感器接近结肠壁或其他物体而增大。电容传感器可以包括感测触须中的一个或多个。在一些情况下，一个或多个感测触须可以对称地安装在结肠镜的远端 403的周界周围。备选地，感测触须可以不对称放置。在一些情况下，感测触须可以安装到远端的刚性部分，使得感测触须所附接的区位相对于彼此固定。电容传感器可以包括任何数目的感测触须。例如，电容传感器可以至少包括1个、2个、3个、4个、5个、6个、7个或8个感测触须。电容传感器还可以包括微控制器。在一些情况下，微控制器可以封闭在壳体内，或者例如嵌入在收容图像传感器(例如，微型相机)的同一封装中。
在一些情况下，确定机器人结肠镜的远端相对于结肠壁或腔中心的位置。例如，当多个电极板对称放置时，来自多个电极板的读出值的偏移可以指示出远端相对于腔中心的偏离中心的位置。在一些情况下，可以通过距离传感器确定从远端的一部分至检测到的物体的接近度或距离。图4B示出了使用多个电极感测板进行距离检测和确定方向矢量的示例性方法。如该示例中所示，每个电极感测板可以提供沿着相对于结肠镜的中心的方向值，即，指示出感测电极与结肠壁或其他障碍物的接近度的矢量。可以计算多个矢量之和407以确定方向矢量，该方向矢量指示出结肠镜的远端相对于局部环境或附近障碍物的位置。
在一些情况下，测量感测触须与结肠壁之间的距离。例如，可以检测位于电容传感器的一定接近范围405内的物体或结肠壁区域，并且可以测量距离。感测范围可取决于触须的尺寸或形状。在一些情况下，感测范围可取决于离触须可以到达的远端的周界的径向距离。感测范围例如可以至少是1mm、2mm、3mm、5mm、7mm、10mm、 15mm、20mm、30mm、40mm、50mm、60mm、70mm、80mm 或90mm。在一些情况下，确定远端相对于结肠壁或腔中心的位置。例如，当多个感测触须对称放置时，来自多个感测触须的读出值的偏移可以指示出远端相对于腔中心的偏离中心的位置。电容传感器可以用于在检测接触或不检测接触的情况下测量远端相对于腔壁或腔中心的位置。在一些情况下，可以在不检测接触点的情况下确定相对位置。在一些情况下，电容传感器可以检测与诸如结肠壁等物体的碰触点或接触点。在一些情况下，当检测到物体或结肠壁的部分处于结肠镜的远端的一定接近度内时，转向控制系统可以将结肠镜转向到远离该物体或结肠壁的该部分的方向上。电容传感器数据可以传输到转向控制模块并且用于确定目标转向方向，从而可以重新定位远端以避免与物体的接触或者从物体移开。
其他技术也可以用作碰触或距离传感器。例如，可以利用电阻碰触传感器来检测与物体或结肠壁的接触点。在一些情况下，当检测到碰触或接触点时，转向控制系统可以使结肠镜转向远离物体。
图像传感器：转向控制系统还可以包括一个或多个光学成像传感器。一个或多个光学成像传感器可以用于确定腔中心的区位，或者提供指示出结肠镜的远端相对于结肠腔的定向的信息。一个或多个光学成像传感器可被配置用于收集图像数据。在一些情况下，一个或多个光学成像传感器可以封装在诸如相机等成像装置内。成像装置的示例可以包括相机、摄像机或者任何具有捕获光信号的能力的装置。成像装置可被配置用于采集和/或传输该成像装置的视场内的物体或环境的一个或多个图像。成像装置可以具有至少80度、90度、100度、 110度、120度、130度、140度、150度、160度或170度的视场。在一些情况下，视场可以是固定的。在一些情况下，视场可以是可调的。在一些情况下，成像装置可以具有范围从80度到170度的视场。在一些情况下，视场可以小于80度。在一些情况下，视场可以大于 170度。成像装置可以安装在结肠镜的远端上。在一些实施方式中，结肠镜可以包括光学耦合到位于结肠腔之外的一个或多个成像装置的一个或多个光纤(或光管、光导、波导等)，其中光纤收集从结肠镜的远端附近的视场反射、散射或发射的光，并将其传输到一个或多个成像装置。成像装置可以是2D相机或3D相机。在一些情况下，相机可以是这样的3D相机：其包括两个成像传感器，所述两个成像传感器被配置用于提供立体图像，从而可以从捕获的图像数据导出关于视场内的物体的深度信息。
成像装置或相机可以具有壳体，该壳体封闭一个或多个成像传感器以及成像装置的其他组件。在一些情况下，碰触或距离传感器的微处理器控制器也可以封闭在相机壳体中。成像传感器可被配置用于响应于各个光波长而生成图像数据。例如，成像传感器可被配置用于收集电磁谱的紫外、可见、近红外或红外区中的图像。可以采用多种成像传感器来捕获图像数据，诸如互补金属氧化物半导体(CMOS) 或电荷耦合器件(CCD)传感器。在一些情况下，成像传感器的输出可以是可由相机电路或相机的处理器处理的图像数据(数字信号)。在一些情况下，成像传感器可以包括光学传感器的阵列。
成像装置可以具有任何合适的大小和/或尺寸。成像装置的大小和/或尺寸可以适合于插入到人的空腔中，或者附接到结肠镜的远端。在一些情况下，成像装置可以具有约小于或等于0.5cm、1cm、2cm、 3cm、4cm或5cm的最大尺寸(例如，长度、宽度、高度、直径、对角线)。在一些情况下，成像装置可以具有小于5cm的长度。在一些情况下，成像装置可以具有小于1cm的外径。成像装置可以具有约小于或等于2cm2、1cm2或0.01cm2的占位面积(这可以是指由成像装置包围的横截面积)。在一些情况下，成像装置的重量可以不超过2kg、1kg、0.5kg、0.1kg、0.05kg、0.01kg、5g或1g。
成像传感器可以在特定的图像分辨率下捕获一个图像帧或一系列图像帧。图像帧分辨率可由帧中的像素数目所定义。图像分辨率可以约大于或等于352x420像素、480x320像素、720x480像素、1280x720 像素、1440x1080像素、1920x1080像素、2048x1080像素、3840x2160 像素、4096x2160像素、7680x4320像素或15360x8640像素。图像分辨率可以是约352x420像素至约15360x8640像素范围内的任何分辨率。成像装置可以具有小于1微米、2微米、3微米、5微米、10微米或20微米等像素大小。相机例如可以是4K相机或者具有更高分辨率的相机。在一些实施方式中，相机的像素可以是正方形。在其他实施方式中，成像装置或相机可以具有非正方形像素，或者可以包含附加的光学组件以校正光学失真。成像装置可以捕获彩色图像(RGB 图像)、灰度级图像等。
成像传感器可以在特定的捕获速率下捕获图像帧序列。在一些实施方式中，可以在诸如约24p、25p、30p、48p、50p、60p、72p、90p、100p、120p、300p、50i或60i等标准视频帧率下捕获图像序列。在一些实施方式中，可以在约小于或等于每0.0001秒、0.0002秒、 0.0005秒、0.001秒、0.002秒、0.005秒、0.01秒、0.02秒、0.05秒、 0.1秒、0.2秒、0.5秒、1秒、2秒、5秒或10秒一个图像的速率下捕获图像序列。在一些实施方式中，捕获速率可根据用户输入和/或外部条件(例如，照明亮度)而变化。
在一些情况下，成像装置可以包括变焦镜头，该变焦镜头的焦距或视角可以改变。成像装置可以通过调整变焦镜头的焦距来提供光学变焦。
成像装置可以与转向控制模块通信。可以将成像装置收集的图像数据传输到转向控制模块。图像数据可以经由有线或无线连接进行传输。在一些情况下，成像装置可以与其他装置通信。例如，成像装置可以向显示器传输图像数据，从而可以向操作结肠镜的操作者或内窥镜医师显示一个或多个图像。在其他情况下，成像装置可以从外部装置接收控制信号，用于控制相机的操作(例如，拍摄静态或视频图像、放大或缩小、开启或关闭、切换成像模式、改变图像分辨率、改变焦点、改变景深、改变曝光时间、改变视角或视场等)。
在一些实施方式中，可以提供一个或多个光源来照亮场景以便更好地观看。一个或多个光源可以安装在结肠镜的远端上。在一些情况下，一个或多个光源可以放置在这样的区位中：该区位使得可以提供均匀的照明来照亮相机的视场内的场景。例如，多个LED光源可以径向安装在远端上。均匀照明对于分析离物体的距离或者基于光反射来检测障碍物可能是有益的。可以使用各种类型的光源，诸如发光二极管(LED)、卤素光源、氙光源等。在一些实施方式中，结肠镜可以包括一个或多个光纤，所述一个或多个光纤光学耦合到位于结肠腔之外的一个或多个光源，并且可以用于照亮视场。
定位腔中心位置或检测障碍物的图像处理：在一些情况下，可以使用一个或多个图像处理算法对图像数据进行处理，以便提供关于腔的中心相对于结肠镜的远端(或者更一般地，相对于内窥镜的远端) 的区位的信息。在一些情况下，可以将由此从图像处理获得的(一个或多个)结果用作机器学习算法的输入，以便确定导航方向和生成一组一个或多个转向控制指令。在一些情况下，图像数据可以用于估计腔中心位置的区位。在一些情况下，图像数据可以提供关于腔壁轮廓的信息，该信息对于确定结肠相对于结肠镜的远端的定向或方向是有用的。在其他情况下，图像数据可以提供关于场景中感知的一个或多个特征的深度信息(例如，当使用立体相机时)或距离信息。在一些情况下，可以随同或不随同附加的碰触或距离传感器数据一起处理图像数据，以便确定用于使结肠镜转向的目标方向。本文稍后将会讨论关于处理图像数据和碰触或距离数据的方法的细节。
如上所述，在一些实施方式中，图像数据可以至少包括由成像装置捕获的场景的二维图像。在一些实施方式中，可以分析图像数据以提供关于腔中心的区位和/或离结肠壁的距离的信息。图5A示出了包含关于腔中心的区位和/或腔相对于结肠镜的远端的方向的信息的示例性图像。在一些情况下，可以在图像中直接将腔中心可视化。在一些情况下，腔壁的纹理也可以是可见的，并且可以指示出结肠镜的远端前方紧邻的腔的定向或方向。在一些情况下，可以使用合适的图像处理技术，例如，特征提取、边缘检测、图案识别、图案匹配等，从图像数据确定腔中心的区位。例如，鉴于诸如粘膜褶皱等腔壁的特定形貌或纹理，可以通过图像处理来识别图像中感知的指示出存在褶皱的特征，并且可以使用暗区的形心或点位来确定腔中心501的区位。可适合于在所公开的方法中使用的图像处理算法的示例包括但不限于高斯-拉普拉斯(Laplacian of Gaussian，LOG)法、坎尼边缘检测法、Canny-Deriche边缘检测法、索贝尔算子法、一阶梯度检测法、二阶差分边缘检测法、相位相干边缘检测法、强度阈值处理法、强度聚类法、基于强度直方图的方法、广义霍夫变换、圆形霍夫变换、傅里叶变换、快速傅里叶变换、小波分析以及自相关分析。
在一些实施方式中，可以由用户例如通过使用用户软件接口来输入腔中心的区位和/或感兴趣物体的区位。在一些实施方式中，可以通过由执行于机器学习架构上的机器学习方法对输入传感器数据(或者经预处理的输入传感器数据)进行处理来确定腔中心的区位和/或感兴趣物体的区位。图5B示出了通过对图像数据的自动化处理来标识腔中心503的区位或感兴趣物体的区位的示例。可以使用各种图像处理或图案识别方法来确定腔中心或感兴趣物体的区位。例如，区位可以使用包括下列方法中的至少一个的自动化图像特征提取过程来获取：强度水平分析、轮廓绘图、噪声去除以及质心计算。如本示例中所示，可以对捕获的图像帧施加光强度阈值处理，此后可以进一步处理图像数据以标识一个或多个轮廓。一旦从背景分割或提取出腔或感兴趣物体，就可以例如通过使用质心计算来标识腔中心或物体中心的区位。应当注意，虽然在本例中使用了质心计算来定义腔或物体的中心，但还可以使用诸如地理中心计算等其他方法来定义中心区位。各种其他方法也可以用于识别感兴趣物体或腔中心，包括但不限于机器学习方法、自动化光强度梯度分析过程等。
在一些实施方式中，可以确定感兴趣物体或腔中心识别的置信水平。置信水平可由置信度得分来表示。例如，可以从图像数据确定腔中心置信度得分。图5C示出了用于确定腔中心置信度得分505的过程的一个非限制性示例。腔中心置信度得分可以从要由机器学习方法处理的输入图像数据来确定。腔中心置信度得分505可以基于一个或多个因子来确定。在一些实施方式中，一个或多个因子可以包括下列各项中的至少一个：光强度得分507、转动惯量计算509或者感兴趣物体的图像的凸度计算511。一个或多个因子可以例如通过简单求和或者通过计算加权平均值而结合起来，以便确定置信度得分505。例如，腔或感兴趣物体的具有高强度的提取图像可能关联于高置信度得分。在另一示例中，示出腔中心或感兴趣物体的、具有低转动惯量或低凸度值的提取特征可能关联于高置信度得分。
一个或多个因子与置信水平能够以多种方式相关，诸如线性相关或非线性相关(例如，指数式相关)。例如，可以将置信水平计算或确定为各个因子的加权和。加权系数可以指示出关联的因子的重要性。加权系数例如可以基于历史数据而经验性地确定。加权系数可以基于任何合适的理论或任何目的而确定。例如，加权系数可以根据所要标识的特征而改变。加权系数可以是或者可以不是相等的。一个或多个因子可以用于以各种其他方式来确定置信度得分，诸如通过使用倍增因子。
在一些情况下，还可以从图像数据提取关于腔壁的深度信息。深度信息例如可以基于图像强度来提供。当一个或多个光源所提供的照明是均匀的或均质的时，接近于成像装置的物体或障碍物可反射更多的光，从而呈现为图像中的亮区(或眩光区)。在一些情况下，可以使用光反射的程度或图像强度，在物体或结肠壁的部分十分靠近结肠镜的远端时检测该物体或结肠壁的部分。所检测到的物体或障碍物可基本上位于远端的前方。例如，表现出眩光或高亮度的图像特征的存在可以指示出十分靠近结肠镜的远端的障碍物。在一些情况下，可以基于光反射程度或图像强度来估计物体或结肠壁与远端之间的距离。在一些情况下，可以生成梯度图来将物体的距离或场景的深度与反射光强度相关联。在一些情况下，可以基于距离与图像强度(例如，反射光强度)之间的预先确定的关系来生成梯度图。在一些情况下，使用光反射方法对十分靠近远端的障碍物或结肠壁的检测可以使得转向控制系统提供目标转向方向，从而使结肠镜的远端转向远离障碍物或结肠壁以避免接触。
图6A和图6B示出了使用图像数据来提供关于腔中心的区位的信息和关于图像中的特征的深度信息的附加示例。在一些实施方式中，图像帧的光强度梯度可以是要由机器学习方法处理的输入数据的一部分。如上文所述，可以使用诸如特征提取等合适的图像处理和分析方法来确定腔中心601的位置。在一些情况下，同一图像还可以用于提供深度信息或检测十分靠近的障碍物。备选地，可以例如从第二图像传感器收集附加的图像数据，以供通过分析光反射来检测障碍物。用于检测障碍物的图像数据可以与用于定位腔中心的图像数据相同或者可以不相同。可以如前文所述基于光反射方法来检测障碍物607。在一些情况下，可以生成梯度图605，梯度图605指示出场景中感知的特征的相对或绝对距离或者关于图像的深度信息。梯度图、检测到的障碍物的区位以及/或者腔中心的区位可以由转向系统控制器用于确定目标方向以及提供用于控制结肠镜的远端603的转向控制信号。目标方向可以与腔中心对准或者可以不与其对准。
如图6B中所示，可以使用一系列图像处理步骤来获取图像帧的光强度梯度609。可以针对整个图像帧或针对图像帧的一部分确定梯度矢量。在示例中，可以生成捕获的图像的灰度级图像，该灰度级图像包含光强度分布信息。可以获取沿着水平方向和/或垂直方向或者沿着水平投影线和/或垂直投影线的梯度，用于在梯度矢量609的计算中使用。梯度矢量609可以包含在用于通过机器学习过程确定转向控制方向(和/或用于各种其他应用)的输入数据中。
在一些情况下，腔中心在图像中可能是不可见的。例如，当远端到达结肠的纠缠或弯曲区段时，腔中心可能在图像中不直接可见。在这一情况下，可以间接地估计或获取腔中心的点位。例如，可以基于针对先前图像数据所确定的腔中心的点位来估计腔中心的点位。可以基于从图像分析获得的运动估计或运动矢量来估计腔中心的点位。例如，可以从一系列图像获取腔中心的一系列位置，并且可以根据腔中心的连续位置和结肠镜的推进速率来计算连续图像之间的运动矢量。还可以使用图像内的任何其他特征来执行运动向量或运动估计方法。上一图像中的腔中心的运动矢量和位置可以用于估计或预测接下来的图像帧中的腔中心的位置。可以使用各种方法(例如，光流法、相位相关法、基于块的方法、Lucas-Kanade法、Horn-Schunk法、 Buxton-Buxton法、Black-Jepson法、离散优化法、像素递归算法、 RANSAC等)来获得运动矢量和/或估计腔中心的区位。在一些情况下，可以根据图像中感知的结肠腔的纹理或其他特征来选择所使用的方法。
在一些情况下，可以对图像帧进行预处理(即，粗略分析)，以在执行运动矢量计算之前确定是否能够直接确定腔中心。例如，可以通过例如使用如本文其他各处所述的图案匹配或图案识别方法提取腔中心的特定特征，来针对可见腔中心的存在而对图像进行检查。
用于整合和处理传感器数据的机器学习算法：在一些实施方式中，可以使用人工智能或机器学习方法根据传感器输入数据确定目标方向和/或转向控制信号。在一些情况下，所采用的人工智能方法可以包括人工神经网络(ANN)。在一些情况下，人工智能方法可以是深度机器学习方法。在一些情况下，所述方法可以是监督式深度机器学习方法。转向控制系统可以采用人工神经网络(ANN)来确定转向方向和/或向机器人内窥镜提供转向控制信号。人工神经网络可以采用任何类型的神经网络模型，诸如前馈神经网络、径向基函数网络、递归神经网络或卷积神经网络等。在一些实施方式中，转向控制系统可以使用经预训练的ANN架构。转向控制系统可以处理如上文所述由多个传感器提供的输入数据，并且实时生成控制信号或目标方向。在一些情况下，例如，当传感器数据包括图像数据时，可以在将传感器数据作为输入发送到ANN之前例如使用一个或多个图像处理方法对该传感器数据进行预处理。
如本文所使用的，术语“实时”是指机器学习或人工神经网络算法为了响应于一个或多个输入数据流的变化来更新对转向方向和/ 或转向控制信号的预测而采集、处理和/或使用传感器数据的速率。一般而言，由所公开的自动化转向控制方法和系统提供的转向控制信号的更新速率的范围可以是从约10Hz到约1000Hz。在一些实施方式中，更新速率可以是至少10Hz、至少20Hz、至少30Hz、至少40Hz、至少50Hz、至少100Hz、至少200Hz、至少300Hz、至少400Hz、至少500Hz、至少600Hz、至少700Hz、至少800Hz、至少900Hz 或至少1000Hz。在一些实施方式中，更新速率可以是至多1000Hz、至多900Hz、至多800Hz、至多700Hz、至多600Hz、至多500Hz、至多400Hz、至多300Hz、至多200Hz、至多100Hz、至多50Hz、至多40Hz、至多30Hz、至多20Hz或至多10Hz。本领域技术人员将会理解，更新速率可以具有该范围内的任何值，例如，约24Hz。
如上所述，在一些情况下，可以在训练阶段学习神经网络的加权因子或其他计算参数。例如，可以使用来自训练数据集的输入数据以及梯度下降法或反向传播法来训练参数，以使得ANN计算的(一个或多个)输出值(例如，目标转向方向或转向控制信号)与训练数据集中所包含的示例一致。所述参数可以从反向传播神经网络训练过程获得，该过程可以是或者可以不是使用与实时控制或应用过程相同的硬件执行的。
图7示出了用于机器人结肠镜检查系统的自动化转向控制的示例性ANN 703。ANN703可以包括多个层。例如，ANN系统可以至少包括输入层、多个隐藏层以及输出层。如图7中所示，ANN系统可以包括任何总数的层，以及任何数目的隐藏层。神经网络的最简单的架构以输入层开始，随后是一系列中间层或隐藏层，并以输出层结束。隐藏层或中间层可以充当可学习特征提取器，而本例中的输出层则提供预测目标转向方向或转向控制信号。
神经网络的每个层可以包括多个神经元(或节点)。神经元接收直接来自输入数据(例如，传感器数据、图像数据、经处理的传感器或图像数据、物体识别数据、运动跟踪数据等)或者来自其他神经元的输出的输入，并执行特定运算，例如，求和。在一些情况下，从输入到神经元的连接关联于权重(或加权因子)。在一些情况下，神经元可以计算所有的输入及其关联权重对的乘积之和。在一些情况下，加权和偏移了某一偏置。在一些情况下，可以使用阈限或激活函数对神经元的输出施加门控。激活函数可以是线性的或非线性的。激活函数例如可以是修正线性单元(rectified linear unit，ReLU)激活函数，或者其他函数，诸如饱和双曲正切函数、恒等函数、二进制阶跃函数、逻辑函数、反正切函数、softsign函数、参数修正线性单元函数、指数线性单元函数、softPlus函数、弯曲恒等函数、softExponential函数、正弦函数、Sinc函数、高斯函数、sigmoid函数，或者其任何组合。
神经网络的输出705可以是控制信号或目标方向。ANN可以从多个传感器获取输入数据，使用多层神经元对其进行处理，并且输出用于控制结肠镜的转向方向的控制信号。如本文其他各处所述，控制信号可以传输到致动单元。在一些情况下，还可以将与机器人系统的动力学或运动学属性相关的数据并入到ANN中，以便生成向致动单元发送的控制信号。在一些情况下，输出可以是目标方向。目标方向可以传输到致动单元的控制器，以便实现结肠镜的转向方向。在这一情况下，转向控制系统可不需要知道机器人系统的动力学或运动学属性。
在一些情况下，向神经网络的输入层供应的输入数据701可以至少由图像传感器和碰触或距离传感器来提供。在一些情况下，可以仅由图像传感器提供输入数据。在一些情况下，可以仅由碰触或距离传感器提供输入数据。输入数据可以包含关于腔中心的区位、十分靠近结肠镜的远端的一个或多个物体的区位或者远端相对于腔中心或结肠壁的相对位置的信息。可以使用一个或多个训练数据集来训练神经网络，以便学习输入数据与输出控制信号或目标方向之间的映射。输入数据可以是多种形式的。在一些情况下，输入数据可以包括原始传感器数据，诸如由相机捕获的图像和/或距离传感器数据。在一些情况下，输入数据可以包括经处理的传感器数据，诸如指示出视场内的结肠壁的深度信息的强度梯度图、腔中心或障碍物的区位、结肠镜的远端相对于结肠壁或腔中心的相对位置，或者从顺序图像数据导出的运动矢量。根据所使用的输入数据的形式，输入数据集可具有不同的维度，诸如1个、2个、3个、4个、5个、6个、7个或更多个维度。
在一些情况下，输入数据可随不同环境而改变，例如，随着结肠镜推进经过结肠而改变。在一些情况下，输入数据的完整性可能改变。例如，当无法从图像直接提取腔中心的区位时，可以使用基于运动的方法来分析图像数据，以便估计腔中心的区位。在这一情况下，输入数据可以包含估计的腔中心位置，但不包括原始图像数据。在其他情况下，可以检查图像传感器数据和/或碰触或距离传感器数据以确定传感器完整性。如果检测到传感器发生故障或者传感器数据的质量不满足一定的阈限(例如，指定的信噪比)，则可以不将对应的传感器数据包含在输入数据中。备选地，可以将所有的传感器数据包含在输入数据中并由ANN进行分析，而不考虑传感器完整性和数据质量。
在所公开的方法和系统中还可以使用其他类型的机器学习方法，诸如递归神经网络(recurrent neural network，RNN)或卷积神经网络 (CNN)系统(用于处理图像数据)来确定转向方向或控制信号。CNN 通常由不同类型的层组成：卷积、池化、放大和全连接神经元层。在一些情况下，可以在一些层中使用激活函数，诸如修正线性单元。在CNN系统中，针对每一类型的运算可存在一个或多个层。CNN系统可以包括总共任何数目的层，以及任何数目的用于不同类型运算的层。最简单的卷积神经网络架构以输入层开始，随后是一系列卷积层和池化层，并以全连接层结束。在一些情况下，卷积层之后跟随着ReLU 激活函数层。还可以使用其他激活函数，例如饱和双曲正切函数、恒等函数、二进制阶跃函数、逻辑函数、反正切函数、softsign函数、参数修正线性单元函数、指数线性单元函数、softPlus函数、弯曲恒等函数、softExponential函数、正弦函数、Sinc函数、高斯函数、sigmoid 函数，以及各种其他函数。卷积层、池化层和ReLU层可以充当可学习特征提取器，而全连接层则充当机器学习分类器。
在一些情况下，卷积层和全连接层可以包括各种计算参数，例如，权重、偏置和阈值。这些参数可在训练阶段学习。可以使用训练数据集和梯度下降法来训练所述参数，以使得CNN计算的输出值与训练数据集中所包含的例子一致。所述参数可以从反向传播神经网络训练过程获得，该过程可以是或者可以不是使用与产生或应用过程相同的硬件执行的。
每个卷积层可以包括用于卷积运算的多个参数。在每个卷积层中可以实现一个或多个滤波器，并将其用于围绕输入体积(例如，图像的二维子区段)进行卷积并产生输出体积(例如，图像的像素计数得以减少的经处理子区段)。每个滤波器可以包含一个或多个参数或权重。在一些实施方式中，所述参数还可以包括偏置(即，容许激活函数移位的参数)。
卷积层的输出体积的大小还可以取决于超参数，即，在实际优化或训练神经网络模型的可调参数之前设定的变量。例如，一些超参数可以指定神经网络的结构，而另一些超参数可以确定如何对网络进行训练。在一些情况下，超参数可以包括每一层的节点(或神经元) 数目、所使用的隐藏层的数目、深度(即，隐藏层的数目加一(对于前馈神经网络)或信号传播经过的层的有效数目(对于递归神经网络))、步幅(即，CNN卷积层中的滤波器在其围绕输入体积进行卷积时所使用的移位)以及补零(即，沿着输入体积的边界添加一组零，以避免输出体积在卷积期间过度收缩)。
在一些情况下，ANN的输入层中所使用的节点的数目(其使得能够实现对图像帧和附加传感器输入的子采样)的范围可以是从约10 个到约10000个节点。在一些情况下输入层中所使用的节点的数目可以是至少10个、至少100个、至少200个、至少300个、至少400个、至少500个、至少600个、至少700个、至少800个、至少900 个、至少1000个、至少2000个、至少3000个、至少4000个、至少 5000个、至少6000个、至少7000个、至少8000个、至少9000个或至少10000个。在一些情况下，输入层中所使用的节点的数目可以是至多10000个、至多9000个、至多8000个、至多7000个、至多6000 个、至多5000个、至多4000个、至多3000个、至多2000个、至多 1000个、至多900个、至多800个、至多700个、至多600个、至多 500个、至多400个、至多300个、至多200个、至多100个或至多 10个。本领域技术人员将会理解，输入层中所使用的节点的数目可以具有该范围内的任何值，例如，512个节点。
在一些情况下，ANN中所使用的层(包括输入层和输出层)的总数的范围可以是从约3个到约20个。在一些情况下，层的总数可以是至少3个、至少4个、至少5个、至少10个、至少15个或至少 20个。在一些情况下，层的总数可以是至多20个、至多15个、至多 10个、至多5个、至多4个或至多3个。本领域技术人员将会理解， ANN中所使用的层的总数可以具有该范围内的任何值，例如，8个层。
在一些情况下，ANN中所使用的例如加权因子、偏置或阈值等可学习参数的总数的范围可以是从约1个到约10000个。在一些情况下，可学习参数的总数可以是至少1个、至少10个、至少100个、至少500个、至少1000个、至少2000个、至少3000个、至少4000 个、至少5000个、至少6000个、至少7000个、至少8000个、至少 9000个或至少10000个。备选地，可学习参数的总数可以是小于100 的任何数目、100与10000之间的任何数目，或者大于10000的数目。在一些情况下，可学习参数的总数可以是至多10000个、至多9000 个、至多8000个、至多7000个、至多6000个、至多5000个、至多 4000个、至多3000个、至多2000个、至多1000个、至多500个、至多100个、至多10个或至多1个。本领域技术人员将会理解，可学习参数的总数可以具有该范围内的任何值，例如，约2200个参数。
自动化结肠镜转向机构的优化：如上文所述，可以在训练阶段期间调整神经网络的各个参数，例如，阈值、偏置或权重。可以向神经网络供应多个训练数据集用于训练参数，例如，权重、偏置和阈值，以及定义神经网络的各种其他特性。在本发明的另一方面，提供了一种用于使用机器学习架构来优化自动化结肠镜转向机构的方法。该方法可以包括：提供从至少第一类型的传感器获取的至少第一组输入传感器数据；提供多个训练数据集，其中训练数据集包括针对至少第一类型的传感器的至少第一组已知输入传感器数据以及对应的一组已知输出转向控制信号；以及使用机器学习架构来分析多个训练数据集以确定一组参数，例如，加权参数，其中经学习的参数后续由机器学习架构用于向自动化结肠镜转向机构提供适应于至少第一组输入传感器数据的变化的转向控制信号。、
图8A示意性地图示了向神经网络803供应的、用于学习网络的参数的示例性训练数据集。在一些实施方式中，训练数据集可以包括输入数据813和期望的输出数据811。期望的输出数据可以与输入数据配对。在一些实施方式中，期望的输出数据可以是向致动单元供应的用于实现结肠镜的移动的控制信号。在一些实施方式中，期望的输出数据可以是向结肠镜的控制器供应的目标导航方向，从而可以使远端朝向目标导航方向转向。在一些实施方式中，期望的输出数据可以是向结肠镜的控制器供应的控制指令。
在一些情况下，可以从向机器人结肠镜的转向机构提供的经验性转向控制指令集获得训练数据集的输出转向控制信号。机器人结肠镜可以是与图1A中所述相同的结肠镜。在一些情况下，机器人结肠镜的可转向远端可以包括如图1B中所示的可弯曲/可延伸区段，其中通过致动穿过该可弯曲/可延伸区段的一系列嵌入式筋来实现弯曲。转向机构可以是与如图2中所述相同的机构。从中获得训练数据集的机器人结肠镜可以是与要使用经训练的ANN控制的同一机器人结肠镜，或者可以不是同一机器人结肠镜。在一些情况下，输出转向控制信号可以是由机器人结肠镜的一个或多个熟练操作者响应于训练数据集的输入传感器数据而生成的转向控制指令。例如，可以向熟练操作者、外科医生或内窥镜医师提供由相机捕获的图像数据和/或关于距离传感器检测到的障碍物的信息，而操作者或外科医生继而可以基于感知的信息而指令结肠镜进行移动。例如，控制指令可以指令结肠镜转向远离障碍物且朝向腔中心。控制指令可以指示出可以引导结肠镜朝向的目标导航方向。目标导航方向可以与腔中心对准，或者可以不与其对准。可以使用各种使用接口来获取控制指令，诸如按钮、操纵杆、摇杆、触摸板、运动控制、语音控制、加速度计、触觉反馈等。在一些情况下，可以基于外科医生提供的指令以及输入传感器数据与控制指令之间的预先确定的关系的组合来生成期望的输出数据。例如，基于输入传感器数据，可以使用预先确定的关系来计算初步导航方向，并继而由外科医生进一步校正或修改初步导航方向。
控制指令或目标导航方向可以连同输入数据一起记录，并且用作训练数据集。在一些情况下，可以基于控制指令生成向一个或多个致动单元供应的控制信号，并且可以记录该控制信号并将其用作期望的输出数据。
在一些情况下，用于生成训练数据集的经验数据的机器人结肠镜可以共享与所要控制的结肠镜相同的运动动力学或各种其他属性。用于训练神经网络的结肠镜可以是或者可以不是后续要由经训练的神经网络控制的同一结肠镜。在一些情况下，可以使用从多个结肠镜系统获得的经验数据来训练神经网络。多个结肠镜系统可以是或者可以不是完全相同的。例如，当输出数据是要向致动单元发送的控制信号时，用于生成训练数据的结肠镜系统可以共享相同的运动动力学或运动学属性。在一些情况下，当输出数据是导航方向时，多个结肠镜系统在运动动力学方面可能不同，并且可以通过结肠镜的本地控制器根据目标导航方向来生成适当的控制信号。
在一些情况下，训练数据集的输入数据可以包括从至少一个距离传感器导出的传感器数据。在一些情况下，训练数据集的输入数据可以包括来自至少一个图像传感器的传感器数据。在一些情况下，训练数据集的输入数据可以包括从至少一个距离传感器807和至少一个光学图像传感器805导出的传感器数据。从光学图像传感器收集的传感器数据可以包含指示出相对于机器人结肠镜的引导部分(例如，远端)的结肠腔中心位置或障碍物区位的信息。结肠腔的中心位置可以通过分析结肠腔的图像(例如，使用自动化图像处理和特征提取方法) 而直接获得，或者通过计算预测或估计的结肠腔中心位置(例如，通过计算运动矢量)而获得，或者两者的组合。例如，可以使用从先前收集的图像帧获得的运动矢量来估计结肠腔的中心位置，并且当图像数据中未示出腔中心时可以将估计的位置用作输入数据。在其他情况下，可以将分别直接通过使用特征提取方法和通过使用基于运动的估计方法导出的腔中心区位的估计值相结合，以确定腔中心的区位。可以使用各种方法来结合这两个区位数据估计值以形成预测，诸如加权求和法、卡尔曼滤波器、扩展卡尔曼滤波器、互补滤波器等。从距离传感器收集的传感器数据可以包含指示出机器人结肠镜的引导部分相对于结肠腔壁的位置的信息。
图8B示意性地图示了输入传感器数据和训练数据集的另一示例，输入传感器数据和训练数据集可以供应给机器学习算法803，例如，神经网络，用于学习用以将输入值映射到期望的输出的网络的加权因子和其他参数。训练过程类似于如图8A中所述的示例。训练数据可以包括关于腔中心区位的数据、用于确定腔中心的置信水平、光强度梯度数据、障碍物检测数据、转向历史数据815、经验性转向数据813(例如，由熟练操作者通过内窥镜或结肠镜的操作提供的数据) 和期望的输出数据811。如本文其他各处所述，可以从图像传感器805 捕获的图像数据导出腔中心的区位、正确标识腔中心的置信水平以及光强度梯度数据。例如，腔中心的区位可以使用如图5B中所述的方法来确定，用于确定腔中心的置信水平可以是基于如图5C中所述的一个或多个因子确定的置信度得分，并且图像(或图像的部分)的光强度梯度可以用于使用如图6B中所述的方法来确定梯度矢量。从距离传感器数据807可以获得障碍物检测数据。例如，障碍物检测数据可以是如图4B中所述那样获得的接近度矢量。
输入数据还可以包括转向历史数据815。转向历史数据可以包含与最近的转向控制动作相关的信息。例如，对于每个转向控制指令或命令，可以使结肠镜转向2D或3D空间下的转向矢量。转向矢量可以对应于结肠镜的远端的运动。可以基于多个转向矢量来生成转向历史数据。例如，转向历史数据可以是在指定时间段内的最近的转向矢量的平均值或中值。在另一示例中，可以通过最近的转向矢量的外推来确定转向历史数据。转向历史数据可以包括在过去的0.1秒、1 秒、2秒、3秒、4秒、5秒、10秒、20秒、30秒、40秒、50秒、1 分钟或该范围内的任何时间值期间转向矢量的平均值或中值。
输入数据可以从训练过程获得，或者储存在数据库中。在一些情况下，可以在获取期望的输出数据811之前收集传感器数据和关联的转向历史数据。在一些情况下，可以与获取期望的输出数据并发地收集传感器数据和关联的转向历史数据。图8C示出了根据本发明实施方式，用于训练过程的示例性用户接口820。
用户接口820可被配置用于接收用户输入和向用户输出传感器数据和/或转向控制信息。UI的示例包括但不限于图形用户接口(GUI) 和基于网络的用户接口。用户输入可以至少包括指示出期望的转向方向的期望的输出数据。例如，可以通过UI向熟练操作者、外科医生或内窥镜医师提供图像数据和增强信息，以使得外科医生继而可以基于感知的信息而指令结肠镜进行移动。用户接口可以包括屏幕，诸如显示屏、触摸屏，以及任何其他用户交互式外部设备，诸如手持式控制器、鼠标、操纵杆、键盘、轨迹球、触摸板、按钮、口头命令、手势识别、触摸电容传感器、脚踏开关或任何其他设备。图形用户接口可以在显示屏上显示。例如，显示屏可以包括发光二极管(LED)屏、 OLED屏、液晶显示(LCD)屏、等离子屏，或者任何其他类型的屏幕。
在GUI上可以显示传感器数据中的一些或所有数据。在一些情况下，可以在显示屏上显示伴有增强信息的图像帧。增强信息可以包括要覆盖到屏幕上所显示的图像帧上的静态图像和/或运动图像以及/ 或者信息(诸如文本、图形、图表、标绘图等)。如本文其他各处所述，由成像装置收集图像帧。可以实时提供图像帧并将其预储存在存储设备中。
叠加到图像帧上的增强信息可以包括多个图形元素。多个图形元素可以包括任何形状、颜色和大小以便例如指示出检测到的腔中心 821的区位、由当前机器学习方法生成的建议转向方向823，或者提供图像内特征的深度信息的光强度梯度827。如本文其他各处所述，可以使用特征提取方法来获得检测到的腔中心。在一些情况下，可以将用户输入转向方向823覆盖在图像上。例如，当用户或外科医生点击图像上指示出期望的方向或腔中心位置的区位时，可以将对应的区位或转向矢量用作训练机器学习架构的输入数据。
如上所述，用于训练机器学习算法的期望的输出转向控制数据可以是在其中由外科医生或其他熟练操作者操作机器人内窥镜的试验期间获得的数据。例如，可以经由用户接口，诸如图8C中所示的用户接口，向外科医生呈现实况和/或预先录制的视频图像，在此期间可以提示外科医生经由用户接口在图像中标识和输入腔中心的区位。在一些情况下，可以通过并入仿真图像数据以及实况和/或预先录制的图像来进一步扩展训练集的大小。例如，在一些情况下，可以通过调整与同一期望的输出腔中心区位有关的输入图像数据的一个或多个属性来扩展训练数据集。例如，可以将彩色图像中的一个或多个颜色通道(例如，红色通道、绿色通道或蓝色通道)的强度移位指定的值，而同时腔中心区位保持不变，从而创建先前已标识出腔中心的正确区位的仿真图像。在另一示例中，在正确的输出腔中心区位保持不变的同时，可以修改图像的亮度和/或对比度，或者可以向图像添加噪声和 /或随机特征。在一些情况下，可以通过以这样的方式调整输入图像数据的一个或多个属性使得腔中心的正确区位根据指定的变换关系而改变来扩展训练数据集。例如，可以将输入图像数据在一个或多个方向上(例如，水平、垂直、径向、透视)扭曲或平移，在一个或多个方向上旋转，并且相应地变换腔中心区位的正确区位。表1总结了可以适用于创建用于在所公开的转向控制机构中所使用的机器学习算法的训练中使用的仿真数据的图像参数或图像变换的类型的示例。表1.可调整以创建用于训练机器学习算法的仿真图像数据的图像参数的示例。
用于训练和实时转向控制的传感器数据收集：在一些情况下，可以在同一时间点收集从不同传感器导出的传感器数据。备选地，可以不在同一时间点收集从不同传感器导出的传感器数据。可以按相同的频率或者可以不按相同的频率获取不同类型的传感器数据。在一些情况下，当不在同一时间点或按相同的采集速率收集不同类型的传感器数据时，可以使用时间戳来登记不同类型的数据。可以按至少5HZ、 10HZ、20HZ、30HZ、40HZ、50HZ、60HZ或80HZ的速率采集和/或处理图像传感器数据。可以按至少10HZ、20HZ、40HZ、60HZ、80HZ、100HZ、200HZ、400HZ、600HZ、800HZ或1000HZ的数据采集速率获取碰触或距离传感器数据。
在一些情况下，可以将传感器数据直接用作输入数据。例如，可以将相机捕获的、提供关于引导部分相对于结肠壁的位置的信息的图像供应给神经网络作为输入数据。在一些情况下，可以将从传感器数据的预处理导出的数据，诸如梯度图、运动矢量或从图像提取的腔中心区位供应给神经网络作为输入数据。在一些实施方式中，例如，当输入数据是图像数据时，神经网络可以能够适应于输入数据的完整性的损失或改变。例如，数据完整性的损失可能包括用以标识结肠腔的中心位置的自动化图像特征提取步骤失败。在标识腔中心位置失败的情况下对图像数据完整性的损失或改变的适应可以通过在用于 ANN的输入数据中包含图像数据和腔中心位置的运动矢量推断估计值二者来实现。
在一些情况下，在将输入传感器数据供应给神经网络作为输入数据之前，可以针对数据完整性的损失或改变对输入传感器数据进行分析。例如，可以针对输入数据完整性的损失或改变对传感器数据进行预先检查，并且基于对数据完整性的评价，可以调整输入数据的选择。可以利用输入数据确定模块801来确定输入数据的选择。例如，在用以明确标识图像数据中的结肠腔的中心位置的自动化图像特征提取步骤失败的情况下，输入数据确定模块801可以确定是应当使用基于特征提取方法的区位，还是应当使用基于运动矢量方法的估计区位，或是应当使用两者的某种组合。传感器输入数据完整性的损失或改变的确定可以包括评价影响传感器数据质量的多个因子。例如，当信噪比降至低于指定阈限时，可以确定传感器数据损失了完整性。一旦已经评价输入传感器数据的完整性，输入数据确定模块801就可以确定在向ANN馈送的设定输入数据中包含哪些数据。
图9图示了如何基于图像传感器数据的完整性的改变来选择向 ANN发送的输入数据集的流程图。如图9中所示，当接收视觉输入诸如图像帧901时，可以分析图像数据以标识腔中心903。在一些情况下，同一图像数据还可以用于使用如本文其他各处所述的光反射方法检测障碍物905。使用光反射信息检测到的障碍物可以是相机的视场内的障碍物。可以将检测到的障碍物的区位和/或离障碍物的距离作为输入数据供应给自适应转向控制系统的神经网络920。如果从图像数据识别或提取出了腔中心，则可以确定腔中心的区位905，并将其用作神经网络的输入数据。还可以记录腔中心的区位并将其用于更新运动矢量907。运动矢量可以包含或者可以不包含在供应给神经网络的输入数据中。如果在图像数据中未检测到腔中心，则可以使用运动矢量来估计腔中心的区位909，并且在供应给神经网络的输入数据中包含估计的腔中心区位。在一些实施方式中，可以基于图像特征提取的腔中心或估计的腔中心来确定腔中心的区位。在一些实施方式中，可以基于这两种方法的组合来确定腔中心的区位。当通过图像特征提取标识出腔中心的位置时，其可以与腔中心区位的基于运动矢量的估计值结合使用，以确定腔中心的确认区位。可以使用各种方法来融合来自两种方法的数据，诸如加权求和方法或者使用卡尔曼滤波器。在供应给神经网络的输入数据中还可以包含指示出障碍物或者结肠镜的远端相对于结肠壁或腔中心的位置的接近度感测数据911。在一些情况下，例如，当图像处理未能通过特征提取或运动矢量方法标识出腔中心的位置时，ANN可以仅依靠距离传感器数据来预测目标方向和/或生成转向控制信号。
处理器、计算机系统和分布式计算环境：可以使用一个或多个转向控制处理器来实现本公开内容的机器学习训练方法或基于机器学习的转向控制系统。处理器可以是硬件处理器，诸如中央处理单元 (CPU)、图形处理单元(GPU)、通用处理单元或计算平台。处理器可以包含多种合适的集成电路、微处理器、逻辑器件等之中的任何一种。虽然本公开内容是参考处理器描述的，但其他类型的集成电路或逻辑器件亦可适用。处理器可以具有任何合适的数据运算能力。例如，处理器可以执行512位、256位、128位、64位、32位或16位数据运算。
处理器可以是计算机系统的处理单元。用于训练机器学习算法的处理器或计算机系统可以是或者可以不是与实现转向控制系统相同的处理器或系统。计算机系统可以支持云计算方法。计算机系统可以允许由一个或多个计算机系统或者跨一个或多个基于机器学习的机器人结肠镜检查系统共享和更新训练数据集。
计算机系统可以借助于通信接口而可操作地耦合到计算机网络 (“网络”)。网络可以是因特网、内联网和/或外联网、与因特网通信的内联网和/或外联网，或者局域网。在一些情况下，网络是电信和 /或数据网络。网络可以包括一个或多个计算机服务器，所述计算机服务器可以支持分布式计算，诸如云计算。在一些情况下，机器学习架构链接到并且使用储存在基于云的数据库中的数据和储存的参数。在一些情况下，网络借助于计算机系统可以实现点对点网络，该点对点网络可以使得耦合到计算机系统的设备能够起到客户端或服务器的作用。
计算机系统可以包括移动电话、平板计算机、可穿戴设备、膝上型计算机、台式计算机、中央服务器等。计算机系统包括中央处理单元(CPU，本文也称为“处理器”和“计算机处理器”)，该中央处理单元可以是单核或多核处理器，或者是用于并行处理的多个处理器。CPU可以是如上文所述的处理器。
计算机系统还包括存储器或存储器位置(例如，随机存取存储器、只读存储器、快闪储存器)、电子存储单元(例如，硬盘)、用于与一个或多个其他系统通信的通信接口(例如，网络适配器)，以及外围设备，诸如高速缓存器、其他存储器、数据存储和/或电子显示适配器。在一些情况下，通信接口可以允许计算机与诸如结肠镜等另一设备通信。计算机可以能够从诸如结肠镜等耦合的设备接收输入数据以供分析。存储器、存储单元、接口和外围设备通过诸如主板等通信总线(实线)与CPU通信。存储单元可以是用于储存数据的数据存储单元(或数据存储库)。
CPU可以执行一系列机器可读指令，所述机器可读指令能够以程序或软件体现。指令可以储存在存储器位置中。可以将指令导引至 CPU，其随后可以对CPU进行编程或以其他方式进行配置，从而实现本公开内容的方法。CPU所执行的操作的示例可以包括取、解码、执行和回写。
CPU可以是诸如集成电路等电路的一部分。在电路中可以包含系统的一个或多个其他组件。在一些情况下，电路是专用集成电路 (ASIC)。
存储单元可以储存文件，诸如驱动程序、库和保存的程序。存储单元可以储存神经网络的一个或多个训练数据集和/或经训练的参数。存储单元可以储存用户数据，例如，用户偏好和用户程序。在一些情况下，计算机系统可以包括位于计算机系统外部的，诸如位于通过内联网或因特网与计算机系统通信的远程服务器上的一个或多个附加数据存储单元。
计算机系统可以通过网络与一个或多个远程计算机系统通信。例如，计算机系统可以与用户的远程计算机系统通信。远程计算机系统的示例包括个人计算机、板式或平板PC、智能电话、个人数字助理等。用户可以经由网络访问计算机系统。
本文所述的方法可以通过储存在计算机系统的电子存储位置上，举例而言，诸如存储器或电子存储单元上的机器(例如，计算机处理器)可执行代码来实现。机器可执行或机器可读代码能够以软件形式提供。在使用期间，代码可由处理器执行。在一些情况下，代码可从存储单元检索并储存在存储器上以供存储器随时访问。在一些情况下，可以排除电子存储单元，并且在存储器上储存机器可执行指令。
代码可被预编译和配置用于与具有适于执行该代码的处理器的机器一起使用，或者可以在运行时间期间编译。代码能够以编程语言供应，该编程语言可被选择用于使代码能够以预编译或实时编译方式执行。
本文所提供的系统和方法的各方面，诸如计算机系统，能够以软件体现。各个技术方面可被认为是通常为承载或体现在某一类型的机器可读介质中的机器(或处理器)可执行代码和/或关联数据的形式的“产品”或“制品”。机器可执行代码可以储存在电子存储单元上，诸如储存在存储器(例如，只读存储器、随机存取存储器、快闪存储器)或硬盘上。“存储”型介质可以包括计算机、处理器等的任何和所有有形存储器或其关联的模块，诸如各种半导体存储器、磁带驱动器、磁盘驱动器等，其可以在任何时间提供非暂时性存储用于软件编程。所有的软件或其部分可以不时通过因特网或各种其他电信网络通信。这样的通信例如可以使得能够实现软件从一个计算机或处理器到另一计算机或处理器中的加载，例如，从管理服务器或主机计算机到应用服务器的计算机平台中的加载。因此，可承载软件元素的另一类型的介质包括光波、电波和电磁波，诸如跨本地设备之间的物理接口、通过有线和光陆线网络以及通过各种空中链路使用的波。载送这样的波的物理元件诸如有线或无线链路、光链路等也可被认为是承载软件的介质。如本文所使用的，除非限制在非暂时性、有形“存储”介质，否则诸如计算机或机器“可读介质”等术语是指参与向处理器提供指令以供执行的任何介质。
因此，机器可读介质，诸如计算机可执行代码，可以采取许多形式，包括但不限于有形存储介质、载波介质或物理传输介质。非易失性存储介质例如包括光盘或磁盘，诸如任何(一个或多个)计算机中的任何存储设备等，诸如可用以实现附图中所示的数据库等的存储设备。易失性存储介质包括动态存储器，诸如这样的计算机平台的主存储器。有形传输介质包括同轴线缆；铜线和光纤，包括构成计算机系统内的总线的导线。载波传输介质可以采取电信号或电磁信号或者声波或光波的形式，诸如在射频(RF)和红外(IR)数据通信期间生成的信号或波。因此，常用的计算机可读介质形式例如包括：软盘、柔性盘、硬盘、磁带、任何其他磁介质、CD-ROM、DVD或DVD-ROM、任何其他光介质、打卡纸带、任何具有孔洞图案的其他物理存储介质、 RAM、ROM、PROM和EPROM、FLASH-EPROM、任何其他存储器芯片或盒、传送数据或指令的载波、传送这样的载波的线缆或链路，或者可由计算机从中读取编程代码和/或数据的任何其他介质。在向处理器载送一个或多个序列的一个或多个指令以供执行的过程中可涉及这些形式的计算机可读介质中的许多形式。
计算机系统可以包括电子显示器或与电子显示器通信，以便例如提供由成像装置捕获的图像。显示器还可以能够提供用户接口。UI 的示例包括但不限于图形用户接口和基于网络的用户接口。
本公开内容的方法和系统可以通过一个或多个算法来实现。算法可以通过软件在由中央处理单元执行时实现。
用于机器人内窥镜的自适应转向控制系统：经训练的机器学习架构，例如上文所述的人工智能网络可在自动化、自适应转向控制系统中用于实时控制例如机器人结肠镜等机器人内窥镜的远端的移动。系统可以包括：一个或多个图像传感器，其被配置用于捕获结肠腔的一个或多个图像；以及一个或多个处理器，其单独地或共同地被配置用于(i)对所述一个或多个图像执行自动化特征提取以确定结肠腔的中心位置，(ii)对所述一个或多个图像进行自动化图像处理以基于高光反射的区域来标识十分靠近机器人结肠镜的远端的结肠腔壁或其他障碍物的区位，以及(iii)使用对步骤(i)和步骤(ii)中所确定的中心位置和区位的基于机器学习的分析来确定导引机器人结肠镜朝向结肠腔的中心位置的导航方向，其中基于机器学习的分析提供了适应于中心位置或区位数据的完整性的损失或改变的转向控制输出信号。
图10A示出了自适应转向控制系统1000的框图。转向控制系统可以是与图2中所述相同的系统。如图10A中所示的控制系统可以包括一个或多个图像传感器1001。如本文其他各处所述，图像传感器可被配置用于收集图像数据。图像数据和从图像数据导出的信息可以输入到转向控制模块1010用于实时生成控制信号或导航方向。转向控制模块可以是与图2中所述相同的转向控制模块。转向控制模块 1010可被配置用于使用诸如人工神经网络1013等机器学习方法生成控制信号或导航方向。在一些情况下，可以处理图像数据以提取信息。例如，可以在图像数据中检测腔中心，并且可以确定腔中心的区位并将其用作向转向控制模块的输入数据。在另一示例中，如本文其他各处所述，可以分析从图像数据导出的强度梯度图或表现出高光反射的图像区域，以便检测障碍物。可以按至少10Hz、20Hz、30Hz、40Hz、 50Hz、60Hz、70Hz或80Hz的速率采集和处理图像数据。可以将图像数据或从图像数据导出的信息包含在供应给转向控制模块的输入数据集中。在一些情况下，从图像数据导出的信息类型的示例可以包括但不限于腔中心的区位、腔中心的估计区位、计算得出的运动矢量、强度梯度图、通过分析光反射检测到的障碍物的区位等。
在一些实施方式中，除了图像数据之外，还可以收集距离传感器数据1003并将其供应给转向控制模块。距离传感器数据可以包含指示出离障碍物的距离或结肠镜的引导部分(例如，远端)相对于其环境的位置的信息。
在一些情况下，可以在同一时间点收集从不同传感器导出的传感器数据。备选地，可以不在同一时间点收集从不同传感器导出的传感器数据。可以按相同的频率或者可以不按相同的频率获取不同类型的传感器数据。在一些情况下，当不在同一时间点或按相同的采集速率收集不同类型的传感器数据时，可以使用时间戳来登记不同类型的数据。可以按至少5HZ、10HZ、20HZ、30HZ、40HZ、50HZ、60 HZ、70Hz或80HZ的图像采集速率获取图像传感器数据。可以按至少5Hz、10HZ、20HZ、40HZ、60HZ、80HZ、100HZ、200HZ、 400HZ、600HZ、800HZ或1000HZ的数据采集速率获取碰触或距离传感器数据，该数据采集速率可以与采集和处理图像传感器数据的速率相同或者可以不相同。
在一些实施方式中，可以分析图像数据以确定是否发生图像数据的完整性的损失或改变。例如，图像数据的完整性的损失或改变可以包括用以明确标识结肠腔的中心位置的自动化图像特征提取步骤失败，或者用以标识障碍物的自动化图像处理步骤失败。如本文其他各处所述，可以通过输入数据确定模块1011来确定输入传感器数据的完整性的损失或改变。输入数据确定模块可被配置用于基于一个或多个输入数据流的完整性的损失或改变而确定和调整选择将哪些原始或经预处理的输入数据发送到机器学习算法。例如，输入数据确定模块1011可以确定是采用使用特征提取方法确定的腔中心的区位，还是采用基于运动矢量方法的腔中心的估计区位，或是采用两者的组合。在一些情况下，例如，当标识出图像传感器数据完整性的损失时，可以将腔中心的估计区位与距离传感器数据和/或关于使用光反射方法检测到的障碍物的数据一起包含在输入数据集中。在一些情况下，当标识出图像传感器数据完整性的损失时，可以仅将距离传感器数据包含在用于确定输出目标导航方向或转向控制信号的输入数据集中。在一些情况下，供应给神经网络的输入数据可以包括原本的(原始) 图像数据，而不是腔中心区位的预处理确定。
可以使用上文所述方法来预训练人工神经网络1013。在训练阶段期间可以学习各种参数，例如，权重、偏置和激活阈限，并且随后可以将其加载到可由转向控制模块访问的存储器单元。在一些情况下，使用来自进行内窥镜手术(例如，结肠镜检查)的每个新实例的传感器输入数据以及转向控制输出方向或信号，对该特定结肠镜或经由分布式计算系统通信的多个结肠镜所使用的(一个或多个)训练数据集进行更新。人工神经网络的输出可以包括针对结肠镜的致动单元的控制信号或目标导航方向。目标导航方向可以与腔中心的区位对准，或者可以不与其对准。
图10B示出了转向控制系统1010的另一示例。转向控制系统 1010可类似于上文所述的控制系统1000，区别在于输入数据可能不同。在图示的示例中，用于生成转向控制信号的输入数据可以包括腔中心区位的确定、腔位置确定的置信水平，以及从图像传感器数据1001、转向历史数据1015和距离传感器数据1003导出的光强度梯度数据。可以在如图8C中所述的过程中预训练人工神经网络1013。在一些情况下，转向控制系统1010可以不包括输入数据确定模块。所有的输入数据都可由人工神经网络处理，以便生成控制信号。在一些情况下，当在图像帧中不可感知到腔中心时，系统可被配置成执行自动路径搜索以便获得在视图内具有腔中心的图像。本文稍后讨论关于自动路径搜索的细节。
实施例–包括自动化转向控制系统的软机器人内窥镜
图11提供了图示包括本公开内容的自动化转向控制系统的机器人结肠镜的框图。如图中所示，机器人结肠镜系统包括引导部分 1101(即，可转向弯曲区段)，在该部分可以固附多个传感器。在该特定实施例中，多个传感器包括成像传感器(例如，相机)和碰触(或距离)传感器。可转向弯曲区段的移动由致动单元1103控制。在本实施例中，由致动单元控制的运动度至少包括围绕俯仰轴和偏航轴的旋转运动。在一些实施方式中，由致动单元控制的运动度例如还可以包括围绕横滚轴的旋转或者平移移动(例如，向前或向后)。在一些情况下，致动单元还可以包括控制器，该控制器被配置用于接收由转向控制系统生成的控制指令或目标导航方向，并为致动单元中的一个或多个致动器生成控制信号。备选地，致动单元可以直接从转向控制系统接收控制信号。如先前所述，转向控制系统包括被编程用于采用转向控制算法1105的处理器。转向控制算法例如可以是深度学习方法(例如，ANN或CNN算法)。
转向控制系统(以及本文所公开的方法)能够以各种方式与软机器人结肠镜检查系统结合使用。例如，转向控制系统可以提供结肠镜的弯曲区段的转向方向的反馈控制。转向控制系统接收由多个传感器(即，本实施例中为相机和碰触传感器)收集的输入传感器数据，并向致动单元输出目标方向或控制信号。在一些情况下，转向控制系统可以提供开环控制或预测控制。使用如先前所述的特征提取算法和 /或运动矢量方法处理来自相机的图像数据以便标识结肠腔的中心位置，并且还使用先前所述的光反射方法来进行处理以便标识十分靠近结肠镜的远端的腔壁的区域和/或障碍物，并且随后将其传递给转向控制算法。将碰触传感器数据与图像传感器数据并行地馈送给转向控制算法，并且将其用于在图像处理算法未能标识出腔中心的位置的情况下，当图像传感器发生故障时，或者当图像传感器数据的质量未能满足限定的阈限(例如，限定的信噪比)时，补充基于图像的分析和/ 或替代基于图像的分析。转向控制算法基于从一个或多个训练数据集的先前学习来处理传感器输入数据，并且向致动单元输出目标转向方向和/或转向控制信号。
图11中示意性地图示的机器人结肠镜的特征和益处的示例包括：(i)微型化且一次性软结肠镜，其被设计用于确保非侵入性的、可靠的、无痛的和安全的结直肠筛查和腔内外科手术；(ii)自动化、机器人驱动式自转向机构，其保持相对于结肠腔中心的精确装置定位；以及(iii)气动/液压驱动式软弹性体主动弯曲机构，其允许装置朝向感兴趣区域的全向转向以便进行诊断和治疗手术。
实施例–用于转向控制系统的图形用户接口
在许多实施方式中，本公开内容的内窥镜转向控制系统可以包括附加的软件组件，例如，用于提供用户接口的软件。图12示出了用于实现本公开内容的基于人工神经网络的转向控制方法的示例性软件用户接口，例如，图形用户接口。该软件可以用于实现基于经训练ANN的转向控制系统(即，在系统训练期间和/或在进行内窥镜手术期间)和向用户显示实时传感器数据和/或转向控制信息。可以显示诸如图像帧或视频流等实时传感器数据。在一些实施方式中，可以提供伴有增强信息的图像。可以将诸如光强度梯度数据、检测到的腔中心位置等增强信息覆盖到实时图像帧上。
用于内窥镜(例如，结肠镜)的转向控制系统可以是全自动化控制系统、半自动化控制系统或者用户监督控制系统。在一些情况下，可以允许用户在ANN提供的转向方向数据的辅助下手动控制结肠镜的转向。例如，可以将实际转向方向1203和ANN生成的建议转向方向1201同时显示在用户接口上，从而允许用户对转向方向作出调整。在一些情况下，转向控制系统可以是不需要用户在过程中提供转向指令的全自动化控制系统。
预言性实施例–具有自动跟踪的转向控制
所公开的系统和方法可以用于机器人内窥镜(例如，机器人结肠镜)的自动化转向控制，以及用于各种相关应用。例如，控制系统可以用于跟踪感兴趣物体。感兴趣物体可以是腔中的任何物体，诸如息肉、病灶、腺瘤或其他癌性生长。所提供的控制系统可以允许结肠镜的远端相对于感兴趣物体保持固定的位置，这对于进行外科手术或高分辨率成像可能是有益的。例如，可以通过所提供的系统来自动控制结肠镜的远端的定向，以使得视场中的感兴趣物体的区位在推进结肠镜时保持相对稳定。所提供的控制系统还可以允许外科医生将感兴趣物体保持在视场内的基本上固定的区位，同时减少结肠镜与腔壁之间的接触。
在一些实施方式中，被配置用于提供这种自动跟踪能力的控制系统可以包括：a)第一图像传感器，其被配置用于提供第一图像数据流，并且所述第一图像数据流包含与第一图像传感器的视场内的感兴趣物体的位置相关的数据；以及b)处理器，其被配置用于基于使用机器学习架构对所述第一图像数据流的分析而生成转向控制输出信号，以使得感兴趣物体具有相对于第一图像传感器的视场基本上固定的位置，并且所述转向控制输出信号实时适应于第一图像数据流的数据的变化。控制系统可以是与本文其他各处所述相同的转向控制系统。
在一些实施方式中，对转向控制信号进行调整，以便使视场内的感兴趣物体的位置从一个图像帧到下一图像帧的改变少于10个像素、少于100个像素、少于500个像素、少于1000个像素或少于2000 个像素。
在一些实施方式中，向基于ANN的控制系统供应的输入数据可以包括感兴趣物体的区位、确定物体区位的置信水平、光强度梯度数据、转向历史数据和/或距离传感器数据。可以使用所描述的用于标识腔中心区位的同一图像处理方法来确定感兴趣物体的区位。如本文其他各处所述，可以基于一个或多个因子，诸如光强度数据、感兴趣物体的转动惯量或凸度计算等，来确定物体区位确定的置信水平。
可以控制结肠镜的定向或转向方向，以便可以在视场内的固定区位上感知感兴趣物体。该区位可以是视场的中心，或者视场内的任何其他区位。在一些情况下，该区位可由用户确定。备选地，该区位可以根据特定操作或目的而自动确定。
图13示出了包含感兴趣物体1301和用于外科操作的工具的示例性视场。可以使用诸如本文其他各处所述的自动化图像特征提取等方法来检测和识别感兴趣物体。可以通过所提供的控制系统来控制相机附接到的结肠镜的远端，以使得物体1301保持视场内的固定区位。在一些情况下，可以将增强信息诸如检测到的感兴趣物体的轮廓覆盖到实时图像上。控制系统可被配置用于补偿诸如震动等不期望的移动，以及在推进结肠镜时或者在外科手术期间自动跟踪感兴趣物体，以使得外科医生不被不期望的移动所分心。
预言性实施例–具有自动路径搜索的转向控制
在一些实施方式中，例如，当在视场中无法感知到感兴趣物体或腔中心时，控制系统可被配置成在生成转向控制信号之前执行自动化路径搜索程序。该步骤可以在用于生成控制信号的ANN运算之前执行。图14示出了执行自动路径搜索的示例。可以对图像1401进行处理以生成检测腔中心或感兴趣物体的置信水平。置信水平可以使用如上文所述的方法来计算。可以将置信水平与阈值进行比较，以确定是否执行自动路径搜索程序。例如，当置信水平降至低于阈限从而指示出在图像帧中可能没有很好地感知到腔中心或感兴趣物体时，可以执行自动化路径搜索。可以使结肠镜的远端转向以遵循指定的路径搜索图案，同时图像传感器采集一系列图像用于标识能够从中标识出腔中心或感兴趣物体的图像。指定路径1403可以包括二维搜索图案或三维搜索图案。指定路径可以包括任何尺寸、尺度或形状的任何图案，诸如螺旋图案、直线网格图案或圆形图案。路径可由用户选择或指定。路径可以例如通过机器学习方法自动选择。在一些情况下，基于对实时图像数据流的处理而自动选择路径。例如，基于从图像数据获得的信息，诸如标识腔中心或感兴趣物体的置信水平，或者光强度梯度数据，可以自动生成指定方向、尺度或形状的路径搜索图案。
在路径搜索程序期间可以捕获一个或多个图像1405。在一些实施方式中，可以针对每个图像计算置信水平，并将其与阈限进行比较。在一些情况下，当获得具有处于或高于阈限的置信水平的图像时，可以停止路径搜索过程。在一些情况下，所捕获的图像中的两个或更多个图像可能具有高于阈限的置信水平，而具有最高置信水平的图像可由机器学习算法用作输入，以供生成转向控制信号。
预言性实施例–具有3D绘图的转向控制
在一些实施方式中，所提供的系统和方法可以用于构建腔的中心位置的三维地图。可以将腔的三维地图提供在图形用户接口上，以在外科过程期间协助外科医生。三维地图可以提供准确的空间信息，诸如对图像数据流中检测到的感兴趣特征的区位作出标识的坐标。方法可以包括：a)提供第一图像数据流，其中所述第一图像数据流包括与机器人内窥镜的远端相对于腔的中心、相对于腔的壁、相对于障碍物或其任何组合的位置相关的图像数据；b)基于使用机器学习架构对第一图像数据流的分析来生成转向控制输出信号以标识朝向腔中心的移动的转向方向，其中所述转向控制输出信号实时适应于第一图像数据流的数据的变化；c)在计算机存储器设备中储存一系列数据对，其中每个数据对包括机器人内窥镜的转向方向和平移位移；以及d)使用处理器以及转向方向和平移位移的存储值来创建腔的中心的位置的三维地图。
在一些实施方式中，所提供的系统和方法可以用于重建腔的内部的三维图像地图。可以基于附接到机器人内窥镜的远端的成像传感器所提供的图像数据流来构建三维地图。可以使用本文提供的转向控制系统来控制机器人内窥镜。用于使用配备自适应转向控制系统的机器人内窥镜重建腔的内部的三维图像地图的方法可以包括：a)提供第一图像数据流，其中所述第一图像数据流包括与机器人内窥镜的远端相对于腔的中心、相对于腔的壁、相对于障碍物或其任何组合的位置相关的图像数据；b)基于使用机器学习架构对第一图像数据流的分析来生成转向控制输出信号以标识朝向腔中心的移动的转向方向，其中所述转向控制输出信号实时适应于第一图像数据流的数据的变化；c)在计算机存储器设备中储存来自第一图像数据流的图像数据，以及机器人内窥镜的转向方向和平移移动的值；d)使用转向方向和平移移动的存储值来创建腔的中心的位置的三维地图；以及e)用腔的中心的位置的三维地图来覆盖储存的图像数据，以重建腔内部的三维图像地图。
三维图像地图可以包括图像数据和覆盖到图像数据上的增强信息。增强信息可以包括机器人内窥镜的转向矢量数据、机器人内窥镜的图像、腔中心的位置(或中心线)以及各种其他信息片段。在一些情况下，基于机器人内窥镜的预存储计算机辅助设计模型来构建三维视图中的机器人内窥镜的图像。在一些情况下，基于实时传感器数据来构建三维视图中的机器人内窥镜的图像。例如，可以利用由位于机器人内窥镜的主体中或沿着该主体的一个或多个传感器提供的传感器数据来提供机器人内窥镜的主体相对于腔的中心或内部的接近度或区位数据。如本文其他各处所述，可以使用各种传感器来提供这样的区位或位置信息，诸如光传感器、光学图像传感器、附加的碰触/ 距离传感器、运动传感器或位置传感器。在一些情况下，可以使用机器人内窥镜的传感器数据和机器人内窥镜设计规范(例如，几何模型或运动学模型)的组合来提供机器人内窥镜相对于腔的实时配置。可以在显示屏上或经由任何其他合适的设备向用户显示腔壁的三维图像地图。例如，可以提供诸如可穿戴式增强现实设备等观看设备。三维图像地图可以是重建的腔内部和机器人内窥镜的第一人称视角或透视图。
实施例–使用对经处理的图像数据的基于机器学习的分析的转向控制方法
如上所述，在一些实施方式中，由所公开的用于引导机器人内窥镜的转向控制方法和系统利用的输入数据可以仅包含由一个或多个图像传感器生成的图像数据，例如，一系列一个或多个带有时间戳的单个图像或者从摄像机导出的一系列一个或多个视频图像。在一些情况下，如本例中那样，可以使用一种图像处理算法(或者两种或更多种图像处理算法的组合)对原始图像数据进行预处理，以便例如标识腔中心的区位，估计腔中心所处于的方向(如果在图像中不可见)，计算正确确定腔中心的区位或朝向腔中心的方向的置信水平等。这些图像处理推断的参数的任何组合，以及从对图像数据的处理导出的其他信息，例如，光强度梯度矢量、运动矢量等，可以用作将输入数据映射到包含导航方向和/或转向控制指令集的输出值的机器学习算法的输入。
图15示出了使用由一个或多个图像传感器收集的数据的转向控制系统1500的框图的非限制性示例。转向控制系统1500可被配置用于使用诸如人工神经网络1515等机器学习方法生成转向控制信号或导航方向。ANN的输入数据可以使用多个图像处理方法从一个或多个图像帧生成。在一些情况下，图像帧数据还可以包括先前或历史图像帧。可以利用的合适的图像处理方法的示例包括但不限于暗区检测法1507(用以生成输出数据1517)、粘膜图案法1509(用以生成输出数据1519)、光梯度法1511(用以生成输出数据1521)以及光流法1513(用以生成输出数据1523)。应当注意，还可以使用本领域技术人员已知的各种其他图像处理方法来例如确定腔中心区位、朝向腔中心的方向的估计值和/或置信水平。数据1517、数据1519、数据1521和/或数据1523的任何组合可以用作要由人工神经网络1515 分析的输入。针对一系列一个或多个图像确定的腔中心区位、置信水平计算、运动矢量或光强度梯度矢量或者其任何组合可由人工神经网络1515进行处理，以便确定导航方向和/或生成一组一个或多个转向控制信号。人工神经网络1515可以包括本领域技术人员已知的多种神经网络算法中的任何算法。可以使用诸如图8A-图8C中所示的过程来训练ANN。所利用的一个或多个训练数据集可以包含由图像传感器收集的图像数据和/或与期望的输出转向控制数据配对的仿真图像数据。
图16图示了用于在例如结肠腔的图像内标识可能是结肠腔中心位置的候选者的(一个或多个)暗区的示例性图像处理方法(即，暗区检测法1507)的步骤。在一些情况下，所捕获的原始图像帧可能是彩色图像(例如，RGB图像)，在这样的情况下可以首先将彩色图像转换成灰度级图像以促进基于图像强度值而对(一个或多个暗区) 的标识。如本例中所示，可以对灰度级图像施加光强度阈值处理以标识出暗区1601。在一些情况下，强度阈值可以是常数。在一些情况下，强度阈值可以是变量，并且可基于多种预先确定的算法中的任何算法进行调整。例如，可以迭代调整强度阈值，直到标识出的暗区达到指定面积(例如，总图像面积的1％)。备选地，可以将强度阈限确定为局部图像强度、整体平均图像强度或其他图像参数的函数。在一些情况下，可以检测一个或多个候选暗区作为强度阈值处理的结果。继而可以分析这些候选暗区以选择单一暗区作为腔中心。例如，可以基于每个候选暗区的置信水平的计算和/或暗区的区位离先前确定的腔中心区位的接近度而从一个或多个候选暗区中选择对应于腔中心的暗区。置信水平可由例如使用图5C中所述的方法计算的置信度得分来表示。一旦选择了特定暗区，就可以使用对该暗区的质心计算来确定腔中心的区位。
返回参考图15，可以使用粘膜图案法1509来推断图像内腔中心的区位和/或确定腔中心区位的置信水平1519。实现该过程所涉及的步骤在图17中示出。如果输入图像数据包含彩色图像帧，则过程中的第一步骤可以是将彩色图像变换成灰度级图像。继而可以处理该灰度级图像以移除镜面反射和/或在图像内标识轮廓。可以利用本领域技术人员已知的多种边缘检测或图案检测算法中的任何算法来标识轮廓，例如，霍夫变换等。继而进一步分析检测到的轮廓以标识腔中心的区位。在一些情况下，可以通过找出一系列轮廓节段中的每一个的法向矢量的交叉点来标识腔中心。例如，如图17中所示，可以针对标识出的一个或多个轮廓中的每个轮廓的每个节段生成法向矢量，其中法向矢量是垂直于轮廓的局部节段并穿过该节段的矢量。针对穿过图像的给定像素的每个法向矢量生成“选票”，并且针对给定像素的选票总数等于穿过该像素的法向矢量的总数。腔中心可被标识为包含最高选票计数，即，包含每像素所计数的最高数目法向矢量的图像区域。图像1701示出了针对检测到的轮廓的每个节段生成的法向矢量的示例，其中图像的强度对应于针对每个像素的选票计数。可以使用多种技术中的任何技术来分割轮廓。例如，每个节段可以包含给定轮廓的一个像素、两个像素、三个像素等。在另一示例中，可以通过将直线节段局部拟合到给定轮廓来限定节段。
在一些情况下，在计算腔中心的区位之前，可以对图像1701 中的选票计数施加阈限。例如，可以施加阈限以移除具有低于阈值的选票计数的像素。例如，可以移除具有小于或等于取值3的选票计数的点或像素，从而产生经阈值处理的选票计数图像1703。在一些情况下，可以计算经阈值处理的选票计数图像1703中标识出的像素区的质心，并将其用作腔中心的区位。在一些实施方式中，还可以计算确定腔中心位置的置信水平。在一些情况下，可以基于针对选票计数图像1701或针对经阈值处理的选票计数图像1703的转动惯量计算来计算置信水平。
再次返回参考图15，在一些实施方式中，可以使用光强度梯度法1511来处理捕获的图像帧1501并生成光强度梯度数据1521。所利用的光强度梯度法可以是与图6B中所述相同的方法。在一些实施方式中，可以使用光流法1513来处理捕获的图像帧1501和先前图像帧 1503以生成运动矢量1523。光流法检测在本例中由于相机的移动导致的(一个或多个)图像物体在两个连续帧之间的视运动的图案，并且生成二维矢量场，其中每个矢量为示出图像中的特定点从第一帧到第二帧的移动的位移矢量。
迄今为止，尚无单一图像处理方法已被证明足够可靠用于从往往可能包含照明强度变化、镜面反射、异物等的图像数据确定腔中心的区位或者其所处于的方向的估计值。通常，不同的图像处理算法倾向于在某些条件下表现良好而在其他条件下表现不佳，其中表现良好的条件可能根据采用哪种图像处理算法而改变。例如，上文所述的暗区检测法对于其中存在粪便碎片、血或阴影的图像可能表现不佳，而粘膜图案检测法对于其中有很少的粘膜图案可见或没有粘膜图案可见(例如，靠近直肠、处于结肠脾曲点，或者处于用于体外试验的猪结肠样品中)的图像可能表现不佳。
在本例中，使用图像处理方法的组合来改善确定腔中心区位和计算置信水平的准确性，以及确定导航方向和/或ANN提供的转向控制指令的可靠性。使用Olympus结肠镜收集了七个真实结肠镜检查手术的视频，并且从中提取了各自长2秒的805个视频剪辑。这些视频剪辑中的大多数图像在视场内示出了腔。使用了定制训练程序来向外科医生显示视频图像，并且使外科医生能够点击图像内的位置以基于外科医生过去进行结肠镜检查的经验指示出应当将结肠镜导引向何处。从视频剪辑生成的大约80％的数据被用于训练ANN，而其余20％被用于评价系统的表现。
使用了“双”ANN模型(图18)用于捕获外科医生在使结肠镜转向过程中所使用的“逻辑”，并且对该模型进行训练以将图像推断的输入数据映射到导航方向的输出值。输入数据包含腔中心区位的值(x,y)和组合的腔检测方法的置信水平(c)以及光梯度(h,k)，同时如前所述，输出数据包含目标转向位置的值(X,Y)。ANN超参数值的输入范围是：(i)1–3个隐藏层，以及(ii)每层3–1000 个节点(神经元)。在网络优化之后的ANN超参数的值为1个隐藏层，并且每层100个节点。
如图19中所示，通过比较外科医生指示出的腔中心区位与ANN 所确定的腔中心区位之间的分离距离Derr(单位为度)，评价了基于 ANN的自动化转向方向方法的表现。
在图20-图22中总结了外科医生指示的腔中心区位与图像处理和基于ANN的分析的不同组合所预测的腔中心区位之间的比较结果。图20示出了置信水平数据与Derr的散点图，其中仅使用暗区检测法或粘膜图案检测法确定置信水平和Derr的值。图21示出了置信水平数据与Derr的散点图，其中使用暗区检测法和粘膜图案检测法的组合确定置信水平和Derr的值。在图21中所示结果的示例中，如果置信水平大于0.5则使用利用粘膜图案检测法获得的结果，否则使用利用暗区检测法获得的结果。应当注意，单个数据点远比图20中标绘的数据点更紧密地聚集。可以使用多种备选方法中的任何方法来对使用两种或更多种不同图像处理方法获得的结果进行组合，例如，可以使用腔中心的预测X位置和预测Y位置的加权平均以及/或者针对单个图像处理方法的结果计算的置信水平的加权平均。图22示出了置信水平数据与Derr的散点图，其中使用暗区检测法、粘膜图案检测法和光强度梯度法的组合确定置信水平和Derr的值，其中使用ANN进一步处理图像推断数据。图22中标绘的单个数据点在某种程度上比图 21中标绘的数据点更紧密地聚集(前者的平均Derr＝17.2度，相比于后者的18.3度)。目前难以确定这指示出显著改善的程度，原因在于当前还没有关于最大可允许误差的一般标准可供使用，并且最大可允许误差的值很可能取决于不同情况。据参与此项研究的外科医生表示，人为误差根据具体情况可能从2度到30度改变(并且在极端情况下可能更高)。当前的开发工作专注于例如通过并入光流法来改进所利用的图像处理算法的组合，以及专注于改进ANN模型的设计和改进用于验证过程的定量方法。
如上所述，在一些实施方式中，为了处理输入图像数据(或者使用一个或多个图像处理算法从图像数据导出的数据)并将其映射到包括确定导航方向和/或转向控制指令集的输出而利用的机器学习算法可以是人工神经网络。
预言性实施例–用于机器人内窥镜的自动化转向控制的递归神经网络或递归卷积神经网络的使用
在一些实施方式中，转向控制方法2300中所采用的人工神经网络可以包括递归神经网络2315，如图23中所示，从而可以将输出数据2327的至少一部分供应回网络作为输入数据2325。递归神经网络 (RNN)是这样一类人工神经网络：其中节点之间的连接形成了有向环，该有向环允许网络表现出动态时间性质并使用其内部记忆来处理任意输入序列。可以利用本领域技术人员已知的多种RNN算法中的任何算法。完全递归神经网络是各自具有与每个其他节点的有向(单向)连接且各自具有时变实值激活阈限的节点的网络。节点之间的每个连接具有可调的实值加权因子。节点可以是输入节点(即，接收来自网络外的数据)、输出节点(即，产生结果)或隐藏节点(即，当数据从输入渡越到输出时修改所述数据)。如图23中所示，输入数据可以包括图像推断数据2317、2319、2321、2323或者其任何组合，以及输出数据2325的至少一部分。在一些情况下，输出数据2325的所述至少一部分可以包括由递归神经网络2315分析的正确确定腔中心区位的置信水平。在一些情况下，输出数据2325的所述至少一部分可以包括腔中心区位。在其他情况下，输出数据2325的所述至少一部分可以包括腔中心区位和置信水平二者。
对于使用在离散时间的输入数据与已知输出数据(即，正确的导航方向和/或转向控制指令集)的成对集合的监督式学习，实值输入矢量的序列一次一个矢量地到达输入节点。在任何给定的时间步长，每个非输入节点计算作为与其连接的所有节点提供的中间输入的加权和的非线性函数的输出结果，并且随后加权因子和/或其他参数被逐步调整以将输入数据可靠地映射到正确的输出。对于强化学习，使用适应度函数(或“回报函数”)来训练网络，而不是使用输入与输出数据的成对集合。调整加权因子和/或其他参数以使适应度函数或回报函数的值最大化。每个输入矢量序列产生误差值，该误差值包含目标输出数据值与网络所计算的对应输出数据值之间的偏差之和。对于包含多个输入矢量序列的训练集，总误差为所有单个输入矢量的误差之和。
在使用用于机器人内窥镜的自动化转向控制的RNN的一个非限制性示例中，向RNN算法的输入可以包括通过使用至少四种图像处理方法的组合而获得的图像推断数据。例如，RNN的输入数据可以包括使用暗区检测法、粘膜图案检测法、光强度梯度法和光流法的组合获得的图像推断数据。对于每个图像帧，可以伴随迭代阈值处理使用暗区法，以标识多达3个暗区或腔中心位置的候选者。对于每个候选区i，可以计算一组参数{XDRi,YDRi,IDRi,MDRi}，其中{XDRi,YDRi} 是质心的区位，IDRi是相对平均强度(计算为(候选区的平均强度/整个图像的平均强度)；该方法的置信水平因子)，并且MDRi是归一化转动惯量(计算为(候选区的转动惯量/候选区的面积/候选区的平均强度)；该方法的另一置信水平因子)。
类似地，对于每个图像帧，可以使用粘膜图案法来计算一组参数{XMP,YMP,IMP,MMP}，其中{XMP,YMP}是经阈值处理的选票计数的质心的区位，IMP是平均选票值(计算为(整个图像中的所有像素的选票值之和/整个图像的面积)；该方法的置信水平因子，因为更多的选票意味着要依赖更多的图案)，并且MMP是经阈值处理的选票的归一化转动惯量(计算为(经阈值处理的选票的转动惯量/经阈值处理的选票的平均选票计数值/经阈值处理的选票的面积))；该方法的置信水平因子)。
对于每个图像帧，可以使用光强度梯度法来计算一组参数{XLG, YLG}，其为归一化强度梯度的X分量和Y分量(计算为(梯度/梯度的最大可能值))。
对于每个图像帧和前一图像帧，可以使用光流法来计算一组参数{XOF,YOF,SOF,TOF}，其为通过比较这两个帧而分别计算的X平移、 Y平移、缩放和旋转。
总结而言，向RNN的输入是14分量矢量：{XDRi,YDRi,IDRi,MDRi, XMP,YMP,IMP,MMP,XLG,YLG,XOF,YOF,SOF,TOF}，并且如本文其他各处所述使用一组或多组训练数据来训练网络。
图24中进一步图示了RNN的架构和可调参数。在该图中，矩形表示矢量，箭头表示矩阵乘法步骤，那些标有“s”的矩形表示网络的时间“记忆”，而符号U、V和W表示所要训练的不同加权因子矩阵。所要利用的图像帧的数目(N)将会作为训练过程的一部分来确定。N很可能将会被选择用于涵盖至少2秒的视频，但帧率要基于可用的计算资源来确定。U、V和W矩阵的维数取决于s的维数，而这转而要基于对模型进行优化以在欠拟合与过拟合之间寻找合适的折衷来确定。图中所示的简单RNN模型可被升级以使用更多的垂直层，或者可被替换为更有效的模型，例如，LSTM(由长短期记忆 (long short-term memory，LSTM)单元组成的RNN)、GRU(由门控递归(GRU)单元组成的RNN)等。
在一些情况下，递归网络可以是递归卷积神经网络(RCNN)，如图25中所示。在本例中，可以将视频图像数据直接用作向机器学习算法的输入，并且允许神经网络制定提供输入数据到输出导航方向和/或转向控制指令集的最优映射的逻辑处理步骤。
本发明提供了以下实施方案。应理解，本发明的实施方案并不限制于此。
实施方案1.一种用于提供使机器人内窥镜转向的自适应转向控制输出信号的控制系统，所述控制系统包括：a)第一图像传感器，其被配置用于捕获包含腔的一系列两个或更多个图像的第一输入数据流；以及b)一个或多个处理器，其单独地或共同地被配置用于基于使用机器学习架构对从所述第一输入数据流导出的数据的分析来生成转向控制输出信号，其中所述转向控制输出信号实时适应于从所述第一输入数据流导出的数据的变化。
实施方案2.根据实施方案1所述的控制系统，还包括至少第二图像传感器，所述至少第二图像传感器被配置用于捕获包含所述腔的一系列两个或更多个图像的至少第二输入数据流，其中基于使用机器学习架构对从所述第一输入数据流和所述至少第二输入数据流导出的数据的分析来生成所述转向控制输出信号，并且其中所述转向控制输出信号实时适应于从所述第一输入数据流或所述至少第二输入数据流导出的数据的变化。
实施方案3.根据实施方案1或2所述的控制系统，其中所述第一输入数据流或所述至少第二输入数据流包含视频数据。
实施方案4.根据实施方案2至3中任一项所述的控制系统，其中所述第一图像传感器和至少第二图像传感器用于提供立体图像，所述立体图像包含关于所述腔的壁或其他障碍物相对于所述机器人内窥镜的远端的接近度的深度信息。
实施方案5.根据实施方案1至4中任一项所述的控制系统，其中所述分析包括对所述腔的中心的区位的确定、对所述腔的壁的区位的确定、对障碍物的区位的确定、对确定所述腔的中心的区位的置信水平的计算、对腔中心位置数据的完整性的损失或改变的确定，或者其任何组合。
实施方案6.根据实施方案1至5中任一项所述的控制系统，其中所述第一图像传感器位于所述机器人内窥镜的所述远端的可转向远端部分。
实施方案7.根据实施方案1至6中任一项所述的控制系统，其中所述分析包括对一个或多个图像进行自动化图像处理和特征提取以标识所述腔的中心位置。
实施方案8.根据实施方案1至7中任一项所述的控制系统，其中所述分析包括使用至少两种图像处理算法的组合对一个或多个图像进行自动化图像处理和特征提取以标识所述腔的中心位置。
实施方案9.根据实施方案7或8所述的控制系统，其中所述腔的中心在所述一个或多个图像内不可见，并且基于从由所述第一图像传感器或所述至少第二图像传感器先前捕获的两个或更多个图像中的所述腔的中心位置导出的运动矢量来计算所述腔的中心的预测位置。
实施方案10.根据实施方案9所述的控制系统，其中单独地或共同地使用图像特征提取数据和所述腔的中心的所述预测位置来实时确定所述腔中心的位置。
实施方案11.根据实施方案1至10中任一项所述的控制系统，其中所述分析包括对一个或多个图像进行自动化图像处理以标识高光反射区域并从而基于光反射与接近度之间的关系确定腔壁或障碍物到所述机器人内窥镜的所述远端的接近度。
实施方案12.根据实施方案11所述的控制系统，其中所述关系由光反射强度梯度或颜色梯度图表示。
实施方案13.根据实施方案5至12中任一项所述的控制系统，其中对所述腔的中心的区位的确定包括：(i)生成多个矢量，其中每个矢量在与图像中标识的轮廓的局部节段垂直的方向上对准，以及(ii) 计数与所述图像中的给定像素相交的矢量的数目。
实施方案14.根据实施方案1至13中任一项所述的控制系统，其中对从所述第一输入数据流导出的数据的分析包括计算运动矢量或光强度梯度。
实施方案15.根据实施方案1至14中任一项所述的控制系统，其中基于被标识为所述腔的中心的图像特征的转动惯量来计算确定所述腔的中心的区位的置信水平。
实施方案16.根据实施方案1至15中任一项所述的控制系统，其中针对所述第一输入数据流的图像采集和处理速率至少为10Hz。
实施方案17.根据实施方案2至16中任一项所述的控制系统，其中针对所述至少第二输入数据流的图像采集和处理速率至少为10 Hz。
实施方案18.根据实施方案1至17中任一项所述的控制系统，其中所述处理器中的至少一个位于所述机器人内窥镜的所述远端的可转向远端部分，位于所述腔之外，或者远程耦合到所述机器人内窥镜。
实施方案19.根据实施方案1至18中任一项所述的控制系统，其中所述机器学习架构是人工神经网络、递归神经网络或递归卷积神经网络。
实施方案20.根据实施方案19所述的控制系统，其中所述神经网络包括至少3个层，所述至少3个层包含输入层、一个或多个隐藏层以及输出层。
实施方案21.根据实施方案1至20中任一项所述的控制系统，其中至少所述第一输入数据流作为输入数据提供给所述机器学习架构，并且其中所述机器学习架构的一个或多个参数储存在可由所述一个或多个处理器访问的介质中。
实施方案22.根据实施方案21所述的控制系统，其中所述一个或多个参数预储存在所述介质中。
实施方案23.根据实施方案21或22所述的控制系统，其中根据至少所述第一输入数据流的可用性来选择所述一个或多个参数。
实施方案24.根据实施方案21至23中任一项所述的控制系统，其中基于由一个或多个附加的机器人内窥镜提供的参数来动态地更新所述一个或多个参数。
实施方案25.根据实施方案24所述的控制系统，其中与所述一个或多个附加的机器人内窥镜共享所述机器学习架构的所述一个或多个参数。
实施方案26.根据实施方案1至25中任一项所述的控制系统，其中使用一个或多个训练数据集作为输入来完善由所述机器学习架构进行的分析。
实施方案27.根据实施方案1至26中任一项所述的控制系统，其中基于熟练操作者的重复使用来完善由所述机器学习架构进行的分析。
实施方案28.根据实施方案1至27中任一项所述的控制系统，其中使用所述转向控制输出信号来控制所述机器人内窥镜的一个或多个致动器。
实施方案29.根据实施方案28所述的控制系统，其中所述一个或多个致动器使所述机器人内窥镜的可转向远端部分的移动生效。
实施方案30.根据实施方案29所述的控制系统，其中围绕包括横滚轴、偏航轴、俯仰轴或其任何组合的一个或多个旋转轴使所述可转向远端部分的移动生效。
实施方案31.根据实施方案28至30中任一项所述的控制系统，其中所述一个或多个致动器选自液压致动器、气动致动器或筋驱动式致动器机构。
实施方案32.根据实施方案1至31中任一项所述的控制系统，其中所述一个或多个处理器还被配置用于当确定所述腔的中心相对于所述机器人内窥镜的所述远端的区位的置信水平低于第一阈限时生成转向控制输出信号以导引所述机器人内窥镜沿着指定路径进行搜索，以及重复以下步骤：(i)对至少所述第一输入数据流的一个或多个图像进行自动化图像处理和特征提取以标识所述腔的中心位置， (ii)计算确定所述腔的中心位置的新的置信水平，以及(iii)生成所述转向控制输出信号以导引所述机器人内窥镜沿着所述指定路径进行搜索直到所述新的置信水平高于第二阈限。
实施方案33.根据实施方案32所述的控制系统，其中基于针对从所述第一输入数据流确定的腔中心位置的强度计算、转动惯量计算和/或凸度计算来计算所述置信水平。
实施方案34.根据实施方案32或33所述的控制系统，其中所述指定路径是从螺旋路径、直线网格图案、圆形图案、二维路径、三维路径或其任何组合之中选择的预先确定的路径。
实施方案35.根据实施方案32至34中任一项所述的控制系统，其中通过所述机器学习架构确定所述指定路径。
实施方案36.根据实施方案32至35中任一项所述的控制系统，其中基于对所述第一输入数据流的分析自动地选择所述指定路径。
实施方案37.根据实施方案1至36中任一项所述的控制系统，其中所述机器人内窥镜是机器人结肠镜。
实施方案38.根据实施方案37所述的控制系统，其中所述机器人结肠镜是软机器人结肠镜。
实施方案39.一种用于提供使机器人内窥镜转向的自适应转向控制输出信号的方法，所述方法包括：a)提供包含一系列两个或更多个图像的第一输入数据流；以及b)基于使用机器学习架构对从所述第一输入数据流导出的数据的分析来生成转向控制输出信号，其中所述转向控制输出信号实时适应于所述第一输入数据流的数据的变化。
实施方案40.根据实施方案39所述的方法，还包括提供包含一系列两个或更多个图像的至少第二输入数据流，其中所述转向控制输出信号是基于使用机器学习架构对从所述第一输入数据流和所述至少第二输入数据流导出的数据的分析的，并且其中所述转向控制输出信号实时适应于从所述第一输入数据流或所述至少第二输入数据流导出的数据的变化。
实施方案41.根据实施方案39或40所述的方法，其中所述第一输入数据流或所述至少第二输入数据流包含视频数据。
实施方案42.根据实施方案39至41中任一项所述的方法，其中所述分析包括对所述腔的中心的区位的确定、对所述腔的壁的区位的确定、对障碍物的区位的确定、对确定所述腔的中心的区位的置信水平的计算、对腔中心位置数据的完整性的损失或改变的确定，或者其任何组合。
实施方案43.根据实施方案39至42中任一项所述的方法，其中由位于所述机器人内窥镜的远端的可转向远端部分的图像传感器捕获所述第一输入数据流。
实施方案44.根据实施方案40至43中任一项所述的方法，其中由位于所述机器人内窥镜的远端的可转向远端部分的单一图像传感器捕获所述第一输入数据流和至少第二输入数据流。
实施方案45.根据实施方案40至43中任一项所述的方法，其中由位于所述机器人内窥镜的远端的可转向部分的第一图像传感器和至少第二图像传感器捕获所述第一输入数据流和至少第二输入数据流。
实施方案46.根据实施方案39至45中任一项所述的方法，其中所述分析包括对一个或多个图像进行自动化图像处理和特征提取以标识所述腔的中心位置。
实施方案47.根据实施方案39至46中任一项所述的方法，其中所述分析包括使用至少两种图像处理算法的组合对一个或多个图像进行自动化图像处理和特征提取以标识所述腔的中心位置。
实施方案48.根据实施方案46或47所述的方法，其中所述腔的中心在所述一个或多个图像内不可见，并且基于从由所述第一图像传感器或所述至少第二图像传感器先前捕获的两个或更多个图像中的所述腔的中心位置导出的运动矢量来计算所述腔的中心位置。
实施方案49.根据实施方案48所述的方法，其中单独地或共同地使用图像特征提取数据和所述腔的中心的预测位置来实时确定所述腔中心的位置。
实施方案50.根据实施方案39至49中任一项所述的方法，其中所述分析包括对一个或多个图像进行自动化图像处理以标识高光反射区域并从而基于光反射与接近度之间的关系确定腔壁或障碍物到所述机器人内窥镜的所述远端的接近度。
实施方案51.根据实施方案50所述的方法，其中所述关系由光反射强度梯度或颜色梯度图表示。
实施方案52.根据实施方案45至51中任一项所述的方法，其中所述第一图像传感器和所述至少第二图像传感器用于提供立体图像，所述立体图像包含关于所述腔的壁或其他障碍物相对于所述机器人内窥镜的所述远端的接近度的深度信息。
实施方案53.根据实施方案42至52中任一项所述的方法，其中对所述腔的中心的区位的确定包括：(i)生成多个矢量，其中每个矢量在与图像中标识的轮廓的局部节段垂直的方向上对准，以及(ii) 计数与所述图像中的给定像素相交的矢量的数目。
实施方案54.根据实施方案39至53中任一项所述的方法，其中对从所述第一输入数据流导出的数据的分析包括计算运动矢量或光强度梯度。
实施方案55.根据实施方案39至54中任一项所述的方法，其中基于被标识为所述腔的中心的图像特征的转动惯量来计算确定所述腔的中心的区位的置信水平。
实施方案56.根据实施方案39至55中任一项所述的方法，其中以至少10Hz的速率更新所述转向控制输出信号。
实施方案57.根据实施方案39至56中任一项所述的方法，其中以至少100Hz的速率更新所述转向控制输出信号。
实施方案58.根据实施方案39至57中任一项所述的方法，其中所述机器学习架构是人工神经网络、递归神经网络或递归卷积神经网络。
实施方案59.根据实施方案58所述的方法，其中所述神经网络包括至少3个层，所述至少3个层包含输入层、一个或多个隐藏层以及输出层。
实施方案60.根据实施方案39至59中任一项所述的方法，其中至少所述第一输入数据流作为输入数据提供给所述机器学习架构，并且其中所述机器学习架构的一个或多个参数储存在可由被配置用于实现所述机器学习架构的一个或多个处理器访问的介质中。
实施方案61.根据实施方案60所述的方法，其中所述一个或多个参数预储存在所述介质中。
实施方案62.根据实施方案60或61所述的方法，其中根据至少所述第一输入数据流的可用性来选择所述一个或多个参数。
实施方案63.根据实施方案60至62中任一项所述的方法，其中基于由一个或多个附加的机器人内窥镜提供的参数来动态地更新所述一个或多个参数。
实施方案64.根据实施方案63所述的方法，其中与所述一个或多个附加的机器人内窥镜共享所述机器学习架构的所述一个或多个参数。
实施方案65.根据实施方案39至64中任一项所述的方法，其中使用一个或多个训练数据集作为输入来完善由所述机器学习架构进行的分析。
实施方案66.根据实施方案39至65中任一项所述的方法，其中基于熟练操作者的重复使用来完善由所述机器学习架构进行的分析。
实施方案67.根据实施方案39至66中任一项所述的方法，其中使用所述转向控制输出信号来控制所述机器人内窥镜的一个或多个致动器。
实施方案68.根据实施方案67所述的方法，其中所述一个或多个致动器使所述机器人内窥镜的可转向远端部分的移动生效。
实施方案69.根据实施方案68所述的方法，其中围绕包括横滚轴、偏航轴、俯仰轴或其任何组合的一个或多个旋转轴使所述可转向远端部分的移动生效。
实施方案70.根据实施方案67至69中任一项所述的方法，其中所述一个或多个致动器选自液压致动器、气动致动器或筋驱动式致动器机构。
实施方案71.根据实施方案39至70中任一项所述的方法，还包括当确定所述腔的中心相对于所述机器人内窥镜的所述远端的区位的置信水平低于第一阈限时生成转向控制输出信号以导引所述机器人内窥镜沿着指定路径进行搜索，以及重复以下步骤：(i)对至少所述第一输入数据流的一个或多个图像进行自动化图像处理和特征提取以标识所述腔的中心位置，(ii)计算确定所述腔的中心位置的新的置信水平，以及(iii)生成所述转向控制输出信号以导引所述机器人内窥镜沿着所述指定路径进行搜索直到所述新的置信水平高于第二阈限。
实施方案72.根据实施方案71所述的方法，其中基于针对从所述第一输入数据流确定的腔中心位置的强度计算、转动惯量计算和 /或凸度计算来计算所述置信水平。
实施方案73.根据实施方案71或72所述的方法，其中所述指定路径是从螺旋路径、直线网格图案、圆形图案、二维路径、三维路径或其任何组合之中选择的预先确定的路径。
实施方案74.根据实施方案71至73中任一项所述的方法，其中通过所述机器学习架构确定所述指定路径。
实施方案75.根据实施方案71至74中任一项所述的方法，其中基于对所述第一输入数据流的分析自动地选择所述指定路径。
实施方案76.根据实施方案39至75中任一项所述的方法，其中所述机器人内窥镜是机器人结肠镜。
实施方案77.根据实施方案76所述的方法，其中所述机器人结肠镜是软机器人结肠镜。
实施方案78.一种机器人内窥镜，包括：a)细长体结构，其包括一个或多个致动单元以及可转向远端部分；以及b)控制系统，其包括：i)第一图像传感器，其被配置用于捕获包含腔的一系列两个或更多个图像的第一输入数据流；以及ii)一个或多个处理器，其单独地或共同地被配置用于基于使用机器学习架构对从所述第一输入数据流导出的数据的分析来生成转向控制输出信号以控制所述一个或多个致动单元，其中所述转向控制输出信号实时适应于从所述第一输入数据流导出的数据的变化。
实施方案79.根据实施方案78所述的机器人内窥镜，其中所述细长体结构还包括一个或多个丝线，所述一个或多个丝线由所述一个或多个致动单元驱动以使所述可转向远端部分转向。
实施方案80.根据实施方案78或79所述的机器人内窥镜，其中所述细长体结构包括细长弹性体结构。
实施方案81.根据实施方案78至80中任一项所述的机器人内窥镜，还包括至少第二图像传感器，所述至少第二图像传感器被配置用于捕获包含所述腔的一系列两个或更多个图像的至少第二输入数据流，其中所述转向控制输出信号是基于使用机器学习架构对从所述第一输入数据流和所述至少第二输入数据流导出的数据的分析的，并且其中所述转向控制输出信号实时适应于从所述第一输入数据流或所述至少第二输入数据流导出的数据的变化。
实施方案82.根据实施方案78至81中任一项所述的机器人内窥镜，其中所述第一输入数据流或所述至少第二输入数据流包含视频数据。
实施方案83.根据实施方案81至82中任一项所述的机器人内窥镜，其中所述第一图像传感器和至少第二图像传感器用于提供立体图像，所述立体图像包含关于所述腔的壁或其他障碍物相对于所述机器人内窥镜的远端的接近度的深度信息。
实施方案84.根据实施方案78至83中任一项所述的机器人内窥镜，其中所述分析包括对所述腔的中心的区位的确定、对所述腔的壁的区位的确定、对障碍物的区位的确定、对确定所述腔的中心的区位的置信水平的计算、对腔中心位置数据的完整性的损失或改变的确定，或者其任何组合。
实施方案85.根据实施方案78至84中任一项所述的机器人内窥镜，其中所述第一图像传感器位于所述机器人内窥镜的所述可转向远端部分。
实施方案86.根据实施方案78至85中任一项所述的机器人内窥镜，其中所述分析包括对一个或多个图像进行自动化图像处理和特征提取以标识所述腔的中心位置。
实施方案87.根据实施方案78至86中任一项所述的机器人内窥镜，其中所述分析包括使用至少两种图像处理算法的组合对一个或多个图像进行自动化图像处理和特征提取以标识所述腔的中心位置。
实施方案88.根据实施方案86或87所述的机器人内窥镜，其中所述腔的中心在所述一个或多个图像内不可见，并且基于从由所述第一图像传感器或至少第二图像传感器先前捕获的两个或更多个图像中的所述腔的中心位置导出的运动矢量来计算所述腔的中心的预测位置。
实施方案89.根据实施方案88所述的机器人内窥镜，其中单独地或共同地使用图像特征提取数据和所述腔的中心的所述预测位置来实时确定所述腔中心的位置。
实施方案90.根据实施方案78至89中任一项所述的机器人内窥镜，其中所述分析包括对一个或多个图像进行自动化图像处理以标识高光反射区域并从而基于光反射与接近度之间的关系确定腔壁或障碍物到所述机器人内窥镜的所述远端的接近度。
实施方案91.根据实施方案90所述的机器人内窥镜，其中所述关系由光反射强度梯度或颜色梯度图表示。
实施方案92.根据实施方案84至91中任一项所述的机器人内窥镜，其中对所述腔的中心的区位的确定包括：(i)生成多个矢量，其中每个矢量在与图像中标识的轮廓的局部节段垂直的方向上对准，以及(ii)计数与所述图像中的给定像素相交的矢量的数目。
实施方案93.根据实施方案78至92中任一项所述的机器人内窥镜，其中对从所述第一输入数据流导出的数据的分析包括计算运动矢量或光强度梯度。
实施方案94.根据实施方案78至93中任一项所述的机器人内窥镜，其中基于被标识为所述腔的中心的图像特征的转动惯量来计算确定所述腔的中心的区位的置信水平。
实施方案95.根据实施方案78至94中任一项所述的机器人内窥镜，其中针对所述第一输入数据流的图像采集和处理速率至少为10 Hz。
实施方案96.根据实施方案79至95中任一项所述的机器人内窥镜，其中针对所述至少第二输入数据流的图像采集和处理速率至少为10Hz。
实施方案97.根据实施方案78至96中任一项所述的机器人内窥镜，其中所述处理器中的至少一个位于所述机器人内窥镜的所述远端的可转向远端部分，位于所述腔之外，或者远程耦合到所述机器人内窥镜。
实施方案98.根据实施方案78至97中任一项所述的机器人内窥镜，其中所述机器学习架构是人工神经网络、递归神经网络或递归卷积神经网络。
实施方案99.根据实施方案98所述的机器人内窥镜，其中所述神经网络包括至少3个层，所述至少3个层包含输入层、一个或多个隐藏层以及输出层。
实施方案100.根据实施方案78至99中任一项所述的机器人内窥镜，其中至少所述第一输入数据流作为输入数据提供给所述机器学习架构，并且其中所述机器学习架构的一个或多个参数储存在可由所述一个或多个处理器访问的介质中。
实施方案101.根据实施方案100所述的机器人内窥镜，其中所述一个或多个参数预储存在所述介质中。
实施方案102.根据实施方案100或101所述的机器人内窥镜，其中根据至少所述第一输入数据流的可用性来选择所述一个或多个参数。
实施方案103.根据实施方案100至102中任一项所述的机器人内窥镜，其中基于由一个或多个附加的机器人内窥镜提供的参数来动态地更新所述一个或多个参数。
实施方案104.根据实施方案103所述的机器人内窥镜，其中与所述一个或多个附加的机器人内窥镜共享所述机器学习架构的所述一个或多个参数。
实施方案105.根据实施方案78至104中任一项所述的机器人内窥镜，其中使用一个或多个训练数据集作为输入来完善由所述机器学习架构进行的分析。
实施方案106.根据实施方案78至105中任一项所述的机器人内窥镜，其中基于熟练操作者的重复使用来完善由所述机器学习架构进行的分析。
实施方案107.根据实施方案78至106中任一项所述的机器人内窥镜，其中所述一个或多个致动器使所述机器人内窥镜的可转向远端部分的移动生效。
实施方案108.根据实施方案107所述的机器人内窥镜，其中围绕包括横滚轴、偏航轴、俯仰轴或其任何组合的一个或多个旋转轴使所述可转向远端部分的移动生效。
实施方案109.根据实施方案78至108中任一项所述的机器人内窥镜，其中所述一个或多个致动器选自液压致动器、气动致动器或筋驱动式致动器机构。
实施方案110.根据实施方案78至109中任一项所述的机器人内窥镜，其中以至少10Hz的速率更新所述转向控制输出信号。
实施方案111.根据实施方案78至109中任一项所述的机器人内窥镜，其中以至少100Hz的速率更新所述转向控制输出信号。
实施方案112.根据实施方案78至111中任一项所述的机器人内窥镜，其中所述机器人内窥镜的所述远端还包括一个或多个光源用以提供照明。
实施方案113.根据实施方案112所述的机器人内窥镜，其中所述一个或多个光源包括发光二极管(LED)。
实施方案114.根据实施方案78至113中任一项所述的机器人内窥镜，其中所述机器人内窥镜的所述可转向远端部分包括一个或多个光纤，所述一个或多个光纤耦合到位于结肠腔之外的一个或多个光源。
实施方案115.根据实施方案78至114中任一项所述的机器人内窥镜，其中所述一个或多个处理器还被配置用于当确定所述腔的中心相对于所述机器人内窥镜的所述远端的区位的置信水平低于第一阈限时生成转向控制输出信号以导引所述机器人内窥镜的所述可转向远端部分沿着指定路径进行搜索，以及重复以下步骤：(i)对至少所述第一输入数据流的一个或多个图像进行自动化图像处理和特征提取以标识所述腔的中心位置，(ii)计算确定所述腔的中心位置的新的置信水平，以及(iii)生成所述转向控制输出信号以导引所述机器人内窥镜沿着所述指定路径进行搜索直到所述新的置信水平高于第二阈限。
实施方案116.根据实施方案115所述的机器人内窥镜，其中基于针对从所述第一输入数据流确定的腔中心位置的强度计算、转动惯量计算和/或凸度计算来计算所述置信水平。
实施方案117.根据实施方案115或116所述的机器人内窥镜，其中所述指定路径是从螺旋路径、直线网格图案、圆形图案、二维路径、三维路径或其任何组合之中选择的预先确定的路径。
实施方案118.根据实施方案115至117中任一项所述的机器人内窥镜，其中通过所述机器学习架构确定所述指定路径。
实施方案119.根据实施方案115至118中任一项所述的机器人内窥镜，其中基于对所述第一输入数据流的分析自动地选择所述指定路径。
实施方案120.根据实施方案78至119中任一项所述的机器人内窥镜，其中所述机器人内窥镜是机器人结肠镜。
实施方案121.根据实施方案120所述的机器人内窥镜，其中所述机器人结肠镜是软机器人结肠镜。
从前文所述应当理解，虽然已经图示和描述了特定实现方案，但可以对其做出和在此设想到各种修改。本发明也不旨在受限于本说明书中所提供的特定示例。虽然已经参考前述说明书对本发明进行了描述，但本文中优选实施方式的描述和图示并不意味着以限制性的意义解释。此外，应当理解，本发明的所有方面都不限于本文所阐述的，取决于多种条件和变量的特定描绘、配置或相对比例。本发明实施方式的形式和细节上的各种修改对于本领域技术人员是显而易见的。因此，设想到本发明还应涵盖任何这样的修改、改变和等同项。

Claims (10)

1.一种用于提供使机器人内窥镜转向的自适应转向控制输出信号的控制系统，所述控制系统包括：
a)第一图像传感器，其被配置用于捕获包含腔的一系列两个或更多个图像的第一输入数据流；以及
b)一个或多个处理器，其单独地或共同地被配置用于基于使用机器学习架构对从所述第一输入数据流导出的数据的分析来生成转向控制输出信号，其中所述转向控制输出信号实时适应于从所述第一输入数据流导出的数据的变化。
2.根据权利要求1所述的控制系统，其中所述分析包括对所述腔的中心的区位的确定、对所述腔的壁的区位的确定、对障碍物的区位的确定、对确定所述腔的中心的区位的置信水平的计算、对腔中心位置数据的完整性的损失或改变的确定，或者其任何组合。
3.根据权利要求1所述的控制系统，其中所述分析包括使用至少两种图像处理算法的组合对一个或多个图像进行自动化图像处理和特征提取以标识所述腔的中心位置。
4.根据权利要求1所述的控制系统，其中所述分析包括对一个或多个图像进行自动化图像处理以标识高光反射区域并从而基于光反射与接近度之间的关系确定腔壁或障碍物到所述机器人内窥镜的所述远端的接近度。
5.根据权利要求1所述的控制系统，其中所述一个或多个处理器还被配置用于当确定所述腔的中心相对于所述机器人内窥镜的所述远端的区位的置信水平低于第一阈限时生成转向控制输出信号以导引所述机器人内窥镜沿着指定路径进行搜索，以及重复以下步骤：(i)对至少所述第一输入数据流的一个或多个图像进行自动化图像处理和特征提取以标识所述腔的中心位置，(ii)计算确定所述腔的中心位置的新的置信水平，以及(iii)生成所述转向控制输出信号以导引所述机器人内窥镜沿着所述指定路径进行搜索直到所述新的置信水平高于第二阈限。
6.一种用于提供使机器人内窥镜转向的自适应转向控制输出信号的方法，所述方法包括：
a)提供包含一系列两个或更多个图像的第一输入数据流；以及
b)基于使用机器学习架构对从所述第一输入数据流导出的数据的分析来生成转向控制输出信号，其中所述转向控制输出信号实时适应于所述第一输入数据流的数据的变化。
7.根据权利要求6所述的方法，还包括当确定所述腔的中心相对于所述机器人内窥镜的所述远端的区位的置信水平低于第一阈限时生成转向控制输出信号以导引所述机器人内窥镜沿着指定路径进行搜索，以及重复以下步骤：(i)对至少所述第一输入数据流的一个或多个图像进行自动化图像处理和特征提取以标识所述腔的中心位置，(ii)计算确定所述腔的中心位置的新的置信水平，以及(iii)生成所述转向控制输出信号以导引所述机器人内窥镜沿着所述指定路径进行搜索直到所述新的置信水平高于第二阈限。
8.一种机器人内窥镜，包括：
a)细长体结构，其包括一个或多个致动单元以及可转向远端部分；以及
b)控制系统，其包括：
i)第一图像传感器，其被配置用于捕获包含腔的一系列两个或更多个图像的第一输入数据流；以及
ii)一个或多个处理器，其单独地或共同地被配置用于基于使用机器学习架构对从所述第一输入数据流导出的数据的分析来生成转向控制输出信号以控制所述一个或多个致动单元，其中所述转向控制输出信号实时适应于从所述第一输入数据流导出的数据的变化。
9.根据权利要求8所述的机器人内窥镜，其中所述分析包括对所述腔的中心的区位的确定、对所述腔的壁的区位的确定、对障碍物的区位的确定、对确定所述腔的中心的区位的置信水平的计算、对腔中心位置数据的完整性的损失或改变的确定，或者其任何组合。
10.根据权利要求8所述的机器人内窥镜，其中所述分析包括使用至少两种图像处理算法的组合对一个或多个图像进行自动化图像处理和特征提取以标识所述腔的中心位置。
CN201810326469.2A 2017-04-12 2018-04-12 用于机器人内窥镜的自动化转向系统和方法 Active CN108685560B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201762484754P 2017-04-12 2017-04-12
US62/484,754 2017-04-12
US201762535386P 2017-07-21 2017-07-21
US62/535,386 2017-07-21
US15/928,843 2018-03-22
US15/928,843 US10646288B2 (en) 2017-04-12 2018-03-22 Automated steering systems and methods for a robotic endoscope
PCT/CN2018/080034 WO2018188466A1 (en) 2017-04-12 2018-03-22 Automated steering systems and methods for a robotic endoscope
CNPCT/CN2018/080034 2018-03-22

Publications (2)

Publication Number Publication Date
CN108685560A true CN108685560A (zh) 2018-10-23
CN108685560B CN108685560B (zh) 2020-10-27

Family

ID=63791298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810326469.2A Active CN108685560B (zh) 2017-04-12 2018-04-12 用于机器人内窥镜的自动化转向系统和方法

Country Status (3)

Country Link
US (1) US10646288B2 (zh)
CN (1) CN108685560B (zh)
WO (1) WO2018188466A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109620108A (zh) * 2019-01-22 2019-04-16 大连理工大学 一种双半球型胶囊机器人弯曲肠道内视觉导航方法
CN109766784A (zh) * 2018-12-21 2019-05-17 北京理工大学 基于单目图像的胶囊机器人交互控制方法
CN110277166A (zh) * 2019-06-28 2019-09-24 曾清福 一种宫腹腔镜辅助诊断系统及方法
CN110638413A (zh) * 2019-09-29 2020-01-03 华中科技大学鄂州工业技术研究院 一种自动拐弯的内窥镜
CN110720882A (zh) * 2019-10-16 2020-01-24 深圳开立生物医疗科技股份有限公司 一种内窥镜系统及内窥镜操作控制方法
CN111381357A (zh) * 2018-12-29 2020-07-07 中国科学院深圳先进技术研究院 图像三维信息提取方法、对象成像方法、装置及系统
CN111476162A (zh) * 2020-04-07 2020-07-31 广东工业大学 一种操作命令生成方法、装置及电子设备和存储介质
CN111640124A (zh) * 2020-05-25 2020-09-08 浙江同花顺智能科技有限公司 一种血管提取方法、装置、设备及存储介质
CN111915573A (zh) * 2020-07-14 2020-11-10 武汉楚精灵医疗科技有限公司 一种基于时序特征学习的消化内镜下病灶跟踪方法
CN111973134A (zh) * 2020-08-06 2020-11-24 江苏势通生物科技有限公司 基于视觉的测试体对准待测通道的方法、导航方法及系统
CN113282077A (zh) * 2021-04-08 2021-08-20 浙江工业大学 基于正态分布rrt*和雅可比矩阵的同心管机器人运动规划方法
CN113302541A (zh) * 2019-03-22 2021-08-24 巴里大学 用于捕获任意平面之间的全光图像的过程和装置
CN113518576A (zh) * 2019-03-25 2021-10-19 奥林巴斯株式会社 移动辅助系统、移动辅助方法以及移动辅助程序
CN113925441A (zh) * 2021-12-17 2022-01-14 极限人工智能有限公司 一种基于内窥镜的成像方法及成像系统
CN115281584A (zh) * 2022-06-30 2022-11-04 中国科学院自动化研究所 柔性内窥镜机器人控制系统及柔性内窥镜机器人模拟方法
CN117437392A (zh) * 2023-12-15 2024-01-23 杭州锐健医疗科技有限公司 交叉韧带止点标记及其模型训练的方法和关节镜系统

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6461333B2 (ja) * 2015-06-04 2019-01-30 オリンパス株式会社 可撓管挿入装置、及び可撓管挿入装置の作動方法
WO2018098465A1 (en) 2016-11-28 2018-05-31 Inventio, Inc. Endoscope with separable, disposable shaft
CN107360424B (zh) * 2017-07-28 2019-10-25 深圳岚锋创视网络科技有限公司 一种基于视频编码器的码率控制方法、装置及视频服务器
US10317515B2 (en) * 2017-09-01 2019-06-11 Wisconsin Alumni Research Foundation Apparatus for identifying objects outside of a line-of-sight
BR102017026251A2 (pt) * 2017-12-05 2019-06-25 Samsung Eletrônica da Amazônia Ltda. Método e sistema de reconhecimento de dados de sensor utilizando o enriquecimento de dados para o processo de aprendizagem
US10970080B2 (en) 2018-02-08 2021-04-06 Marvell Asia Pte, Ltd. Systems and methods for programmable hardware architecture for machine learning
EP3761013A4 (en) * 2018-02-26 2021-05-12 Koh Young Technology Inc COMPONENT MOUNT STATUS INSPECTION PROCESS, PRINTED CIRCUIT BOARD INSPECTION APPARATUS AND COMPUTER READABLE RECORDING MEDIA
US10517681B2 (en) 2018-02-27 2019-12-31 NavLab, Inc. Artificial intelligence guidance system for robotic surgery
US11393160B2 (en) * 2018-03-23 2022-07-19 Intel Corporation Deep geometric model fitting
US10997510B1 (en) 2018-05-22 2021-05-04 Marvell Asia Pte, Ltd. Architecture to support tanh and sigmoid operations for inference acceleration in machine learning
US10929779B1 (en) 2018-05-22 2021-02-23 Marvell Asia Pte, Ltd. Architecture to support synchronization between core and inference engine for machine learning
US10891136B1 (en) 2018-05-22 2021-01-12 Marvell Asia Pte, Ltd. Data transmission between memory and on chip memory of inference engine for machine learning via a single data gathering instruction
US10929760B1 (en) 2018-05-22 2021-02-23 Marvell Asia Pte, Ltd. Architecture for table-based mathematical operations for inference acceleration in machine learning
US10929778B1 (en) * 2018-05-22 2021-02-23 Marvell Asia Pte, Ltd. Address interleaving for machine learning
US11016801B1 (en) 2018-05-22 2021-05-25 Marvell Asia Pte, Ltd. Architecture to support color scheme-based synchronization for machine learning
CN108985259B (zh) * 2018-08-03 2022-03-18 百度在线网络技术（北京）有限公司 人体动作识别方法和装置
US11613009B2 (en) * 2018-08-07 2023-03-28 Frank's International, Llc Connection analyzed make-up systems and methods
US11529038B2 (en) * 2018-10-02 2022-12-20 Elements Endoscopy, Inc. Endoscope with inertial measurement units and / or haptic input controls
JP2020067592A (ja) * 2018-10-25 2020-04-30 オリンパス株式会社 移動量判定装置、移動量判定方法、及び移動量判定プログラム
US10930395B2 (en) * 2018-11-23 2021-02-23 Asheleigh Adeline Mowery System for surgical decisions using deep learning
JP7097006B2 (ja) * 2018-12-05 2022-07-07 オムロン株式会社 センサシステム
US11419491B2 (en) * 2019-02-26 2022-08-23 Optecks, Llc Colonoscopy system and method
DE102019203024A1 (de) * 2019-03-06 2020-09-10 Robert Bosch Gmbh Paddingverfahren für ein Convolutional Neural Network
WO2020191269A1 (en) * 2019-03-21 2020-09-24 The Brigham And Women's Hospital, Inc. Robotic artificial intelligence nasal/oral/ rectal enteric tube
US11571107B2 (en) * 2019-03-25 2023-02-07 Karl Storz Imaging, Inc. Automated endoscopic device control systems
JP2020156903A (ja) * 2019-03-27 2020-10-01 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、プログラム、情報処理方法および学習モデルの生成方法
WO2020232374A1 (en) * 2019-05-16 2020-11-19 The Regents Of The University Of Michigan Automated anatomic and regional location of disease features in colonoscopy videos
JP2022535754A (ja) 2019-05-31 2022-08-10 キヤノン ユーエスエイ，インコーポレイテッド パッシブ曲げモードを備えたアクティブ制御の操縦可能医用デバイス
US10929669B2 (en) * 2019-06-04 2021-02-23 Magentiq Eye Ltd Systems and methods for processing colon images and videos
DE112020003746T5 (de) 2019-08-05 2022-04-28 Gyrus Acmi, Inc. D/B/A Olympus Surgical Technologies America Steuerung des abstands zwischen laserfaser und ziel
US11696671B2 (en) * 2019-08-19 2023-07-11 Covidien Ag Steerable endoscope with motion alignment
JP7451686B2 (ja) * 2019-08-30 2024-03-18 オーリス ヘルス インコーポレイテッド 器具画像信頼性システム及び方法
CN114401660A (zh) * 2019-10-01 2022-04-26 奥林巴斯株式会社 内窥镜插入控制装置和内窥镜插入控制方法
USD991279S1 (en) * 2019-12-09 2023-07-04 Ankon Technologies Co., Ltd Display screen or portion thereof with transitional graphical user interface
USD991278S1 (en) * 2019-12-09 2023-07-04 Ankon Technologies Co., Ltd Display screen or portion thereof with transitional graphical user interface for auxiliary reading
WO2021137072A1 (en) * 2019-12-31 2021-07-08 Auris Health, Inc. Anatomical feature identification and targeting
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
AU2021216168A1 (en) * 2020-02-03 2022-03-10 Cosmo Artificial Intelligence - AI Limited Systems and methods for contextual image analysis
KR102299530B1 (ko) * 2020-02-10 2021-09-09 울산대학교 산학협력단 의료 도구 제어 장치의 동작을 결정하기 위한 기계 학습 모델을 트레이닝하는 방법 및 장치
US20230060639A1 (en) * 2020-02-12 2023-03-02 Board Of Regents Of The University Of Texas System Microrobotic systems and methods for endovascular interventions
WO2021214750A1 (en) * 2020-04-19 2021-10-28 Xact Robotics Ltd. Data analysis based methods and systems for optimizing insertion of a medical instrument
EP3937126A1 (en) * 2020-07-09 2022-01-12 Ambu A/S Endoscope image processing device
EP4191606A4 (en) * 2020-07-31 2024-01-24 Sony Group Corp MEDICAL ASSISTANCE SYSTEM, MEDICAL ASSISTANCE METHOD, AND COMPUTER PROGRAM
US11944395B2 (en) * 2020-09-08 2024-04-02 Verb Surgical Inc. 3D visualization enhancement for depth perception and collision avoidance
US20230355332A1 (en) * 2020-09-11 2023-11-09 Sony Group Corporation Medical arm control system, medical arm device, medical arm control method, and program
CN114257707A (zh) * 2020-09-21 2022-03-29 安霸国际有限合伙企业 具有彩色夜间模式的智能ip摄像头
GB2615477A (en) 2020-11-19 2023-08-09 Digestaid Artificial Intelligence Dev Lda Automatic detection of erosions and ulcers in Crohn's capsule endoscopy
WO2022108465A1 (en) 2020-11-19 2022-05-27 Digestaid - Artificial Intelligence Development, Lda. Automatic detection of colon lesions and blood in colon capsule endoscopy
JP7374224B2 (ja) * 2021-01-14 2023-11-06 コ，ジファン 内視鏡を用いた大腸検査ガイド装置
WO2022170562A1 (zh) * 2021-02-10 2022-08-18 中国科学院深圳先进技术研究院 一种消化内镜导航方法和系统
WO2022182263A1 (en) 2021-02-25 2022-09-01 Digestaid - Artificial Intelligence Development, Lda. Automatic detection and differentiation of biliary lesions in cholangioscopy images
US11445108B1 (en) 2021-03-05 2022-09-13 International Business Machines Corporation Turn direction guidance of an endoscopic device
WO2022211501A1 (ko) * 2021-03-31 2022-10-06 서울대학교병원 굴곡성기관지내시경 이미지를 이용하여 해부학적 위치를 판별하는 장치 및 방법
US11903561B2 (en) * 2021-05-03 2024-02-20 Iemis (Hk) Limited Surgical systems and devices, and methods for configuring surgical systems and performing endoscopic procedures, including ERCP procedures
US20230036851A1 (en) * 2021-07-27 2023-02-02 International Business Machines Corporation Path planning
US11430132B1 (en) * 2021-08-19 2022-08-30 Unity Technologies Sf Replacing moving objects with background information in a video scene
WO2023037367A1 (en) * 2021-09-09 2023-03-16 Magnisity Ltd. Self-steering endoluminal device using a dynamic deformable luminal map
US20230136100A1 (en) * 2021-11-01 2023-05-04 Covidien Lp Endoscope with automatic steering
US20230165638A1 (en) * 2021-11-29 2023-06-01 Siemens Healthcare Gmbh Risk management for robotic catheter navigation systems
EP4190271A1 (en) * 2021-12-03 2023-06-07 Ambu A/S Endoscope image processing device
EP4190270A1 (en) * 2021-12-03 2023-06-07 Ambu A/S Endoscope image processing device
EP4191565A1 (en) * 2021-12-03 2023-06-07 Ambu A/S Endoscope image processing device
US11389248B1 (en) * 2021-12-14 2022-07-19 Ix Innovation Llc Surgical robot evolution and handoff
CN114330122B (zh) * 2021-12-28 2024-05-24 东北电力大学 一种基于机器学习的水轮发电机组大轴轴线调整方法
US20230233270A1 (en) * 2022-01-26 2023-07-27 Covidien Lp Autonomous endobronchial access with an em guided catheter
GB2617408A (en) * 2022-04-08 2023-10-11 Aker Medhat A colonoscope device
US11464573B1 (en) * 2022-04-27 2022-10-11 Ix Innovation Llc Methods and systems for real-time robotic surgical assistance in an operating room
WO2024008527A1 (en) * 2022-07-07 2024-01-11 Trinamix Measuring a target value with a nir model
WO2024062391A1 (en) * 2022-09-20 2024-03-28 Psip2 Llc Image processing of endoscope video

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1836624A (zh) * 2006-03-07 2006-09-27 上海大学 智能内窥镜视觉导航系统及方法
CN106169068A (zh) * 2016-07-01 2016-11-30 蔡雄 一种能够自主导航轮式机器人移动车

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5094036B2 (ja) * 2006-04-17 2012-12-12 オリンパスメディカルシステムズ株式会社 内視鏡挿入方向検出装置
US20130165945A9 (en) * 2007-08-14 2013-06-27 Hansen Medical, Inc. Methods and devices for controlling a shapeable instrument
EP2215960B1 (en) * 2007-11-29 2017-12-27 Olympus Corporation Endoscope curve control apparatus
JP5085662B2 (ja) * 2007-11-29 2012-11-28 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP4585048B2 (ja) * 2009-01-15 2010-11-24 オリンパスメディカルシステムズ株式会社 内視鏡システム
WO2010114920A1 (en) 2009-03-31 2010-10-07 Ohio University Automatically adjustable endoscopes
US8444549B2 (en) 2009-04-16 2013-05-21 Covidien Lp Self-steering endoscopic device
CN101653353B (zh) 2009-08-28 2010-12-01 哈尔滨工业大学 连续体型半自主式内窥镜机器人
US20120158011A1 (en) 2010-12-16 2012-06-21 Sandhu Kulbir S Proximity sensor interface in a robotic catheter system
US9220570B2 (en) * 2012-06-29 2015-12-29 Children's National Medical Center Automated surgical and interventional procedures
WO2014093824A1 (en) * 2012-12-14 2014-06-19 The Trustees Of Columbia University In The City Of New York Markerless tracking of robotic surgical tools
EP2918218A4 (en) * 2013-03-27 2016-08-03 Olympus Corp ENDOSCOPE SYSTEM
CN103479320B (zh) 2013-09-25 2015-08-26 深圳先进技术研究院 主动式蛇形内窥镜机器人系统
CN107427327A (zh) * 2014-09-30 2017-12-01 奥瑞斯外科手术机器人公司 具有虚拟轨迹和柔性内窥镜的可配置机器人外科手术系统
CN106408610B (zh) 2015-04-16 2020-05-19 西门子公司 用边缘空间深度神经网络进行解剖对象检测的方法和系统
JP6594133B2 (ja) * 2015-09-16 2019-10-23 富士フイルム株式会社 内視鏡位置特定装置、内視鏡位置特定装置の作動方法および内視鏡位置特定プログラム
CN105796043B (zh) 2016-03-09 2018-11-02 苏州大学 一种基于压力传感器信息的内窥镜机器人控制装置
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
CN107361728A (zh) 2017-08-16 2017-11-21 珠海康弘发展有限公司 内窥镜导向方法及导向装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1836624A (zh) * 2006-03-07 2006-09-27 上海大学 智能内窥镜视觉导航系统及方法
CN106169068A (zh) * 2016-07-01 2016-11-30 蔡雄 一种能够自主导航轮式机器人移动车

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766784A (zh) * 2018-12-21 2019-05-17 北京理工大学 基于单目图像的胶囊机器人交互控制方法
CN111381357A (zh) * 2018-12-29 2020-07-07 中国科学院深圳先进技术研究院 图像三维信息提取方法、对象成像方法、装置及系统
CN111381357B (zh) * 2018-12-29 2021-07-20 中国科学院深圳先进技术研究院 图像三维信息提取方法、对象成像方法、装置及系统
CN109620108A (zh) * 2019-01-22 2019-04-16 大连理工大学 一种双半球型胶囊机器人弯曲肠道内视觉导航方法
CN113302541A (zh) * 2019-03-22 2021-08-24 巴里大学 用于捕获任意平面之间的全光图像的过程和装置
CN113518576A (zh) * 2019-03-25 2021-10-19 奥林巴斯株式会社 移动辅助系统、移动辅助方法以及移动辅助程序
CN110277166B (zh) * 2019-06-28 2020-05-15 屈兴玲 一种宫腹腔镜辅助诊断系统及方法
CN110277166A (zh) * 2019-06-28 2019-09-24 曾清福 一种宫腹腔镜辅助诊断系统及方法
CN110638413B (zh) * 2019-09-29 2021-06-25 华中科技大学鄂州工业技术研究院 一种自动拐弯的内窥镜
CN110638413A (zh) * 2019-09-29 2020-01-03 华中科技大学鄂州工业技术研究院 一种自动拐弯的内窥镜
CN110720882A (zh) * 2019-10-16 2020-01-24 深圳开立生物医疗科技股份有限公司 一种内窥镜系统及内窥镜操作控制方法
CN111476162A (zh) * 2020-04-07 2020-07-31 广东工业大学 一种操作命令生成方法、装置及电子设备和存储介质
CN111640124A (zh) * 2020-05-25 2020-09-08 浙江同花顺智能科技有限公司 一种血管提取方法、装置、设备及存储介质
CN111915573A (zh) * 2020-07-14 2020-11-10 武汉楚精灵医疗科技有限公司 一种基于时序特征学习的消化内镜下病灶跟踪方法
CN111973134A (zh) * 2020-08-06 2020-11-24 江苏势通生物科技有限公司 基于视觉的测试体对准待测通道的方法、导航方法及系统
CN113282077B (zh) * 2021-04-08 2022-06-17 浙江工业大学 基于正态分布和雅可比矩阵的同心管机器人运动规划方法
CN113282077A (zh) * 2021-04-08 2021-08-20 浙江工业大学 基于正态分布rrt*和雅可比矩阵的同心管机器人运动规划方法
CN113925441A (zh) * 2021-12-17 2022-01-14 极限人工智能有限公司 一种基于内窥镜的成像方法及成像系统
CN113925441B (zh) * 2021-12-17 2022-05-03 极限人工智能有限公司 一种基于内窥镜的成像方法及成像系统
CN115281584A (zh) * 2022-06-30 2022-11-04 中国科学院自动化研究所 柔性内窥镜机器人控制系统及柔性内窥镜机器人模拟方法
CN115281584B (zh) * 2022-06-30 2023-08-15 中国科学院自动化研究所 柔性内窥镜机器人控制系统及柔性内窥镜机器人模拟方法
CN117437392A (zh) * 2023-12-15 2024-01-23 杭州锐健医疗科技有限公司 交叉韧带止点标记及其模型训练的方法和关节镜系统
CN117437392B (zh) * 2023-12-15 2024-03-26 杭州锐健医疗科技有限公司 交叉韧带止点标记及其模型训练的方法和关节镜系统

Also Published As

Publication number Publication date
WO2018188466A1 (en) 2018-10-18
US20180296281A1 (en) 2018-10-18
CN108685560B (zh) 2020-10-27
US10646288B2 (en) 2020-05-12

Similar Documents

Publication Publication Date Title
CN108685560A (zh) 用于机器人内窥镜的自动化转向系统和方法
Zhang et al. Polyp detection during colonoscopy using a regression-based convolutional neural network with a tracker
JP6656357B2 (ja) 学習方法、画像認識装置およびプログラム
JP7335552B2 (ja) 画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム
Du et al. Review on the applications of deep learning in the analysis of gastrointestinal endoscopy images
İncetan et al. VR-Caps: a virtual environment for capsule endoscopy
Koulaouzidis et al. Optimizing lesion detection in small-bowel capsule endoscopy: from present problems to future solutions
JP2022545124A (ja) 深層学習に基づく消化管早期癌診断補助システム及び検査装置
JP7313512B2 (ja) 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置
CN105491936B (zh) 胶囊型内窥镜系统
US20220296081A1 (en) Method for real-time detection of objects, structures or patterns in a video, an associated system and an associated computer readable medium
EP2810216A2 (en) System and method for displaying motility events in an in vivo image stream
CN112766416B (zh) 一种消化内镜导航方法和系统
Turan et al. A deep learning based 6 degree-of-freedom localization method for endoscopic capsule robots
JP5085370B2 (ja) 画像処理装置および画像処理プログラム
KR101595962B1 (ko) 대장내시경 수술 시뮬레이션시스템
Ali Where do we stand in AI for endoscopic image analysis? Deciphering gaps and future directions
US20220218180A1 (en) Endoscope insertion control device, endoscope insertion control method, and non-transitory recording medium in which endoscope insertion control program is recorded
Sierra et al. An online deep convolutional polyp lesion prediction over Narrow Band Imaging (NBI)
Fan et al. 3D reconstruction of the WCE images by affine SIFT method
WO2023095208A1 (ja) 内視鏡挿入ガイド装置、内視鏡挿入ガイド方法、内視鏡情報取得方法、ガイドサーバ装置、および画像推論モデル学習方法
US20230298306A1 (en) Systems and methods for comparing images of event indicators
Goh et al. Future developments in high-technology abdominal surgery: ultrasound, stereo imaging, robotics
KR102007656B1 (ko) 모션 센서를 활용한 길이 측정 방법 및 장치
Fan et al. A novel method for informative frame selection in wireless capsule endoscopy video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20181023

Assignee: Noninvasive Biomedical Engineering (Dongguan) Co.,Ltd.

Assignor: BIO-MEDICAL ENGINEERING (HK) LTD.

Contract record no.: 2019990000047

Denomination of invention: AUTOMATED STEERING SYSTEMS AND METHODS FOR A ROBOTIC ENDOSCOPE

License type: Exclusive License

Record date: 20190202

REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1263198

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230828

Address after: Kowloon, Hongkong, China

Patentee after: Intelligent Microinvasive Medicine (Hong Kong) Co.,Ltd.

Address before: Cyberport Road, Hongkong, China

Patentee before: BIO-MEDICAL ENGINEERING (HK) LTD.