CN115187596B - 用于腹腔镜结直肠癌手术的神经智能辅助识别系统 - Google Patents

用于腹腔镜结直肠癌手术的神经智能辅助识别系统 Download PDF

Info

Publication number
CN115187596B
CN115187596B CN202211098727.9A CN202211098727A CN115187596B CN 115187596 B CN115187596 B CN 115187596B CN 202211098727 A CN202211098727 A CN 202211098727A CN 115187596 B CN115187596 B CN 115187596B
Authority
CN
China
Prior art keywords
detection
frame
image
model
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211098727.9A
Other languages
English (en)
Other versions
CN115187596A (zh
Inventor
吴斌
吴及
高键东
吴韵阳
徐楷文
王培培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Original Assignee
Tsinghua University
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Peking Union Medical College Hospital Chinese Academy of Medical Sciences filed Critical Tsinghua University
Priority to CN202211098727.9A priority Critical patent/CN115187596B/zh
Publication of CN115187596A publication Critical patent/CN115187596A/zh
Application granted granted Critical
Publication of CN115187596B publication Critical patent/CN115187596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种用于腹腔镜结直肠癌手术的神经智能辅助识别系统，涉及人工智能领域。神经智能辅助识别系统与腹腔镜系统连接，包括：视频信号转换模块，用于将腹腔镜系统形成的电信号转换为视频信号；视频图像帧抽取模块，用于从视频信号获得图像帧，并将当前图像帧与缓存内的前序N张图像帧组成图像序列；识别模型计算处理模块，用于利用识别模型根据图像序列得到当前图像帧中的相关神经的检测框表示；以及显示模块，用于显示图像帧，并将识别模型输出的结果显示在当前显示的图像帧上。从而，达到了提高医生在手术过程中对于神经的注意力程度，以期降低术中神经损伤的发生风险的技术效果。

Description

用于腹腔镜结直肠癌手术的神经智能辅助识别系统
技术领域
本申请涉及人工智能技术领域，特别是涉及一种用于腹腔镜结直肠癌手术的神经智能辅助识别系统。
背景技术
结直肠癌是一种常见的恶性消化道肿瘤。该肿瘤在多数发达国家高发，在社会老龄化、生活习惯改变等诸多因素的影响下，我国结直肠癌发病率呈现逐年上升的趋势。根据2020年最新发布的数据，我国结直肠癌估算新发病例数为55.5万，死亡病例数为28.6万，分别位于第二和第五位，严重危害国民健康。尽管放化疗在结直肠癌治疗中广泛应用，以手术为主的综合治疗仍然是治疗结直肠癌的主要手段。与传统的开放结直肠手术对比，腹腔镜手术具有创伤更小，患者术后的应激和炎症反应更低，术后恢复更快等诸多优势。腹腔镜下直肠癌根治手术与开腹手术可以获得相同的近、远期临床疗效，已经成为治疗结直肠癌的重要手术方式。
任何手术过程中，操作者都有可能对相关神经造成损伤。由腹盆腔自主神经系统损害引起的排尿及生殖功能障碍是结直肠癌手术最常见的并发症，据文献报道，结直肠癌手术后排尿和性功能障碍率分别为5%~35%和10%~60%，严重影响患者的生存质量，且一旦发生自主神经系统损伤，缺乏有效的治疗手段。已有大量研究表明，在结直肠手术中对盆腔自主神经的识别和保护对于降低排尿及生殖功能障碍的发生风险具有重要作用。随着直肠癌早期发现率的增加和临床疗效的提高，外科医生也逐渐关注到对结直肠癌患者的远期功能保护，从而提高患者术后生活质量。直肠癌根治手术中自主神经系统损伤的预防越发得到重视。
根据医生经验，自主神经损伤常发生于：1）清扫肠系膜下动脉根部淋巴结时可能损伤上腹下神经丛；2）分离直肠系膜时可能损伤骶骨前方的左、右两支腹下神经，以及支配直肠、泌尿、生殖器官的副交感盆神经丛等。
近年来，基于人工智能的计算机视觉技术迅猛发展，在某些领域已经达到了与人类认知相当的程度。该技术能够给予计算机理解和感知图像信息的能力，从而实现自动化任务，在医疗领域中的早期筛查、病灶勾画、辅助诊断方面已开展了广泛的应用研究工作。腹腔镜本身可为术者提供高清、放大的操作视野，增加狭窄盆腔内环境可视性、使得解剖结构层次更清晰显示，具有丰富的可挖掘信息；此外，腹腔镜系统天然具有的数据采集及保存的特点，为基于手术视频开展视觉识别任务提供了丰富的数据来源。
参考文件1：一种新生儿坏死性小肠结肠炎手术干预时机辅助识别系统。公开号为（CN114898863A）。其主要公开了一种新生儿坏死性小肠结肠炎手术干预时机辅助识别系统，采用手术干预时机辅助识别模型，利用该模型的具体工作过程如下：将新生儿坏死性小肠结肠炎患者的影像数据和临床数据输入数据预处理模块分别进行预处理；将预处理后的影像数据和临床数据输入特征提取模块进行特征提取；然后加入超图约束，选取不同特征之间相关联的高阶特征；最后加入两种数据特征的邻接矩阵作为网络正则化约束，得到最终特征矩阵；根据临床指征选取模块选择的临床指征，将最终特征矩阵中的临床指征输入预测分类模块进行分类，得到是否需要手术的二分类结果。本发明可以对新生儿坏死性小肠结肠炎外科手术干预时机进行判断，提高患儿的诊治效率。
参考文件2：一种内镜下辅助识别粘膜下血管的方法及系统。公开号为（CN112842285A）。其主要公开了一种内镜下辅助识别粘膜下血管的方法及系统，属于血管识别技术领域，对实时采集的待检测部位的时序图像进行预处理，将时序图像的像素值转化为零均值和单位方差；基于成像式光电容积描记技术，从预处理后的时序图像中，提取血液容积波，并确定对应的血液容积波动频率；基于成像式光电容积描记技术，从预处理后的时序图像中，提取各像素点的像素变化值，并确定对应的像素点的像素波动频率；根据血液容积波、血液容积波动频率、像素变化值以及像素波动频率，确定粘膜下血管覆盖区域。本发明能够在内窥镜操作过程中，在不借助额外设备且不延长操作时间的前提下，实时准确提取消化道血流信息，准确识别粘膜下血管，保证了手术安全。
综上所述，本公开的具体实施方式采用基于人工智能的计算机视觉技术，通过在腹腔镜手术环境中嵌入智能识别装置，实现对上述与术后不良预后相关神经的检测框的突出显示，提高医生在手术过程中对于神经的注意力程度，以期降低术中神经损伤的发生风险。此外，通过对已有的腹腔镜手术视频展开回顾性分析，提供自动化的相关神经检测，可以为外科医师技能培训提供基于视频的学习路径，帮助提高对手术过程中潜在神经损伤机制的认识，提高医师手术技能。
发明内容
本公开的实施例提供了一种用于腹腔镜结直肠癌手术的神经智能辅助识别系统，采用基于人工智能的计算机视觉技术，构建腹腔镜结直肠癌手术术中神经智能识别模型，对手术过程中视野内的神经进行实时检测框的突出显示。
根据本公开实施例的一个方面，提供了一种用于腹腔镜结直肠癌手术的神经智能辅助识别系统，神经智能辅助识别系统与腹腔镜系统连接，包括：视频信号转换模块，用于将腹腔镜系统形成的电信号转换为视频信号；视频图像帧抽取模块，用于从视频信号获得图像帧，并将当前图像帧与缓存内的前序N张图像帧组成图像序列；识别模型计算处理模块，用于利用识别模型根据图像序列得到当前图像帧中相关神经的检测框表示；以及显示模块，用于显示图像帧，并将识别模型输出的结果显示在当前显示的图像帧上。
其中神经智能识别模型所涉技术包括：面向手术阶段特点的目标检测算法、视频目标检测修正算法。基于以上系统流程及算法设计，本公开的技术方案可实现对腹腔镜结直肠癌手术术中神经的准确、稳定和实时识别要求。
并且，本公开的技术方案能够解决复杂场景下腹腔镜术中神经准确识别的问题。患者的肥胖程度与腹腔内的脂肪组织分布相关，过多的脂肪组织将隐匿神经、血管等重要组织结构，增加识别难度。手术全程涉及各类复杂操作包括固定、牵拉、分离以及止血等，手术器械、纱布以及出血情况将影响相关组织结构的可视程度。由此可见术中神经识别任务非常困难，本专利需采取针对性设计，使得识别模型可适用于各类场景，具有稳健的效果。
此外，从考虑医生使用体验的角度，本公开的技术方案还能够解决腹腔镜视频识别结果稳定性及实时性需求。实时识别即将处理的手术视频，通过监视器显示后无人眼可感知的掉帧、闪烁情况，对处理速度有所要求；稳定识别则意味着突出显示的位置框在帧间的连续性，在目标位置无明显变化时，定位框的尺寸和位置也无明显变化，减少闪烁和抖动。
附图说明
此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
图1是根据本公开具体实施方式所述的神经智能辅助识别系统的示意图；
图2A~图2C是根据本公开具体实施方式所述的神经智能辅助识别系统的识别模型的三种不同形式的结构示意图；以及
图3是根据本公开具体实施方式对识别模型中的目标检测模型进行训练的流程示意图；以及
图4是根据本公开具体实施方式所述的对图像序列建立链接的示意图；以及
图5是根据本公开具体实施方式所述检测框的特征的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本公开的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是根据本实施例所述的用于腹腔镜结直肠癌手术的神经智能辅助识别系统200的示意图。参照图1所示，该神经智能辅助识别系统200与腹腔镜系统100连接，包括：视频信号转换模块210，用于将腹腔镜系统100形成的电信号转换为视频信号；视频图像帧抽取模块230，用于从视频信号获得图像帧，并将当前图像帧与缓存内的前序N张图像帧组成图像序列；识别模型计算处理模块240，用于利用识别模型根据图像序列得到当前图像帧中相关神经的检测框表示；以及显示模块250，用于显示图像帧，并将识别模型输出的结果显示在当前显示的图像帧上。
此外，进一步参考图1所示，在视频信号转换模块210和视频图像帧抽取模块230之间例如还可以设置交互触发模块220，用于根据医生的操作判定是否对当前图像帧进行相关神经的识别操作。
具体地，尽管图中未示出，在腹腔镜系统100中，前端摄像头与腹腔镜镜头连接，形成的电信号经视频信号转换模块210转换为视频信号，该视频分辨率一般为1080*1920。并且，医生在进行手术操作时可根据需求，通过交互触发模块220选择是否触发神经智能辅助识别系统200对相关神经进行识别。当神经智能辅助识别系统200被触发后，视频信号经图像帧抽取模块230获得图像帧，并且图像帧抽取模块230将当前图像帧与缓存内的前序N张图像帧组成图像序列，并将图像序列输入识别模型计算处理模块240。图像序列经识别模型计算处理模块240推理得到当前图像帧中相关神经的检测框表示。此外，为提高系统整体处理的速度，满足实时性需求，神经智能辅助识别系统200在显示模式上采用并行处理的方式：由于在一定时间范围内图像信息变化并不大，神经智能辅助识别系统200可将图像帧抽取和识别模型并行计算，将识别模型输出的结果直接显示在当前显示的图像帧上，从而减少级联运算的时延。也就是说，视频图像帧抽取模块230在将图像序列传输至识别模型计算处理模块240的同时将当前图像帧传输至显示模块250显示。而不是等到识别模型计算处理模块240计算得到相关神经的检测框表示之后才将当前图像帧以及检测框表示传输至显示模块250。从而显示模块250可以没有时延地显示腹腔镜系统100所采集的图像。并且当显示模块250从识别模型计算处理模块240接收到作为输出结果的检测框表示时，将该检测框表示在当前显示的图像帧上显示。
其中该检测框表示例如可以是检测框的图形，用于在图像帧中提示相关神经的位置。
在直肠癌手术过程中涉及神经保护的阶段可分为以下三个手术阶段：从剪开腹膜至解剖肠系膜下血管之前（后文简称手术阶段1）、从解剖肠系膜下血管至游离直肠之前（后文简称手术阶段2）以及游离直肠（后文简称手术阶段3）。每个手术阶段具有不同的操作内容和解剖结构特点，本专利所涉识别模型采用分而治之的方式，首先识别当前图像帧所属的手术阶段，然后根据识别结果自适应选择与所识别手术阶段的对应目标检测子模型，从而更好地应对不同的场景变化。从而本实施例中的识别模型包含两个部分：手术阶段识别模型以及目标检测模型。
图2A~图2C示出了识别模型的三种不同形式的结构示意图。
参考图2A所示，识别模型包括：手术阶段识别模型以及目标检测模型。其中手术阶段识别模型用于识别图像帧所属的手术阶段，并且根据所识别的手术阶段向目标检测模型传输选择相应的目标检测子模型的指令。目标检测模型包含3个目标检测子模型1~3，分别用于检测三个不同手术阶段的图像帧中的相关神经，并得到相关神经的检测框表示。其中目标检测子模型1用于针对手术阶段1的图像帧进行相关神经的目标检测；目标检测子模型2用于针对手术阶段2的图像帧进行相关神经的目标检测；目标检测子模型3用于针对手术阶段3的图像帧进行相关神经的目标检测。从而目标检测模型根据从手术阶段识别模型传输的选择相应的目标检测子模型的指令，利用相应的目标检测子模型对图像帧进行目标检测。从而通过图2A示出的识别模型，能够根据图像帧所属的手术阶段自适应地选择相应的目标检测子模型对图像帧进行目标检测，从而能够提高目标检测的准确性。
并且其中，参考图2A所示，目标检测子模型1~3采用YOLOv5作为目标检测框架。从而目标检测子模型1~3均包含输入端、骨干网络、颈部连接层以及输出检测头四个部分。其中输入端以及骨干网络构成目标检测子模型的特征提取单元。此外目标检测子模型1~3的输入端引入mosaic数据增强、自适应锚框计算以及矩形填充方式；骨干网络采用CSP-Darknet53以及focus模块，在保证卷积神经网络学习能力的同时使得网络轻量化；颈部连接层采用FPN结合PAN的结构，可实现多尺度特征聚合，提高网络的特征提取能力。
此外，图3示出了图2A中的目标检测模型的训练方法流程。
首先从腹腔镜手术视频中抽取图像以便构建对目标检测模型进行训练的样本集（S302）。
其中，腹腔镜系统100可导出mp4格式的视频，每一帧的分辨率为1080*1920。并且本实施例在病人层面上进行训练集以及测试集划分，并充分考虑患者肥胖情况、肿瘤分期、术中出血情况等因素，使得训练集与测试集的病人情况的分布保持一致。
对以上视频数据进行如下处理从而获得标注：首先从完整的手术视频中剪辑提取关键视频片段。其中，所截取的视频片段充分涵盖器械及纱布分布情况、患者出血情况、组织牵拉等各类情况，从而获得包括了各类情况的视频片段。按照1s间隔从上述视频片段中抽取相应图像，并采用常规的相似性比对算法去除冗余图像获得图像集。然后，采用LabelImg、Labelme或vott等开源标注软件对图像集进行标注。标注内容包括：视野内神经的检测框；该检测框所表示的神经的复杂度（0,1）；以及图像所属手术阶段（1,2,3）。其中用于表示图像所属手术阶段的数字1~3分别用于表示手术阶段1~3这三个手术阶段。并且，初始标注需经高年资医生复核保证标注的可靠性。
然后，对抽取的图像进行增强处理（S304）。
腹腔镜场景多变，且为避免数据量较少导致的过拟合问题，可采用合理的数据增强方法，包括几何变换、颜色空间变换、像素点操作、多图组合操作等对训练集图像进行扩增。本专利应用上述方法，采用在线数据增强的方式，获得丰富多变的图像输入。
然后，采用全阶段数据，结合困难样本挖掘的思路获取基线模型（S306）。
本实施例的技术方案采用YOLOv5作为目标检测模型的框架，并进行参数初始化后得到初始化模型。为了得到针对三个不同手术阶段的目标检测子模型，首先采用覆盖三个不同手术阶段的全阶段标注数据对初始化模型进行训练从而得到基线模型。并且其中，得到基线模型的训练过程使用了神经复杂性的标注以及结合了困难样本挖掘的思想。
然后，采用分阶段数据，微调网络结构，获得分阶段目标检测子模型（S308）。
具体地，在得到基线模型之后，进一步采用分阶段的标注数据对基线模型进行微调获得分别与不同手术阶段对应的目标检测子模型1~3。例如，可以通过与手术阶段1对应的标注数据对基线模型进行微调，从而得到用于对手术阶段1的图像帧进行相关神经检测的目标检测子模型1；可以通过与手术阶段2对应的标注数据对基线模型进行微调，从而得到用于对手术阶段2的图像帧进行相关神经检测的目标检测子模型2；以及可以通过与手术阶段3对应的标注数据对基线模型进行微调，从而得到用于对手术阶段3的图像帧进行相关神经检测的目标检测子模型3。
从而通过以上方法，可以训练得到用于对三个不同手术阶段的图像帧进行相关神经检测的目标检测子模型。
进一步地，图2A中也示出了的手术阶段识别模型的结构。参考图2A所示，手术阶段识别模型包括以下三个单元：图像特征提取单元、识别分类单元以及后处理单元。
其中，图像特征提取单元可以采取与前述目标检测子模型1~3的特征提取单元相同的网络架构，图像帧经过图像特征提取单元后表示为多个特征图，作为识别分类单元的输入。
此外，识别分类单元可采用LSTM序列处理模型或树模型（如LightGBM）。
此外，为提高阶段识别结果的连续性，减少识别异常情况，后处理单元采用如下后处理方法：1）在未识别出当前图像帧的手术阶段的情况下，将前序图像帧的手术阶段识别结果作为当前图像帧的手术阶段识别结果。2）消除短时间内手术阶段识别结果的高频率波动（即在短时间内，对于各个图像帧的手术阶段识别结果出现高频率的不一致情形，主要是由于识别错误造成的），例如可以采用滑动窗口去噪的方法，并根据实际情况调整窗口大小。例如，可以通过以下所述的至少一种方式进行去噪处理：
1） 当窗口内的各个图像帧出现手术阶段识别结果不一致的情况时，将窗口内的各个图像帧的识别结果统一调整为该数量最多的识别结果。并且进一步优选地，要在数量最多的识别结果的图像帧与其他识别结果的图像帧的数量的差值大于预定阈值时，将窗口内的各个图像帧的识别结果统一调整为该数量最多的识别结果。
2） 当后序的图像帧所识别的手术阶段为在先的图像帧所识别的手术阶段的前序手术阶段时，将后序的图像帧所对应的手术阶段调整为在先的图像帧所识别的手术阶段。例如当在先的图像帧所识别的手术阶段为手术阶段2，并且后序的图像帧所识别的手术阶段为手术阶段1时，将后序图像帧所对应的手术阶段调整为手术阶段2。
经后处理的分类结果，作为该当前图像帧最终的阶段识别结果。
然后，目标检测模型根据阶段识别的结果，自适应选择相应的目标检测子模型，从而获得当前图像帧上相关关键神经的检测框表示。其中识别模型的表达式如下所示：
Figure 20123DEST_PATH_IMAGE002
（1）
其中
Figure 678244DEST_PATH_IMAGE004
是与手术阶段i对应的目标检测子模型i的函数。当输入图片x时，
Figure 838967DEST_PATH_IMAGE004
用于表示当前图像帧中所含神经的检测框坐标
Figure 91219DEST_PATH_IMAGE006
。
Figure 71813DEST_PATH_IMAGE008
为与不同的手术阶段对应的阶段系数，当识别当前图像帧所属的手术阶段为第i个手术阶段（i=1,2,3）时，
Figure 330363DEST_PATH_IMAGE010
。
此外，图2B示出了识别模型的另一种结构。其中与图2A所示的识别模型的主要区别，在于目标检测模型的三个目标检测子模型1~3共用相同的特征提取单元和颈部连接器，而三个目标检测子模型1~3仅保留各自的输出检测头。从而待识别的图像帧输入至识别模型之后，可以利用三个目标检测子模型1~3共同的特征提取单元提取特征，并且利用与手术阶段识别模型传输的指令相应的目标检测子模型中的输出检测头进行相关神经的目标检测。
其中，对该目标检测模型的训练方法可以仍然参考图3所示的方法。只不过在步骤S306获取基线模型之后，将基线模型的特征提取单元和颈部连接器作为识别模型的特征提取单元和颈部连接器。从而在步骤S308中，冻结特征提取单元和颈部连接器的参数，而仅仅对各个目标检测子模型1~3的输出检测头的参数进行微调。从而通过这种方式，不仅简化了目标检测模型的神经网络的架构，而且也缩短了对目标检测模型进行训练的时间，提高了训练的效率。
此外，进一步优选地，为了提高识别网络整体的推理速度，手术阶段识别模型的图像特征提取单元的网络参数可与前述目标检测模型的特征提取单元的网络参数保持一致，训练时不需要进行反向梯度传播，只需要对识别分类单元进行微调即可。
此外，图2C示出了识别模型的另一种结构，其中该结构在图2B的基础上，进一步将目标检测模型与手术阶段识别模型的特征提取单元抽取出来，从而使得目标检测模型与手术阶段识别模型共用同一个特征提取单元。从而待识别的图像帧在输入至识别模型之后，先通过共同的特征提取单元提取特征（该特征表示为多个特征图），然后将提取的特征分别输入至手术阶段识别模型和目标检测模型进行手术阶段识别以及相关神经的目标检测。
其中，图2C示出的目标检测模型的训练方法以及手术阶段识别模型的训练方法参考图2B中示出的目标检测模型和手术阶段识别模型的训练方法。只是其中，在目标检测模型训练完成后将特征提取单元部分作为目标检测模型与手术阶段识别模型的共同的特征提取单元。对手术阶段识别模型的训练只需要针对识别分类单元进行微调即可。
此外，参考图2A~图2C所示，神经智能辅助识别系统200还可以基于连续性对识别模型的输出结果进行修正。
不同于图像目标检测，视频目标检测可利用连续图像帧中目标的连续性变化特点，对单帧目标检测的结果进行修正。本专利所涉修正算法包括：链接建立、检测框重估以及平滑补充。
链接建立：图4示出了在多个图像帧序列中建立了一个链接的多个检测框的示意图。参考图4所示，本实施例基于指定图像帧序列中i时刻的图像帧
Figure 345592DEST_PATH_IMAGE012
（其中图像帧
Figure 768746DEST_PATH_IMAGE013
例如可以是当前图像帧；或者在当前图像帧检测不到检测框的情况下，图像帧
Figure 502215DEST_PATH_IMAGE013
可以是当前图像帧前序的能够检测到检测框的图像帧）建立链接。图像帧序列还包括图像帧
Figure 33298DEST_PATH_IMAGE013
之前的各个图像帧
Figure 903033DEST_PATH_IMAGE015
。并且进一步参考图4所述，图像帧
Figure 497088DEST_PATH_IMAGE013
中的检测框
Figure 717854DEST_PATH_IMAGE017
、图像帧
Figure 318206DEST_PATH_IMAGE019
中的检测框
Figure 573607DEST_PATH_IMAGE021
以及图像帧I i-n 中的检测框
Figure 338563DEST_PATH_IMAGE023
为同一链接内的检测框。即，检测框
Figure 781045DEST_PATH_IMAGE017
、检测框
Figure 919509DEST_PATH_IMAGE024
以及检测框
Figure 29417DEST_PATH_IMAGE025
为图4所示的图像帧序列的各个图像帧中最优匹配的检测框。从而，该链接可以视为各个图像帧中关联目标的链接。
根据本实施例的技术方案，可以通过目标追踪算法或相似性度量方法建立图像帧序列中关联目标的链接。其中可采用的目标追踪算法包括相关滤波、卡尔曼滤波等方法。而可以采用的相似性度量方法则通过三个维度来建立图像帧序列中关联目标的链接：1）IOU阈值筛选；2）语义相似性度量，如余弦相似性；3）形状相似性，该形状相似性度量检测框的尺度以及位置。并且，本实施例的技术方案在建立链接后，可以删除未纳入链接的检测框，从而减少游离的错检框。
其中根据相似性度量方法建立链接的具体过程如下所示：
对于i时刻图像帧
Figure 965274DEST_PATH_IMAGE013
中的第
Figure 895053DEST_PATH_IMAGE027
个检测框
Figure 595066DEST_PATH_IMAGE028
，在相邻图像帧
Figure 559480DEST_PATH_IMAGE029
中确定最佳匹配 的检测框（下文表示为第
Figure 666238DEST_PATH_IMAGE031
个检测框
Figure 83313DEST_PATH_IMAGE021
），其中最佳匹配的检测框
Figure 32421DEST_PATH_IMAGE033
是根据以下 公式确定的：
Figure 382500DEST_PATH_IMAGE035
（2）
即，图像帧
Figure 925739DEST_PATH_IMAGE036
中最佳匹配的第
Figure 564531DEST_PATH_IMAGE031
个检测框
Figure 317330DEST_PATH_IMAGE037
符合以下定义：当
Figure 256336DEST_PATH_IMAGE039
时，
Figure 439318DEST_PATH_IMAGE041
的值最大。其中
Figure 565405DEST_PATH_IMAGE043
，
Figure 623360DEST_PATH_IMAGE045
为根 据实际情况设置的IOU阈值，一般设置较小值，如0.1。
Figure 915408DEST_PATH_IMAGE047
表示图像帧
Figure 767826DEST_PATH_IMAGE048
中的第
Figure 882675DEST_PATH_IMAGE050
个检 测框。
Figure 744321DEST_PATH_IMAGE052
是与检测框
Figure 625296DEST_PATH_IMAGE053
对应的特征；
Figure 648615DEST_PATH_IMAGE055
是与检测框
Figure 250760DEST_PATH_IMAGE047
对应的特征。
其中，特征
Figure 181676DEST_PATH_IMAGE056
和
Figure 182737DEST_PATH_IMAGE057
可以通过以下方式获取：根据检测框
Figure 642537DEST_PATH_IMAGE058
和
Figure 466399DEST_PATH_IMAGE059
的坐标，在特 征提取单元的骨干网络中获取特征图中对应的特征图区域，然后将获取的特征图区域输入 至ROI pooling中得到相应的特征
Figure 669847DEST_PATH_IMAGE061
和
Figure 761300DEST_PATH_IMAGE063
。从而特征
Figure 890536DEST_PATH_IMAGE065
和
Figure 700229DEST_PATH_IMAGE067
以特征图区域的形式 表示。其中，图5示出了特征
Figure 943254DEST_PATH_IMAGE069
的示例性示意图。参考图5所示，特征
Figure 685951DEST_PATH_IMAGE071
表现为多层的特征 图区域。至于特征
Figure 986089DEST_PATH_IMAGE073
也参考特征
Figure 283078DEST_PATH_IMAGE075
，此处不再赘述。
其中，函数s()和l() 分别为语义相似性度量和形状相似性度量。例如，若语义相似性选择余弦相似度，则表示如下：
Figure 329794DEST_PATH_IMAGE077
（3）
其中R为与
Figure 395839DEST_PATH_IMAGE079
和
Figure 368343DEST_PATH_IMAGE081
对应的特征图区域在二维平面内的所有坐标的集合（参考 图5所示，R为遍历所有行和列的坐标的集合）；p为与
Figure 487101DEST_PATH_IMAGE083
和
Figure 836042DEST_PATH_IMAGE085
对应的特征图区域在二维 平面内的一个坐标。从而
Figure 258059DEST_PATH_IMAGE087
和
Figure 401464DEST_PATH_IMAGE089
分别为与坐标p对应的特征向量，向量中的元素 为多层特征图区域与该坐标p对应的像素点的数值（参考图5所示，
Figure 906001DEST_PATH_IMAGE091
的元素为各个特征 图中与坐标p对应的像素点的数值。
Figure 324213DEST_PATH_IMAGE093
也参考
Figure 600736DEST_PATH_IMAGE095
，此处不再赘述）。
形状相似性可采用如下方式度量：
Figure 915043DEST_PATH_IMAGE097
（4）
其中，
Figure 408341DEST_PATH_IMAGE099
和
Figure 332041DEST_PATH_IMAGE101
分别为检测框
Figure 492764DEST_PATH_IMAGE103
和
Figure 213858DEST_PATH_IMAGE105
之间的尺度相似性函数和位置相似性函数，其中
Figure 460031DEST_PATH_IMAGE107
（5）
Figure 187423DEST_PATH_IMAGE109
（6）
其中
Figure DEST_PATH_IMAGE111
和
Figure 796127DEST_PATH_IMAGE113
为检测框
Figure 219281DEST_PATH_IMAGE115
的宽和高，
Figure 687171DEST_PATH_IMAGE117
和
Figure 687095DEST_PATH_IMAGE119
为检测框
Figure 822410DEST_PATH_IMAGE121
的宽和高。
Figure 885306DEST_PATH_IMAGE123
表示检测框
Figure 840493DEST_PATH_IMAGE125
的中心的坐标，并且
Figure DEST_PATH_IMAGE127
表示检测框
Figure DEST_PATH_IMAGE129
的中心坐标。
从而可以通过以上方式，可以在图4所示的各个图像帧内确定与图像帧图像帧
Figure DEST_PATH_IMAGE131
中检测框
Figure DEST_PATH_IMAGE133
最佳匹配的检测框，从而对最佳匹配的各个检测框建立链接。
建立链接后，对链接内的检测框进行重估：
1）置信度重估，针对各个图像帧在同一个链接内关联的各个检测框的置信度计算平均值，作为该链接内的各个检测框的置信度，从而减少置信度歧义造成的错误检测情况；
2）检测框坐标重估，将各个相邻图像帧在同一个链接内关联的各个检测框的坐标值视为含有噪声的时间序列，并且对该时间序列进行平滑操作。例如，各个检测框的坐标可以表示为
Figure 581790DEST_PATH_IMAGE134
，其中x center 和y center 为各个检测框的中心点的横坐标和纵坐标，w为检测框的宽度，h为检测框的高度。从而同一链接内关联的各个检测框的坐标值可以视为含有噪声的4个时间序列分别与检测框中心点的横坐标和纵坐标以及检测框的宽度和高度对应。然后可以采用高斯滤波的方法对这4个时间序列进行平滑操作，从而获得更稳健的检测结果。
具体地，重估的操作可以参照以下公式：
Figure 804568DEST_PATH_IMAGE136
（7）
y new 表示输出结果，包括检测框置信度conf以及坐标
Figure DEST_PATH_IMAGE137
。y ori 表示同一链接内关联的各个检测框的坐标值构成的时间序列。f re ( )表示平滑操作的函数。
完成检测框重估后，对未检测出检测框的错误图像帧，根据前序帧（例如，该前序帧可以是该错误图像帧的前序图像帧，并且是检测出检测框并且最接近该错误图像帧的图像帧）的检测结果保持显示检测框，进而减少检测框闪烁情况。
从而在对图像序列内的各个图像帧的检测框进行修改正后，将当前图像帧中修改正后的检测框的检测框表示显示在当前显示的图像帧上。
从而根据本实施例，神经智能识别模型所涉技术包括：面向手术阶段特点的目标检测算法、视频目标检测修正算法。基于以上系统流程及算法设计，本公开的技术方案可实现对腹腔镜结直肠癌手术术中神经的准确、稳定和实时识别要求。
并且，本公开的技术方案能够解决复杂场景下腹腔镜术中神经准确识别的问题。患者的肥胖程度与腹腔内的脂肪组织分布相关，过多的脂肪组织将隐匿神经、血管等重要组织结构，增加识别难度。手术全程涉及各类复杂操作包括固定、牵拉、分离以及止血等，手术器械、纱布以及出血情况将影响相关组织结构的可视程度。由此可见术中神经识别任务非常困难，本专利需采取针对性设计，使得识别模型可适用于各类场景，具有稳健的效果。
此外，从考虑医生使用体验的角度，本公开的技术方案还能够解决腹腔镜视频识别结果稳定性及实时性需求。实时识别即经处理的手术视频，通过监视器显示后无人眼可感知的掉帧、闪烁情况，对处理速度有所要求；稳定识别则意味着突出显示的位置框在帧间的连续性，在目标位置无明显变化时，定位框的尺寸和位置也无明显变化，减少闪烁和抖动。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种用于腹腔镜结直肠癌手术的神经智能辅助识别系统，所述神经智能辅助识别系统与腹腔镜系统连接，包括：
视频信号转换模块，用于将所述腹腔镜系统形成的电信号转换为视频信号；
视频图像帧抽取模块，用于从所述视频信号获得图像帧，并将当前图像帧与缓存内的前序N张图像帧组成图像序列；
识别模型计算处理模块，用于利用识别模型根据所述图像序列得到当前图像帧中的相关神经的检测框的检测框表示；以及
显示模块，用于显示图像帧，并将所述识别模型输出的结果显示在当前显示的图像帧上；
所述识别模型包括手术阶段识别模型和目标检测模型，其中所述手术阶段识别模型用于识别当前图像帧所属的手术阶段，所述目标检测模型用于根据所述手术阶段识别模型的识别结果自适应选择针对所述的手术阶段的目标检测子模型得到所述检测框表示；
所述识别模型计算处理模块还配置用于利用所述图像序列中目标的连续性变化特点，对所述当前图像帧的目标检测的结果进行修正，并且其中，所述修正的修正算法包括：
建立链接：针对所述图像序列的各个图像帧中的检测框建立链接，其中所述链接包含所述各个图像帧中与指定图像帧中的检测框最佳匹配的检测框；
检测框重估：修正所述链接内的检测框的检测框表示；以及
平滑补充：针对所述图像序列中未检测出检测框的图像帧，将前序帧的检测框的检测框表示作为所述未检测出检测框的图像帧的检测框表示；
所述链接建立包括：通过目标追踪算法或相似性度量方法建立所述图像序列中关联目标的链接，其中所述相似性度量包括以下三个维度的相似性度量：IOU阈值筛选、语义相似性度量和形状相似性度量，其中所述形状相似性度量包括所述图像序列中检测框的尺度以及位置的度量；
所述检测框重估，包括置信度重估和检测框坐标重估，其中
所述置信度重估用于同一链接内检测框的置信度；
所述检测框坐标重估用于将链接内关联的检测框的坐标视为含有噪声的时间序列，并对该时间序列进行平滑噪声的操作；
完成检测框重估后，对未检测出检测框的图像帧，根据前序帧的检测框作为所述未检测出检测框的图像帧中的检测框。
2.如权利要求1所述的系统，其特征在于，还包括：交互触发模块，用于选择是否触发所述神经智能辅助识别系统。
3.如权利要求1所述的系统，其特征在于：所述手术阶段包括从剪开腹膜至解剖肠系膜下血管前、从解剖肠系膜下血管至游离直肠之前和游离直肠这三个手术阶段，并且其中
所述目标检测模型基于YOLOv5模型，并且包括采用不同手术阶段的数据训练得到的对应于所述三个手术阶段的目标检测子模型，并且其中
所述手术阶段识别模型包括：图像特征提取单元、识别分类单元和后处理单元。
4.如权利要求3所述的系统，其特征在于：
所述图像特征提取单元的网络参数与所述目标检测模型中的特征提取单元保持一致，训练时不进行反向梯度传播，并且所述当前图像帧经所述图像特征提取单元提取后表示为多个特征图，作为所述识别分类单元的输入；
所述识别分类单元采用LSTM序列处理模型或树模型根据多维特征向量确定所述当前图像帧所属的手术阶段；并且
所述后处理单元采用以下方法进行后处理，并将后处理的分类结果作为所述当前图像帧最终的手术阶段识别结果：在未识别出所述当前图像帧的手术阶段的情况下，将所述当前图像帧前序的图像帧的手术阶段识别结果作为所述当前图像帧的手术阶段识别结果；以及采用滑动窗口消除所述图像序列中各个图像帧的手术阶段识别结果的波动，并根据实际情况调整所述滑动窗口的大小。
5.如权利要求1所述的系统，其特征在于，所述目标检测模型配置用于：
根据所述手术阶段识别结果，自适应选择相应的目标检测子模型，从而获得所述当前图像帧上相关神经的检测框表示，所述识别模型的表达式如下所示：
Figure 134035DEST_PATH_IMAGE002
其中
Figure 992270DEST_PATH_IMAGE004
是与手术阶段i对应的目标检测子模型i的函数，当输入图片x时，
Figure 807779DEST_PATH_IMAGE005
用 于表示所述当前图像帧中相关神经的检测框坐标，
Figure 485885DEST_PATH_IMAGE007
为与不同的手术阶段对应的阶段系 数，当识别图像所属的手术阶段为第i个手术阶段时，
Figure 124388DEST_PATH_IMAGE009
。
6.如权利要求1所述的系统，其特征在于，
所述修正算法还包括在建立所述链接后，删除未纳入所述链接的检测框，并且其中
所述链接建立的过程如下所示：
对于i时刻图像帧
Figure 837129DEST_PATH_IMAGE011
的第
Figure 354698DEST_PATH_IMAGE013
个选框
Figure 536412DEST_PATH_IMAGE015
，在相邻图像帧
Figure 633681DEST_PATH_IMAGE017
中选择最佳匹配的第
Figure 466508DEST_PATH_IMAGE019
个选框，其中选择过程如下：
Figure 358240DEST_PATH_IMAGE021
其中
Figure 479780DEST_PATH_IMAGE023
,
Figure 630008DEST_PATH_IMAGE025
为根据实际情况设置的IOU阈值；函数s ()和l()分别为语义相似性度量和形状相似性度量，
Figure 317341DEST_PATH_IMAGE027
表示图像帧
Figure 645554DEST_PATH_IMAGE017
中的第
Figure 785548DEST_PATH_IMAGE029
个检 测框，
Figure 693461DEST_PATH_IMAGE031
是与检测框
Figure 986034DEST_PATH_IMAGE033
对应的特征，
Figure 750727DEST_PATH_IMAGE035
是与检测框
Figure 378018DEST_PATH_IMAGE036
对应的特征，并且在所述语义 相似性为余弦相似度的情况下，所述语义相似度根据如下公式计算：
Figure 824043DEST_PATH_IMAGE038
其中R为与
Figure 220389DEST_PATH_IMAGE040
和
Figure 405251DEST_PATH_IMAGE042
对应的特征图区域在二维平面内的坐标的集合，p为与
Figure 519838DEST_PATH_IMAGE044
和
Figure 503974DEST_PATH_IMAGE046
对应的特征图区域在二维平面内的坐标，
Figure 20406DEST_PATH_IMAGE048
和
Figure 126903DEST_PATH_IMAGE050
分别为与坐标p对应的特征向 量，并且其中
所述形状相似性根据如下公式计算：
Figure 932048DEST_PATH_IMAGE052
Figure 267345DEST_PATH_IMAGE054
Figure 903863DEST_PATH_IMAGE056
其中，
Figure 915681DEST_PATH_IMAGE058
和
Figure 942543DEST_PATH_IMAGE060
分别为检测框
Figure 330799DEST_PATH_IMAGE062
和
Figure 71091DEST_PATH_IMAGE064
之 间的尺度相似性函数和位置相似性函数，
Figure 253811DEST_PATH_IMAGE066
和
Figure 33548DEST_PATH_IMAGE068
为检测框
Figure 959915DEST_PATH_IMAGE070
的宽和高，
Figure 39867DEST_PATH_IMAGE072
和
Figure DEST_PATH_IMAGE074
为检测框
Figure DEST_PATH_IMAGE076
的宽和高，
Figure DEST_PATH_IMAGE078
为检测框
Figure DEST_PATH_IMAGE080
的中心的坐标，并且
Figure DEST_PATH_IMAGE082
为检测框
Figure 3275DEST_PATH_IMAGE083
的中心坐标。
7.如权利要求1所述的系统，其特征在于：
所述检测框重估的操作通过以下公式表示：
Figure DEST_PATH_IMAGE085
其中ynew表示输出结果，包括针对同一链接内关联的各个检测框进行重估后的检测框 置信度conf以及坐标
Figure DEST_PATH_IMAGE087
，yori表示同一链接内关联的各个检测框的 坐标值构成的时间序列，fre( )表示平滑操作的函数。
8.如权利要求1所述的系统，其特征在于：还包括对手术视频数据进行如下处理从而获得对所述识别模型进行训练的标注数据：
从手术视频中剪辑提取关键视频片段，其中所述关键视频片段包括以下情况的视频片段：器械及纱布的不同分布情况下的视频片段、患者出血的不同情况下的视频片段以及组织牵拉情况下的视频片段；
按照1s间隔从上述视频片段中抽取相应图像，并采用常规的相似性比对算法去除冗余图像获得图像集；以及
采用LabelImg、Labelme或vott标注软件对图像集进行标注，标注内容包括：视野内神经的检测框、该检测框所表示的神经的复杂度以及图像所属手术阶段。
CN202211098727.9A 2022-09-09 2022-09-09 用于腹腔镜结直肠癌手术的神经智能辅助识别系统 Active CN115187596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211098727.9A CN115187596B (zh) 2022-09-09 2022-09-09 用于腹腔镜结直肠癌手术的神经智能辅助识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211098727.9A CN115187596B (zh) 2022-09-09 2022-09-09 用于腹腔镜结直肠癌手术的神经智能辅助识别系统

Publications (2)

Publication Number Publication Date
CN115187596A CN115187596A (zh) 2022-10-14
CN115187596B true CN115187596B (zh) 2023-02-10

Family

ID=83523938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211098727.9A Active CN115187596B (zh) 2022-09-09 2022-09-09 用于腹腔镜结直肠癌手术的神经智能辅助识别系统

Country Status (1)

Country Link
CN (1) CN115187596B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116269749B (zh) * 2023-03-06 2023-10-10 东莞市东部中心医院 一种改良保留性神经的腹腔镜下膀胱癌手术系统
CN116761075B (zh) * 2023-05-09 2024-05-24 深圳显融医疗科技有限公司 基于内窥镜的图像处理方法、装置、电子设备及存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8083685B2 (en) * 2007-05-08 2011-12-27 Propep, Llc System and method for laparoscopic nerve detection
WO2016014444A1 (en) * 2014-07-21 2016-01-28 ProPep Surgical, LLC System and method for laparoscopic nerve identification, nerve location marking, and nerve location recognition
AU2017339255B2 (en) * 2016-10-05 2022-04-14 Innovative Surgical Solutions, Llc Neural locating and mapping
TWI681752B (zh) * 2018-11-16 2020-01-11 財團法人金屬工業研究發展中心 神經辨識定位方法
US20200187854A1 (en) * 2018-12-14 2020-06-18 Metal Industries Research & Development Centre Method for identifying and locating nerves
CN110021014A (zh) * 2019-03-29 2019-07-16 无锡祥生医疗科技股份有限公司 基于神经网络的神经组织识别方法、系统及存储介质
US20220240852A1 (en) * 2019-05-22 2022-08-04 Dio Corporation Nerve detection method and device
CN110796151A (zh) * 2019-11-18 2020-02-14 付宪伟 一种神经系统影像交互信息处理系统及方法
CN110974306B (zh) * 2019-12-17 2021-02-05 山东大学齐鲁医院 一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统
KR102457585B1 (ko) * 2020-04-10 2022-10-21 (주)휴톰 수술 중 혈관 네비게이션 방법 및 시스템
CN111783520A (zh) * 2020-05-18 2020-10-16 北京理工大学 基于双流网络的腹腔镜手术阶段自动识别方法及装置
US20240087113A1 (en) * 2021-01-19 2024-03-14 Anaut Inc. Recording Medium, Learning Model Generation Method, and Support Apparatus
CN113317874B (zh) * 2021-04-30 2022-11-29 上海友脉科技有限责任公司 一种医学图像处理装置及介质
CN113813053A (zh) * 2021-09-18 2021-12-21 长春理工大学 一种基于腹腔镜内窥影像的手术进程分析方法
CN113888541B (zh) * 2021-12-07 2022-03-25 南方医科大学南方医院 一种腹腔镜手术阶段的图像识别方法、装置及存储介质
CN114372962B (zh) * 2021-12-27 2024-06-18 华南理工大学 基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统
CN114724682B (zh) * 2022-06-08 2022-08-16 成都与睿创新科技有限公司 用于微创手术的辅助决策装置

Also Published As

Publication number Publication date
CN115187596A (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
CN115187596B (zh) 用于腹腔镜结直肠癌手术的神经智能辅助识别系统
Torrents-Barrena et al. Segmentation and classification in MRI and US fetal imaging: recent trends and future prospects
Münzer et al. Content-based processing and analysis of endoscopic images and videos: A survey
Pogorelov et al. Deep learning and hand-crafted feature based approaches for polyp detection in medical videos
CN111655116A (zh) 图像诊断辅助装置、资料收集方法、图像诊断辅助方法及图像诊断辅助程序
KR20210051141A (ko) 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
US20220172828A1 (en) Endoscopic image display method, apparatus, computer device, and storage medium
US10178941B2 (en) Image processing apparatus, image processing method, and computer-readable recording device
JP2016531709A (ja) 疾患を診断するための画像解析技術
CN114299072B (zh) 一种基于人工智能的解剖变异识别提示方法及系统
US20220125280A1 (en) Apparatuses and methods involving multi-modal imaging of a sample
US20130028485A1 (en) Image processing apparatus, image processing method, and computer readable recording device
Amir-Khalili et al. Automatic segmentation of occluded vasculature via pulsatile motion analysis in endoscopic robot-assisted partial nephrectomy video
WO2023095492A1 (ja) 手術支援システム、手術支援方法、及び手術支援プログラム
KR20210052270A (ko) 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
CN109241898A (zh) 腔镜视像的目标定位方法和系统、存储介质
Bejakovic et al. Analysis of Crohn's disease lesions in capsule endoscopy images
JP7493285B2 (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
CN112089438B (zh) 基于二维超声图像的四维重建方法及装置
Song et al. A novel endoscope system for position detection and depth estimation of the ureter
JP7376677B2 (ja) 画像処理システム、内視鏡システム及び内視鏡システムの作動方法
CN116993805A (zh) 面向手术规划辅助的术中剩余器官体积估计系统
KR102619729B1 (ko) 임상 기록 데이터 생성 방법 및 장치
Sadikine et al. Semi-overcomplete convolutional auto-encoder embedding as shape priors for deep vessel segmentation
Zhang et al. A 3D reconstruction based on an unsupervised domain adaptive for binocular endoscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant