CN112201335A - 一种线阵超声内镜下识别腹腔内结构系统及其方法 - Google Patents

一种线阵超声内镜下识别腹腔内结构系统及其方法 Download PDF

Info

Publication number
CN112201335A
CN112201335A CN202010715553.0A CN202010715553A CN112201335A CN 112201335 A CN112201335 A CN 112201335A CN 202010715553 A CN202010715553 A CN 202010715553A CN 112201335 A CN112201335 A CN 112201335A
Authority
CN
China
Prior art keywords
image
neural network
endoscope
images
ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010715553.0A
Other languages
English (en)
Other versions
CN112201335B (zh
Inventor
陈倩倩
郭茂祖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese PLA General Hospital
Beijing University of Civil Engineering and Architecture
Original Assignee
Chinese PLA General Hospital
Beijing University of Civil Engineering and Architecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese PLA General Hospital, Beijing University of Civil Engineering and Architecture filed Critical Chinese PLA General Hospital
Priority to CN202010715553.0A priority Critical patent/CN112201335B/zh
Publication of CN112201335A publication Critical patent/CN112201335A/zh
Application granted granted Critical
Publication of CN112201335B publication Critical patent/CN112201335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Social Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Vascular Medicine (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Graphics (AREA)

Abstract

本发明公开了一种线阵超声内镜下识别腹腔内结构系统,包括操作端、数据分析端和可视化端;操作端:内镜医师按照既定的操作手法使用线阵超声内镜设备获取超声图像,并将图像和操作手法实时上传到所述数据分析端;数据分析端:包括用于接收操作端实时上传的超声图像和操作手法的数据库;还包括基于深度学习的卷积神经网络,所述卷积神经网络用于判断内镜医师的操作手法是否有偏差、分析数据库中的超声图像部位结构是否正确;还包括影像处理模块,所述影像处理模块用于将合格的超声图像组合转化成3D模型图像,并上传到所述可视化端;可视化端:包括用于显示标准图、用于提示错误操作和显示所述3D模型图像的显示屏。

Description

一种线阵超声内镜下识别腹腔内结构系统及其方法
技术领域
本发明属于智慧医学技术领域,涉及一种线阵超声内镜下识别腹腔内结构及操作手法的系统。
背景技术
超声内镜检查(Endoscopic Ultrasonography,EUS)是将微型超声探头安装于内镜顶端,经口插入内镜后在胃、十二指肠内完成腹腔内脏器的实时超声扫查。这属于介入性超声诊断技术。此项技术目前被认为是诊断胰腺病变的“近乎完美”的方法,是一项有前途的内镜技术。EUS包括线阵超声内镜、环扫超声内镜及小探头超声内镜。线阵超声内镜既可用于诊断疾病,亦可用于活组织穿刺取病理辅助诊断以及注射药物进行治疗。
线阵超声内镜能够紧贴胃壁及十二指肠壁,观察管壁层次及其周围的肝脏系统(包括肝脏、肝固有动脉、肝静脉、门静脉、肝管)、胆道系统(胆囊底、体、颈、胆囊管、胆总管)、胰腺系统(胰头、胰颈、胰体、胰尾、主胰管、副胰管)、腹腔血管系统(脾动脉、脾静脉、肠系膜上动脉、肠系膜上静脉、腹主动脉、腹腔干、肾动脉、肾静脉、下腔静脉)、十二指肠乳头、脾脏、肾脏、肾上腺。这对于发现CT或MRI这些影像学检查手段无法发现的胰腺、胆总管的微小肿瘤有不可替代的作用,诊断准确率高。应用EUS进行超级微创治疗某些胰腺病变可避免传统外科手术。
目前超声内镜检查和治疗技术未能在全国各级医院内广泛开展的原因有以下几点:
1、腹腔内脏器结构复杂、操作手法不统一,导致医生在进行超声内镜检查时辨认所属结构犹豫不决以及多次无效重复操作,这会浪费大量时间,增加患者的痛苦;
2、因超声内镜为医师操作时实时解读图片、诊断疾病,无法将图片全部获取后存储供上级医师再次审核,故对操作医师的要求高,但高级医师数量少,无法全程进行操作诊断。
发明内容
本发明所解决的问题是提供了一种超声内镜下识别腹腔内结构系统及其方法,有利于提高内镜医师的诊断准确性。
一种线阵超声内镜下识别腹腔内结构系统,包括操作端、数据分析端和可视化端;
操作端:内镜医师按照既定的操作手法使用线阵超声内镜设备获取超声图像,并将图像和操作手法实时上传到所述数据分析端;
数据分析端:包括用于接收操作端实时上传的超声图像和操作手法的数据库;还包括基于深度学习的卷积神经网络,所述卷积神经网络用于判断内镜医师的操作手法是否有偏差、分析数据库中的超声图像部位结构是否正确;还包括影像处理模块,所述影像处理模块用于将合格的超声图像组合转化成3D模型图像,并上传到所述可视化端;
可视化端:包括用于显示标准图、用于提示错误操作和显示所述3D模型图像的显示屏。
上述技术方案中,更进一步的是,所述卷积神经网络包括训练好的第一神经网络和第二神经网络,所述第一神经网络用于判定内镜医师的操作手法是否有偏差,所述第二神经网络用于识别、判定图像对应的部位的结构。
上述技术方案中,更进一步的是,所述标准图附有人工标注信息,所述标准图包括肝脏系统、胆道系统、胰腺系统、腹腔血管系统、十二指肠乳头、脾脏、肾脏、肾上腺的标准图。与标准图进行比对提高了分析的准确性。
上述技术方案中,更进一步的是,所述数据库包括手法库和结构库,其中所述手法库中的每一个手法与所述结构库中的超声图像一一对应。
一种如所述系统的方法,包括以下几个步骤:
S1:内镜医师按照既定的操作手法,分别在胃内、十二指肠球部及降段按顺序扫查,获取超声图像,在图像中标注影像信息并记录操作手法一一对应的上传到所述数据库中;
S2:将数据库中的图像及其对应的操作手法输入到所述第一神经网络中分析图像的质量及其对应的操作手法是否合格;若不合格则输出到可视化端对内镜医师做出提示;若合格则输入到所述第二神经网络中分析图像中的所属结构;
S3:在提示下修改操作手法重复S2中的步骤;
S4:合格图像转化为3D模型图像。不断增加样本量,不断进行校正,提高准确率。
与现有技术相比,本发明的有益效果是:本发明利用深度学习模型及基于卷积神经网络的深度强化学习模型对于采集的线阵超声内镜图像进行操作提示、判断图片治疗、识别腹腔内部位的所属结构,在操作屏幕上实时提示,加快了操作速度,减少了患者痛苦,增加了诊断的准确性;同时,后期合成3D图像及图像、操作提示信息供上级医师审稿,降低了操作医师的技术要求,有利于全国各级医院广泛开展;一个数据分析端可对应多个操作端及可视化端,减少了成本。
附图说明
图1为本发明所述系统的系统框图。
图2为本发明所述系统的机器学习训练图。
图3为本发明所述系统中的标准图1。
图4为本发明所述系统中的标准图2。
图5为本发明所述系统中的标准图3。
图6为本发明所述系统中的标准图4。
图7为本发明所述系统中的标准图5。
图8为本发明所述系统中的标准图6。
图9为本发明所述系统中的标准图7。
图10为本发明所述系统中的标准图8。
图11为本发明所述系统中的标准图9。
图12为本发明所述系统中的标准图10。
图13为本发明所述系统中的标准图11。
图14为本发明所述系统中的标准图12。
图15为本发明所述系统中的标准图13。
图16为本发明所述系统中的标准图14。
图17为本发明所述系统中的标准图15。
图18为本发明所述系统中的标准图16。
图19为本发明所述系统中的标准图17。
图20为本发明所述系统中的标准图18。
图21为本发明所述系统中的标准图19。
图22为本发明所述系统中的标准图20。
图23为本发明所述系统中的标准图21。
图24为本发明所述系统中的标准图22。
图25为本发明所述系统中的标准图23。
图26为本发明所述系统中的标准图24。
图27为本发明所述系统中的标准图25。
图28为本发明所述系统中的标准图26。
图29为本发明所述系统中的标准图27。
图30为本发明所述系统中的标准图28。
图31为本发明所述系统中的标准图29。
图32为本发明所述系统中的标准图30。
具体实施方式
以下实施例结合附图对本发明进一步描述。
操作端是指线阵超声内镜设备,首次,医生按照既定的操作手法依次获取肝脏系统(包括肝脏、肝固有动脉、肝静脉、门静脉、肝管)、胆道系统(胆囊底、体、颈、胆囊管、胆总管)、胰腺系统(胰头、胰颈、胰体、胰尾、主胰管、副胰管)、腹腔血管系统(脾动脉、脾静脉、肠系膜上动脉、肠系膜上静脉、腹主动脉、腹腔干、肾动脉、肾静脉、下腔静脉)、十二指肠乳头、脾脏、肾脏、肾上腺的标准图及其操作手法,如图2—32;分别输入到训练好的第一神经网络和第二神经网络中,作为标准图对比;
内镜医师的能力不同,即使按照既定的操作手法,得到的图像会有偏差;在实施过程中,内镜医师依次在胃内、十二指肠球部及降段按顺序扫查,获取超声图像并人工记录下每个超声图像的操作手法,一一对应的将图像和操作手法上传到数据库中。
本实施例至少包括一个操作端,每个操作端有独立的图像或信息输出、输入模块,通过探头输入,再由串口输出到数据分析端,但共用一个数据分析端。既定操作手法及获得标准图像(Yamao K , Irisawa A , Inoue H , et al. STANDARD IMAGING TECHNIQUESOF ENDOSCOPIC ULTRASOUND-GUIDED FINE-NEEDLE ASPIRATION USING A CURVED LINEARARRAY ECHOENDOSCOPE[J]. Dig Endosc, 2007, 19(s1):S180-S205.)如下:
第一,在胃内扫查,标准图(1)患者左侧卧位,插镜至胃贲门处,此时内镜通过横隔后可见肝左叶及肝左静脉。标准图(2)右旋镜身可看见腹主动脉,继续进镜时可见腹腔干和肠系膜上动脉;注意腹腔干和SMA可以不同时出现。标准图(3)稍进镜和右旋镜身可动态观察胰体和胰尾;注脾动脉靠近探头而脾静脉位于较远处。标准图(4,5,6)以脾静脉为标记物显示脾脏,右旋镜身并稍后退镜身可看见胰尾、左肾及肾上腺。观察到左肾(标准图4),观察到肾上腺(标准图5),进一步旋转可观察胰腺直至脾门(标准图6)。标准图(7,8,9)在明确脾门后,进镜并一点一点左旋镜身可观察胰尾至胰体,注此时为胰尾至胰体应连续观察。标准图(10)以脾静脉为标记物,左旋并进镜见肠系膜上静脉、脾静脉和门脉的汇合处,在该位置可看见部分胰头。标准图(11)在门脉汇合处左旋镜身,可见胰头和胰体结合处、主胰管和胆管。标准图(12,13)当沿脾静脉寻找其与门脉汇合处有困难时:在胃体显示肠系膜上动脉后,左旋镜身可见肠系膜上静脉,其走行与肠系膜上动脉平行(标准图12);操控内镜使在长轴方向观察肠系膜上静脉,随后逐步退镜可看见其与门脉主干的汇合处(标准图13)。标准图(14)显示门脉主干后,退镜追踪门脉直至肝脏,可以观察肝门部。标准图(15)进一步向前推镜,可在胃窦部看见胆囊。标准图(16,17,18)从肝门部的位置退镜,可显示左右肝管,左旋镜身有时可将右肝管移向底部,右旋有时可看见左肝管,并可见门静脉及其左右支。
第二,十二指肠球部扫查,标准图(19)插镜至十二指肠球部,左旋镜身可看见胆囊,胆囊颈部位于图像左侧,胆囊底部位于右侧。标准图(20)右旋镜身可看见3个管状结构,门脉、胆管和肝总动脉。标准图(21)稍进镜并左旋镜身,可看见门脉、胆管和右肝动脉。标准图(22)右旋镜身,追踪胆管至乳头,可看见乳头附近的胆管和主胰管。标准图(23)继续显示门脉直至门脉、脾静脉和肠系膜上静脉的汇合处,同时可在十二指肠侧看见胰头和胰体。标准图(24)左旋镜身可看见胰头和胰体。
第三,十二指肠降部扫查,将内镜插入十二指肠下降部并将其拉直。标准图(25)右旋镜身可见主动脉和下腔静脉。标准图(26)退镜可见主动脉呈线性与图像平行,胰头位于腹主动脉与探头之间。标准图(27)观察胰腺实质时进一步退镜,可显示探头附近的低回声及高回声区域,腹侧胰腺(低回声)和背侧胰腺(高回声)有明显的分界线。标准图(28)稍稍右旋和左旋镜身可在低回声区域内看见两个管状结构,胆管靠近探头,主胰管位于较远处;注:要仔细观察乳头,需在十二指肠内注入去泡水。标准图(29)稍稍右旋和左旋镜身,可进一步显示肠系膜上静脉和肠系膜上动脉。标准图(30)在十二指肠降部有时可看见右肾。
数据分析端,包括有数据库,数据库中包括有手法库和结构库,手法库中存有内镜医师在做内镜的操作手法;结构库中存有内镜医师在做内镜时获取的内镜图像;每个内镜图像和每个操作手法一一对应;
具体的,操作手法包括有内镜探头的移动方向和旋转角度变化;
还包括基于深度学习的卷积神经网络,卷积神经网络包括有已经训练好的第一神经网络和第二神经网络,第一神经网络用来判定超声图像的质量是否清晰,无大量气体掩盖图像;若图像合格,则输入到第二神经网络中,第二神经网络是用来识别图像中的部位结构,例如,识别图像的出现的是肝脏系统或十二指肠乳头;
数据分析端,还包括有强化学习模型,强化学习模型对应相应操作下标准图谱中所属结构的信息,在电脑服务器中预先配置探头移动及角度变化的控制指令,建立控制指令与人体腹腔内结构的对应指令;边操作边可在屏幕上获得所需静态图像内腹腔脏器结构的文字信息,实时指导操作者修正操作。若系统判断有操作手法偏差,可于屏幕上显示错误提示。动态图像可储存转化为静态图片后,最终合成的3D模型图反馈至电脑图片存储设备中;以便上级医生读片修正诊断;
如图2所示,为包括用于判断超声内镜图像是否合格的图片库训练模型和判断所属结构的部位信息的部位库训练模型。模型可选用VGG-16或Resnet-50或DenseNet,采用Python语言开发,封装成RESTful API(REST风格的网络接口)后被其他模块调用。第一神经网络和第二神经网络是基于卷积神经网络模型的训练的,过程要构建一个马尔科夫决策过程,卷积神经网络模型用于图像识别领域为常规技术手段,在此不再复述;
深度学习模型需要一个样本数据库,样本数据库,请见图2。包括标准图片库、所属结构判断库以及手法记录库。在样本库中,每一个手法对应每一个标准图,并在标准图内标注腹腔内结构的图示。腹腔内脏器包含的结构名称包括:肝脏系统(包括肝脏、肝固有动脉、肝静脉、门静脉、肝管)、胆道系统(胆囊底、体、颈、胆囊管、胆总管)、胰腺系统(胰头、胰颈、胰体、胰尾、主胰管、副胰管)、腹腔血管系统(脾动脉、脾静脉、肠系膜上动脉、肠系膜上静脉、腹主动脉、腹腔干、肾动脉、肾静脉、下腔静脉)、十二指肠乳头、脾脏、肾脏、肾上腺。合格图像需满足影像质量合格,包括图像显示清晰、无大量气体掩盖图像,且为腹腔内所属结构的标准图。不合格图像可于可视化端显示提醒操作者。合格图像进一步输入电脑进行深度学习;并通过不断增加样本量来校正以提高验证准确率,进而输入到卷积神经模型进行深度学习。
可视化端:包括实时操作屏幕显示脏器文本信息及错误操作提示;最终电脑显示3D模型图以及操作指导方案。首先获得的合格超声图像经过数据分析端的深度学习后,判断图像是否清晰完整,是否能够提供有价值的标准图内所属结构信息,若分析操作过程中发现错误,于操作屏幕上显示相应的错误提示及操作指导,以反馈于操作端修正,直至获得合格超声图像,并于操作屏幕上所属结构的部位的文字提示。其次,待所有合格图像收集后进一步输入数据分析端,进行下一步深度学习,并合成3D模型图。绘制腹腔内机构3D模型图单元,首先,获取一段连续的超声内镜图像,均匀采样后经过深度学习模型挑选出最有判别力的图像,即标准图像;其次,后将所有图像送入一个图卷积神经网络中,充分判断所属层次结构。再次,组合图像构成3D模型。
本发明的方法所采用的技术方案是:包括以下步骤:
步骤一:内镜医师操作按照既定操作手法操作线阵超声内镜,分别在胃内、十二指肠球部及降段按顺序扫查,获得标准超声内镜结构影像,实时上传至电脑数据分析端;
步骤二:数据分析端的数据库中存储采集影像,输入到第一神经网络进行分析,内容包括超声图像质量、结构是否对应操作手法,若不合格,分析操作错误原因。若分析内容合格则输入至第二神经网络,进一步判断结构,输入到强化学习模型中,对识别结果进行最终决策,用于输出;另外,合格的影像将实时存储进行影像处理用于后期合成3D模型并输出;
步骤三:操作屏幕实时输出信息,包括操作错误提示和影像内所属腹腔内结构的名称。内镜医师接受实时反馈后及时修正操作,重新进行影像采集直至获得合格影像后,再次通过第一神经网络、第二神经网络、强化学习模型;
步骤四:3D电脑输出信息,内镜医师将于存储影像的电脑上获得腹腔内结构的3D模型图以及操作指导方案。
本发明的实现将提高医师的诊断准确性,缩短检查时间以减少患者的痛苦,为未来的教学、学术交流以及大数据分析提供了信息化基础。这一项目的实现将推动超声检查术在全国各级医院的广泛应用,是广大患者获益。
可以理解的是,本说明书中未详细阐述的部分均属于现有技术。
本发明不限于上述实施例,对于本领域的普通技术人员来说,可以根据本发明的技术构思作出其他相应的改变或替换,这些均落入本发明的保护范围内。

Claims (5)

1.一种线阵超声内镜下识别腹腔内结构系统,其特征在于,包括操作端、数据分析端和可视化端;
操作端:内镜医师按照既定的操作手法使用线阵超声内镜设备获取超声图像,并将图像和操作手法实时上传到所述数据分析端;
数据分析端:包括用于接收操作端实时上传的超声图像和操作手法的数据库;还包括基于深度学习的卷积神经网络,所述卷积神经网络用于判断内镜医师的操作手法是否有偏差、分析数据库中的超声图像部位结构是否正确;还包括影像处理模块,所述影像处理模块用于将合格的超声图像组合转化成3D模型图像,并上传到所述可视化端;
可视化端:包括用于显示标准图、用于提示错误操作和显示所述3D模型图像的显示屏。
2.根据权利要求1所述的一种线阵超声内镜下识别腹腔内结构系统,其特征在于,所述卷积神经网络包括训练好的第一神经网络和第二神经网络,所述第一神经网络用于判定内镜医师的操作手法是否有偏差,所述第二神经网络用于识别、判定图像对应的部位的结构。
3.根据权利要求1所述的一种线阵超声内镜下识别腹腔内结构系统,其特征在于,所述标准图附有人工标注信息,所述标准图包括肝脏系统、胆道系统、胰腺系统、腹腔血管系统、十二指肠乳头、脾脏、肾脏、肾上腺的标准图。
4.根据权利要求1所述的一种线阵超声内镜下识别腹腔内结构系统,其特征在于,所述数据库包括手法库和结构库,其中所述手法库中的每一个手法与所述结构库中的超声图像一一对应。
5.一种如权利要求1所述系统的方法,其特征在于,包括以下几个步骤:
S1:内镜医师按照既定的操作手法,分别在胃内、十二指肠球部及降段按顺序扫查,获取超声图像,在图像中标注影像信息并记录操作手法一一对应的上传到所述数据库中;
S2:将数据库中的图像及其对应的操作手法输入到所述第一神经网络中分析图像的质量及其对应的操作手法是否合格;若不合格则输出到可视化端对内镜医师做出提示;若合格则输入到所述第二神经网络中分析图像中的所属结构;
S3:在提示下修改操作手法重复S2中的步骤得到合格图像;
S4:合格图像转化为3D模型图像。
CN202010715553.0A 2020-07-23 2020-07-23 一种线阵超声内镜下识别腹腔内结构系统及其方法 Active CN112201335B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010715553.0A CN112201335B (zh) 2020-07-23 2020-07-23 一种线阵超声内镜下识别腹腔内结构系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010715553.0A CN112201335B (zh) 2020-07-23 2020-07-23 一种线阵超声内镜下识别腹腔内结构系统及其方法

Publications (2)

Publication Number Publication Date
CN112201335A true CN112201335A (zh) 2021-01-08
CN112201335B CN112201335B (zh) 2023-05-26

Family

ID=74006520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010715553.0A Active CN112201335B (zh) 2020-07-23 2020-07-23 一种线阵超声内镜下识别腹腔内结构系统及其方法

Country Status (1)

Country Link
CN (1) CN112201335B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344926A (zh) * 2021-08-05 2021-09-03 武汉楚精灵医疗科技有限公司 胆胰超声图像识别方法、装置、服务器及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102711247A (zh) * 2012-07-06 2012-10-03 济南大学 一种免锚节点的三维无线传感器网络物理定位方法
CN107274402A (zh) * 2017-06-27 2017-10-20 北京深睿博联科技有限责任公司 一种基于胸部ct影像的肺结节自动检测方法及系统
CN108695001A (zh) * 2018-07-16 2018-10-23 武汉大学人民医院(湖北省人民医院) 一种基于深度学习的癌症病灶范围预测辅助系统及方法
US20190012432A1 (en) * 2017-07-05 2019-01-10 General Electric Company Methods and systems for reviewing ultrasound images
CN109447987A (zh) * 2018-11-28 2019-03-08 武汉大学人民医院(湖北省人民医院) 基于深度学习的肠镜下溃疡性结肠炎辅助诊断系统及方法
WO2019072827A1 (en) * 2017-10-11 2019-04-18 Koninklijke Philips N.V. INTELLIGENT MONITORING OF ULTRASONIC FERTILITY
KR20190040626A (ko) * 2017-10-11 2019-04-19 알레시오 주식회사 초음파 영상을 실사 영상으로 변환하는 방법 및 그 장치
CN110070576A (zh) * 2019-04-29 2019-07-30 成都思多科医疗科技有限公司 一种基于深度学习网络的超声采图智能定位方法和系统
WO2019245009A1 (ja) * 2018-06-22 2019-12-26 株式会社Aiメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
CN110807829A (zh) * 2019-11-05 2020-02-18 张东海 一种基于超声成像构建三维心脏模型的方法
CN111415404A (zh) * 2020-03-16 2020-07-14 广州柏视医疗科技有限公司 术中预设区域的定位方法、装置、存储介质及电子设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102711247A (zh) * 2012-07-06 2012-10-03 济南大学 一种免锚节点的三维无线传感器网络物理定位方法
CN107274402A (zh) * 2017-06-27 2017-10-20 北京深睿博联科技有限责任公司 一种基于胸部ct影像的肺结节自动检测方法及系统
US20190012432A1 (en) * 2017-07-05 2019-01-10 General Electric Company Methods and systems for reviewing ultrasound images
WO2019072827A1 (en) * 2017-10-11 2019-04-18 Koninklijke Philips N.V. INTELLIGENT MONITORING OF ULTRASONIC FERTILITY
KR20190040626A (ko) * 2017-10-11 2019-04-19 알레시오 주식회사 초음파 영상을 실사 영상으로 변환하는 방법 및 그 장치
WO2019245009A1 (ja) * 2018-06-22 2019-12-26 株式会社Aiメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
CN108695001A (zh) * 2018-07-16 2018-10-23 武汉大学人民医院(湖北省人民医院) 一种基于深度学习的癌症病灶范围预测辅助系统及方法
CN109447987A (zh) * 2018-11-28 2019-03-08 武汉大学人民医院(湖北省人民医院) 基于深度学习的肠镜下溃疡性结肠炎辅助诊断系统及方法
CN110070576A (zh) * 2019-04-29 2019-07-30 成都思多科医疗科技有限公司 一种基于深度学习网络的超声采图智能定位方法和系统
CN110807829A (zh) * 2019-11-05 2020-02-18 张东海 一种基于超声成像构建三维心脏模型的方法
CN111415404A (zh) * 2020-03-16 2020-07-14 广州柏视医疗科技有限公司 术中预设区域的定位方法、装置、存储介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344926A (zh) * 2021-08-05 2021-09-03 武汉楚精灵医疗科技有限公司 胆胰超声图像识别方法、装置、服务器及存储介质
CN113344926B (zh) * 2021-08-05 2021-11-02 武汉楚精灵医疗科技有限公司 胆胰超声图像识别方法、装置、服务器及存储介质

Also Published As

Publication number Publication date
CN112201335B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
US8509877B2 (en) Endoscope insertion support system and endoscope insertion support method
US8049777B2 (en) Insertion support system for specifying a location of interest as an arbitrary region and also appropriately setting a navigation leading to the specified region
US9603508B2 (en) Method for capturing and displaying endoscopic maps
US10198872B2 (en) 3D reconstruction and registration of endoscopic data
US7659912B2 (en) Insertion support system for producing imaginary endoscopic image and supporting insertion of bronchoscope
US7929014B2 (en) Insertion support system
CN100377685C (zh) 医疗处理系统、内窥镜系统、内窥镜插入操作程序及内窥镜装置
US7480398B2 (en) Method of registering a sequence of 2D image data with 3D image data
CN108140242A (zh) 视频摄像机与医学成像的配准
CN109219384A (zh) 内窥镜图像与超声图像的基于图像的融合
WO2004028375A1 (ja) 超音波診断装置
CN111588464A (zh) 一种手术导航方法及系统
CN113197665A (zh) 一种基于虚拟现实的微创外科手术模拟方法、系统
CN112201335B (zh) 一种线阵超声内镜下识别腹腔内结构系统及其方法
US20080146933A1 (en) Ultrasonic image and visualization aid
Wegner et al. Evaluation and extension of a navigation system for bronchoscopy inside human lungs
CN101849842A (zh) 一种执行三维心脏超声虚拟内窥镜检查术的方法
JP5226244B2 (ja) 医用ガイドシステム
CN115919461B (zh) 一种基于slam的手术导航方法
CN111466952A (zh) 一种超声内镜与ct三维图像实时转化方法和系统
CN115844317A (zh) 消化内镜可视化方法、系统及设备
JP4700434B2 (ja) 超音波診断装置
Gong et al. Real-time camera localization during robot-assisted telecystoscopy for bladder cancer surveillance
JP2005131318A (ja) 挿入シミュレーション装置
CN116245831B (zh) 一种基于双模态成像的肿瘤治疗辅助方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant