CN112402013A - 自动识别超声影像的智能导航系统、电子装置及储存介质 - Google Patents

自动识别超声影像的智能导航系统、电子装置及储存介质 Download PDF

Info

Publication number
CN112402013A
CN112402013A CN202011316545.5A CN202011316545A CN112402013A CN 112402013 A CN112402013 A CN 112402013A CN 202011316545 A CN202011316545 A CN 202011316545A CN 112402013 A CN112402013 A CN 112402013A
Authority
CN
China
Prior art keywords
ultrasonic
image
processing system
mechanical arm
uterus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011316545.5A
Other languages
English (en)
Inventor
胡颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202011316545.5A priority Critical patent/CN112402013A/zh
Publication of CN112402013A publication Critical patent/CN112402013A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种自动识别超声影像的智能导航系统，超声探测元件接收到AI处理系统指令，对正常解剖位置或异常子宫图像进行视频特征的采集、学习和存储；AI处理系统将超声探测元件采集的各类数据进行分析和处理；AI处理系统将处理后的数据转换成驱动、控制信号；AI处理系统映射驱动、控制信号与多角度机械臂，控制多角度移动的机械臂进行多方位移动，且自动调节超声探测原件的扫查方向，寻找到子宫的标准影像及位置后进行定位，提升识别精度到临床医学要求。最终返回可控制机械臂动作的信号和辅助医生诊断的关键信息，通过AI对超声影像的识别、分析、处理，转换成信号，机械臂控制超声探测原件对子宫移动进行追踪。

Description

自动识别超声影像的智能导航系统、电子装置及储存介质
技术领域
本发明涉及医用设备领域，特别涉及一种自动识别超声影像的智能导航系统、电子装置及储存介质。
背景技术
现有技术中，为了降低宫腔手术风险，通常医院利用超声进行术中监视。常用的超声监视方法有两种：
第一、用腹部超声进行手术监视；这需要一名超声医生辅助。另外由于子宫的解剖位置是位于膀胱的下方，如果膀胱未充盈，子宫上方的肠管会覆盖子宫，无法得到清晰的超声影像。因此腹部超声进行手术监视，膀胱需在充盈的状态下进行。而宫腔手术为了避免损伤膀胱，则需将膀胱排空。因此腹部超声监视宫腔手术效果不佳，仍存在手术风险。
第二、高频腔内超声监视宫腔手术：2005年8月17日授权公告的实用新型专利“女性计划生育手术B型超声监测仪”，(专利号200420012332.3)。公开了一种将超声仪的高频腔内探头与阴道窥器卡接。将腔内超声探头固定在窥器上以后，手术时与阴道窥器同时进入阴道，放置在后穹窿/前穹窿。患者无需充盈膀胱，并且具有不占用手术空间、探头频率高距离子宫近，图像清晰的特点。然而由于超声影像只是个切面图，无法显示子宫全貌，这需要医生在手术的过程中不断地调整超声探测原件(超声探头)的扫查方向。寻找子宫及宫内手术目标，来判断手术的安全性。更要说明的是，在宫腔手术中的子宫是活动的，在手术中会随着医生手术器械的活动而改变位置，其活动的范围成前后、左右各180°范围。由于每个手术医生的手法不同，摆动超声探测原件(超声探头)的方法不标准，术中超声探测原件(超声探头)无法探测到子宫及手术器械的准确位置。尤其在行宫腔镜手术时，手术医生需双手进行手术操作，无法一人在术中既要进行手术操作，又要调节超声探测原件的扫查方向。
近年来，AI技术被应用在各行各业，智能机械臂运用广泛。在传统医疗领域，NLR语义识别和OCR文字识别以及图像视频识别等需求越来越多。智能识别超声影像也在不断的运用于超声诊断中。同时利用各种影像定位、导航进行脏器的穿刺也运用于临床。而远程超声机器人技术也运用于远程操控超声探测原件(超声探头)，能够实现全自动实时远程超声诊断。
但以上技术均基于受检者或手术的目标脏器在检查及术中不会发生位移的前提下进行。而由于子宫是个活动性脏器，在术中子宫会根据手术器械在宫内的移动而不断地改变位置并发生位移。因此以上技术无法解决由于术中子宫位置的变化而导致子宫超声影像丢失，无法对宫腔手术中的超声影像进行动态追踪、识别、判断，手术危险仍然存在的问题。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的主要目的在于提供一种自动识别超声影像的智能导航系统、电子装置及储存介质，将不同解剖位置的子宫影像进行快速采集，将AI处理系统对图像特征的提取、处理后的信息转换成驱动、控制信号，通过内部传输/或有线/无线通讯传输，进而驱动、控制多角度/多自由度移动的机械臂进行多方位转动。
为实现上述目的，本发明提供一种电子装置，该电子装置包括存储器、处理器及与存储器、处理器通过电信号驱动控制的多角度机械臂，存储器上存储有可在处理器上运行的自动识别超声影像的智能导航系统，自动识别超声影像的智能导航系统被处理器执行时实现如下步骤：
数据采集步骤：
超声探测元件接收到AI处理系统指令，对正常解剖位置或异常子宫图像进行视频特征的采集、学习和存储；
数据处理步骤：
AI处理系统将超声探测元件采集的各类数据进行分析和处理；
数据转换步骤：
AI处理系统将处理后的数据转换成驱动、控制信号；
映射驱动步骤：
AI处理系统映射驱动、控制信号与多角度机械臂，控制多角度移动的机械臂进行多方位移动，且自动调节超声探测原件的扫查方向，寻找到子宫的标准影像及位置后进行定位。
在其中一个实施例中，当术中子宫位置发生位移，AI处理系统将扑捉到的子宫丢失的超声图像，再次进行分析、处理，并将处理后的信息，再次转换成驱动、控制信号，并再次驱动、控制多角度移动的机械臂进行多方位移动，调节超声探测原件的扫查方向，当识别到标准子宫声像图后定位，且可根据不同手术类型的不同切面来自动处理和调节捕捉到的超声图像。
在其中一个实施例中，超声探测仪包括伸向床边的多角度移动的机械臂，多角度移动的机械臂位于医生工作面上、下方或侧方。
在其中一个实施例中，超声影像采集系统、AI处理系统，可布置在超声探测仪内部，且本超声探测元件接收到AI处理系统指令的过程还可结合远程操作来实施，例如，通过5G、蓝牙或其他不同类型的有有线或无线频段，来实施远程操控。
一种自动识别超声影像的智能导航系统，自动识别超声影像的智能导航系统运行步骤包括：
超声探测元件接收到AI处理系统指令，对正常解剖位置或异常子宫图像进行视频特征的采集、学习和存储；
AI处理系统将超声探测元件采集的各类数据进行分析和处理；
AI处理系统将处理后的数据转换成驱动、控制信号；
AI处理系统映射驱动、控制信号与多角度机械臂，控制多角度移动的机械臂进行多方位移动，且自动调节超声探测原件的扫查方向，寻找到子宫的标准影像及位置后进行定位.
在其中一个实施例中，AI处理系统为采用OpenCV图像处理软件编写包含缩放、抠图、色域转换、边处理、画框写文字等方法的图像算法，取其中置信度最高的图像预处理结果进入模型进行训练，
将宫腔手术超声实际影像/视频进行模型训练，再通过算子设计和Yolov3模型结构调整，来提升识别精度到临床医学要求。最终返回可控制机械臂动作的信号和辅助医生诊断的关键信息。
在其中一个实施例中，超声探测仪包括伸向床边的多角度移动的机械臂，多角度移动的机械臂位于医生工作面上、下方或侧方。
在其中一个实施例中，超声影像采集系统、AI处理系统，可布置在超声探测仪内部。
在其中一个实施例中，当术中子宫位置发生位移，AI处理系统将扑捉到的子宫丢失的超声图像，再次进行分析、处理，并将处理后的信息，再次转换成驱动、控制信号，并再次驱动、控制多角度移动的机械臂进行多方位移动，调节超声探测原件的扫查方向，当识别到标准子宫声像图后定位。
一种计算机可读存储介质，计算机可读存储介质上存储有自动识别超声影像的智能导航系统，自动识别超声影像的智能导航系统被处理器执行时实现如上述自动识别超声影像的智能导航系统的运行步骤。
本发明的有益效果如下：
超声影像/视频采集系统可通过超声探测原件，将子宫影像/视频信息进行快速采集。AI分析/核心处理系统将这些超声探测原件采集到的子宫影像/视频信息进行快速分析、识别、处理。再将AI分析/核心处理系统对子宫影像/视频处理的信息转换成驱动、控制信号，进而通过内部传输系统、有线或无线通讯来驱动、控制多角度/多自由度移动机械臂，使机械臂自主的、准确的调整探测原件的扫查方向，使医生在有效的超声影像/视频指引下进行宫腔手术。
解决了无需医生在手术中再来摆动超声探测原件，确保手术医生的操作能与超声影像/视频同步，做到实时跟踪子宫及手术器械的位置，使位于宫内的手术器械始终保持在医生的视野中。节省人力、提高工作效率、确保手术的安全性
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明中的自动识别超声影像的智能导航系统各运行步骤示意图。
图2为本发明中的自动识别超声影像的智能导航系统与存储器、处理器及网络接口连接示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。
基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示(例如上、下、左、右、前、后……)仅用于解释在某一特定状态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或一体成型；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
另外，本发明中各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提供一种自动识别超声影像的智能导航系。请参阅图1，是本发明用于自动识别超声影像的智能导航系较佳实施例的运行环境示意图。
在本实施例中，所述的自动识别超声影像的智能导航系12安装并运行于电子装置1中。
该电子装置1是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。所述电子装置1可以是计算机、也可以是单个网络服务器、多个网络服务器组成的服务器组或者基于云计算的由大量主机或者网络服务器构成的云，其中云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机，在本技术方案中，为一种实施麻醉的注射泵。
在本实施例中，电子装置1可包括，但不仅限于，可通过系统总线相互通信连接的存储器11、处理器12以及网络接口13，存储器11存储有可在处理器12上运行的麻醉智能辅助控制系统12。需要指出的是，图1仅示出了具有组件11-13的电子装置1，但是应当理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，存储器11包括内存及至少一种类型的可读存储介质。内存为电子装置1的运行提供缓存；可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器11(例如，SD或DX存储器11等)、随机访问存储器11(RAM)、静态随机访问存储器11(SRAM)、只读存储器11(ROM)、电可擦除可编程只读存储器11(EEPROM)、可编程只读存储器11(PROM)、磁性存储器11、磁盘、光盘等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子装置1的内部存储单元，例如该电子装置1的硬盘；在另一些实施例中，该非易失性存储介质也可以是电子装置1的外部存储设备，例如电子装置1上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。本实施例中，存储器11的可读存储介质通常用于存储安装于电子装置1的操作系统和各类应用软件，例如存储本发明一实施例中的麻醉智能辅助控制系统12等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器12在一些实施例中可以是中央处理器12(Central Processing Unit，CPU)、控制器、微控制器、微处理器12、或其他数据处理芯片。该处理器12常用于控制所述电子装置1的总体操作，例如执行与所述其他设备进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如麻醉智能辅助控制系统12等。
所述网络接口13可包括无线网络接口13或有线网络接口13，该网络接口13通常用于在所述电子装置11与其他电子设备之间建立通信连接。
自动识别超声影像的智能导航系12包括至少一个存储在所述存储器11中的计算机可读指令，至少一个计算机可读指令可被所述处理器12执行，以实现本发明的各实施例。
实施例1：
参照图1～图2，一种电子装置，该电子装置包括存储器、处理器及与存储器、处理器通过电信号驱动控制的多角度机械臂，存储器上存储有可在处理器上运行的自动识别超声影像的智能导航系统，自动识别超声影像的智能导航系统被处理器执行时实现如下步骤：
数据采集步骤：
超声探测元件接收到AI处理系统指令，对正常解剖位置或异常子宫图像进行视频特征的采集、学习和存储；
数据处理步骤：
AI处理系统将超声探测元件采集的各类数据进行分析和处理；
数据转换步骤：
AI处理系统将处理后的数据转换成驱动、控制信号；
映射驱动步骤：
AI处理系统映射驱动、控制信号与多角度机械臂，控制多角度移动的机械臂进行多方位移动，且自动调节超声探测原件的扫查方向，寻找到子宫的标准影像及位置后进行定位。
参照图1～图2，优选地，当术中子宫位置发生位移，AI处理系统将扑捉到的子宫丢失的超声图像，再次进行分析、处理，并将处理后的信息，再次转换成驱动、控制信号，并再次驱动、控制多角度移动的机械臂进行多方位移动，调节超声探测原件的扫查方向，当识别到标准子宫声像图后定位，且可根据不同手术类型的不同切面来自动处理和调节捕捉到的超声图像。
参照图1～图2，优选地，超声探测仪包括伸向床边的多角度移动的机械臂，多角度移动的机械臂位于医生工作面上、下方或侧方。
参照图1～图2，优选地，超声影像采集系统、AI处理系统，可布置在超声探测仪内部，且本超声探测元件接收到AI处理系统指令的过程还可结合远程操作来实施，例如，通过5G、蓝牙或其他不同类型的有有线或无线频段，来实施远程操控。
一种自动识别超声影像的智能导航系统，自动识别超声影像的智能导航系统运行步骤包括：
超声探测元件接收到AI处理系统指令，对正常解剖位置或异常子宫图像进行视频特征的采集、学习和存储；
AI处理系统将超声探测元件采集的各类数据进行分析和处理；
AI处理系统将处理后的数据转换成驱动、控制信号；
AI处理系统映射驱动、控制信号与多角度机械臂，控制多角度移动的机械臂进行多方位移动，且自动调节超声探测原件的扫查方向，寻找到子宫的标准影像及位置后进行定位.
参照图1～图2，优选地，AI处理系统为采用OpenCV图像处理软件编写包含缩放、抠图、色域转换、边处理、画框写文字等方法的图像算法，取其中置信度最高的图像预处理结果进入模型进行训练，
将宫腔手术超声实际影像/视频进行模型训练，再通过算子设计和Yolo v3模型结构调整，来提升识别精度到临床医学要求。最终返回可控制机械臂动作的信号和辅助医生诊断的关键信息。
参照图1～图2，优选地，超声探测仪包括伸向床边的多角度移动的机械臂，多角度移动的机械臂位于医生工作面上、下方或侧方。
参照图1～图2，优选地，超声影像采集系统、AI处理系统，可布置在超声探测仪内部。
参照图1～图2，优选地，当术中子宫位置发生位移，AI处理系统将扑捉到的子宫丢失的超声图像，再次进行分析、处理，并将处理后的信息，再次转换成驱动、控制信号，并再次驱动、控制多角度移动的机械臂进行多方位移动，调节超声探测原件的扫查方向，当识别到标准子宫声像图后定位。
一种计算机可读存储介质，计算机可读存储介质上存储有自动识别超声影像的智能导航系统，自动识别超声影像的智能导航系统被处理器执行时实现如上述自动识别超声影像的智能导航系统的运行步骤。
本发明的工作原理如下：
本专利设计一种基于AI图像识别的宫腔手术超声监视整体解决方案。通过控制持超声探测原件的机械臂，对子宫影像进行动态影像/视频识别和辅助判断，方案具备高精度，鲁棒性和自适应性等特点，准确率可达医学要求99.9％。
首先通过子宫超声影像/视频导入到AI终端，利用OpenCV图像处理软件，编写包含缩放、抠图、色域转换、边处理、画框写文字等方法的图像算法，取其中置信度最高的图像预处理结果进入模型进行训练，将宫腔手术超声实际影像/视频进行模型训练，再通过算子设计和Yolo v3模型结构调整，来提升识别精度到临床医学要求。最终返回可控制机械臂动作的信号和辅助医生诊断的关键信息。
通过AI对超声影像/视频的识别、分析、处理，将AI处理后的信息转换成信号，机械臂控制超声探测原件(超声探头)对子宫移动进行追踪。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必倡的通用硬件平台的方式来实现，当然也可以通过硬件来实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上参照附图说明了本发明的优选实施例，并非因此局限本发明的权利范围。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。另外，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明，比如作为一个实施例的特征可用于另一实施例而得到又一实施例。凡在运用本发明的技术构思之内所作的任何修改、等同替换和改进，均应在本发明的权利范围之内。

Claims (10)

1.一种电子装置，其特征在于，电子装置包括存储器、处理器及与存储器、处理器通过电信号驱动控制的多角度机械臂，存储器上存储有可在处理器上运行的自动识别超声影像的智能导航系统，自动识别超声影像的智能导航系统被处理器执行时实现如下步骤：
S1、数据采集步骤：
超声探测元件接收到AI处理系统指令，对正常解剖位置或异常子宫图像进行视频特征的采集、学习和存储；
S2、数据处理步骤：
AI处理系统将超声探测元件采集的各类数据进行分析和处理；
S3、数据转换步骤：
AI处理系统将处理后的数据转换成驱动、控制信号；
S4、映射驱动步骤：
AI处理系统映射驱动、控制信号与多角度机械臂，控制多角度移动的机械臂进行多方位移动，且自动调节超声探测原件的扫查方向，寻找到子宫的标准影像及位置后进行定位。
2.根据权利要求1的电子装置，其特征在于，当术中子宫位置发生位移，AI处理系统将扑捉到的子宫丢失的超声图像，再次进行分析、处理，并将处理后的信息，再次转换成驱动、控制信号，并再次驱动、控制多角度移动的机械臂进行多方位移动，调节超声探测原件的扫查方向，当识别到标准子宫声像图后定位，且可根据不同手术类型的不同切面来自动处理和调节捕捉到的超声图像。
3.根据权利要求1的电子装置，其特征在于，超声探测仪包括伸向床边的多角度移动的机械臂，所述多角度移动的机械臂位于医生工作面上、下方或侧方。
4.根据权利要求1所述的电子装置，其特征在于，超声影像采集系统、AI处理系统，可布置在超声探测仪内部，且本超声探测元件接收到AI处理系统指令的过程还可结合远程操作来实施，例如，通过5G、蓝牙或其他不同类型的有有线或无线频段，来实施远程操控。
5.一种自动识别超声影像的智能导航系统，其特征在于，所述自动识别超声影像的智能导航系统运行步骤包括：
超声探测元件接收到AI处理系统指令，对正常解剖位置或异常子宫图像进行视频特征的采集、学习和存储；
AI处理系统将超声探测元件采集的各类数据进行分析和处理；
AI处理系统将处理后的数据转换成驱动、控制信号；
AI处理系统映射驱动、控制信号与多角度机械臂，控制多角度移动的机械臂进行多方位移动，且自动调节超声探测原件的扫查方向，寻找到子宫的标准影像及位置后进行定位。
6.如权利要求5所述的自动识别超声影像的智能导航系统，其特征在于，AI处理系统为采用OpenCV图像处理软件编写包含缩放、抠图、色域转换、边处理、画框写文字等方法的图像算法，取其中置信度最高的图像预处理结果进入模型进行训练，
将宫腔手术超声实际影像/视频进行模型训练，再通过算子设计和Yolov3模型结构调整，来提升识别精度到临床医学要求。最终返回可控制机械臂动作的信号和辅助医生诊断的关键信息。
7.如权利要求5所述的自动识别超声影像的智能导航系统，其特征在于，超声探测仪包括伸向床边的多角度移动的机械臂，所述多角度移动的机械臂位于医生工作面上、下方或侧方。
8.如权利要求5所述的自动识别超声影像的智能导航系统，其特征在于，超声影像采集系统、AI处理系统，可布置在超声探测仪内部。
9.如权利要求5所述的自动识别超声影像的智能导航系统，其特征在于，当术中子宫位置发生位移，AI处理系统将扑捉到的子宫丢失的超声图像，再次进行分析、处理，并将处理后的信息，再次转换成驱动、控制信号，并再次驱动、控制多角度移动的机械臂进行多方位移动，调节超声探测原件的扫查方向，当识别到标准子宫声像图后定位。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有自动识别超声影像的智能导航系统，所述自动识别超声影像的智能导航系统被处理器执行时实现如权利要求5至9中任一项所述的自动识别超声影像的智能导航系统的运行步骤。
CN202011316545.5A 2020-11-20 2020-11-20 自动识别超声影像的智能导航系统、电子装置及储存介质 Pending CN112402013A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011316545.5A CN112402013A (zh) 2020-11-20 2020-11-20 自动识别超声影像的智能导航系统、电子装置及储存介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011316545.5A CN112402013A (zh) 2020-11-20 2020-11-20 自动识别超声影像的智能导航系统、电子装置及储存介质

Publications (1)

Publication Number Publication Date
CN112402013A true CN112402013A (zh) 2021-02-26

Family

ID=74777934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011316545.5A Pending CN112402013A (zh) 2020-11-20 2020-11-20 自动识别超声影像的智能导航系统、电子装置及储存介质

Country Status (1)

Country Link
CN (1) CN112402013A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110213247A1 (en) * 2010-01-08 2011-09-01 Hexagon Metrology, Inc. Articulated arm with imaging device
WO2012049628A1 (en) * 2010-10-15 2012-04-19 Koninklijke Philips Electronics N.V. Therapeutic apparatus for heating a subject
CN103826700A (zh) * 2011-09-27 2014-05-28 皇家飞利浦有限公司 用于对移动目标进行超声处理的治疗装置
CN109152615A (zh) * 2016-05-23 2019-01-04 马科外科公司 在机器人手术过程期间识别和跟踪物理对象的系统和方法
CN109316202A (zh) * 2018-08-23 2019-02-12 苏州佳世达电通有限公司 影像校正方法及检测装置
CN109330626A (zh) * 2018-11-16 2019-02-15 中聚科技股份有限公司 一种自适应调节超声探头位置的装置及方法
CN110477956A (zh) * 2019-09-27 2019-11-22 哈尔滨工业大学 一种基于超声图像引导的机器人诊断系统的智能扫查方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110213247A1 (en) * 2010-01-08 2011-09-01 Hexagon Metrology, Inc. Articulated arm with imaging device
WO2012049628A1 (en) * 2010-10-15 2012-04-19 Koninklijke Philips Electronics N.V. Therapeutic apparatus for heating a subject
CN103826700A (zh) * 2011-09-27 2014-05-28 皇家飞利浦有限公司 用于对移动目标进行超声处理的治疗装置
CN109152615A (zh) * 2016-05-23 2019-01-04 马科外科公司 在机器人手术过程期间识别和跟踪物理对象的系统和方法
CN109316202A (zh) * 2018-08-23 2019-02-12 苏州佳世达电通有限公司 影像校正方法及检测装置
CN109330626A (zh) * 2018-11-16 2019-02-15 中聚科技股份有限公司 一种自适应调节超声探头位置的装置及方法
CN110477956A (zh) * 2019-09-27 2019-11-22 哈尔滨工业大学 一种基于超声图像引导的机器人诊断系统的智能扫查方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吕晋: "《模块化移动机械臂的设计及优化的研究》", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *

Similar Documents

Publication Publication Date Title
KR102014359B1 (ko) 수술영상 기반 카메라 위치 제공 방법 및 장치
US8248414B2 (en) Multi-dimensional navigation of endoscopic video
US20210015343A1 (en) Surgical assistance apparatus, surgical method, non-transitory computer readable medium and surgical assistance system
EP3145431B1 (en) Method and system of determining probe position in surgical site
JP5504028B2 (ja) 観察支援システムおよび方法並びにプログラム
CN102316817A (zh) 医疗导航系统的设备和操作方法
WO2023066072A1 (zh) 导管定位方法、介入手术系统、电子设备和存储介质
US11534133B2 (en) Ultrasonic detection method and ultrasonic imaging system for fetal heart
CN112402013A (zh) 自动识别超声影像的智能导航系统、电子装置及储存介质
WO2020215811A1 (zh) 一种基于图像识别和3d-slam实时建模的新型内窥镜智能导航器系统
WO2023169108A1 (zh) 目标区域的定位方法、电子设备、介质
CN113317874B (zh) 一种医学图像处理装置及介质
US20200305837A1 (en) System and method for guided ultrasound imaging
US20210287434A1 (en) System and methods for updating an anatomical 3d model
CN107496029B (zh) 智能微创手术系统
CN208017582U (zh) 计算机辅助微创手术装置
CN115311317A (zh) 一种基于Scaleformer类算法的腹腔镜图像分割方法及系统
CN208426174U (zh) 智能微创手术装置
CN116650022B (zh) 超声与内窥镜图像融合辅助定位子宫病灶的方法及系统
US20230230263A1 (en) Two-dimensional image registration
CN115797348B (zh) 内窥镜下目标结构评估系统、方法、设备及存储介质
US20230215059A1 (en) Three-dimensional model reconstruction
CN114271908A (zh) 超声介入引导装置、介质及电子设备
WO2023275974A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
CN109106321B (zh) 一种胶囊内窥镜的触壁判断方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210226