CN112397180A - 手术影像的智慧标记系统及其方法 - Google Patents

手术影像的智慧标记系统及其方法 Download PDF

Info

Publication number
CN112397180A
CN112397180A CN201910765639.1A CN201910765639A CN112397180A CN 112397180 A CN112397180 A CN 112397180A CN 201910765639 A CN201910765639 A CN 201910765639A CN 112397180 A CN112397180 A CN 112397180A
Authority
CN
China
Prior art keywords
image
surgical
images
analyzed
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910765639.1A
Other languages
English (en)
Other versions
CN112397180B (zh
Inventor
刘伟民
李宇倢
沈易达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taipei Medical University TMU
Original Assignee
Taipei Medical University TMU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taipei Medical University TMU filed Critical Taipei Medical University TMU
Priority to CN201910765639.1A priority Critical patent/CN112397180B/zh
Publication of CN112397180A publication Critical patent/CN112397180A/zh
Application granted granted Critical
Publication of CN112397180B publication Critical patent/CN112397180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

一种手术影像的智慧标记系统及其方法，通过执行影像辨识以生成对应手术影像的物件信息，并且将生成的物件信息作为与手术影像对应的特征数据，用以在载入待分析影像后，根据待分析影像及特征数据进行特征值分析及统计，以便计算待分析影像与每一手术影像的相似率，并且选择相似率最高的手术影像所对应的术式名称以标记为待分析影像所对应的术式名称，以及将待分析影像及其对应的术式名称一并储存至数据库作为手术影像，达到提高标记手术影像的效率的技术功效。

Description

手术影像的智慧标记系统及其方法
技术领域
本发明涉及一种标记系统及其方法，特别是手术影像的智慧标记系统及其方法。
背景技术
近年来，随着医疗科技的普及与蓬勃发展，各种相关应用便如雨后春笋般出现，其中又以手术影像的加值应用最受瞩目。
一般而言，手术影像可以提供医生、学生或相关从业人员学习，甚至可以作为手术纪录避免医疗纠纷，然而，由于手术的种类十分庞杂，为了便于浏览，所以需要对手术影像进行标记，例如：记录术式、器官、执刀医生等等。如此一来，即可根据标记的资讯快速查询所有相关的手术影像。不过，以往通过人工进行判断及标记的方式容易因疲劳而导致错误率大增、效率不佳等问题。
有鉴于此，便有厂商提出结合影像辨识的技术，其通过器官辨识技术，用以自动对手术影像中出现的器官进行分类标记，进而改善标记的错误率及提升标记效率。然而，此方式仅能针对器官进行概略性分类，而无法进一步针对使用的术式进行辨识，因此，仍然需要仰赖专业的医疗人员判断术式并进行补充标记，故仍然存在标记手术影像的效率不佳的问题。
综上所述，可知先前技术中长期以来一直存在标记手术影像的效率不佳的问题，因此实有必要提出改进的技术手段，来解决此问题。
发明内容
本发明公开一种手术影像的智慧标记系统及其方法。
首先，本发明公开一种手术影像的智慧标记系统，此系统包含：数据库、特征生成模块、分析模块及储存模块。其中，所述数据库用以储存手术影像，每一手术影像对应术式名称；特征生成模块连接数据库，用以在初始时，分别载入数据库的手术影像以进行影像辨识，并且根据影像辨识结果生成对应的物件信息，以及将物件信息作为对应手术影像的特征数据并储存于数据库，其中，每一物件信息包含图像物件存在于手术影像中的座标、比例及时间点；分析模块连接数据库，用以在载入待分析影像后，根据此待分析影像及特征数据进行特征值分析及统计，以计算待分析影像与每一手术影像的相似率；储存模块连接分析模块，用以选择与相似率最高的手术影像对应的术式名称以标记为待分析影像对应的术式名称，并且将待分析影像及标记的术式名称一并储存至数据库作为手术影像其中之一。
另外，本发明公开一种手术影像的智慧标记方法，其步骤包括：在数据库提供手术影像，每一手术影像对应一个术式名称；在初始时，分别载入数据库的手术影像以进行影像辨识，并且根据影像辨识结果生成对应的物件信息，以及将物件信息作为对应手术影像的特征数据并储存于数据库，其中，每一物件信息包含图像物件存在于手术影像中的座标、比例及时间点；当载入待分析影像后，根据此待分析影像及特征数据进行特征值分析及统计，以计算待分析影像与每一手术影像的相似率；以及选择与相似率最高的手术影像对应的术式名称以标记为待分析影像对应的术式名称，并且将待分析影像及标记的术式名称一并储存至数据库作为手术影像其中之一。
本发明所公开的系统与方法如上，与先前技术的差异在于本发明是通过执行影像辨识以生成对应手术影像的物件信息，并且将生成的物件信息作为与手术影像对应的特征数据，用以在载入待分析影像后，根据待分析影像及特征数据进行特征值分析及统计，以便计算待分析影像与每一手术影像的相似率，并且选择相似率最高的手术影像所对应的术式名称以标记为待分析影像所对应的术式名称，以及将待分析影像及其对应的术式名称一并储存至数据库作为手术影像。
通过上述的技术手段，本发明可以达成提高标记手术影像的效率的技术功效。
附图说明
图1为本发明手术影像的智慧标记系统的系统方块图。
图2A至图2C为本发明手术影像的智慧标记方法的方法流程图。
图3为应用本发明判断待分析影像的术式名称并进行标记的示意图。
图4为应用本发明生成起手式特征值的示意图。
图5为应用本发明结合起手式特征值判断术式名称的示意图。
【附图标记列表】
110 数据库
120 特征生成模块
130 分析模块
140 储存模块
150 分割模块
300 显示视窗
310 播放区块
321 载入元件
322 分析元件
323 播放元件
330 术式名称区块
410、420、430 手术影像
411、421、431 肌瘤
412、422、432 第一手术器具
413、423、433 第二手术器具
414、424、434 子宫
具体实施方式
以下将配合附图及实施例来详细说明本发明的实施方式，通过对本发明如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
在说明本发明所公开的手术影像的智慧标记系统及其方法之前，先对本发明所自行定义的名词作说明，本发明所述的「术式名称」是指手术方式的名称，例如：「子宫切除术」、「肌瘤切除术」等等。至于所述「物件信息」则是通过如器官、手术器具的影像辨识技术所生成的信息，举例来说，通过器官辨识技术辨识出在手术影像中的器官，并且撷取此器官的图像作为图像物件，以及将此图像物件及其存在于手术影像中的座标、比例及时间点等资讯一并作为物件信息。换句话说，能够被影像辨识出的物体便称为物件，而物件信息记载了此物件的详细信息，如：出现的座标、比例及时间点。
以下配合附图对本发明手术影像的智慧标记系统及其方法做进一步说明，请先参阅图1，图1为本发明手术影像的智慧标记系统的系统方块图，此系统包含：数据库110、特征生成模块120、分析模块130及储存模块140。其中，数据库110用以储存手术影像，每一手术影像对应一个术式名称。在实际实施上，所述数据库110可使用关联式数据库(RelationalDatabase)、NoSQL数据库等等来实现。另外，数据库110还可储存器官特征值及手术器具特征值，用以在对手术影像进行影像辨识时载入，并且在手术影像中撷取符合载入的器官特征值或手术器具特征值的图像作为物件信息的图像物件，以及将此图像物件存在于手术影像中的座标、比例及时间点记录于物件信息。其中，所述器官特征值及手术器具特征值可通过类神经网络(Neural Network,ANN)、深度学习(Deep Learning)等方式产生，例如：预先将大量的器官及手术器具的图像作为训练数据，进而生成相应的特征值，即：器官特征值及手术器具特征值。
特征生成模块120连接数据库110，用以于初始时，分别载入数据库110的手术影像以进行影像辨识，并且根据影像辨识结果生成对应的物件信息，以及将物件信息作为对应手术影像的特征数据并储存于数据库110，其中，每一物件信息包含图像物件存在于手术影像中的座标、比例及时间点。在实际实施上，生成的物件信息可以仅保留与关键器官相关的部分，而其它非关键器官的物件信息则删除，至于关键器官则是根据图像物件的座标及比例来决定，例如：器官的图像物件位于手术影像的中心位置或占据的比例大于预设值即代表关键器官。除此之外，所述特征生成模块120还可载入所有相同的术式名称的手术影像，用以辨识其中的手术器具的种类与异常器官的种类、形状及大小，并且根据辨识结果生成对应此术式名称的起手式特征值，以及将此起手式特征值及其对应的术式名称一并储存至数据库110。在实际实施上，所述起手式特征值的生成方式与上述所述器官特征值及手术器具特征值的生成方式相同。所述起手式是指术式一开始的动作、姿势或方式。
分析模块130连接数据库110，用以在载入待分析影像后，根据此待分析影像及特征数据进行特征值分析及统计，以计算此待分析影像与每一手术影像的相似率。其中，所述待分析影像是指尚未标记有术式名称的手术影像。在实际实施上，由于特征生成模块120已经分别根据每一手术影像生成相应的特征数据，所以分析模块130将待分析影像与各特征数据进行特征值分析及统计后，即可计算出待分析影像与每一手术影像的相似率，例如：待分析影像与第一个手术影像的相似率为「90％」、待分析影像与第二个手术影像的相似率为「40％」等等。另外，当数据库110储存有起手式特征值时，分析模块130还可将载入的待分析影像与数据库110中的起手式特征值进行比对，并且载入比对符合的起手式特征值对应的术式名称，当载入的术式名称与根据相似率选择的术式名称不同时，产生提示信息并允许任选其一作为待分析影像对应的术式名称。举例来说，假设载入的术式名称为「全子宫切除术」，而根据相似率选择的术式名称则为「次子宫切除术」，此时产生提示信息以进行显示，并且允许使用者在其中任选其一作为待分析影像对应的术式名称，甚至也可以由使用者自行键入文字以指定术式名称。特别要说明的是，在实际实施上，分析模块130还可根据关键器官(例如：占据影像比例最大的器官，或是座标位置在中央的器官等等)是否有实心组织、肿瘤边缘细胞的异常度来调整相似率，以上述待分析影像与第一个手术影像及第二个手术影像为例，假设待分析影像的关键器官不具有实心组织，而第一个手术影像的关键器官具有实心组织，那么可以将待分析影像与第一个手术影像的相似率进行调降，例如：从「90％」调降为「80％」。反之，倘若是皆具有实心组织或肿瘤边缘细胞的异常度雷同，则可调升相似率。虽然本发明以上述举例说明相似率的调整方式，然本发明并不以此为限，任何根据影像中出现的器官、组织、细胞或手术器具的差异来进一步调整相似率的方式皆不脱离本发明的应用范畴。举例来说，还可将手术器具的类型、环境判定(如：卵巢)、异常器官(如：囊肿)、医学统计信息(如：卵巢肿瘤约八成至八成五为良性)、液体流出的瞬间画面占比及液体色泽等等作为分析的参数。
储存模块140连接分析模块，用以选择与相似率最高的手术影像对应的术式名称以标记为待分析影像对应的术式名称，并且将待分析影像及标记的术式名称一并储存至数据库110作为手术影像其中之一。举例来说，假设待分析影像与第三个手术影像相似率最高，而且第三个手术影像所对应的术式名称为「肌瘤切除术」，那么，储存模块140会将此第三个手术影像所对应的术式名称「肌瘤切除术」标记为待分析影像所对应的术式名称，并且将此待分析影像及其对应的术式名称「肌瘤切除术」一并储存至数据库110中作为手术影像其中之一。如此一来，输入待分析影像后，即可快速对此待分析影像进行相应术式名称的标记，甚至可以根据标记的术式名称来进行分类储存，例如：相同术式名称为同一类，储存在相同数据夹。
另外，本发明的所述系统还可包含分割模块150，用以在数据库110中储存有器官特征值及手术器具特征值时，侦测手术影像中存在器官特征值及手术器具特征值至少其中之一的时间点，并且在相邻的时间点之间的时间间隔大于预设间隔时，将手术影像中与时间间隔对应的讯框删除以形成分割影像并储存于数据库110。换句话说，将存在器官及手术器具或两者任一的影像保留，反之则删除。在实际实施上，通常是将两者皆存在的影像保留作为关键影像。通过上述方式，可以删除不重要的影像，甚至还可将多个分割影像重组为单一影像，达到剪辑出精华片段的效果。
特别要说明的是，在实际实施上，本发明所述的各模块皆可利用各种方式来实现，包含软件、硬件或其任意组合，例如，在某些实施方式中，各模块可利用软件及硬件或其中之一来实现，除此之外，本发明也可部分地或完全地基于硬件来实现，例如，系统中的一个或多个模块可以通过集成电路晶片、系统单晶片(System on Chip,SoC)、复杂可编程逻辑装置(Complex Programmable Logic Device,CPLD)、现场可编程逻辑门阵列(FieldProgrammable Gate Array,FPGA)等来实现。本发明可以是系统、方法及/或电脑程序。电脑程序可以包括电脑可读储存介质，其上载有用于使处理器实现本发明的各个方面的电脑可读程序指令，电脑可读储存介质可以是可以保持和储存由指令执行设备使用的指令的有形设备。电脑可读储存媒体可以是但不限于电储存设备、磁储存设备、光储存设备、电磁储存设备、半导体储存设备或上述的任意合适的组合。电脑可读储存介质的还具体的例子(非穷举的列表)包括：硬盘、随机存取存储器、只读存储器、快闪存储器、光盘、软盘以及上述的任意合适的组合。此处所使用的电脑可读储存介质不被解释为瞬时信号本身，诸如无线电波或者其它自由传播的电磁波、通过波导或其它传输媒介传播的电磁波(例如，通过光纤电缆的光信号)、或者通过电线传输的电信号。另外，此处所描述的电脑可读程序指令可以从电脑可读储存介质下载到各个计算/处理设备，或者通过网路，例如：因特网、区域网路、广域网路及/或无线网路下载到外部电脑设备或外部储存设备。网路可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换器、集线器及/或网络接口器。每一个计算/处理设备中的网络卡或者网络接口从网络接收电脑可读程序指令，并转发此电脑可读程序指令，以供储存在各个计算/处理设备中的电脑可读储存介质中。执行本发明操作的电脑程序指令可以是组合语言指令、指令集架构指令、机器指令、机器相关指令、微指令、固件指令、或者以一种或多种程序语言的任意组合编写的原始码或目的码(Object Code)，所述程序语言包括物件导向的程序语言，如：Common Lisp、Python、C++、Objective-C、Smalltalk、Delphi、Java、Swift、C#、Perl、Ruby与PHP等，以及常规的程序式(Procedural)程序语言，如：C语言或类似的程序语言。计算机可读程序指令可以完全地在电脑上执行、部分地在电脑上执行、作为一个独立的软件执行、部分在客户端电脑上部分在远端电脑上执行、或者完全在远端电脑或服务器上执行。
请参阅图2A至图2C，图2A至图2C为本发明手术影像的智慧标记方法的方法流程图，其步骤包括：在数据库110提供手术影像，每一手术影像对应一个术式名称(步骤210)；在初始时，分别载入数据库110的手术影像以进行影像辨识，并且根据影像辨识结果生成对应的物件信息，以及将物件信息作为对应手术影像的特征数据并储存于数据库110，其中，每一物件信息包含图像物件存在于手术影像中的座标、比例及时间点(步骤220)；当载入待分析影像后，根据此待分析影像及特征数据进行特征值分析及统计，以计算待分析影像与每一手术影像的相似率(步骤230)；选择与相似率最高的手术影像对应的术式名称以标记为待分析影像对应的术式名称，并且将待分析影像及标记的术式名称一并储存至数据库110作为手术影像其中之一(步骤240)。通过上述步骤，即可通过执行影像辨识以生成对应手术影像的物件信息，并且将生成的物件信息作为与手术影像对应的特征数据，用以在载入待分析影像后，根据待分析影像及特征数据进行特征值分析及统计，以便计算待分析影像与每一手术影像的相似率，并且选择相似率最高的手术影像所对应的术式名称以标记为待分析影像所对应的术式名称，以及将待分析影像及其对应的术式名称一并储存至数据库110作为手术影像。
另外，如图2B所示意，在步骤220之后，还可载入所有相同术式名称的手术影像，用以辨识其中的手术器具的种类与异常器官的种类、形状及大小，并且根据辨识结果生成对应术式名称的起手式特征值，以及将起手式特征值及其对应的术式名称一并储存至数据库110(步骤221)；以及在步骤240之后，将载入的待分析影像与起手式特征值进行比对，并且载入比对符合的起手式特征值对应的术式名称，当载入的术式名称与根据相似率选择的术式名称不同时，产生提示信息并允许任选其一作为待分析影像对应的术式名称(步骤241)。除此之外，如「第2C图」所示意，在步骤210之后，数据库110更可提供器官特征值及手术器具特征值(步骤211)；以及侦测手术影像中存在器官特征值及手术器具特征值至少其中之一的时间点，并且在相邻的时间点之间的时间间隔大于预设间隔时，将手术影像中与时间间隔对应的讯框删除以形成分割影像并储存于数据库110(步骤212)。
以下配合图3至图5以实施例的方式进行如下说明，请先参阅图3，图3为应用本发明判断待分析影像的术式名称并进行标记的示意图。假设在初始时，已经针对数据库110的每一个手术影像分别生成对应的特征数据，当使用者开启显示视窗300并以游标点选载入元件321后，可以选择欲进行标记的影像作为载入的待分析影像，并且将此待分析影像显示在播放区块310中，接着，使用者可点选分析元件322将此待分析影像与数据库110中的特征数据进行特征值分析及统计，以便计算待分析影像与每一手术影像的相似率。假设数据库110中已储存有二个手术影像，其中，第一个手术影像所对应的术式名称为「肌瘤剃除术」、第二个手术影像所对应的术式名称为「脂肪瘤剃除术」，在计算相似率后，可获得待分析影像与第一个手术影像的相似率为「90％」、以及获得待分析影像与第二个手术影像的相似率为「10％」。此时，可以如图3所示意，依照相似率的高低，在术式名称区块330中依序显示手术影像所对应的术式名称及其相应的相似率，并且直接将相似率最高的手术影像所对应的术式名称「肌瘤剃除术」标记为此待分析影像所对应的术式名称。特别要说明的是，假设相似率非常接近时，使用者也可点选播放元件323来播放待分析影像，接着根据待分析影像的浏览结果，直接在术式名称区块330中选择合适的术式名称，以标记为对应此待分析影像的术式名称。当标记完成后，即可将待分析影像及其对应的术式名称一并储存在数据库110中作为手术影像。另外，为了提高标记的效率，上述流程也可使用批次作业方式进行处理，举例来说，同时载入多个待分析影像并逐一进行标记，其标记方式是直接将相似率最高的手术影像所对应的术式名称标记为当前的待分析影像所对应的术式名称，而不需要提供使用者选择术式名称及浏览待分析影像，故可大幅提升标记效率。
如图4所示意，图4为应用本发明生成起手式特征值的示意图。假设数据库110预先储存有多个手术影像，而且每一个手术影像皆对应有一个术式名称时，使用者可以先载入所有相同术式名称的手术影像，用以辨识影像中的手术器具的种类与异常器官的种类、形状及大小，并且根据辨识结果生成对应术式名称的起手式特征值，以及将此起手式特征值及其对应的术式名称一并储存至数据库110。以术式名称为「子宫肌瘤剃除术」为例，使用者可先载入所有对应此术式名称的手术影像(410、420及430)的开头部分，并且将这些载入的部分作为训练样本，以便利用类神经网络或深度学习等方式生成相应的起手式特征值。在训练过程中，由于所有手术影像中皆存在相同种类的第一个手术器具，即：第一手术器具(412、422、432)及相同种类的第二个手术器具，即：第二手术器具(413、423、433)，而且同样具有子宫(414、424及434)以及肌瘤(411、421及431)。因此，即便在位置、大小及形状上存在些微差异，但是在经过类神经网络或深度学习的训练后，仍然能够生成对应子宫肌瘤剃除术的起手式特征值。也就是说，在手术影像中，同一术式的起手式大同小异的前提下，能够通过类神经网络或深度学习来建立相对应的起手式特征值，并且以此类推，分别建立每一个术式及其相应的起手式特征值。
请参阅图5，图5为应用本发明结合起手式特征值判断术式名称的示意图。当所有术式名称皆已生成对应的起手式特征值后，分析模块130除了将待分析影像与特征数据进行特征值分析及统计，用以以计算出待分析影像与手术影像的相似率之外，还可以将载入的待分析影像与所有起手式特征值进行比对，并且载入比对符合(例如：相似率最高)的起手式特征值所对应的术式名称。换句话说，此时除了选择相似率最高的手术影像所对应的术式名称(例如：「子宫肌瘤剃除术」)之外，同时也会载入比对符合的起手式特征值所对应的术式名称(例如：「子宫肌瘤剃除术」)。一般而言，载入的术式名称与根据手术影像的相似率所选出的术式名称会相同，故可直接将术式名称标记为待分析影像的术式名称。然而，假设两者不同时(例如：前者为全子宫切除术；后者为次子宫切除术)，此时，可如图5所示意产生提示信息500，并且允许使用者在「全子宫切除术」及「次子宫切除术」中任选其一作为待分析影像对应的术式名称，而为了帮助使用者选择适当的术式名称，还可以在播放区块520中播放待分析影像供使用者浏览，以此例而言，由于影像中可看到子宫颈521的存在，所以选择次子宫切除术较为适当。除此之外，倘若没有适当的术式名称，使用者也可以直接在输入区块510中键入合适的术式名称以与待分析影像进行对应，进而完成标记。
综上所述，可知本发明与先前技术之间的差异在于通过执行影像辨识以生成对应手术影像的物件信息，并且将生成的物件信息作为与手术影像对应的特征数据，用以在载入待分析影像后，根据待分析影像及特征数据进行特征值分析及统计，以便计算待分析影像与每一手术影像的相似率，并且选择相似率最高的手术影像所对应的术式名称以标记为待分析影像所对应的术式名称，以及将待分析影像及其对应的术式名称一并储存至数据库作为手术影像，通过此技术手段可以解决先前技术所存在的问题，进而达成提高标记手术影像的效率的技术功效。
虽然本发明以前述的实施例公开如上，然其并非用以限定本发明，任何熟习相像技艺者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的专利保护范围须视本说明书所附的权利要求书所界定者为准。

Claims (10)

1.一种手术影像的智慧标记系统，所述系统包含：
数据库，用以储存多个手术影像，每一手术影像对应一术式名称；
特征生成模块，连接所述数据库，用以在初始时，分别载入所述数据库的所述手术影像以进行影像辨识，并且根据影像辨识结果生成对应的至少一物件信息，以及将所述物件信息作为对应所述手术影像的特征数据并储存于所述数据库，其中，每一物件信息包含一图像物件存在于所述手术影像中的座标、比例及时间点；
分析模块，连接所述数据库，用以在载入待分析影像后，根据所述待分析影像及所述特征数据进行特征值分析及统计，以计算所述待分析影像与每一手术影像的相似率；以及
储存模块，连接所述分析模块，用以选择与所述相似率最高的所述手术影像对应的所述术式名称以标记为所述待分析影像对应的所述术式名称，并且将所述待分析影像及标记的所述术式名称一并储存至所述数据库作为所述手术影像其中之一。
2.根据权利要求1的手术影像的智慧标记系统，其特征在于，所述特征生成模块载入所有相同所述术式名称的所述手术影像，用以辨识其中的手术器具的种类与异常器官的种类、形状及大小，并且根据辨识结果生成对应所述术式名称的起手式特征值，以及将所述起手式特征值及其对应的所述术式名称一并储存至所述数据库。
3.根据权利要求2的手术影像的智慧标记系统，其特征在于，所述分析模块将载入的所述待分析影像与所述起手式特征值进行比对，并且载入比对符合的所述起手式特征值对应的所述术式名称，当载入的所述术式名称与根据所述相似率选择的所述术式名称不同时，产生提示信息并允许任选其一作为所述待分析影像对应的所述术式名称。
4.根据权利要求1的的手术影像的智慧标记系统，其特征在于，所述数据库还储存多个器官特征值及多个手术器具特征值，用以在所述手术影像进行影像辨识时载入，并且在所述手术影像中撷取符合载入的所述器官特征值或所述手术器具特征值的图像作为所述物件信息的所述图像物件，以及将所述图像物件存在于所述手术影像中的座标、比例及时间点记录于所述所述物件信息。
5.根据权利要求4的手术影像的智慧标记系统，其特征在于，所述系统还包含分割模块，用以侦测所述手术影像中存在所述器官特征值及所述手术器具特征值至少其中之一的多个时间点，并且在相邻的所述时间点之间的时间间隔大于预设间隔时，将所述手术影像中与所述时间间隔对应的多个讯框删除以形成多个分割影像并储存于所述数据库。
6.一种手术影像的智慧标记方法，其特征在于，步骤包括：
在数据库提供多个手术影像，每一手术影像对应一术式名称；
在初始时，分别载入所述数据库的所述手术影像以进行影像辨识，并且根据影像辨识结果生成对应的至少一物件信息，以及将所述物件信息作为对应所述手术影像的特征数据并储存于所述数据库，其中，每一物件信息包含图像物件存在于所述手术影像中的座标、比例及时间点；
当载入待分析影像后，根据所述待分析影像及所述特征数据进行特征值分析及统计，以计算所述待分析影像与每一手术影像的相似率；以及
选择与所述相似率最高的所述手术影像对应的所述术式名称以标记为所述待分析影像对应的所述术式名称，并且将所述待分析影像及标记的所述术式名称一并储存至所述数据库作为所述手术影像其中之一。
7.根据权利要求6的手术影像的智慧标记方法，其特征在于，所述方法还包含载入所有相同所述术式名称的所述手术影像，用以辨识其中的手术器具的种类与异常器官的种类、形状及大小，并且根据辨识结果生成对应所述术式名称的起手式特征值，以及将所述起手式特征值及其对应的所述术式名称一并储存至所述数据库的步骤。
8.根据权利要求7的手术影像的智慧标记方法，其特征在于，所述方法还包含将载入的所述待分析影像与所述起手式特征值进行比对，并且载入比对符合的所述起手式特征值对应的所述术式名称，当载入的所述术式名称与根据所述相似率选择的所述术式名称不同时，产生提示信息并允许任选其一作为所述待分析影像对应的所述术式名称的步骤。
9.根据权利要求6的手术影像的智慧标记方法，其特征在于，所述数据库还提供多个器官特征值及多个手术器具特征值，用以在所述手术影像进行影像辨识时载入，并且在所述手术影像中撷取符合载入的所述器官特征值或所述手术器具特征值的图像作为所述物件信息的所述图像物件，以及将所述图像物件存在于所述手术影像中的座标、比例及时间点记录于所述所述物件信息。
10.根据权利要求9的手术影像的智慧标记方法，其特征在于，所述方法还包含侦测所述手术影像中存在所述器官特征值及所述手术器具特征值至少其中之一的多个时间点，并且在相邻的所述时间点之间的时间间隔大于预设间隔时，将所述手术影像中与所述时间间隔对应的多个讯框删除以形成多个分割影像并储存于所述数据库。
CN201910765639.1A 2019-08-19 2019-08-19 手术影像的智能标记系统及其方法 Active CN112397180B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910765639.1A CN112397180B (zh) 2019-08-19 2019-08-19 手术影像的智能标记系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910765639.1A CN112397180B (zh) 2019-08-19 2019-08-19 手术影像的智能标记系统及其方法

Publications (2)

Publication Number Publication Date
CN112397180A true CN112397180A (zh) 2021-02-23
CN112397180B CN112397180B (zh) 2024-05-07

Family

ID=74603518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910765639.1A Active CN112397180B (zh) 2019-08-19 2019-08-19 手术影像的智能标记系统及其方法

Country Status (1)

Country Link
CN (1) CN112397180B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI781721B (zh) * 2021-08-10 2022-10-21 展市華科技有限公司 根據影像的病症判斷方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080059244A1 (en) * 2006-08-29 2008-03-06 Kabushiki Kaisha Toshiba Image-display device and an image-display system
JP2011167301A (ja) * 2010-02-17 2011-09-01 Asahikawa Medical College 手術映像蓄積装置、手術映像蓄積方法、およびプログラム
US20130336554A1 (en) * 2012-06-14 2013-12-19 Prezio Health Methods and systems for identifying, marking, and inventorying large quantities of unique surgical instruments
CN104903892A (zh) * 2012-12-12 2015-09-09 悟图索知株式会社 基于对象的影像检索系统及检索方法
CN105163684A (zh) * 2013-03-15 2015-12-16 圣纳普医疗(巴巴多斯)公司 手术数据的联运同步
US20160270861A1 (en) * 2013-10-31 2016-09-22 Health Research, Inc. System and methods for a situation and awareness-based intelligent surgical system
CN106855919A (zh) * 2016-12-22 2017-06-16 广东清立方科技有限公司 一种手术影像采集管理方法及一种手术影像采集装置
CN107847283A (zh) * 2015-06-09 2018-03-27 直观外科手术操作公司 利用外科手术过程图集配置外科手术系统
CN109949880A (zh) * 2019-01-31 2019-06-28 北京汉博信息技术有限公司 一种手术数据处理方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080059244A1 (en) * 2006-08-29 2008-03-06 Kabushiki Kaisha Toshiba Image-display device and an image-display system
JP2011167301A (ja) * 2010-02-17 2011-09-01 Asahikawa Medical College 手術映像蓄積装置、手術映像蓄積方法、およびプログラム
US20130336554A1 (en) * 2012-06-14 2013-12-19 Prezio Health Methods and systems for identifying, marking, and inventorying large quantities of unique surgical instruments
CN104903892A (zh) * 2012-12-12 2015-09-09 悟图索知株式会社 基于对象的影像检索系统及检索方法
CN105163684A (zh) * 2013-03-15 2015-12-16 圣纳普医疗(巴巴多斯)公司 手术数据的联运同步
US20160067007A1 (en) * 2013-03-15 2016-03-10 Synaptive Medical (Barbados) Inc. Interamodal synchronization of surgical data
US20160270861A1 (en) * 2013-10-31 2016-09-22 Health Research, Inc. System and methods for a situation and awareness-based intelligent surgical system
CN107847283A (zh) * 2015-06-09 2018-03-27 直观外科手术操作公司 利用外科手术过程图集配置外科手术系统
CN106855919A (zh) * 2016-12-22 2017-06-16 广东清立方科技有限公司 一种手术影像采集管理方法及一种手术影像采集装置
CN109949880A (zh) * 2019-01-31 2019-06-28 北京汉博信息技术有限公司 一种手术数据处理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI781721B (zh) * 2021-08-10 2022-10-21 展市華科技有限公司 根據影像的病症判斷方法

Also Published As

Publication number Publication date
CN112397180B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
CN110472675B (zh) 图像分类方法、图像分类装置、存储介质与电子设备
WO2018108129A1 (zh) 用于识别物体类别的方法及装置、电子设备
CN108280477B (zh) 用于聚类图像的方法和装置
US11967069B2 (en) Pathological section image processing method and apparatus, system, and storage medium
CN108229485B (zh) 用于测试用户界面的方法和装置
TWI747120B (zh) 深度模型訓練方法及裝置、電子設備及儲存介質
CN109034069B (zh) 用于生成信息的方法和装置
CN110046600A (zh) 用于人体检测的方法和装置
US11756288B2 (en) Image processing method and apparatus, electronic device and storage medium
CN113827240B (zh) 情绪分类方法和情绪分类模型的训练方法、装置及设备
CN112397180B (zh) 手术影像的智能标记系统及其方法
CN112420150B (zh) 医学影像报告的处理方法、装置、存储介质及电子设备
CN114519401A (zh) 一种图像分类方法及装置、电子设备、存储介质
TWI696441B (zh) 手術影像的智慧標記系統及其方法
CN111401102A (zh) 深度学习模型训练方法及装置、电子设备及存储介质
CN110021021A (zh) 头部图像分析装置及图像分析方法
US20230050079A1 (en) Text recognition method, electronic device, and non-transitory storage medium
WO2021072873A1 (zh) 灰度图像处理方法、系统、装置和计算机可读存储介质
US11185386B2 (en) Smart marking system for surgical video and method thereof
CN114266777A (zh) 分割模型的训练方法、分割方法、装置、电子设备及介质
CN113780148A (zh) 交通标志图像识别模型训练方法和交通标志图像识别方法
CN112380981B (zh) 人脸关键点的检测方法、装置、存储介质及电子设备
CN117115877A (zh) 一种人脸动态表情的识别方法、装置、设备以及存储介质
US20240221961A1 (en) Methods and Systems for Processing Pathology Data of a Patient For Pre-Screening Veterinary Pathology Samples
US20230306630A1 (en) Image analysis server, object counting method using image analysis server, and object counting syste

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant