CN116934669A - 医疗辅助信息产生方法与医疗辅助信息产生系统 - Google Patents

医疗辅助信息产生方法与医疗辅助信息产生系统 Download PDF

Info

Publication number
CN116934669A
CN116934669A CN202210433608.8A CN202210433608A CN116934669A CN 116934669 A CN116934669 A CN 116934669A CN 202210433608 A CN202210433608 A CN 202210433608A CN 116934669 A CN116934669 A CN 116934669A
Authority
CN
China
Prior art keywords
pixel position
artificial intelligence
target
intelligence model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210433608.8A
Other languages
English (en)
Inventor
钱冠邑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN116934669A publication Critical patent/CN116934669A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2733—Oesophagoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736—Gastroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本文涉及一种医疗辅助信息产生方法与医疗辅助信息产生系统。所述方法包括：获得生理图像；经由至少一人工智能模型从所述生理图像中辨识出目标图像区域，其中所述目标图像区域中的各个像素位置对应一个估计值，且所述估计值符合预设条件；根据所述估计值的数值分布在所述目标图像区域中确定至少一目标像素位置；以及根据所述目标像素位置产生医疗辅助信息，其带有与所述至少一目标像素位置有关的提示信息。本文可提高针对人体特定病征的检测效率。

Description

医疗辅助信息产生方法与医疗辅助信息产生系统
技术领域
本发明是有关于一种图像分析技术，且特别是有关于一种医疗辅助信息产生方法与医疗辅助信息产生系统。
背景技术
食道癌为常见的多种癌症的其中之一，而食道癌有50％的机率是由巴瑞特式食道(Barrett’s Esophagus)演变形成。一般来说，在检查时，医生会通过胃镜检查来拍摄患者的胃食道交界处(EG Junction)的图像，并根据所获得的图像以人工的方式初步研判患者是否有巴瑞特式食道。若经判断患者很高的机率有巴瑞特式食道，则医生会针对疑似为巴瑞特式食道的区域进行切片，并根据切片结果来执行病理分析，进而确定病患是否确实具有巴瑞特式食道。然而，上述人工识别影像中感兴趣区域的方式高度仰赖医生的经验与身心状态，存在准确率低的问题。
发明内容
本发明提供一种医疗辅助信息产生方法与医疗辅助信息产生系统，可提高针对特定病征的检测效率。
本发明的实施例提供一种医疗辅助信息产生方法，其包括：获得生理图像；经由至少一人工智能模型从所述生理图像中辨识出目标图像区域，其中所述目标图像区域中的各个像素位置对应一个估计值，且所述估计值符合预设条件；根据所述估计值的数值分布在所述目标图像区域中确定至少一目标像素位置；以及根据所述至少一目标像素位置产生医疗辅助信息，其中所述医疗辅助信息带有与所述至少一目标像素位置有关的提示信息。
本发明的实施例另提供一种医疗辅助信息产生系统，其包括存储电路与处理器。所述存储电路用以存储生理图像。所述处理器耦接至所述存储电路。所述处理器用以：获得所述生理图像；经由至少一人工智能模型从所述生理图像中辨识出目标图像区域，其中所述目标图像区域中的各个像素位置对应一个估计值，且所述估计值符合预设条件；根据所述估计值的数值分布在所述目标图像区域中确定至少一目标像素位置；以及根据所述至少一目标像素位置产生医疗辅助信息，其中所述医疗辅助信息带有与所述至少一目标像素位置有关的提示信息。
基于上述，在获得生理图像后，至少一人工智能模型可用以从所述生理图像中辨识出目标图像区域。特别是，所述目标图像区域中的各个像素位置对应一个估计值，且所述估计值需符合预设条件。然后，所述目标图像区域中的至少一目标像素位置可根据所述估计值的数值分布被确定，且医疗辅助信息可根据所述目标像素位置而产生。特别是，所述医疗辅助信息可带有与所述目标像素位置有关的提示信息。藉此，可提高针对人体特定病征的检测效率。
附图说明
图1是根据本发明的实施例所绘示的医疗辅助信息产生系统的示意图。
图2是根据本发明的实施例所绘示的生理图像的示意图。
图3是根据本发明的实施例所绘示的目标图像区域的示意图。
图4是根据本发明的实施例所绘示的目标像素位置的示意图。
图5是根据本发明的实施例所绘示的根据多个人工智能模型的输出获得估计值的示意图。
图6是根据本发明的实施例所绘示的人工智能模型分析生理图像的示意图。
图7是根据本发明的实施例所绘示的训练多个人工智能模型的示意图。
图8是根据本发明的实施例所绘示的医疗辅助信息产生系统的示意图。
图9是根据本发明的实施例所绘示的医疗辅助信息产生方法的流程图。
附图符号说明：
10、医疗辅助信息产生系统；
11、处理器；
12、存储电路；
13、输入/输出界面；
101、生理图像；
102,51～53、人工智能模型；
103、医疗辅助信息；
21、图像；
31、图像区域；
401,402、像素位置；
501～503,55、估计值；
54、逻辑处理；
61、编码器；
62、解码器；
71～73、训练数据；
74～76、验证数据；
701～703、图像数据；
81、摄影机；
82、显示器；
801、患者；
S901～S904、步骤。
具体实施方式
图1是根据本发明的实施例所绘示的医疗辅助信息产生系统的示意图。请参照图1，医疗辅助信息产生系统10可设置于智能手机、笔记本电脑、台式机、平板电脑、工业电脑或服务器等各式支援图像处理技术的电子装置中。
医疗辅助信息产生系统10可包括处理器11、存储电路12及输入/输出(I/O)界面13。处理器11用以负责医疗辅助信息产生系统10的整体或部分运作。例如，处理器11可包括中央处理器(Central Processing Unit,CPU)、图形处理器(Graphic Processing Unit,GPU)或是其他可程序化的一般用途或特殊用途的微处理器、数字信号处理器(DigitalSignal Processor,DSP)、可程序化控制器、专用集成电路(Application SpecificIntegrated Circuits,ASIC)、可程序化逻辑装置(Programmable Logic Device,PLD)或其他类似装置或这些装置的组合。
存储电路12耦接至处理器11并用以存储数据。例如，存储电路12可包括挥发性存储电路与非挥发性存储电路。挥发性存储电路用以挥发性地存储数据。例如，挥发性存储电路可包括随机存取存储器(Random Access Memory,RAM)或类似的挥发性存储介质。非挥发性存储电路用以非挥发性地存储数据。例如，非挥发性存储电路可包括只读存储器(ReadOnly Memory,ROM)、固态硬盘(solid state disk,SSD)、传统硬盘(Hard disk drive,HDD)或类似的非挥发性存储介质。
输入/输出界面13耦接至处理器11并用以执行信号的输入与输出。例如，输入/输出界面13可包括摄影机、显示器、网络界面卡、鼠标、键盘、触控板、扬声器及麦克风等各式输入/输出装置。本发明不限制所述输入/输出装置的类型。
处理器11可获得生理图像101并将生理图像101存储于存储电路12。生理图像101可反映患者的人体的健康状态或疾病病征。在以下的实施例中，是以检测患者的食道中是否存在巴瑞特式食道(Barrett’s Esophagus)作为范例，故生理图像101可包括患者的食道图像，但本发明不限于此。例如，若患者的食道中存在巴瑞特式食道，则生理图像101中可呈现出巴瑞特式食道的图像特征。或者，若患者的食道中存在其他类型的疾病表征，则生理图像101中亦可呈现相对应的图像特征。此外，生理图像101亦可反映人体的其他部位的健康状态或疾病病征，本发明不加以限制。
处理器11可经由人工智能模型102从生理图像101中辨识出特定的图像区域(亦称为目标图像区域)。例如，目标图像区域可包括巴瑞特式食道的图像特征所涵盖的图像区域。特别是，目标图像区域中的各个像素位置可对应一个估计值，且所述估计值需符合特定条件(亦称为预设条件)。例如，所述预设条件可界定出目标图像区域中的各个像素位置所对应的估计值必须大于特定值(亦称为预设值)。例如，所述预设值可为0.5或介于0与1之间的其他数值。
在一实施例中，人工智能模型102是实作为软件模组并存储于存储电路12中。或者，在一实施例中，人工智能模型102亦可实作于硬件电路(例如图像处理晶片)中。人工智能模型102可具有机器学习及/或深度学习等人工智能架构。例如，人工智能模型102可采用卷积神经网络(Convolutional neural network,CNN)模型、全卷积网络(FullConvolutional network,FCN)模型、区域卷积网络(Region-based CNN)及/或U-Net模型等涉及编码与解码的神经网络模型。处理器11可运行人工智能模型102以对生理图像101执行自动化的图像辨识。此外，人工智能模型102可经由训练而持续改善其图像辨识性能(例如图像辨识的准确率)。
在一实施例中，处理器11可将生理图像101输入至人工智能模型102。人工智能模型102可分析生理图像101并针对生理图像101中的每一个(或至少部分)像素位置输出一个估计值。特别是，某一个像素位置所对应的估计值可反映人工智能模型102辨识此像素位置属于巴瑞特式食道的机率。处理器11可根据人工智能模型102的输出确定生理图像101中的各个像素位置所对应的估计值。
在一实施例中，处理器11可判断生理图像101中的特定像素位置(亦称为第一像素位置)所对应的估计值是否大于预设值。响应于第一像素位置所对应的估计值大于预设值，处理器11可判定第一像素位置所对应的估计值符合预设条件并将第一像素位置纳入至目标图像区域中。或者，响应于第一像素位置所对应的估计值不大于预设值，处理器11可判定第一像素位置所对应的估计值不符合预设条件且不将第一像素位置纳入至目标图像区域中。通过初步框选目标图像区域，处理器11可初步确定生理图像101中的哪些图像区域存在巴瑞特式食道的图像特征。
在获得目标图像区域后，处理器11可根据目标图像区域中的多个像素位置所对应的估计值的数值分布，在目标图像区域中确定至少一个特定像素位置(亦称为目标像素位置)。目标像素位置可包括人工智能模型102所辨识的目标图像区域中巴瑞特式食道的发生机率相对较高的位置。
在一实施例中，处理器11可比较目标图像区域中的多个像素位置(亦称为候选像素位置)所对应的估计值。然后，处理器11可根据比较结果从所述多个候选像素位置中确定目标像素位置。例如，所述多个候选像素位置中对应于最大的估计值的候选像素位置，表示人工智能模型102辨识此候选像素位置上发生巴瑞特式食道的机率相对较高。因此，处理器11可将所述多个候选像素位置中对应于最大的估计值的候选像素位置确定为目标像素位置。
在一实施例中，目标像素位置的总数可为一个。在一实施例中，目标像素位置的总数可为多个。在目标像素位置的总数为多个的状况下，任两个目标像素位置之间的距离可被限制为需大于一个预设距离值。例如，假设目标像素位置包括第一目标像素位置与第二目标像素位置，则第一目标像素位置与第二目标像素位置之间的距离需大于预设距离值。若某一个候选像素位置与特定目标像素位置之间的距离不大于所述预设距离值，则此候选像素位置将不被允许作为目标像素位置或从目标像素位置中剔除。
在确定目标像素位置后，处理器11可根据目标像素位置产生医疗辅助信息103。例如，医疗辅助信息103可存储于存储电路12中。特别是，医疗辅助信息103可带有与目标像素位置有关的提示信息。例如，所述提示信息可包括目标像素位置的坐标信息及/或藉由特定的视觉效果将目标像素位置呈现于目标图像区域(或生理图像101)中。在一实施例中，医疗辅助信息103也可带有与目标图像区域有关的提示信息。例如，所述提示信息可包括目标图像区域的坐标信息及/或藉由特定的视觉效果将目标图像区域呈现于生理图像101中。
在一实施例中，医生可根据医疗辅助信息103中与目标像素位置(或目标图像区域)有关的提示信息，确定患者的食道中要实际进行切片以检测巴瑞特式食道的位置。在一实施例中，通过在目标像素位置所对应的食道部位进行切片检测，可有效提高检测巴瑞特式食道的准确率。
图2是根据本发明的实施例所绘示的生理图像的示意图。图3是根据本发明的实施例所绘示的目标图像区域的示意图。图4是根据本发明的实施例所绘示的目标像素位置的示意图。
请参照图1至图4，假设生理图像101包括图像21。处理器11可经由人工智能模型102从图像21中辨识出图像区域31(即目标图像区域，图3中以斜线标记的区域)。例如，图像区域31可包括人工智能模型102所辨识的巴瑞特式食道所涵盖的图像区域。接着，处理器11可根据图像区域31中的至少部分像素位置(即候选像素位置)所对应的估计值之数值分布，将图像区域31中的像素位置401及/或402确定为目标像素位置。例如，像素位置401所对应的估计值可高于像素位置401附近或周围的至少一个像素位置所对应的估计值，且像素位置402所对应的估计值可高于像素位置402附近或周围的至少一个像素位置所对应的估计值。换言之，像素位置401及402可包括人工智能模型102所辨识的图像区域31中巴瑞特式食道的发生机率相对较高的位置。然后，处理器11可根据像素位置401及/或402产生医疗辅助信息103。医疗辅助信息103可带有与像素位置401及/或402有关的提示信息(例如像素位置401及/或402的坐标信息)。尔后，医疗辅助信息103可用以将像素位置401及/或402作为患者的食道中适合切片的位置推荐给医生，以提高后续对巴瑞特式食道的诊断准确率。
在一实施例中，处理器11可将图像区域31中对应于最大的估计值的像素位置确定为目标像素位置。在另一实施例中，若对应于较大的估计值的多个像素位置集中于一特定区块内时，处理器11可选择所述特定区块之中心处的像素位置作为目标像素位置。
须注意的是，在将像素位置401及402同时作为目标像素位置的状况下，在图像21中，像素位置401及402之间的距离(亦称为像素距离)d需大于预设距离值。例如，预设距离值在实体空间中所对应的距离(亦称为实际距离)可为10毫米(millimeter,mm)或其他数值。藉此，可有效提高后续切片检测的准确率。此外，在一实施例中，图像区域31中更多的像素位置也可被确定为目标像素位置，以作为切片检测的参考位置，本发明不加以限制。
在一实施例中，处理器11可根据一转换方程式将图像21中的距离d转换为实体空间中的实际距离，或者将实体空间中的实际距离转换为图像21中的距离d。在一实施例中，处理器11从DICOM格式的生理图像101中获得像素点间的距离信息(例如距离d)，进而根据此距离信息计算像素位置401及402之间的实际距离。
在一实施例中，在选择像素位置401作为目标像素位置后，处理器11可根据所述预设距离值选择符合条件的像素位置402作为目标像素位置。或者，在一实施例中，处理器11也可先选择像素位置402作为目标像素位置，再根据所述预设距离值选择像素位置401作为目标像素位置，只要所选择的像素位置401及402满足预设条件(即像素位置401及402之间的距离d大于所述预设距离值)即可。
在一实施例中，假设像素位置401先被确定为目标像素位置。在像素位置401及402之间的距离d不大于所述预设距离值的状况下，即便像素位置402所对应的估计值很大，处理器11仍可忽略像素位置402且不将像素位置402确定为目标像素位置。
在一实施例中，人工智能模型102的总数可为一个。在人工智能模型102的总数为一个的状况下，人工智能模型102可用以分析生理图像101并针对生理图像101中的各个像素位置输出所述估计值，以反映生理图像101中的各个像素位置属于巴瑞特式食道的机率。处理器11可直接使用人工智能模型102所输出的估计值，来确定生理图像101中的目标图像区域与目标像素位置。相关的操作细节已详述于上，在此便不赘述。
在一实施例中，人工智能模型102的总数亦可为多个。在人工智能模型102的总数为多个的状况下，人工智能模型102可至少包括第一人工智能模型与第二人工智能模型。第一人工智能模型与第二人工智能模型皆可用以分析生理图像101并针对生理图像101中的各个像素位置输出所述估计值，以反映生理图像101中的各个像素位置属于巴瑞特式食道的机率。处理器11可根据该第一人工智能模型的输出，获得生理图像101中的各个像素位置所对应的估计值(亦称为第一估计值)。另一方面，处理器11可根据该第二人工智能模型的输出，获得生理图像101中的各个像素位置所对应的估计值(亦称为第二估计值)。接着，处理器11可根据第一估计值与第二估计值确定生理图像101中的各个像素位置所对应的估计值(亦称为第三估计值)。尔后，处理器11可根据生理图像101中的各个像素位置所对应的估计值(即第三估计值)来确定目标图像区域与目标像素位置。相关的操作细节已详述于上，在此便不赘述。
图5是根据本发明的实施例所绘示的根据多个人工智能模型的输出获得估计值的示意图。请参照图1与图5，假设人工智能模型102包括人工智能模型51～53。人工智能模型51～53可分析图1的生理图像101并分别输出估计值501～503。特别是，估计值501可反映人工智能模型51所判定的生理图像101中的某一像素位置属于巴瑞特式食道的机率，估计值502可反映人工智能模型52所判定的生理图像101中的某一像素位置属于巴瑞特式食道的机率，且估计值503可反映人工智能模型53所判定的生理图像101中的某一像素位置属于巴瑞特式食道的机率。
处理器11可根据估计值501～503执行逻辑处理54以产生估计值55。例如，逻辑处理54可包括对估计值501～503进行数值平均等各式逻辑运算。估计值55可反映出对估计值501～503执行逻辑处理54的操作结果。例如，假设估计值55为估计值501～503的平均值，则估计值55可反映出人工智能模型51～53所判定的生理图像101中的某一像素位置属于巴瑞特式食道的平均机率。尔后，处理器11可根据估计值55来确定目标图像区域与目标像素位置。相关的操作细节已详述于上，在此便不赘述。
图6是根据本发明的实施例所绘示的人工智能模型分析生理图像的示意图。请参照图5与图6，以人工智能模型51为例，人工智能模型51可包括编码器61与解码器62。编码器61耦接至人工智能模型51的输入。解码器62耦接至编码器61的输出与人工智能模型51的输出。例如，编码器61可采用EfficientNetB3作为骨干网络以学习图像特征，并使用ImageNet来预训练网络权重以进行转移学习。解码器62可采用Unet作为骨干网络以输出对应于图像中的各个像素位置的估计值。
须注意的是，在解码器62内部，用以扩充解码像素面积的上采样层(Up-Samping)可被替换为反卷积层(Deconvolution)，以优化人工智能模型51的学习能力。此外，解码器62可采用Sigmoid函数作为激活函数，以输出对应于图像中的各个像素位置的估计值。
以分析图2的图像21为例，在将图像21输入至人工智能模型51后，编码器61可先通过EfficientNetB3网络对图像21进行编码。然后，解码器62可通过客制化(包含反卷积层)的Unet网络对编码器61的操作结果进行解码并产生估计值501。或者，在一实施例中，人工智能模型51亦可直接根据估计值501输出图像21中经辨识的图像区域31。或者，在一实施例中，人工智能模型51的第一部分可用以分析图像21并输出图像区域31，而人工智能模型51的第二部分可用以从图像区域31中确定目标像素位置。
在一实施例中，在人工智能模型102的总数为多个的状况下，处理器11可使用特定训练数据(亦称为第一训练数据)来训练人工智能模型102中的第一人工智能模型并使用特定验证数据(亦称为第一验证数据)来验证经训练的第一人工智能模型。另一方面，处理器11可使用另一训练数据(亦称为第二训练数据)来训练人工智能模型102中的第二人工智能模型。此外，处理器11可使用另一验证数据(亦称为第二验证数据)来验证经训练的第二人工智能模型。特别是，第二训练数据不同于第一训练数据，且用来训练第二人工智能模型的第二训练数据可包括用来验证第一人工智能模型的第一验证数据。此外，第二验证数据可包括第一训练数据中的至少部分数据。通过交叉式的使用对于不同人工智能模型的训练数据与验证数据，可有效提高对于多个人工智能模型的训练效率。
图7是根据本发明的实施例所绘示的训练多个人工智能模型的示意图。请参照图7，以训练图5的人工智能模型51～53为例，训练数据71～73可分别用以训练人工智能模型51～53，且验证数据74～76则可分别用以验证经训练的人工智能模型51～53。例如，在分别使用训练数据71～73来训练人工智能模型51～53后，验证数据74～76可分别用以验证经训练的人工智能模型51～53的图像辨识能力。此外，根据验证结果，人工智能模型51～53内部的决策参数也可被对应调整，以优化决策能力。
须注意的是，训练数据71可包括图像数据702与703，训练数据72可包括图像数据701与703，且训练数据73可包括图像数据701与702。此外，验证数据74可包括图像数据701，验证数据75可包括图像数据702，且验证数据76可包括图像数据703。图像数据701～703可分别包括一或多个患者的食道图像，且此些食道图像中可包含或不包含巴瑞特式食道的图像特征。此外，图像数据701～703中的至少部分图像可经过缩放、旋转及/或调整颜色等图像处理手段，以提高训练数据的多样性。
从另一角度而言，对于人工智能模型52与53的共同训练数据701可被使用于验证人工智能模型51的图像辨识能力，对于人工智能模型51与53的共同训练数据702可被使用于验证人工智能模型52的图像辨识能力，且对于人工智能模型51与52的共同训练数据703可被使用于验证人工智能模型53的图像辨识能力。在一实施例中，通过交叉式的使用对于其他人工智能模型的训练数据来作为特定人工智能模型的验证数据，可有效提高对人工智能模型的训练与验证效率。
须注意的是，虽然图5与图7的实施例皆是以3个人工智能模型作为人工智能模型102的范例，但本发明不限于此。在其他实施例中，人工智能模型102亦可包括更多(例如5个)或更少(例如2个)人工智能模型，且模型的使用与训练方式皆已详述于上，在此便不赘述。
图8是根据本发明的实施例所绘示的医疗辅助信息产生系统的示意图。请参照图1与图8，在一实施例中，输入/输出界面13可包括摄影机81及/或显示器82。
摄影机81可包括微型摄影机(或微型摄影镜头)。摄影机81的镜头可深入至患者801的食道进行食道摄影，以选取患者801的食道的内部图像，如图8所示。因此，生理图像101可包括经由深入至患者801的食道的摄影机81所选取的图像。此外，显示器82可用以呈现医疗辅助信息103，以供医生查看。
在一实施例中，显示器82可显示如图3或图4的目标图像区域或目标像素位置。在一实施例中，图1的处理器11可将标注有目标图像区域的图层覆盖于生理图像101上及/或在生理图像101上附加标示目标像素位置的亮点。在将标注有目标图像区域的图层覆盖于生理图像101上及/或在生理图像101上附加标示目标像素位置的亮点后，处理器11可将处理后的图像显示于显示器82，从而呈现出医疗辅助信息103。
在一实施例中，医疗辅助信息产生系统10可包括用以辨识胃食道交界处的图像的模型，且所述模型可存储于图1的存储电路12中。当摄影机81进行食道摄影时，处理器11可将经由摄影机81拍摄而获得的患者801的多张食道的内部图像输入所述用以辨识胃食道交界处的图像的模型，而所述模型可用以从所述多张食道的内部图像中找出胃食道交界处的图像。例如，所述胃食道交界处的图像可包括图1的生理图像101(或图2的图像21)。
图9是根据本发明的实施例所绘示的医疗辅助信息产生方法的流程图。请参照图9，在步骤S901中，获得生理图像。例如，所述生理图像可反映患者的食道状态。在步骤S902中，经由至少一人工智能模型从所述生理图像中辨识出目标图像区域，其中所述目标图像区域中的各个像素位置对应一个估计值，且所述估计值符合预设条件。在步骤S903中，根据所述估计值的数值分布在所述目标图像区域中确定至少一目标像素位置。在步骤S904中，根据所述至少一目标像素位置产生医疗辅助信息，其中所述医疗辅助信息带有与所述至少一目标像素位置有关的提示信息。
然而，图9中各步骤已详细说明如上，在此便不再赘述。值得注意的是，图9中各步骤可以实作为多个程序码或是电路，本发明不加以限制。此外，图9的方法可以搭配以上范例实施例使用，也可以单独使用，本发明不加以限制。
综上所述，经由人工智能模型执行两阶段的图像侦测与像素位置筛选技术(第一阶段为辨识目标图像区域，且第二阶段为确定目标像素位置)，所确定的目标像素位置可作为执行切片检测的参考位置推荐给使用者(例如医生)，从而提高对于巴瑞特式食道等疾病的检测准确率。此外，通过采用客制化的人工智能模型以及针对多个模型的交叉式训练与验证机制，也可有效提高人工智能模型的图像辨识能力。
虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视权利要求所界定的为准。

Claims (20)

1.一种医疗辅助信息产生方法，其特征在于，包括：
获得生理图像；
经由至少一人工智能模型从该生理图像中辨识出目标图像区域，其中该目标图像区域中的各个像素位置对应一个估计值，且该估计值符合预设条件；
根据该估计值的数值分布在该目标图像区域中确定至少一目标像素位置；以及
根据该至少一目标像素位置产生医疗辅助信息，其中该医疗辅助信息带有与该至少一目标像素位置有关的提示信息。
2.如权利要求1所述的医疗辅助信息产生方法，其特征在于，经由该至少一人工智能模型从该生理图像中辨识出该目标图像区域的步骤包括：
将该生理图像输入至该至少一人工智能模型；
根据该至少一人工智能模型的输出确定该生理图像中的各个像素位置所对应的估计值；以及
根据该生理图像中的各个像素位置所对应的该估计值，在该生理图像中确定该目标图像区域。
3.如权利要求2所述的医疗辅助信息产生方法，其特征在于，该至少一人工智能模型包括第一人工智能模型与第二人工智能模型，且根据该至少一人工智能模型的该输出确定该生理图像中的各个像素位置所对应的该估计值的步骤包括：
根据该第一人工智能模型的输出，获得该生理图像中的各个像素位置所对应的第一估计值；
根据该第二人工智能模型的输出，获得该生理图像中的各个像素位置所对应的第二估计值；以及
根据该第一估计值与该第二估计值确定该生理图像中的各个像素位置所对应的第三估计值。
4.如权利要求2所述的医疗辅助信息产生方法，其特征在于，根据该生理图像中的各个像素位置所对应的该估计值，在该生理图像中确定该目标图像区域的步骤包括：
判断该生理图像中的第一像素位置所对应的估计值是否大于预设值；以及
响应于该第一像素位置所对应的该估计值大于该预设值，将该第一像素位置纳入至该目标图像区域中。
5.如权利要求4所述的医疗辅助信息产生方法，其特征在于，根据该估计值的该数值分布在该目标图像区域中确定该至少一目标像素位置的步骤包括：
比较该目标图像区域中的多个候选像素位置所对应的估计值；以及
根据比较结果从该多个候选像素位置中确定该至少一目标像素位置。
6.如权利要求5所述的医疗辅助信息产生方法，其特征在于，根据该比较结果从该多个候选像素位置中确定该至少一目标像素位置的步骤包括：
将该多个候选像素位置中对应于最大的估计值的候选像素位置确定为该至少一目标像素位置的其中之一。
7.如权利要求1所述的医疗辅助信息产生方法，其特征在于，该至少一目标像素位置包括第一目标像素位置与第二目标像素位置，且该第一目标像素位置与该第二目标像素位置之间的距离需大于预设距离值。
8.如权利要求1所述的医疗辅助信息产生方法，其特征在于，该至少一人工智能模型包括第一人工智能模型与第二人工智能模型，且该医疗辅助信息产生方法更包括：
使用第一训练数据训练该第一人工智能模型；
使用第一验证数据验证经训练的该第一人工智能模型；以及
使用第二训练数据训练该第二人工智能模型，
其中该第二训练数据包括该第一验证数据。
9.如权利要求8所述的医疗辅助信息产生方法，其特征在于，更包括：
使用第二验证数据验证经训练的该第二人工智能模型，
其中该第二验证数据包括该第一训练数据中的至少部分数据。
10.如权利要求1所述的医疗辅助信息产生方法，其特征在于，该生理图像包括经由深入至患者的食道的摄影机所选取的图像。
11.一种医疗辅助信息产生系统，其特征在于，包括：
存储电路，用以存储生理图像；以及
处理器，耦接至该存储电路，
其中该处理器用以：
获得该生理图像；
经由至少一人工智能模型从该生理图像中辨识出目标图像区域，其中该目标图像区域中的各个像素位置对应一个估计值，且该估计值符合预设条件；
根据该估计值的数值分布在该目标图像区域中确定至少一目标像素位置；以及
根据该至少一目标像素位置产生医疗辅助信息，其中该医疗辅助信息带有与该至少一目标像素位置有关的提示信息。
12.如权利要求11所述的医疗辅助信息产生系统，其特征在于，经由该至少一人工智能模型从该生理图像中辨识出该目标图像区域的操作包括：
将该生理图像输入至该至少一人工智能模型；
根据该至少一人工智能模型的输出确定该生理图像中的各个像素位置所对应的估计值；以及
根据该生理图像中的各个像素位置所对应的该估计值，在该生理图像中确定该目标图像区域。
13.如权利要求12所述的医疗辅助信息产生系统，其特征在于，该至少一人工智能模型包括第一人工智能模型与第二人工智能模型，且根据该至少一人工智能模型的该输出确定该生理图像中的各个像素位置所对应的该估计值的操作包括：
根据该第一人工智能模型的输出，获得该生理图像中的各个像素位置所对应的第一估计值；
根据该第二人工智能模型的输出，获得该生理图像中的各个像素位置所对应的第二估计值；以及
根据该第一估计值与该第二估计值确定该生理图像中的各个像素位置所对应的该估计值。
14.如权利要求12所述的医疗辅助信息产生系统，其特征在于，根据该生理图像中的各个像素位置所对应的该估计值，在该生理图像中确定该目标图像区域的操作包括：
判断该生理图像中的第一像素位置所对应的估计值是否大于预设值；以及
响应于该第一像素位置所对应的该估计值大于该预设值，将该第一像素位置纳入至该目标图像区域中。
15.如权利要求14所述的医疗辅助信息产生系统，其特征在于，根据该估计值的该数值分布在该目标图像区域中确定该至少一目标像素位置的操作包括：
比较该目标图像区域中的多个候选像素位置所对应的估计值；以及
根据比较结果从该多个候选像素位置中确定该至少一目标像素位置。
16.如权利要求15所述的医疗辅助信息产生系统，其特征在于，根据该比较结果从该多个候选像素位置中确定该至少一目标像素位置的操作包括：
将该多个候选像素位置中对应于最大的估计值的候选像素位置确定为该至少一目标像素位置的其中之一。
17.如权利要求11所述的医疗辅助信息产生系统，其特征在于，该至少一目标像素位置包括第一目标像素位置与第二目标像素位置，且该第一目标像素位置与该第二目标像素位置之间的距离需大于预设距离值。
18.如权利要求11所述的医疗辅助信息产生系统，其特征在于，该至少一人工智能模型包括第一人工智能模型与第二人工智能模型，且该处理器更用以：
使用第一训练数据训练该第一人工智能模型；
使用第一验证数据验证经训练的该第一人工智能模型；以及
使用第二训练数据训练该第二人工智能模型，
其中该第二训练数据包括该第一验证数据。
19.如权利要求18所述的医疗辅助信息产生系统，其特征在于，该处理器更用以：
使用第二验证数据验证经训练的该第二人工智能模型，
其中该第二验证数据包括该第一训练数据中的至少部分数据。
20.如权利要求11所述的医疗辅助信息产生系统，其特征在于，更包括：
摄影机，耦接至该处理器，
其中该生理图像包括经由深入至患者的食道的该摄影机所选取的图像。
CN202210433608.8A 2022-03-30 2022-04-24 医疗辅助信息产生方法与医疗辅助信息产生系统 Pending CN116934669A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW111112157 2022-03-30
TW111112157A TWI825643B (zh) 2022-03-30 2022-03-30 醫療輔助資訊產生方法與醫療輔助資訊產生系統

Publications (1)

Publication Number Publication Date
CN116934669A true CN116934669A (zh) 2023-10-24

Family

ID=82608026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210433608.8A Pending CN116934669A (zh) 2022-03-30 2022-04-24 医疗辅助信息产生方法与医疗辅助信息产生系统

Country Status (4)

Country Link
US (1) US20230316503A1 (zh)
EP (1) EP4254326A1 (zh)
CN (1) CN116934669A (zh)
TW (1) TWI825643B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019054045A1 (ja) * 2017-09-15 2019-03-21 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及び医療画像処理プログラム
CN115345819A (zh) * 2018-11-15 2022-11-15 首都医科大学附属北京友谊医院 一种胃癌图像识别系统、装置及其应用
CN110490856B (zh) * 2019-05-06 2021-01-15 腾讯医疗健康(深圳)有限公司 医疗内窥镜图像的处理方法、系统、机器设备和介质
TWI738367B (zh) * 2020-06-01 2021-09-01 國立中正大學 以卷積神經網路檢測物件影像之方法
US20220036542A1 (en) * 2020-07-28 2022-02-03 International Business Machines Corporation Deep learning models using locally and globally annotated training images

Also Published As

Publication number Publication date
EP4254326A1 (en) 2023-10-04
TWI825643B (zh) 2023-12-11
US20230316503A1 (en) 2023-10-05
TW202337382A (zh) 2023-10-01

Similar Documents

Publication Publication Date Title
CN109919928B (zh) 医学影像的检测方法、装置和存储介质
US10733733B1 (en) Method for detecting anomaly using generative adversarial networks, apparatus and system thereof
JP5868231B2 (ja) 医用画像診断支援装置、医用画像診断支援方法ならびにコンピュータプログラム
JP2021513435A (ja) 胃腸腫瘍を診断するシステム及び方法
KR102332088B1 (ko) 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 폴립 바운더리 인식을 통한 폴립 세그먼테이션 장치 및 그 방법
CN112233117A (zh) 一种新冠肺炎ct检测识别定位系统及计算设备
WO2016185617A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US10290101B1 (en) Heat map based medical image diagnostic mechanism
JP2015514447A (ja) マルチモーダル画像統合におけるレジストレーション精度を改善するインテリジェントなランドマーク選択
CN111325714B (zh) 感兴趣区域的处理方法、计算机设备和可读存储介质
CN112466466B (zh) 基于深度学习的消化道辅助检测方法、装置和计算设备
CN110599421A (zh) 模型训练方法、视频模糊帧转换方法、设备及存储介质
JP6901007B2 (ja) 学習装置、検査システム、学習方法、検査方法およびプログラム
WO2020232374A1 (en) Automated anatomic and regional location of disease features in colonoscopy videos
CN112330624A (zh) 医学图像处理方法和装置
CN111916206A (zh) 一种基于级联的ct影像辅助诊断系统
CN111028940B (zh) 肺结节多尺度检测方法、装置、设备及介质
CN111899848B (zh) 图像识别方法及设备
CN116934669A (zh) 医疗辅助信息产生方法与医疗辅助信息产生系统
CN111476775B (zh) Dr征象识别装置和方法
CN114359133A (zh) 基于特征提取的手骨影像分析方法及相关设备
CN113096132B (zh) 图像处理的方法、装置、存储介质和电子设备
CN114612373A (zh) 一种图像识别方法及服务器
CN111598870A (zh) 基于卷积神经网络端对端推理计算冠状动脉钙化比的方法
Yang et al. Lung Nodule Segmentation and Uncertain Region Prediction with an Uncertainty-Aware Attention Mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination