CN115337039A - 超声波诊断装置以及诊断辅助方法 - Google Patents

超声波诊断装置以及诊断辅助方法 Download PDF

Info

Publication number
CN115337039A
CN115337039A CN202210436506.1A CN202210436506A CN115337039A CN 115337039 A CN115337039 A CN 115337039A CN 202210436506 A CN202210436506 A CN 202210436506A CN 115337039 A CN115337039 A CN 115337039A
Authority
CN
China
Prior art keywords
lesion candidate
database
detected
unit
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210436506.1A
Other languages
English (en)
Inventor
西浦朋史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Healthcare Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Healthcare Corp filed Critical Fujifilm Healthcare Corp
Publication of CN115337039A publication Critical patent/CN115337039A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4411—Device being modular
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Clinical applications
    • A61B8/0825—Clinical applications for diagnosis of the breast, e.g. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4483—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
    • A61B8/4488—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer the transducer being a phased array
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Gynecology & Obstetrics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明涉及超声波诊断装置以及诊断辅助方法。检测部(33)使用机器学习完毕检测模型来检测显示帧数据(断层图像)中包含的病变部候补。除外处理部(34)将所检测到的病变部候补的特征向量与除外数据库中的特征向量群进行对比，来判定所检测到的病变部候补是否相当于除外对象。标志显示控制部(30)在所检测到的病变部候补相当于除外对象的情况下，限制通知病变部候补的标志的显示。

Description

超声波诊断装置以及诊断辅助方法
技术领域
本公开涉及超声波诊断装置以及诊断辅助方法，特别涉及对检查者通知病变部候补的技术。
背景技术
在超声波检查中，将与被检查者的表面抵接的探头沿着被检查者的表面扫描。在该扫描的过程中，由检查者观察显示于显示器的实时断层图像，通过该观察来判断有无病变部。在找到病变部的情况下，详细检查病变部。
在动态地变化的断层图像上，用视觉确定暂时出现的病变部并不容易。作为辅助病变部确定的技术，有CADe(Computer Aided Detection，计算机辅助探测)。该技术例如检测断层图像中包含的病变部候补，将所检测到的病变部候补通知给检查者。例如，在断层图像上显示包围病变部候补的标志。CADe同CAD(Computer Aided Diagnosis，计算机辅助诊断)一起利用或包含在CAD中。CAD也被标注为CADx。
在文献1(JP特许第5982726号说明书)中公开了具备CAD功能的数据解析系统。在该系统内的自动检测装置中，进行特征向量的运算、特征向量与学习数据的比较等。在发生了病变部候补的误认的情况下，执行再学习。在文献1中，并未公开在不进行再学习的情况下防止误认的技术。
另外，在本申请说明书中，病变部是指有可能为疾患的部位或有必要进行详查的部位。病变部候补是指为了辅助检查者对病变部的确定以及诊断而检测到的部位。
在通过机器学习型检测部检测病变部候补并同超声波图像一起显示通知病变部候补的标志的超声波诊断装置中，在希望修正标志显示对象的情况下，一般使机器学习型检测部进行再学习。但再学习通常需要相当多的时间。由于无法容易地进行再学习，因此处于无法满足希望对应于被检查者、检查目的、医疗机构等来灵活地修正标志显示对象这样的需求的状况。
发明内容
本公开的目的在于，在通过机器学习型检测部检测病变部候补的超声波诊断装置中，能灵活地修正成为标志显示对象的病变部候补。或者，本公开的目的在于，提供能减少机器学习型检测部中的再学习的必要性的新的机制。
本公开所涉及的超声波诊断装置的特征在于，包含：检测部，具有机器学习完毕检测模型，检测超声波图像中的病变部候补；数据库，按设为除外对象的每个病变部候补登记其特征量；判定部，通过将由所述检测部检测到的病变部候补的特征量与登记于所述数据库的特征量群进行对比，来判定所检测到的所述病变部候补是否相当于除外对象；和显示控制部，在所检测到的所述病变部候补不相当于除外对象的情况下，在所述超声波图像上显示通知所检测到的所述病变部候补的标志，在所检测到的所述病变部候补相当于除外对象的情况下，限制所述标志的显示。
本公开所涉及的诊断辅助方法的特征在于，包含如下步骤：使用机器学习完毕检测模型来检测超声波图像中的病变部候补；按设为除外对象的每个病变部候补将其特征量登记到数据库；通过将所检测到的所述病变部候补的特征量与登记于所述数据库的特征量群进行对比，来判定所检测到的所述病变部候补是否相当于除外对象；和在所检测到的所述病变部候补不相当于除外对象的情况下，在所述超声波图像上显示通知所检测到的所述病变部候补的标志，在所检测到的所述病变部候补相当于除外对象的情况下，限制所述标志的显示。
本公开所涉及的程序用于在信息处理装置中执行诊断辅助方法，其特征在于，包含如下功能：使用机器学习完毕检测模型来检测超声波图像中的病变部候补；按设为除外对象的每个病变部候补将其特征量登记到数据库；通过将所检测到的所述病变部候补的特征量与登记于所述数据库的特征量群进行对比，来判定所检测到的所述病变部候补是否相当于除外对象；和在所检测到的所述病变部候补不相当于除外对象的情况下，在所述超声波图像上显示通知所检测到的所述病变部候补的标志，在所检测到的所述病变部候补相当于除外对象的情况下，限制所述标志的显示。
附图说明
图1是表示实施方式所涉及的超声波诊断装置的结构的框图。
图2是用于说明标志生成方法的图。
图3是表示图像解析部的第1结构例的图。
图4是示意表示第1动作例的图。
图5是表示第1动作例的流程图。
图6是示意表示第2动作例的图。
图7是表示第2动作例的流程图。
图8是表示图像解析部的第2结构例的图。
图9是表示变形例的图。
具体实施方式
以下基于附图来说明实施方式。
(1)实施方式的概要
实施方式所涉及的超声波诊断装置具有检测部、数据库、判定部以及显示控制部。检测部具有机器学习完毕检测模型，检测超声波图像中的病变部候补。在数据库中，按每个设为除外对象的病变部候补登记其特征量。判定部通过将由检测部检测到的病变部候补的特征量与登记于数据库的特征量群进行对比，来判定所检测到的病变部候补是否相当于除外对象。显示控制部在所检测到的病变部候补不相当于除外对象的情况下，在超声波图像上显示通知所检测到的病变部候补的标志，在所检测到的病变部候补相当于除外对象的情况下，限制标志的显示。检测部相当于检测器(detector)。判定部相当于判定器(determiner、discriminator)。显示控制部相当于控制器(controller)。
上述结构为了使检测对象的一部分不成为标志显示对象而将该一部分在事后从标志显示对象除外。根据上述结构，不修正机器学习完毕检测模型，就能容易地限制标志显示对象。解除该限制也容易。
在病变部候补的特征量的概念中包含：从病变部候补提取的特征量；从包含病变部候补及其周围的图像部分提取的特征量；以及从包含病变部候补的超声波图像提取的特征量。在特征量的概念中包含特征向量、图像图案等。通知病变部候补的标志是在超声波图像上确定病变部候补的显示要素。
实施方式所涉及的超声波诊断装置还具有输入部以及登记部。输入部接受来自观察超声波图像中的病变部候补且观察超声波图像上的标志的用户的除外指示。登记部将成为除外指示的对象的病变部候补的特征量登记到数据库。不使机器学习完毕检测模型进行再学习，就能由用户修正成为标志显示对象的病变部候补群。输入部相当于输入器(inputter)。登记部相当于登记器(register)。
在实施方式中，输入部在冻结状态下接受除外指示。登记部在冻结状态下将成为除外指示的对象的病变部候补的特征量登记到数据库来更新数据库。冻结状态是收发停止状态，而且是持续显示静止图像的状态。
在实施方式中，输入部在实时动作状态下接受除外指示。登记部在实时动作状态下，基于接受到除外指示的定时来确定显示完毕的1个或多个帧数据。此外，登记部在实时动作状态下，从所确定的1个或多个帧数据提取病变部候补的特征量，将该特征量登记到数据库，来更新数据库。
根据上述结构，能在实时动作状态下更新数据库。例如，能限制由误检测引起的标志显示。实时动作状态是在进行收发的同时将超声波图像显示为动态图像的状态。例如，以接受到除外指定的定时为基准，来确定向过去回溯给定期间内的多个帧数据，基于这些来提取多个特征量或代表特征量。
在实施方式中，检测部具有求取病变部候补的特征量的功能。或者，与检测部分开地设置运算部。运算部运算病变部候补的特征量。运算部相当于运算器(calculator)。
实施方式所涉及的超声波诊断装置包含将数据库的全部或一部分清空的管理部。在实施方式中，数据库包含多个表格。在各表格中登记至少1个特征量。管理部从多个表格中选择进行清空的表格。例如，也可以按每个被检查者、按每次超声波检查、或按每个检查者来准备表格，在给定的定时将使用了的表格清空。管理部相当于管理器(manager)。
实施方式所涉及的诊断辅助方法具有检测工序、登记工序、判定工序以及显示控制工序。在检测工序中，使用机器学习完毕检测模型来检测超声波图像中的病变部候补。在登记工序中，按设为除外对象的每个病变部候补将其特征量登记到数据库。在判定工序中，将所检测到的病变部候补的特征量与登记于数据库的特征量群进行对比，由此判定所检测到的病变部候补是否相当于除外对象。在显示控制工序中，在所检测到的病变部候补不相当于除外对象的情况下，在超声波图像上显示通知所检测到的病变部候补的标志。在所检测到的病变部候补相当于除外对象的情况下，限制标志的显示。
上述诊断辅助方法作为硬件的功能或软件的功能来实现。在后者的情况下，将用于执行诊断辅助方法的程序经由可移动型存储介质或网络向信息处理装置安装。信息处理装置的概念包含超声波诊断装置、图像处理装置、计算机等。信息处理装置包含存放上述程序的非临时性存储介质。
(2)实施方式的详细内容
在图1将实施方式所涉及的超声波诊断装置的结构示出为框图。超声波诊断装置是医疗用的装置，设置于医院等医疗机构，基于通过对生物体(被检查者)发送接收超声波而得到的接收信号来形成超声波图像。成为超声波检查对象的脏器例如是乳房。
在乳房的集体体检中，需要在短时间内且无漏看地确定病变部。实施方式所涉及的超声波诊断装置为了辅助检查者的病变部的确定，而具备自动检测超声波图像中包含的病变部候补(例如能断定是肿瘤的可能性的低亮度部分)的CADe功能。之后对此详述。
探头10作为收发超声波的单元发挥功能。具体地，探头10是可移动型收发器，其由作为用户的检查者(医师、检查技师等)保持以及操作。在乳房的超声波诊断时，将探头10的收发波面(具体是声透镜表面)与被检查者的胸部表面抵接。在观察实时显示的断层图像的同时，沿着胸部表面将探头10手动进行扫描。在断层图像上确定了病变部候补的情况下，慢慢调整探头10的位置以及姿势，之后，在将探头10的位置以及姿势固定的状态下，仔细地观察断层图像。
探头10在图示的结构例中具备由一维排列的多个振动元件(transducers)构成的振动元件阵列。由振动元件阵列形成超声波波束(发送波束以及接收波束)12，通过超声波波束12的电子扫描来形成扫描面14。扫描面14是观察面，即，是二维数据取入区域。作为超声波波束12的电子扫描方式，已知电子扇形扫描方式、电子线性扫描方式等。也可以进行超声波波束12的凸面扫描。也可以在探头10内设置2D振动元件阵列，通过超声波波束的二维扫描来从生物体内取得体数据。
也可以设置求取探头10的位置信息的定位系统。定位系统例如由磁传感器以及磁场产生器构成。在该情况下，在探头10(正确是探头10中的探头头部)装配磁传感器。通过磁传感器来检测由磁场产生器生成的磁场。由此，能得到磁传感器的三维坐标信息。能基于三维坐标信息来确定探头10的位置以及姿势。
发送电路22作为发送波束形成器发挥功能。具体地，在发送时，发送电路22对振动元件阵列并列地供给多个发送信号。由此，形成发送波束。在接收时，若来自生物体内的反射波到达振动元件阵列，就从多个振动元件并列地输出多个接收信号。接收电路24作为接收波束形成器发挥功能，通过多个接收信号的调相加法运算(phase-alignment andsumming)(也称作延迟加法运算(delay and summing))来生成波束数据。
每1次电子扫描，就生成在电子扫描方向上排列的多个波束数据，这些构成与扫描面14对应的接收帧数据。各个波束数据由在深度方向上排列的多个回波数据构成。在接收电路24的后级设有波束数据处理部，但省略其图示。
图像形成部26是基于接收帧数据来形成断层图像(B模式断层图像)的电子电路。其具有DSC(Digital Scan Converter，数字扫描变换器)。DSC具有坐标变换功能、像素插值功能、帧频变换功能等。更详细地，由图像形成部26基于接收帧数据串来生成显示帧数据串。构成显示帧数据串的各显示帧数据是断层图像数据。由多个断层图像数据构成实时动态图像。也可以生成断层图像以外的超声波图像。例如，可以形成彩色血流成像图像，也可以形成立体地表现组织的三维图像。在图示的结构例中，将显示帧数据串送到显示处理部32以及图像解析部28。
图像解析部28是发挥CADe功能的模块。图像解析部28具有检测部33以及除外处理部34。
检测部33按每个显示帧数据、即按每个断层图像来检测病变部候补。检测部33包含具有机器学习完毕检测模型的机器学习型检测器。其由例如CNN(Convolutional NeuralNetwork，卷积神经网络)等构成，将低亮度的封闭区域检测为病变部候补。可以在检测部33中的病变部候补的检测之前，对断层图像运用二值化处理、噪声除去等。检测部33在病变部候补的检测后输出病变部候补信息。
在病变部候补信息中包含病变部候补的位置信息、病变部候补的尺寸信息、检测的可靠度等。在得到超过一定的阈值的可靠度的情况下，判定为检测到病变部候补。检测部33具备运算特征向量来作为病变部候补的特征量的功能。
病变部候补的位置信息例如是表示病变部候补其自身的中心点的坐标的信息，或者，是表示与病变部候补相切且包围其的图形的中心点的坐标的信息。中心点是代表点。作为中心点，能采用图形的几何学上的中心点、图形的重心点。病变部候补的尺寸信息例如是表示病变部候补其自身的尺寸的信息，或者，是表示与病变部候补相切且包围其的图形的尺寸的信息。例如，根据图形的中心点的坐标和图形的左上角点的坐标来确定病变部候补的尺寸。在确定了中心点的坐标的前提下，可以将左上角点的坐标视作病变部候补的尺寸信息。作为病变部候补的尺寸信息，也可以求取病变部候补的面积。也可以并列地检测多个病变部候补。
特征向量由多个向量要素构成。能使用公知的1个或多个特征向量运算方法。作为特征向量运算方法，可以使用多变量解析法。作为特征量，可以使用图像图案。另外，作为病变部候补的特征量，能举出从病变部候补提取的特征量、从包含病变部候补及其周围的图像部分提取的特征量、和从包含病变部候补的超声波图像提取的特征量。
除外处理部34具有除外数据库。除外处理部34将检测部33当前所检测到的病变部候补(当前病变部候补)的特征向量与除外数据库上的特征向量群进行对比。在命中具有一定以上的类似度的特征向量的情况下，即，在所检测到的病变部候补相当于除外对象的情况下，除外处理部34向标志显示控制部30输出除外指示信号。在未命中具有一定以上的类似度的特征向量的情况下，即，在所检测到的病变部候补不相当于除外对象的情况下，不输出除外指示信号。
标志显示控制部30将通知所检测到的病变部候补的标志重叠显示在超声波图像上。但标志显示控制部30在从除外处理部34输出了除外指示信号的情况下，不显示标志。如此地，通过区分检测对象和标志显示对象，来事后定制标志显示对象。在定制时不需要使检测部33内的机器学习型检测器进行再学习。将包含标志显示控制部30所生成的标志的图形数据向显示处理部32输出。
在显示标志的情况下，可以通过标志的显示形态的变更来表现可靠度的大小。例如，可以在可靠度低的情况下，以冷色系的颜色来显示标志，在可靠度高的情况下，以暖色系的颜色来显示标志。可以在可靠度低的情况下，以低亮度来显示标志，在可靠度高的情况下，以高亮度来显示标志。可以在可靠度低的情况下，以高的透明度来显示标志，在可靠度高的情况下，以低的透明度来显示标志。可以在可靠度低的情况下，以细的线宽来显示标志，在可靠度高的情况下，以粗的线宽来显示标志。可以在可靠度低的情况下，以虚线来显示标志，在可靠度高的情况下，以实线来显示标志。也可以切换标志自身的种类。例如，可以对表示4个角的4个显示要素的显示和矩形的图形的显示进行切换。也可以同时运用几种手法。
图像形成部26、图像解析部28以及标志显示控制部30分别能由处理器构成。可以是单一的处理器作为图像形成部26、图像解析部28以及标志显示控制部30发挥功能。也可以是后述的CPU(Central Processing Unit，中央处理器)作为图像形成部26、图像解析部28以及标志显示控制部30发挥功能。
显示处理部32具有彩色运算功能、图像合成功能等。对显示处理部32给予图像形成部26的输出以及标志显示控制部30的输出。包围病变部候补的标志是构成图形图像的1个要素。在实施方式中，标志显示控制部30生成标志，但也可以由主控制部38、显示处理部32等生成标志。
显示器36由LCD、有机EL显示设备等构成。在显示器36实时显示作为动态图像的断层图像，此外，将标志显示为图形图像的一部分。显示处理部32例如由处理器构成。
主控制部38控制图1所示的各构成要素的动作。主控制部38在实施方式中由执行程序的CPU构成。在主控制部38连接操作面板40。操作面板40是输入部，即输入设备，其具有多个开关、多个按钮、轨迹球、键盘等。能利用操作面板40来设定或变更标志显示条件。在对除外数据库登记除外对象时，操作操作面板40。
在实施方式中，对图像解析部28给予显示帧数据串，但也可以对图像解析部28给予接收帧数据串(参考附图标记42)。在该情况下，也可以与图像形成部26分开地设置简单且迅速地执行图像形成的其他图像形成部。
记录画面存储器(cine memory)27具有环形缓存器构造。在记录画面存储器27中暂时存放从当前向过去回溯一定期间内的显示帧数据串。在后述的冻结状态下，将从记录画面存储器27选择性地读出的显示帧数据作为断层图像(静止图像)显示于显示器36。在这时，为了登记除外对象，也可以使图像解析部28以及标志显示控制部30再次动作。可以将由图像解析部28以及标志显示控制部30生成的数据暂时存储于缓存器，使用从缓存器读出的数据来进行除外对象的登记。
在图2示出标志生成方法。在断层图像44中包含病变部候补46。通过断层图像44的二值化来生成二值化图像。通过针对二值化图像的边缘检测或区域检测，来提取进行了二值化的病变部候补46A。例如，通过病变部候补46A中的水平方向的两端坐标以及病变部候补46A中的垂直方向的两端坐标来定义与病变部候补46A外切的矩形52。实际上，确定矩形52的中心点48的坐标以及矩形的左上角点50的坐标。
在矩形52的外侧定义矩形54，来作为在水平方向以及垂直方向上空开一定的边距56、58的图形。该矩形54在断层图像44上作为标志64来显示。标志64是包围病变部候补46及其周围的图形。在图示的示例中，标志64由虚线构成。可以显示由仅表征4个角部分的4个要素构成的标志。也可以显示圆形、椭圆的标志。
在实施方式中，以显示帧数据为单位来执行病变部候补46的检测。在检测到病变部候补46且该病变部候补46不相当于除外对象的情况下，在包含该病变部候补46的断层图像44上显示标志64。通过标志64的显示，能使检查者察觉到病变部候补46的存在，能防止病变部候补46的漏看。另一方面，在病变部候补46相当于除外对象的情况下，不显示标志64。
在图3示出图1所示的图像解析部28的第1结构例。检测部33具有机器学习完毕检测模型70。通过检测模型70来检测断层图像(显示帧数据)72中包含的病变部候补。检测模型70例如包含CNN参数集。该参数集的安装以附图标记74示出。在实施方式中，由于设有除外处理部34，因此，不使检测模型70进行再学习，就能修正标志显示对象。如以附图标记76示出的那样，向标志显示控制部30给予构成病变部信息的位置信息、尺寸信息等。
检测部33具有运算病变部候补的特征向量的功能。如以附图标记78示出的那样，将表示特征向量的信息送到除外处理部34。另外，也可以由与检测部33不同的模块运算特征向量。之后使用图8对此进行说明。
除外处理部34具有除外数据库80、对比部(判定部)82以及登记部84。后述的管理部89可以构成除外处理部34的一部分。除外数据库80在图示的结构例中由多个除外表格80A构成。实际使用根据选择信号88选择出的除外表格80A。当然，除外数据库80也可以由单一的除外表格构成。可以设置与多个被检查者对应的多个除外表格80A，也可以设置与多个检查者对应的多个除外表格80A，还可以设置与多个诊疗科目对应的多个除外表格80A。
对比部82将当前检测到的当前病变部候补的特征向量与登记于所选择的除外表格80A的特征向量群进行对比。在命中产生一定以上的类似度的特征向量的情况下，判定当前病变部候补相当于除外对象，从对比部82向标志显示控制部30输出除外指示信号90。在不存在产生一定以上的类似度的特征向量的情况下，不输出除外指示信号90。如此地，根据实施方式，能事后评价当前病变部候补，换言之，通过这样的事后的评价，能无需使检测模型70进行再学习。
登记部84执行对所选择的除外表格登记当前病变部候补的特征向量的处理。如后述那样，能在冻结状态以及实时动作状态下进行特征向量的登记。附图标记86表示表征用户的登记指示的信号。
管理部89执行将除外数据库80的全部或一部分清空的处理。能按每个除外表格80A将其内容消去。例如，可以按照用户的清空指示执行1个或多个除外表格80A的清空，也可以在满足一定的清空条件的时间点执行1个或多个除外表格80A的自动的清空。例如，可以在新的被检查者的检查开始时、收发条件的变更时等执行自动的清空。
标志显示控制部30具有生成标志的功能以及限制标志的显示的功能(常规是使标志为非显示的功能)。标志显示控制部30基于从检测部33输出的病变部候补信息，将标志生成为包围病变部候补的图形。基于可靠度来变更标志的显示方式。标志显示控制部30在被输入除外指示信号的情况下，不进行标志的生成，使标志为非显示。标志以帧为单位生成，标志的显示/非显示的判断也以帧为单位来进行。
在图4中示出在冻结状态下执行的第1动作例。在画面92内显示作为静止图像的断层图像102。处于操作面板40内的冻结按钮96已经被操作因而如上述那样停止了收发的冻结状态。在断层图像102的下侧，通过带状的图形来表现记录画面存储器的存储区域。其右端相当于冻结时间点。例如，若使光标100向左侧移位，就能选择过去更早的显示帧数据。将所选择的显示帧数据作为断层图像102来显示。在图示的示例中，在断层图像102内包含病变部候补104，并显示标志106，以使得将其包围。
在标志106由于误检测而显示的情况下、是不希望显示标志106的病变部候补的情况下，操作除外按钮108。于是，将所显示的病变部候补的特征向量登记到除外数据库(具体是所选择的除外表格)。由此，更新除外数据库。根据需要，在冻结状态下重复进行除外对象的登记。通过冻结按钮96的再操作，解除冻结状态，回到实时动作状态。在该阶段，基于更新后的数据库来判定病变部候补是否是除外对象。
在图5中，将第1动作例示出为流程图。在S10，检测到冻结按钮的操作，超声波诊断装置成为冻结状态。在S12，由用户实施记录画面存储器的反向搜索，选择特定的显示帧数据。在S14，判断是否有登记指示的操作，在有该操作的情况下，在S16，将所显示的病变部候补的特征向量登记到除外数据库。即，更新除外数据库。直到S18中判定了冻结解除的操作为止，都重复执行S10以后的一系列工序。在S18中判定了冻结解除的操作的情况下，如以附图标记110示出的那样，使用进行了更新的除外数据库来进行病变部候补的判定。
在图6示意示出在实时动作状态下执行的第2动作例。(A)表示时间轴，t1表示有除外操作的时间点(当前时)。(B)表示记录画面存储器，在其中存放显示数据串112。附图标记112A表示排头的显示帧数据，即表示记录画面存储器上最新的显示帧数据。在第2动作例中，若有除外操作，则如(C)所示那样，从t1向过去延续一定期间ta来执行登记除外对象的处理。一定期间ta例如可以以N秒指定。N例如是1、2、3、…。
对属于一定期间ta内的各个显示帧数据调查有无检测到病变部候补，在检测到病变部候补的情况下，将其特征向量自动登记到除外数据库。可以基于多个显示帧数据中包含的多个病变部候补来运算代表它们的单一的特征向量，将其登记到数据库。例如，在超声波检查的过程中产生了认为是误检测的状况的情况下，由检查者进行除外操作(例如按下除外按钮)。于是，即使是实时动作状态，也在数据库中登记特征向量，将其更新。在该时间点以后，执行基于进行了更新的数据库的标志显示控制。
在图7中将第2动作例示出为流程图。在S20，判定有无除外操作。在有除外操作的情况下，在S22，决定参考期间，在S24，调查参考期间内的各显示帧数据，在其中包含病变部候补的情况下，将该特征向量登记到除外数据库。除外数据库被逐次更新。即，如以附图标记114示出的那样，使进行了更新的除外数据库立即有效化，对其加以利用。在S28，判断是否完成登记处理。
在图8示出图像解析部的第2结构例。另外，在图8，对与图3所示的结构同样的结构标注相同的附图标记，省略其说明。
图像解析部28A具有检测部33A以及除外处理部34A，还具有特征向量运算部116。特征向量运算部116与检测部33A分开设置，运算病变部候补的特征向量。特征向量运算部116不是机器学习型运算部，而是一般的运算部。检测部33A具有机器学习完毕检测模型70A。检测部33A不具备运算特征向量的功能。在第2结构例中，也是在除外处理部34A中执行利用了除外数据库80的除外处理。另外，在图8中，省略管理部的图示。
在图9示出变形例。在实时动作状态下，显示作为动态图像的断层图像120。在那里包含成为检测对象的病变部候补，但并不显示标志126。在这样的情况下，可以显示表示除外处理模式成为有效的指示器128。此外，也可以显示表示标志显示被限制的指示器130。
根据上述实施方式，不使机器学习型检测部进行再学习，就能灵活地定制成为标志显示对象的病变部候补。也可以在除外数据库基础上或取而代之地设置追加数据库。

Claims (10)

1.一种超声波诊断装置，其特征在于，包含：
检测部(33)，具有机器学习完毕检测模型(70)，检测超声波图像中的病变部候补；
数据库(80)，按设为除外对象的每个病变部候补登记其特征量；
判定部(82)，通过将由所述检测部(33)检测到的病变部候补的特征量与登记于所述数据库(80)的特征量群进行对比，来判定所检测到的所述病变部候补是否相当于除外对象；和
显示控制部(30)，在所检测到的所述病变部候补不相当于除外对象的情况下，在所述超声波图像上显示通知所检测到的所述病变部候补的标志，在所检测到的所述病变部候补相当于除外对象的情况下，限制所述标志的显示。
2.根据权利要求1所述的超声波诊断装置，其特征在于，
所述超声波诊断装置包含：
输入部(40)，接受来自观察所述超声波图像中的病变部候补且观察所述超声波图像上的标志的用户的除外指示；和
登记部(84)，将成为所述除外指示的对象的病变部候补的特征量登记到所述数据库，
能在不使所述机器学习完毕检测模型进行再学习的情况下，由所述用户修正成为标志显示对象的病变部候补群。
3.根据权利要求2所述的超声波诊断装置，其特征在于，
所述输入部(40)在冻结状态下接受所述除外指示，
所述登记部(84)在所述冻结状态下，将成为所述除外指示的对象的病变部候补的特征量登记到所述数据库(80)来更新所述数据库(80)。
4.根据权利要求2所述的超声波诊断装置，其特征在于，
所述输入部(40)在实时动作状态下接受所述除外指示，
所述登记部(84)在所述实时动作状态下，基于接受到所述除外指示的定时来确定显示完毕的1个或多个帧数据，在所述实时动作状态下，从所确定的所述1个或多个帧数据提取病变部候补的特征量，将该特征量登记到所述数据库(80)来更新所述数据库(80)。
5.根据权利要求1所述的超声波诊断装置，其特征在于，
所述检测部(33)具有求取所述病变部候补的特征量的功能。
6.根据权利要求1所述的超声波诊断装置，其特征在于，
所述超声波诊断装置包含：
运算部(116)，与所述检测部(33)分开设置，运算所述病变部候补的特征量。
7.根据权利要求1所述的超声波诊断装置，其特征在于，
所述超声波诊断装置包含：
管理部(89)，将所述数据库(80)的全部或一部分清空。
8.根据权利要求7所述的超声波诊断装置，其特征在于，
所述数据库(80)包含多个表格(80A)，
在各所述表格(80A)中登记至少1个特征量，
所述管理部(89)从所述多个表格(80A)中选择进行清空的表格。
9.一种诊断辅助方法，其特征在于，包含如下工序：
工序(33)，使用机器学习完毕检测模型(70)来检测超声波图像中的病变部候补；
按设为除外对象的每个病变部候补将其特征量登记到数据库(80)的工序；
工序(82)，通过将所检测到的所述病变部候补的特征量与登记于所述数据库(80)的特征量群进行对比，来判定所检测到的所述病变部候补是否相当于除外对象；和
工序(30)，在所检测到的所述病变部候补不相当于除外对象的情况下，在所述超声波图像上显示通知所检测到的所述病变部候补的标志，在所检测到的所述病变部候补相当于除外对象的情况下，限制所述标志的显示。
10.一种程序，用于在信息处理装置中执行诊断辅助方法，所述程序的特征在于，包含如下功能：
功能(33)，使用机器学习完毕检测模型(70)来检测超声波图像中的病变部候补；
按设为除外对象的每个病变部候补将其特征量登记到数据库(80)的功能；
功能(82)，通过将所检测到的所述病变部候补的特征量与登记于所述数据库(80)的特征量群进行对比，来判定所检测到的所述病变部候补是否相当于除外对象；和
功能(30)，在所检测到的所述病变部候补不相当于除外对象的情况下，在所述超声波图像上显示通知所检测到的所述病变部候补的标志，在所检测到的所述病变部候补相当于除外对象的情况下，限制所述标志的显示。
CN202210436506.1A 2021-05-12 2022-04-24 超声波诊断装置以及诊断辅助方法 Pending CN115337039A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-080735 2021-05-12
JP2021080735A JP7555170B2 (ja) 2021-05-12 2021-05-12 超音波診断装置及び診断支援方法

Publications (1)

Publication Number Publication Date
CN115337039A true CN115337039A (zh) 2022-11-15

Family

ID=83947892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210436506.1A Pending CN115337039A (zh) 2021-05-12 2022-04-24 超声波诊断装置以及诊断辅助方法

Country Status (3)

Country Link
US (1) US20220367038A1 (zh)
JP (1) JP7555170B2 (zh)
CN (1) CN115337039A (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010051553A (ja) 2008-08-28 2010-03-11 Konica Minolta Medical & Graphic Inc 超音波診断装置および方法
KR101580254B1 (ko) 2012-03-14 2015-12-24 삼성전자 주식회사 주파수 영역에서의 의료 영상 진단 장치 및 방법
JP5868231B2 (ja) * 2012-03-16 2016-02-24 株式会社日立製作所 医用画像診断支援装置、医用画像診断支援方法ならびにコンピュータプログラム
KR20160012758A (ko) * 2014-07-25 2016-02-03 삼성전자주식회사 영상 진단 보조 장치 및 방법
KR20160071242A (ko) 2014-12-11 2016-06-21 삼성전자주식회사 안구 움직임에 기반한 컴퓨터 보조 진단 장치 및 방법
EP3557449B1 (en) * 2016-12-19 2022-06-22 FUJIFILM Corporation Similar case search device, method for operation and program for operation thereof, and similar case search system
WO2021108793A1 (en) * 2019-11-30 2021-06-03 Ai Metrics, Llc Systems and methods for lesion analysis
JP6815711B1 (ja) 2020-01-31 2021-01-20 学校法人慶應義塾 診断支援プログラム、装置、及び方法

Also Published As

Publication number Publication date
JP2022174780A (ja) 2022-11-25
US20220367038A1 (en) 2022-11-17
JP7555170B2 (ja) 2024-09-24

Similar Documents

Publication Publication Date Title
CN110870792B (zh) 用于超声导航的系统和方法
KR101922180B1 (ko) 초음파 영상 처리 장치 및 초음파 영상 처리 방법
US11191518B2 (en) Ultrasound system and method for detecting lung sliding
US8343053B2 (en) Detection of structure in ultrasound M-mode imaging
US20100036248A1 (en) Medical image diagnostic apparatus, medical image measuring method, and medicla image measuring program
US11450003B2 (en) Medical imaging apparatus, image processing apparatus, and image processing method
CN111227864A (zh) 使用超声图像利用计算机视觉进行病灶检测的方法与装置
CN111214255A (zh) 一种医学超声图像计算机辅助诊断方法
KR102202617B1 (ko) 의료 영상 기반 복부 질환 분석 방법 및 장치
CN111671461A (zh) 超声波诊断装置及显示方法
KR102700671B1 (ko) 초음파 영상 장치 및 초음파 영상 생성 방법
US12048588B2 (en) Ultrasound diagnostic apparatus and diagnosis assistance method
US20220361852A1 (en) Ultrasonic diagnostic apparatus and diagnosis assisting method
JP7555170B2 (ja) 超音波診断装置及び診断支援方法
CN114521912B (zh) 用于增强胸膜线的可视化的方法和系统
US20220370046A1 (en) Robust view classification and measurement in ultrasound imaging
JP2024501181A (ja) 超音波画像取得、追跡、及びレビュー
CN113842162B (zh) 超声波诊断装置以及诊断辅助方法
CN113679415B (zh) 超声波诊断装置以及诊断辅助方法
JP7299100B2 (ja) 超音波診断装置及び超音波画像処理方法
US20240225588A1 (en) Method and Apparatus of Intelligent Analysis for Liver Tumor
EP3858250A1 (en) Ultrasound imaging apparatus and operation method thereof
JP2023090023A (ja) 超音波診断装置及び超音波画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240919

Address after: Tokyo Capital of Japan

Applicant after: FUJIFILM Corp.

Country or region after: Japan

Address before: Chiba County, Japan

Applicant before: Fujifilm medical health Co.,Ltd.

Country or region before: Japan