CN116266352A - 超声波诊断装置以及超声波图像处理方法 - Google Patents

超声波诊断装置以及超声波图像处理方法 Download PDF

Info

Publication number
CN116266352A
CN116266352A CN202211352977.0A CN202211352977A CN116266352A CN 116266352 A CN116266352 A CN 116266352A CN 202211352977 A CN202211352977 A CN 202211352977A CN 116266352 A CN116266352 A CN 116266352A
Authority
CN
China
Prior art keywords
lesion
information
probability
marker
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211352977.0A
Other languages
English (en)
Inventor
井上健太
辻田刚启
西浦朋史
堀江洋子
桑山真纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Healthcare Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Healthcare Corp filed Critical Fujifilm Healthcare Corp
Publication of CN116266352A publication Critical patent/CN116266352A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/465—Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Vascular Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供超声波诊断装置以及超声波图像处理方法。在断层图像(42)上显示确定病变部(50)的标志(48)。不管有无标志(48)的显示，都显示二维图(44)以及图表(46)。二维图(44)表示病变部概率的空间分布。图表(46)表示病变部概率的时间变化。

Description

超声波诊断装置以及超声波图像处理方法
技术领域
本公开涉及超声波诊断装置以及超声波图像处理方法，特别涉及对超声波检查进行辅助的信息的生成以及提供。
背景技术
在利用了超声波诊断装置的超声波检查中，由检查者观察超声波图像，同时操作探头(超声波探头)。在超声波图像内出现了肿瘤等病变部(正确说是病变部候补)的情况下，对该病变部进行精查。
在超声波诊断装置之中，有具备自动检测出现在超声波图像内的病变部并通知检测到的病变部的功能的超声波诊断装置。该功能被称作CADe(Computer Aided Detection，计算机辅助检测)。CADe是属于CAD(Computer Aided Detection and Diagnosis，计算机辅助检测和诊断)或与其关联的技术。在CADe执行时，一般算出病变部概率(病变部评分、病变部类似度等)，在病变部概率超过阈值的情况下，显示包围病变部的图形(标志)。若病变部概率小于阈值，则不显示标志。通过如此地使用阈值来控制标志显示的有无，避免了会在超声波图像上频繁显示标志这样的事态的产生，或者，避免了会在超声波图像上显示大量标志这样的事态的产生。
在文献1(JP特开2020-28680号公报)中公开了具备物体检测功能的超声波诊断装置。在文献1中，并未记载将病变部概率的空间分布、病变部概率的时间变化作为动态的图像进行显示的技术。
在超声波图像上显示了通知病变部的标志的情况下，对检查者来说，虽然能辨识出检测到病变部这一事实，但不能经由该标志辨识出病变部概率的空间分布、病变部概率的时间变化。在病变部概率未超过阈值的情况下，不显示标志，实际上即使检测到类似病变部的部位，也不能将关于其的信息提供给检查者。期望与通知病变部的标志的显示分开，辅助性地显示关于病变部的更详细的信息。
发明内容
本公开的目的在于，辅助检查者的探头操作、图像观察。即，本公开的目的在于，同标志一起显示与标志不同的检查辅助信息。或者，本公开的目的在于，对检查者提供用于评价病变部的辅助性的信息。
本公开所涉及的超声波诊断装置的特征在于，包含：检测部，其执行对超声波图像中的病变部进行检测的检测处理；标志生成部，其基于所述检测部的输出信息，生成通知所述病变部的标志；参考信息生成部，其基于所述输出信息，生成表征病变部概率的空间分布以及病变部概率的时间变化中的至少一者的参考信息，来作为与所述标志不同的检查辅助信息；和显示器，其实时显示所述超声波图像、所述标志以及所述参考信息。
本公开所涉及的超声波图像处理方法的特征在于，包含如下步骤：执行对超声波图像中的病变部进行检测的检测处理；基于表征所述检测处理的执行结果的输出信息，生成通知所述病变部的标志；基于所述输出信息，生成表征病变部概率的空间分布以及病变部概率的时间变化中的至少一者的参考信息，来作为与所述标志不同的检查辅助信息；和实时显示所述超声波图像、所述标志以及所述参考信息。
附图说明
图1是表示实施方式所涉及的超声波诊断装置的框图。
图2是表示显示图像的一例的图。
图3是表示检测处理以及与其关联的几个处理的概念图。
图4是表示图生成方法的第1例的图。
图5是表示图生成方法的第2例的图。
图6是用于说明颜色变换的图。
图7是表示图表的变形例的图。
图8是表示显示图像的其他示例的图。
具体实施方式
以下基于附图来说明实施方式。
(1)实施方式的概要
实施方式所涉及的超声波诊断装置具有检测部、标志生成部、参考信息生成部以及显示器。检测部执行对超声波图像中的病变部进行检测的检测处理。标志生成部基于检测部的输出信息来生成通知病变部的标志。参考信息生成部基于输出信息，生成表征病变部概率的空间分布以及病变部概率的时间变化中的至少一者的参考信息，来作为与标志不同的检查辅助信息。在显示器实时显示超声波图像、标志以及参考信息。
根据上述结构，作为检查辅助信息，除了标志以外，还显示参考信息。在实施方式中，参考信息不管有无标志显示都进行显示。检查者能经由参考图像的观察来获得关于当前检查对象(当前的超声波诊断对象)的更详细的信息。由此，能辅助病变部的精查，或者能验证标志显示的妥当性。此外，即使在不显示标志的状况下，也能评价超声波图像的内容。
在实施方式中，超声波图像是显示当前检查对象的动态图像。在检测到满足一定条件的病变部的时间点显示标志。参考信息是表示检测部对当前检查对象的反应的参考图像，其是持续地显示的动态图像。如此地，在超声波检查中，实时显示超声波图像、标志以及参考信息。
若在超声波图像上显示大量信息或多样的信息，就会妨碍超声波图像的观察。另一方面，在综合或多方面评价当前检查对象的基础上，谋求提供标志以外的更详细的信息。因此，在实施方式中，在超声波图像上显示标志，在超声波图像的近旁显示参考信息。
在实施方式中，参考信息生成部包含图生成部，其生成表征病变部概率的空间分布的二维图，来作为参考信息。能经由二维图的观察来详细评价病变部。此外，还能评价未成为通知对象的部位。
在实施方式中，在输出信息中包含满足标志显示条件的第1信息以及不满足标志显示条件的第2信息的情况下，标志生成部基于第1信息来生成标志，图生成部基于第1信息以及第2信息来生成二维图。通常，标志断续地显示。另一方面，二维图持续地显示。
在实施方式中，参考信息生成部包含图表生成部，其生成表征病变部概率的时间变化的图表，来作为参考信息。通过参考图表，能辨识病变部的检测频度，或者易于搜索病变部。也可以显示与多个对象或多个分类(class)对应的多个图表。
在实施方式中，图表生成部按每帧来确定帧内的病变部概率的代表值，基于从多个帧确定的多个代表值来生成图表。例如，每个帧的代表值是最大值。帧是接收帧或显示帧。
在实施方式中，标志生成部在输出信息满足标志显示条件的情况下生成标志。在标志显示条件中包含要求由输出信息确定的病变部概率超过阈值的条件。在图表中包含表示阈值的显示要素。图表生成部随着阈值的变更而使显示要素变化。根据该结构，能在参考多个代表值的同时设定阈值。
在实施方式中，参考信息生成部包含图生成部以及图表生成部。图生成部生成表征病变部概率的空间分布的二维图。图表生成部生成表征病变部概率的时间变化的图表。在参考信息中包含二维图以及图表。根据该结构，能综合或多方面地辅助检查者的探头操作以及图像观察。
实施方式所涉及的超声波图像处理方法包含检测步骤、标志生成步骤、参考信息生成步骤以及显示步骤。在检测步骤中，执行对超声波图像中的病变部进行检测的检测处理。在标志生成步骤中，基于表征检测处理的执行结果的输出信息来生成通知病变部的标志。在参考信息生成步骤中，基于输出信息来生成表征病变部概率的空间分布以及病变部概率的时间变化中的至少一者的参考信息，作为与标志不同的检查辅助信息。在显示步骤中，实时显示超声波图像、标志以及参考信息。
上述的超声波图像处理方法作为软件的功能或作为硬件的功能来实现。执行上述的超声波图像处理方法的程序可以经由网络或可移动型存储介质向信息处理装置安装。在信息处理装置的概念中包含超声波诊断装置、医疗系统、计算机等。信息处理装置具备非临时性存储介质。
(2)实施方式的详细情况
在图1中示出实施方式所涉及的超声波诊断装置。超声波诊断装置是用于在医疗机构等中对被检者(生物体)实施超声波检查的医用装置。实施方式所涉及的超声波诊断装置如以下详述的那样，具备CADe功能，即，具备自动检测断层图像中所含的病变部并通过标志来通知病变部的功能。
在图1中，探头10是向生物体内发送超声波并接收来自生物体内的反射波的设备。更详细地，探头10由探头头部、线缆以及连接器构成。探头头部由检查者保持。探头头部是探头10的主要部分，以下将探头头部简称为探头10。
在探头10内设有包含多个振动元件(transducers)的振动元件阵列。由振动元件阵列形成超声波波束11，将该超声波波束11进行电子扫描。作为电子扫描方式，已知电子线性扫描方式、电子扇面扫描方式等。通过超声波波束11的电子扫描来形成扫描面12。通过重复地将超声波波束11进行电子扫描，来重复形成扫描面12。也可以在探头10内设置二维振动元件阵列，从生物体内取得体数据。
收发部13在发送时对振动元件阵列并列地供给多个发送信号。由此，形成发送波束。收发部13在接收时对来自振动元件阵列的并列地输出的多个接收信号进行处理。该处理包含A/D变换处理、调相加法运算(延迟加法运算)等。
作为多个接收信号的处理的结果，生成接收波束数据。由在电子扫描方向上排列的多个接收波束数据构成接收帧数据。由在时间轴上排列的多个接收帧数据构成接收帧数据串。各个接收波束数据由在深度方向上排列的多个回波数据构成。
图像形成部14是基于接收帧数据串来生成显示帧数据串的模块。图像形成部14具有坐标变换功能、像素插值功能、帧频调整功能等。具体地，图像形成部14由数字扫描转换器(DSC)构成。各显示帧数据相当于作为静止图像的断层图像，显示帧数据串相当于作为动态图像的断层图像。也可以形成断层图像以外的超声波图像。在实施方式中，显示帧数据串被送往显示处理部18，此外，被送往病变部检测部22。
接收帧数据串可以临时存放于存储器16。同样地，显示帧数据串可以临时存放于存储器20。存储器16以及存储器20分别作为具有环形缓存构造的影像存储器发挥功能。在实时动作后的冻结状态(收发停止状态)下，将存放于存储器16以及存储器20的帧数据串读出。
病变部检测部22由机器学习型的物体检测器构成。详细地，病变部检测部22具备CNN等物体检测网络(物体检测模型)，该物体检测网络具有串联设置的多个层部。多个层部分阶段地执行多个检测步骤。各个层部包含1个或多个卷积层，此外，根据需要而包含1个或多个池化层。由多个检测步骤构成一系列检测处理。另外，作为物体检测网络，已知R-CNN(Regional CNN)、SSD(Single Shot MultiBox Detector)、M2Det、YOLO等。
若对病变部检测部22输入1张断层图像，就生成反映了该断层图像的特征量的输出信息。输出信息表征病变部的检测结果。输出信息被送往后处理部24以及图生成部30。如附图标记23所示，接受帧数据串可以被送往病变部检测部22。
在后处理部24中，按每个显示帧执行最大值判定处理以及阈值处理。输出信息是表征病变部概率的空间分布的信息。即，在输出信息中包含二维排列的多个病变部概率(病变部评分)。在最大值判定处理中，判定多个病变部概率之中的最大值。在阈值处理中，将所判定的最大值和阈值进行比较。在最大值超过阈值的情况下，判定表示病变部检出的标志的显示。在最大值低于阈值的情况下，不显示标志。
在后处理部24中，也可以运用除外处理。例如，在除外处理中，可以将误检测所涉及的病变部丢弃。最大值判定处理中所判定的最大值被送往图表生成部28。阈值处理后的最大值被送往标志生成部26。
标志生成部26在满足标志显示条件的情况下(即，在最大值超过阈值的情况下)，基于与最大值对应的单元(cell)信息来生成包围病变部的矩形的框来作为标志。标志是图形要素。表征标志的图像被送往显示处理部18。也可以经常进行标志生成，使得在判定了病变部的显示的时间点，实际描画标志。不管怎样，在满足标志显示条件的情况下，使标志在画面上出现。
图生成部30基于输出信息按每个显示帧来生成表示病变部概率的空间分布的二维图(二维颜色图)。由与按时间序列顺序排列的多个显示帧对应的多个二维图来构成作为动态图像的二维图。表示作为动态图像的二维图的信息被送往显示处理部18。该二维图是与作为动态图像的断层图像对应的动态图像，且是辅助超声波检查的第1参考图像。
图表生成部28基于按时间序列顺序排列的多个最大值来生成图表。该图表是表示病变部概率的时间变化的动态图像，且是辅助超声波检查的第2参考图像。多个最大值是代表多个二维图的多个代表值。也可以使用多个最大值以外的多个代表值。例如，也可以使用多个平均值。表示所生成的图表的数据被送往显示处理部18。
另外，在由图表生成部28生成的图表中，除了表示多个最大值的多个条以外，还包含表示阈值的线。从后述的控制部34对后处理部24以及图表生成部28发送表示当前设定的阈值的信息。
显示处理部18具有图像合成功能、颜色运算功能等。由显示处理部18生成显示在显示器32的画面上的显示图像。在显示图像中包含作为超声波图像的断层图像、重叠显示于断层图像的标志、作为第1参考图像的二维图以及作为第2参考图像的图表。断层图像、标志、二维图以及图表分别相当于实时显示与当前的检查对象相关的信息的动态图像。另外，在冻结状态下，断层图像、标志、二维图以及图表可以作为动态图像或静止图像来显示。
控制部34由执行程序的处理器(例如CPU)构成。由控制部34控制图1所示的各构成要素的动作。图像形成部14、显示处理部18、病变部检测部22、后处理部24、标志生成部26、图表生成部28以及图生成部30可以分别由处理器构成，它们例如也可以作为CPU所发挥的功能来实现。
操作面板36是具有多个开关、多个旋钮、键盘、轨迹球等的输入设备。使用操作面板36来设定上述的阈值。显示器32例如由液晶显示器、有机EL显示设备构成。
在图2示出显示图像的一例。显示图像40显示在显示器的画面上，在其中包含断层图像42、二维图44、图表46等。
断层图像42是黑白图像，在断层图像42上重叠显示作为彩色图形的标志48。在断层图像42中，在图示的示例中，横轴与电子扫描方向对应，纵轴与深度方向对应。在断层图像42内，在当前时间点，包含病变部(具体是肿瘤的截面像)50，标志48包围该病变部50。作为标志48，能使用任意的图形，但确定标志48的形态、尺寸，以使得不妨碍病变部的观察。断层图像42的内容对应于探头的位置以及姿势的变化而大幅变化。也可以在断层图像42上合成显示二维血流像。
二维图44表示二维空间中的病变部概率分布。二维图44具有与断层图像42所具有的坐标系对应的坐标系。在二维图44中，横轴与电子扫描方向对应，纵轴与深度方向对应。二维图44表示与断层图像42所示出的扫描面相同的扫描面。二维图44的尺寸比断层图像42的尺寸小，二维图44相当于断层图像42的缩小图像。在二维图44中，通过色调的变化来表现病变部概率的空间上的变化。附图标记51表示与断层图像42内的病变部50对应的色调变化部分。二维图44是动态图像，通过探头的位置以及姿势的变化，其内容动态地变化。
另外，在断层图像42中，沿着纵轴设置深度刻度56。与此对应地，在二维图44中，也沿着纵轴设置深度刻度58。
在图示的示例中，二维图44显示在断层图像42的右侧，但其也可以显示在断层图像的左侧、上侧或下侧。若考虑方便同时观察断层图像42和二维图44，则期望在相同画面内不与断层图像42重叠地在断层图像42的近旁显示二维图。
在二维图44的近旁显示色带52。色带52是表征与病变部概率的变化对应的色调的变化的颜色样品。在图示的示例中，按照色带52的长边方向与水平方向平行的方式来显示色带52。色带52的左端与病变部概率0.0对应，其右端与病变部概率1.0对应(参考附图标记54)。在色带52上显示表示当前设定的阈值的线55。也可以按照色带52的长边方向与垂直方向平行的方式来显示色带52。若变更阈值，则与其联动地，线55向水平方向运动。
图表46表示病变部概率的时间变化。在图表46中，横轴与时间轴对应，纵轴表示病变部概率。图表46由按每个显示帧生成的条60构成，条60的高度表示病变部概率。具体地，各条60的高度表示显示帧内的病变部概率的最大值。可以每隔一定时间间隔来显示条，也可以以曲线表现在时间轴方向上进行了平滑化的最大值。指示器62表示当前时间点。指示器62的显示位置被固定，但也可以将其显示位置在水平方向上进行扫描。
在图表46中，除了多个条60以外，还包含阈值线64。阈值线64表示在各时刻设定的阈值。指示器66表示当前的阈值。在使用操作面板变更了阈值的情况下，与其联动地，指示器66在上下方向上运动。还能操作指示器66其本身，通过使其在上下方向上运动来变更阈值。
在图示的显示例中，在二维图44的下侧显示体标志68，此外显示探头标志70。在实施方式中，诊断对象组织是乳房，体标志68示意地表示乳房。
通过同包含标志48的断层图像一起实时显示二维图44以及图表46，对检查者来说，能综合或多方面地评价病变部。例如，经由二维图44的观察，能辨识关于通过标志48通知的病变部的详细的概率分布，或者，能辨识不满足标志显示条件的其他病变部的存在。此外，经由图表46的观察，能辨识病变部检出的频度，能将其应用于探头操作。还容易辨识未成为通知对象的病变部的出现。
在图3中示意示出病变部的检测处理以及与其关联的几个处理。在病变部检测部22中，执行包含多个检测步骤的检测处理。多个检测步骤在图3中在按时间序列顺序排列的多个层部中执行。多个层部相当于学习完毕网络。
具体地，在图3中，示出包含层部L1～L5的多个层部。在各层部中包含1个或多个卷积层，此外，根据需要，包含1个或多个池化层。
层部L1是输入层部，对其输入作为输入图像的断层图像76。在图示的结构例中，在多个层部之中包含M个输出层部。从M个输出层部输出M个输出图78-1～78-M。M是1以上的整数，例如M可以是2或3。由M个输出图78-1～78-M构成输出信息77。M个输出图78-1～78-M依赖于病变部尺寸而呈现相互不同的响应。输出图78-1对具有大的尺寸的病变部做出大的响应，因而，易于表征具有大的尺寸的病变部的检测结果。输出图78-M对具有小的尺寸的病变部做出大的响应，因而，易于表征具有小的尺寸的病变部的检测结果。各个输出图78-1～78-M由二维排列的多个单元79-1～79-M构成。各个单元79-1～79-M具有与特定的坐标建立对应的单元信息。
在图3的右上示出单元信息的示例。所图示的单元信息80例如包含确定所检测到的病变部的中心坐标的X坐标82以及Y坐标84、表示所检测到的病变部的横宽W的信息86、表示所检测到的病变部的高度(纵宽)H的信息88、表示病变部符合特定的分类的概率的对象评分(OS)90等。可以按各个单元的每一者生成与n个分类对应的n个单元信息。
在后处理部24中包含最大值判定部72以及阈值处理部74。在最大值判定部72中，按每个显示帧，从输出信息77(即，多个输出图78-1～78-M)之中确定最大的对象评分来作为最大值。在阈值处理部74中，将所确定的最大值和阈值进行比较。在最大值超过阈值的情况下，标志生成部26生成标志。在最大值未达到阈值的情况下，不生成标志。另外，也可以取代最大值的判定，而执行判定上位K个对象评分的处理。在该情况下，基于上位K个对象评分来同时生成最大K个标志。K是2以上的整数。但在图表的生成时参考最大值。
图表生成部28以条来表现每个显示帧的最大值，通过重复其来生成图表。也可以取代表示时间序列顺序的多个最大值的图表，而生成表示时间序列顺序的多个平均值的图表。也可以对表示最大值的图表运用移动平均处理等。在所生成的图表中还包含表示不满足标志显示条件的最大值的条。
在图3所示的示例中，将输出信息77(即，多个输出图78-1～78-M)原样不变地送往图生成部30。在实施方式中，图生成部30基于输出信息77来生成二维图。具体地，将从各个单元取出的对象评分即病变部概率变换成颜色。将所变换的颜色映射到二维空间。多个输出图78-1～78-M的尺寸相互不同，但它们具有共同的坐标系。对该共同的坐标系映射各颜色。可以将输出信息77之中的一部分作为映射对象。
在输出信息77中包含满足标志显示条件的信息(第1信息)以及不满足标志显示条件的信息(第2信息)的情况下，标志生成部26仅基于满足标志显示条件(最大值条件以及阈值条件)的信息(第1信息)来生成标志。另一方面，在该情况下，图生成部30基于满足标志显示条件的信息(第1信息)以及不满足标志显示条件的信息(第2信息)这两者来生成二维图。图表生成部28仅基于满足最大值条件的信息来生成图表。
另外，在多个输出图78-1～78-M的生成时，利用从检测处理的中途取出的特征图92、94。
在图4示出二维图的第1生成例。在中间信息100中，在图示的示例中，在2个坐标102、104处分别检测到病变部。实际上，在1个显示帧内，例如在数十个或数百个坐标处检测到病变部。
坐标102处的病变部概率是(0.8)，坐标104处的病变部概率是(0.4)。在坐标102处检测到的病变部的尺寸以附图标记102A示出，在坐标104处检测到的病变部的尺寸以附图标记104A示出。
在第1生成例中，将病变部概率变换成颜色代码。例如，将坐标102处的病变部概率(0.8)变换成颜色代码(204)，将坐标104处的病变部概率(0.4)变换成颜色代码(120)。附图标记106表示变换后的信息。通过将与各颜色代码对应的颜色(R值，G值，B值)映射到二维空间，来生成二维图108。也可以在二维图108的生成过程中执行缩小处理以及放大处理。也可以在颜色映射后运用插值处理、平滑化处理。
在图5示出二维图的第2生成例。对已经说明的中间信息100如下那样进行处理。基于在坐标102处确定的尺寸102A来定义具有一定的占据面积的局部区域102B，同样地，基于在坐标104处确定的尺寸104A来定义具有一定的占据面积的局部区域104B。局部区域102B、104B例如能通过将尺寸102A、104A缩小来生成。
将坐标102处的病变部概率(0.8)变换成颜色代码(204)，将该颜色代码对局部区域102B的整体进行分配。同样地，将坐标104处的病变部概率(0.4)变换成颜色代码(120)，将该颜色代码对局部区域104B的整体进行分配。通过基于如此构成的信息110将与各颜色代码对应的颜色(R值，G值，B值)映射到二维空间，来生成二维图112。
另外，在第2生成例中，也可以将尺寸102A、104A原样不变地用作局部区域102B、104B。
在图6示出颜色变换的一例。附图标记114表示颜色变换函数集。具体地，颜色变换函数集114由B变换函数118B、G变换函数118G以及R变换函数118R构成。横轴表示颜色索引，其相当于病变部评分。纵轴表示相对亮度。在图6中示出表现由各颜色索引定义的颜色的色带116。图6所示的颜色变换函数集114只是一例，能采用多样的颜色变换函数集即多样的色带。还能对病变部评分进行灰阶表现。
在图7示出图表的变形例。图表120由表示病变部概率的多个条构成。索引122表示当前的时刻。在阈值线126产生高低差。其高低差意味着阈值变更。时间上比高低差早的部分126B相对来看表示高的阈值，时间上比高低差晚的部分126A相对来看表示低的阈值。能使索引124上下运动来变更当前的阈值。通过阈值的变更，阈值线126的形态发生变化。
例如，也可以基于存放于影像存储器的帧数据串来生成断层图像、二维图以及图表，并显示它们。在该情况下，这些图像可以不是作为动态图像，而是作为与过去的特定定时建立对应的静止图像来显示。在该情况下，过去的特定定时可以通过要素128来指定。要素128是沿着图表120的横轴运动的标志。例如，检测到病变部的过去的特定的时间点可以通过要素128来指定。
在图8示出显示图像的其他示例。在显示图像40A中包含断层图像42、二维图44A、图表46A、46B等。在断层图像42中包含病变部50，重叠显示通知其的标志48。在该其他示例中，2种病变部(例如肿瘤以及非肿瘤)成为检测对象，按各个病变部的每一者来运算病变部概率即病变部评分。
在二维图44A中，例如第1病变部概率以蓝色系的色调的亮度来表现，第2病变部概率以红色系的色调的亮度来表现。第1病变部概率与蓝色系的色调的亮度的关系通过第1色带52A来表现，第2病变部概率与红色系的色调的亮度的关系通过第2色带52B来表现。在各个色带52A、52B上显示表示阈值的线55A、55B。
也可以将表示第1病变部概率分布的第1二维图和表示第2病变部概率分布的第2二维图分开生成以及显示。在断层图像42上，不区别第1病变部以及第2病变部地通过相同的标志48来确定，但也可以按每个病变部类别显示不同的标志。
第1图表46A表示第1病变部概率(最大值)的时间上的变化。第2图表46B表示第2病变部概率(最大值)的时间变化。在第1图表46A中包含作为表示阈值的显示要素的线64A，在第2图表46B中包含作为表示阈值的显示要素的线64B。
根据上述的实施方式，作为检查辅助信息，除了标志以外，还显示二维图以及图表。二维图以及图表不管有无标志显示都进行显示。因而，检查者经由所显示的这些信息的观察，能得到关于当前检查对象的更详细的信息。由此，能辅助经由标志显示来通知的病变部的精查，或者，能验证标志显示的妥当性。此外，能在不显示标志的状况下评价当前检查对象。

Claims (12)

1.一种超声波诊断装置，其特征在于，包含：
检测部(22)，其执行对超声波图像中的病变部进行检测的检测处理；
标志生成部(26)，其基于所述检测部(22)的输出信息，生成通知所述病变部的标志；
参考信息生成部(28、30)，其基于所述输出信息，生成表征病变部概率的空间分布以及病变部概率的时间变化中的至少一者的参考信息，来作为与所述标志不同的检查辅助信息；和
显示器(32)，其实时显示所述超声波图像、所述标志以及所述参考信息。
2.根据权利要求1所述的超声波诊断装置，其特征在于，
在所述超声波图像上显示所述标志，
在所述超声波图像的近旁显示所述参考信息。
3.根据权利要求1所述的超声波诊断装置，其特征在于，
所述参考信息生成部包含：
图生成部(30)，其生成表征所述病变部概率的空间分布的二维图，来作为所述参考信息。
4.根据权利要求3所述的超声波诊断装置，其特征在于，
在所述输出信息中包含满足标志显示条件的第1信息以及不满足所述标志显示条件的第2信息的情况下，所述标志生成部(26)基于所述第1信息来生成所述标志，所述图生成部(30)基于所述第1信息以及所述第2信息来生成所述二维图。
5.根据权利要求1所述的超声波诊断装置，其特征在于，
所述参考信息生成部包含：
图表生成部(28)，其生成表征所述病变部概率的时间变化的图表，来作为所述参考信息。
6.根据权利要求5所述的超声波诊断装置，其特征在于，
所述图表生成部(28)按每帧来确定帧内的病变部概率的代表值，基于从多个帧确定的多个代表值来生成所述图表。
7.根据权利要求6所述的超声波诊断装置，其特征在于，
所述每帧的所述代表值是最大值。
8.根据权利要求5所述的超声波诊断装置，其特征在于，
所述标志生成部(26)在所述输出信息满足标志显示条件的情况下生成所述标志，
在所述标志显示条件中包含要求由所述输出信息确定的病变部概率超过阈值的条件，
在所述图表中包含表示所述阈值的显示要素。
9.根据权利要求8所述的超声波诊断装置，其特征在于，
所述图表生成部(28)按照所述阈值的变更来使所述显示要素变化。
10.根据权利要求1所述的超声波诊断装置，其特征在于，
所述参考信息生成部包含：
图生成部(30)，其生成表征所述病变部概率的空间分布的二维图；和
图表生成部(28)，其生成表征所述病变部概率的时间变化的图表，
在所述参考信息中包含所述二维图以及所述图表。
11.一种超声波图像处理方法，其特征在于，包含：
步骤(22)，执行对超声波图像中的病变部进行检测的检测处理；
步骤(26)，基于表征所述检测处理的执行结果的输出信息，生成通知所述病变部的标志；
步骤(28、30)，基于所述输出信息，生成表征病变部概率的空间分布以及病变部概率的时间变化中的至少一者的参考信息，来作为与所述标志不同的检查辅助信息；和
步骤(32)，实时显示所述超声波图像、所述标志以及所述参考信息。
12.一种程序，在信息处理装置中执行，所述程序的特征在于，包含：
功能(22)，执行对超声波图像中的病变部进行检测的检测处理；
功能(26)，基于表征所述检测处理的执行结果的输出信息，生成通知所述病变部的标志；
功能(28、30)，基于所述输出信息，生成表征病变部概率的空间分布以及病变部概率的时间变化中的至少一者的参考信息，来作为与所述标志不同的检查辅助信息；和
功能(32)，实时显示所述超声波图像、所述标志以及所述参考信息。
CN202211352977.0A 2021-12-17 2022-10-31 超声波诊断装置以及超声波图像处理方法 Pending CN116266352A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-204742 2021-12-17
JP2021204742A JP2023090023A (ja) 2021-12-17 2021-12-17 超音波診断装置及び超音波画像処理方法

Publications (1)

Publication Number Publication Date
CN116266352A true CN116266352A (zh) 2023-06-20

Family

ID=86744207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211352977.0A Pending CN116266352A (zh) 2021-12-17 2022-10-31 超声波诊断装置以及超声波图像处理方法

Country Status (3)

Country Link
US (1) US20230196580A1 (zh)
JP (1) JP2023090023A (zh)
CN (1) CN116266352A (zh)

Also Published As

Publication number Publication date
US20230196580A1 (en) 2023-06-22
JP2023090023A (ja) 2023-06-29

Similar Documents

Publication Publication Date Title
CN110325119B (zh) 卵巢卵泡计数和大小确定
EP3174467B1 (en) Ultrasound imaging apparatus
JP2009240464A (ja) 超音波診断装置
CN111227864A (zh) 使用超声图像利用计算机视觉进行病灶检测的方法与装置
CN101066211A (zh) 用于在超声波系统中显示信息的用户界面及方法
JP2020018694A (ja) 超音波診断装置及び超音波画像処理方法
CN111374708B (zh) 一种胎儿心率检测方法及超声成像装置、存储介质
CN113712594A (zh) 医用图像处理装置以及医用摄像装置
CN110163907B (zh) 胎儿颈部透明层厚度测量方法、设备及存储介质
US12048588B2 (en) Ultrasound diagnostic apparatus and diagnosis assistance method
US20220361852A1 (en) Ultrasonic diagnostic apparatus and diagnosis assisting method
CN116266352A (zh) 超声波诊断装置以及超声波图像处理方法
CN114098796B (zh) 用于检测医学图像中的胸膜不规则性的方法和系统
JP2013146625A (ja) 超音波診断装置
CN113842162B (zh) 超声波诊断装置以及诊断辅助方法
CN113679415B (zh) 超声波诊断装置以及诊断辅助方法
JP2008212522A (ja) 超音波診断装置
JP7299100B2 (ja) 超音波診断装置及び超音波画像処理方法
JP2022174780A (ja) 超音波診断装置及び診断支援方法
CN116650006A (zh) 用于自动超声检查的系统和方法
US10426444B2 (en) Ultrasonic diagnosis apparatus, medical image processing apparatus and medical image processing method
JP2021104095A (ja) 超音波画像処理装置
CN113040822A (zh) 子宫内膜蠕动的测量方法、用于测量子宫内膜蠕动的设备
EP4298611A1 (en) Methods and systems for utilizing histogram views for improved visualization of three-dimensional (3d) medical images
CN116919466A (zh) 蠕动波检测方法和超声成像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240919

Address after: Tokyo Capital of Japan

Applicant after: FUJIFILM Corp.

Country or region after: Japan

Address before: Chiba County, Japan

Applicant before: Fujifilm medical health Co.,Ltd.

Country or region before: Japan