CN115192065A - 超声波诊断装置 - Google Patents
超声波诊断装置 Download PDFInfo
- Publication number
- CN115192065A CN115192065A CN202210348632.1A CN202210348632A CN115192065A CN 115192065 A CN115192065 A CN 115192065A CN 202210348632 A CN202210348632 A CN 202210348632A CN 115192065 A CN115192065 A CN 115192065A
- Authority
- CN
- China
- Prior art keywords
- region
- mode
- interest
- ultrasonic
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/465—Displaying means of special interest adapted to display user selection data, e.g. icons or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
- A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Vascular Medicine (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明提供一种与要转变的模式的种类无关地自动设定最优的ROI的技术。实施方式的超声波诊断装置具备取得部、推定部、计算部及显示控制部。取得部取得第一模式的第一超声波图像数据。推定部通过对第一超声波图像数据应用学习完毕模型,推定第一超声波图像数据中包含的检查对象物的位置,并输出推定结果。计算部基于推定结果和与第一模式不同的第二模式的信息,计算与第二模式对应的关注区域的坐标。显示控制部基于坐标在第二模式的第二超声波图像数据中显示关注区域。
Description
相关申请的交叉引用
本申请基于并主张2021年4月5日申请的日本国专利申请2021-064204及2022年3月24日申请的日本国专利申请2022-048858的优先权的利益,上述日本国专利申请的全部内容被引用于本申请。
技术领域
本发明的实施方式涉及超声波诊断装置。
背景技术
近年来,超声波诊断装置有时搭载有多个显示模式。多个显示模式例如有:对超声波的反射回波信号进行亮度调制并显示在画面上的B模式、以二维图像显示血流的血流影像模式、以及测定生物体组织的硬度的剪切波弹性成像技术(SWE:Shear WaveElastography)模型。在这些显示模式中,在包含检查对象物(例如肿瘤、病变部)的关注区域(ROI:Region Of Interest)的尺寸各不相同。
例如,如果是血流影像模式,则优选设定含有检查对象物和具有比检查对象物的面积大的面积的周边区域在内的ROI尺寸。另一方面,如果是SWE模式,则优选设定仅含有检查对象物在内的ROI尺寸。
如上所述,由于最优ROI尺寸按照显示模式的每个种类而不同,所以用户需要在每次有显示模式的变更(转变)时进行ROI的设定。这不仅对用户而言是负担,还可能无法设定最优的ROI。
现有技术文献
专利文献1:日本特开2020-68797号公报
发明内容
本发明要解决的技术问题在于,与要转变的模式的种类无关地自动设定最优的ROI。
实施方式的超声波诊断装置具备取得部、推定部、计算部及显示控制部。取得部取得第一模式的第一超声波图像数据。推定部通过对第一超声波图像数据应用学习完毕模型,推定第一超声波图像数据中包含的检查对象物的位置,并输出推定结果。计算部基于推定结果和与第一模式不同的第二模式的信息,计算与第二模式对应的关注区域的坐标。显示控制部基于坐标在第二模式的第二超声波图像数据中显示关注区域。
发明的目的在于,与要转变的模式的种类无关地自动设定最优的ROI。
附图说明
图1是表示第一实施方式的超声波诊断装置的结构例的框图。
图2是表示与第一实施方式中的关注区域自动设定处理有关的画面显示及内部处理的一例的图。
图3是表示执行第一实施方式中的关注区域自动设定处理的处理电路的动作的一例的流程图。
图4是表示图3的流程图的ROI坐标计算处理的一例的流程图。
图5是说明从一个检测单位确定一个检测区域的图。
图6是说明从多个检测单位确定一个检测区域的图。
图7是说明从多个检测单位确定多个检测区域的图。
图8是说明多个检测区域中包含的检测单位的似然度的一例的图。
图9是说明根据检测区域计算ROI坐标的图。
图10是表示与第二实施方式中的关注区域自动设定处理有关的画面显示及内部处理的一例的图。
图11是表示执行第二实施方式中的关注区域自动设定处理的处理电路的动作的一例的流程图。
图12是例示进行了第一实施方式以及第二实施方式中的关注区域自动设定处理后的显示画面的图。
图13是用于说明与其他实施方式中的关注区域自动设定处理有关的第一例的图。
图14是用于说明与其他实施方式中的关注区域自动设定处理有关的第二例的图。
图15是用于说明与其他实施方式中的关注区域自动设定处理有关的第三例的图。
图16是表示第三实施方式的超声波诊断装置的结构例的框图。
图17是表示第三实施方式中的执行关注区域重新设定处理的处理电路的动作的第一具体例的流程图。
图18是表示第三实施方式中的执行关注区域重新设定处理的处理电路的动作的第二具体例的流程图。
附图标记说明
1、1A…超声波诊断装置,100、100A…装置主体,101…超声波探头,102…输入装置,103…输出装置,104…外部装置,110…超声波发送电路,120…超声波接收电路,130…内部存储电路,140…图像存储器,150…输入接口,160…输出接口,170…通信接口,180、180A…处理电路,181…B模式处理功能,182…多普勒处理功能,183…图像生成功能,184…取得功能,185…推定功能,186…计算功能,187…显示控制功能,188…系统控制功能,211、212、510、520、610、620、710、720、1011、1012、1210、1310、1330、1410、1430、1510、1530…超声波图像,221、1021…学习完毕模型,222…ROI坐标计算处理,511、611、612、613、711、712、713、714、715、716、717、718…检测单位,521、621、721、722、723、910…检测区域,920…矩形,930…关注区域,1200…显示画面,1212…字符串,1320、1420、1520…分割图像,1321、1322、1323、1324、1325、1421、1521…区域,A1、A2、A3、B1、B2、B3、C1、C2…检测单位,1331、1332、1431、1531…计测ROI,1432、1532…扫描ROI,1600…重新设定功能。
具体实施方式
实施方式的超声波诊断装置具备取得部、推定部、计算部及显示控制部。取得部取得第一模式的第一超声波图像数据。推定部通过对第一超声波图像数据应用学习完毕模型,推定第一超声波图像数据中包含的检查对象物的位置,并输出推定结果。计算部基于推定结果和与第一模式不同的第二模式的信息,计算与第二模式对应的关注区域的坐标。显示控制部基于坐标在第二模式的第二超声波图像数据中显示关注区域。
以下,参照附图详细说明超声波诊断装置的实施方式。
(第一实施方式)
图1是表示第一实施方式的超声波诊断装置的结构例的框图。图1的超声波诊断装置1具有装置主体100和超声波探头101。装置主体100与输入装置102及输出装置103连接。另外,装置主体100经由网络NW而与外部装置104连接。外部装置104例如是搭载了PACS(PictureArchiving and Communication Systems:存档与通讯系统)的服务器等。
超声波探头101例如按照来自装置主体100的控制,对作为被检体的生物体P内的扫描区域执行超声波扫描。超声波探头101例如具有多个压电振子、设置在多个压电振子和壳体之间的匹配层以及防止超声波从多个压电振子相对于放射方向向后方传播的背衬材料等。超声波探头101例如是多个超声波振子沿着规定的方向排列的一维阵列线性探头。超声波探头101与装置主体100装卸自如地连接。在超声波探头101上也可以配置有在偏置处理以及使超声波图像冻结的操作(冻结操作)等时被按下的按钮。
多个压电振子基于从装置主体100具有的后述的超声波发送电路110供给的驱动信号而发生超声波。由此,从超声波探头101向生物体P发送超声波。当从超声波探头101向生物体P发送超声波时,所发送的超声波在生物体P的体组织中的声阻抗的不连续面上依次反射,作为反射波信号由多个压电振子接收。被接收的反射波信号的振幅依赖于反射超声波的不连续面上的声阻抗的差。另外,所发送的超声波脉冲被正在移动的血流或心脏壁等的表面反射时的反射波信号,由于多普勒效应,依赖于移动体的超声波发送方向的速度分量,而受到频率偏移。超声波探头101接收来自生物体P的反射波信号并转换为电信号。
图1例示了一个超声波探头101与装置主体100的连接关系。但是,在装置主体100上能够连接多个超声波探头。在超声波扫描中使用所连接的多个超声波探头中的哪一个,例如能够通过后述的触摸面板上的软件按钮任意地选择。
装置主体100是基于由超声波探头101接收到的反射波信号来生成超声波图像的装置。装置主体100具有超声波发送电路110、超声波接收电路120、内部存储电路130、图像存储器140、输入接口150、输出接口160、通信接口170及处理电路180。
超声波发送电路110是向超声波探头101提供驱动信号的处理器。超声波发送电路110例如通过触发发生电路、延迟电路以及脉冲发生电路等来实现。触发发生电路以规定的速率频率反复发生用于形成发送超声波的速率脉冲。延迟电路对触发发生电路发生的各速率脉冲赋予为了将从超声波探头发生的超声波会聚成束状来决定发送指向性所需的多个压电振子的每一个压电振子的延迟时间。脉冲发生器电路在基于速率脉冲的定时,向设置在超声波探头101上的多个超声波振子施加驱动信号(驱动脉冲)。通过使由延迟电路对各速率脉冲赋予的延迟时间变化,能够任意地调整来自多个压电振动器的表面的发送方向。
另外,超声波发送电路110能够根据驱动信号来任意地变更超声波的输出强度。在超声波诊断装置中,通过增大输出强度,能够减小生物体P内的超声波衰减的影响。超声波诊断装置通过减小超声波衰减的影响,能够在接收时取得S/N比大的反射波信号。
通常,当超声波在生物体P内传播时,与输出强度相当的超声波的振动强度(这也被称为声功率)衰减。声功率的衰减由吸收、散射及反射等引起。另外,声功率的减少程度依赖于超声波的频率以及超声波的放射方向的距离。例如,通过增大超声波的频率,衰减的程度变大。另外,超声波的放射方向的距离越长,衰减的程度越大。
超声波接收电路120是对超声波探头101接收到的反射波信号实施各种处理,生成接收信号的处理器。超声波接收电路120生成针对由超声波探头101取得的超声波的反射波信号的接收信号。具体地说,超声波接收电路120例如通过前置放大器、A/D转换器、解调器以及波束形成器等来实现。前置放大器按每个信道来放大超声波探头101接收到的反射波信号,进行增益校正处理。A/D转换器将增益校正后的反射波信号转换为数字信号。解调器对数字信号进行解调。波束形成器例如对解调后的数字信号赋予决定接收指向性所需的延迟时间,将被赋予了延迟时间的多个数字信号进行相加。通过波束形成器的加法处理,发生来自与接收指向性对应的方向的反射成分被强调的接收信号。
内部存储电路130例如具有磁存储介质、光学存储介质、或半导体存储器等可由处理器读取的存储介质等。内部存储电路130存储用于实现超声波收发的程序、与后述的关注区域自动设定处理有关的程序以及各种数据等。程序及各种数据例如可以预先存储在内部存储电路130中。另外,程序及各种数据例如也可以存储在非暂时性的存储介质中进行分发,从非暂时性的存储介质中读出并安装在内部存储电路130中。另外,内部存储电路130存储按照经由输入接口150输入的操作,而由处理电路180生成的B模式图像数据、造影图像数据以及与血流影像有关的图像数据等。内部存储电路130也可以将存储的图像数据经由通信接口170传送到外部装置104等。
另外,内部存储电路130也可以是在CD驱动器、DVD驱动器以及闪存等可移动性存储介质之间读写各种信息的驱动装置等。内部存储电路130也可以将所存储的数据写入可移动性存储介质,并经由可移动性存储介质将数据存储在外部装置104中。
图像存储器140例如具有磁存储介质、光学存储介质或半导体存储器等可由处理器读取的存储介质等。图像存储器140保存与经由输入接口150输入的冻结操作之前的多个帧对应的图像数据。存储在图像存储器140中的图像数据例如被连续显示(电影显示)。
上述的内部存储电路130以及图像存储器140可以不必须通过各自独立的存储装置来实现。内部存储电路130以及图像存储器140也可以通过单一的存储装置来实现。另外,内部存储电路130以及图像存储器140也可以分别由多个存储装置来实现。
输入接口150经由输入装置102接受来自操作者的各种指示。输入装置102例如是鼠标、键盘、面板开关、滑动开关、轨迹球、旋转编码器、操作面板以及触摸面板。输入接口150例如经由总线与处理电路180连接,将由操作者输入的操作指示转换为电信号,将电信号向处理电路180输出。另外,输入接口150不仅限于与鼠标和键盘等物理操作部件连接。例如,接收与从与超声波诊断装置1分体设置的外部的输入设备输入的操作指示对应的电信号、并将该电信号向处理电路180输出的电路也包含在输入接口的例子中。
输出接口160例如是用于将来自处理电路180的电信号输出到输出装置103的接口。输出装置103是液晶显示器、有机EL显示器、LED显示器、等离子体显示器、CRT显示器等任意的显示器。输出装置103也可以是兼作输入装置102的触摸面板式的显示器。输出装置103除了显示器以外,还可以包括输出声音的扬声器。输出接口160例如经由总线与处理电路180连接,将来自处理电路180的电信号输出到输出装置103。
通信接口170例如经由网络NW与外部装置104连接,在与外部装置104之间进行数据通信。
处理电路180例如是作为超声波诊断装置1的中枢发挥功能的处理器。处理电路180通过执行存储在内部存储电路130中的程序,实现与该程序对应的功能。处理电路180例如具有B模式处理功能181、多普勒处理功能182、图像生成功能183、取得功能184(取得部)、推定功能185(推定部)、计算功能186(计算部)、显示控制功能187(显示控制部)以及系统控制功能188。
B模式处理功能181是基于从超声波接收电路120接收到的接收信号来生成B模式数据的功能。在B模式处理功能181中,处理电路180例如对从超声波接收电路120接收到的接收信号实施包络线检波处理以及对数压缩处理等,生成以亮度的明亮度表现信号强度的数据(B模式数据)。所生成的B模式数据作为二维超声波扫描线(光栅)上的B模式RAW数据被存储在未图示的RAW数据存储器中。
另外,处理电路180通过B模式处理功能181,能够执行造影回波法,例如对比度谐波成像(ContrastHarmonic Imaging:CHI)。即,处理电路180能够将注入了造影剂的生物体P的反射波数据(高次谐波成分或分频成分)与以生物体P内的组织为反射源的反射波数据(基波成分)分离。由此,处理电路180能够从生物体P的反射波数据中提取高次谐波成分或分频成分,生成用于生成造影图像数据的B模式数据。
用于生成造影图像数据的B模式数据是以亮度来表示将造影剂作为反射源的反射波的信号强度的数据。另外,处理电路180能够从生物体P的反射波数据中提取基波成分,生成用于生成组织图像数据的B模式数据。
另外,在进行CHI时,处理电路180能够通过与使用上述滤波处理的方法不同的方法,提取谐波成分(高次谐波成分)。在谐波成像中,进行振幅调制(AM:AmplitudeModulation)法或相位调制(PM:Phase Modulation)法、组合了AM法和PM法的被称为AMPM法的影像法。
在AM法、PM法和AMPM法中,对同一扫描线多次进行振幅或相位不同的超声波发送。由此,超声波接收电路120在各扫描线生成多个反射波数据,并输出所生成的反射波数据。处理电路180通过B模式处理功能181,对各扫描线的多个反射波数据进行与调制法对应的加减运算处理,从而提取谐波成分。并且,处理电路180对谐波成分的反射波数据进行包络线检波处理等,生成B模式数据。
多普勒处理功能182是通过对从超声波接收电路120接收到的接收信号进行频率解析,生成提取在扫描区域中设定的ROI(Region Of Interest:关注区域)内的移动体的基于多普勒效应的运动信息而得到的数据(多普勒信息)的功能。所生成的多普勒信息作为二维超声波扫描线上的多普勒RAW数据(也被称为多普勒数据)存储在未图示的RAW数据存储器中。
具体地说,处理电路180通过多普勒处理功能182,例如在多个采样点分别推定平均速度、平均方差值、平均功率值等作为移动体的运动信息,生成表示推定出的运动信息的多普勒数据。移动体例如是血流、心壁等组织、造影剂。本实施方式的处理电路180通过多普勒处理功能182,在多个采样点分别推定血流的平均速度、血流速度的方差值、血流信号的功率值等作为血流的运动信息(血流信息),生成表示推定出的血流信息的多普勒数据。
进而,处理电路180能够通过多普勒处理功能182,执行被称为彩色流映射(CFM:Color Flow Mapping)法的彩色多普勒法。在CFM法中,在多条扫描线上多次进行超声波的收发。并且,在CFM法中,例如通过对同一位置的数据列施加MTI(MovingTarget Indicator:移动目标指示器)滤波器,抑制来自静止的组织或运动慢的组织的信号(杂波信号),提取来自血流的信号。并且,在CFM法中,使用提取出的血流信号,推定血流的速度、血流的方差、血流的能量等血流信息。在后述的图像生成功能183中,生成所推定的血流信息的分布,作为例如以二维进行彩色显示的超声波图像数据(彩色多普勒图像数据)。以下,将基于多普勒法用MTI滤波器提取血流信号并将提取出的血流信号用于影像化的超声波诊断装置的模式称为血流影像模式。另外,所谓彩色显示,是使血流信息的分布与规定的彩色码对应地显示,灰度也包含在彩色显示中。
血流影像模式根据期望的临床信息而有各种种类。一般来说,有血流的方向、血流的平均速度能够可视化的速度显示用血流影像模式、能够使血流信号的功率可视化的功率显示用血流影像模式。
速度显示用血流影像模式是根据血流的方向、血流的平均速度来显示与多普勒频移频率对应的颜色的模式。例如,速度显示用血流影像模式作为流动的方向,用红色系颜色表示靠近的流动,用蓝色系颜色表示远离的流动,用色调的不同表示各自的速度的不同。速度显示用血流影像模式有时也被称为彩色多普勒模式、彩色多普勒成像(Color DopplerImaging:CDI)模式。
功率显示用血流影像模式例如是用红色系颜色的色调、颜色的亮度(明度)或色度的变化来表示血流信号的功率的模式。功率显示用血流影像模式有时也被称为功率多普勒(Power Doppler:PD)模式。功率显示用血流影像模式与速度显示用血流影像模式相比能够高灵敏度地描绘血流,因此也可以被称为高灵敏度血流影像模式。
除了CDI模式及PD模式之外,血流影像模式有专用于低流速描绘的低流速用血流影像模式(SMI:Superb Micro-vascular Imaging)、高分辨率血流影像模式(ADF:Advanced Dynamic Flow)等。这些血流影像模式的通过扫描协议和信号处理等定义的影像方式各不相同。另外,在血流影像模式中也可以包含上述以外的模式。
图像生成功能183是基于由B模式处理功能181生成的数据来生成B模式图像数据的功能。例如,在图像生成功能183中,处理电路180将超声波扫描的扫描线信号列转换(扫描转换)为以电视等为代表的视频格式的扫描线信号列,生成显示用的图像数据(显示用图像数据)。具体地说,处理电路180通过对存储在RAW数据存储器中的B模式RAW数据执行RAW-像素转换,例如与超声波探头101的超声波扫描方式对应的坐标转换,生成由像素构成的二维B模式图像数据(也被称为超声波图像数据)。换言之,处理电路180通过图像生成功能183,通过超声波的收发,生成与连续的多个帧分别对应的多个超声波图像(医用图像)。
另外,处理电路180例如通过对存储在RAW数据存储器中的多普勒RAW数据执行RAW-像素转换,从而生成将血流信息影像化的多普勒图像数据。多普勒图像数据是平均速度图像数据、方差图像数据、能量图像数据、或者组合了它们的图像数据。处理电路180生成血流信息以彩色被显示的彩色多普勒图像数据、以及一个血流信息以灰度被显示成波形状的多普勒图像数据,作为多普勒图像数据。彩色多普勒图像数据在执行上述的血流影像模式时被生成。
取得功能184是取得与后述的关注区域自动设定处理有关的各种数据的功能。具体地说,例如,处理电路180通过取得功能184取得与当前的显示模式不同的其他显示模式的执行指令。另外,处理电路180取得在取得了执行指示的时刻的当前的显示模式的超声波图像数据。另外,“执行指示”也可以被替换称为与其他显示模式有关的信息(“显示模式信息”)、或与转变后的显示模式有关的信息(”转变模式信息“)。
推定功能185是通过对超声波图像数据应用学习完毕模型来推定超声波图像数据中包含的检查对象物的位置的功能。具体地说,例如,处理电路180通过推定功能185对超声波图像数据应用学习完毕模型,从而推定超声波图像数据中包含的检查对象物的位置并输出推定结果。关于检查对象物的位置的推定,例如在超声波图像数据中存在似然度为阈值以上的区域的情况下,推定为在该区域中包含检查对象物。在该情况下,推定结果例如包括被推定为包含检查对象物的一个以上的区域(其可以被称为“检测区域”或“检测单位”)。另外,在超声波图像数据内的全部区域的推定似然度为阈值以下(或者小于阈值)的情况下,推定为该图像数据不包含检查对象物。在该情况下,也可以是在推定结果中不包含检测单位的信息,而例如包含未检测出检查对象物这一意思的信息。即,处理电路180输出推定结果,而与是否推定出检查对象物的位置换言之是否包含检测单位无关。
上述的学习完毕模型例如是预先准备的、基于包含检查对象物的超声波图像数据进行了机器学习的机器学习模型。另外,机器学习也可以将超声波图像数据分割为任意的区域,对分割出的每个区域或者对组合了分割的区域而得到的每个区域进行。在该情况下,在推定功能185中也同样地对将超声波图像数据分割为任意区域而得到的每个区域进行推定处理。
本实施方式的机器学习模型典型地是模拟了生物体的脑的神经回路的多层的网络模型即深层神经网络(DNN:Deep Neural Network)。DNN包括由多个可调整的函数及参数的组合定义的带参数的合成函数。
计算功能186是基于推定结果来计算与期望的显示模式对应的关注区域的坐标(以下,称为ROI坐标)的功能。本实施方式中的“ROI坐标”包含ROI的位置以及尺寸。具体地说,例如,处理电路180通过计算功能186从推定结果中包含的一个以上的检测单位中确定一个以上的检测区域。接着,处理电路180从一个以上的检测区域中选择最可靠的检测区域,计算至少包含检测区域的ROI坐标。此时,根据期望的显示模式进行ROI坐标的计算。检测区域是一个以上的检测单位重复的整体区域。具体的说明在后面叙述。
另外,在推定结果中不包含检查对象物的情况下,处理电路180也可以不进行基于计算功能186的处理。在该情况下,用户如以往那样手动设定ROI的位置以及尺寸。
显示控制功能187是将基于由图像生成功能183生成的各种超声波图像数据的图像显示在作为输出装置103的显示器上的功能。具体地说,例如,处理电路180通过显示控制功能187,控制基于由图像生成功能183生成的B模式图像数据、多普勒图像数据、或者包含这两者的图像数据的图像在显示器中的显示。
更具体地说,处理电路180通过显示控制功能187,例如将超声波扫描的扫描线信号列转换(扫描转换)为以电视等为代表的视频格式的扫描线信号列,生成显示用图像数据。另外,处理电路180也可以对显示用图像数据执行动态范围,亮度(brightness)、对比度以及γ曲线校正、以及RGB转换等各种处理。另外,处理电路180也可以在显示用图像数据中附加各种参数的字符信息、刻度、体位标记等附带信息。另外,处理电路180也可以将操作者通过输入装置输入各种指示所用的用户接口(GUI:Graphical User Interface),使GUI显示在显示器上。
另外,通过显示控制功能187,处理电路180基于由计算功能186计算出的ROI坐标,在超声波图像数据中显示ROI。另外,处理电路180可以显示与ROI的自动设定有关的信息。具体地说,处理电路180在显示模式的转变后对向用户通知自动设定了ROI这一情况的字符或标记进行显示、或变更转变后的显示模式的ROI的显示色。显示色的变更例如可以将自动设定的ROI的显示色从以往的显示色改变,也可以将未自动设定时显示的默认的ROI的显示色从以往的显示色改变。
系统控制功能188是统一控制超声波诊断装置1整体的动作的功能。例如,在系统控制功能188中,处理电路180基于与超声波的收发有关的参数来控制超声波发送电路110及超声波接收电路120。
另外,处理电路180也可以执行B模式及血流影像模式以外的其他摄像模式。其他的摄像模式例如包括应变弹性成像模式、剪切波弹性成像(SWE:ShearWave Elastography)模式以及衰减成像(ATI:Attenuation Imaging)模式。
以上,说明了第一实施方式的超声波诊断装置的结构。接着,使用图2说明第一实施方式中的处理的概要。
图2是表示与第一实施方式中的关注区域自动设定处理有关的画面显示及内部处理的一例的图。在图2中,作为显示画面,示出了在模式转变的前后、显示模式分别不同的超声波图像211以及超声波图像212。另外,图2中示出了在模式转变期间进行的内部处理(关注区域自动设定处理)。
首先,对画面显示进行说明。第一实施方式的超声波诊断装置1以用户的与模式转变有关的操作为契机,将画面显示从超声波图像211变更为超声波图像212。在此,超声波图像211对应于当前的显示模式(这也可以称为“第一模式”、“第一显示模式”以及“转变前的显示模式”)。另外,超声波图像212对应于转变后的显示模式(这也被称为“第二模式”以及“第二显示模式”)。另外,在超声波图像212中一并显示最适合于转变后的显示模式的ROI213。另外,在模式转变期间,也可以是使超声波图像211的画面更新停止的状态,即与冻结大致相同的状态。
接着,说明内部处理。处理电路180例如以用户的与模式转变有关的操作为契机,通过取得功能184取得超声波图像数据以及与转变后的显示模式有关的信息。处理电路180通过推定功能185对超声波图像数据应用学习完毕模型221,生成与该超声波图像数据有关的推定结果。处理电路180通过计算功能186执行ROI坐标计算处理222,基于推定结果和转变后的显示模式的信息,计算与转变后的显示模式对应的ROI坐标。
图3是表示执行第一实施方式中的关注区域自动设定处理的处理电路的动作的一例的流程图。图3所示的关注区域自动设定处理例如以用户的与模式转变有关的操作为契机而开始。另外,与模式转变有关的操作例如是执行与当前的显示模式不同的显示模式的操作。
(步骤ST110)
当关注区域自动设定处理开始时,处理电路180执行取得功能184。当执行取得功能184时,处理电路180取得由用户输入的、与当前的第一显示模式不同的第二显示模式的执行指示。另外,在以后的说明中,设为第一显示模式为B模式,第二显示模式为血流影像模式。
(步骤ST120)
在从用户取得了执行指示之后,处理电路180还取得在取得了执行指示的时刻下的第一显示模式的第一超声波图像数据。另外,取得的第一超声波图像数据也可以是包含两个以上的帧的动态图像数据。
(步骤ST130)
在取得第一超声波图像数据之后,处理电路180执行推定功能185。当执行推定功能185时,处理电路180通过对第一超声波图像数据应用学习完毕模型来推定第一超声波图像数据中包含的检查对象物的位置,并输出推定结果。具体地说,处理电路180通过对第一超声波图像数据应用学习完毕模型,生成包含一个以上的检测单位在内的推定结果。另外,在推定结果中不包含检查对象物的情况下,推定结果中不包含检测单位。
(步骤ST140)
在生成推定结果之后,处理电路180判定推定结果是否包含检查对象。换言之,处理电路180判定在推定结果中是否包含检测单位信息。在推定结果中包含检测单位信息的情况下,处理进入步骤ST150。在推定结果中不包含检测单位信息的情况下,处理结束。
(步骤ST150)
在判定为推定结果中包含检测单位信息之后,处理电路180执行计算功能186。当执行计算功能186时,处理电路180基于推定结果(检测单元信息)计算与第二显示模式对应的ROI坐标。以后,将步骤ST150的处理称为“ROI坐标计算处理”。使用图4的流程图说明ROI坐标计算处理的具体例。
图4是表示图3的流程图的ROI坐标计算处理的一例的流程图。图4的流程图从图3的步骤ST140转变。
(步骤ST151)
在判定为推定结果中包含检测单位信息之后,处理电路180基于推定结果中包含的检测单位来确定检测区域。具体地说,处理电路180从一个以上的检测单位中确定一个以上的检测区域。以下,详细说明检测区域的确定。另外,所谓“从一个以上的检测单位中确定一个以上的检测区域”,例如包括从一个检测单位中确定一个检测区域、从多个检测单位中确定一个检测区域、以及从多个检测单位中确定多个检测区域中的任意一个。以下,使用图5至图7对各种情况进行说明。
图5是说明从一个检测单位确定一个检测区域的图。图5中示出了确定检测区域前后的超声波图像510和超声波图像520。超声波图像510包含一个检测单位511。因此,处理电路180将一个检测单位511确定为检测区域。由此,在超声波图像520中示出所确定的一个检测区域521。换言之,检测区域521由一个检测单位511构成。
图6是说明从多个检测单位确定一个检测区域的图。图6中示出了确定检测区域前后的超声波图像610和超声波图像620。超声波图像610包括多个检测单元611至613。多个检测单位611至613彼此部分重叠。因此,处理电路180将包含多个检测单位611至613的轮廓线确定为检测区域。由此,在超声波图像620中示出所确定的一个检测区域621。换言之,检测区域621由多个检测单位611、612、613构成。
图7是说明从多个检测单位确定多个检测区域的图。图7中示出了确定检测区域前后的超声波图像710和超声波图像720。超声波图像710包括多个检测单位711至718。多个检测单位711至713,多个检测单位714至716,多个检测单位717及718分别相互部分重复。因此,处理电路180将包含多个检测单位711至713的轮廓线、包含多个检测单位714至716的轮廓线以及包含多个检测单位717及718的轮廓线分别确定为检测区域。由此,在超声波图像720中示出所确定的多个检测区域721至723。换言之,检测区域721由多个检测单位711、712、713构成,检测区域722由多个检测单位714、715、716构成,检测区域723由多个检测单位717、718构成。
(步骤ST152)
在确定了一个以上的检测区域之后,处理电路180判定检测区域是否为两处以上。在检测区域为两处以上的情况下,处理进入步骤ST153。在检测区域不是两处以上的情况下(即,一处的情况下),处理进入步骤ST155。
(步骤ST153)
在判定为检测区域为两处以上之后,处理电路180计算各检测区域的似然度的合计值。
(步骤ST154)
在计算出各检测区域的似然度的合计值后,处理电路180选择似然度的合计值最高的检测区域。以下,使用图8说明步骤ST153和步骤ST154的处理的具体例子。
图8是说明多个检测区域中包含的检测单位的似然度的一例的图。在图8中示出了与图7的超声波图像720中包含的多个检测区域对应的检测区域721、检测区域722以及检测区域723。在检测区域721中,示出了与多个检测单位711、712、713对应的多个检测单位A1、A2、A3。同样,在检测区域722中示出了与多个检测单位714、715、716对应的多个检测单位B1、B2、B3,在检测区域723中示出与多个检测单位717、718对应的多个检测单位C1、C2。
对于检测区域721,处理电路180计算通过将检测单位A1的似然度“0.71”、检测单位A2的似然度“0.73”以及检测单位A3的似然度“0.63”相加而得到的合计值“2.07”。另外,对于检测区域722,处理电路180计算将检测单位B1的似然“0.91”和检测单位B2的似然“0.93”以及检测单位B3的似然“0.93”相加而得到的合计值“2.77”。同样,对于检测区域723,计算将检测单位C1的似然度“0.61”与检测单位C2的似然度“0.63”相加而得到的合计值“1.24”。在计算了各检测区域的似然度的合计值后,处理电路180选择似然度的合计值最高的检测区域722。
(步骤ST155)
在步骤ST152中判定为检测区域是一处之后,或者在步骤ST154中选择了检测区域之后,处理电路180基于检测区域计算与第二显示模式对应的ROI坐标数据。换言之,处理电路180基于推定结果和第二显示模式的信息,计算与第二显示模式对应的ROI坐标数据。以下,使用图9说明步骤ST155的具体例。
图9是说明根据检测区域计算ROI坐标的图。在图9中示出了与图7和图8的检测区域722对应的检测区域910、与检测区域910的外周内接的矩形920、以及以规定的放大率放大了矩形920而得到的关注区域930。
处理电路180基于检测区域910计算矩形920。然后,处理电路180根据第二显示模式的种类,以规定的放大率放大矩形920,计算关注区域930。规定的放大率为“1”以上,可以根据第二显示模式的种类任意设定。例如,在第二显示模式为SWE模式的情况下,只要在检测区域中包含检查对象物即可,所以也可以设定规定的放大率“1”,以使检测区域和关注区域为相同尺寸。
另外,ROI坐标数据的计算不限于上述。例如,也可以根据基于检测区域计算出的矩形的中心和长边来计算关注区域的ROI坐标数据。另外,在根据矩形计算关注区域时,也可以变更关注区域的尺寸以及形状的至少一方。所谓变更关注区域的形状,例如相当于使矩形的长边和短边之比(纵横比)与关注区域的纵横比不同。
(步骤ST160)
在计算出ROI坐标之后,处理电路180通过显示控制功能187,基于ROI坐标在第二显示模式的第二超声波图像数据中显示ROI。
如以上说明的那样,第一实施方式的超声波诊断装置取得第一模式的第一超声波图像数据,通过对第一超声波图像数据应用学习完毕模型,推定第一超声波图像数据中包含的检查对象物的位置,并输出推定结果,基于推定结果和与第一模式不同的第二模式的信息,计算与第二模式对应的关注区域的坐标,根据坐标在第二模式的第二超声波数据中显示关注区域。
因此,第一实施方式的超声波诊断装置能够与要转变的模式的种类无关地自动设定最优的ROI,所以不需要在每次模式转变时手动设定ROI,能够减少用户的麻烦。
另外,关注区域自动设定处理的开始以及进行各处理的定时不限于图3的处理。例如,也可以在当前的第一显示模式的执行中,并行地进行关注区域自动设定处理。在该情况下,例如,省略步骤ST110的处理,无论用户的执行指令如何都执行步骤ST120的处理。然后,以与相当于步骤ST110的处理的用户的模式转变相关的操作为契机,可以进行步骤ST130的推定处理,也可以进行步骤ST150的ROI坐标计算处理。
另外,ROI坐标计算处理的各处理不限于图4的处理。例如,代替步骤ST153以及步骤ST154的处理,处理电路180可以从一个以上的检测区域中选择包含具有最高似然度的检测单位的检测区域,或者也可以从一个以上的检测区域中选择检测单位的重复数最多的检测区域。
另外,在第一实施方式中,还考虑了推定结果中不包含检查对象物的情况,但不限于此。例如,也可以以在转变前的超声波图像数据中包含检查对象物为前提。在该情况下,由于在推定结果中包含全部检查对象物,所以例如也可以省略图3的步骤ST140的处理。
(第二实施方式)
在第一实施方式中,说明了使用学习完毕模型推定检查对象物的位置,并基于推定结果计算ROI坐标的情况。另一方面,在第二实施方式中,对使用学习完毕模型推定ROI坐标的情况进行说明。另外,第二实施方式的超声波诊断装置的结构与超声波诊断装置1大致相同。以下,使用图10说明第二实施方式中的处理的概要。
图10是表示与第二实施方式中的关注区域自动设定处理有关的画面显示及内部处理的一例的图。在图10中,作为显示画面,示出了在模式转变的前后、显示模式分别不同的超声波图像1011以及超声波图像1012。另外,图10中示出了在模式转变期间进行的内部处理(关注区域自动设定处理)。
首先,对画面显示进行说明。第二实施方式的超声波诊断装置1以用户的与模式转变有关的操作为契机,将画面显示从超声波图像1011变更为超声波图像1012。这里,超声波图像1011对应于当前的显示模式(这也被称为“第一显示模式”以及“转变前的显示模式”)。另外,超声波图像1012对应于转变后的显示模式(这也被称为“第二显示模式”)。另外,在超声波图像1012中一并显示最适合于第二显示模式的ROI1013。另外,在模式转变期间,可以是使超声波图像1011的画面更新停止的状态,即与冻结大致相同的状态。
接着,说明内部处理。处理电路180例如以用户的与模式转变有关的操作为契机,通过取得功能184取得超声波图像数据以及与转变后的显示模式有关的信息。处理电路180通过推定功能185,对超声波图像数据以及显示模式的信息应用学习完毕模型1021,输出与转变后的显示模式对应的ROI坐标数据。
图11是表示执行第二实施方式中的关注区域自动设定处理的处理电路的动作的一例的流程图。图11所示的关注区域自动设定处理例如以用户的与模式转变有关的操作为契机而开始。另外,与模式转变有关的操作例如是执行与当前显示模式不同的显示模式的操作。
(步骤ST210)
当关注区域自动设定处理开始时,处理电路180执行取得功能184。当执行取得功能184时,处理电路180取得由用户输入的、与当前的第一显示模式不同的第二显示模式的执行指示。另外,在以后的说明中,设为第一显示模式为B模式,第二显示模式为血流影像模式。
(步骤ST220)
在从用户取得了执行指示之后,处理电路180还取得在取得了执行指示的时刻的第一显示模式的第一超声波图像数据。另外,取得的第一超声波图像数据也可以是包含两个以上的帧的动态图像数据。
(步骤ST230)
在取得第一超声波图像数据之后,处理电路180执行推定功能185。当执行推定功能185时,处理电路180通过对第一超声波图像数据应用学习完毕模型来推定与第二显示模式对应的ROI坐标。具体地说,处理电路180通过对第一超声波图像数据应用与第二显示模式的信息相关联的学习完毕模型,推定第一超声波图像数据中包含的检查对象物的位置,将与第二显示模式对应的关注区域的坐标作为推定结果输出。另外,第二显示模式的信息例如是用“0”和“1”表示有无与显示模式的种类对应的要素的单向量(One-HotVector)形式的数据。另外,学习完毕模型既可以根据显示模式的种类分别准备模型,也可以与显示模式的种类无关地准备一个模型。
(步骤ST240)
在推定出ROI坐标之后,处理电路180通过显示控制功能187,基于ROI坐标在第二显示模式的第二超声波图像数据中显示ROI。
如以上说明的那样,第二实施方式的超声波诊断装置取得第一模式的第一超声波图像数据以及与第一模式不同的第二模式的信息,对第一超声波图像数据应用与第二模式的信息相关联的学习完毕模型,由此推定第一超声波图像数据中包含的检查对象物的位置,输出与第二模式对应的关注区域的坐标作为推定结果,基于坐标在第二模式的第二超声波图像数据中显示关注区域。
因此,第二实施方式的超声波诊断装置能够与要转变的模式的种类无关地自动设定最优的ROI,所以不需要在每次模式转变时手动设定ROI,能够减少用户的麻烦。
(显示画面的例子)
图12是例示进行了第一实施方式以及第二实施方式中的关注区域自动设定处理后的显示画面的图。在图12的显示画面1200上显示有选择血流影像模式作为第二显示模式时的超声波图像1210。在超声波图像1210上显示ROI1211。此外,在显示画面1200上显示字符串1212“ROI自动设定”,该字符串1212“ROI自动设定”指示通过关注区域自动设定处理自动设定ROI。另外,在显示画面1200上,也可以改变字符串而显示表示进行了ROI自动设定的标记(例如,图标)。可选地,可以通过从默认颜色变更ROI1211的颜色(即,关注区域的外框的颜色)来指示进行了或没进行ROI自动设定。另外,在外框的颜色被变更的情况下,处理电路180也可以在经过了指定时间之后或者在用户进行了ROI的手动设定的定时,返回到默认的颜色。
(其他实施方式)
在第一实施方式及第二实施方式中,作为模式转变,例如假定了向不同的影像模式的转变(例如从B模式向血流影像模式的转变),但不限于此。其他实施方式中的模式转变例如也可以包括转变为附随当前的显示模式的模式(例如计测模式)。
图13是用于说明与其他实施方式中的关注区域自动设定处理有关的第一例的图。在图13中,示出了以B模式显示的超声波图像1310、分割图像1320、以应变弹性成像模式显示的超声波图像1330。在图13的第一例中,处理电路180对超声波图像1310执行图像分割,并且根据分割结果设定计测ROI。另外,扫描ROI是预先设定的。
例如,当在超声波图像1330中示出乳腺区域的情况下,处理电路180对超声波图像1330执行与乳腺区域有关的图像分割,并且生成分割图像1320。在分割图像1320中,五个区域1321至1325被区分开而示出,并且分别与“皮肤”、“脂肪”、“乳腺”、“肿瘤”和“胸肌”建立关联。
在执行了图像分割之后,处理电路180基于作为分割结果的分割图像1320,例如设定计算对脂肪和病变的失真进行比较的FLR(FatLesion Ratio)的值所需的两个计测ROI。具体地说,处理电路180对超声波图像1330自动设定与表示“肿瘤”的区域1324有关的计测ROI1331和与表示“脂肪”的区域1322有关的计测ROI1332。
图14是用于说明与其他实施方式中的关注区域自动设定处理有关的第二例的图。图14示出了以B模式显示的超声波图像1410、分割图像1420和以SWE模式显示的超声波图像1430。在图14的第二例中,处理电路180对超声波图像1410执行图像分割,并根据分割结果来设定扫描ROI及计测ROI。另外,也可以预先设定扫描ROI。
例如,在超声波图像1410中包含肿瘤的情况下,处理电路180对超声波图像1410执行图像分割,生成分割图像1420。在分割图像1420中,包括表示“肿瘤”的区域1421在内的多个区域被区分开示出。
在执行图像分割之后,处理电路180基于作为分割结果的分割图像1420自动设定SWE中的扫描ROI1432和用于计测例如弹性值(elasticity)的计测ROI1431。扫描ROI1432可以由用户预先设定,或者可以通过第一实施方式及第二实施方式的方法自动设定。
图15是用于说明与其他实施方式中的关注区域自动设定处理有关的第三例的图。在图15中,示出了以B模式显示的超声波图像1510、分割图像1520、以低流速用血流影像模式显示的超声波图像1530。在图15的第三例中,处理电路180对超声波图像1510执行图像分割,根据分割结果来设定扫描ROI以及计测ROI。
例如,在超声波图像1510中包含计测对象部的情况下,处理电路180对超声波图像1510执行图像分割,生成分割图像1520。在分割图像1520中,包括表示“计测对象部”的区域1521在内的多个区域被区分开示出。
在执行了图像分割之后,处理电路180基于作为分割结果的分割图像1520,自动设定低流速用血流影像模式中的扫描ROI1532和例如用于计算计测对象部的血管指数(Vascular Index)的计测ROI1531。另外,扫描ROI1532既可以由用户预先设置,也可以通过第一实施例和第二实施例的方法自动设定。
在上述各实施方式中,通过关注区域自动设定处理自动设定ROI,但不限于此。例如,超声波诊断装置1也可以通过系统控制功能188(设定部),根据设定了ROI的位置以及尺寸,自动变更与转变后的模式有关的参数(例如,画质参数)。画质参数例如是超声波波束的收发频率,聚焦位置、增益以及深度。另外,超声波诊断装置1也可以在自动设定ROI的同时,设定是否自动变更画质参数。
(第三实施方式)
在上述各实施方式中,说明了在未显示关注区域的超声波图像中,例如以用户的与模式转变有关的操作为契机而自动设定并显示关注区域的结构。另一方面,在第三实施方式中,说明在显示有关注区域的超声波图像中例如根据规定的条件来重新设定关注区域并进行显示的结构。另外,以下将重新设定关注区域的处理称为关注区域重新设定处理。
作为重新设定关注区域的必要性,例如可以举出仅消除由摄像断面的变化引起的注意区域的移动这一不优选的状况的例子。摄像断面的变化例如有起因于超声波探头的变化和起因于生物体的变化。由超声波探头引起的摄像断面的变化,例如由于使超声波探头接触的位置发生偏移、或者改变使接触超声波探头的位置而发生。由生物体引起的摄像断面的变化例如由于关注的部位(例如脏器)因呼吸或脉动等移动而发生。当摄像断面发生变化时,在超声波图像内的关注区域(例如,想要显示血流影像的区域)和在超声波图像中设定的关注区域(例如,显示血流影像的区域)之间发生偏差。因此,为了应对因超声波图像内的注意区域与关注区域之间发生偏差而导致的注意区域的移动,需要重新设定关注区域。
图16是表示第三实施方式的超声波诊断装置的结构例的框图。图16的超声波诊断装置1A具有装置主体100A和超声波探头101。装置主体100A与输入装置102和输出装置103连接。另外,装置主体100A经由网络NW与外部装置104连接。
装置主体100A是基于由超声波探头101接收到的反射波信号生成超声波图像的装置。装置主体100A具有超声波发送电路110、超声波接收电路120、内部存储电路130、图像存储器140、输入接口150、输出接口160、通信接口170和处理电路180A。
处理电路180A例如是作为超声波诊断装置1A的中枢发挥功能的处理器。处理电路180A通过执行存储在内部存储电路130中的程序,实现与该程序对应的功能。处理电路180A例如具有B模式处理功能181、多普勒处理功能182、图像生成功能183、取得功能184(取得部)、推定功能185(推定部)、计算功能186(计算部)、显示控制功能187(显示控制部)、系统控制功能188、重新设定功能1600(重新设定部)。
重新设定功能1600是根据规定的条件而重新设定已经设定的关注区域的功能。在规定的条件中,例如有关于是否重新计算ROI坐标的条件(重新计算条件)、关于是否重新设定重新计算出的ROI坐标的条件(重新设定条件)、关于是否计算关于摄像断面的偏移的相关值的条件(相关值计算条件)以及关于是否基于计算出的相关值重新设定ROI坐标的条件。另外,规定的条件也包括由用户输入重新设定关注区域的指示的情况。
具体地说,例如,处理电路180A通过重新设定功能1600,基于重新计算条件来判定是否重新计算ROI坐标。重新计算条件例如是计算ROI坐标的帧间隔。因此,通过将帧间隔设为1以上的任意数,处理电路180A能够设定为按每帧或每多个帧进行ROI坐标的重新计算。
另外,例如,处理电路180A通过重新设定功能1600,基于重新设定条件来判定是否显示新的ROI。重新设定条件例如是与当前的ROI坐标的区域和重新计算出的ROI坐标的区域的一致度相关的阈值。例如,如果一致度为100%,则意味着重新计算前后的ROI坐标没有偏差。另外,例如,一致度越从100%下降,则意味着重新计算前后的ROI坐标的偏差越大。对于阈值,根据偏差的容许而设定任意的值。因此,处理电路180A在一致度低于阈值的情况下,能够设定为显示新的ROI。
另外,例如,处理电路180A通过重新设定功能1600,基于相关值计算条件来判定是否计算相关值。相关值是与不同的两个帧间的两个超声波图像(例如B模式图像)的相关有关的值。相关值的计算例如也可以在超声波图像的规定区域(例如整体或ROI内)进行。相关值计算条件例如是计算相关值的帧间隔。因此,通过将帧间隔设为1以上的任意数,处理电路180A能够设定为按每帧或每多个帧进行相关值的计算。
另外,例如,处理电路180A通过比较相关值和阈值,重新计算ROI坐标,并判定是否显示新的ROI。根据相关的程度将任意值设置为阈值。因此,处理电路180A能够设定为在相关值低于阈值的情况下,重新计算ROI坐标并显示新的ROI。
以下,作为关注区域重新设定处理,对两个具体例进行说明。第一具体例是在以规定的帧间隔重新计算ROI坐标之后,基于重新计算出的ROI坐标,(1)始终显示新的关注区域的结构,或者(2)在满足重新设定ROI的条件的情况下显示新的关注区域的结构。第二具体例是在满足重新设定关注区域的条件的情况下重新计算ROI坐标,基于重新计算出的ROI坐标来显示新的关注区域的结构。
(第一具体例)
图17是表示第三实施方式中的执行关注区域重新设定处理的处理电路的动作的第一具体例的流程图。图17所示的关注区域重新设定处理例如在图3的流程图的步骤ST160的处理之后开始。
(步骤ST310)
当关注区域重新设定处理开始时,处理电路180A执行重新设定功能1600。当执行重新设定功能1600时,处理电路180A判定是否满足重新计算条件。具体地说,处理电路180A判定过去计算了ROI坐标的帧与当前帧的帧间隔是否为任意数。在帧间隔是任意数的情况下,处理电路180A判定为满足重新计算条件,处理进入步骤ST320。在帧间隔不是任意数,即帧间隔小于任意数的情况下,处理电路180A判定为不满足重新计算条件,重复步骤ST310的处理直到帧间隔成为任意数为止。
(步骤ST320)
在判定为满足重新计算条件之后,处理电路180A重新计算ROI坐标。具体地说,处理电路180A如在第一实施方式中说明的那样,基于B模式图像来推定检查对象物的位置,基于推定结果来重新计算ROI坐标。或者,处理电路180A如在第二实施方式中说明的那样,基于B模式图像直接推定(重新计算)ROI坐标。
(步骤ST330)
在重新计算出ROI坐标之后,处理电路180A通过重新设定功能1600判定是否满足重新设定条件。具体地说,处理电路180A计算当前的ROI坐标的区域与重新计算出的ROI坐标的区域的一致度,判定计算出的一致度是否小于阈值。在一致度小于阈值的情况下,处理电路180A判定为满足重新设定条件,处理进入步骤ST340。在一致度不小于阈值的情况下,处理电路180A判定为不满足重新设定条件,处理返回步骤ST310。
(步骤ST340)
在判定为满足重新设定条件之后,处理电路180A通过显示控制功能187,基于重新计算出的ROI坐标在超声波图像数据中显示新的ROI。
另外,上述步骤ST330中的重新设定条件不限于与ROI坐标的区域有关的一致度的比较。例如,重新设定条件可以是与推定结果中包含的检查对象物的位置的区域有关的一致度和阈值的比较,也可以是与B模式图像数据有关的相关值和阈值的比较。
(第二具体例)
图18是表示第三实施方式中的执行关注区域重新设定处理的处理电路的动作的第二具体例的流程图。图18所示的关注区域重新设定处理例如在图3的流程图的步骤ST160的处理之后开始。
(步骤ST410)
当关注区域重新设定处理开始时,处理电路180A执行重新设定功能1600。当执行重新设定功能1600时,处理电路180A判定是否满足相关值计算条件。具体地说,处理电路180A判定作为基准的帧与当前帧的帧间隔是否为任意数。在帧间隔是任意数的情况下,处理电路180A判定为满足相关值计算条件,处理进入步骤ST420。在帧间隔不是任意数,即帧间隔小于任意数的情况下,处理电路180A判定为不满足相关值计算条件,重复步骤ST410的处理直到帧间隔成为任意数为止。
(步骤ST420)
在判定为满足相关值计算条件之后,处理电路180A计算基准的超声波图像的规定区域与当前的超声波图像的规定区域之间的相关值。基准的超声波图像例如是以前新设定或重新设定了ROI的帧的超声波图像。另外,基准的超声波图像也可以将当前帧的超声波图像的规定帧前的帧作为基准。
(步骤ST430)
在计算出相关值之后,处理电路180A判定相关值是否小于阈值。在判定为相关值小于阈值的情况下,处理进入步骤ST440。在判定为相关值大于阈值的情况下,处理返回步骤ST410。
(步骤ST440)
在判定为相关值小于阈值之后,处理电路180A重新计算ROI坐标。关于重新计算,与图17的步骤ST320相同。
(步骤ST450)
在重新计算出ROI坐标之后,处理电路180A通过显示控制功能187,基于重新计算出的ROI坐标,在超声波图像数据中显示新的ROI。
如以上说明的那样,第三实施方式的超声波诊断装置能够根据规定的条件来重新设定关注区域,所以即使在摄像断面变化的情况下也能够适当地显示关注区域。
根据以上说明的至少一个实施方式,能够与转变的模式的种类无关地自动设定最优的ROI。
说明了几个实施方式,但这些实施方式是作为例子而提示的,并不意图限定发明的范围。这些实施方式能够以其他各种方式实施,在不脱离发明的主旨的范围内,能够进行各种省略、置换、变更,实施方式彼此的组合。这些实施方式或其变形包含在发明的范围或主旨内,同样包含在权利要求书所记载的发明及其等同的范围内。
Claims (26)
1.一种超声波诊断装置,具备:
取得部,取得第一模式的第一超声波图像数据;
推定部,通过对所述第一超声波图像数据应用学习完毕模型,推定所述第一超声波图像数据中包含的检查对象物的位置,并输出推定结果;
计算部,基于所述推定结果和与所述第一模式不同的第二模式的信息,计算与所述第二模式对应的关注区域的坐标;以及
显示控制部,基于所述坐标,在所述第二模式的第二超声波图像数据中显示所述关注区域。
2.根据权利要求1所述的超声波诊断装置,
所述推定结果包含一个以上的检测单位,该检测单位包含所述检查对象物,
所述计算部,基于所述一个以上的检测单位,确定一个以上的检测区域,并基于所述一个以上的检测区域中的最可靠的一个检测区域,计算所述坐标。
3.根据权利要求2所述的超声波诊断装置,
在确定了多个所述一个以上的检测区域的情况下,
所述计算部基于推定出所述检查对象物的位置时的检测单位的似然度,计算所述一个以上的检测区域各自所包含的检测单位的似然度的合计值,并将所述一个以上的检测区域中似然度的合计值最高的检测区域确定为所述一个检测区域。
4.根据权利要求2所述的超声波诊断装置,
在确定了多个所述一个以上的检测区域的情况下,
所述计算部基于推定出所述检查对象物的位置时的检测单位的似然度,将所述一个以上的检测区域中的包含检测单位最高的似然度的检测区域确定为所述一个检测区域。
5.根据权利要求2所述的超声波诊断装置,
在确定了多个所述一个以上的检测区域的情况下,
所述计算部将所述一个以上的检测区域中的检测单位的重复数最多的检测区域确定为所述一个检测区域。
6.根据权利要求2至5中任一项所述的超声波诊断装置,
所述一个检测区域由一个检测单位或多个检测单位构成。
7.根据权利要求6所述的超声波诊断装置,
在所述一个检测区域由所述多个检测单位构成的情况下,
所述计算部基于与所述多个检测单位的外周内接的矩形,计算所述坐标。
8.根据权利要求7所述的超声波诊断装置,
所述计算部基于所述矩形的中心及长边,计算所述坐标。
9.根据权利要求1至8中任一项所述的超声波诊断装置,
所述计算部基于所述第二模式的信息,变更所述关注区域的尺寸及形状中的至少一方。
10.根据权利要求1至9中任一项所述的超声波诊断装置,
还具备重新设定部,该重新设定部根据规定的条件来重新设定所述关注区域。
11.根据权利要求10所述的超声波诊断装置,
所述计算部计算比计算出所述关注区域的坐标的帧靠后的帧中的新的关注区域的坐标,
所述重新设定部在所述关注区域的坐标的区域与所述新的关注区域的坐标的区域的一致度小于阈值的情况下,重新设定所述新的关注区域,
所述显示控制部在所述第二超声波图像数据中显示所述新的关注区域。
12.根据权利要求10所述的超声波诊断装置,
所述计算部计算基准的超声波图像数据的规定区域与当前的超声波图像数据的规定区域的相关值,
所述重新设定部在所述相关值小于阈值的情况下,决定为重新设定新的关注区域,
所述计算部基于所述当前的超声波图像数据来计算所述新的关注区域的坐标,
所述显示控制部在所述第二超声波图像数据中显示所述新的关注区域。
13.一种超声波诊断装置,具备:
取得部,取得第一模式的第一超声波图像数据及与所述第一模式不同的第二模式的信息;
推定部,通过对所述第一超声波图像数据以及所述第二模式的信息应用学习完毕模型,推定所述第一超声波图像数据中包含的检查对象物的位置,并将与所述第二模式对应的关注区域的坐标作为推定结果输出;以及
显示控制部,基于所述坐标,在所述第二模式的第二超声波图像数据中显示所述关注区域。
14.根据权利要求13所述的超声波诊断装置,
还具备重新设定部,该重新设定部根据规定的条件来重新设定所述关注区域。
15.根据权利要求14所述的超声波诊断装置,
所述推定部推定比推定出所述关注区域的坐标的帧靠后的帧中的新的关注区域的坐标,
所述重新设定部在所述关注区域的坐标的区域与所述新的关注区域的坐标的区域的一致度小于阈值的情况下,重新设定所述新的关注区域,
所述显示控制部在所述第二超声波图像数据中显示所述新的关注区域。
16.根据权利要求14所述的超声波诊断装置,
还具备计算部,该计算部计算基准的超声波图像数据的规定区域与当前的超声波图像数据的规定区域之间的相关值,
所述重新设定部在所述相关值小于阈值的情况下,决定为重新设定新的关注区域,
所述推定部基于所述当前的超声波图像数据来推定新的关注区域的坐标,
所述显示控制部在所述第二超声波图像数据中显示所述新的关注区域。
17.根据权利要求1至12中任一项所述的超声波诊断装置,
所述计算部以用户的与模式转变有关的操作为契机,计算所述坐标。
18.根据权利要求1至16中任一项所述的超声波诊断装置,
所述取得部以用户的与模式转变相关的操作为契机,取得所述第一超声波图像数据。
19.根据权利要求1至16中任一项所述的超声波诊断装置,
所述推定部以用户的与模式转变有关的操作为契机,推定所述检查对象物的位置。
20.根据权利要求1至19中任一项所述的超声波诊断装置,
所述显示控制部根据所述推定结果,变更所述关注区域的外框的颜色。
21.根据权利要求1至20中任一项所述的超声波诊断装置,
所述显示控制部根据所述推定结果,在所述第二模式的显示画面上显示字符串及标记中的至少一方。
22.根据权利要求1至21中任一项所述的超声波诊断装置,
所述第二模式是血流影像模式或弹性成像模式。
23.根据权利要求22所述的超声波诊断装置,
所述第二模式是伴随血流影像模式或弹性成像模式的计测模式,
所述关注区域表示计测区域。
24.根据权利要求1至23中任一项所述的超声波诊断装置,
还具备设定部,该设定部根据所述关注区域的位置,变更与所述第二模式有关的参数。
25.根据权利要求24所述的超声波诊断装置,
所述设定部变更作为所述参数的超声波束的收发频率、聚焦位置、增益以及深度中的任意一个。
26.根据权利要求1至25中任一项所述的超声波诊断装置,
所述学习完毕模型是深层神经网络。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021064204 | 2021-04-05 | ||
JP2021-064204 | 2021-04-05 | ||
JP2022-048858 | 2022-03-24 | ||
JP2022048858A JP2022159993A (ja) | 2021-04-05 | 2022-03-24 | 超音波診断装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115192065A true CN115192065A (zh) | 2022-10-18 |
Family
ID=83450578
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210348632.1A Pending CN115192065A (zh) | 2021-04-05 | 2022-04-01 | 超声波诊断装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220313220A1 (zh) |
CN (1) | CN115192065A (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6875596B2 (ja) * | 2018-03-01 | 2021-05-26 | 富士フイルム株式会社 | 音響波診断装置および音響波診断装置の制御方法 |
WO2022154342A1 (en) * | 2021-01-12 | 2022-07-21 | Samsung Electronics Co., Ltd. | Methods and electronic device for processing image |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102648482B (zh) * | 2009-09-11 | 2017-09-12 | 斯特拉克斯联合控股有限公司 | 用于所选组织结构的图像分析的方法及系统 |
JP6405712B2 (ja) * | 2014-05-30 | 2018-10-17 | コニカミノルタ株式会社 | 超音波診断装置 |
KR20160012758A (ko) * | 2014-07-25 | 2016-02-03 | 삼성전자주식회사 | 영상 진단 보조 장치 및 방법 |
US20190125295A1 (en) * | 2017-10-30 | 2019-05-02 | Siemens Medical Solutions Usa, Inc. | Cardiac flow detection based on morphological modeling in medical diagnostic ultrasound imaging |
-
2022
- 2022-04-01 CN CN202210348632.1A patent/CN115192065A/zh active Pending
- 2022-04-04 US US17/657,825 patent/US20220313220A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220313220A1 (en) | 2022-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10335118B2 (en) | Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image parallel display method | |
JP4921826B2 (ja) | 超音波診断装置及びその制御方法 | |
US8834371B2 (en) | Ultrasound diagnostic apparatus and ultrasound image processing program | |
JP6218400B2 (ja) | 超音波診断装置及び超音波診断装置の制御プログラム | |
US20120065512A1 (en) | Ultrasonic diagnostic apparatus and ultrasonic image processng apparatus | |
JP2014012129A (ja) | 超音波診断装置及び画像処理装置 | |
CN115192065A (zh) | 超声波诊断装置 | |
JP2014000290A (ja) | 超音波診断装置 | |
KR20120044267A (ko) | 초음파 진단 장치 및 조직 움직임 추적 방법 | |
US10624608B2 (en) | Ultrasonic diagnostic apparatus | |
EP3108456A1 (en) | Motion adaptive visualization in medical 4d imaging | |
JP5415669B2 (ja) | 超音波診断装置 | |
US20240122577A1 (en) | Ultrasonic diagnostic apparatus | |
US20210298721A1 (en) | Ultrasound diagnosis apparatus | |
JP2014108311A (ja) | 超音波画像表示装置及びその制御プログラム | |
JP7343342B2 (ja) | 超音波診断装置、及び画像処理装置 | |
WO2020149191A1 (ja) | 画像解析装置 | |
JP2022159993A (ja) | 超音波診断装置 | |
JP5663640B2 (ja) | 超音波診断装置 | |
JP2001204729A (ja) | 超音波画像診断装置 | |
US12032104B2 (en) | Ultrasonic diagnostic apparatus and method of determining scanning condition | |
US20220079564A1 (en) | Ultrasonic diagnostic apparatus and method of determining scanning condition | |
US20220151592A1 (en) | Ultrasonic diagnostic apparatus and method | |
US20240108314A1 (en) | Ultrasonic diagnostic apparatus and non-transitory computer readable medium | |
JP6707014B2 (ja) | 超音波観測装置、超音波観測システム、超音波観測装置の作動方法、及び超音波観測装置の作動プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |