CN110786880B - 超声波诊断装置以及超声波图像处理方法 - Google Patents
超声波诊断装置以及超声波图像处理方法 Download PDFInfo
- Publication number
- CN110786880B CN110786880B CN201910224174.9A CN201910224174A CN110786880B CN 110786880 B CN110786880 B CN 110786880B CN 201910224174 A CN201910224174 A CN 201910224174A CN 110786880 B CN110786880 B CN 110786880B
- Authority
- CN
- China
- Prior art keywords
- image
- boundary
- condition
- interest
- ultrasonic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/465—Displaying means of special interest adapted to display user selection data, e.g. icons or menus
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
- A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明提供一种超声波诊断装置以及超声波图像处理方法,其对断层图像自动地设定关心区域。在断层图像(50)中包含乳腺图像(56)、大胸肌图像(58)以及边界图像(60)。对断层图像(50)设定多个搜索路径(68)。在各个搜索路径(68)中,从深处向浅处执行边界搜索。根据多个边界点(74),以包含乳腺图像(56)的方式设定关心区域(82)。关心区域内的图像部分成为图像分析的对象。
Description
技术领域
本发明涉及一种超声波诊断装置以及超声波图像处理方法,特别是涉及关心区域的生成。
背景技术
超声波诊断装置是根据通过向生物体发送接收超声波而得到的接收信号来形成超声波图像的装置。典型的超声波图像为断层图像,其是表示组织的截面的图像。例如在乳房的检查中,使超声波探头与乳房表面接触,观察由此显示的断层图像,另外,通过该观察来诊断在乳腺中是否存在肿瘤、肿瘤的形态等。
近来,正在普及一种搭载了计算机辅助诊断(Computer-Aided Diagnosis:CAD)功能的超声波诊断装置、超声波图像处理装置。在这样的装置中,在超声波图像的评价或诊断时使用CAD功能。例如在乳腺诊断中,使用CAD功能来实时地分析断层图像。具体地说,自动地识别断层图像中包含的低亮度的肿瘤图像(或低亮度的非肿瘤),并对其进行标记。作为CAD功能,针对每个肿瘤图像来自动地判断恶性程度。
例如在专利文献1中公开了一种根据组织的轮廓来自动地设定关心区域的超声波诊断装置。另外,在专利文献2中公开了在设定在断层图像上的多个搜索路径上从深处向浅处进行边界搜索的技术。
在通过乳房的超声波诊断得到的断层图像上,在断层图像内的深处,具体而言在乳腺图像的下侧出现大胸肌图像,容易将其中的低亮度部分错误识别或错误检测为肿瘤图像。通常,因为肿瘤出现在乳腺中,因此乳腺图像成为专门的观察对象。因此,考虑以包含位于浅处的乳腺图像且排除位于深处的大胸肌图像等方式来设定关心区域,但是以手动方式设定关心区域较繁杂。由于探头的发送接收面的一部分(例如端部)从体表面浮起,还有时在断层图像内出现阴影(黑的区域)。期望从关心区域排除这样的阴影来决定关心区域,但是以手动方式设定关心区域仍然是繁杂的。
另一方面,在通过乳房的超声波诊断得到的断层图像中,在乳腺图像与大胸肌图像之间横向流动的边界图像较为清楚地出现。在该断层图像中想要进行图像分析的部分通常为在边界图像的上侧出现的乳腺图像。另一方面,边界图像的下侧的区域为大致具有一致性的较低亮度的区域。期望利用它们的性质或特征来自动地生成关心区域。
此外,在通过乳房以外的组织的超声波诊断得到的超声波图像中也存在识别出上述性质或特征的图像,关于这样的图像,也期望自动地生成关心区域。关于关心区域的设定,在专利文献1中并未公开使用横向流动的边界图像。另外,在专利文献2的技术中,在设定多个搜索路径之前需要设定关心区域。
专利文献1:日本特开平8-131436号公报
专利文献2:日本特开2010-259527号公报
发明内容
本发明的目的在于,实现自动地生成适合于超声波图像的内容的关心区域。
本发明的超声波诊断装置的特征在于,具备:检测部,其在包含边界图像的超声波图像上,以横穿上述边界图像中的多个位置的方式设定多个搜索路径,在上述多个搜索路径上从深处向浅处进行边界搜索,由此检测多个边界点,其中,上述边界图像具有在与深度方向交叉的方向上延伸的形态;以及生成部,其根据上述多个边界点,生成包含存在于上述边界图像的浅侧的关注组织图像的关心区域。
在本发明的超声波图像处理方法包含:生成步骤,在超声波图像上,根据具有在与深度方向交叉的方向上延伸的形态的边界图像,生成包含存在于上述边界图像的浅侧的关注组织图像的关心区域;以及显示步骤,与用于表示对上述超声波图像或其它的超声波图像中的上述关心区域内的图像部分进行分析后的结果的图像一起显示用于表示上述关心区域的图像,在上述生成步骤中,从上述超声波图像中的深处向浅处执行边界搜索,根据其结果来决定上述关心区域。
本发明的程序是在超声波图像处理装置中执行的程序,其包含以下功能:在包含边界图像的超声波图像上,以横穿上述边界图像中的多个位置的方式设定多个搜索路径,在上述多个搜索路径上从深处向浅处进行边界搜索,由此检测多个边界点,其中,上述边界图像具有在与深度方向交叉的方向上延伸的形态;以及根据上述多个边界点,生成包含存在于上述边界图像的浅侧的关注组织图像的关心区域。
根据本发明,能够实现自动地生成适合于超声波图像的内容的关心区域。
附图说明
图1是表示实施方式的超声波诊断装置的框图。
图2是表示ROI设定部的结构例的框图。
图3表示比较例。
图4表示实施方式的ROI生成方法。
图5表示边界检测方法。
图6表示ROI的生成和应用。
图7表示平滑化的前后。
图8用于说明时间轴上的平滑化。
图9表示显示例。
图10表示超声波图像处理方法的第一例。
图11表示超声波图像处理方法的第二例。
图12表示包含阴影和肋骨图像的断层图像。
图13表示超声波图像处理方法的第一例的处理结果。
图14表示超声波图像处理方法的第二例的处理结果。
图15用于说明边界判定方法。
具体实施方式
以下,根据附图说明本发明的实施方式。
(1)实施方式的概要
实施方式的超声波诊断装置具有对包含边界图像的超声波图像进行处理的功能,为了进行该处理,具有检测部以及生成部,其中,上述边界图像具有在与深度方向交叉的方向上延伸的形态。检测部以横穿边界图像中的多个位置的方式设定多个搜索路径,在多个搜索路径上从深处向浅处进行边界搜索,由此检测多个边界点。生成部根据多个边界点,生成包含存在于边界图像的浅侧的关注组织图像的关心区域。
上述结构以在超声波图像中较清晰地出现边界图像以及在边界图像的深侧与边界图像不同的区域扩展为前提,使用这些性质或特征,设定包含存在于边界图像跟前的关注组织图像的关心区域。可以以包含边界图像的方式设定关心区域,也可以以排除边界图像的方式设定关心区域。在超声波图像的一部分产生阴影的情况下,在阴影内边界图像也部分消失。在该情况下,边界搜索进行到探头附近,因此避开阴影而设定关心区域。
在实施方式中,关注组织图像为乳腺图像,边界图像为乳腺图像与处于比该乳腺图像更深处的大胸肌图像之间的边界图像。在实施方式中,关心区域在超声波图像或其它的超声波图像中划定成为分析对象的部分。也可以以其它的目的使用关心区域。
在实施方式中,根据由多个边界点构成的边界点列来决定关心区域的下边,设置使下边在空间上平滑化的平滑化部。根据该结构,在下边具有复杂形态的情况下能够将其平滑。另外,在多个边界点的检测中即使存在错误识别,也能够缓和由此引起的影响。并且,在显示关心区域的情况下,能够使其看起来良好。使边界点列平滑化,结果,即可以使下边平滑化,也可以使下边自身平滑化。
在实施方式中,平滑化部使在空间上已平滑化的下边进一步在时间上平滑化。根据该结构,当在时间轴方向上关心区域的下边的形态急剧变化的情况下能够抑制其变化。结果,能够提高关心区域的设定精度。
在实施方式中,检测部根据在各搜索路径上满足亮度条件这一情况来检测各边界点。边界检测例如从下方向上方按照回波数据单位来执行。在该情况下,可以参照一个回波数据,也可以参照一维窗内的多个回波数据,也可以参照二维窗内的多个回波数据。
在实施方式中,检测部根据在各搜索路径上连续地满足亮度条件这一情况来检测各边界点。在该结构中,以边界图像具有某种厚度为前提,根据该结构,能够防止或减轻边界错误识别。例如,也可以根据在搜索路径上n次连续地满足亮度条件这一情况来检测边界点。在该情况下,可以根据诊断范围(诊断深度范围)来适当地设定n(其中,n为1以上的整数)。边界图像的厚度根据诊断范围而发生变化,因此按照其变化适当地设定n的值。
在实施方式中,包含显示器,该显示器将用于表示关心区域的关心区域图像与超声波图像一起显示。根据该结构,能够确认在关心区域内包含了关注组织图像。可以对超声波图像重叠显示关心区域图像,也可以并列显示这些图像。
实施方式的超声波图像处理方法包含生成步骤和显示步骤。在生成步骤中,在超声波图像上,根据具有在与深度方向交叉的方向上延伸的形态的边界图像,生成包含存在于边界图像的浅侧的关注组织图像的关心区域。具体地说,在生成步骤中,在超声波图像上从深处向浅处执行边界搜索,根据其结果来决定关心区域。在显示步骤中,与用于表示对超声波图像或者其它超声波图像中的关心区域内的图像部分进行分析后的结果的图像一起显示用于表示关心区域的图像。
实施方式的程序是在超声波图像处理装置中执行的程序。在此,超声波图像处理装置为包含超声波诊断装置、信息处理装置等的概念。经由可移动存储介质或网络在超声波图像处理装置中安装程序。
(2)实施方式的详细
在图1中将实施方式的超声波诊断装置的结构表示为框图。超声波诊断装置是医疗用装置,其被设置在医院等医疗机构,根据通过对生物体(被检者)发送接收超声波而得到的接收数据来形成超声波图像。在后文中详细说明的那样,实施方式的超声波诊断装置具备自动地设定关心区域(ROI)的功能以及自动地分析超声波图像的功能(CAD功能)。在实施方式中,作为超声波诊断对象的组织为乳房,更详细地说是乳腺。当然,也可以使其它组织成为超声波诊断对象。超声波探头10作为发送接收超声波的单元或发送接收器而发挥功能。在对乳腺进行超声波诊断时,超声波探头10的发送接收面(声透镜表面)与被检者的乳房表面接触,在该状态下发送接收超声波。超声波探头10具备由一维地排列的多个振动元件构成的振动元件阵列。由振动元件阵列形成超声波束11,通过超声波束11的电子扫描来形成扫描面。扫描面为观察面,即为二维数据取入区域。作为超声波束的电子扫描方式,可知电子扇区扫描方式、电子线性扫描方式等。也可以进行超声波束的凸面扫描(convexscan)。也可以在超声波探头内设置2D振动元件阵列,从生物体内获取体数据。
发送部12是在发送时将多个发送信号并行地提供给多个振动元件的发送波束形成器,该发送部12构成为电路。接收部14是在接收时将从多个振动元件并行地输出的多个接收信号进行调相加法运算(延迟加法运算)的接收波束形成器,该接收部14构成为电路。接收部14具备多个A/D转换器、检波电路等。通过接收部14对多个接收信号进行调相加法运算来生成波束数据。另外,在每次进行电子扫描时,生成在电子扫描方向上排列的多个波束数据,这些波束数据构成接收帧数据。各个波束数据由在深度方向上排列的多个回波数据构成。
波束数据处理部16是对从接收部14输出的各波束数据进行处理的电路。在该处理中包含对数转换、相关处理等。将处理后的各波束数据发送至断层图像形成部18。
断层图像形成部18是根据接收帧数据来形成断层图像(B模式断层图像)的电路。该断层图像形成部18具有DSC(Digital Scan Converter:数字扫描转换器)。DSC具有坐标转换功能、插值功能、帧率转换功能等,根据在波束扫描方向上排列的多个波束数据来形成断层图像。将断层图像的数据发送到显示处理部20和ROI设定部22。
此外,由显示处理部20、ROI设定部22以及图像分析部24构成图像处理模块26。图像处理模块26能够由按照程序进行动作的一个或多个处理器构成。图像处理模块26也可以构建在PC等信息处理装置上。在该情况下,将断层图像数据从超声波诊断装置传送至信息处理装置。信息处理装置作为超声波图像处理装置而发挥功能。
ROI设定部22根据包含乳腺图像的断层图像来自动地生成ROI(即关心区域)。在实施方式中,以帧为单位生成ROI。当然,也可以以预定数量的帧为单位来生成ROI。ROI设定部22将用于表示所生成的ROI的坐标信息发送到图像分析部24。另外,ROI设定部22生成作为框的ROI以及包含其内部图像的ROI图像,并将该数据发送到显示处理部。在后文中详细说明ROI设定部22。
图像分析部24作为图像分析单元而发挥功能,在断层图像中对关心区域中包含的图像部分执行图像分析。即,图像分析部24发挥CAD功能。图像分析部24以帧为单位来进行图像分析。当然,也可以以预定数量的帧为单位来执行图像分析。图像分析部24能够由CNN(Convolutional Neural Network:卷积神经网络)等机器学习型分析器构成。图像分析部24具有识别、提取或辨别低亮度的肿瘤、低亮度的非肿瘤等的功能。图像分析部24也可以具备对肿瘤的恶性度进行评价的功能。图像分析部24在实施方式中对断层图像进行分析来确定肿瘤等,并生成用于指示该肿瘤的标记。将附加了标记的断层图像(即分析结果图像)的数据发送到显示处理部20。
显示处理部20具有图形图像生成功能、色彩运算功能、图像合成功能等。具体地说,显示处理部20具有以下功能:将分析结果图像与ROI图像并列地合成,由此生成显示图像。如上所述,分析结果图像是对于在图像分析中发现的部位实施了标记的图像。ROI图像是表示ROI的形态和内容的图像。也可以对分析结果图像或断层图像重叠ROI图像。在显示器28中显示断层图像等显示图像。显示器28由LCD、有机EL显示设备等构成。
在图像分析部24中,也可以分析弹性信息图像(弹性图像)25。弹性信息图像是表示根据组织位移计算出的组织弹性信息的图像。在该情况下,也在弹性信息图像上设定ROI,ROI内部成为分析对象。其它的超声波图像也可以成为分析对象。此外,在实施方式中,将坐标转换后的断层图像设为分析对象,但是也可以将坐标转换前的帧数据设为分析对象。该帧数据也是表示组织截面的数据,因此能够包含在广义的断层图像中。
控制部34对图1所示的各结构要素的动作进行控制。控制部34在实施方式中由CPU和程序构成。控制部34也可以作为上述图像处理模块26而发挥功能。操作面板32为输入设备,其具有多个开关、多个按钮、轨迹球、键盘等。在图1中省略了断层图像形成部18以外的超声波图像形成部的图示。例如,也可以设置弹性信息(弹性)图像形成部、血流图像形成部和其它。
图2示出了ROI设定部22的结构例。ROI设定部22在图示例中具有预处理部36、边界检测部38以及ROI生成部42。预处理部36对断层图像实施必要的预处理。作为预处理,可举出平滑化处理、最小值提取处理、最大值提取处理、中值(中央值提取)处理、边缘强调处理等。为了之后进行的边界检测,也可以进行在断层图像的外侧排列0的零填充。
如在后文中说明的那样,边界检测部38对断层图像设定多个搜索路径,在各搜索路径上执行边界搜索。关于边界搜索的开始点,在实施方式中设为在各搜索路径上最深的地点,从该开始点起向浅的一方依次进行边界搜索。在乳房的断层图像中,通常在乳腺图像与大胸肌图像之间清晰地出现边界图像,并且,边界图像的内侧(深侧)成为大致具有均一性的低亮度的区域。以这些性质或特征为前提,从深处向浅处依次执行边界搜索。另外,在实施方式中,观察对象为乳腺图像,其存在于边界图像的跟前侧即浅侧。以边界图像为基准,以覆盖乳腺图像的方式自动地设定ROI。对此将在后文中进一步详细说明。
边界平滑化部40对于由多个边界点构成的边界点列或基于该边界点列的ROI下边进行平滑化。通过该平滑化使得边界点列或下边变得平滑,因此在显示ROI时使其看起来良好。另外,通过该平滑化,能够防止或减轻ROI的形态变得不自然。该平滑化为空间上的平滑化。实施方式的边界平滑化部40还具备在时间轴方向上使边界点列或下边平滑化的功能。通过时间上的平滑化,能够抑制ROI的形态以帧为单位急剧变化,能够缓和碍眼感。然而,在使超声波探头移动的过程中,可以关闭时间上的平滑化。
ROI生成部42作为ROI生成单元而发挥功能,其根据边界点列来决定ROI。具体地说,根据边界点列来决定ROI的下边。也可以使ROI的两个侧边(左边和右边)与断层图像的两个侧边对齐。也可以使用通过平滑化而产生的线来构成侧边。ROI的上边与断层图像的上边一致。但是,也可以在从断层图像的上边分离的位置设定ROI的上边。总之,以尽可能覆盖成为图像分析对象的组织的方式来生成ROI。以矩形为基本形状来生成ROI,但是也可以生成其它形态的ROI。图像分析部24根据生成的ROI从断层图像等切出部分图像,对其执行分析。或者,图像分析部24根据生成的ROI,在断层图像等中划定分析对象范围,在该范围内执行分析。
图3示出比较例。在该比较例中未设定ROI,使整个断层图像50为分析对象。在断层图像50中包含表层图像52、脂肪层图像54、乳腺图像56以及大胸肌图像58。在乳腺图像56与大胸肌图像58之间出现了边界图像60。边界图像60为大致清晰地出现的图像。当对这种断层图像50进行图像分析时,自动地显示图示的标记64、66。标记64指示低亮度的肿瘤62。另一方面,标记66指示大胸筋内的低亮度部分,即产生了错误识别。在大胸肌图像58中还有时出现肋骨图像,另外,还有时出现伪影。由于这样的要素而引起错误识别。用户(医生、检查技师等)要观察的是乳腺图像56中包含的肿瘤等,该肿瘤出现在边界图像60的上侧。另一方面,在边界图像60的下侧,较低亮度且大致具有均一性的区域扩展。在乳房的断层图像中识别出以上几个显著特征。在实施方式中,利用这样的显著特征来自动且适当地决定关心区域。以下,详细进行说明。
图4表示实施方式的边界图像检测方法。图4是相当于图3示出的断层图像的示意图。X表示水平方向(横向),该水平方向在实施方式中为电子扫描方向。Y表示垂直方向(纵向),该垂直方向在实施方式中为深度方向。
在断层图像中,边界图像60作为整体具有在与作为深度方向的y方向交叉的方向上延伸的形态。边界图像60流动的方向大致为x方向,但是很多时候相对于x方向倾斜。
在实施方式中,对断层图像设定多个搜索路径68。多个搜索路径68横穿横向流动的边界图像60中的多个位置。具体地说,各搜索路径68相当于构成断层图像的各垂直像素列。可是也可以在水平方向上分离的同时设定多个搜索路径68。也可以一并使用沿搜索路径的搜索以及从边界点起的横向的搜索。例如,在从第一至最后的搜索路径68上依次执行边界的搜索。也可以使多个搜索路径相对y方向倾斜。在凸面扫描中,可以与各波束方向(深度)平行地放射状地设定搜索路径,也可以与图像中的垂直方向平行地设定搜索路径。
在各搜索路径68上,在图示的示例中,使最深的坐标为搜索的开始点70。如附图标记72所示,从开始点70起向浅侧,即为向接近超声波探头的方向反复执行边界搜索。具体地说,将各回波数据作为关注数据,针对每个关注数据判定是否满足亮度条件。在满足亮度条件的情况下,将该关注数据的坐标认定为边界点74。如后文中所述,亮度条件例如为以关注数据为中心的窗内的亮度的最小值为预定阈值以上这样的条件。各搜索路径68上的边界点74为边界图像60上的点,同时也是将属于关心区域的部分76与属于非关心区域的部分78进行分割的点。也可以将开始点设为比最深点浅的点。
最后,构成由沿着边界图像60排列的多个边界点74构成的边界点列80。边界点列80相当于ROI的下边。下边是将ROI 80与非ROI分开的边界线。根据图像的局部的状态,还可能产生无法检测边界点的情况。还可能产生将其它点错误识别为边界点的情况。为了防止错误识别,期望除了亮度条件以外,还组合其它条件。
图5表示边界判定方法的一例。附图标记50表示断层图像,在其外侧存在通过零值填满的区域88。在此,将断层图像50以及区域88构成的图像设为处理对象图像90。
在图示的例子中,针对搜索路径68上的每个数据(关注数据)a设定窗口86。窗口86具有3×3的尺寸(参照a~i)。例如,在窗口86内的亮度的最小值小于阈值的情况下判定非边界,在窗口86内的亮度的最小值为阈值以上的情况下判定边界。满足亮度条件的时间点的关注数据的坐标被设为边界点。可以以该坐标为基准将比该坐标浅的地点或比该坐标深的地点决定为边界点。在大胸肌图像的内部,亮度的最小值接近零,另一方面,在边界图像中亮度的最小值变大。使用这样的差异来进行边界的判定。也可以使用亮度的平均值等来代替亮度的最小值。另外,也可以使用一维的窗口来代替二维的窗口。或者,也可以仅参照关注数据。或者,也可以根据窗内的多个数据来生成直方图等,根据该直方图来进行边界判定。
在图6中,原始图像92为断层图像或者是对该断层图像执行了零填充的图像。对原始图像92应用如上所述生成的ROI 94。ROI 94的内部成为图像分析的对象。ROI 94的外部为遮盖区域,在图6中将该遮盖区域表现为遮盖图像96。附图标记92A是表示图像分析结果的图像。在该图像92A中使用标记98对乳腺图像中包含的肿瘤图像进行标记。在大胸肌图像中包含低亮度部分,但是对此并未附加标记。也就是说,防止在图3中说明的错误识别。
在图7中表示了平滑化前后的ROI图像100、104。ROI图像100具有下边102,该下边102具有相当复杂的形态。检测点列的形态直接反映在下边102的形态中。对下边102实施了平滑化后的下边是ROI图像104的下边106。整个下边106具有平滑的形态。此外,图像104的下边106示意性地或夸张地表示了平滑化的作用,并非通过实际的平滑化处理来生成。
图8表示了平滑化方法。x方向为水平方向,在其轴上表示了在多个搜索路径上检测出的多个边界点的y坐标。在它们中,确定以关注x坐标(y坐标为ym)(参照附图标记108)为中心的一定区间110内包含的y坐标(ym-k~ym~ym+k),运算它们的平均值y’m(参照附图标记112),向关注x坐标赋予该平均值y’m。一边使区间110进行移动一边反复执行该处理(参照附图标记114)。也可以使用加权平均等来代替简单的平均。并且,可以在各个x坐标中,在时间轴方向上使y坐标平滑化来运算平均值y”m(参照附图标记116),并且向各个x坐标赋予该平均值。通过空间上的平滑化,在帧内能够使ROI看起来良好,通过时间上的平滑化在帧之间能够看起来良好。
在图9中表示了显示例。显示图像120由在左右方向上排列的分析结果图像122和ROI图像124构成。分析结果图像122由断层图像和标记构成。ROI图像124是由从断层图像切出的图像部分构成的参照图像。能够通过ROI图像124来确认成为图像分析对象的部分。也可以在分析结果图像122上重叠显示用于表示ROI的图形。
在图10中作为流程图表示了实施方式的超声波图像处理方法的第一例。该流程图表示图1所示的超声波诊断装置中包含的图像处理模块的动作。
在S10中,作为初始设定,对作为计数器的j赋予1,对作为计数器的i赋予最大值Dmax。J表示行号(垂直像素列编号),i表示深度编号。在S12中,将作为边界搜索路径的关注行设为第j行。在S14中,将关注数据设为第i个数据。在S16中判断是否满足了上述亮度条件。在未满足亮度条件的情况下,处理转移到S20,并使i减少1。
另一方面,当在S16中满足了亮度条件的情况下,在S22中,将关注数据的坐标设为边界点,将与边界点相比跟前侧的行部分设为关心区域的一部分,将与边界点相比内侧的行部分设为非关心区域的一部分。边界点本身可以被设为任意区域。在S24中使j增加1。在S26中判断j是否超过Nmax。Nmax为最大行号。如果j未超出Nmax,则反复进行从S12起的各工序。如果j超出Nmax,则本处理结束。
在图11中作为流程图表示了实施方式的超声波图像处理方法的第二例。对于与图11所示的工序相同的工序赋予相同的工序编号,并省略说明。
在该第二例中,在S16以后设置了S18。在S18中判断是否连续n次满足亮度条件。也就是说,判断是否满足连续条件。在未满足连续条件的情况下,处理转移到S20,在满足了连续条件的情况下,处理转移到S22。在大胸肌图像的内部生成横肌状的图像,但是其垂直方向的厚度薄,难以满足连续条件。另一方面,边界图像在深度方向上具有某种厚度,在其内部存在很多高亮度像素。因此,在边界搜索进入到乳腺图像中的情况下,容易满足连续条件。根据第二例,能够更正确地检测边界图像。上述n为1以上的整数。也可以根据诊断范围(诊断深度范围)来适当地可变地设定n。
使用图12~图14说明上述第二例的效果。图12示出了乳房的断层图像130。在断层图像130中包含边界图像136和大胸肌图像134,在大胸肌图像134中识别肋骨图像138。另外,在断层图像130的左端部分产生了阴影132。例如在超声波探头的发送接收面的端部从体表离开或者在此其间的密合性降低的情况下,容易产生这样的阴影。
图13示出了上述第一例的处理结果。在此,使用虚线表示非ROI(掩盖区域)140。其余的部分相当于ROI。在非ROI 140中取入了阴影的大半,从而避免阴影成为分析对象。但是,边界图像的端部为低亮度而进入到阴影,作为直到这里检测为边界的结果,阴影的一部分离开非ROI 140而进入到ROI。另外,相当于ROI下边的非ROI 140的上边140a沿着肋骨图像138设定,产生错误检测。
图14示出了上述第二例的处理结果。在第二例中,附加了连续条件,因此非ROI142的形态变得妥当。即,在边界图像136中沿着除了端部以外的部分设定了上边142a,另外,上边142a不对肋骨图像138产生影响。这样,根据第二例,能够更正确地设定ROI。
在图15中对基于断层图像的边界判定方法进行了整理。在此,示出了亮度条件144、空间(连续)条件158以及时间(连续)条件160。各条件144、158、160能够各自独立地使用,或者能够组合使用。
在应用亮度条件144时,能够参照窗内的最小值145、平均值146、其它的代表值148等。或者,也可以参照基于窗内亮度的直方图150、或其它的特征量152。将一个或多个参照值与一个或多个阈值156进行比较,由此判定是否满足亮度条件(参照附图标记154)。空间条件158是用于评价空间上的连续性的条件。例如,在相对于到此检测出的一个或多个检测点在垂直方向上未较大地分离的情况下,判定为满足空间条件158。时间条件160是用于评价时间上的连续性的条件。例如,在相对于在时间轴上排列的过去检测出的一个或多个检测点,在垂直方向上未较大地分离的情况下,判定为满足时间条件。在满足一个或多个条件144、158、160的情况下判定出边界(参照附图标记162)。
在上述实施方式中,乳房的断层图像成为处理对象,但是也可以将其它断层图像或其它超声波图像设为处理对象。例如,在腹部脏器的断层图像中包含横向流动的边界图像以及其下侧的低亮度区域。也可以对这样的图像应用上述处理。在上述实施方式中,根据关心区域划定图像分析对象,但是也可以以其它的目的来使用关心区域。例如,作为上述关心区域可以自动地设定用于生成弹性图像的范围。
附图标记说明
10:超声波探头;18:断层图像形成部;20:显示处理部;22:ROI设定部;24:图像分析部;36:预处理部;38:边界检测部;40:边界平滑化部;42:ROI生成部。
Claims (6)
1.一种超声波诊断装置,其特征在于,包含:
检测部,其在包含边界图像的超声波图像上,以横穿上述边界图像中的多个位置的方式设定多个搜索路径,在上述多个搜索路径上从深处向浅处进行边界搜索,由此检测多个边界点,上述边界图像具有在与深度方向交叉的方向上延伸的形态;以及
生成部,其根据上述多个边界点,生成包含存在于上述边界图像的浅侧的关注组织图像的关心区域,
上述检测部从上述多个搜索路径中检测满足亮度条件,并且满足空间条件和时间条件中的任意一个条件的上述多个边界点,
其中,上述亮度条件是以在上述搜索路径上排列的各回波数据为中心的窗内的亮度的最小值为预定阈值以上这样的条件,其中,上述各回波数据是对生物体发送超声波而得到的,
上述空间条件是相对于从上述多个搜索路径中已检测出的一个或多个的满足上述亮度条件的检测点在上述深度方向上未大幅分离这样的条件,
上述时间条件是相对于在与上述深度方向正交的时间轴方向上排列的已检测出的一个或多个的上述检测点在上述深度方向上未大幅分离这样的条件,
上述关注组织图像为乳腺图像,
上述边界图像是上述乳腺图像与处于比该乳腺图像更深处的大胸肌图像之间的边界图像,
上述关心区域在上述超声波图像或其它的超声波图像中划定成为分析对象的部分。
2.根据权利要求1所述的超声波诊断装置,其特征在于,
根据由上述多个边界点构成的边界点列来决定上述关心区域的下边,
上述超声波诊断装置设置了使上述下边在空间上平滑化的平滑化部。
3.根据权利要求2所述的超声波诊断装置,其特征在于,
上述平滑化部使在上述空间上平滑化后的下边进一步在时间上平滑化。
4.根据权利要求1所述的超声波诊断装置,其特征在于,
上述超声波诊断装置包含显示器,该显示器将表示上述关心区域的关心区域图像与上述超声波图像一起显示。
5.一种超声波图像处理方法,其特征在于,包含:
生成步骤,在超声波图像上,根据具有在与深度方向交叉的方向上延伸的形态的边界图像,生成包含存在于上述边界图像的浅侧的关注组织图像的关心区域;以及
显示步骤,与用于表示对上述超声波图像或其它的超声波图像中的上述关心区域内的图像部分进行分析后的结果的图像一起显示用于表示上述关心区域的图像,
在上述生成步骤中,在以横穿上述边界图像中的多个位置的方式设定的多个搜索路径上,从深处向浅处执行边界搜索来检测多个边界点,根据检测出的多个边界点来决定上述关心区域,
在上述生成步骤中,从上述多个搜索路径中检测满足亮度条件,并且满足空间条件以及时间条件中的任意一个条件的上述多个边界点,
其中,上述亮度条件是以在上述搜索路径上排列的各回波数据为中心的窗内的亮度的最小值为预定阈值以上这样的条件,其中,上述各回波数据是对生物体发送超声波而得到的,
上述空间条件是相对于从上述多个搜索路径中已检测出的一个或多个的满足上述亮度条件的检测点在上述深度方向上未大幅分离这样的条件,
上述时间条件是相对于在与上述深度方向正交的时间轴方向上排列的已检测出的一个或多个的上述检测点在上述深度方向上未大幅分离这样的条件,
上述关注组织图像为乳腺图像,
上述边界图像是上述乳腺图像与处于比该乳腺图像更深处的大胸肌图像之间的边界图像,
上述关心区域在上述超声波图像或其它的超声波图像中划定成为分析对象的部分。
6.一种计算机可读记录介质,其存储有在超声波图像处理装置中执行的程序,其特征在于,
所述程序使上述超声波图像处理装置具有如下功能:
在包含边界图像的超声波图像上,以横穿上述边界图像中的多个位置的方式设定多个搜索路径,在上述多个搜索路径上从深处向浅处进行边界搜索,由此检测多个边界点,上述边界图像具有在与深度方向交叉的方向上延伸的形态;以及
根据上述多个边界点,生成包含存在于上述边界图像的浅侧的关注组织图像的关心区域,
从上述多个搜索路径中检测满足亮度条件,并且满足空间条件和时间条件中的任意一个条件的上述多个边界点,
其中,上述亮度条件是以在上述搜索路径上排列的各回波数据为中心的窗内的亮度的最小值为预定阈值以上这样的条件,其中,上述各回波数据是对生物体发送超声波而得到的,
上述空间条件是相对于从上述多个搜索路径中已检测出的一个或多个的满足上述亮度条件的检测点在上述深度方向上未大幅分离这样的条件,
上述时间条件是相对于在与上述深度方向正交的时间轴方向上排列的已检测出的一个或多个的上述检测点在上述深度方向上未大幅分离这样的条件,
上述关注组织图像为乳腺图像,
上述边界图像是上述乳腺图像与处于比该乳腺图像更深处的大胸肌图像之间的边界图像,
上述关心区域在上述超声波图像或其它的超声波图像中划定成为分析对象的部分。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018145997A JP7078487B2 (ja) | 2018-08-02 | 2018-08-02 | 超音波診断装置及び超音波画像処理方法 |
JP2018-145997 | 2018-08-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110786880A CN110786880A (zh) | 2020-02-14 |
CN110786880B true CN110786880B (zh) | 2022-07-22 |
Family
ID=69229659
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910224174.9A Active CN110786880B (zh) | 2018-08-02 | 2019-03-22 | 超声波诊断装置以及超声波图像处理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10783642B2 (zh) |
JP (1) | JP7078487B2 (zh) |
CN (1) | CN110786880B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11006926B2 (en) * | 2018-02-27 | 2021-05-18 | Siemens Medical Solutions Usa, Inc. | Region of interest placement for quantitative ultrasound imaging |
JP7280711B2 (ja) * | 2019-02-26 | 2023-05-24 | キヤノンメディカルシステムズ株式会社 | 超音波診断装置、医用画像処理装置、及び位置情報補正処理プログラム |
KR20210112956A (ko) * | 2020-03-06 | 2021-09-15 | 삼성메디슨 주식회사 | 초음파 진단 장치 및 그 동작 방법 |
WO2022176280A1 (ja) * | 2021-02-16 | 2022-08-25 | 株式会社島津製作所 | X線撮影装置、画像処理装置、および、画像処理方法 |
JP2023077820A (ja) | 2021-11-25 | 2023-06-06 | 富士フイルム株式会社 | 超音波画像分析装置、超音波診断装置および超音波画像分析装置の制御方法 |
JP2023077810A (ja) | 2021-11-25 | 2023-06-06 | 富士フイルム株式会社 | 超音波画像分析装置、超音波診断装置および超音波画像分析装置の制御方法 |
KR20230175014A (ko) * | 2022-06-22 | 2023-12-29 | 주식회사 메디트 | 이미지 처리 장치 및 이미지 처리 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005312993A (ja) * | 1996-04-15 | 2005-11-10 | Olympus Corp | 超音波画像診断装置 |
CN101378700A (zh) * | 2006-03-31 | 2009-03-04 | 株式会社东芝 | 超声波诊断装置以及超声波诊断装置控制方法 |
JP2010017490A (ja) * | 2008-06-13 | 2010-01-28 | Hitachi Medical Corp | 画像表示装置、方法、及びプログラム |
CN103096807A (zh) * | 2010-09-10 | 2013-05-08 | 富士胶片株式会社 | 超声波诊断设备和方法 |
WO2015124777A1 (en) * | 2014-02-21 | 2015-08-27 | Ventana Medical Systems, Inc. | Medical image analysis for identifying biomarker-positive tumor cells |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3443189B2 (ja) | 1994-11-08 | 2003-09-02 | アロカ株式会社 | 超音波診断装置 |
US6708055B2 (en) * | 1998-08-25 | 2004-03-16 | University Of Florida | Method for automated analysis of apical four-chamber images of the heart |
AU2003900746A0 (en) * | 2003-02-17 | 2003-03-06 | Silverbrook Research Pty Ltd | Methods, systems and apparatus (NPS041) |
US20050089205A1 (en) * | 2003-10-23 | 2005-04-28 | Ajay Kapur | Systems and methods for viewing an abnormality in different kinds of images |
JP4575738B2 (ja) * | 2004-09-29 | 2010-11-04 | 富士フイルム株式会社 | 超音波画像境界抽出方法及び超音波画像境界抽出装置、並びに、超音波撮像装置 |
JP2009261493A (ja) | 2008-04-23 | 2009-11-12 | Konica Minolta Medical & Graphic Inc | 超音波診断方法および装置 |
JP5210960B2 (ja) | 2009-04-30 | 2013-06-12 | 日立アロカメディカル株式会社 | 超音波診断装置 |
EP2526871A4 (en) * | 2010-01-18 | 2017-04-05 | Hitachi, Ltd. | Ultrasonic diagnostic device and ultrasonic image display method |
CN103700085A (zh) * | 2012-09-28 | 2014-04-02 | 深圳市蓝韵实业有限公司 | 乳腺x光图像中胸肌区域的分割方法 |
US10762380B2 (en) * | 2013-07-23 | 2020-09-01 | Koninklijke Philips N.V. | Registration system for registering an imaging device with a tracking device |
JP5890358B2 (ja) | 2013-08-29 | 2016-03-22 | 日立アロカメディカル株式会社 | 超音波画像撮像装置及び超音波画像表示方法 |
CN103544695B (zh) * | 2013-09-28 | 2015-12-23 | 大连理工大学 | 一种高效的基于博弈框架的医学图像分割方法 |
CN106339591B (zh) * | 2016-08-25 | 2019-04-02 | 汤一平 | 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务系统 |
-
2018
- 2018-08-02 JP JP2018145997A patent/JP7078487B2/ja active Active
-
2019
- 2019-03-22 US US16/361,763 patent/US10783642B2/en active Active
- 2019-03-22 CN CN201910224174.9A patent/CN110786880B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005312993A (ja) * | 1996-04-15 | 2005-11-10 | Olympus Corp | 超音波画像診断装置 |
CN101378700A (zh) * | 2006-03-31 | 2009-03-04 | 株式会社东芝 | 超声波诊断装置以及超声波诊断装置控制方法 |
JP2010017490A (ja) * | 2008-06-13 | 2010-01-28 | Hitachi Medical Corp | 画像表示装置、方法、及びプログラム |
CN103096807A (zh) * | 2010-09-10 | 2013-05-08 | 富士胶片株式会社 | 超声波诊断设备和方法 |
WO2015124777A1 (en) * | 2014-02-21 | 2015-08-27 | Ventana Medical Systems, Inc. | Medical image analysis for identifying biomarker-positive tumor cells |
Also Published As
Publication number | Publication date |
---|---|
CN110786880A (zh) | 2020-02-14 |
JP7078487B2 (ja) | 2022-05-31 |
JP2020018694A (ja) | 2020-02-06 |
US20200043172A1 (en) | 2020-02-06 |
US10783642B2 (en) | 2020-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110786880B (zh) | 超声波诊断装置以及超声波图像处理方法 | |
US11786210B2 (en) | Ultrasound diagnostic system, ultrasound image generation apparatus, and ultrasound image generation method | |
EP3432803B1 (en) | Ultrasound system and method for detecting lung sliding | |
US8867813B2 (en) | Ultrasonic imaging device, ultrasonic imaging method and program for ultrasonic imaging | |
CN111095428A (zh) | 具有用于图像伪影识别和移除的深度学习网络的超声系统 | |
US20090177086A1 (en) | Method and apparatus for selectively enhancing ultrasound image data | |
US20210366120A1 (en) | Medical image processing apparatus, and medical imaging apparatus | |
JP6150922B1 (ja) | 超音波診断装置 | |
JP7294996B2 (ja) | 超音波診断装置及び表示方法 | |
JP3662835B2 (ja) | 超音波診断装置 | |
JP7299100B2 (ja) | 超音波診断装置及び超音波画像処理方法 | |
JP7488789B2 (ja) | 超音波診断装置及び診断支援方法 | |
US12036067B2 (en) | Ultrasound diagnostic system, ultrasound image generation apparatus, and ultrasound image generation method | |
CN113679415B (zh) | 超声波诊断装置以及诊断辅助方法 | |
CN115381490A (zh) | 超声波诊断装置以及诊断辅助方法 | |
CN113842162A (zh) | 超声波诊断装置以及诊断辅助方法 | |
WO2022226394A1 (en) | Identifying blood vessels in ultrasound images | |
CN115778435A (zh) | 胎儿颜面部的超声成像方法和超声成像系统 | |
CN113939234A (zh) | 超声波诊断装置、医用图像处理装置以及医用图像处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220114 Address after: Chiba County, Japan Applicant after: Fujifilm medical health Co.,Ltd. Address before: Tokyo, Japan Applicant before: Hitachi, Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |