CN111789635B - 超声波摄像装置以及图像处理装置 - Google Patents

超声波摄像装置以及图像处理装置 Download PDF

Info

Publication number
CN111789635B
CN111789635B CN202010070311.0A CN202010070311A CN111789635B CN 111789635 B CN111789635 B CN 111789635B CN 202010070311 A CN202010070311 A CN 202010070311A CN 111789635 B CN111789635 B CN 111789635B
Authority
CN
China
Prior art keywords
image
ultrasonic
neural network
estimated
adequacy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010070311.0A
Other languages
English (en)
Other versions
CN111789635A (zh
Inventor
山中一宏
田中宏树
盐川淳一
西浦朋史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Healthcare Corp
Original Assignee
Fujifilm Healthcare Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Healthcare Corp filed Critical Fujifilm Healthcare Corp
Publication of CN111789635A publication Critical patent/CN111789635A/zh
Application granted granted Critical
Publication of CN111789635B publication Critical patent/CN111789635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/5205—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053—Display arrangements
    • G01S7/52057—Cathode ray tube displays
    • G01S7/52073—Production of cursor lines, markers or indicia by electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供一种超声波摄像装置以及图像处理装置，向用户提供成为判断由包含神经网络的处理生成的图像是否妥当的资料的信息。接受接收了来自被检体的超声波的超声波探头输出的接收信号，基于接收信号生成超声波图像。将接收信号或者超声波图像设为输入，通过学习完毕的神经网络输出推测接收信号或者推测超声波图像。妥当性信息生成部使用接收信号、超声波图像、推测接收信号、推测超声波图像以及神经网络的中间层的输出中的一个以上，生成表示推测接收信号或者推测超声波图像的妥当性的信息。

Description

超声波摄像装置以及图像处理装置
技术领域
本发明涉及使用超声波对被检体内的图像进行拍摄的超声波摄像技术，涉及在图像的重建时使用通过机器学习的方法被训练的算法的技术。
背景技术
超声波摄像技术是使用超声波(不希望听到的声波，通常为20kHz以上的高频率的声波)对以人体为代表的被检体的内部非介入性地进行图像化的技术。
近年来，根据以神经网络、深度学习等技术为中心的机器学习技术的进展，在基于超声波摄像技术的图像化中，公开有多个使用机器学习技术的重建处理、画质改善处理的例子。使用向神经网络的输入数据与设为神经网络的输出的目标的训练数据的集合，进行神经网络的训练，由此即使对于未知的输入数据，也能够以高精度获得所希望的输出。若将图像化前的信号设为输入数据，将图像化后的数据设为训练数据，则神经网络进行图像重建的处理，若在输入数据与训练数据双方中使用图像化后的数据，则也能够使神经网络进行画质改善。
例如，在专利文献1中公开了将超声波回波信号、基于回波信号被波束成形的信号或者其两方设为向神经网络的输入，从神经网络输出图像数据的超声波图像系统。神经网络通过机器学习的方法被训练，通过使用该神经网络，能够置换以往的超声波图像化处理，获得更高画质的图像，或者不提供明示的物理模型而获得组织性状的信息、血流信息等。
神经网络通常通过基于大量数据的学习，而决定各节点处的运算所使用的权重，能够输出成为目标的高精度的图像、信号等，若将基于数据的处理与预先决定的模型库的处理比较，则存在难以直观地理解其行为的情况。特别是难以预测神经网络对于未知的输入的行为。因此，看到神经网络输出的图像、信号等的人也难以仅根据其输出来判断其是否是妥当的输出。
专利文献1所记载的超声波摄像装置是由于在图像化过程中包含有通过机器学习而被训练的神经网络，所以神经网络根据作为未知的输入的接收信号生成图像的结构。因此，看到由神经网络生成并被显示的图像的用户难以判断该图像是否是妥当的图像。
专利文献1：国际公开第2018/127497号
发明内容
本发明的目的在于，向用户提供成为判断由包含神经网络的处理生成的图像是否妥当的资料的信息。
为了实现上述目的，本发明的超声波摄像装置具有：图像生成部，其接受接收了来自被检体的超声波的超声波探头输出的接收信号，基于接收信号生成超声波图像；学习完毕的神经网络，其将接收信号或者图像生成部生成的超声波图像设为输入，输出推测接收信号或者推测超声波图像；以及妥当性信息生成部，其使用接收信号、上述超声波图像、推测接收信号、推测超声波图像以及神经网络的中间层的输出中的一个以上，生成表示推测接收信号或者推测超声波图像的妥当性的信息。
根据本发明，能够通过超声波摄像装置显示表示使用神经网络生成的图像的妥当性的信息，因此用户能够进行图像的妥当性的判断。
附图说明
图1A是本实施方式的超声波摄像装置整体的立体图，图1B是表示本实施方式的超声波摄像装置的简要结构的框图。
图2是表示实施方式的超声波摄像装置整体的结构的框图。
图3的(a)～(c)是表示实施方式的超声波摄像装置主体中的从接收信号处理部至图像处理部的数据的流动的细节的框图。
图4的(a)以及(b)是表示预先决定的差分值的绝对值(特征量)与表示妥当性的值的关系的图表。
图5是表示实施方式1的训练神经网络时的计算的流程的概念图。
图6是表示实施方式1的动作的流程的流程图。
图7是表示在实施方式1中图像处理部生成的超声波图像的例子的图。
图8是表示在实施方式1中与用户的输入对应的图像处理部的动作的变更方法的流程图。
图9是表示实施方式2的超声波摄像装置主体中的从接收信号处理部至图像处理部的结构与数据的流动的细节的框图。
图10是表示实施方式2的神经网络的结构的一个例子的说明图。
图11是对在实施方式3中根据发送的超声波的波长变更妥当性信息生成部的处理时的数据的流动进行说明的框图。
图12是对在实施方式3中根据发送的超声波的波长变更妥当性信息生成部的处理时的数据的流动进行说明的概念图。
图13是表示在实施方式4中图像处理部基于妥当性信息变更图像处理时的数据的流动的框图。
图14是表示在实施方式4中图像处理部基于妥当性信息变更图像处理时的数据的流动的框图。
附图标记的说明
100-超声波摄像装置，
101-超声波摄像装置主体，
102-超声波探头，
103-控制台，
104-图像显示部，
105-控制部，
106-发送波束形成器，
107-收发开关，
108-图像生成部，
109-神经网络，
110-妥当性信息生成部，
111-存储器，
112-图像处理部，
113-超声波元件，
114-被检体，
115-神经网络中间层，
116-发送超声波，
201-RF数据，
202-超声波数据，
203-推测图像，
205-特征量与妥当性信息的关系，
206-妥当性信息，
207-超声波图像，
210-正确数据，
211-训练用输入数据，
212-训练时输出数据，
213-损失函数，
214-权重的更新，
215-中间层输出，
301-妥当性信息的坐标网格，
302-妥当性信息的x方向的图素尺寸，
303-妥当性信息的y方向的图素尺寸，
304-发送超声波的波形，
305-发送超声波的波长。
具体实施方式
使用附图，对本发明的一个实施方式进行说明。
如图1A、图1B所示，本实施方式的超声波摄像装置构成为具备图像生成部108、学习完毕的神经网络109和妥当性信息生成部110。图像生成部108接受超声波探头102输出的接收信号，基于接收信号生成超声波图像。神经网络109将接收信号或者图像生成部108生成的超声波图像设为输入，输出推测接收信号或者推测超声波图像。妥当性信息生成部110使用接收信号、超声波图像、推测接收信号、推测超声波图像以及神经网络109的中间层的输出中的一个以上，生成表示推测接收信号或者推测超声波图像的妥当性的信息。
例如，妥当性信息生成部110是进行将接收信号、超声波图像、推测接收信号、推测超声波图像以及神经网络的中间层的输出中的2个以上进行比较的运算(例如，求差分的运算)，基于运算结果(差分)生成表示妥当性的信息的结构。
作为其他例子，妥当性信息生成部110是从接收信号、超声波图像、推测接收信号、推测超声波图像以及神经网络的中间层的输出中的一个提取特征量，基于预先求得的特征量与表示妥当性的值的关系，求出与提取的特征量对应的表示妥当性的值的结构。
由于是这样的结构，所以本实施方式的超声波摄像装置能够在图像显示部104中与推测超声波图像或者图像生成部根据推测接收信号生成的超声波图像一同显示表示它们的妥当性的信息。因此，用户容易进行神经网络109输出的图像等的妥当性的判断。
<<实施方式1>>
使用图1A、图2、图3的(a)，对实施方式1的超声波摄像装置100详细进行说明。
在实施方式1中，妥当性信息生成部110求出输入神经网络109的接收信号或者超声波图像与从神经网络109输出的推测接收信号或者推测超声波图像的差分，基于差分生成表示妥当性的信息。
图1A表示超声波摄像装置100的整体的立体图，图2表示整体的简要结构，图3的(a)表示装置的一部分的详细结构图。超声波摄像装置100具有：超声波摄像装置主体101、具有1个以上进行超声波的收发的超声波元件113的超声波探头102、供用户输入参数的控制台103、显示超声波图像的图像显示部104。
超声波摄像装置主体101具有：发送波束形成器106、在超声波探头102与主体101之间切换信号的发送与接收的收发开关107、图像生成部108、学习完毕的神经网络109、生成表示神经网络109的输出的妥当性的信息206的妥当性信息生成部110、图像处理部112、向超声波摄像装置的上述各构成要素106-112的各结构发送控制信号的控制部105。在主体101的控制部105连接有控制台103，在图像处理部112连接有图像显示部104，而构成超声波摄像装置100。
发送波束形成器106生成以预定量延迟后的发送信号，向构成超声波探头102的多个超声波元件113输出。由此，多个超声波元件113分别将各延迟预定量的超声波向被检体114发送。发送的超声波由被检体114反射等而返回超声波元件113，被接收并转换成接收信号。接收信号通过AD转换器(未图示)转换成数字信号，成为RF数据201，经由收发开关107向图像生成部108输送。
图像生成部108对RF数据201进行处理，生成成为神经网络109的输入数据的超声波图像202。图像生成部108例如通过低通、高通、带通滤波处理之类的对于RF数据的通常的信号处理、延迟加法等进行整相处理而进行重建超声波图像的处理等。超声波图像202可以是所谓的B模式图像，可以是用于观察流动的多普勒图像，也可以是用于观察组织的硬度的弹性信息图像。另外，图像生成部108进行的处理也可以包含在生成这些图像的基础上进行的各种处理。
神经网络109是将超声波图像202设为输入，输出推测超声波图像(以下，称为推测图像)203的网络，且是通过机器学习的方法使用训练数据被预先训练的学习完毕网络。训练数据的例子之后进行说明。神经网络109只要是通过机器学习的方法被训练的网络，则也可以是任意的，例如能够使用卷积神经网络、递归神经网络。
图像生成部108生成与神经网络109用于训练的输入数据同种类的超声波图像。神经网络109输出的推测图像203是与超声波数据202相同的数据形式。即，在超声波图像202为二维图像形式的情况下，推测图像203也为二维图像形式。
妥当性信息生成部110生成表示神经网络109输出的推测图像203的妥当性的信息，即妥当性信息206。这里，妥当性信息生成部110使用推测图像203与超声波图像202进行运算(例如，求差分的运算)，计算妥当性信息206。
此外，图像生成部108、神经网络109、妥当性信息生成部110也能够由软件实现，也能够通过硬件实现其一部分或者全部。在由软件实现的情况下，由CPU(CentralProcessing Unit)、GPU(Graphics Processing Unit)等处理器与存储器构成它们，读入并执行预先储存于存储器的程序，由此实现图像生成部108、神经网络109、妥当性信息生成部110的功能。另外，在由硬件实现的情况下，只要使用ASIC(Application SpecificIntegrated Circuit)那样的定制IC、FPGA(Field-Programmable Gate Array)那样的可编程IC，以至少实现图像生成部108、神经网络109、妥当性信息生成部110的动作的方式进行电路设计即可。
对妥当性信息生成部110的动作进行说明。妥当性信息生成部110针对输入神经网络109的超声波图像202与神经网络推测图像203所对应的图素的像素值取差分，生成其绝对值。妥当性信息生成部110将差分的绝对值输出为妥当性信息206。
另外，妥当性信息生成部110也可以针对超声波图像202与推测图像203所对应的图素的像素值求差分，进一步求其绝对值，参照预先决定的差分值的绝对值与表示妥当性的值的关系205，求得与所求出的差分对应的表示妥当性的值。上述预先决定的差分值的绝对值与表示妥当性的值的关系205可以作为图表保持于存储器111，也可以如图4的(a)那样，预先决定表示差分值(特征量)与表示妥当性的值(妥当性信息)的关系205的图表或函数，预先储存于存储器111，供妥当性信息生成部110从存储器111读出并使用。图4的(a)的例子设定为若差分值小于某阈值，则表示妥当性的值较大，若差分值大于某阈值，则表示妥当性的值较小。另外，上述预先决定的差分值的绝对值与表示妥当性的值的关系205也可以基于学习中所使用的数据进行设定。
此外，这里所说的1个图素不必是1个像素，只要是预先决定的预定的尺寸的区域即可。例如，也能够将预先决定的像素数所构成的区域设为1个图素。在该情况下，作为图素的像素值，使用通过构成图素的像素的平均值、最大值、最小值等通过预先决定的运算方法求得的代表值。
此外，在上述说明中，对超声波图像202与推测图像203为相同的图像尺寸的情况进行了说明，但超声波图像202与推测图像203的尺寸、数据形式也可以不同。在该情况下，妥当性信息生成部110只要针对超声波图像202与推测图像203所含的对应的任意的数据运算表示妥当性的值即可。
妥当性信息生成部110进行的妥当性信息206的计算，不仅是这里表示的取得差分的方法，能够采取将推测图像203与超声波图像202进行比较的各种运算。例如，可以使用以图像内的最大信号强度将不是差分本身而是被称为峰值信噪比(peak signal to noiseratio(PSNR))的2个图像的差分进行标准化的值，也可以使用针对图像内的每个区域比较构造类似性(structuresimilarity/SSIM)指数等那样的运算。
例如，妥当性信息生成部110也可以针对在图像内设定的每个区域计算推测图像203与超声波图像202各自的图像中的图像特征量，将该图像特征量彼此进行比较，由此生成妥当性信息206。作为图像特征量，例如也可以使用通过使用了共现矩阵的纹理分析而计算出的特征量等，使用纹理分析的方法进行计算。
图像处理部112基于推测图像203与妥当性信息206，生成显示于图像显示部104的超声波图像207。由此，不仅将推测图像203，也能够将成为判断推测图像203的妥当性的依据的妥当性信息206向用户进行显示。图像显示部104将图像处理部112生成的超声波图像207向用户进行显示。关于超声波图像207之后详细地进行说明。
这里，对学习完毕神经网络109进行说明。神经网络109预先使用训练数据被训练，由此决定每个节点的权重。使用图5对神经网络109的训练方法进行说明。
神经网络109的训练中，作为训练数据，使用训练用输入数据211与成为目标的正确数据210。训练用输入数据211是通过与生成超声波图像202相同的处理而生成的数据。正确数据210是欲从神经网络输出的成为目标的数据。将训练用输入数据211输入神经网络109，边参照正确数据210边进行构成神经网络109的多层所含的节点的权重的最佳化。具体而言，通过损失函数213将输入训练用输入数据211的情况下的神经网络109的输出即训练时输出数据212与正确数据210进行比较，进行神经网络109的节点的权重的更新214，以使该损失函数成为最小。权重的更新214例如使用误差反向传播法。
例如，作为训练用输入数据211，使用以使用通过较少数量的发送而获得的接收信号进行重建处理而得的图像，作为正确数据210，使用以使用通过多于训练用输入数据211的数量的发送而分别获得的接收信号进行重建处理而得的图像。换言之，能够将发送扫描线的密度高于训练用输入数据211的超声波图像设为正确数据210。这样被训练后的神经网络109能够从超声波图像202输出推测由发送数量较多的情况下的接收信号所重建的图像的推测图像203。此外，不仅发送扫描线，与训练用输入数据211相比，训练数据也能够将超声波图像用作输入数据，将发送扫描线以及接收扫描线的至少一方的密度高于输入数据211的超声波图像用作正确数据210。
也能够作为训练用输入数据211而使用接收信号(RF数据)，作为正确数据210而使用将发送至被检体114的超声波的发送信号的频率设定为高于获得训练用输入数据的接收信号时的发送信号而得的接收信号。通过这样的训练用数据211与正确数据210被训练后的神经网络109能够从接收信号(RF数据)201输出将发送信号的频率设定为较高的情况下的推测接收信号223。相同地，也能够作为训练用输入数据211而使用超声波图像，作为正确数据210而使用将发送至被检体114的超声波的发送信号的频率设定为高于生成训练用输入数据的超声波图像时的发送信号而得的超声波图像。通过这样的训练用数据211与正确数据210被训练后的神经网络109能够从超声波图像202输出推测将发送信号的频率设定为较高的情况下的超声波图像的推测图像203。
神经网络109的训练也可以使用由相同的超声波摄像装置100拍摄到的训练用输入数据211与正确数据210而进行。另外，也可以使用通过用不同装置拍摄到的训练用输入数据与正确数据210，在进行了相同构造的其他神经网络的训练后，仅使其权重存储于超声波摄像装置100的神经网络109。
此外，妥当性信息生成部110也可以基于神经网络109对于训练用输入数据211的行为，设定用于妥当性信息的生成的差分值(特征量)与表示妥当性的值的关系205。例如，将训练用输入数据211作为超声波图像202输入训练后的神经网络109而生成推测图像203，预先计算推测图像203与超声波图像202的差分(特征量)。该动作针对多个训练用输入数据211分别进行，如图4的(b)那样计算所获得的多个差分值的概率分布。以所获得的概率分布越大，表示妥当性的值(妥当性信息)越大的方式，如图4的(b)那样设定差分值(特征量)与表示妥当性的值的关系205。
具体而言，求出在如图4的(b)所示那样将训练用输入数据211输入神经网络109的情况下神经网络109输出的推测图像203与训练用输入数据211(超声波图像202)的差分值，并求出差分值的概率分布(在图4的(b)中为阴影直方图)。以求出的差分值的概率与表示妥当性的值(妥当性信息)成比例的方式，生成差分值(特征量)与妥当性信息的关系205(在图4的(b)中，由虚线图示)。
换言之，将在使神经网络109训练(学习)时使用的多个训练用输入数据211输入训练后的神经网络109的情况下分别输出的多个输出数据203与输入的多个学习用输入数据211的差分的分布的范围内(图4的(b)的范围411)被设定为表示妥当性的值高于其他范围。由此，在将超声波图像202输入神经网络109时的行为(获得的推测图像203)与输入训练用输入数据211时的行为相同的情况下，妥当性信息生成部110能够基于图4的(b)，较大地输出表示妥当性的值。
此外，差分值(特征量)与表示妥当性的值的关系205也可以与训练用输入数据211无关地决定。例如，也可以是，如使用图4的(a)已经说明的那样，若差分值为某恒定的阈值以下则作为妥当的输出，作为表示妥当性的值(信息)而输出较高的值，若小于该阈值则作为不妥当的输出，作为表示妥当性的值(信息)而输出较低的值。
接下来，使用图6，按照顺序对本实施方式的超声波摄像装置的动作进行说明。
首先，在步骤S101中，发送波束形成器106将发送信号向探头102的超声波元件113发送。超声波元件113向被检体114发送超声波。超声波元件113接收与被检体114进行了相互作用的超声波，图像生成部108对接收信号(RF数据201)进行信号处理以及整相处理等，生成超声波图像202(步骤S102)。接下来，神经网络109接受超声波图像202的输入，输出推测图像203(步骤S103)。
接下来，妥当性信息生成部110求得推测图像203与超声波图像202的差分值，将其绝对值设为妥当性信息，或者基于差分值，并参照预先决定的关系205，生成表示妥当性的值(妥当性信息)206(步骤S104)。接下来，图像处理部112基于推测图像203与妥当性信息206生成超声波图像207(步骤S105)。图像显示部104显示超声波图像207(步骤S106)。
控制台103基于从用户接受的输入，判定是否结束拍摄，在不结束拍摄的情况下返回步骤S101，重复相同的动作，更新在步骤S106中显示于图像显示部104的超声波图像207。在结束拍摄的情况下，结束一系列的动作(步骤S107)。
根据以上的步骤，用户观察显示于图像显示部104的超声波图像207，由此能够判断神经网络109输出的推测图像203的妥当性。
使用图7，对图像处理部112生成且图像显示部104显示的图像的例子进行说明。
如图7的(a)那样，图像处理部112能够生成将推测图像203与妥当性信息206重叠的超声波图像207。重叠方法也可以是在亮度的推测图像203中使用白黑，在妥当性信息206中例如使用红等颜色。
另外，如图7的(b)那样，图像处理部112也可以生成使推测图像203与妥当性信息206相邻排列的超声波图像207。由此，用户能够对比推测图像203与妥当性信息206。
另外，如图7的(c)那样，图像处理部112也可以生成在设置于推测图像203中的显示区域内显示妥当性信息206的超声波图像207。通过这些方法，用户能够观察推测图像203，并且同时知晓妥当性信息206。
图像处理部112也可以生成在推测图像203的显示中间歇地显示妥当性信息206的超声波图像207。即，生成以恒定间隔重复在某帧中将妥当性信息206重叠于推测图像203，在某帧中仅将推测图像203设为超声波图像207的动作的超声波图像207。通过该方法，用户能够不被妥当性信息206干扰地观察推测图像203，并且能够以恒定的时间间隔确认妥当性信息206。
图像处理部112也可以基于妥当性信息206生成对推测图像203进行了修正的超声波图像207。例如，也可以进行针对妥当性信息206为低值，即被推断为妥当性较低的区域减小推测图像203的亮度，针对推断为妥当性较高的区域使推测图像203的亮度上升的处理来生成超声波图像207。通过这样的方法，用户容易仅对更加妥当的图像区域感兴趣。
图像处理部112也可以针对妥当性信息206的整个区域或者一部分区域做统计，将与该区域有关的表示妥当性的值(信息)归纳为某数值，生成将该数值显示在超声波图像207上的超声波图像207。由此，用户能够仅观察该数值而容易地判断推测图像203的关心区域中的妥当性。
使用图8，对超声波摄像装置100的动作的其他的例子进行说明。在图8的例子中，超声波摄像装置100根据用户的输入，仅在用户请求了与妥当性有关的判断资料的显示的情况下，显示妥当性信息。
图8的步骤S111～113以及步骤S118～119为与在图6中说明的步骤S101～107相同的动作，因此省略说明。
在图8的步骤S114中，基于用户从控制台103输入的信息，切换是否显示妥当性信息。即，在用户要求显示妥当性信息的情况下，在步骤S116～117中进行与图6的步骤S104～105相同的动作，妥当性信息生成部110生成妥当性信息206，图像处理部112根据妥当性信息206与推测图像203生成超声波图像207。
另一方面，在步骤S114中，在用户未要求显示妥当性信息的情况下，图像处理部112仅基于推测图像203进行图像处理，生成超声波图像207(步骤S115)。
在图8的动作例中，超声波摄像装置100能够仅在用户要求与妥当性有关的判断资料时，提供妥当性信息206。
此外，控制台103从用户接受的输入不仅仅是图8所示的妥当性信息的显示的有无，也可以包含与妥当性信息的提示方法有关的各种参数的设定。例如，也可以在控制台103中从用户接受妥当性信息206的显示亮度增益的设定、间歇地显示妥当性信息206的帧率的设定、因妥当性信息206而减小的推测图像203的亮度减小方式的设定等。
另外，用户也可以切换妥当性信息206向超声波图像207的反映方法。例如，用户也能够选择图7的(a)～(c)所示的反映方法等。由此，能够根据用户的与推测图像的妥当性有关的关心，提供与推测图像203的妥当性有关的判断资料。
<实施方式1的变形例>
在上述的实施方式1中，神经网络109将超声波图像202设为输入数据，而输出推测图像203，但本实施方式不限定于此。神经网络109的输入也可以使用根据RF数据201生成超声波图像时的任意时间点的数据。例如，也可以将接收的RF数据本身、进行接收波束成形(整相)后的RF数据、将多个接收波束成形后的RF数据相加的数据设为神经网络109的输入数据。另外，也可以将进行图像处理、对数压缩等后的超声波图像数据设为神经网络109的输入数据。
在将RF数据201设为神经网络109的输入数据的情况下，能够形成将相同的维度的RF数据作为推测信号223从神经网络109输出的结构。
作为具体例，如图3的(b)那样，神经网络109形成将通过接收波束形成器120整相后的接收信号222设为输入，输出相同维度的推测接收信号223的结构。在神经网络109的后级配置有图像生成部108，图像生成部108基于推测接收信号223生成超声波图像。妥当性信息生成部110求出输入神经网络109的接收信号222与从神经网络109输出的推测接收信号223的差分，基于差分计算表示妥当性的信息。
在图3的(b)的结构的情况下，例如，能够作为对学习完毕的神经网络109进行训练的输入数据而使用接收信号，将向被检体114发送的超声波的发送信号的频率设定为高于获得训练用输入数据的接收信号时的发送信号而得的接收信号用作正确数据。由此，训练后的神经网络109在被输入接收信号222的情况下，能够输出将向被检体114发送的超声波的发送信号的频率设定为高于获得接收信号222时的发送信号而得的推测接收信号223。
另外，也可以形成将RF数据201设为神经网络109的输入数据，将超声波图像作为推测图像203而输出的结构。
作为具体例，如图3的(c)那样，神经网络109形成将接收信号222作为输入，输出推测超声波图像203的结构。在该情况下，在接收波束形成器120的后级，与神经网络109并列地配置图像生成部108，图像生成部108构成为根据接收信号222生成超声波图像。妥当性信息生成部110求出图像生成部108根据接收信号222生成的超声波图像与从神经网络109输出的推测超声波图像203的差分，基于差分计算表示妥当性的信息。
<<实施方式2>>
对实施方式2的超声波摄像装置进行说明。对于实施方式2的超声波摄像装置而言，妥当性信息生成部110从接收信号(RF数据)、超声波图像、推测接收信号、推测超声波图像以及神经网络的中间层的输出中的一个提取特征量，基于预先求出的特征量与表示妥当性的值的关系205，求出与提取的特征量对应的表示妥当性的值。
图9示出了实施方式2的超声波摄像装置的结构的一个例子。在图9的结构中，妥当性信息生成部110基于作为神经网络109的中间层115的输出的中间层输出215生成妥当性信息206。针对该结构，以与实施方式1不同的部分为中心进行说明。
神经网络109由连续的多个函数构成，将各函数称为层。中间层115是指神经网络109中的函数，将函数的输出值称为中间层输出215。例如，在正向传播型神经网络的情况下，激活函数的输出值与中间层输出215对应。
如图9所示，对妥当性信息生成部110输入中间层输出215。妥当性信息生成部110基于中间层输出215生成妥当性信息206。例如，妥当性信息生成部110读出预先存储于存储器111的特征量与妥当性信息的关系205，基于该关系，从中间层输出215生成妥当性信息206。
预先存储于存储器111的特征量与妥当性信息的关系205例如如以下那样生成。首先，将训练用输入数据211输入训练后的神经网络109，获得此时的中间层输出215。针对多个训练用输入数据211分别进行上述动作，获得多个中间层输出215。针对所获得的多个中间层输出215取平均或者进行模式分类，由此获得与将训练用输入数据211输入神经网络109的情况下的中间层输出215的模式(特征量)有关的信息。
而且，以表示与输入训练用输入数据211的情况相同的模式(特征量)的输出的中间层输出215的妥当性较高，表示与输入训练用输入数据211的情况不同的模式(特征量)的输出的中间层输出215的妥当性降低的方式，预先生成特征量与妥当性信息的关系205。生成的特征量与妥当性信息的关系205预先储存于存储器111。
而且，在将实际的超声波图像202输入神经网络109的情况下，妥当性信息生成部110接受中间层115的中间层输出215，参照从存储器111读出的特征量与妥当性信息的关系205，由此获得与中间层输出215对应的妥当性信息(表示妥当性的值)。妥当性信息生成部110在表示妥当性的值较高的情况下，能够判别为向神经网络109的输入数据即超声波图像202与训练用输入数据211进行相同的行为。因此，妥当性信息生成部110通过妥当性信息的值，能够判别超声波图像202是否包含于通过训练用输入数据211学习的范围内，在包含于通过训练用输入数据211学习的范围内的情况下，能够输出表示被输出的推测图像203的妥当性较高的妥当性信息。
另外，在图9中，作为中间层115，使用神经网络109的中途的层，但不限定于中途的层，也可以将包含输入层至输出层的任意层用作中间层115。
如图10所示，在使用节点的数量因层而异的神经网络109的情况下，也可以将节点的数量最小的层用作中间层115，将其输出设为中间层输出215。节点的数量最小的层一般说来特征容易表现，因此，通过将从该层输出的数据用作中间层输出215，存在妥当性信息生成部110能够更加容易地判别作为输入数据的超声波图像202与训练用输入数据211是否进行相同的行为的可能性。
此外，作为向妥当性信息生成部110的输入，可以不是中间层输出215，而使用超声波数据202、图像生成部108的处理过程中的任意的数据，可以使用推测图像203，也可以使用它们的任意的组合。通过使用该方法，即便在如超声波数据202为RF数据的形式，推测图像203的形式为图像数据的形式那样是不同的数据的形式的情况下，也能够生成推测图像203的妥当性信息206。即，即便在神经网络109的输入与输出的数据形式不同的情况下，也能够生成推测图像203的妥当性信息206。
此外，在图9中，作为超声波摄像装置的结构，示出了向神经网络109输入超声波图像202的与图3的(a)对应的结构，但实施方式2不局限于此，当然也能够形成向图3的(b)、(c)等的神经网络109输入接收信号的结构等其他结构。
<<实施方式3>>
使用图11、图12，对实施方式3的超声波摄像装置进行说明。
实施方式3的超声波摄像装置为与实施方式1相同的结构，但在妥当性信息生成部110根据发送的超声波或接收到的超声波的波长来变更要计算妥当性信息的图素的尺寸这点与实施方式1不同。
图11是表示实施方式3的超声波摄像装置的主要部分的结构的图，图12是表示妥当性信息生成部110计算妥当性信息的图素尺寸与发送超声波的波长的图。
用户通过控制台103设定超声波探头102发送的超声波116的波长。该发送超声波的设定可以构成为能够直接以数值设定超声波的波长、频率，也可以通过设定拍摄模式来间接地进行切换。
控制部105指示发送波束形成器106根据通过控制台103被设定的发送超声波116的波长，生成发送该波长的超声波的发送信号。发送波束形成器106经由收发开关107向超声波探头102输送发送信号。由此，从超声波探头102发送被设定的波长的发送超声波116。
控制部105向妥当性信息生成部110输送发送波长的信息，妥当性信息生成部110根据该发送波长的信息，变更要生成的妥当性信息206的坐标网格301的大小。在图11中，图示了向妥当性信息生成部110输入推测图像203、神经网络的中间层115的动作数据204、超声波数据202的情况，但也可以如实施方式1、2中叙述的那样，将这些数据的任意的组合作为向妥当性信息生成部110的输入。
此外，也可以形成在图像生成部108中检测接收信号201的波长，妥当性信息生成部10根据该波长尺寸变更图素尺寸的结构。
使用图12，对坐标网格301的大小的变更方法详细地进行说明。这里，以妥当性信息生成部110生成的妥当性信息206为二维图像形式的情况为例进行说明。生成的妥当性信息206的坐标网格301由x坐标与y坐标构成。被坐标网格301划分的区域为1个图素。妥当性信息生成部110根据发送超声波的波形304的波长305变更妥当性信息的x方向的图素尺寸302与妥当性信息的y方向的图素尺寸303。
妥当性信息生成部110可以形成将x方向的图素尺寸302以及y方向的图素尺寸303相对于发送超声波的波长305设定为基于某常量的比例关系的尺寸的结构，也可以是根据预先定义的表，变更与波长305对应的图素尺寸302、303的形式。
x方向的图素尺寸302与y方向的图素尺寸303可以相等，也可以使用不同的值。
这样设定妥当性信息的坐标网格301，由此能够在生成妥当性信息206时设定适当的网格尺寸(图素尺寸)，从而能够抑制运算成本。
此外，妥当性信息206的形式不限定于二维图像形式，可以为三维的体(volume)形式，也可以为进一步具有多个帧的三维或者四维形式。另外，例如作为超声波探头，在使用扇形探头、凸面探头等的情况下等，也可以不使用笛卡尔坐标系，而使用极坐标系等其他空间坐标系来生成坐标网格。
<<实施方式4>>
使用图13、图14，对实施方式4的超声波摄像装置进行说明。
实施方式4的超声波摄像装置为与实施方式1相同的结构，但图像处理部112生成并显示于图像显示部104的超声波图像207的方式与实施方式1不同。
在实施方式4中，图像处理部112进行使用妥当性信息206更新推测图像203而生成超声波图像207的处理，或者进行对根据多个推测图像203生成超声波图像207所使用的图像进行选择等的处理。
使用图13对图像处理部112根据妥当性信息206更新推测图像203而生成超声波图像207的处理进行说明。
图像处理部112基于超声波图像202、妥当性信息206、推测图像203生成超声波图像207。此时，根据妥当性信息206，进行变更推测图像203与超声波图像202向超声波图像207的反映方式的处理。
例如，图像处理部112针对妥当性信息206超过恒定的阈值的，即妥当性较高的区域，向超声波图像207分配推测图像203，针对不是妥当性较高的区域，进行分配超声波图像202的处理，生成超声波图像207。
或者，图像处理部112对超声波图像202与推测图像203进行某种加权并相加而生成超声波图像207，根据妥当性信息206变更此时的权重。即，在妥当性信息206为较高的值的情况下，图像处理部112对推测图像203施加较高的权重，在妥当性信息206为较低的值的情况下，对超声波图像202施加较高的权重。
另外，图像处理部112也可以将根据上述的妥当性信息206切换分配的方法与根据妥当性信息206改变加权的方法组合而生成超声波图像207。
图像处理部112将通过这样的方法而生成的超声波图像207显示于图像显示部104，由此，用户通过观察超声波图像207能够判断是否是妥当的图像。
另外，图像处理部112也可以形成为了在妥当性信息满足一定的条件时向操作人员进行通知，而在超声波图像207重叠显示警报或输出声音的结构。由此，在妥当性信息示出了妥当性较低的情况下，能够以不使用推测图像203的方式唤起用户的注意。
另外，使用图14，对超声波处理装置的神经网络109包含多个神经网络，神经网络分别生成推测图像203，妥当性信息生成部110生成多个妥当性信息206的结构的情况下的图像处理部112的处理进行说明。妥当性信息生成部110使用多个神经网络的每一个的推测图像203、超声波图像202、中间层输出215等，分别生成妥当性信息206。
在该情况下，图像处理部112形成为了基于多个妥当性信息206选择或者生成妥当性更高的超声波图像207，而进行将与多个妥当性信息206中的妥当性为高值的妥当性信息206对应的推测图像203分配给超声波图像207的处理，生成超声波图像207的结构。
或者，图像处理部112也可以形成通过与妥当性信息206对应的权重将多个推测图像203相加来生成超声波图像207的结构。
另外，也可以将根据上述的妥当性信息206切换分配的方法与根据妥当性信息206改变加权的方法组合而生成超声波图像207。
图像处理部112将通过这样的方法而生成的超声波图像207显示于图像显示部104，由此，用户通过观察超声波图像207能够判断是否是妥当的图像。
在上述的各实施方式中，用户是使用超声波摄像装置的人员。用户也可以是医生、超声波技师。另外，用户也可以是开发人员等技术人员、进行制造时的生产管理等的人员。本发明也可以由上述的用户用于开发或制造，用于开发时的性能验证、制造时的品质保证。例如，也可以将拍摄标准规格模型时的妥当性信息206用作开发时的性能验证的指标、品质保证的判断资料的一部分。由此，能够进行高效的开发、检查、制造。

Claims (9)

1.一种超声波摄像装置，其特征在于，具有：
图像生成部，其接受接收了来自被检体的超声波的超声波探头输出的接收信号，基于所述接收信号生成超声波图像；
学习完毕的神经网络，其将所述接收信号或者所述图像生成部生成的所述超声波图像设为输入，输出推测接收信号或者推测超声波图像；以及
妥当性信息生成部，其使用所述接收信号、所述超声波图像、所述推测接收信号、所述推测超声波图像以及所述神经网络的中间层的输出中的一个以上，生成表示所述推测接收信号或者所述推测超声波图像的妥当性的信息，
所述妥当性信息生成部求出向所述神经网络输入的所述接收信号或者所述超声波图像与从所述神经网络输出的所述推测接收信号或者所述推测超声波图像的差分，基于所述差分生成表示所述妥当性的信息，
所述妥当性信息生成部参照预先决定的差分的值与表示妥当性的值的关系，求出与所求出的所述差分对应的表示妥当性的值，
所述预先决定的差分的值与表示妥当性的值的关系设定为在所述差分的值位于预定的范围内的情况下，与位于其他范围内的情况相比，对应的表示妥当性的值更高，
所述预定的范围是在将使所述神经网络学习时使用的多个学习用输入数据输入所述学习完毕的神经网络的情况下分别输出的多个输出数据与输入的所述多个学习用输入数据的差分的值的分布的范围。
2.根据权利要求1所述的超声波摄像装置，其特征在于，
所述学习完毕的神经网络使用训练数据进行了学习，所述训练数据将超声波图像设为输入数据，将发送扫描线以及接收扫描线的至少一方的密度高于所述输入数据的超声波图像设为正确数据。
3.根据权利要求1所述的超声波摄像装置，其特征在于，
所述学习完毕的神经网络使用训练数据进行了学习，所述训练数据将从所述超声波探头向所述被检体发送超声波的发送信号，所述超声波探头接收来自所述被检体的超声波并输出的接收信号设为输入数据，将在发送至所述被检体的所述发送信号的频率高于所述输入数据的情况下所述超声波探头输出的所述接收信号设为正确数据。
4.根据权利要求1所述的超声波摄像装置，其特征在于，
所述学习完毕的神经网络使用训练数据进行了学习，所述训练数据将从所述超声波探头向所述被检体发送超声波的发送信号，根据所述超声波探头接收来自所述被检体的超声波并输出的接收信号所生成的超声波图像或者接收信号设为输入数据，将在发送至所述被检体的所述发送信号的频率高于所述输入数据的情况下根据所述超声波探头输出的所述接收信号所生成的超声波图像设为正确数据。
5.根据权利要求1所述的超声波摄像装置，其特征在于，
所述接收信号从所述超声波探头向所述被检体发送超声波，通过所述超声波探头接收被所述被检体反射的超声波，
所述妥当性信息生成部生成针对二维或者三维地排列的每个图素赋予表示所述妥当性的值的二维或者三维的妥当性信息，根据从所述超声波探头发送的超声波或者接收到的超声波的波长变更所述图素的尺寸。
6.根据权利要求1所述的超声波摄像装置，其特征在于，
该超声波摄像装置进一步具有：
供操作人员输入信息的控制台；以及
生成向所述神经网络生成的所述推测超声波图像或者根据所述推测接收信号生成的超声波图像反映了表示所述妥当性的信息的图像的图像处理部，
所述图像处理部根据输入所述控制台的信息，变更向所述推测超声波图像或者根据所述推测接收信号生成的超声波图像反映表示所述妥当性的信息时的反映方式。
7.根据权利要求1所述的超声波摄像装置，其特征在于，
该超声波摄像装置进一步具有在表示所述妥当性的信息所表示的所述妥当性低于预先决定的条件的情况下，对用户进行警告的图像处理部。
8.根据权利要求1所述的超声波摄像装置，其特征在于，
该超声波摄像装置进一步具有图像处理部，
所述学习完毕的神经网络包含多个神经网络，各个神经网络生成所述推测接收信号或者所述推测超声波图像，
所述妥当性信息生成部针对所述多个神经网络生成的多个所述推测超声波图像分别生成表示所述妥当性的信息，
所述图像处理部根据多个表示所述妥当性的信息选择或者生成更加妥当的信息。
9.一种图像处理装置，其特征在于，具有：
学习完毕的神经网络，其将超声波的接收信号或者超声波图像设为输入，输出推测接收信号或者推测超声波图像；以及
妥当性信息生成部，其使用所述接收信号、所述超声波图像、所述推测接收信号、所述推测超声波图像以及所述神经网络的中间层的输出中的一个以上，生成表示所述推测接收信号或者所述推测超声波图像的妥当性的信息，
所述妥当性信息生成部求出向所述神经网络输入的所述接收信号或者所述超声波图像与从所述神经网络输出的所述推测接收信号或者所述推测超声波图像的差分，基于所述差分生成表示所述妥当性的信息，
所述妥当性信息生成部参照预先决定的差分的值与表示妥当性的值的关系，求出与所求出的所述差分对应的表示妥当性的值，
所述预先决定的差分的值与表示妥当性的值的关系设定为在所述差分的值位于预定的范围内的情况下，与位于其他范围内的情况相比，对应的表示妥当性的值更高，
所述预定的范围是在将使所述神经网络学习时使用的多个学习用输入数据输入所述学习完毕的神经网络的情况下分别输出的多个输出数据与输入的所述多个学习用输入数据的差分的值的分布的范围。
CN202010070311.0A 2019-04-04 2020-01-21 超声波摄像装置以及图像处理装置 Active CN111789635B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-072291 2019-04-04
JP2019072291A JP7269778B2 (ja) 2019-04-04 2019-04-04 超音波撮像装置、および、画像処理装置

Publications (2)

Publication Number Publication Date
CN111789635A CN111789635A (zh) 2020-10-20
CN111789635B true CN111789635B (zh) 2023-06-20

Family

ID=72662400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010070311.0A Active CN111789635B (zh) 2019-04-04 2020-01-21 超声波摄像装置以及图像处理装置

Country Status (3)

Country Link
US (1) US11461938B2 (zh)
JP (1) JP7269778B2 (zh)
CN (1) CN111789635B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114814800A (zh) * 2021-01-19 2022-07-29 腾讯科技（深圳）有限公司 基于超声回波的对象识别方法、装置及存储介质
WO2022187313A1 (en) * 2021-03-02 2022-09-09 University Of Louisville Research Foundation, Inc. Analysis of cell or particle properties using acoustofluidics and machine learning

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05108601A (ja) * 1991-10-18 1993-04-30 Fujitsu Ltd ニユーラルネツトワーク学習装置
JP6320649B1 (ja) * 2017-03-31 2018-05-09 三菱電機株式会社 機械学習装置及び画像認識装置
CN108389172A (zh) * 2018-03-21 2018-08-10 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0738745A (ja) * 1993-06-25 1995-02-07 Sharp Corp ニューラルネットワークにより画質を設定する画像形成装置
JPH0991430A (ja) * 1995-09-27 1997-04-04 Hitachi Ltd パターン認識装置
JP2009061086A (ja) * 2007-09-06 2009-03-26 Fujifilm Corp 超音波診断装置、並びに、画像処理方法及びプログラム
JP5495607B2 (ja) * 2008-05-27 2014-05-21 キヤノン株式会社 超音波診断装置
JPWO2010050333A1 (ja) * 2008-10-30 2012-03-29 コニカミノルタエムジー株式会社 情報処理装置
JP5414546B2 (ja) * 2010-01-12 2014-02-12 キヤノン株式会社 容量検出型の電気機械変換素子
CN102141776A (zh) * 2011-04-26 2011-08-03 江苏科技大学 基于粒子滤波和rbf辨识的神经网络pid控制参数自整定方法
JP6196951B2 (ja) * 2014-08-22 2017-09-13 株式会社日立製作所 超音波診断画像生成装置、及び方法
KR102288280B1 (ko) * 2014-11-05 2021-08-10 삼성전자주식회사 영상 학습 모델을 이용한 영상 생성 방법 및 장치
CN107209945A (zh) * 2014-12-10 2017-09-26 皇家飞利浦有限公司 使用机器学习的用于医学成像的转化的系统和方法
JP6469876B2 (ja) * 2015-09-07 2019-02-13 株式会社日立製作所 超音波撮像装置及び超音波信号処理方法
JP2017107455A (ja) * 2015-12-10 2017-06-15 キヤノン株式会社 情報処理装置、制御方法、及びプログラム
US10460231B2 (en) * 2015-12-29 2019-10-29 Samsung Electronics Co., Ltd. Method and apparatus of neural network based image signal processor
JP6651857B2 (ja) * 2016-01-08 2020-02-19 コニカミノルタ株式会社 超音波診断装置
AU2017230722B2 (en) * 2016-03-09 2022-08-11 EchoNous, Inc. Ultrasound image recognition systems and methods utilizing an artificial intelligence network
US20190026630A1 (en) * 2016-03-28 2019-01-24 Sony Corporation Information processing apparatus and information processing method
US9947102B2 (en) * 2016-08-26 2018-04-17 Elekta, Inc. Image segmentation using neural network method
JP2018081597A (ja) * 2016-11-17 2018-05-24 日本電信電話株式会社 属性判定方法、属性判定装置及びコンピュータプログラム
KR20180069452A (ko) * 2016-12-15 2018-06-25 삼성전자주식회사 뉴럴 네트워크의 학습 방법 및 뉴럴 네트워크를 이용한 인식 방법, 및 그 장치
US11832969B2 (en) * 2016-12-22 2023-12-05 The Johns Hopkins University Machine learning approach to beamforming
WO2018127497A1 (en) 2017-01-05 2018-07-12 Koninklijke Philips N.V. Ultrasound imaging system with a neural network for deriving imaging data and tissue information
CN109964234A (zh) * 2017-02-17 2019-07-02 欧姆龙株式会社 评估诸如半导体基板的产品的质量
CN107679543A (zh) * 2017-02-22 2018-02-09 天津大学 稀疏自动编码器与极限学习机立体图像质量评价方法
EP3669371A1 (en) * 2017-08-17 2020-06-24 Koninklijke Philips N.V. Ultrasound system with deep learning network for image artifact identification and removal
CN107767343B (zh) * 2017-11-09 2021-08-31 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
CN107730474B (zh) * 2017-11-09 2022-02-22 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
CN108056789A (zh) * 2017-12-19 2018-05-22 飞依诺科技(苏州)有限公司 一种生成超声扫描设备的配置参数值的方法和装置
US11030780B2 (en) * 2018-03-26 2021-06-08 The Board Of Trustees Of The Leland Stanford Junior University Ultrasound speckle reduction and image reconstruction using deep learning techniques
CN108564553A (zh) * 2018-05-07 2018-09-21 南方医科大学 基于卷积神经网络的低剂量ct图像噪声抑制方法
US10991092B2 (en) * 2018-08-13 2021-04-27 Siemens Healthcare Gmbh Magnetic resonance imaging quality classification based on deep machine-learning to account for less training data
US20200281570A1 (en) * 2019-01-17 2020-09-10 Canon Medical Systems Corporaion Apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05108601A (ja) * 1991-10-18 1993-04-30 Fujitsu Ltd ニユーラルネツトワーク学習装置
JP6320649B1 (ja) * 2017-03-31 2018-05-09 三菱電機株式会社 機械学習装置及び画像認識装置
CN108389172A (zh) * 2018-03-21 2018-08-10 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置

Also Published As

Publication number Publication date
JP2020168233A (ja) 2020-10-15
CN111789635A (zh) 2020-10-20
JP7269778B2 (ja) 2023-05-09
US20200320750A1 (en) 2020-10-08
US11461938B2 (en) 2022-10-04

Similar Documents

Publication Publication Date Title
JP4575738B2 (ja) 超音波画像境界抽出方法及び超音波画像境界抽出装置、並びに、超音波撮像装置
JP4585326B2 (ja) 超音波撮像装置及び超音波撮像方法
JP6139144B2 (ja) 超音波システム
KR101121301B1 (ko) 3차원 측정을 수행하는 초음파 시스템 및 방법
US7713206B2 (en) Ultrasonic imaging apparatus
US20060079780A1 (en) Ultrasonic imaging apparatus
KR101188593B1 (ko) 복수의 3차원 초음파 영상을 제공하는 초음파 시스템 및 방법
JPWO2005087111A1 (ja) 医用画像診断装置及び医用画像診断方法
KR20120044267A (ko) 초음파 진단 장치 및 조직 움직임 추적 방법
CN111789635B (zh) 超声波摄像装置以及图像处理装置
JP7199972B2 (ja) 情報処理装置、情報処理方法、プログラム
JP4594836B2 (ja) 超音波撮像装置
US8879816B2 (en) Ultrasonic diagnostic apparatus and ultrasonic image display method
JP5473527B2 (ja) 超音波診断装置
JP6008580B2 (ja) 超音波診断装置、超音波診断装置の制御方法、及び超音波診断プログラム
US20210022711A1 (en) Ultrasound elastography method and system
JP5623609B2 (ja) 超音波診断装置
US11896435B2 (en) Ultrasound diagnostic apparatus and examination method
CN110604595A (zh) 一种脂肪肝定量分析方法及脂肪肝定量分析系统
CN106691499B (zh) 利用散射子分布统计量分析超声波回音信号之方法
JP5389497B2 (ja) 超音波診断装置およびその制御プログラム
JP4704094B2 (ja) 超音波診断装置
JP7432426B2 (ja) 超音波診断装置、信号処理装置および信号処理プログラム
US20120197125A1 (en) Ultrasound diagnostic device
JP5950291B1 (ja) 超音波診断装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220110

Address after: Chiba County, Japan

Applicant after: Fujifilm medical health Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Hitachi, Ltd.

GR01 Patent grant
GR01 Patent grant