CN113842166A - 基于超声影像设备的超声图像采集方法以及相关装置 - Google Patents
基于超声影像设备的超声图像采集方法以及相关装置 Download PDFInfo
- Publication number
- CN113842166A CN113842166A CN202111246132.9A CN202111246132A CN113842166A CN 113842166 A CN113842166 A CN 113842166A CN 202111246132 A CN202111246132 A CN 202111246132A CN 113842166 A CN113842166 A CN 113842166A
- Authority
- CN
- China
- Prior art keywords
- image
- ultrasonic
- neural network
- network model
- thyroid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003384 imaging method Methods 0.000 title claims abstract description 39
- 238000003062 neural network model Methods 0.000 claims abstract description 135
- 238000002604 ultrasonography Methods 0.000 claims abstract description 135
- 210000001685 thyroid gland Anatomy 0.000 claims description 61
- 239000000523 sample Substances 0.000 claims description 48
- 238000012285 ultrasound imaging Methods 0.000 claims description 44
- 208000009453 Thyroid Nodule Diseases 0.000 claims description 39
- 238000012549 training Methods 0.000 claims description 30
- 208000024770 Thyroid neoplasm Diseases 0.000 claims description 22
- 230000003211 malignant effect Effects 0.000 claims description 22
- 238000010801 machine learning Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000013135 deep learning Methods 0.000 claims description 9
- 230000003902 lesion Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000013145 classification model Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 3
- 206010004412 Benign neoplasm of thyroid gland Diseases 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000003437 trachea Anatomy 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000004171 remote diagnosis Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/56—Details of data transmission or power supply
- A61B8/565—Details of data transmission or power supply involving data transmission via a network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Computer Networks & Wireless Communication (AREA)
- Vascular Medicine (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于超声影像设备的超声图像采集方法以及相关装置。该方法包括通过所述超声影像设备，获取连续超声图像；将所述连续超声图像中的第N帧图像以及所述连续超声图像，输入至预设神经网络模型；根据所述预设神经网络模型，判断所述第N帧图像是否满足采集要求；若不满足，则通过所述超声影像设备中的提醒模块对所述连续超声图像的采集方式进行指导，以重新获取所述连续超声图像；若满足，则将第N帧图像保存之后继续判断第N+1帧图像是否同样满足采集要求。本申请解决了对患者的超声图像采集需要专业人员，无法实现远程或居家远程随访的技术问题。通过申请使得非专业超声医生也能操作采集，且提升了操作超声设备时采集的超声图像质量。
Description
技术领域
本申请涉及人工智能、医学领域，具体而言，涉及一种基于超声影像设备的超声图像采集方法以及相关装置。
背景技术
使用超声影像设备检查患者时，通过对患者的病灶区域进行图像采集，并由超声医生针对超声影像进行医疗诊断。
相关技术中，通常会采用医院随访的检查方式，但是成本较高。一些方案中，通过AI辅助识别超声影像并判断结节的良恶性，但是需要专业人员进行采集。对另一些方案中，基于5G通信网络进行远程诊疗，由超声医生远程操作，采集图片进行诊断，但是对基建设施的要求较高。
针对相关技术中对患者的超声图像采集需要专业人员，进而无法实现远程或居家远程随访的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种基于超声影像设备的超声图像采集方法以及相关装置，以解决对患者的超声图像采集需要专业人员，进而无法实现远程或居家远程随访的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种基于超声影像设备的超声图像采集方法。
根据本申请的基于超声影像设备的超声图像采集方法包括：通过所述超声影像设备，获取连续超声图像；将所述连续超声图像中的第N帧图像以及所述连续超声图像，输入至预设神经网络模型，其中所述预设神经网络模型为使用多组图像数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本超声图像、所述样本超声图像的类别标签，所述N为整数；根据所述预设神经网络模型，判断所述第N帧图像是否满足采集要求；若不满足，则通过所述超声影像设备中的提醒模块对所述连续超声图像的采集方式进行指导，以重新获取所述连续超声图像；若满足，则将第N帧图像保存之后继续判断第N+1帧图像是否同样满足采集要求。
进一步地，所述预设神经网络模型，包括：多个单个深度神经网络模型，每个所述单个深度神经网络模型用于针对预设医学场景以及医学信息训练得到，所述单个深度神经网络模型至少包括如下之一的功能：匹配背景模板、检测单帧图像的结节、判别单帧图像的病灶良恶性、估计连续影像的置信度。
进一步地，所述预设神经网络模型包括：第一深度神经网络模型，所述超声图像包括甲状腺超声图像，采集甲状腺的不同部分以及每个部分对应的设角度的超声图像，得到至少包括预设部位和预设角度的所述甲状腺超声图像；通过所述第一深度神经网络模型，识别所述甲状腺超声图像中的背景是否与预设背景匹配，其中，所述第一深度神经网络模型为使用多组图像数据通过机器学习训练得出的，多组数据中的每组数据均包括：不同部位以及不同角度采集得到的颈部超声图像样本；如果匹配，则满足所述超声影像设备上超声探头的放置要求；如果不匹配，则不满足所述超声影像设备上超声探头的放置要求。
进一步地，所述预设神经网络模型包括：第二深度神经网络模型，所述超声图像包括甲状腺超声图像，通过所述第二深度神经网络模型，识别所述甲状腺超声图像的单帧图像中是否存在甲状腺结节，其中所述第二深度神经网络模型为使用多组图像数据通过机器学习训练得出的，多组数据中的每组数据均包括：含有甲状腺结节以及不含甲状腺结节的甲状腺超声图像样本，所述含有甲状腺结节的甲状腺超声图像中预先标注出结节位置信息和/或结节大小信息；若检测到，则截取甲状腺结节的局部图像作为输入传送至第三深度神经网络模型。
进一步地，基于所述第三深度神经网络模型接收所述第二深度神经网络模型输入的所述甲状腺结节的局部图像，识别所述甲状腺超声图像的单帧图像中是否存在恶性或者良性甲状腺结节，其中，所述第三深度神经网络模型为使用多组图像数据通过机器学习训练得出的，多组数据中的每组数据均包括：预先标注出良性以及恶性的甲状腺结节局部图像样本。
进一步地，所述预设神经网络模型还包括：第四深度神经网络模型，所述超声图像包括甲状腺超声图像，将一个预设门限时间内的连续甲状腺超声图像以及在所述预设门限时间内对甲状腺超声图像单帧图像的输出的背景模板匹配结果、单帧图像的结节检测结果、单帧图像的病灶良恶性判别结果，输入至所述第四深度神经网络模型；基于所述第四深度神经网络模型，输出所述预设门限时间内每一帧甲状腺超声图像的置信度评分，以及连续甲状腺超声图像的整体置信度。
进一步地，所述若满足，则将第N帧图像保存之后继续判断第N+1帧图像是否同样满足采集要求，包括：若所述第N帧图像满足采集要求，则选择所述第N帧图像、所述第N+1帧图像……第N+M帧图像中图像质量符合要求的目标帧图像进行保存，并在预设时间内通过所述超声影像设备的通信模块进行网络传输，其中M为整数。
为了实现上述目的，根据本申请的另一方面，提供了一种基于超声影像设备的超声图像采集装置。
根据本申请的基于超声影像设备的超声图像检测装置包括：图像采集模块，用于通过所述超声影像设备，获取连续超声图像；神经网络模块，用于将所述连续超声图像中的第N帧图像以及所述连续超声图像，输入至预设神经网络模型，其中所述预设神经网络模型为使用多组图像数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本超声图像、所述样本超声图像的类别标签，所述N为整数；判断模块，用于根据所述预设神经网络模型，判断所述第N帧图像是否满足采集要求；指导模块，用于在不满足时，则通过所述超声影像设备中的提醒模块对所述连续超声图像的采集方式进行指导，以重新获取所述连续超声图像；执行模块，用于在满足时，则将第N帧图像保存之后继续判断第N+1帧图像是否同样满足采集要求。
为了实现上述目的，根据本申请的又一方面，提供了一种超声影像设备。
根据本申请的超声影像设备，包括：设备本体，其特征在于，所述设备本体包括：深度学习处理器，用于将超声图像输入预先训练的神经网络模型，并通过所述神经网络模型判断所述超声图像的采集是否符合要求；控制器，接收所述深度学习处理器输出的判断结果，控制显示器或者存储器执行预设操作；在所述控制器的判断结果为所述超声图像的采集不符合要求的情况下，控制所述显示器对所述连续超声图像的采集方式进行指导；在所述控制器的判断结果为所述超声图像的采集符合要求的情况下，控制所述存储器保存所述超声图像。
进一步地，装置还包括：无线传输模块，用于将所述超声图像通过无线通信模块进行网络传输；语音提示模块，用于配合所述显示器对所述连续超声图像的采集方式进行指导；超声探头，用于向用户的颈部区域发射超声波，并将接收返回的超声波转换之后得到模拟信号；信号处理器，用于对所述超声探头传入的模拟信号转化为数字图像信号后传输到所述深度学习处理器。
在本申请实施例中基于超声影像设备的超声图像采集方法以及相关装置，采用通过所述超声影像设备，获取连续超声图像的方式，通过将所述连续超声图像中的第N帧图像以及所述连续超声图像，输入至预设神经网络模型，达到了根据所述预设神经网络模型，判断所述第N帧图像是否满足采集要求的目的，从而实现了可以由非专业超声医生的人员执行操作，让患者无需前往专科医院就诊，可以在社区医院甚至在家进行超声图片采集以及大幅提升非专业超声医生操作超声设备时采集的超声图像质量，进而解决了对患者的超声图像采集需要专业人员，进而无法实现远程或居家远程随访的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的基于超声影像设备的超声图像采集方法的硬件结构示意图；
图2是根据本申请实施例的基于超声影像设备的超声图像采集方法流程示意图；
图3是根据本申请实施例的基于超声影像设备的超声图像检测装置结构示意图；
图4是根据本申请实施例的基于超声影像设备的超声图像采集方法的流程示意图；
图5是根据本申请实施例的超声影像设备的结构示意图；
图6是根据本申请实施例的基于超声影像设备的超声图像采集方法中的预设神经网络模型的原理示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
发明人研究时发现，对于超声操作者采集图像的质量不佳，主要存在如下的问题：
首先，超声操作者需手持超声探头，从不同的位置、角度探查患者的颈部，根据患者的情况，操作者的操作手法可能存在不规范。其次，超声设备采集的是实时的动态影像，专业医生操作时，会根据超声设备屏幕上的实时图像，判断图像上是否存在结节、且该图像能否最好地反应结节的特征，将最关键的图像截取保存。而非专业操作者缺乏对图像的专业判断能力，因此截取的图像很有可能并不包含结节的关键信息。
基于上述，本申请中的基于超声影像设备的超声图像采集方法，能够提高超声操作者采集超声图像的图像质量，从而达到或接近专业超声医生直接操作所采集的图像的同等水平。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在计算机设备上为例，图1是本申请实施例的基于超声影像设备的超声图像采集方法计算机设备的硬件结构框图。
本申请实施例还提供了一种计算机设备。如图1所示，计算机设备10可以包括：至少一个处理器101，例如CPU，至少一个网络接口104，用户接口103，存储器105，至少一个通信总线102，可选地，还可以包括显示屏106。其中，通信总线102用于实现这些组件之间的连接通信。其中，用户接口103可以包括触摸屏、键盘或鼠标等等。网络接口104可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通过网络接口104可以与服务器建立通信连接。存储器105可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器，存储器105包括本发明实施例中的flash。存储器105可选的还可以是至少一个位于远离前述处理器101的存储系统。如图1所示，作为一种计算机存储介质的存储器105中可以包括操作系统、网络通信模块、用户接口模块以及程序指令。
需要说明的是，网络接口104可以连接接收器、发射器或其他通信模块，其他通信模块可以包括但不限于WiFi模块、蓝牙模块等，可以理解，本发明实施例中计算机设备也可以包括接收器、发射器和其他通信模块等。
处理器101可以用于调用存储器105中存储的程序指令，并使计算机设备10执行以下操作：
通过所述超声影像设备，获取连续超声图像；
将所述连续超声图像中的第N帧图像以及所述连续超声图像，输入至预设神经网络模型，其中所述预设神经网络模型为使用多组图像数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本超声图像、所述样本超声图像的类别标签，所述N为整数；
根据所述预设神经网络模型，判断所述第N帧图像是否满足采集要求；
若不满足，则通过所述超声影像设备中的提醒模块对所述连续超声图像的采集方式进行指导，以重新获取所述连续超声图像；
若满足，则将第N帧图像保存之后继续判断第N+1帧图像是否同样满足采集要求。
如图2所示，该方法包括如下的步骤S201至步骤S205
步骤S201，通过所述超声影像设备，获取连续超声图像；
步骤S202，将所述连续超声图像中的第N帧图像以及所述连续超声图像，输入至预设神经网络模型，其中所述预设神经网络模型为使用多组图像数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本超声图像、所述样本超声图像的类别标签，所述N为整数；
步骤S203，根据所述预设神经网络模型，判断所述第N帧图像是否满足采集要求；
步骤S204，若不满足，则通过所述超声影像设备中的提醒模块对所述连续超声图像的采集方式进行指导，以重新获取所述连续超声图像；
步骤S205，若满足，则将第N帧图像保存之后继续判断第N+1帧图像是否同样满足采集要求。
从以上的描述中，可以看出，本申请实现了如下技术效果：
采用通过所述超声影像设备，获取连续超声图像的方式，通过将所述连续超声图像中的第N帧图像以及所述连续超声图像，输入至预设神经网络模型，达到了根据所述预设神经网络模型，判断所述第N帧图像是否满足采集要求的目的，从而实现了可以由非专业超声医生的人员执行操作，让患者无需前往专科医院就诊，可以在社区医院甚至在家进行超声图片采集以及大幅提升非专业超声医生操作超声设备时采集的超声图像质量，进而解决了对患者的超声图像采集需要专业人员，进而无法实现远程或居家远程随访的技术问题。
基于上述方法，不需要专业的超声医生操作超声设备，由社区医生、护士、或其他人员，经过一定的培训就能操作，并且最终超声图像的医学判断仍由超声医生在远程做出诊断。
在上述步骤S201中超声操作者通过所述超声影像设备，获取连续超声图像。所述超声影像设备可以包括超声探头以及信号处理器，并经由信号处理器转换之后获取连续超声图像。
作为一种可选的实施方式，所述超声操作者使用所述超声影像设备前，可以先接受的标准化操作培训之后，即可进行操作。进一步，使用输入模块输入患者基本信息，启动预设检查程序。
作为一种可选的实施方式，所述超声操作者将所述超声影像设备中的超声探头置于检查对象的颈部进行探查，超声探头发射超声波，会接受人体返回的超声波转换为模拟信号；信号处理器对所述超声探头传入的模拟信号处理为数字图像信号后传输到所述超声影像设备。
在上述步骤S202中接着抽帧之后将所述连续超声图像中的第N帧图像以及所述连续超声图像，输入至预设神经网络模型。可以理解，所述预设神经网络模型为所述超声影像设备的存储器中的程序指令。
作为一种可选的实施方式，所述预设神经网络模型为使用多组图像数据通过机器学习训练得出的。优选地，所述预设神经网络模型中包括多个单独的深度神经网络模型。
作为一种可选的实施方式，多组训练数据中的每组数据均包括：样本超声图像、所述样本超声图像的类别标签，所述N为整数。所述样本超声图像通过历史数据或者提前采样获取得到。所述样本超声图像的类别标签是预先通过专业超声医生进行标注的，类别标签中包括但不限于，病灶位置以及大小。
在上述步骤S203中根据所述预设神经网络模型，判断所述第N帧图像是否满足采集要求。对于每一个单帧图像判断其采集是否符合预设的采集要求。
利用超声影像设备上搭载预设神经网络模型程序指令，对超声设备上的图像进行实时判断，进而可模拟专业超声医生的采集过程，并根据判断结果给予超声操作者反馈指导，并截取和保存质量较好的关键图像帧。
作为一种可选的实施方式，预设神经网络模型程序指令使用离线处理的方式，不受到网络好坏的影响。
作为一种可选的实施方式，所述超声影像设备为一体机设备或者所述超声影像设备可与智能终端连接。
在上述步骤S204中根据所述预设神经网络模型，判断所述第N帧图像不满足采集要求，则通过所述超声影像设备中的提醒模块对所述连续超声图像的采集方式进行指导，以重新获取所述连续超声图像。
作为一种可选的实施方式，若图片采集不符合要求，则控制所述超声影像设备的提示模块提供同步操作指导信息。
作为一种可选的实施方式，提示模块可以是视频指导或者语音指导的方式。
在上述步骤S205中根据所述预设神经网络模型，判断所述第N帧图像满足采集要求，则将第N帧图像保存之后继续判断第N+1帧图像是否同样满足采集要求。
作为一种可选的实施方式，如果所述第N帧图像满足于采集要求，则将第N帧图像保存之后继续判断下一帧图像是否也满足采集要求。
作为一种可选的实施方式，若图片采集符合要求，则选择最高质量(比如置信度最高)的图片保存在存储器中，并在网络良好或者空闲的时间利用所述超声影像设备中的蓝牙或5G模块进行网络传输。
作为本实施例中的优选，所述预设神经网络模型，包括：多个单个深度神经网络模型，每个所述单个深度神经网络模型用于针对预设医学场景以及医学信息训练得到，所述单个深度神经网络模型至少包括如下之一的功能：匹配背景模板、检测单帧图像的结节、判别单帧图像的病灶良恶性、估计连续影像的置信度。
具体实施时，每个所述单个深度神经网络模型用于针对预设医学场景以及医学信息训练得到，并且每个模型用于实现匹配背景模板、检测单帧图像的结节、判别单帧图像的病灶良恶性、估计连续影像的置信度等功能。
优选地，基于深度神经网络实现匹配背景模板，并判断是否与背景模板匹配。
优选地，基于深度神经网络实现单帧图像的甲状腺结节检测。
优选地，基于深度神经网络实现单帧图像中甲状腺结节检测结果的病灶良恶性判断。
优选地，基于深度神经网络实现连续影像的置信度估计，从而确定出最优的图像帧。
基于上述步骤，通过所述预设神经网络模型中的单个背景模板匹配模型判断当前超声探头所放置的区域和角度是否符合要求。通过结节检测模型检测当前超声视野中是否存在甲状腺结节，并进一步通过良恶性判别模型预测所检测的结节为恶性的风险。最后，由置信度估计模型根据一段连续视频以及是否与预设模板匹配、是否存在甲状腺结节、结节是否为恶性的风险的模型结果，判断前述结节检测与良恶性判别的可靠性程度。
作为本申请实施例中的优选，在传输采集到的图像和患者信息时，可同时附带预设神经网络模型的相关检测结果，其包括但不限于结节位置标注、大小测量、良恶性风险预测，以供医生参考。
作为本实施例中的优选，所述预设神经网络模型包括：第一深度神经网络模型，所述超声图像包括甲状腺超声图像，采集甲状腺的不同部分以及每个部分对应的设角度的超声图像，得到至少包括预设部位和预设角度的所述甲状腺超声图像；通过所述第一深度神经网络模型，识别所述甲状腺超声图像中的背景是否与预设背景匹配，其中，所述第一深度神经网络模型为使用多组图像数据通过机器学习训练得出的，多组数据中的每组数据均包括：不同部位以及不同角度采集得到的颈部超声图像样本；如果匹配，则满足所述超声影像设备上超声探头的放置要求；如果不匹配，则不满足所述超声影像设备上超声探头的放置要求。
具体实施时，所述第一深度神经网络模型作为背景模板匹配模型。通常而言一次完整的甲状腺超声图像采集需要包括甲状腺的不同部位比如左叶、右叶、峡叶，以及不同角度比如横切、纵切。所述超声影像设备会根据预设顺序提示超声操作者进行指定部位以及角度的图像采集。
建立所述第一深度神经网络模型的作用是识别超声图像中的背景比如甲状腺边缘、气管等，并与预设的背景进行匹配，判断超声操作者是否按要求放置了超声探头。所述第一深度神经网络模型使用不同部位、角度采集的颈部超声图像训练分类模型得到。
作为本实施例中的优选，所述预设神经网络模型包括：第二深度神经网络模型，所述超声图像包括甲状腺超声图像，通过所述第二深度神经网络模型，识别所述甲状腺超声图像的单帧图像中是否存在甲状腺结节，其中所述第二深度神经网络模型为使用多组图像数据通过机器学习训练得出的，多组数据中的每组数据均包括：含有甲状腺结节以及不含甲状腺结节的甲状腺超声图像样本，所述含有甲状腺结节的甲状腺超声图像中预先标注出结节位置信息和/或结节大小信息；若检测到，则截取甲状腺结节的局部图像作为输入传送至第三深度神经网络模型。
具体实施时，所述第二深度神经网络模型是基于单帧图像的结节检测模型。该结节检测模型基于实时超声影像中的单帧图像，检测图像中是否存在甲状腺结节。若检测到模型，则截取结节局部图像，传输给第三深度神经网络模型。该模型使用含结节与不含结节的甲状腺超声图像训练检测模型得到，其中含结节的超声图像需由医生标注结节位置信息。
作为本实施例中的优选，基于所述第三深度神经网络模型接收所述第二深度神经网络模型输入的所述甲状腺结节的局部图像，识别所述甲状腺超声图像的单帧图像中是否存在恶性或者良性甲状腺结节，其中，所述第三深度神经网络模型为使用多组图像数据通过机器学习训练得出的，多组数据中的每组数据均包括：预先标注出良性以及恶性的甲状腺结节局部图像样本。
具体实施时，所述第三深度神经网络模型是基于单帧图像的良恶性判别模型，该模型接收所述第二深度神经网络模型传输的结节局部图像，基于单张结节图像判别结节的良恶性。所述第三深度神经网络模型是使用医生标注良恶性的甲状腺结节局部图片训练分类模型得到。
作为本实施例中的优选，所述预设神经网络模型还包括：第四深度神经网络模型，所述超声图像包括甲状腺超声图像，将一个预设门限时间内的连续甲状腺超声图像以及在所述预设门限时间内对甲状腺超声图像单帧图像的输出的背景模板匹配结果、单帧图像的结节检测结果、单帧图像的病灶良恶性判别结果，输入至所述第四深度神经网络模型；基于所述第四深度神经网络模型，输出所述预设门限时间内每一帧甲状腺超声图像的置信度评分，以及连续甲状腺超声图像的整体置信度。
具体实施时，所述第四深度神经网络模型于连续影像的置信度估计模型，该模型的输入为较短时间比如2至5秒内的连续影像，以及同时段内第一、第二以及第三深度神经网络模型的模型输出值，输出为同时段内每帧图像的置信度以及该段影像整体的置信度。需要注意的是，如果所述置信度高则意味着图像中包含着甲状腺结节的关键医学信息。
所述第四深度神经网络模型采用不同采集者采集的超声连续影像片段训练的预测模型得到，以专业超声医生采集的超声影像片段和截取的关键帧作为标准。
作为本实施例中的优选，如果所述连续甲状腺超声图像的整体置信度低于阈值，则通过所述超声影像设备中的提醒模块对所述连续超声图像的采集方式进行指导，以重新获取所述连续超声图像；如果所述连续甲状腺超声图像的整体置信度高于阈值，则根据每帧图像的置信度，则选择置信度最高的图片。
具体实施时，对于一组连续的图像如果其置信度都低于阈值，则需要进行重新采集。如果一组连续的图像如果其置信度整体较高且都高于阈值，表示采集的图片质量都比较高，则会选择出置信度最高的图片。
作为本实施例中的优选，所述若满足，则将第N帧图像保存之后继续判断第N+1帧图像是否同样满足采集要求，包括：若所述第N帧图像满足采集要求，则选择所述第N帧图像、所述第N+1帧图像……第N+M帧图像中图像质量符合要求的目标帧图像进行保存，并在预设时间内通过所述超声影像设备蓝牙模块或者5G模块的网络传输方式，其中M为整数。
具体实施时，如果第一深度神经网络模型的背景模板不匹配或整段连续影像置信度不达要求时，根据预设神经模型的输出情况，反馈对应情况下的操作指导信息。如果第一深度神经网络模型的背景模板匹配且整段连续影像的置信度符合要求，则预设神经模型截取置信度最高的若干帧关键图像进行保存，同时在图像上标注部分模型结果，所述标注部分包括结节位置、计算得的结节大小。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例，还提供了一种用于实施上述基于超声影像设备的超声图像采集方法的装置，如图3所示，该装置包括：
图像采集模块301，用于通过所述超声影像设备，获取连续超声图像；
神经网络模块302，用于将所述连续超声图像中的第N帧图像以及所述连续超声图像，输入至预设神经网络模型，其中所述预设神经网络模型为使用多组图像数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本超声图像、所述样本超声图像的类别标签，所述N为整数；
判断模块303，用于根据所述预设神经网络模型，判断所述第N帧图像是否满足采集要求；
指导模块304，用于在不满足时，则通过所述超声影像设备中的提醒模块对所述连续超声图像的采集方式进行指导，以重新获取所述连续超声图像；
执行模块305，用于在满足时，则将第N帧图像保存之后继续判断第N+1帧图像是否同样满足采集要求。
本申请实施例的所述图像采集模块301中超声操作者通过所述超声影像设备，获取连续超声图像。所述超声影像设备可以包括超声探头以及信号处理器，并经由信号处理器转换之后获取连续超声图像。
作为一种可选的实施方式，所述超声操作者使用所述超声影像设备前，可以先接受的标准化操作培训之后，即可进行操作。进一步，使用输入模块输入患者基本信息，启动预设检查程序。
作为一种可选的实施方式，所述超声操作者将所述超声影像设备中的超声探头置于检查对象的颈部进行探查，超声探头发射超声波，会接受人体返回的超声波转换为模拟信号；信号处理器对所述超声探头传入的模拟信号处理为数字图像信号后传输到所述超声影像设备。
本申请实施例的所述神经网络模块302中接着抽帧之后将所述连续超声图像中的第N帧图像以及所述连续超声图像，输入至预设神经网络模型。可以理解，所述预设神经网络模型为所述超声影像设备的存储器中的程序指令。
作为一种可选的实施方式，所述预设神经网络模型为使用多组图像数据通过机器学习训练得出的。优选地，所述预设神经网络模型中包括多个单独的深度神经网络模型。
作为一种可选的实施方式，多组训练数据中的每组数据均包括：样本超声图像、所述样本超声图像的类别标签，所述N为整数。所述样本超声图像通过历史数据或者提前采样获取得到。所述样本超声图像的类别标签是预先通过专业超声医生进行标注的，类别标签中包括但不限于，病灶位置以及大小。
本申请实施例的所述判断模块303中根据所述预设神经网络模型，判断所述第N帧图像是否满足采集要求。对于每一个单帧图像判断其采集是否符合预设的采集要求。
利用超声影像设备上搭载预设神经网络模型程序指令，对超声设备上的图像进行实时判断，进而可模拟专业超声医生的采集过程，并根据判断结果给予超声操作者反馈指导，并截取和保存质量较好的关键图像帧。
作为一种可选的实施方式，预设神经网络模型程序指令使用离线处理的方式，不受到网络好坏的影响。
作为一种可选的实施方式，所述超声影像设备为一体机设备或者所述超声影像设备可与智能终端连接。
本申请实施例的所述指导模块304中根据所述预设神经网络模型，判断所述第N帧图像不满足采集要求，则通过所述超声影像设备中的提醒模块对所述连续超声图像的采集方式进行指导，以重新获取所述连续超声图像。
作为一种可选的实施方式，若图片采集不符合要求，则控制所述超声影像设备的提示模块提供同步操作指导信息。
作为一种可选的实施方式，提示模块可以是视频指导或者语音指导的方式。
本申请实施例的所述执行模块305中根据所述预设神经网络模型，判断所述第N帧图像满足采集要求，则将第N帧图像保存之后继续判断第N+1帧图像是否同样满足采集要求。
作为一种可选的实施方式，如果所述第N帧图像满足于采集要求，则将第N帧图像保存之后继续判断下一帧图像是否也满足采集要求。
作为一种可选的实施方式，若图片采集符合要求，则选择最高质量(比如置信度最高)的图片保存在存储器中，并在网络良好或者空闲的时间利用所述超声影像设备中的蓝牙或5G模块进行网络传输。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
为了更好的理解上述流程，以下结合优选实施例对上述技术方案进行解释说明，但不用于限定本发明实施例的技术方案。
本申请实施例中基于超声影像设备的超声图像采集方法，可以由非专业超声医生的人员操作设备，因而患者无需前往专科医院就诊，可以在社区医院甚至在家进行超声图片采集，大大降低就医成本。大幅提升非专业超声医生操作超声设备时采集的超声图像质量。
如图4所示，是根据本申请实施例的基于超声影像设备的超声图像采集方法的流程示意图，其中包括：患者1、超声操作者2、专业超声医生3。具体实施时，可由非超声专科医生的人员即超声操作者2操作超声影像设备对患者1进行超声图像采集。并由超声影像设备内置的预设神经网络模型提供并反馈操作指导、图像筛选和标注，将筛选和标注过的具有高置信度的甲状腺结节图片经过网络传输给专业超声医生，最后由超声医生做出医学判断。
如图5所示，是根据本申请实施例的超声影像设备的结构示意图，其中，主机(含电源)内包括：超声探头501、信号处理器502、深度学习处理器503、扬声器504、显示屏505、控制芯片506以及存储单元507、蓝牙/5G模块508。
其中，所述超声探头501作为超声的产生和接收设备。所述主机(含电源)：超声设备的主要机体、以电池或外界电源的方式提供电源。所述信号处理器：将超声探头传入的模拟信号转换为数字图像数据。所述显示屏505的其中一个显示屏幕用于实时超声影像显示，将信号处理器处理后的超声图像实时显示在屏幕上。
除了上述常规的模块以外，还包括：
所述深度学习处理器503，用于将信号处理器处理后的超声图像输入预设神经网络模型，由预设神经网络模型判断当前图片是否符合采集要求，将模型判断结果输出给控制芯片506。
所述控制芯片用于根据模型判断结果，对系统硬件进行控制。若图片采集不符合要求，则控制显示屏和扬声器提供同步操作指导信息。若图片采集符合要求，则选择最高质量的图片保存在存储器中，并在恰当时间利用蓝牙或5G模块进行网络传输。
所述显示屏505的其中另一个显示屏幕用于同步操作指导显式，以视频的方式演示需要操作者进行的操作。可以理解，可以为所述超声影像设备增加一块显示屏。
所述扬声器504用于播放指导操作者的语音提示信息。
所述存储单元507用于临时保存采集到的超声图像。
所述蓝牙/5G模块508即网络传输模块，用于通过连接5G网络或以蓝牙方式连接其他网络设备，将采集到的图像及患者相关信息发送给专业超声医生。
作为本实施例中的优选，所述深度学习处理器503、所述显示屏505、所述扬声器504、所述存储单元507以及所述蓝牙/5G模块508，可以直接集成在超声设备主机内，也可通过将传统超声设备连接到其他电子设备比如手机、电脑，也可以利用其他电子设备的硬件的功能实现，比如使用手机的芯片和显示屏。
如图6所示，是根据本申请实施例的基于超声影像设备的超声图像采集方法中的预设神经网络模型的原理示意图。
以甲状腺超声图像检查为例，本申请中的方法提高超声操作者采集超声图像的图像质量，使得其达到或接近专业超声医生直接操作所采集的图像的同等水平。
对于连续的甲状腺超声图像进行抽取得到单帧图像。并使用如下的预设神经网络模型进行处理。
(1)第一神经网络模型：背景模板匹配模型
针对一次完整的甲状腺超声图像采集需要包括甲状腺的不同部位(左叶、右叶、峡叶)以及不同角度(横切、纵切)。本发明的设备会按顺序提示操作者进行指定部位和角度的图像采集。该模型的作用是识别超声图像中的背景(如甲状腺边缘、气管等)，与预设的背景进行匹配，判断操作者是否按要求放置了超声探头。该模型使用不同部位、角度采集的颈部超声图像训练分类模型得到。
(2)第二神经网络模型：基于单帧图像的结节检测模型
该模型基于实时超声影像中的单帧图像，检测图像中是否存在甲状腺结节。若检测到模型，则截取结节局部图像，传输给第三神经网络模块。该模型使用含结节与不含结节的甲状腺超声图像训练检测模型得到，其中含结节的超声图像需由医生标注结节位置信息。
(3)第三神经网络模型：基于单帧图像的良恶性判别模型，第三神经网络模型接收第二神经网络模型传输的结节局部图像，基于单张结节图像判别结节的良恶性。该模型使用医生标注良恶性的甲状腺结节局部图片训练分类模型得到。
(3)第四神经网络模型：基于连续影像的置信度估计模型，该模型的输入为2-5s时间内的连续影像，以及同时段内第一、第二、和第三神经网络的模型输出值，输出为同时段内每帧图像的置信度以及该段影像整体的置信度。置信度高意味着图像中包含着甲状腺结节的关键医学信息。该模型用不同采集者采集的超声连续影像片段训练的预测模型得到，以专业超声医生采集的超声影像片段和截取的关键帧为金标准。
若背景模板不匹配或整段连续影像置信度不达要求时，根据第四神经网络模型输出情况，反馈对应情况下的操作指导信息。
若背景模板匹配且整段连续影像的置信度符合要求，则第四神经网络模型截取置信度最高的若干帧关键图像进行保存，同时在图像上标注部分模型结果在结果中包括但不限于标注结节位置、计算得的结节大小。
本申请中的超声影像设备，可以由非专业超声医生的人员操作设备，因而患者无需前往专科医院就诊，可以在社区医院甚至在家(例如由超声操作者携带便携式超声设备前往患者家中)进行超声图片采集，大大降低就医成本。而专业超声医生可以节约超声图像采集的时间，专注于医学判断，可以大幅提高工作效率，增加医疗资源的利用效率。此外，还能够大幅提升非专业超声医生操作超声设备时采集的超声图像质量。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于超声影像设备的超声图像采集方法，其特征在于，包括：
通过所述超声影像设备，获取连续超声图像；
将所述连续超声图像中的第N帧图像以及所述连续超声图像，输入至预设神经网络模型，其中所述预设神经网络模型为使用多组图像数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本超声图像、所述样本超声图像的类别标签，所述N为整数；
根据所述预设神经网络模型，判断所述第N帧图像是否满足采集要求；
若不满足，则通过所述超声影像设备中的提醒模块对所述连续超声图像的采集方式进行指导，以重新获取所述连续超声图像；
若满足，则将第N帧图像保存之后继续判断第N+1帧图像是否同样满足采集要求。
2.根据权利要求1所述的方法，其特征在于，所述预设神经网络模型，包括：多个单个深度神经网络模型，每个所述单个深度神经网络模型用于针对预设医学场景以及医学信息训练得到，所述单个深度神经网络模型至少包括如下之一的功能：
匹配背景模板、检测单帧图像的结节、判别单帧图像的病灶良恶性、估计连续影像的置信度。
3.根据权利要求2所述的方法，其特征在于，所述预设神经网络模型包括：第一深度神经网络模型，所述超声图像包括甲状腺超声图像，
采集甲状腺的不同部分以及每个部分对应的设角度的超声图像，得到至少包括预设部位和预设角度的所述甲状腺超声图像；
通过所述第一深度神经网络模型，识别所述甲状腺超声图像中的背景是否与预设背景匹配，其中，所述第一深度神经网络模型为使用多组图像数据通过机器学习训练得出的，多组数据中的每组数据均包括：不同部位以及不同角度采集得到的颈部超声图像样本；
如果匹配，则满足所述超声影像设备上超声探头的放置要求；
如果不匹配，则不满足所述超声影像设备上超声探头的放置要求。
4.根据权利要求2所述的方法，其特征在于，所述预设神经网络模型包括：第二深度神经网络模型，所述超声图像包括甲状腺超声图像，
通过所述第二深度神经网络模型，识别所述甲状腺超声图像的单帧图像中是否存在甲状腺结节，其中所述第二深度神经网络模型为使用多组图像数据通过机器学习训练得出的，多组数据中的每组数据均包括：含有甲状腺结节以及不含甲状腺结节的甲状腺超声图像样本，所述含有甲状腺结节的甲状腺超声图像中预先标注出结节位置信息和/或结节大小信息；
若检测到，则截取甲状腺结节的局部图像作为输入传送至第三深度神经网络模型。
5.根据权利要求4所述的方法，其特征在于，
基于所述第三深度神经网络模型接收所述第二深度神经网络模型输入的所述甲状腺结节的局部图像，判别第二深度神经网络模型所识别的结节为良性结节或恶性结节，其中，所述第三深度神经网络模型为使用多组图像数据通过机器学习训练得出的，多组数据中的每组数据均包括：预先标注出良性以及恶性的甲状腺结节局部图像样本。
6.根据权利要求1所述的方法，其特征在于，所述预设神经网络模型还包括：第四深度神经网络模型，所述超声图像包括甲状腺超声图像，
将一个预设门限时间内的连续甲状腺超声图像以及在所述预设门限时间内对甲状腺超声图像单帧图像的输出的背景模板匹配结果、单帧图像的结节检测结果、单帧图像的病灶良恶性判别结果，输入至所述第四深度神经网络模型；
基于所述第四深度神经网络模型，输出所述预设门限时间内每一帧甲状腺超声图像的置信度评分，以及连续甲状腺超声图像的整体置信度。
7.根据权利要求6所述的方法，其特征在于，还包括：
如果所述连续甲状腺超声图像的整体置信度低于阈值，则通过所述超声影像设备中的提醒模块对所述连续超声图像的采集方式进行指导，以重新获取所述连续超声图像；
如果所述连续甲状腺超声图像的整体置信度高于阈值，则根据每帧图像的置信度，则选择置信度最高的图片。
8.根据权利要求1所述的方法，其特征在于，所述若满足，则将第N帧图像保存之后继续判断第N+1帧图像是否同样满足采集要求，包括：
若所述第N帧图像满足采集要求，则选择所述第N帧图像、所述第N+1帧图像……第N+M帧图像中图像质量符合要求的目标帧图像进行保存，并在预设时间内通过所述超声影像设备的通信模块进行网络传输，其中M为整数。
9.一种基于超声影像设备的超声图像采集装置，其特征在于，包括：
图像采集模块，用于通过所述超声影像设备，获取连续超声图像；
神经网络模块，用于将所述连续超声图像中的第N帧图像以及所述连续超声图像，输入至预设神经网络模型，其中所述预设神经网络模型为使用多组图像数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本超声图像、所述样本超声图像的类别标签，所述N为整数；
判断模块，用于根据所述预设神经网络模型，判断所述第N帧图像是否满足采集要求；
指导模块，用于在不满足时，则通过所述超声影像设备中的提醒模块对所述连续超声图像的采集方式进行指导，以重新获取所述连续超声图像；
执行模块，用于在满足时，则将第N帧图像保存之后继续判断第N+1帧图像是否同样满足采集要求。
10.一种超声影像设备，包括：设备本体，其特征在于，所述设备本体包括：
深度学习处理器，用于将超声图像输入预先训练的神经网络模型，并通过所述神经网络模型判断所述超声图像的采集是否符合要求；
控制器，接收所述深度学习处理器输出的判断结果，控制显示器或者存储器执行预设操作；
在所述控制器的判断结果为所述超声图像的采集不符合要求的情况下，控制所述显示器对所述连续超声图像的采集方式进行指导；
在所述控制器的判断结果为所述超声图像的采集符合要求的情况下，控制所述存储器保存所述超声图像；
无线传输模块，用于将所述超声图像通过无线通信模块进行网络传输；
语音提示模块，用于配合所述显示器对所述连续超声图像的采集方式进行指导；
超声探头，用于向用户的颈部区域发射超声波，并将接收返回的超声波转换之后得到模拟信号；
信号处理器，用于对所述超声探头传入的模拟信号转化为数字图像信号后传输到所述深度学习处理器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111246132.9A CN113842166B (zh) | 2021-10-25 | 2021-10-25 | 基于超声影像设备的超声图像采集方法以及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111246132.9A CN113842166B (zh) | 2021-10-25 | 2021-10-25 | 基于超声影像设备的超声图像采集方法以及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113842166A true CN113842166A (zh) | 2021-12-28 |
| CN113842166B CN113842166B (zh) | 2024-07-05 |
Family
ID=78982998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111246132.9A Active CN113842166B (zh) | 2021-10-25 | 2021-10-25 | 基于超声影像设备的超声图像采集方法以及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113842166B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116269507A (zh) * | 2023-05-23 | 2023-06-23 | 中日友好医院(中日友好临床医学研究所) | 高尿酸血症和痛风性肾病分类方法、装置和电子设备 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180144466A1 (en) * | 2016-11-23 | 2018-05-24 | General Electric Company | Deep learning medical systems and methods for image acquisition |
| CN109069119A (zh) * | 2016-04-26 | 2018-12-21 | 皇家飞利浦有限公司 | 用于超声胎儿成像的3d图像合成 |
| CN109447940A (zh) * | 2018-08-28 | 2019-03-08 | 天津医科大学肿瘤医院 | 卷积神经网络训练方法、超声图像识别定位方法及系统 |
| CN109671062A (zh) * | 2018-12-11 | 2019-04-23 | 成都智能迭迦科技合伙企业(有限合伙) | 超声图像检测方法、装置、电子设备及可读存储介质 |
| CN109674494A (zh) * | 2019-01-29 | 2019-04-26 | 深圳瀚维智能医疗科技有限公司 | 超声扫查实时控制方法、装置、存储介质及计算机设备 |
| CN111598875A (zh) * | 2020-05-18 | 2020-08-28 | 北京小白世纪网络科技有限公司 | 甲状腺结节自动检测模型构建方法、系统及装置 |
| CN112215842A (zh) * | 2020-11-04 | 2021-01-12 | 上海市瑞金康复医院 | 基于良性甲状腺模板的恶性结节边缘检测图像处理方法 |
| CN112294360A (zh) * | 2019-07-23 | 2021-02-02 | 深圳迈瑞生物医疗电子股份有限公司 | 一种超声成像方法及装置 |
| CN112381006A (zh) * | 2020-11-17 | 2021-02-19 | 深圳度影医疗科技有限公司 | 一种超声影像的分析方法、存储介质及终端设备 |
| CN112971844A (zh) * | 2019-12-16 | 2021-06-18 | 深圳迈瑞生物医疗电子股份有限公司 | 一种超声图像的采集质量的评估方法及超声成像设备 |
| CN113116390A (zh) * | 2019-12-31 | 2021-07-16 | 深圳迈瑞生物医疗电子股份有限公司 | 超声图像的检测方法及超声影像设备 |
| CN113299391A (zh) * | 2021-05-25 | 2021-08-24 | 李玉宏 | 远程甲状腺结节超声影像的风险评估方法 |
| CN113344864A (zh) * | 2021-05-21 | 2021-09-03 | 江苏乾君坤君智能网络科技有限公司 | 一种基于深度学习的超声甲状腺结节良恶性预测方法 |
-
2021
- 2021-10-25 CN CN202111246132.9A patent/CN113842166B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109069119A (zh) * | 2016-04-26 | 2018-12-21 | 皇家飞利浦有限公司 | 用于超声胎儿成像的3d图像合成 |
| US20180144466A1 (en) * | 2016-11-23 | 2018-05-24 | General Electric Company | Deep learning medical systems and methods for image acquisition |
| CN109447940A (zh) * | 2018-08-28 | 2019-03-08 | 天津医科大学肿瘤医院 | 卷积神经网络训练方法、超声图像识别定位方法及系统 |
| CN109671062A (zh) * | 2018-12-11 | 2019-04-23 | 成都智能迭迦科技合伙企业(有限合伙) | 超声图像检测方法、装置、电子设备及可读存储介质 |
| CN109674494A (zh) * | 2019-01-29 | 2019-04-26 | 深圳瀚维智能医疗科技有限公司 | 超声扫查实时控制方法、装置、存储介质及计算机设备 |
| CN112294360A (zh) * | 2019-07-23 | 2021-02-02 | 深圳迈瑞生物医疗电子股份有限公司 | 一种超声成像方法及装置 |
| CN112971844A (zh) * | 2019-12-16 | 2021-06-18 | 深圳迈瑞生物医疗电子股份有限公司 | 一种超声图像的采集质量的评估方法及超声成像设备 |
| CN113116390A (zh) * | 2019-12-31 | 2021-07-16 | 深圳迈瑞生物医疗电子股份有限公司 | 超声图像的检测方法及超声影像设备 |
| CN111598875A (zh) * | 2020-05-18 | 2020-08-28 | 北京小白世纪网络科技有限公司 | 甲状腺结节自动检测模型构建方法、系统及装置 |
| CN112215842A (zh) * | 2020-11-04 | 2021-01-12 | 上海市瑞金康复医院 | 基于良性甲状腺模板的恶性结节边缘检测图像处理方法 |
| CN112381006A (zh) * | 2020-11-17 | 2021-02-19 | 深圳度影医疗科技有限公司 | 一种超声影像的分析方法、存储介质及终端设备 |
| CN113344864A (zh) * | 2021-05-21 | 2021-09-03 | 江苏乾君坤君智能网络科技有限公司 | 一种基于深度学习的超声甲状腺结节良恶性预测方法 |
| CN113299391A (zh) * | 2021-05-25 | 2021-08-24 | 李玉宏 | 远程甲状腺结节超声影像的风险评估方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116269507A (zh) * | 2023-05-23 | 2023-06-23 | 中日友好医院(中日友好临床医学研究所) | 高尿酸血症和痛风性肾病分类方法、装置和电子设备 |
| CN116269507B (zh) * | 2023-05-23 | 2023-07-25 | 中日友好医院(中日友好临床医学研究所) | 高尿酸血症和痛风性肾病分类方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113842166B (zh) | 2024-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110738263B (zh) | 一种图像识别模型训练的方法、图像识别的方法及装置 | |
| CN101179997B (zh) | 对超声成像设备的触笔辅助的触摸屏控制 | |
| US20110245632A1 (en) | Medical Diagnosis Using Biometric Sensor Protocols Based on Medical Examination Attributes and Monitored Data | |
| US12070356B2 (en) | Medical imaging apparatus to automatically determine presence of an abnormality including a determination to transmit an assistance image and a classified abnormality stage | |
| EP2508116B1 (en) | Image-display device and capsule-type endoscope system | |
| US20060064321A1 (en) | Medical image management system | |
| CN110610181A (zh) | 医学影像识别方法及装置、电子设备及存储介质 | |
| US10610202B2 (en) | Ultrasonic imaging system and controlling method thereof | |
| CN116058864A (zh) | 超声数据的分类显示方法和超声成像系统 | |
| CN117618021A (zh) | 超声成像系统及相关的工作流系统和方法 | |
| CN113842166B (zh) | 基于超声影像设备的超声图像采集方法以及相关装置 | |
| CN111067569A (zh) | 一种便携式超声影像智能处理系统及其辅助分析方法 | |
| US20220172840A1 (en) | Information processing device, information processing method, and information processing system | |
| US20040225476A1 (en) | Inspection apparatus for diagnosis | |
| CN212816305U (zh) | 一种便携式超声影像智能处理系统 | |
| EP3485818B1 (en) | Ultrasound diagnosis apparatus and method of controlling the same | |
| CN113053494B (zh) | 基于人工智能的pacs系统及其设计方法 | |
| CN113223693B (zh) | 心电图机在线交互方法、心电图机、存储介质 | |
| EP4368114A1 (en) | Systems and methods for transforming ultrasound images | |
| CN114464289B (zh) | Ercp报告生成方法、装置、电子设备及计算机可读存储介质 | |
| US20220304575A1 (en) | Mobile-Powered Desktop ECG System | |
| CN118866266A (zh) | 一种基于ai技术和网络传输的超声诊断方法及系统 | |
| WO2016042146A1 (en) | A portable ultrasound system for use in veterinary applications | |
| KR20240000925A (ko) | 인코딩 동영상 획득 방법 및 디바이스 | |
| CN112687387A (zh) | 一种人工智能辅助诊断系统及诊断方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |