CN116490902A - 嵌入图像数据和元数据的方法和网络 - Google Patents
嵌入图像数据和元数据的方法和网络 Download PDFInfo
- Publication number
- CN116490902A CN116490902A CN202180076281.7A CN202180076281A CN116490902A CN 116490902 A CN116490902 A CN 116490902A CN 202180076281 A CN202180076281 A CN 202180076281A CN 116490902 A CN116490902 A CN 116490902A
- Authority
- CN
- China
- Prior art keywords
- metadata
- layer
- embedding
- image data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 11
- 238000004891 communication Methods 0.000 claims abstract description 9
- 238000003384 imaging method Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 35
- 239000013598 vector Substances 0.000 claims description 25
- 238000002059 diagnostic imaging Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 abstract description 8
- 210000000481 breast Anatomy 0.000 description 12
- 238000012549 training Methods 0.000 description 12
- 238000009607 mammography Methods 0.000 description 7
- 238000010606 normalization Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000005855 radiation Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000000762 glandular Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 208000004434 Calcinosis Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 229940005022 metadate Drugs 0.000 description 1
- JUMYIBMBTDDLNG-UHFFFAOYSA-N methylphenidate hydrochloride Chemical compound [Cl-].C=1C=CC=CC=1C(C(=O)OC)C1CCCC[NH2+]1 JUMYIBMBTDDLNG-UHFFFAOYSA-N 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
- G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
- G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明涉及嵌入来自成像和通信系统的元数据的系统和方法,其中元数据与图像数据相结合,作为深度学习网络的输入。公开了一种图像分类学习网络,其包括:输入图像数据和元数据的装置;以及包括可学习的嵌入权重的嵌入层,所述嵌入层对元数据进行编码以提供学习对象;以及分类器层,所述分类器层使用对图像数据和学习对象的组合进行分类。
Description
技术领域
本发明涉及嵌入来自图像和通信系统的元数据的系统和方法,其中元数据与图像数据相结合,作为深度学习网络的输入。
背景技术
在医学影像学中,根据临床接受的分类系统对图像进行分类有助于诊断和评估疾病的风险。
例如,乳房成像报告和数据系统通过对乳房中衰减组织体积的总体评估来对乳房X光照片进行分类,以帮助指示病变可能被组织掩盖的相对可能性,并指示检查的敏感性是否可能受到损害,例如被纤维腺状乳腺组织的存在损害。BI-RADS系统将乳房组织组分分为四类:
(a)乳房几乎完全是脂肪,其表明除非含有癌症的区域不包括在乳房X光检查的图像范围内,否则乳房X光检查在这种情况下是高度敏感的;
(b)其中有分散的纤维腺密度区;
(c)其中乳房密度不均,这可能掩盖小肿块。这一类可以详细阐述,即描述致密组织的位置,其中小的非钙化病变可能被掩盖;
(d)其中乳房非常致密,并且乳房X光检查的灵敏度很低。
在成像条件和物理参数不同的情况下,不同制造商和模式的医学图像(X射线)可能不一致。例如,在乳房X线摄影术中,断层合成需要更高的千伏峰值(kvp),并且断层合成图像显示的乳腺组织密度比传统乳房X线摄影术低。
此外,分类系统往往依赖于视觉评估,因此存在观察者内部和观察者之间的差异,特别是在相邻的分类类别之间。
相比之下,经过训练的深度学习网络可以产生客观和一致的读数。深度学习网络训练深度学习模型,以使用标记的实力来识别定义的“目标”类:以医学图像为输入,经过层层数学运算,网络输出图像或图像特征可能属于的分类类别的概率。为了减轻X射线图像作为输入的变化,输入图像被标准化。
标准化是改变像素强度值范围的过程,通常是为了将图像(或其他类型的信号)带入指定范围,从而实现数据集的一致性。这种标准化是具有挑战性的:例如,像素可能在对比度调整后饱和,使得例如在不同组分的医学成像组织中共享相同的像素强度。再次参考乳房X线摄影,标准化后,纤维腺乳腺组织和高度衰减的物体(如钙化)可能具有相同的像素强度范围。标准化图像也可以显示不同X射线成像条件下的差异,例如有和没有反分散网格的成像。
术语“元数据”是指任何数值和分类数据:例如,在医学成像中,图像存储为对象。DICOM(医学数字成像和通信)是一个国际标准,用于各种成像方式(放射摄影、超声成像、计算机断层扫描、磁共振成像和放射治疗)的医学成像信息的通信、交换、传输和管理。DICOM文件包含的元数据提供了乳房X线摄影图像数据的大小、尺寸、位深度、模态和设备设置等信息,DICOM图像元数据包括压缩力、kvp、半值层(用于计算平均腺体辐射剂量/辐射风险的HVL)、乳房压缩厚度和物理参数的元数据。
发明内容
根据本发明的一个方面,有一种图像分类学习网络,其包括:输入图像数据和元数据的装置;以及包括可学习嵌入权的嵌入层,嵌入层编码或调制元数据以提供学习对象;以及分类器层,分类器层对图像数据和学习对象的组合进行分类。
在训练阶段,网络学习原始图像数据和元数据之间的相关性,从而不再需要图像预标准化阶段。
这介绍了一种嵌入元数据并将其与图像数据结合作为深度学习网络的输入的方法,其中在训练阶段,网络学习原始图像数据和元数据之间的相关性,使得不需要图像预标准化。因此,克服了图像预标准化的挑战。嵌入网络学习原始图像和元数据之间的相关性,然后隐式地将图像自动标准化。
嵌入层优选产生:嵌入权重的应用;通过全连通层回归;以及重塑为目标尺寸。
输入装置可以配置为从对象中提取图像数据和/或元数据,该对象由国际标准定义,用于跨各种成像模式的医学成像信息的通信、交换、传输和管理。这是可以调整的。例如,一个方面可以是一种图像分类学习网络,其包括:输入图像数据的装置和输入关于图像数据的数字和分类数据的装置,数据包括大小、尺寸、位深度、模态和/或设备设置;以及包括可学习嵌入权重的嵌入层,嵌入层对元数据进行编码以提供学习对象;以及分类器层,分类器层对图像数据和学习对象的组合进行分类。数字和分类数据可能包括DICOM图像元数据,如压缩力、kvp、半值层(用于计算平均腺体辐射剂量/辐射风险的HVL)、乳房压缩厚度和/或物理参数元数据。因此,图像分类学习网络可能适用于医学成像。
嵌入层可以包括神经元的连接层,神经元的连接层在与元数据编码时回归包括可学习嵌入权重的嵌入矩阵。嵌入矩阵可以连接到神经元的全连接层。
嵌入层可以包括元数据的元数据向量的乘法运算,乘法运算包括乘以权重矩阵,权重矩阵包括可学习的嵌入权重,以创建嵌入矩阵。权重矩阵可以包含可学习的嵌入权重的一行,以对元数据的所有元素进行相等的加权。权重矩阵可以包括等于元数据的若干个元素的若干行,以分别对元数据的元素进行加权。可学习的嵌入权重的数量可以由用户选择,以影响分类的准确性。
图像分类卷积网络可以包括卷积层,卷积层配置为在与图像数据连接时对嵌入层提供的学习对象进行卷积。卷积层可以位于将图像数据与学习对象结合的连接层后。
图像分类卷积网络可以包括卷积层,卷积层配置为提供与来自嵌入层的学习对象进一步连接的卷积图像数据。卷积层配置为提供将与学习对象连接的卷积图像数据。卷积层可以位于连接层之前,连接层将卷积层所卷积的图像数据与学习对象结合。
从图像数据和/或学习对象中提取的图像特征可以通过分类器层与相应的类相关联。分类器层可以提供一个特征属于一个类的概率。分类器层可以配置为提供分类类别表征来自图像数据和元数据的图像或特征的概率。
根据本发明的第二方面,有一种图像分类学习方法,其包括:从标准化传输或存储中输入图像数据和元数据;将元数据传输到嵌入层,其中可学习的嵌入权重对元数据进行编码或调制以提供学习对象;以及使用分类器层对图像数据和学习对象的组合进行分类。
在学习阶段,嵌入权重可以自发更新。这些嵌入权重可以将元数据转换为将图像与所针对的分类类别相关联的编码,或提高实现所针对的分类类别的概率。可学习的嵌入权重可以与元数据调制以提供学习对象。
现在仅以示例的方式,参考附图描述本发明,其中:
附图说明
图1显示了深度学习网络中图像分类的标准工作流程;
图2显示了采用原始图像数据和元数据的网络的建议的结构;
图3显示了元数据向量、可学习的嵌入权重m×n和嵌入矩阵m×n;
图4显示了连接到全连接层的嵌入矩阵m×n;
图5显示了嵌入层的三个组成部分;
图6显示了嵌入权重矩阵的简化计算;
图7显示了采用原始图像数据和元数据的网络的第二个建议的结构,以及
图8显示了采用原始图像数据和元数据的网络的第三个建议的结构。
具体实施方式
如图1所示,其中一个输入是224×224×1的图像,其中最后一个维数表示灰度单通道图像。深度学习网络的最终输出层执行多类分类。输出层是一个分类器函数,它将提取的图像特征映射到具有若干类元素的向量。元素的索引表示类,元素值是图像所属类的概率。图中“卷积(conv)”表示卷积(convolution),“连接(concat)”表示连接(concatenation)。
一个图像分类学习网络如图2所示。图像分类和学习网络包括输入图像数据和元数据的装置。图像分类和学习网络还包括嵌入层,嵌入层包括可学习的嵌入权重的,以编码或调制元数据以提供学习对象。有一个分类器层用于对图像数据和学习对象的组合进行分类。这种类型的图像分类学习网络如图7和图8所示。
在图2所示的图像分类学习网络中,卷积层位于连接层之后。连接层将图像数据与来自嵌入层的学习对象结合起来。卷积层对嵌入层中与图像数据连接的学习对象进行卷积。
如图2所示,网络同时获取原始图像数据和元数据。嵌入层将元数据编码为224×224×1矩阵;连接(合并)层沿着通道将图像数据和嵌入矩阵组合在一起。嵌入层包含权重矩阵和全连接层。嵌入层首先将具有权重矩阵的元数据向量嵌入到一个嵌入矩阵中,再由全连通层将其回归到一个指定大小的向量中,从而对其进行重构,使其与图像数据的维数相匹配。例如,全连接层有50176(=224×224×1)个神经元,输出是50176个元素的回归向量,可以将其重塑为224×224×1,以匹配图像数据维数。
在图7和图8所示的图像分类学习网络中,卷积层位于连接层之前。卷积层对图像数据进行卷积以提供卷积图像数据。连接层将卷积图像数据与来自嵌入层的学习对象进行连接。
更一般地,假设元数据向量有m个元素,嵌入维数为n,则可以随机初始化嵌入权重矩阵m×n。矩阵元素在训练中是可学习的。一旦网络被训练,元数据向量中的每个元素都可以通过将所述元素与相应的嵌入权重行相乘来表示为特征向量。
有一种方法可以嵌入元数据,并将其与图像数据结合起来,作为深度学习网络的输入,其中在训练阶段,网络学习原始图像数据和元数据之间的相关性,使得不需要对图像进行预标准化,其步骤为:
嵌入网络
参考图1,输入是224×224×1的标准化图像,其中最后一个维数表示灰度单通道图像。分类器层的输出是图像所属类别的概率。
图2表示了采用原始图像数据和元数据的网络的建议的结构。假设有m个元数据点,嵌入层将这些数据编码成一个224×224×1的矩阵。
连接(concat)层沿着通道将图像数据和嵌入矩阵组合在一起。剩余的网络结构不变。
嵌入层
嵌入层包括嵌入权重矩阵和全连接层。嵌入层将元数据向量嵌入到嵌入矩阵中,并且全连接层将嵌入矩阵回归到所需大小的向量,从而可以对其进行重塑以匹配图像数据的维数。更具体地,参照图3,假设元数据向量有m个元素,嵌入维数为n:其中嵌入权矩阵m×n是随机初始化的,并且在训练时是可学习的。一旦网络被训练,元数据向量中的每个元素都可以通过将所述元素与相应的嵌入权重的行相乘来表示为特征向量。
然后将嵌入矩阵传递到全连接层,其例如具有50176(=224×224×1)个神经元。输出是有50176个元素的回归向量,其进一步重塑为224×224×1,以匹配如图4所示的图像数据维数。
因此,嵌入层实现三种操作:嵌入权重的应用;通过全连通层回归;以及重塑为目标维数,如图5所示。
通过举例说明,我们从分类项目中获取多达50000张图像和相关的单个图像BI-RADS。我们将其分为训练、验证和测试,分别占80%、10%和10%。原始图像数据从DICOM对象中提取,并进一步调整大小为224×224×1。元数据为kvp、乳房容积、HVL、压缩力。为了快速训练,将嵌入维数n设置为20。嵌入层中可训练的总参数为:
嵌入权重(20×4)+全连接权重(50176×80)+全连接偏差(50176×1)=4064336
经过20个小时的训练,该模型在测试数据上产生了75%的准确率。性能相当于在标准化图像上训练的深度学习模型(如图1所示)。
因此,在测试的示例中,嵌入层从嵌入权重和全连接层引入了许多可训练参数,使用训练样本,最多可超过50000张图像。
因此,嵌入网络学习原始图像和元数据之间的相关性,然后隐式地将图像自主标准化。
通过对权重矩阵的修改,简化了嵌入矩阵的计算。图6显示了通过简化的嵌入权重向量计算嵌入矩阵的另一种方法。如图6所示,权重矩阵有嵌入权重的单一行。这可以与如图3所示的嵌入层的一部分进行比较,其中权重矩阵具有嵌入权重的m行。在这里,嵌入权重的数量与元日期向量的大小无关。使用列向元数据向量x1,x2,…xm和行向嵌入权向量w1,w2,…,wn。矩阵乘法运算得到一个m×n嵌入矩阵,其中它的元素:
Eij=xi*wj,i=1…m,j=1…n。
嵌入权重的数量可以从m×n减少到n。换句话说,元数据使用长度为n的单个嵌入权重向量进行编码,而不是使用每个长度为n的m个向量。
这种简化的优点是,训练速度大大提高,保持了74%左右的测试精度,同时降低了训练成本。
通过修改嵌入层相对于卷积层的位置,可以提高学习时间和分类精度。嵌入层可以放置在较早的卷积之后,该卷积可以是网络的第一次卷积。如图7所示,可以与图2进行比较。在卷积(Conv)层块中,假设32个尺寸为3×3的过滤器,具有步幅(stride)[2,2]。卷积后的图像尺寸为112×112×32,其是原始图像的一半大小。因此,元数据向量被嵌入到更小的尺寸(112×112×1,而不是图2中的224×224×1)。因此,在全连接层中需要更少的神经元,进一步降低了训练成本。
在分类网络中,层激活的大小(行数和列数)通常会随着通道的增加而减小。例如,使用Mobilenetv2这样的深度卷积神经网络,输入图像为224×224×1,第一次卷积后的激活为112×112×32。最后一次卷积后的激活变成了7×7×1280。
如图8所示,在最后一次卷积后对嵌入层进行连接时,假设嵌入维数为20,元数据大小为4,那么在嵌入层中,全连接层的权重数为7×7×80=3920,偏差数为7×7=49。如果在网络最开始将嵌入层与输入图像(如图2)连接,则嵌入层中全连接层的权重值和偏差值分别为224×224×80=50176×80=4014080和50176。
本发明仅通过示例的方式进行了描述,修改和替代对于本领域技术人员将是明显的。所有这些实施例和修改旨在落在权利要求的范围内。
Claims (14)
1.一种图像分类学习网络包括,包括:输入图像数据和元数据的装置;以及包括可学习的嵌入权重的嵌入层,以对所述元数据进行编码以提供学习对象;以及包括对所述图像数据和所述学习对象的组合进行分类的分类器层。
2.根据权利要求1所述的图像分类学习网络,其中所述嵌入层包括神经元的全连接层,以在与所述元数据编码时回归包括所述可学习嵌入权重的嵌入矩阵。
3.根据权利要求2所述的图像分类学习网络,其中所述嵌入矩阵与所述神经元的全连接层连接。
4.根据权利要求1所述的图像分类学习网络,其中所述嵌入层包括元数据向量的乘法运算,元数据向量的乘法运算包括元数据乘以包括所述可学习的嵌入权重的权重矩阵,以创建所述嵌入矩阵。
5.根据权利要求4所述的图像分类学习网络,其中所述权重矩阵包括所述可学习的嵌入权重的一行,以对所述元数据的所有元素进行相等的加权。
6.根据权利要求4所述的图像分类学习网络,其中所述权重矩阵包括若干个等于所述元数据的若干个元素的行,以分别对所述元数据的所述元素进行加权。
7.根据权利要求1所述的图像分类学习网络,其中所述可学习的嵌入权重的数量可以由用户选择以影响分类的准确性。
8.根据权利要求1所述的图像分类学习网络,包括卷积层,所述卷积层配置为在与所述图像数据连接时对所述嵌入层提供的所述学习对象进行卷积。
9.根据权利要求1所述的图像分类网络,包括卷积层,所述卷积层位于将所述图像数据与所述学习对象组合的连接层后。
10.根据权利要求1所述的图像分类学习网络,包括卷积层,所述卷积层配置为提供卷积图像数据,所述卷积图像数据与来自所述嵌入层的所述学习对象进一步连接。
11.根据权利要求1所述的图像分类学习网络,包括卷积层,所述卷积层位于连接层之前,所述连接层将由所述卷积层卷积的所述图像数据与所述学习对象结合。
12.根据权利要求1所述的图像分类学习网络,其中所述输入装置配置为从对象中提取所述图像数据和/或所述元数据,所述/>对象由国际标准定义,用于跨各种成像模式的医学成像信息的通信、交换、传输和管理。
13.根据权利要求1所述的图像分类学习网络,其中所述分类器层配置为提供分类类别从所述图像数据和所述元数据中表征图像或特征的概率。
14.一种图像分类学习方法,包括:从标准化传输或存储中输入图像数据和元数据;将所述元数据传输到嵌入层,其中可学习的嵌入权重对所述元数据进行编码以提供学习对象;以及使用分类器层对所述图像数据和所述学习对象的组合进行分类。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GBGB2017851.3A GB202017851D0 (en) | 2020-11-12 | 2020-11-12 | Method and system to embed imaging and coomunication meta data in a deep learning network |
GB2017851.3 | 2020-11-12 | ||
PCT/IB2021/060509 WO2022101845A1 (en) | 2020-11-12 | 2021-11-12 | Method and network to embed image data and meta data |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116490902A true CN116490902A (zh) | 2023-07-25 |
Family
ID=74046664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180076281.7A Pending CN116490902A (zh) | 2020-11-12 | 2021-11-12 | 嵌入图像数据和元数据的方法和网络 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230410471A1 (zh) |
EP (1) | EP4244823A1 (zh) |
CN (1) | CN116490902A (zh) |
GB (1) | GB202017851D0 (zh) |
WO (1) | WO2022101845A1 (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180350459A1 (en) * | 2017-06-05 | 2018-12-06 | University Of Florida Research Foundation, Inc. | Methods and apparatuses for implementing a semantically and visually interpretable medical diagnosis network |
US10755099B2 (en) * | 2018-11-13 | 2020-08-25 | Adobe Inc. | Object detection in images |
US10817713B2 (en) * | 2018-11-15 | 2020-10-27 | Adobe Inc. | Generating modified digital images utilizing a multimodal selection model based on verbal and gesture input |
US11423538B2 (en) * | 2019-04-16 | 2022-08-23 | Covera Health | Computer-implemented machine learning for detection and statistical analysis of errors by healthcare providers |
-
2020
- 2020-11-12 GB GBGB2017851.3A patent/GB202017851D0/en not_active Ceased
-
2021
- 2021-11-12 US US18/031,850 patent/US20230410471A1/en active Pending
- 2021-11-12 EP EP21815672.7A patent/EP4244823A1/en active Pending
- 2021-11-12 CN CN202180076281.7A patent/CN116490902A/zh active Pending
- 2021-11-12 WO PCT/IB2021/060509 patent/WO2022101845A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
GB202017851D0 (en) | 2020-12-30 |
US20230410471A1 (en) | 2023-12-21 |
WO2022101845A1 (en) | 2022-05-19 |
EP4244823A1 (en) | 2023-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11106950B2 (en) | Multi-modal medical image processing | |
EP3751516B1 (en) | Autonomous multidimensional segmentation of anatomical structures on three-dimensional medical imaging | |
KR102215805B1 (ko) | 딥러닝 기술을 통한 흉부 물질 분리 영상 획득 방법 및 시스템 | |
EP3973539A1 (en) | System and method for interpretation of multiple medical images using deep learning | |
CN113850753B (zh) | 医学图像信息计算方法、装置、边缘计算设备和存储介质 | |
Lee et al. | Practical window setting optimization for medical image deep learning | |
JP7256765B2 (ja) | 医用撮像装置、医用画像処理装置、及び、画像処理プログラム | |
WO2022059315A1 (ja) | 画像符号化装置、方法およびプログラム、画像復号化装置、方法およびプログラム、画像処理装置、学習装置、方法およびプログラム、並びに類似画像検索装置、方法およびプログラム | |
CN112365512A (zh) | 训练图像分割模型的方法、图像分割的方法及其装置 | |
CN116490902A (zh) | 嵌入图像数据和元数据的方法和网络 | |
KR20210001233A (ko) | 혈관 세그멘테이션 방법 | |
CN115937081A (zh) | 用于个性化疗法的成像和临床数据的多模态分析 | |
Deshpande et al. | Report on the AAPM Grand Challenge on deep generative modeling for learning medical image statistics | |
US20240185417A1 (en) | Systems and methods for processing mammography images | |
CN112884759B (zh) | 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置 | |
Chen | Synthesizing a complete tomographic study with nodules from multiple radiograph views via deep generative models | |
EP4202955A1 (en) | A system and method for processing medical images | |
EP4104767A1 (en) | Controlling an alert signal for spectral computed tomography imaging | |
KR20230108213A (ko) | 인공지능 모델에 기반하여 석회화에 대한 진단을 보조하기 위한 방법 및 장치 | |
KR20240051159A (ko) | 의료 이미지 변환을 위한 시스템 및 방법 | |
EMMANUEL | EARLY BREAST CANCER DETECTION USING CONVOLUTIONAL NEURAL NETWORKS | |
Hurtado Eguez | Multiclass Bone Segmentation of PET/CT Scans for Automatic SUV Extraction | |
Risha et al. | Medical Image Synthesis using Generative Adversarial Network | |
Barbero-Gómez | Deep learning techniques for ordinal spatial data and applications in medical imaging | |
CN117766123A (zh) | 基于ct影像组学特征序列的辅助诊断方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |