CN109727663A - 生成用于图像处理的神经网络模型的系统和方法 - Google Patents
生成用于图像处理的神经网络模型的系统和方法 Download PDFInfo
- Publication number
- CN109727663A CN109727663A CN201811625331.9A CN201811625331A CN109727663A CN 109727663 A CN109727663 A CN 109727663A CN 201811625331 A CN201811625331 A CN 201811625331A CN 109727663 A CN109727663 A CN 109727663A
- Authority
- CN
- China
- Prior art keywords
- network model
- image
- client
- training
- initial pictures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 125
- 238000003062 neural network model Methods 0.000 title claims abstract description 124
- 238000012549 training Methods 0.000 claims abstract description 165
- 210000005036 nerve Anatomy 0.000 claims abstract description 115
- 238000012360 testing method Methods 0.000 claims description 146
- 238000012545 processing Methods 0.000 claims description 126
- 238000003860 storage Methods 0.000 claims description 55
- 238000011156 evaluation Methods 0.000 claims description 53
- 230000004044 response Effects 0.000 claims description 31
- 230000009467 reduction Effects 0.000 claims description 28
- 238000004891 communication Methods 0.000 claims description 16
- 238000002059 diagnostic imaging Methods 0.000 claims description 8
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 230000001737 promoting effect Effects 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 45
- 238000004422 calculation algorithm Methods 0.000 description 37
- 230000015654 memory Effects 0.000 description 37
- 230000006870 function Effects 0.000 description 19
- 238000013528 artificial neural network Methods 0.000 description 14
- 238000012986 modification Methods 0.000 description 14
- 230000004048 modification Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 238000000429 assembly Methods 0.000 description 5
- 230000000712 assembly Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 210000004218 nerve net Anatomy 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 102000006822 Agouti Signaling Protein Human genes 0.000 description 2
- 108010072151 Agouti Signaling Protein Proteins 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000256844 Apis mellifera Species 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 102000011990 Sirtuin Human genes 0.000 description 1
- 108050002485 Sirtuin Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000007669 thermal treatment Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/098—Distributed learning, e.g. federated learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本申请涉及用于通过与至少一个客户端交互来生成用于图像处理的神经网络模型的系统和方法。该方法可以包括通过网络从所述至少一个客户端接收至少两个第一训练样本。该方法还可以包括基于所述至少两个第一训练样本训练第一神经网络模型以生成第二神经网络模型。该方法还可以包括通过网络将所述第二神经网络模型发送到所述至少一个客户端。
Description
优先权信息
本本申请要求于2018年9月30日提交的申请号为PCT/CN2018/109135的国际申请的优先权,其全部内容通过引用方式被包含于此。
的国际申请的优先权,其全部内容通过引用方式被包含于此。
技术领域
本申请一般涉及医学图像处理,更具体地,涉及确定用于图像处理的神经网络模型的系统和方法。
背景技术
医学成像系统,例如计算机断层摄影系统、正电子发射断层摄影系统、磁共振成像系统,通常用于临床检查和医学诊断。医学成像系统可以扫描对象以生成扫描数据,并且进一步基于扫描数据重建一个或以上图像。重建的图像可以进行进一步的处理。重建图像的处理可以包括图像降噪、图像增强、图像超分辨处理、图像伪影去除等。通常,重建图像的处理可以由客户端(例如,计算机)执行。如今,随着机器学习的发展,可以使用训练后的神经网络模型处理重建图像。可以由客户端通过训练神经网络模型生成和/或更新训练后的神经网络模型。然而,训练和/或更新神经网络模型可能需要强大的计算能力,如果在客户端训练神经网络模型,则可能占用客户端上的大量计算资源(例如,中央处理器)。因此,期望提供一种用于训练神经网络模型的方法和系统,该方法和系统不占用或占用较少的客户端计算资源。
发明内容
根据本申请的一个方面,提供了一种用于通过与至少一个客户端交互来生成用于图像处理的神经网络模型的系统。所述系统可以包括网络被配置为促进所述系统中的至少一个服务器设备和所述至少一个客户端的通信。所述至少一个服务器设备包括至少一个处理器和存储一组指令的至少一个存储设备,所述至少一个处理器与所述至少一个存储设备通信。当执行可执行指令时,所述可执行指令可以使系统实现方法。所述方法可以包括经由网络从所述至少一个客户端接收至少两个第一训练样本。所述方法还可以包括基于所述至少两个第一训练样本训练第一神经网络模型以生成第二神经网络模型。所述方法还可以包括经由网络将所述第二神经网络模型发送到至少一个客户端。
在一些实施例中,所述至少两个第一训练样本中的每一个可以包括第一初始图像和与关于所述第一初始图像的第一处理后图像,所述第一处理后图像由所述至少一个客户端通过处理所述第一初始图像生成。
在一些实施例中,所述第一处理后图像可以由所述至少一个客户端通过使用第三神经网络模型处理所述第一初始图像来生成。
在一些实施例中,所述至少两个第一训练样本中的每一个可以包括第一初始图像,并且基于所述至少两个第一训练样本训练第一神经网络模型,所述至少一个处理器可以进一步被配置为使系统为所述至少两个第一训练样本的每一个,所述处理第一初始图像以获得第一处理后图像,并且基于所述至少两个第一训练样本和分别对应于所述至少两个第一训练样本的至少两个第一处理后图像训练第一神经网络模型。
在一些实施例中,所述至少一个处理器还被配置为使得系统通过所述网络从所述至少一个客户端接收所述第二神经网络模型的第一测试结果,并且响应于确定所述第一测试结果满足第一条件,确定所述第二神经网络模型作为用于图像目标神经网络模型处理。
在一些实施例中,所述第二神经网络模型的所述第一测试结果可以包括所述第二神经网络模型的评价分数,并且所述至少一个处理器还被配置为使所述系统确定所述第二神经网络模型的所述评价分数是否大于阈值,并且响应于确定所述第二神经网络模型的所述评价分数大于所述阈值确定所述第一测试结果满足所述第一条件。
在一些实施例中,所述第二神经网络模型的所述评价分数可以通过根据与一个或以上质量参数相关的所述一个或以上测试图像中的每一个评估一个或以上第一测试图像来确定。所述一个或以上测试图像可以由所述至少一个客户端通过使用所述第二神经网络模型处理一个或以上第二初始图像来生成,并且所述一个或以上质量参数可以包括噪声水平、分辨率、对比度或伪影水平中的至少一个。
在一些实施例中,可以由所述至少一个客户端使用层次分析处理(AHP)来评估与所述一个或以上测试图像有关的所述一个或以上质量参数。
在一些实施例中,所述至少一个处理器可以进一步被配置为使所述系统经由所述网络从所述至少一个客户端接收所述一个或以上第二初始图像和所述一个或以上测试图像,响应于所述确定的所述测试结果满足所述第一条件,并用所述接收到的一个或以上第二初始图像和所述一个或以上测试图像更新所述至少两个第一训练样本。
在一些实施例中,所述至少一个处理器可以进一步被配置为使所述系统响应于确定所述第一测试结果不满足所述第一条件,确定所述第一神经网络模型作为用于图像处理的所述目标神经网络模型。
在一些实施例中,所述至少一个处理器可以进一步被配置为使所述系统通过所述网络将所述目标神经网络模型发送到所述至少一个客户端。
在一些实施例中,所述至少一个处理器可以进一步被配置为使所述系统从所述至少一个客户端获得所述目标神经网络模型的第二测试结果,基于所述第二测试结果确定所述目标神经网络模型是否需要更新,使用至少两个第二训练样本训练所述目标神经网络模型以获得训练目标神经网络模型响应于确定的所述目标神经网络模型的所述第二测试结果不满足第二条件。
在一些实施例中,所述至少一个处理器还被配置为使所述系统周期性地获得所述目标神经网络模型的所述第二测试结果,或者响应于更新所述至少一个客户端接收的所述目标神经网络模型的请求,获取所述目标神经网络模型响应的所述第二测试结果。
在一些实施例中,用于图像处理的所述目标神经网络模型可以用于图像降噪、图像增强、图像超分辨处理、图像伪影去除、图像诊断或图像识别中的至少一个。
在一些实施例中,所述系统还可以包括分布式连接到所述网络的至少两个服务器设备。所述至少两个服务器设备的每一个可以被配置为提供用于图像处理的相应神经网络模型,包括图像降噪、图像增强、图像超分辨处理、图像伪影去除、图像诊断或图像识别中的至少一个。
根据本申请的另一方面,提供了一种生成用于图像处理的神经网络模型的系统。所述系统可以包括至少一个客户端、至少一个服务器。网络被配置为促进所述系统中的所述至少一个客户端和所述至少一个服务器设备之间的通信。所述至少一个服务器设备可以包括至少一个处理器和存储一组指令的至少一个存储设备,所述至少一个处理器与所述至少一个存储设备通信。当执行可执行指令时,所述可执行指令可以使所述系统实现方法。所述方法可以包括由所述至少一个处理器从所述至少一个客户端接收至少两个第一训练样本。所述方法还可以包括由所述至少一个处理器使用所述至少两个第一训练样本训练第一神经网络模型来生成第二神经网络模型,并且通过所述至少一个处理器将所述第二神经网络模型发送到所述至少一个客户端。所述方法还可以包括由所述至少一个客户端接生成接收来自所述至少一个服务器设备的所述第二神经网络模型的所述第一测试结果,并且响应于确定所述第一测试结果满足第一条件,由所述至少一个处理器确定所述第二神经网络模型作为用于图像处理的目标神经网络模型。
根据本申请的另一方面,提供了一种用于通过与至少一个客户端交互来生成用于图像处理的神经网络模型的方法。所述方法可以在具有一个或以上处理器和计算机可读存储介质的计算设备上实现。所述方法可以包括经由网络从所述至少一个客户端接收至少两个第一训练样本。所述方法还可以包括基于所述至少两个第一训练样本训练第一神经网络模型以生成第二神经网络模型。所述方法还可以包括经由所述网络将所述第二神经网络模型发送到所述至少一个客户端。
根据本申请的另一方面,一种非暂时性计算机可读介质,可以包括指令。当由所述至少一个处理器执行所述指令时,所述指令可以使所述至少一个处理器实现方法。所述方法可以在具有一个或以上处理器和计算机可读存储介质的计算设备上实现。所述方法可以包括经由网络从所述至少一个客户端接收至少两个第一训练样本。所述方法还可以包括基于所述至少两个第一训练样本训练第一神经网络模型以生成第二神经网络模型。所述方法还可以包括经由所述网络将所述第二神经网络模型发送到所述至少一个客户端。
根据本申请的另一方面,提供了一种生成用于图像处理的神经网络模型的方法。所述方法可以在包括具有一个或以上处理器和计算机可读存储介质的计算设备和至少一个客户端的系统上实现。所述方法可以包括由所述至少一个处理器从所述至少一个客户端接收至少两个第一训练样本。所述方法还可以包括由所述至少一个处理器使用所述至少两个第一训练样本训练第一神经网络模型来生成第二神经网络模型,并且由所述至少一个处理器将所述第二神经网络模型发送到所述至少一个客户端。所述方法还可以包括由所述至少一个客户端生成从所述至少一个服务器设备接收的所述第二神经网络模型的第一测试结果,并且响应于确定所述第一测试结果满足所述第一条件,由所述至少一个处理器确定所述第二神经网络模型作为用于图像处理的所述目标神经网络模型。
根据本申请的另一方面,一种可以包括指令的非暂时性计算机可读介质。当由至少一个处理器执行时,所述执行可以使所述至少一个处理器实现方法。所述方法可以包括由所述至少一个处理器从所述至少一个客户端接收至少两个第一训练样本。所述方法还可以包括由所述至少一个处理器使用所述至少两个第一训练样本训练第一神经网络模型来生成第二神经网络模型,并且由所述至少一个处理器将所述第二神经网络模型发送到所述至少一个客户端。所述方法还可以包括由所述至少一个客户端生成接收来自所述至少一个服务器设备的所述第二神经网络模型的第一测试结果,并且响应于确定所述第一测试结果满足第一条件,由所述至少一个处理器确定所述第二神经网络模型作为用于图像处理的目标神经网络模型。
与现有技术相比,本发明的有益效果表现如下:在本申请中,目标神经网络模型可以通过服务器设备生成,并且可以通过客户端进行测试。服务器设备可以具有比客户端更强的计算能力,这可以缩短训练目标神经网络模型的时间,并且可以不需要占用客户端的计算资源(例如,中央处理器)。
本申请的一部分附加特征可以在下面的描述中进行说明,通过对以下描述和相应附图的检查或者对实施例的生产或操作的了解,本申请的一部分附加特征对于本领域技术人员来说是显而易见的。本申请的特征可以通过实践或使用以下描述的具体实施例的方法、手段和组合的各种方面来实现和达成。
附图说明
本申请将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。附图不按比例绘制。这些实施例并非限制性的示例性实施例,在图示多种试图下的实施例中,相同的符号表示相同的部件,其中:
图1A是根据本申请的一些实施例所示的示例性医疗系统的示意图;
图1B是根据本申请的一些实施例所示的示例性医疗系统的示意图;
图2是根据本申请的一些实施例所示的计算设备的示例性硬件和/或软件组件的示意图;
图3是根据本申请的一些实施例所示的移动设备的示例性硬件组件和/或软件组件的示意图;
图4是根据本申请的一些实施例所示的示例性处理设备的框图;
图5是说明根据本申请的一些实施例所示的用于确定用于图像处理的神经网络模型的示例性过程的流程图。
图6是说明根据本申请的一些实施例所示的示例性服务器设备的框图。
图7是根据本申请的一些实施例所示的用于确定训练样本的示例性过程的流程图;以及
图8是根据本申请的一些实施例所示的用于测试神经网络模型的示例性过程的流程图。
具体实施方式
为了更清楚地说明本申请的实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。然而,本领域技术人员应该明白,可以在没有这些细节的情况下实施本申请。在其他情况下,为了避免不必要地模糊本申请的一些方面,本申请已经以相对高级的描述了公知的方法、程序、系统、组件和/或电路。对于本领域的普通技术人员来讲,对本申请披露的实施例作出的各种修改是显而易见的,并且在不背离本申请的精神和范围的情况下,本申请中所定义的普遍原则可以适用于其他实施例和应用场景。因此,本申请不限于所示的实施例,而是符合与权利要求一致的最广泛范围。
本申请中所使用的术语仅用于描述特定的示例性实施例,并不限制本申请的范围。如本申请使用的单数形式“一”、“一个”及“所述”可以同样包括复数形式,除非上下文明确提示例外情形。还应当理解的是,如在本申请说明书中,本申请中使用的术语“包括”、“包含”仅提示已明确标识的特征、整体、步骤、操作、组件和/或部件,而并不排除存在或添加其他一个或以上特征、整体、步骤、操作、组件、部件和/或其组合。
应当理解的是,上下文中描述的术语“系统”、“单元”、“模块”和/或“引擎”,用于区分不同级别的部件、元件、组件、部件或装配。但是,如果这些术语达到同样的目的,则可以用另一个术语所取代。
通常,这里使用的术语“模块”、“单元”或“块”是指逻辑上包含在硬件或固件中、或者是软件指令的集合。这里描述的模块、单元或块可以实现为软件和/或硬件,并且可以存储在任何类型的非暂时性计算机可读介质或另一个存储设备中。在一些实施例中,可以编译软件模块/单元/块并将其链接到可执行程序中。应当理解的是,软件模块可以从其他模块、单元、块或从它们自身调用、和/或可以响应于检测到的事件或中断来调用。软件模块、单元、块被配置为在计算设备(例如,如图2所示的处理器220)上执行的可以在计算机可读介质上提供,例如光盘、数字视频盘、闪存驱动器、磁盘、或任何其他有形介质、或作为数字下载(并且最初可以以压缩或可安装的格式存储、在执行之前需要安装、解压或解密)。这里的软件代码可以被部分的或全部的储存在执行操作的计算设备的存储设备中,并应用在计算设备的操作之中。软件指令可以嵌入固件中,例如EPROM。将进一步理解的是,硬件模块、单元、块可以包括连接的逻辑组件,例如门和触发器、和/或可以包括可编程单元,例如可编程门阵列或处理器。这里描述的模块、单元、块或计算设备功能可以实现为软件模块、单元、块,但是可以用硬件或固件表示。通常,这里描述的模块、单元、块指的是逻辑模块、单元/块,其可以与其他模块、单元、块组合或者分成子模块、子单元、子块,尽管它们是物理组织或存储。
应当理解的是,当单元、引擎、模块或块被称为“接通”、“连接到”或“耦合到”另一个单元、引擎,模块或块时,它可以直接接通,除非上下文另有明确说明,否则可以存在连接或耦合到其他单元、引擎、模块或块,或与其间隔、或者与中间单元、引擎、模块或块通信。在本申请中,术语“和/或”可包括任何一个或以上相关所列条目或其组合。
根据以下对附图的描述,本申请的特征、特点以及操作方法、结构的相关元素的功能、各部分的组合、制造的经济性可以变得更加显而易见,这些附图都构成本申请说明书的一部分。然而,应当理解的是,附图仅仅是为了说明和描述的目的,并不旨在限制本申请的范围。应当理解的是,附图并不是按比例绘制的。
本公开涉及确定用于图像处理的目标神经网络模型的系统和方法。在本申请中,目标神经网络模型可以通过服务器设备生成,并且可以通过客户端进行测试。服务器设备可以具有比客户端更强的计算能力,这可以缩短训练目标神经网络模型的时间,并且可以不需要占用客户端的计算资源(例如,中央处理器)。客户端可以存储至少两个重建的图像,这可以方便地测试目标神经网络模型。为了确定目标神经网络模型,该系统和方法可以通过网络从至少一个客户端接收至少两个训练样本。该系统和方法可以基于至少两个训练样本来训练第一神经网络模型以生成第二神经网络模型。系统和方法可以经由网络将第二神经网络模型发送到至少一个客户端,并且经由网络从至少一个客户端接收第二神经网络模型的测试结果。该系统和方法可以响应于确定测试结果满足条件,确定第二神经网络模型作为用于图像处理的目标神经网络模型。用于图像处理的目标神经网络模型可以用于图像降噪、图像增强、图像超分辨处理、图像伪影去除、图像诊断或图像识别中的至少一个。在一些实施例中,至少两个服务器设备可以分布式连接到网络。至少两个服务器设备的每一个可以被配置为提供用于图像处理的相应神经网络模型,包括图像降噪、图像增强、图像超分辨处理、图像伪影去除、图像诊断或图像识别中的至少一个。
图1A是根据本申请的一些实施例所示的示例性医疗系统的示意图。在一些实施例中,医疗系统100可以是单模态系统或多模态系统。示例性单模态系统可包括计算机断层摄影(CT)系统、计算机断层摄影血管造影(CTA)系统、数字射线照相(DR)系统、正电子发射断层摄影(PET)系统、单光子发射计算机断层摄影(SPECT)系统、磁共振成像(MRI)系统、放射治疗(RT)系统等。示例性多模态系统可包括CT-PET系统、MRI-PET系统等。在一些实施例中,医疗系统100可包括用于执行成像和/或相关分析的模块和/或组件。
仅作为示例,如图1所示,医疗系统100可包括医疗设备110、网络120、一个或以上客户端130、服务器设备140和存储设备150。医疗系统100中的组件可以以各种方式连接。仅作为示例,医疗设备110可以直接或者通过网络120连接到客户端130。又例如,医疗设备110可以直接或者通过网络120连接到服务器设备140。作为另一示例,客户端130可经由网络120连接到医疗系统100的另一组件(例如,服务器设备140)。作为又一示例,存储设备150可以直接或者通过网络150连接到医疗系统100的另一个组件(例如,医疗设备110、客户端130、服务器设备140)。
医疗设备110可以获取与对象的至少一部分有关的成像数据。与对象的至少一部分有关的成像数据可包括图像(例如,图像切片)、投影数据或其组合。在一些实施例中,成像数据可以是二维(2D)成像数据、三维(3D)成像数据、四维(4D)成像数据等或其任何组合。物体可以是生物体(例如,患者、动物)或非生物体(例如,人造物体)。在一些实施例中,医疗设备110可包括成像设备、介入医疗设备等。示例性成像装置可包括PET扫描仪、CT扫描仪、DR扫描仪、MRI扫描仪等或其组合。示例性介入医疗设备可包括放射疗法(RT)设备、超声治疗设备、热治疗设备、外科手术介入设备等或其组合。
网络120可以促进医疗系统100的信息和/或数据的交换。在一些实施例中,医疗系统100的一个或以上组件(例如,医疗设备110、客户端130、服务器设备140或存储设备150)可以通过网络120与医疗系统100的一个或以上其他组件交流信息和/或数据。例如,客户端130和/或服务器设备140可以经由网络120从医疗设备110获取扫描数据。又例如,服务器设备140可以经由网络120从客户端130获得用户指令。
在一些实施例中,网络120可以具有分布式网络架构。在一些实施例中,医疗系统100可包括分布式连接到网络120的至少两个服务器设备。在一些实施例中,网络120可以为任意形式的有线或无线网络,或其任意组合。网络120可以是和/或包括公共网络(例如,互联网)、专用网络(例如,局部区域网络(LAN)、广域网(WAN)等)、有线网络(例如,以太网网络)、无线网络(例如,802.11网络、Wi-Fi网络等)、蜂窝网络(例如,长期演进(LTE)网络)、帧中继网络、虚拟专用网络(“VPN”)、卫星网络、电话网络、路由器、集线器、交换机、服务器计算机和/或其任何组合。仅作为示例,网络120可以包括电缆网络、有线网络、光纤网络、电信网络、内联网、无线局部区域网络(WLAN)、城域网(MAN)、公用电话交换网络(PSTN)、蓝牙网络、紫蜂(ZigBee)网络、近场通信(NFC)网络等,或其任何组合。在一些实施例中,网络120可以包括一个或以上网络交换点。例如,网络120可以包括有线和/或无线网络交换点,例如基站和/或互联网交换点,医疗系统100的一个或以上组件可以通过它们连接到网络120以交换数据和/或信息。
客户端130可以包括移动设备130-1、平板计算机130-2、膝上型计算机130-3等、或其任何组合。在一些实施例中,移动设备130-1可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、增强现实设备等,或其任意组合。在一些实施例中,智能家居设备可以包括智能照明设备、智能电器控制设备、智能监控设备、智能电视、智能摄像机、对讲机等,或其任意组合。在一些实施例中,可穿戴设备可以包括智能手环、智能鞋袜、智能眼镜、智能头盔、智能手表、智能衣物、智能背包、智能配饰等或上述举例的任意组合。在一些实施例中,移动设备可以包括移动电话、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)设备、膝上型计算机、平板计算机、台式计算机或其任何组合。在一些实施例中,虚拟现实设备和/或增强现实设备可以包括虚拟现实头盔、虚拟现实眼镜、虚拟现实眼罩、增强实境头盔、增强实境眼镜、增强实境眼罩等或其任意组合。例如,虚拟现实设备和/或增强现实设备可以包括GoogleGlassTM、OculusRiftTM、HololensTM、GearVRTM等。
在一些实施例中,客户端130可以接收由用户输入的信息和/或指令,并将接收的信息和/或指令发送到医疗设备110或服务器设备140。例如,客户端130可以向医疗设备110发送扫描指令以对对象进行扫描。又例如,客户端130可以向服务器设备140发送重建指令以重建与该对象相关的图像。可替代地或另外地,客户端130可以从医疗设备110或服务器设备140接收数据和/或信息。例如,客户端130可以接收由医疗设备110生成的扫描数据。又例如,客户端130可以从服务器设备140接收重建图像。在一些实施例中,客户端130可以是服务器设备140的一部分。
在一些实施例中,客户端130可以是计算机,并执行服务器设备140的部分功能。例如,客户端130可以处理与对象有关的数据(例如,对象的基本信息、医疗信息等)。与对象相关的数据的处理可以包括添加、删除、排序、筛选、分析等或其任何组合。又如例如,客户端130可以处理图像数据(例如,图像)和/或扫描数据(例如,投影数据)。图像数据和/或扫描数据的处理可以包括图像重建、图像分割、图像放大、图像缩小、图像增噪、图像超分辨处理、图像伪影去除、图像诊断、图像识别或其任何组合。仅作为示例,客户端130可以基于扫描数据重建对象的图像。在一些实施例中,客户端130可以通过使用,例如用于图像降噪的神经网络模型处理初始图像来生成去噪图像。客户端130可使用层次分析处理(AHP)评估与去噪图像有关的一个或以上质量参数,并进一步确定用于图像降噪的神经网络模型的评价分数。在一些实施例中,客户端130可以将用于图像降噪的神经网络模型的评价分数发送到服务器设备140。服务器设备140可以确定是否需要更新或替换用于图像降噪的神经网络模型。服务器设备140可以使用至少两个训练样本更新用于图像降噪的神经网络模型。
在一些实施例中,服务器设备140可以是计算机、用户控制台、单个服务器或服务器组等。服务器组可以是集中式的或分布式的。在一些实施例中,服务器设备140可以是本地的或远程的。例如,服务器设备140可以经由网络120访问存储在医疗设备110、客户端130和/或存储设备150中的信息和/或数据。又如例,服务器设备140可以直接连接到医疗设备110、客户端130和/或存储设备150以访问存储信息和/或数据。在一些实施例中,服务器设备140可以在云平台上实现。仅作为示例,所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多云等或其任意组合。
服务器设备140可以处理从医疗设备110、客户端130和/或存储设备150获得的数据和/或信息。例如,服务器设备140可以从医疗设备110获得扫描数据(例如,投影数据),并且基于扫描数据重建对象的图像。又例如,服务器设备140可以从客户端130获得至少两个训练样本并生成用于图像处理的训练好的神经网络模型,图像处理可以包括图像降噪、图像增强、图像超分辨处理、图像伪影去除、图像诊断、或图像识别。在一些实施例中,服务器设备140可以是服务器组,包括分布式连接到网络120的至少两个服务器设备。至少两个服务器设备的每一个可以被配置为提供用于图像处理相应的神经网络模型,图像处理可以包括图像降噪、图像增强、图像超分辨处理、图像伪影去除、图像诊断或图像识别。在一些实施例中,服务器设备140可以在具有一个或以上组件的计算设备200上实现,如图2所示。服务器设备140的详细描述可以在本申请的其他地方找到(例如,图1B及其描述)。
存储设备150可以存储数据、指令和/或任何其他信息。在一些实施例中,存储设备150可以存储从医疗设备110、客户端130和/或服务器设备140获得的数据或信息。例如,存储设备150可以存储由医疗设备110生成的扫描数据。又如例,存储设备150可以存储从客户端130和/或服务器设备140接收的处理后图像。作为另一示例,存储设备150可以存储由服务器设备140生成的经过训练的神经网络模型。在一些实施例中,存储设备150可以存储客户端130和/或服务器设备140可以执行或使用的数据和/或指令,以执行本申请中描述的示例性方法、系统。在一些实施例中,存储设备150可包括大容量存储器、可移式存储器、易失性读写存储器、只读存储器(ROM)等,或其任何组合。示例性的大容量储存器可以包括磁盘、光盘、固态磁盘等。示例性可移动存储器可以包括快闪驱动器、软盘、光盘、存储卡、压缩磁盘、磁带等。示例性易失性读写存储器可以包括随机存储器(RAM)。示例性RAM可包括动态随机存储器(DRAM)、双倍速率同步动态随机存储器(DDRSDRAM)、静态随机存储器(SRAM)、晶闸管随机存储器(T-RAM)和零电容随机存储器(Z-RAM)等。示例性只读存储器可以包括掩蔽型只读存储器(MROM)、可编程只读存储器(PROM)、可擦可编程只读存储器(PEROM)、电可擦可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)和数字多功能磁盘只读存储器等。在一些实施例中,所述存储设备130可以在云平台上实现。仅作为示例,所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多云等或其任意组合。
在一些实施例中,存储设备150可以连接到网络120以与医疗系统100中的一个或以上其他组件(例如,医疗设备110、服务器设备140、客户端130等)通信。医疗系统100中的一个或以上组件可以经由网络120访问存储设备150中存储的数据或指令。在一些实施例中,存储设备150可以直接连接到医疗系统100中的一个或以上其他组件(例如,医疗设备110、服务器设备140、客户端130等)或与之通信。在一些实施例中,存储设备150可以是服务器设备140的一部分。
应当注意的是,上述医疗系统100的描述仅仅是为了说明的目的而提供的,并不意图限制本申请的范围。对于本领域的普通技术人员来说,可以根据本申请的描述,做出各种各样的修正和改变。例如,可以根据具体的实施方案修改或改变医疗系统100的组装和/或功能。仅作为示例,可以将一些其他组件添加到医疗系统100中,例如可以向医疗系统100的一个或以上组件以及其他设备或模块供电的电源模块。
图1B是根据本申请的一些实施例所示的示例性医疗系统的示意图。如图1B所示,医疗系统200可以包括至少两个服务器设备140,例如服务器设备142-1、服务器设备142-2、服务器设备142-N等等。在一些实施例中,至少两个服务器设备中的至少一个可以提供如本申请中其他地方所述的用于图像处理(例如,图像重建、图像分割等)的计算服务。在一些实施例中,一个服务器设备可以被配置为训练和/或生成用于单一类型的图像处理的神经网络模型。例如,服务器设备142-1可以被配置为训练和生成用于图像降噪的神经网络模型,服务器设备142-2可以被配置为训练和/或生成用于图像增强的神经网络等。可选地,一个服务器设备可以被配置为训练和/或生成用于多种类型的图像处理的神经网络模型。例如,服务器设备142-N可以被配置为训练和/或生成用于图像降噪神经网络模型、用于图像伪影去除的神经网络模型、用于图像超分辨处理的神经网络模型等等。
在一些实施例中,服务器设备(例如,服务器设备142-1)可以使用至少两个训练样本来训练初级神经网络模型(例如,如图5中所描述的第一神经网络模型)以确定训练后的神经网络模型(例如,如图5所述的第二神经网络模型)。响应于确定训练后的神经网络模型的测试结果满足条件,服务器设备(例如,服务器设备142-1)可以将训练后的神经网络模型确定为用于图像处理的目标神经网络模型。在一些实施例中,如果需要更新目标神经网络模型,则服务器设备(例如,服务器设备142-1)可以通过更新至少两个训练样本来更新目标神经网络模型。
在一些实施例中,服务器设备(例如,服务器设备142-1)可以是任何合适的计算机,例如膝上型电脑、平板电脑、台式电脑等。至少两个服务器设备140中的每一个可以包括至少一个处理器。在一些实施例中,处理器可以包括微控制器、微处理器、精简指令集计算机(RISC)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、中央处理器(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高级精简指令集计算机(ARM)、可编程逻辑器件以及能够执行本申请的一个或多个功能的任何其他电路或处理器等。
至少两个服务器设备140可以分布式连接到网络146。在一些实施例中,至少两个服务器设备140可以经由网络146连接到彼此和/或彼此通信(例如,无线连接、有线连接或其组合)。可选地,至少两个服务器设备140中的至少一个可以直接连接到其他服务器设备和/或与其他服务器设备并与之通信。例如,服务器设备142-1可以直接连接到服务器设备142-2。客户端130可以经由网络120(或网络146)连接到至少两个服务器设备140中的一个或与之通信。客户端130还可以经由网络120连接到存储设备144,如图1B中的虚线箭头所示。在一些实施例中,存储设备144可以直接连接到至少两个服务器设备140中的至少一个,如图1B中的实线箭头所示。或者,存储设备144可以经由网络146连接到至少两个服务器设备140中的至少一个。
在一些实施例中,网络146可以包括可以促进服务器设备140的信息和/或数据交换的任何合适的网络(例如,广域网(WAN)、局域网(LAN)、有线和/或无线网络接入点等)。仅作为示例,网络146可以包括电缆网络、有线网络、光纤网络、电信网络、内联网、无线局域网络(WLAN)、城域网(MAN)、公用电话交换网络(PSTN)、蓝牙网络,紫蜂网络、近场通信(NFC)网络等,或其任何组合。应该理解的是,在一些实施例中可以省略网络146。
在一些实施例中,存储设备144可以存储数据、指令和/或任何其他信息。例如,存储设备144可以存储从客户端130和/或至少两个服务器设备140中的至少一个获得的数据。又例如,存储设备144可以存储算法和/或指令,至少两个服务器设备140中的至少一个可以执行或使用该算法和/或指令来执行本申请中描述的示例性医疗应用。作为另一示例,存储设备144可以存储由至少两个服务器设备140中的至少一个生成的训练后的神经网络模型。
应当注意的是,以上对服务器设备140的描述仅仅是出于说明的目的而提供的,并不旨在限制本申请的范围。对于本领域的普通技术人员来说,可以根据本申请的描述,做出各种各样的修正和改变。然而,这些修正和改变不会背离本申请的范围。在一些实施例中,至少两个服务器设备140的至少两个组件可以集成到控制台中。又例如,可以将一些其他组件、模块添加到计算集群中,例如网络交换机、工作流网络服务器等。在一些实施例中,存储设备144可以集成到至少两个服务器设备140的一个或以上中。在一些实施例中,可以省略网络146。
图2是根据本申请的一些实施例的计算设备所示的示例性硬件和/或软件组件的示意图。在一些实施例中,服务器设备140和/或客户端130可以在计算设备200上实现,并且被配置为在本申请中执行其功能公开。
计算设备200可以是通用计算机或专用计算机。两者都可以用于实现本申请的医疗系统100。例如,医疗系统100的服务器设备140可以通过其硬件、软件程序、固件或其组合在计算设备200上实现。在图2中,为方便起见,仅示出了一个这样的计算设备。在提交本申请时,本领域的普通技术人员将理解的是,与本文所述的医疗系统100相关的计算机功能可以在多个类似的设备、平台上以分散方式实现,以分散计算负载。
例如,计算设备200可以包括与网络(例如,网络120)相连接病促进数据通讯的COM端口250。在一些实施例中,COM端口250可以向服务器设备140和/或客户端130的任何一个模块发送和接收信息或数据。在一些实施例中,COM端口250可以包括有线端口(例如,通用串行总线(USB)端口、高清多媒体接口(HDMI)端口等)或无线端口(蓝牙端口、红外接口、WiFi端口等)。
计算设备200还可以包括处理器220(例如,中央处理单元(CPU)、图形处理单元(GPU)等),其以一个或以上处理器的形式用于执行计算指令。计算指令可以包括执行本文描述的特定功能的例程、程序、对象、组件、数据结构、过程、模块和功能。在一些实施例中,处理器220可以包括微控制器、微处理器、精简指令集计算机(RISC)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、中央处理器(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高级精简指令集计算机(ARM)、可编程逻辑器件以及能够执行一个或多个功能的任何电路和处理器等,或其任意组合。例如,处理器220可以包括微控制器,以处理来自医疗设备110(例如,CT扫描仪)的数据(例如,扫描数据),以进行图像重建。
计算设备200还可以包括内部通信总线210、程序存储和不同形式的数据存储,例如,磁盘270、只读存储器(ROM)230、或随机存储器(RAM)240,用于由计算机处理和/或传输的各种数据文件。磁盘270可以包括例如软盘、光盘、拉链盘等。ROM可以包括掩蔽型ROM(MROM)、可编程ROM(PROM)、可擦可编程ROM(PEROM)、电可擦可编程ROM(EEPROM)、光盘ROM(CD-ROM)和数字多功能磁盘ROM等。RAM可以包括动态RAM(DRAM)、双倍速率同步动态RAM(DDRSDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容(Z-RAM)等。在一些实施例中,计算设备200还可以包括存储在ROM230、RAM240和/或由处理器220执行的其他类型的非暂时性存储介质中的程序指令。本申请的方法和/或流程可以以程序指令的方式实现。计算设备200还包括输入/输出组件260,用来支持计算机和其他组件之间的输入/输出。计算设备200还可以通过网络通信接收程序和数据。
仅仅为了说明,在计算设备200中仅描述了一个处理单元和/或处理器。然而,应该注意的是,本申请中的计算设备200还可以包括至少两个处理单元和/或处理器,因此本申请中描述的由一个处理单元和/或处理器实现的操作和/或方法步骤也可以共同地或独立地由至少两个处理单元和/或处理器实现。例如,计算设备200的处理单元和/或处理器执行操作A和操作B。如在另一示例中,操作A和操作B也可以由计算设备200中的两个不同的处理单元和/或处理器共同地或单独地执行(例如,第一处理器执行操作A并且第二处理器执行操作B,或者第一处理器和第二处理器共同执行操作A和B)。
图3是根据本申请的一些实施例所示的移动设备的示例性硬件组件和/或软件组件的示意图;在一些实施例中,服务器设备140和/或客户端130可以在移动设备300上实现,并且在本申请中被配置为用于执行其功能公开。如图3所示,移动设备300可以包括通信平台310、显示器320、图形处理单元(GPU)330、中央处理单元(CPU)340、输入/输出350、内存360和存储器390。在一些实施例中,任何其他合适的组件,包括但不限于系统总线或控制器(未示出),也可包括在移动设备300内。在一些实施例中,移动操作系统370(例如,iOSTM、AndroidTM、WindowsPhoneTM)和一个或以上应用程序380可以从存储器390加载到内存360中,以便由CPU340和/或GPU330执行。应用程序380可以包括浏览器或任何其他合适的移动应用程序,用于在服务器设备140和/或客户端130中接收和呈现与图像处理或其他信息有关的信息。用户与信息流的交互可以通过输入/输出350实现,并通过网络120提供给医疗系统100的其他组件。
为了实施本申请描述的各种模块、单元及其功能,计算机硬件平台可用作本文中描述的一个或以上组件的硬件平台。具有用户界面元素的计算机可用于实施个人计算机(PC)或任何其他类型的工作站或终端设备。如果适当编程,计算机也可以用作服务器。
图4是根据本申请的一些实施例所示的示例性服务器设备的框图。在一些实施例中,服务器设备140可以在计算设备200和/或移动设备300上实现。如图4所示,服务器设备140可以包括接收模块402、训练模块404、发送模块406、确定模块408、更新模块410和第一存储模块412。
接收模块402可以被配置为从至少一个客户端(例如,客户端130)接收信息和/或数据(例如,扫描数据、图像数据)。在一些实施例中,接收模块402可以经由网络(例如,网络120)从至少一个客户端接收至少两个第一训练样本。至少两个第一训练样本中的每一个可以包括第一初始图像和关于第一初始图像的第一处理后图像。第一处理后图像可以呈现出比第一初始图像更高的质量。在一些实施例中,接收模块402可以在不同的时间段或在同一时间段从两个或以上客户端接收至少两个第一训练样本。例如,接收模块402可以在第一时间段(或当前时间段)从第一客户端接收至少两个第一训练样本的一部分,并且在第二时间段(或前一时间段)从第二客户端接收至少两个第一训练样本的另一部分。又例如,接收模块402可以在同一时间段从第二客户端接收至少两个第一训练样本的一部分和至少两个第一训练样本的另一部分。
在一些实施例中,接收模块402可以经由网络(例如,网络120)从至少一个客户端接收与神经网络模型有关的测试结果。仅作为示例,接收模块402可以从至少一个客户端接收与第二神经网络模型相关的第一测试结果。可以通过使用至少两个第一训练样本训练第一神经网络模型来生成第二神经网络模型。在一些实施例中,第二神经网络模型的第一测试结果可以包括第二神经网络模型的第一评价分数。第二神经网络模型的第一评价分数可以通过基于与一个或以上第一测试图像有关的一个或以上质量参数评估一个或以上第一测试图像来确定。又例如,接收模块402可以从至少一个客户端接收目标神经网络模型的第二测试结果。可以基于第一神经网络模型和/或第二神经网络模型来确定目标神经网络模型。在一些实施例中,目标神经网络模型的第二测试结果可以包括目标神经网络模型的第二评价分数。目标神经网络模型的第二评价分数可以通过基于与一个或以上第二测试图像相关的一个或以上质量参数评估一个或以上第二测试图像来确定。关于神经网络模型(例如,第二神经网络模型、目标神经网络模型)的(第一或第二)评价分数的确定的细节可以在本申请的其他地方找到(例如,图8和其描述)。
训练模块404可以被配置为基于至少两个第一训练样本训练初级神经网络模型(例如,第一神经网络模型)生成训练后的神经网络模型(例如,第二神经网络模型)。在一些实施例中,第二神经网络模型的功能可以取决于至少两个第一训练样本。例如,如果至少两个第一训练样本包括第一初始图像和第一去噪图像,则第二神经网络模型可以用于图像降噪。又例如,如果至少两个第一训练样本包括第一初始图像和第一增强图像,则第二神经网络模型可用于图像增强。关于第二神经网络模型的生成的更多描述可以在本申请的其他地方找到(例如,过程500的操作503及其描述)。
发送模块406可以被配置为经由网络(例如,网络120)向至少一个客户端(例如,客户端130)发送信息和/或数据。在一些实施例中,发送模块406可以将第二神经网络模型发送到至少一个客户端。在一些实施例中,发送模块406可以周期性地将第二神经网络模型发送到至少一个客户端,例如,每周一次、每月一次等,或者当生成第二神经网络模型时,或者响应于从至少一个客户端获取安装或更新第二神经网络模型的请求时。
确定模块408可以被配置为用于确定第一测试结果是否满足第一条件。在一些实施例中,确定模块408可以确定第二神经网络模型的第一评价分数是否大于第一阈值。如果第二神经网络模型的第一评价分数大于第一阈值,则确定模块408可以确定第一测试结果满足第一条件。响应于确定第一测试结果满足第一条件,确定模块408可将第二神经网络模型确定为用于图像处理的目标神经网络模型。或者,响应于确定第一测试结果不满足第一条件,确定模块408可将第一神经网络模型确定为用于图像处理的目标神经网络模型。
更新模块410可以被配置为用于确定目标神经网络模型是否需要更新。在一些实施例中,更新模块410可以确定第二测试结果是否满足第二条件。如果更新模块410确定第二测试结果满足第二条件,则更新模块410可以确定不需要更新目标神经网络模型。如果更新模块410确定第二测试结果不满足第二条件,则更新模块410可以确定需要更新目标神经网络模型。关于目标神经网络模型的更新的更多描述可以在本申请的其他地方找到(例如,过程500的操作517及其描述)。
第一存储模块412可以被配置为存储信息和/或在过程500期间生成的数据。例如,第一存储模块412可以存储从至少一个客户端接收的第一训练样本。又例如,第一存储模块412可以存储一个或以上神经网络模型(例如,第一神经网络模型、第二神经网络模型、目标神经网络模型)。
在一些实施例中,服务器设备140中的模块可以经由有线连接或无线连接,彼此连接或通信。有线连接可以包括金属线缆、光缆、混合电缆等或其任意组合。无线连接可以包括局域网络(LAN)、广域网(WAN)、蓝牙网络、紫蜂网络、近场通讯(NFC)等或其任意组合。
应该注意的是,上述仅出于说明性目的而提供,并不旨在限制本申请的范围。对于本领域的普通技术人员来说,可以根据本申请的描述,做出各种各样的修正和改变。然而,这些修正和改变不会背离本申请的范围。在一些实施例中,两个或以上模块可以组合成单个模块。例如,接收模块402和发送模块406可以集成到被配置为执行其功能的单个模块中。
图5是根据本申请的一些实施例所示的确定用于图像处理的神经网络模型的示例性过程的流程图。在一些实施例中,过程500的一个或以上操作可以在图1中所示的医疗系统100中实现。例如,过程500可以以指令(例如,应用程序)的形式存储在存储设备150中,并且由服务器设备140调用和/或执行(例如,如图1B所示的服务器设备142-1、142-2、142-N等、如图2所示的计算设备200的处理器220、如图3所示的移动设备300的CPU 340、如图4所示的服务器设备140的一个或以上模块等)。以下所示过程的操作旨在是说明性的。在一些实施例中,过程500在实施时可以添加一个或以上本申请未描述的附加操作,和/或删减一个或以上此处所描述的操作。另外,如图5所示和下面描述的过程500的操作的顺序不是限制性的。
在501中,服务器设备140(例如,接收模块402)可以经由网络(例如,网络120)从至少一个客户端(例如,客户端130)接收至少两个第一训练样本。
在一些实施例中,至少两个第一训练样本中的每一个可以包括第一初始图像和关于第一初始图像的第一处理后图像。第一处理后图像可以呈现出比第一初始图像更高的质量。如这里所使用的,图像的质量可以由图像的噪声水平、图像的伪影、图像的对比度、图像的分辨率等或其组合来表示。在一些实施例中,可以基于相同的扫描数据(或投影数据)生成第一初始图像和第一处理后图像。例如,可以使用两种不同的重建技术来重建第一初始图像和第一处理后图像,这可能导致图像质量的差异。示例性重建技术可以在本申请的其他地方找到,并且这里不再重复其描述。又例如,第一处理后图像可以由至少一个客户端通过处理第一初始图像来生成。例如,第一处理后图像可以由至少一个客户端通过使用存储在至少一个客户端中的神经网络模型处理第一初始图像来生成。关于由至少一个客户端生成第一训练样本的细节可以在本申请的其他地方找到(例如,图7及其相关描述)。可选地,从至少一个客户端接收的至少两个第一训练样本中的每一个可以包括第一初始图像。对于至少两个第一训练样本的每一个,服务器设备140可以处理第一初始图像以获得第一处理后图像。在一些实施例中,第一处理后图像和对应的第一初始图像可以构成第一训练样本。也就是说,可以更新至少两个第一训练样本以包括从至少一个客户端接收的至少两个第一初始图像和由服务器设备140生成的至少两个第一处理后图像。
在一些实施例中,第一初始图像的处理可以包括图像降噪、图像增强、图像超分辨处理、图像伪影去除等,或其任何组合。仅作为示例,服务器设备140可以通过使用图像降噪算法对第一初始图像执行图像降噪操作来生成第一处理后图像(也被称为第一去噪图像)。第一处理后图像可以呈现出比第一初始图像更低的噪声水平。示例性图像降噪算法可以包括高斯滤波、各向异性滤波(AF)、相邻滤波、全变差最小化、核回归算法、基于小波的算法、非局部均值(NL-均值)算法等。又如例,服务器设备140可以通过使用图像增强算法对第一初始图像执行图像增强操作来生成第一处理后图像(也被称为第一增强图像)。第一增强图像相对于第一初始图像可以具有更好的对比度。在一些实施例中,示例性图像增强算法可以包括直方图均衡算法、小波变换算法、偏微分方程算法、同态滤波算法等。作为另一示例,服务器设备140可以通过使用图像超分辨处理算法处理第一初始图像来生成第一处理后图像。第一处理后图像可以呈现出比第一初始图像更高的分辨率。示例性图像超分辨处理算法可以包括稀疏表示算法、自示例算法、朴素贝叶斯算法、深度学习算法等。作为另一示例,服务器设备140可以通过减少第一初始图像中的伪影来生成第一处理后和/或优化后图像。第一处理后图像可以表现出比第一初始图像更少的伪影。在一些实施例中,伪影可以包括混叠伪影、射束硬化伪影、散射伪影、由部分体积效应引起的伪影、金属伪影、环形伪影、阶梯伪影、锥形束伪影、风车伪影、截断伪像、运动伪影,或类似,或其任何组合。可以根据其对应的校正算法去除不同种类的伪影。例如,可以根据散射校正算法去除散射伪影,例如,卷积算法、模型评估算法、反卷积算法、蒙特卡罗模拟算法、双能量窗口技术等。
在一些实施例中,接收模块402可以在不同时间段从两个或以上客户端接收至少两个第一训练样本。例如,接收模块402可以在第一时间段(或当前时间段)从第一客户端接收至少两个第一训练样本的一部分,并且在第二时间段(或前一时间段)从第二客户端接收至少两个第一训练样本的另一部分。可选地或另外地,接收模块402可以在同一时间段从两个或以上客户端接收至少两个第一训练样本。例如,接收模块402可以在同一时间段从第一客户端接收至少两个第一训练样本的一部分和从第二客户端接收至少两个第一训练样本的的另一部分。
在503中,服务器设备140(例如,训练模块404)可以基于至少两个第一训练样本训练第一神经网络模型以生成第二神经网络模型。在一些实施例中,第二神经网络模型的功能可以取决于至少两个第一训练样本。例如,如果至少两个第一训练样本包括第一初始图像和第一去噪图像,则第二神经网络模型可以用于图像降噪。又例如,如果至少两个第一训练样本包括第一初始图像和第一增强图像,第二神经网络模型可以用于图像增强。
在一些实施例中,第一神经网络模型可以是初级神经网络模型。可选地或另外地,初级神经网络模型可以是用于图像处理的预训练的神经网络模型,例如,图像降噪、图像增强、图像超分辨处理或图像伪影去除等。在一些实施例中,可以通过使用由医疗设备(例如,医疗设备110)在当前时间段之前的先前时间段中获取的训练样本训练神经网络模型来获得预训练的神经网络模型。因此,预训练神经网络模型可能需要更新以适合目前的图像处理。
示例性神经网络模型可以包括卷积神经网络模型(例如,多尺度卷积神经网络模型、超分辨率卷积神经网络模型、降噪卷积神经网络模型)、感知神经网络模型、深度信任网络模型、堆栈自编码网络模型、递归神经网络模型(如长短期记忆(LSTM)神经网络模型、分层递归神经网络模型、双向递归神经网络模型、二阶递归神经网络模型、完全递归网络模型、回波状态网络模型、多时间尺度递归神经网络(MTRNN)模型等或其任意组合)。
在一些实施例中,第一神经网络模型可以包括一个或以上初始参数。可以使用神经网络训练算法在训练第一神经网络模型期间调整和/或更新初始参数。示例性神经网络训练算法可以包括反向传播算法、梯度下降算法、牛顿算法、共轭梯度算法、准牛顿算法,列文伯格-马夸特算法等,或其任何组合。
在一些实施例中,可以将第一初始图像输入到第一神经网络模型中以生成实际输出(也称为第一预测图像)。关于第一初始图像的第一处理后图像可以被认为是期望输出。训练模块404可以使用损失函数将实际输出(例如,第一预测图像)与期望输出(例如,第一处理后图像)进行比较。损失函数可以测量实际输出和期望输出之间的差异。在第一神经网络模型的训练期间,可以执行至少两次迭代以调整和/或更新第一神经网络模型的初始参数,直到满足终止条件。示例性终止条件可以包括具有在迭代中获得具有更新的参数的更新的损失函数小于预定阈值、执行特定迭代计数的迭代、损失函数收敛使得在连续迭代中获得的更新后的损失函数的值的差异在阈值内等。在满足终止条件之后,可以基于更新的参数确定第二神经网络模型。
在505中,服务器设备140(例如,发送模块406)可以经由网络(例如,网络120)将第二神经网络模型发送到至少一个客户端(例如,客户端130)。在一些实施例中,当生成第二神经网络模型时,发送模块406可以将第二神经网络模型发送到至少一个客户端。或者,发送模块406可以周期性地将第二神经网络模型发送到至少一个客户端,例如每周一次、每月一次等。或者,响应于从至少一个客户端安装或更新第二神经网络模型的请求,训练模块406可以将第二神经网络模型发送到至少一个客户端。
在一些实施例中,发送模块406可以经由网络将第二神经网络模型发送到一个或以上客户端。例如,发送模块406可以经由网络将第二神经网络模型发送到提供至少两个第一训练样本的客户端(例如,膝上型计算机130-3)和/或不向服务器设备140提供训练样本的另一个客户端(例如,移动设备130-1)。
在507中,服务器设备140(例如,接收模块402)可以经由网络从至少一个客户端(例如,客户端)接收第二神经网络模型的第一测试结果(例如,网络120)。在一些实施例中,第二神经网络模型的第一测试结果可以包括第二神经网络模型的第一评价分数。第二神经网络模型的第一评价分数可以通过基于与一个或以上第一测试图像有关的一个或以上质量参数评估一个或以上第一测试图像来确定。可以由至少一个客户端通过使用第二神经网络模型处理一个或以上第二初始图像生成一个或以上第一测试图像。一个或以上质量参数可包括噪声水平、分辨率、伪影程度、对比度等。关于神经网络模型(例如,第二神经网络模型)的(第一)评价分数的确定细节可以在本申请的其他地方找到(例如,图8及其描述)。
在509中,服务器设备140(例如,确定模块408)可以确定第一测试结果是否满足第一条件。在一些实施例中,确定模块408可以确定第二神经网络模型的第一评价分数是否大于第一阈值。第一阈值可以是医疗系统100的默认值,或者由用户设置或调整。如果第二神经网络模型的第一评价分数大于第一阈值,则确定模块408可以确定第一测试结果满足第一条件。在一些实施例中,响应于确定测试结果满足第一条件,服务器设备140可以经由网络接收第二初始图像和一个或以上测试图像,并且利用接收的一个或以上第二初始图像和一个或以上测试图像更新至少两个第一训练样本。
响应于确定第一测试结果满足第一条件,过程500可以进行到511。在511中,服务器设备140(例如,确定模块408)可以将第二神经网络模型确定为用于图像处理的目标神经网络模型。或者,响应于确定第一测试结果不满足第一条件,过程500可以进行到513。在513中,服务器设备140(例如,确定模块408)可以将第一神经网络模型确定为用于图像处理的目标神经网络模型。服务器设备140(例如,发送模块406)可以通过网络将目标神经网络模型(即,第一神经网络模型或第二神经网络模型)发送到至少一个客户端。
在一些实施例中,当在客户端中实施的目标神经网络模型已经使用了一段时间时,由于系统的变化和/或外部条件的变化,目标神经网络模型可能不适合于处理当前(初始)图像。因此,可能需要更新目标神经网络模型。
在515中,服务器设备140(例如,接收模块402)可以从至少一个客户端接收和/或获得目标神经网络模型的第二测试结果。在一些实施例中,目标神经网络模型的第二测试结果可以包括目标神经网络模型的第二评价分数。目标神经网络模型的第二评价分数可以通过基于与一个或以上第二测试图像相关的一个或以上质量参数评估一个或以上第二测试图像来确定。可以由至少一个客户端通过使用目标神经网络模型处理一个或以上第三初始图像生成一个或以上第二测试图像。一个或以上质量参数可以包括噪声水平、分辨率、伪影程度、对比度等。关于确定神经网络模型(例如,目标神经网络模型)的(第二)评价分数的细节可以在本申请的其他地方找到(例如,图8及其描述)。
在一些实施例中,接收模块402可以周期性地获得目标神经网络模型的第二测试结果,例如,每周一次、每月一次、半年一次等。或者,响应于更新从至少一个客户端接收的目标神经网络模型的请求,接收模块402可以,获得目标神经网络模型的第二测试结果。在一些实施例中,请求可以由用户输入到至少一个客户端,或者可以是客户端的默认设置。
在517中,服务器设备140(例如,更新模块410)可以确定是否需要更新目标神经网络模型。在一些实施例中,更新模块410可以确定第二测试结果是否满足第二条件。如果更新模块410确定第二测试结果满足第二条件,则更新模块410可以确定不需要更新目标神经网络模型。如果更新模块410确定第二测试结果不满足第二条件,则更新模块410可以确定需要更新目标神经网络模型。在一些实施例中,第二条件可以与第一条件相同或不同。具体地,更新模块410可以确定目标神经网络模型的第二评价分数是否大于第二阈值。第二阈值可以是医疗系统100的默认值,或者由用户设置或调整。在一些实施例中,第二阈值可以与第一阈值相同或不同。如果目标神经网络模型的第二评价分数大于第二阈值,则更新模块410可以确定第二测试结果满足第二条件,即目标神经网络模型不需要更新。响应于确定目标神经网络模型不需要更新,过程500可以进行到519。在519中,服务器设备140可以使用目标神经网络模型来更新第一神经网络模型。服务器设备140还可以将目标神经网络模型存储在第一存储模块412中。
可选地,如果目标神经网络模型的第二评价分数小于或等于第二阈值,则更新模块410可以确定第二测试结果不满足第二条件,即目标神经网络模型需要更新。响应于确定需要更新目标神经网络模型,过程500可以更新至少两个第一训练样本并继续执行操作501至513。在501中,服务器设备140(例如,接收模块402)可以获得和/或接收至少两个第一训练样本。可以使用至少两个第二训练样本来更新至少两个第一训练样本。例如,可以在至少两个第一训练样本中添加至少两个第二训练样本。又例如,至少两个第一训练样本的至少一部分可以用至少两个第二训练样本代替。在一些实施例中,至少两个第二训练样本可以包括至少两个第一训练样本的至少一部分。或者,至少两个第二训练样本的每一个可以与至少两个第一训练样本中的每一个不同。第二训练样本的获得可以与第一训练样本的方式类似,并且不再重复其描述。在503中,服务器设备140(例如,训练模块404)可以使用至少两个第一训练样本(例如,第二训练样本)来训练第一神经网络模型(即目标神经网络模型),以获得第二神经网络模型。如操作519所述,可以使用目标神经网络模型更新第一神经网络模型。第二神经网络模型也可以被称为训练目标神经网络模型。目标神经网络模型的训练可以类似于第一神经网络模型的训练,并且不再重复其描述。过程500可以重复操作505至513,并且不重复其描述。
在本申请中,由于服务器设备(例如,服务器设备140)具有比客户端更强的计算能力,因此神经网络模型的训练(例如,第一神经网络模型、目标神经网络模型等等)通过服务器设备(例如,服务器设备140)执行,这可以缩短训练神经网络模型的时间并且可以不占用客户端130的计算资源。此外,客户端可以存储至少两个图像,其可以由神经网络模型处理以生成至少两个处理后图像(即,测试图像)。神经网络模型(例如,目标神经网络模型等)的测试可以由客户端(例如,客户端130)通过评估一个或以上测试图像来执行(由目标神经网络模型处理后图像),这可以方便测试神经网络模型而不占用客户端130的大量计算资源。
应当注意的是,以上对过程500的描述仅仅是出于说明的目的而提供的,并不旨在限制本申请的范围。对于本领域的普通技术人员来说,可以根据本申请的描述,做出各种各样的修正和改变。在一些实施例中,用于图像处理的目标神经网络模型还可以用于图像诊断、图像识别等。在一些实施例中,可以省略操作515至519。
图6是根据本申请的一些实施例所示的示例性服务器设备的框图。在一些实施例中,服务器设备600可以在客户端130上实现,如图1所示。如图6所示,服务器设备600可以包括获取模块602、处理模块604、确定模块606、评估模块608和第二存储模块610。
获取模块602可以被配置为获得信息和/或数据(例如,扫描数据、图像数据)。在一些实施例中,获取模块602可以获得至少两个第一初始图像。在一些实施例中,第一初始图像可以呈现第一图像质量。如这里所使用的,第一图像质量可以由第一初始图像的一个或以上质量参数来定义,例如噪声水平、对比度、分辨率、伪影程度等。在一些实施例中,获取模块602可以获得一个或以上第二初始图像。在一些实施例中,第二初始图像可以与至少两个第一初始图像中的一个相似或相同。或者,第二初始图像可以不同于至少两个第一初始图像中的任何一个。在一些实施例中,获取模块602可以从医疗系统100的一个或以上组件获得(第一和/或第二)初始图像,例如,客户端130的第二存储模块610、医疗设备110、服务器设备140、存储设备(例如,存储设备150)等。可选地或另外地,获取模块602可以经由网络120从外部源获得(第一或第二)初始图像,例如,医学数据库、图片存档和通信系统(PACS)等。
在一些实施例中,获取模块602可以获得神经网络模型。神经网络模型可以包括第一神经网络模型、第二神经网络模型、如图5所示的目标神经网络模型。在一些实施例中,获取模块602可以从客户端130的第二存储模块610、移动设备300的存储器390等获得神经网络模型。在一些实施例中,获取模块602可以从服务器设备获得神经网络模型(例如,第一保存模块410、训练模块404、更新模块410等)。可选地,获取模块602可以响应于评估神经网络模型的请求来获得神经网络模型。
处理模块604可以被配置为生成至少两个第一处理后图像。至少两个第一处理后图像的每一个可以对应于至少两个第一处理后图像中的一个。在一些实施例中,第一处理后图像可以呈现第二图像质量。第一处理后图像的第二图像质量可以大于对应的第一初始图像的第一图像质量。在一些实施例中,处理模块604可以处理第一初始图像以获得对应的第一处理后图像。第一初始图像的处理可以包括图像降噪、图像增强、图像超分辨处理、图像伪影去除等,或其任何组合。可选地或另外地,处理模块604可以使用用于图像处理的第三神经网络模型处理第一初始图像,例如图像降噪、图像增强、图像超分辨处理、图像伪影去除等。
在一些实施例中,处理模块604可以通过使用由获取模块602获得的神经网络模型处理一个或以上第二初始图像来生成一个或以上测试图像。在一些实施例中,处理模块604可以将第二初始图像输入到神经网络模型中以生成相应的测试图像(也称为第二处理后图像)。在一些实施例中,使用神经网络模型处理的测试图像相对于对应的第二初始图像可以具有更好的质量。
确定模块606可以被配置为将至少两个第一初始图像和至少两个第一处理后图像指定为至少两个训练样本。至少两个训练样本中的每一个可以包括第一初始图像和相应的处理后图像。
评估模块608可以被配置为用于评估由处理模块604生成的一个或以上测试图像中的每个测试图像相关的一个或以上质量参数。在一些实施例中,一个或以上质量参数可以包括噪声水平、分辨率、伪影程度、对比度等,或其任何组合。可以通过评估一个或以上质量参数来评估测试图像的质量。在一些实施例中,测试图像的质量可以由通过评估测试图像的一个或以上质量参数确定的分数来表示。测试图像的得分越高,测试图像的质量越高。
评估模块608也可以被配置为基于与一个或以上测试图像中的每一个相关的一个或以上质量参数的评估来确定神经网络模型的评价分数。在一些实施例中,评估模块608可以基于测试图像的一个或以上质量参数来确定每个测试图像的分数。评估模块608可以基于一个或以上测试图像的分数来确定神经网络模型的评价分数。关于神经网络模型的评估的更多描述可以在本申请的其他地方找到(例如,过程800的操作807和809及其描述)。
第二存储模块610可以被配置为存储信息和/或在过程700和800期间生成或使用的数据。例如,第二存储模块610可以存储第一训练样本、第二初始图像和/或测试图像。又例如,第二存储模块610可以存储待评估的神经网络模型(例如,第一神经网络模型、第二神经网络模型、目标神经网络模型)。作为另一示例,第二存储模块610可以存储质量参数、神经网络模型的分数等。
在一些实施例中,服务器设备600中的模块可以经由有线连接或无线连接,彼此连接或通信。有线连接可以包括金属线缆,光缆,混合电缆等或其任意组合。无线连接可以包括局域网络(LAN)、广域网(WAN)、蓝牙网络、无线个域网、近场通讯(NFC)等或其任意组合。
应该注意的是,上述仅出于说明性目的而提供,并不旨在限制本申请的范围。对于本领域的普通技术人员来说,可以根据本申请的描述,做出各种各样的修正和改变。然而,这些修正和改变不会背离本申请的范围。在一些实施例中,模块中的任何一个可以分为两个或以上单元。例如,获取模块602可以分为两个单元。第一单元可以被配置为获得训练样本,并且第二单元可以被配置为从服务器设备获得神经网络模型。
图7是根据本申请的一些实施例所示的用于确定训练样本的示例性过程的流程图。在一些实施例中,过程700的一个或以上操作可以在图1中所示的医疗系统100中实现。例如,过程700可以以指令(例如,应用程序)的形式存储在存储设备150中,并且由客户端130调用和/或执行(例如,如图2所示的计算设备200的处理器220、如图3所示的移动设备300的CPU340、如图6所示的服务器设备600的一个或以上模块等)。以下所示过程的操作旨在是说明性的。在一些实施例中,过程700在实施时可以添加一个或以上本申请未描述的附加操作,和/或删减一个或以上此处所描述的操作。另外,如图7所示和下面描述的过程700的操作的顺序不是限制性的。在一些实施例中,结合图5描述的至少两个第一训练样本和/或至少两个第二训练样本可以根据过程700生成。
在702中,服务器设备600(例如,获取模块602)可以获得至少两个第一初始图像。在一些实施例中,第一初始图像可以包括二维(2D)图像、三维(3D)图像、四维(4D)图像等,或其任何组合。第一初始图像可以是CT图像、MRI图像、PET图像等,或其组合。
在一些实施例中,可以基于由医疗设备(例如,医疗设备110)获取的扫描数据(例如,投影数据)使用第一重建技术来重建第一初始图像。在一些实施例中,第一重建技术可以包括迭代重建技术、分析重建技术等,或其组合。示例性迭代重建技术可以包括代数重建技术(ART)、联合迭代重建技术(SIRT)、联合代数重建技术(SART)、自适应统计迭代重建(ASIR)技术、基于模型的迭代重建(MAIR)技术、正弦图确认迭代重建(SAFIR)技术等,或其组合。示例性分析重建技术可以包括应用FDK算法、Katsevich算法等,或其组合。在一些实施例中,第一初始图像可以呈现第一图像质量。如这里所使用的,第一图像质量可以由第一初始图像的一个或以上质量参数来定义,例如噪声水平、对比度、分辨率、伪影程度等。
在一些实施例中,获取模块602可以从医疗系统100的一个或以上组件,例如,客户端130的第二存储模块610、医疗设备110、服务器设备140、存储设备(例如,存储设备150)等等获得至少两个第一初始图像。可选地或另外地,获取模块602可以经由网络120从外部源,例如,医学数据库、图片存档和通信系统(PACS)等获得至少两个第一初始图像。
在704中,服务器设备600(例如,处理模块604)可以生成至少两个第一处理后图像。至少两个第一处理后图像的每一个可以对应于至少两个第一处理后图像中的一个。在一些实施例中,第一处理后图像可以呈现第二图像质量。第一处理后图像的第二图像质量可以大于对应的第一初始图像的第一图像质量。例如,可以通过对相应的第一初始图像执行图像降噪操作来生成第一处理后图像。第一处理后图像可以包括比相应的第一初始图像更少的噪声。又例如,可以通过在相应的第一处理后图像上执行图像增强来生成第一初始图像。第一处理后图像的对比度可以高于相应的第一初始图像的对比度。
在一些实施例中,可以基于与对应的第一初始图像相关的扫描数据(例如,投影数据)使用第二重建技术来重建第一处理后图像。在一些实施例中,第一重建技术可以与第二重建技术不同。第一处理后图像的第二图像质量和基于相同扫描数据但不同重建技术重建的相应第一初始图像的第一图像质量可以是不同的。例如,使用分析重建技术重建的第一初始图像的噪声水平可以高于使用迭代重建技术重建的第一处理后图像的噪声水平。在一些实施例中,第一重建技术可以与第二重建技术相同。第一处理后图像的第二图像质量和基于相同图像数据和相同重建技术重建的相应第一初始图像的第一图像质量可以不同。例如,使用较小的切片厚度、较小的重建矩阵、较大的FOV等重建的第一初始图像的噪声水平可以高于使用更大切片厚度、更大重建矩阵、更小FOV等相同重建技术重建的相应的第一处理后图像的噪声水平。
在一些实施例中,处理模块604可以处理第一初始图像以获得对应的第一处理后图像。第一初始图像的处理可以包括图像降噪、图像增强、图像超分辨处理、图像伪影去除等,或其任何组合。关于第一初始图像的处理的细节可以在本申请的其他地方找到(例如,过程500的操作501及其描述)。可选地或另外地,处理模块604可以使用用于图像处理的第三神经网络模型处理第一初始图像,例如图像降噪、图像增强、图像超分辨处理、图像伪影去除等。在一些实施例中,第三神经网络模型可以被配置为用于将第一初始图像转换为对应的第一处理后图像。在一些实施例中,第三神经网络模型可以是客户端安装时存储在客户端中的配置的神经网络模型。获取模块602可以从客户端130的第二存储模块610、移动设备300的存储器390等获得神经网络模型。在一些实施例中,获取模块602可以从服务器设备(例如,第一存储模块412、训练模块404、更新模块410等)获得神经网络模型(例如,如图5中所描述的目标神经网络模型)。
在706中,服务器设备600(例如,确定模块606)可以将至少两个第一初始图像和至少两个第一处理后图像指定为至少两个训练样本。至少两个训练样本中的每一个可以包括第一初始图像和相应的处理后图像。在一些实施例中,训练样本可以用作第一训练样本以训练第一神经网络模型,如结合图5所述。可选地,结合图5,当需要更新目标神经网络模型时,训练样本可以用作第二训练样本以训练目标神经网络模型。
应当注意的是,响应于执行医疗应用的请求,以上对医疗应用分配计算资源的过程的描述仅仅是为了说明的目的而提供的,并不旨在限制本申请的范围。对于本领域的普通技术人员来说,可以根据本申请的描述,做出各种各样的修正和改变。然而,这些修正和改变不会背离本申请的范围。在一些实施例中,第一初始图像可以具有比第一处理后图像更好的质量。例如,第一初始图像可以是以高剂量生成的图像,其包括很少的噪声。处理模块604可以处理第一初始图像以生成第一处理后图像,其可以包括比第一初始图像更多的噪声。然后,第一初始图像和第一处理后图像可以构成训练样本。
图8是根据本申请的一些实施例所示的用于测试神经网络模型的示例性过程的流程图。在一些实施例中,过程800的一个或以上操作可以在图1中所示的医疗系统100中实现。例如,过程800可以以指令(例如,应用程序)的形式存储在存储设备150中,并且由客户端130调用和/或执行(例如,如图2所示的计算设备200的处理器220、如图3所示的移动设备300的CPU340、如图6所示的服务器设备600的一个或以上模块等)。以下所示过程的操作旨在是说明性的。在一些实施例中,过程800在实施时可以添加一个或以上本申请未描述的附加操作,和/或删减一个或以上此处所描述的操作。另外,如图8所示和下面描述的过程800的操作的顺序不是限制性的。在一些实施例中,可以根据过程800确定507中描述的第二神经网络模型的第一测试结果和/或图5中所示的515中描述的目标神经网络模型的第二测试结果。
在801中,服务器设备600(例如,获取模块602)可以获得一个或以上第二初始图像。可以以过程700的操作701类似的方式执行操作801,并且这里不再重复其描述。在一些实施例中,第二初始图像可以与图7中描述的至少两个第一初始图像中的一个相似或相同。例如,第二初始图像可以是二维(2D)图像、三维(3D)图像、四维(4D)图像等,或其任何组合。又例如,第二初始图像可以是CT图像、MR图像、PET图像等。作为又一个例子,第二初始图像可以是如图7所示的至少两个第一初始图像的一个。在一些实施例中,第二初始图像可以不同于图7中描述的至少两个第一初始图像中的任何一个。例如,可以基于由医疗设备110通过在当前时间段扫描第一对象而获取的投影数据来重建第二初始图像。可以基于由医疗设备110通过在先前时间段扫描第二对象而获取的投影数据来重建至少两个第一初始图像。第一物体和第二物体可以相同或不同。
在803中,服务器设备600(例如,获取模块602)可以获得神经网络模型。在一些实施例中,神经网络模型可以是用于图像处理的训练后的神经网络模型,例如,图像降噪、图像增强、图像超分辨处理、图像伪影去除等。例如,神经网络模型可以是如图5所示的第一神经网络模型、第二神经网络模型或目标神经网络模型。在一些实施例中,获取模块602可以从客户端130的第二存储模块610、移动设备300的存储器390等获得神经网络模型。在一些实施例中,获取模块602可以从服务器设备(例如,第一保存模块410、训练模块404、更新模块410等)获得神经网络模型。可选地,获取模块602可以响应于评估神经网络模型的请求来获得神经网络模型。
在805中,服务器设备600(例如,处理模块604)可以通过使用所获得的神经网络模型处理一个或以上第二初始图像来生成一个或以上测试图像。在一些实施例中,处理模块604可以将第二初始图像输入到神经网络模型中以生成相应的测试图像(也称为第二处理后图像)。在一些实施例中,使用神经网络模型处理的测试图像相对于对应的第二初始图像可以具有更好的质量。例如,如果神经网络模型被配置为对图像进行去噪,则使用神经网络模型处理的测试图像可以呈现出比第二初始图像更低的噪声水平。作为另一示例,如果神经网络模型被配置为用于增强图像,则使用神经网络模型处理的测试图像可以呈现出比第二初始图像更高的对比度。作为又一示例,如果神经网络模型被配置为减少图像中呈现的伪影,则使用神经网络模型处理的测试图像可能呈现出比第二初始图像更少的伪影。作为又一示例,如果神经网络模型被配置为用于提高图像的分辨率,则使用神经网络模型处理的测试图像可以呈现出比第二初始图像更高的分辨率。
在807中,服务器设备600(例如,评估模块608)可以评估与一个或以上测试图像中的每一个相关的一个或以上质量参数。在一些实施例中,一个或以上质量参数可以包括噪声水平、分辨率、伪影程度、对比度等,或其任何组合。可以通过评估一个或以上质量参数来评估测试图像的质量。例如,测试图像的噪声水平越低,测试图像的质量可能越高。作为另一示例,测试图像的噪声水平越低,并且测试图像中呈现的伪影越少,测试图像的质量可能越高。作为又一示例,测试图像的对比度越高、测试图像的分辨率越高、测试图像的噪声水平越低和/或测试图像中呈现的伪影越少,测试图像的质量可能越高。在一些实施例中,测试图像的质量可以由通过评估测试图像的一个或以上质量参数确定的分数来表示。测试图像的分数越高,测试图像的质量可以越高。在一些实施例中,评估模块608可以使用图像质量评估技术来评估与一个或以上测试图像中的每一个相关的一个或以上质量参数,例如,层次分析处理(AHP)算法、均方误差(MSE)、峰值信噪比(PSNR)算法、结构相似度(SSIM)算法等。
仅仅作为示例,使用层次分析处理算法来评估测试图像,可以给一个或以上质量参数中的每一个分配分数等级(例如,范围从1到5)。例如,测试图像的噪声水平的分数等级可以是4、测试图像的分辨率的分数等级可以是4、并且测试图像的伪影程度的分数等级可以是5。质量参数的分数等级可以由用户或根据质量评估模型(例如,卷积神经网络模型)来确定。评估模块608还可以根据医疗系统100的默认设置或用户的指令确定与测试图像有关的每个质量参数的权重。评估模块608可以基于分数水平和一个或以上质量参数的对应权重来确定测试图像的分数。
在809中,服务器设备600(例如,评估模块608)可以基于与一个或以上测试图像中的每一个相关的一个或以上质量参数的评估来确定神经网络模型的评价分数。在一些实施例中,评估模块608可以基于测试图像的一个或以上质量参数来确定每个测试图像的分数。评估模块608可以基于一个或以上测试图像的分数来确定神经网络模型的评价分数。例如,评估模块608可以基于一个或以上测试图像的分数确定参考值作为神经网络模型的评价分数。在一些实施例中,参考值可以包括一个或以上测试图像的分数的平均值、一个或以上测试图像的分数的中值、一个或以上测试图像的分数的方差、一个或以上测试图像的分数的标准偏差、一个或以上测试图像的分数的最小值、或者一个或以上测试图像的分数的最大值、或者从一个或以上测试图像的分数中得到的其他值。
在811中,服务器设备600可以将神经网络模型的测试结果发送到服务器设备(例如,服务器设备140)。在一些实施例中,神经网络模型的测试结果可以由神经网络模型的评价分数表示。在一些实施例中,可以基于神经网络模型的评价分数对神经网络模型进行分级,例如,“A”、“B”、“C”等。例如,如果神经网络模型的评价分数在第一范围内,则神经网络模型可以被分为“A”。如果神经网络模型的评价分数在第二范围内,神经网络模型可以被分为“B”。第一范围中的评价分数可以大于第二范围中的评价分数。神经网络模型的测试结果可以用神经网络模型的等级表示。
应当注意的是,响应于执行医疗应用的请求,以上对医疗应用分配计算资源的过程的描述仅仅是为了说明的目的而提供的,并不旨在限制本申请的范围。对于本领域的普通技术人员来说,可以根据本申请的描述,做出各种各样的修正和改变。然而,这些修正和改变不会背离本申请的范围。例如,可以同时执行操作801和803。又例如,可以在操作801之前执行操作803。作为又一示例,可以省略操作811。
上文已对基本概念做了描述,显然,对于已阅读此详细披露的本领域的普通技术人员来讲,上述详细披露仅作为示例,而并不构成对本申请的限制。虽然此处并没有明确说明,本领域技术人员可以对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议,所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时,本申请使用了特定词语来描述本申请的实施例。例如,“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此,应当强调并注意的是,本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外,本申请的一个或以上实施例中的某些特征、结构或特点可以进行适当的组合。
此外,本领域技术人员可以理解,本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们的任何新的和有用的改进。相应地,本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可以被称为“单元”、“模块”或“系统”。此外,本申请的各方面可以采取体现在一个或以上计算机可读介质中的计算机程序产品的形式,其中计算机可读程序代码包含在其中。
非暂时性计算机可读信号介质可以包括传播的数据信号,其中包含计算机可读程序代码,例如,在基带中或作为载波的一部分。所述传播信号可以有多种表现形式,包括电磁形式、光形式等等或任何合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至指令执行系统、装置或设备以实现通信、传播或传输供使用的程序。位于计算机可读信号介质上的程序代码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、RF等或任何上述介质的组合。
本申请各方面操作所需的计算机程序码可以用一种或多种程序语言的任意组合编写,包括面向对象编程语言,如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,常规程序化编程语言如C语言、VisualBasic、Fortran2003、Perl、COBOL2002、PHP、ABAP,动态编程语言如Python、Ruby和Groovy或其它编程语言。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(LAN)或广域网(WAN),或连接至外部计算机(例如通过互联网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。
此外,除非权利要求中明确说明,本申请所述处理元件和序列的顺序、数位字母的使用、或其他名称的使用,并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或以上发明实施例的理解,前文对本申请的实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。然而,本申请的方法不应被解释为反映所要保护的对象物质需要比每个权利要求中明确记载的更多特征的意图。相反,发明实施例应具备比上述单一实施例更少的特征。
在一些实施例中,用于描述和要求本申请的某些实施例的表示数量、属性等的数字应理解为在某些情况下由术语“约”、“近似”或“基本上”。例如,除非另外说明,否则“大约”、“近似”或“大体上”可表示其描述的值允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
本文中提及的所有专利、专利申请、专利申请公布和其他材料(如论文、书籍、说明书、出版物、记录、事物和/或类似的东西)均在此通过引用的方式全部并入本文以达到所有目的,与上述文件相关的任何起诉文档记录、与本文件不一致或冲突的任何上述文件或可能对现有的权利要求的最广泛范围具有限定性影响的任何上述文件除外。举例来说,如果与任何并入本文的材料相关的术语的描述、定义和/或术语使用之间有任何不一致或冲突,那么本文件中的描述、定义和/或术语使用应当优先。
最后,应当理解的是,本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可以属于本申请的范围。因此,作为示例而非限制,本申请实施例的替代配置可视为与本申请的教导一致。相应地,本申请的实施例不仅限于本申请明确介绍和描述的实施例。
Claims (10)
1.一种生成用于图像处理的神经网络模型的方法,所述方法包括:
由服务器通过网络从至少一个客户端接收至少两个第一训练样本;
基于所述至少两个第一训练样本,由所述服务器训练第一神经网络模型,以生成第二神经网络模型;以及
通过所述网络,由所述服务器将所述第二神经网络模型发送至所述至少一个客户端。
2.根据权利要求1所述的方法,其特征在于,所述至少两个第一训练样本中的每个训练样本包括第一初始图像和关于所述第一初始图像的第一处理后图像,所述第一处理后图像由所述至少一个客户端通过处理所述第一初始图像生成,所述第一处理后图像是由所述至少一个客户端通过使用第三神经网络模型处理所述第一初始图像生成。
3.根据权利要求1所述的方法,其特征在于,所述至少两个第一训练样本中的每个训练样本包括第一初始图像,所述基于所述至少两个第一训练样本训练第一神经网络模型,所述方法进一步包括:
对于所述至少两个第一训练样本中的每个训练样本,处理所述第一初始图像以获得第一处理后图像;以及
基于所述至少两个第一训练样本和分别对应于所述至少两个第一训练样本的至少两个第一处理后图像训练所述第一神经网络模型。
4.根据权利要求1所述的方法,其特征在于,所述方法进一步包括:
通过所述网络接收来自所述至少一个客户端的所述第二神经网络模型的第一测试结果;
响应于确定所述第一测试结果满足第一条件,由所述服务器将所述第二神经网络模型确定作为用于图像处理的目标神经网络模型;以及
响应于确定所述第一测试结果不满足所述第一条件,由所述服务器将所述第一神经网络模型确定为用于图像处理的所述目标神经网络模型。
5.根据权利要求4所述的方法,其特征在于,所述第二网络神经模型的所述第一测试结果包括所述第二神经网络模型的评价分数,所述方法进一步包括:
确定所述第二神经网络模型的所述评价分数是否大于阈值;以及
响应于确定所述第二神经网络模型的所述评价分数大于所述阈值,确定所述第一测试结果满足所述第一条件。
6.根据权利要求5所述的方法,其特征在于,所述第二神经网络模型的所述评价分数是通过基于与一个或以上所述测试图像中的每个测试图像相关的一个或以上质量参数评估一个或以上第一测试图像确定的,
其中,所述一个或以上测试图像由所述至少一个客户端通过使用所述第二神经网络模型处理一个或以上第二初始图像生成,并且所述一个或以上质量参数包括噪声水平、分辨率、对比度或伪影程度中的至少一个。
7.根据权利要求6所述的方法,其特征在于,所述至少一个处理器进一步被配置为指示所述系统:
响应于确定所述测试结果满足所述第一条件,通过所述网络接收来自所述至少一个客户端的所述一个或以上第二初始图像和所述一个或以上测试图像;以及
用所述接收的一个或以上第二初始图像和所述一个或以上测试图像更新所述至少两个第一训练样本。
8.根据权利要求1至7任一项所述的方法,所述至少一个处理器进一步被配置为指示所述系统:
从所述至少一个客户端获取所述目标神经网络模型的第二测试结果;
基于所述第二测试结果确定所述目标神经网络模型是否需要进行更新;以及
响应于确定所述目标神经网络模型的所述第二测试结果满足第二条件,使用至少两个第二训练样本来训练所述目标神经网络模型以获取训练后的目标神经网络模型。
9.根据权利要求1至8任一项所述的方法,其特征在于,用于图像处理的所述目标神经网络模型用于图像降噪、图像增强、图像超分辨处理、图像伪影去除、图像诊断或图像识别中的至少一个。
10.一种生成用于图像处理的神经网络模型的系统,包括:
至少一个服务器设备;
网络,被配置为促进所述至少一个服务器设备和至少一个客户端的通信,其中
所述至少一个服务器设备包括至少一个处理器和至少一个存储设备,用于存储指令集,所述至少一个处理器与所述至少一个存储设备通信,其中,当执行所述指令集时,所述至少一个处理器被配置为指示所述系统执行权利要求1至9任意一项描述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNPCT/CN2018/109135 | 2018-09-30 | ||
PCT/CN2018/109135 WO2020062262A1 (en) | 2018-09-30 | 2018-09-30 | Systems and methods for generating a neural network model for image processing |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109727663A true CN109727663A (zh) | 2019-05-07 |
Family
ID=66190206
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811625331.9A Pending CN109727663A (zh) | 2018-09-30 | 2018-12-28 | 生成用于图像处理的神经网络模型的系统和方法 |
CN201811628391.6A Active CN109685206B (zh) | 2018-09-30 | 2018-12-28 | 生成用于图像处理的神经网络模型的系统和方法 |
CN202210612660.XA Pending CN115062760A (zh) | 2018-09-30 | 2018-12-28 | 生成用于图像处理的神经网络模型的系统和方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811628391.6A Active CN109685206B (zh) | 2018-09-30 | 2018-12-28 | 生成用于图像处理的神经网络模型的系统和方法 |
CN202210612660.XA Pending CN115062760A (zh) | 2018-09-30 | 2018-12-28 | 生成用于图像处理的神经网络模型的系统和方法 |
Country Status (3)
Country | Link |
---|---|
US (3) | US11599796B2 (zh) |
CN (3) | CN109727663A (zh) |
WO (1) | WO2020062262A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110095742A (zh) * | 2019-05-13 | 2019-08-06 | 上海东软医疗科技有限公司 | 一种基于神经网络的平面回波成像方法和装置 |
CN110428375A (zh) * | 2019-07-24 | 2019-11-08 | 东软医疗系统股份有限公司 | 一种dr图像的处理方法及装置 |
CN111127356A (zh) * | 2019-12-18 | 2020-05-08 | 清华大学深圳国际研究生院 | 一种图像盲去噪系统 |
CN115147501A (zh) * | 2022-09-05 | 2022-10-04 | 深圳市明源云科技有限公司 | 图片解压方法、装置、终端设备以及存储介质 |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11756291B2 (en) | 2018-12-18 | 2023-09-12 | Slyce Acquisition Inc. | Scene and user-input context aided visual search |
US10977520B2 (en) * | 2018-12-18 | 2021-04-13 | Slyce Acquisition Inc. | Training data collection for computer vision |
CA3124435A1 (en) | 2018-12-19 | 2020-06-25 | Ecoatm, Llc | Systems and methods for vending and/or purchasing mobile phones and other electronic devices |
US11151993B2 (en) * | 2018-12-28 | 2021-10-19 | Baidu Usa Llc | Activating voice commands of a smart display device based on a vision-based mechanism |
US10997717B2 (en) * | 2019-01-31 | 2021-05-04 | Siemens Healthcare Gmbh | Method and system for generating a confidence score using deep learning model |
US11462868B2 (en) | 2019-02-12 | 2022-10-04 | Ecoatm, Llc | Connector carrier for electronic device kiosk |
AU2020224096A1 (en) * | 2019-02-18 | 2021-09-23 | Ecoatm, Llc | Neural network based physical condition evaluation of electronic devices, and associated systems and methods |
KR102222011B1 (ko) * | 2019-07-29 | 2021-03-04 | 주식회사 코어라인소프트 | 의료용 인공 신경망의 분석 결과를 평가하는 의료용 인공 신경망 기반 의료 영상 분석 장치 및 방법 |
KR102436512B1 (ko) * | 2019-10-29 | 2022-08-25 | 삼성전자주식회사 | 부호화 방법 및 그 장치, 복호화 방법 및 그 장치 |
CN114787825A (zh) * | 2019-12-09 | 2022-07-22 | 三星电子株式会社 | 电子设备及电子设备的控制方法 |
CN111091518B (zh) * | 2019-12-31 | 2023-05-02 | 北京金山云网络技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN111292378A (zh) * | 2020-03-12 | 2020-06-16 | 南京安科医疗科技有限公司 | 一种ct扫描辅助方法、装置及计算机可读存储介质 |
US20230210377A1 (en) * | 2020-06-05 | 2023-07-06 | National University Of Singapore | Deep fluorescence imaging by laser-scanning excitation and artificial neural network processing |
CN111738416B (zh) * | 2020-06-17 | 2023-07-18 | 北京字节跳动网络技术有限公司 | 模型同步更新方法、装置及电子设备 |
US11922467B2 (en) | 2020-08-17 | 2024-03-05 | ecoATM, Inc. | Evaluating an electronic device using optical character recognition |
CN111950655B (zh) * | 2020-08-25 | 2022-06-14 | 福州大学 | 一种基于多领域知识驱动的图像美学质量评价方法 |
CN112070224B (zh) * | 2020-08-26 | 2024-02-23 | 成都品果科技有限公司 | 一种神经网络训练用样本的修订系统及方法 |
CN112258401B (zh) * | 2020-09-28 | 2022-09-16 | 北京深睿博联科技有限责任公司 | 一种图像增强方法及装置 |
CN112350995A (zh) * | 2020-09-30 | 2021-02-09 | 山东众阳健康科技集团有限公司 | 一种影像处理方法、装置、设备和存储介质 |
CN112381741B (zh) * | 2020-11-24 | 2021-07-16 | 佛山读图科技有限公司 | 基于spect数据采样与噪声特性的断层图像重建方法 |
CN112597046A (zh) * | 2020-12-29 | 2021-04-02 | 上海商汤智能科技有限公司 | 测试方法、装置、计算机设备及存储介质 |
EP4036843A1 (en) * | 2021-02-02 | 2022-08-03 | Siemens Healthcare GmbH | Method and apparatus for processing a medical image |
US11710218B2 (en) * | 2021-03-17 | 2023-07-25 | GE Precision Healthcare LLC | System and method for normalizing dynamic range of data acquired utilizing medical imaging |
CN113589937B (zh) * | 2021-08-04 | 2024-04-02 | 浙江大学 | 一种基于孪生网络核回归的侵入式脑机接口解码方法 |
CN115718930A (zh) * | 2022-11-30 | 2023-02-28 | 北京航天数据股份有限公司 | 一种基于用户画像的用户服务系统、方法及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1637762A (zh) * | 2003-12-22 | 2005-07-13 | 株式会社东芝 | 图像质量管理系统 |
CN106709917A (zh) * | 2017-01-03 | 2017-05-24 | 青岛海信医疗设备股份有限公司 | 神经网络模型训练方法、装置及系统 |
CN108665457A (zh) * | 2018-05-16 | 2018-10-16 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、存储介质及计算机设备 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040107244A1 (en) | 2002-12-02 | 2004-06-03 | Hung-Chi Kuo | Scalable and intelligent network platform for distributed system |
US20170116498A1 (en) * | 2013-12-04 | 2017-04-27 | J Tech Solutions, Inc. | Computer device and method executed by the computer device |
US20170161592A1 (en) * | 2015-12-04 | 2017-06-08 | Pilot Ai Labs, Inc. | System and method for object detection dataset application for deep-learning algorithm training |
CN105930774A (zh) | 2016-04-14 | 2016-09-07 | 中铁大桥勘测设计院集团有限公司 | 一种基于神经网络的桥梁螺栓脱落自动识别方法 |
US10552968B1 (en) * | 2016-09-23 | 2020-02-04 | Snap Inc. | Dense feature scale detection for image matching |
CN106709565A (zh) * | 2016-11-16 | 2017-05-24 | 广州视源电子科技股份有限公司 | 一种神经网络的优化方法及装置 |
KR101936136B1 (ko) * | 2017-01-11 | 2019-01-09 | 인하대학교 산학협력단 | 기계 학습 기반의 온열 환경 예측 장치 및 그 방법 |
CN107256423A (zh) * | 2017-05-05 | 2017-10-17 | 深圳市丰巨泰科电子有限公司 | 一种增广神经网架构及其训练方法、计算机可读存储介质 |
CN107977707B (zh) * | 2017-11-23 | 2020-11-06 | 厦门美图之家科技有限公司 | 一种对抗蒸馏神经网络模型的方法及计算设备 |
CN108229534A (zh) * | 2017-11-28 | 2018-06-29 | 北京市商汤科技开发有限公司 | 神经网络模型迁移方法和系统、电子设备、程序和介质 |
CN110349156B (zh) * | 2017-11-30 | 2023-05-30 | 腾讯科技(深圳)有限公司 | 眼底图片中病变特征的识别方法和装置、存储介质 |
-
2018
- 2018-09-30 WO PCT/CN2018/109135 patent/WO2020062262A1/en active Application Filing
- 2018-12-27 US US16/233,200 patent/US11599796B2/en active Active
- 2018-12-28 CN CN201811625331.9A patent/CN109727663A/zh active Pending
- 2018-12-28 CN CN201811628391.6A patent/CN109685206B/zh active Active
- 2018-12-28 CN CN202210612660.XA patent/CN115062760A/zh active Pending
-
2023
- 2023-03-06 US US18/179,340 patent/US11907852B2/en active Active
-
2024
- 2024-02-08 US US18/436,177 patent/US20240177008A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1637762A (zh) * | 2003-12-22 | 2005-07-13 | 株式会社东芝 | 图像质量管理系统 |
CN106709917A (zh) * | 2017-01-03 | 2017-05-24 | 青岛海信医疗设备股份有限公司 | 神经网络模型训练方法、装置及系统 |
CN108665457A (zh) * | 2018-05-16 | 2018-10-16 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、存储介质及计算机设备 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110095742A (zh) * | 2019-05-13 | 2019-08-06 | 上海东软医疗科技有限公司 | 一种基于神经网络的平面回波成像方法和装置 |
CN110095742B (zh) * | 2019-05-13 | 2022-02-08 | 上海东软医疗科技有限公司 | 一种基于神经网络的平面回波成像方法和装置 |
CN110428375A (zh) * | 2019-07-24 | 2019-11-08 | 东软医疗系统股份有限公司 | 一种dr图像的处理方法及装置 |
CN110428375B (zh) * | 2019-07-24 | 2024-03-01 | 东软医疗系统股份有限公司 | 一种dr图像的处理方法及装置 |
CN111127356A (zh) * | 2019-12-18 | 2020-05-08 | 清华大学深圳国际研究生院 | 一种图像盲去噪系统 |
CN115147501A (zh) * | 2022-09-05 | 2022-10-04 | 深圳市明源云科技有限公司 | 图片解压方法、装置、终端设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109685206B (zh) | 2022-04-12 |
CN115062760A (zh) | 2022-09-16 |
US11907852B2 (en) | 2024-02-20 |
US11599796B2 (en) | 2023-03-07 |
US20240177008A1 (en) | 2024-05-30 |
US20230222346A1 (en) | 2023-07-13 |
CN109685206A (zh) | 2019-04-26 |
WO2020062262A1 (en) | 2020-04-02 |
US20200104720A1 (en) | 2020-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109727663A (zh) | 生成用于图像处理的神经网络模型的系统和方法 | |
CN110809782B (zh) | 衰减校正系统和方法 | |
CN112424835B (zh) | 用于图像重建的系统和方法 | |
CN108030502A (zh) | 用于空气校正的系统和方法 | |
CN112368738B (zh) | 用于图像优化的系统和方法 | |
CN111462020B (zh) | 心脏图像的运动伪影校正方法、系统、存储介质和设备 | |
CN110298897A (zh) | 用于正电子发射断层成像图像重建的系统和方法 | |
CN107808379A (zh) | 图像处理系统、方法、装置和计算机可读介质 | |
CN108780571A (zh) | 一种图像处理方法和系统 | |
CN109009199A (zh) | 用于正电子发射断层扫描中的图像数据处理的系统和方法 | |
US10593073B2 (en) | System and method for removing hard tissue in CT image | |
CN107330951A (zh) | 图像重建系统及方法 | |
CN107886553A (zh) | 图像重建系统和方法 | |
CN110996800B (zh) | 用于确定pet成像动力学参数的系统、方法及非暂时性计算机可读介质 | |
EP2812880A1 (en) | Clinically driven image fusion | |
CN108986892A (zh) | 用于确定活度图和衰减图的系统和方法 | |
CN109658472A (zh) | 处理正电子发射计算机断层扫描图像数据的系统和方法 | |
US20240185484A1 (en) | System and method for image reconstruction | |
US20200380737A1 (en) | Method and system for improving ct image quality | |
US20200349746A1 (en) | System and method for 3d image reconstruction from axial step-and-shoot ct | |
CN108921913A (zh) | 图像重建的系统及方法 | |
US11941805B2 (en) | Systems and methods for image processing | |
WO2023216057A1 (en) | System and method for medical imaging | |
US11941731B2 (en) | Systems and methods for image processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 201807 Shanghai City, north of the city of Jiading District Road No. 2258 Applicant after: Shanghai Lianying Medical Technology Co.,Ltd. Address before: 201807 Shanghai City, north of the city of Jiading District Road No. 2258 Applicant before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd. |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190507 |