CN111489325B - 一种甲亢疾病即时鉴定装置及其控制方法 - Google Patents
一种甲亢疾病即时鉴定装置及其控制方法 Download PDFInfo
- Publication number
- CN111489325B CN111489325B CN201911294927.XA CN201911294927A CN111489325B CN 111489325 B CN111489325 B CN 111489325B CN 201911294927 A CN201911294927 A CN 201911294927A CN 111489325 B CN111489325 B CN 111489325B
- Authority
- CN
- China
- Prior art keywords
- image
- human body
- neural network
- hyperthyroidism
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010020850 Hyperthyroidism Diseases 0.000 title claims abstract description 50
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 4
- 230000010485 coping Effects 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 38
- 238000003384 imaging method Methods 0.000 claims description 34
- 238000013527 convolutional neural network Methods 0.000 claims description 27
- 238000005286 illumination Methods 0.000 claims description 21
- 230000007935 neutral effect Effects 0.000 claims description 21
- 238000005457 optimization Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000001678 irradiating effect Effects 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 3
- 230000006641 stabilisation Effects 0.000 claims description 3
- 238000011105 stabilization Methods 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims 1
- 230000001965 increasing effect Effects 0.000 abstract description 9
- 238000003745 diagnosis Methods 0.000 abstract 4
- 230000008859 change Effects 0.000 description 6
- 201000010099 disease Diseases 0.000 description 6
- 238000011161 development Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 208000024799 Thyroid disease Diseases 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 210000000750 endocrine system Anatomy 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Vascular Medicine (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种甲亢疾病即时鉴定装置及其控制方法,包括人体图像特征采集模块和深度卷积神经网络模块,人体图像特征采集模块与深度卷积神经网络模块信号连接。具体步骤:S1、通过人体图像特征采集模块即时捕捉人体图像特征;S2、图像处理单元对人体图像特征进行重构,输出3D信息图像;S3、将3D信息图像输入已完成训练神经网络预测诊断结果,并实时返回诊断应对方法;S4、将诊断结果及捕捉到的3D信息图像输入至服务器存储,再将图像预处理过后,重新输入神经网络进行微调,形成一个增量循环训练网络结构。在不增加参数的情况下提高泛化能力。本发明具有一定的准确性和即时性,能够有效率快速提供诊断结果,使得患者可以随时得知自己的病情。
Description
技术领域
本发明涉及疾病鉴定技术领域,尤其是涉及一种甲亢疾病即时鉴定装置及其控制方法。
背景技术
甲状腺疾病是内分泌系统最常见和多发的疾病,常引起临床各学科的关注,其中又以甲状腺功能亢进最为多见。如何高效率地对疾病进行鉴定成为我们需要考虑的问题,国内虽然有健康管理系统设置了关于甲亢疾病的预测评价,但其效率均有待提升,对数据的分析有过多的要求。而甲亢疾病在内分泌疾病中发病率较高,且其患病时间越长,治愈也越困难,如何及时发现并治疗甲亢疾病至关重要。而目前发现甲亢疾病一般通过病人到医院就诊发现,缺乏一种病人自行发现的鉴定装置,同时,甲亢疾病具有阶段性的特点,病人需要反复去医院检查去发现自身发病阶段,缺少自我鉴定的装置。
发明内容
针对目前缺少病人对甲亢疾病自我鉴定的装置,本发明提出了一种甲亢疾病即时鉴定装置及其控制方法,针对甲亢疾病发展的阶段性特点,本装置可以清晰地采集人体图像,并通过卷积神经网络提取人体图像特征,如眼睛、脖子等面部特征,得到这些病因之间的逻辑关联和变量,形成可预测甲亢病情的神经网络模型。本装置具有一定的准确性和即时性,能够有效率的对甲亢病情进行一定的鉴定,并能快速提供结果,使得患者可以随时得知自己的病情。
为实现上述目的,本发明提供以下的技术方案:
一种甲亢疾病即时鉴定装置,包括人体图像特征采集模块和深度卷积神经网络模块,人体图像特征采集模块与深度卷积神经网络模块信号连接。
由人体特征图像采集模块得到图像并传入卷积神经网络预测甲亢患病概率,通过前置成像镜组能够快速的捕捉到患者的图像特征以及3D特征,使预测更有效率且准确。
作为优选,所述人体图像特征采集模块包括机架、中性密度滤波片、前置成像镜组、微透镜组、双子人体摄像机模块和照明光源,所述中性密度滤波片、前置成像镜组、微透镜组依次固定在机架内,所述照明光源在中性密度滤波片前固定在机架内,所述双子人体摄像机模块在微透镜组后固定在机架内。中性密度滤光片[neutral density filter]是一种可以减少或者改变所有波长或者颜色但不会改变改变色调的滤光片,使用这种滤光片可以部署较大光圈的照相机,从而减小场景的景深,更好地将目标与背景分离。
作为优选,所述照明光源包括对称设置在机架内的第一子照明源和第二子照明源,所述双子人体摄像机模块滑动设置有第一滑动子人体摄相机和第二滑动子人体摄相机。
作为优选,深度卷积神经网络模块包括医院甲亢患者日常监控数据单元、甲亢患者数据库、预训练模型、网络模型、服务器、图像处理单元和训练好的深度卷积神经网络,所述第一滑动子人体摄相机和第二滑动子人体摄相机与图像处理单元信号连接,图像处理单元与服务器信号连接,服务器与信号连接训练好的深度卷积神经网络和甲亢患者数据库信号连接,甲亢患者数据库与预训练模型信号连接,预训练模型与网络模型信号连接、网络模型与训练好的深度卷积神经网络信号连接。
利用预训练模型,并将新的数据反复更新训练提高了网络的泛化能力,且不增加网络的参数,使装置具备优越的即时性。
一种甲亢疾病即时鉴定装置的控制方法,采用上述一种甲亢疾病即时鉴定装置,包括以下步骤:
S1、通过人体图像特征采集模块即时捕捉人体图像特征;
S2、图像处理单元对人体图像特征进行重构,输出3D信息图像;
S3、将3D信息图像输入已完成训练神经网络预测鉴定结果,并实时返回鉴定应对方法;
S4、将鉴定结果及捕捉到的3D信息图像输入至服务器存储,再将图像预处理过后,重新输入神经网络进行微调,形成一个增量循环训练网络结构。在不增加参数的情况下提高泛化能力。
作为优选,所述步骤S1具体包括:
S101、通过对称照明源,对目标测量物进行照射,得到对称的图像;
S102、图像通过中性密度滤光片,减少所有光的波长;使用这种滤光片,同时部署具有较大光圈的照相机,从而减小场景的景深,使得更好地将物体与背景分离,快速提取出有效信息;
S103、图像再透过凸透镜投影到微透镜组上,微透镜组通过视角截取,将成像位置锁定在人体的关键部位;从而提高训练和预测的速率,多个微透镜成像求和,提高了清晰度丰富了图像特征信息;
S104、将第一滑动子人体摄相机向下平移,或第二滑动子人体摄相机向上平移,使得物体在成像面上重合,从而得到多张图像。
将上边的相机向下平移,使得物体在成像面上重合,那么最终目标在两个相机成像的照片里位置就会完全相同,相当于把原始位置的目标向下平移了一段距离,使之与另一个相机的图像叠加。同理,将下边的相机向上平移,使得物体在成像面上与上边初始位置的摄像机成像重合。
作为优选,所述步骤S2采用采样重建裁剪图像算法重构3D信息图像,具体包括:计算出对数的比值衡量强度I,入射强度I0,公式如下:
I/I0=10d
d是中性密度滤光片光学密度,微透镜组将成像视角截取中央区域,滤出不必要的信息,增加准确性。
l=∑p(w,v,s,t)
采用双参数平面法,l为截取视角,p为每个微透镜的中央像素,(w,v)为记录面坐标,(s,t)为观察面坐标。
用L(n,u)表示由微透镜组入射到镜头前虚拟位置的光线,则有:
L(n,u)=λ0L(n0,u0)+λ1L(n1,u1)
式中(ni,ui)为入射光线在i平面上的位置坐标,且i=0时为记录面,i=1时为观察面,λi为坐标系数,
设未知函数f在任意点p=(x,y)的值,令qMZ=(xM,yZ),M和Z等于0或1,且已知像素坐标x1、x2、y1、y2,另外rz=(x,yz),首先在x方向进行插值,得到:
且r1=(x,y1)
且r2=(x,y2)
采用双线性插值的方法,在y方向上进行插值,得到:
得到所要的图像信息中任意像素值的结果,并将多张图像进行采样重建,构建出带有3D信息图像:
得到任意像素坐标点(x,y)的像素值。
作为优选,所述步骤S3中已完成训练神经网络的训练过程如下:
神经网络模型的输入层为N个shape=[batch_size,512,512,3]的张量,隐含层个数为N*2+1,输出层为一个节点,batch_size为优化算法中同一批迭代样本数量。
需要优化的损失函数为:
J(θ)=E(in,target)Loss(f(in;θ),target)
上述式中Loss为损失函数,E为最小化函数,in为输入数据,target为目标数据,θ初始模型参数,f(in;θ)模型输出函数。
这里用的两种优化算法分别为SGD和Adam,涉及参数为Loss函数梯度值,参数▽θ为函数的导数,e为卷积,in(m)为数据集中输入的第m个样本,target(i)为对应目标,ξk为学习率,θ为模型初始参数,s为一阶矩变量,r为二阶矩变量,ρ1、ρ2为矩估计的指数衰减率,δ为数值稳定的小常数,t为时间常数:
1)SGD
输入学习率ξk,初始参数θ:
当为满足停止条件时,从训练集中采集包含m个样本
{in(1),in(2),...,in(m)}的小批量,其中数据in(i)对应目标target(i);
计算梯度估计:
更新参数:
2)Adam
输入全局学习率ξk(默认0.001),矩估计的指数衰减率为ρ1、ρ2且两个值在区间[0,1)内(默认ρ1=0.9与ρ2=0.999),用于数值稳定的小常数为δ(默认10-7);
输入初始参数θ,初始化一阶矩和二阶矩变量s=0,r=0;初始化时间步t=0,当未满足停止条件时,从训练集中采集包含m个样本{in(1),in(2),...,in(m)},其中数据in(i)对应目标target(i);
计算梯度估计:
t←t+1;
更新有偏一阶矩估计:s←ρ1s+(1-p1)g;
更新有偏二阶矩估计:r←ρ2r+(1-ρ2)ge g。
在神经网络训练期间,实际上可以等效于减小损失函数的过程,神经网络算法发展初始阶段,一般选择的是梯度下降算法,通过批量输入数据,得到输出数据,并与目标函数做差算出损失函数值,减小损失函数值的方法是改变网络中的参数。最终目的是,使得输入对应输出,并算出的损失函数值达到最低点,等效于输出接近于理想值。上述优化算法,从损失函数收敛速度,梯度下降速度,自适应下降方面进行优化。使得损失函数尽量趋近于全局最优解。
本发明有以下有益效果:由人体特征图像采集模块得到图像并传入卷积神经网络预测甲亢患病概率,通过前置成像镜组能够快速的捕捉到患者的图像特征以及3D特征,使预测更有效率且准确;利用预训练模型,并将新的数据反复更新训练提高了网络的泛化能力,且不增加网络的参数,使装置具备优越的即时性。
附图说明
图1是实施例的装置结构图;
图2是实施例中网络模型的架构图;
其中:1、目标测量物 201、第一子照明源 202、第二子照明源 3、中性密度滤波片4、前置成像镜组 5、微透镜组 6、双子人体摄像机模块601、第一滑动子人体摄相机 602、第二滑动子人体摄相机 7、图像处理单元 8、服务器 9、甲亢患者数据库 10、预训练模型 11、网络模型 12、医院甲亢患者日常监控数据单元 13、训练好的深度卷积神经网络 14、机架15、人体图像特征采集模块 16、深度卷积神经网络模块。
具体实施方式
实施例:
本实施例提出一种甲亢疾病即时鉴定装置,参考图1,包括人体图像特征采集模块和深度卷积神经网络模块,人体图像特征采集模块15与深度卷积神经网络模块16信号连接。
由人体特征图像采集模块得到图像并传入卷积神经网络预测甲亢患病概率,通过前置成像镜组能够快速的捕捉到患者的图像特征以及3D特征,使预测更有效率且准确。
人体图像特征采集模块15包括机架14、中性密度滤波片3、前置成像镜组4、微透镜组5、双子人体摄像机模块6和照明光源,中性密度滤波片3、前置成像镜组4、微透镜组5依次固定在机架14内,照明光源在中性密度滤波片3前固定在机架14内,双子人体摄像机模块6在微透镜组5后固定在机架14内。中性密度滤光片[neutral density filter]是一种可以减少或者改变所有波长或者颜色但不会改变改变色调的滤光片,使用这种滤光片可以部署较大光圈的照相机,从而减小场景的景深,更好地将目标与背景分离。
照明光源包括对称设置在机架14内的第一子照明源201和第二子照明源202,双子人体摄像机模块6滑动设置有第一滑动子人体摄相机(601)和第二滑动子人体摄相机(602)。
深度卷积神经网络模块16包括医院甲亢患者日常监控数据单元12、甲亢患者数据库9、预训练模型10、网络模型11、服务器8、图像处理单元7和训练好的深度卷积神经网络13,第一滑动子人体摄相机(601)和第二滑动子人体摄相机(602)与图像处理单元7信号连接,图像处理单元7与服务器8信号连接,服务器8与信号连接训练好的深度卷积神经网络13和甲亢患者数据库9信号连接,甲亢患者数据库9与预训练模型10信号连接,预训练模型10与网络模型11信号连接、网络模型11与训练好的深度卷积神经网络13信号连接。
利用预训练模型,并将新的数据反复更新训练提高了网络的泛化能力,且不增加网络的参数,使装置具备优越的即时性。
本实施例还提出一种甲亢疾病即时鉴定装置的控制方法,采用上述的一种甲亢疾病即时鉴定装置,包括以下步骤:
S1、通过人体图像特征采集模块15即时捕捉人体图像特征,具体包括:
S101、通过对称照明源,对目标测量物1进行照射,得到对称的图像;
S102、图像通过中性密度滤光片,减少所有光的波长;使用这种滤光片,同时部署具有较大光圈的照相机,从而减小场景的景深,使得更好地将物体与背景分离,快速提取出有效信息;
S103、图像再透过凸透镜投影到微透镜组上,微透镜组通过视角截取,将成像位置锁定在人体的关键部位;从而提高训练和预测的速率,多个微透镜成像求和,提高了清晰度丰富了图像特征信息;
S104、将第一滑动子人体摄相机(601)向下平移,或第二滑动子人体摄相机(602)向上平移,使得物体在成像面上重合,从而得到多张图像。
将上边的相机向下平移,使得物体在成像面上重合,那么最终目标在两个相机成像的照片里位置就会完全相同,相当于把原始位置的目标向下平移了一段距离,使之与另一个相机的图像叠加。同理,将下边的相机向上平移,使得物体在成像面上与上边初始位置的摄像机成像重合。
S2、图像处理单元7对人体图像特征进行重构,输出3D信息图像,采用采样重建裁剪图像算法重构3D信息图像,具体包括:计算出对数的比值衡量强度I,入射强度I0,公式如下:
I/I0=10d
d是中性密度滤光片光学密度,微透镜组将成像视角截取中央区域,滤出不必要的信息,增加准确性。
l=∑p(w,v,s,t)
采用双参数平面法,l为截取视角,p为每个微透镜的中央像素,(w,v)为记录面坐标,(s,t)为观察面坐标。
用L(n,u)表示由微透镜组入射到镜头前虚拟位置的光线,则有:
L(n,u)=λ0L(n0,u0)+λ1L(n1,u1)
式中(ni,ui)为入射光线在i平面上的位置坐标,且i=0时为记录面,i=1时为观察面,λi为坐标系数,
设未知函数f在任意点p=(x,y)的值,令qMZ=(xM,yZ),M和Z等于0或1,且已知像素坐标x1、x2、y1、y2,另外rz=(x,yz),首先在x方向进行插值,得到:
且r1=(x,y1)
且r2=(x,y2)
采用双线性插值的方法,在y方向上进行插值,得到:
得到所要的图像信息中任意像素值的结果,并将多张图像进行采样重建,构建出带有3D信息图像:
得到任意像素坐标点(x,y)的像素值。
S3、将3D信息图像输入已完成训练神经网络预测鉴定结果,并实时返回鉴定应对方法,已完成训练神经网络的训练过程如下:
神经网络模型的输入层为N个shape=[batch_size,512,512,3]的张量,隐含层个数为N*2+1,输出层为一个节点,batch_size为优化算法中同一批迭代样本数量。
需要优化的损失函数为:
J(θ)=E(in,target)Loss(f(in;θ),target)
上述式中Loss为损失函数,E为最小化函数,in为输入数据,target为目标数据,θ初始模型参数,f(in;θ)模型输出函数。
这里用的两种优化算法分别为SGD和Adam,涉及参数为Loss函数梯度值,参数▽θ为函数的导数,e为卷积,in(m)为数据集中输入的第m个样本,target(i)为对应目标,ξk为学习率,θ为模型初始参数,s为一阶矩变量,r为二阶矩变量,ρ1、ρ2为矩估计的指数衰减率,δ为数值稳定的小常数,t为时间常数:
1)SGD
输入学习率ξk,初始参数θ:
当为满足停止条件时,从训练集中采集包含m个样本
{in(1),in(2),...,in(m)}的小批量,其中数据in(i)对应目标target(i);
计算梯度估计:
更新参数:
2)Adam
输入全局学习率ξk(默认0.001),矩估计的指数衰减率为ρ1、ρ2且两个值在区间[0,1)内(默认ρ1=0.9与ρ2=0.999),用于数值稳定的小常数为δ(默认10-7);
输入初始参数θ,初始化一阶矩和二阶矩变量s=0,r=0;初始化时间步t=0,当未满足停止条件时,从训练集中采集包含m个样本{in(1),in(2),...,in(m)},其中数据in(i)对应目标target(i);
计算梯度估计:
t←t+1;
更新有偏一阶矩估计:s←ρ1s+(1-p1)g;
更新有偏二阶矩估计:r←ρ2r+(1-ρ2)ge g。
在神经网络训练期间,实际上可以等效于减小损失函数的过程,神经网络算法发展初始阶段,一般选择的是梯度下降算法,通过批量输入数据,得到输出数据,并与目标函数做差算出损失函数值,减小损失函数值的方法是改变网络中的参数。最终目的是,使得输入对应输出,并算出的损失函数值达到最低点,等效于输出接近于理想值。上述优化算法,从损失函数收敛速度,梯度下降速度,自适应下降方面进行优化。使得损失函数尽量趋近于全局最优解。
S4、将鉴定结果及捕捉到的3D信息图像输入至服务器存储,再将图像预处理过后,重新输入神经网络进行微调,形成一个增量循环训练网络结构。在不增加参数的情况下提高泛化能力。
为了使本发明的目的、技术方案及优点更加清楚明白,以下对本发明进行进一步详细说明,前置成像镜组4的放大倍率约在0.0144~0.12倍之间,以使得人体关键部位完整地成像与人体摄像机6的靶面上。人体摄像机的靶面尺寸再22mm×16.8mm到72mm×48mm之间,本发明方法的具体操作流程如下:
1.通过对称照明源,对目标测量物进行照射,得到对称成像;
2.再通过中性密度滤光片,减少所有波长的光,使用这种滤光片,同时部署具有较大光圈的照相机,从而减小场景的景深,使得更好地将物体与背景分离,快速提取出有效信息;
3.透过凸透镜投影到微透镜组上,微透镜组通过视角截取,将成像位置锁定在人体的关键部位,从而提高训练和预测的速率,多个微透镜成像求和,提高了清晰度丰富了图像特征信息;
4.人体摄像机有两个子人体摄像机组合而成,将上边的相机向下平移,使得物体在成像面上重合,那么最终目标在两个相机成像的照片里位置就会完全相同,相当于把原始位置的目标向下平移了一段距离,使之与另一个相机的图像叠加。同理,将下边的相机向上平移,使得物体在成像面上与上边初始位置的摄像机成像重合,从而得到多张图片;
5.通过人体摄像机捕捉成像后,传入图像处理单元进行处理,通过截取9幅图片,进行3×3的采样,并以图片中心位置进行重构,重新构图裁剪画面,最终得到带有3D信息的图片,使神经网络可以更加高效的提取到目标的特征;
6.通过医院甲亢患者日常监控数据进行预处理,筛选出可用的数据集,并进行数据增强;
7.将预处理过后的数据集通过神经网络进行训练,深度卷积神经网络包括两部分,第一部分是已经训练好的预训练模型,如Resnet50、Resnet101第二部分数网络模型。预训练模型是具有一定识别能力的网络,将它作为网络的前端输入,可以提高网络的整体泛化能力,也可以使得网络训练时收敛的速度更快,节约训练时间;
8.网络模块框架如图2所示,包括卷积层conv,用于提取图片特征;池化层pool,用于对图片进行采样;全连接层FC,用于将输出张量压缩至一个维度,激活函数为relu,激活函数为非线性映射,并在每层输出后都通过一个norm层进行归一化,避免在训练时发生梯度爆炸或是梯度消失的情况,增强网络的鲁棒性,最后通过softmax层对前一层中多个神经元的输出,映射至(0,1)区间内,使得结果为一个概率值,这个概率值也作为预测甲亢疾病病情的严重程度;
9.将预处理后的数据输入至预训练网络模型中,将输入的图片编码为特征张量,特征张量具体为上述步骤8中的卷积层、池化层和全连接层的组合如Resnet50,再将得到的特征张量输入网络模块中进行训练,通过上述优化算法,将损失函数值降低至最低点,得到训练好的深度卷积神经网络;
10.将从人体特征图像采集模块捕捉到的图片输入训练好的深度卷积神经网络,得到患者的鉴定结果,通过网络输出概率值,并对正常状况和甲亢疾病进行评估,预测出来的概率值能够代表两种类别的程度;
11.将患者的鉴定结果输出,并传输至服务器存储;
12.将捕捉到的图像传入图像处理单元,预处理过后,传入甲亢患者数据库进行存储,当数据集达到一定阈值时,系统自动开启网络训练模式,进行微调,增加网络的泛化能力及鲁棒性。
人体特征图像采集模块通过计算摄像学、光学成像原理,通过人体摄像机快速捕捉到图像,并传入神经网络进行预测输出,整个过程可实现即时性,患者在当时即可拿到鉴定结果提高了效率。除此之外,通过移动双子摄像机,再通过采样重建裁剪图像,得到存有3D信息的图像,可以提高训练的鲁棒性和测试的准确性。其次,网络通过一个增量循环结构,不断微调网络模型,在不增加参数的前提下,增加网络的泛化能力。总体来说,基于深度卷积神经网络及人体图像特征采集的甲亢疾病即时鉴定装置能够有效的提高效率及准确性。
本发明有以下有益效果:由人体特征图像采集模块得到图像并传入卷积神经网络预测甲亢患病概率,通过前置成像镜组能够快速的捕捉到患者的图像特征以及3D特征,使预测更有效率且准确;利用预训练模型,并将新的数据反复更新训练提高了网络的泛化能力,且不增加网络的参数,使装置具备优越的即时性。
Claims (6)
1.一种甲亢疾病即时鉴定装置的控制方法,采用一种甲亢疾病即时鉴定装置,其特征是,所述装置包括人体图像特征采集模块和深度卷积神经网络模块,人体图像特征采集模块(15)与深度卷积神经网络模块(16)信号连接,所述方法包括以下步骤:
S1、通过人体图像特征采集模块(15)即时捕捉人体图像特征;
S2、图像处理单元(7)对人体图像特征进行重构,输出3D信息图像;
所述步骤S2采用采样重建裁剪图像算法重构3D信息图像,具体包括:计算出对数的比值衡量强度I,入射强度I0,公式如下:
I/I0=10d
d是中性密度滤波片光学密度,微透镜组将成像视角截取中央区域,
l=∑p(w,v,s,t)
采用双参数平面法,l为截取视角,p为每个微透镜的中央像素,(w,v)为记录面坐标,(s,t)为观察面坐标;
用L(n,u)表示由微透镜组入射到镜头前虚拟位置的光线,则有:
L(n,u)=λ0L(n0,u0)+λ1L(n1,u1)
式中(ni,ui)为入射光线在i平面上的位置坐标,且i=0时为记录面,i=1时为观察面,λi为坐标系数,
设未知函数f在任意点p=(x,y)的值,令qMZ=(xM,yZ),M和Z等于1或2,且已知像素坐标x1、x2、y1、y2,另外rz=(x,yz),首先在x方向进行插值,得到:
且r1=(x,y1)
且r2=(x,y2)
采用双线性插值的方法,在y方向上进行插值,得到:
得到所要的图像信息中任意像素值的结果,并将多张图像进行采样重建,构建出带有3D信息图像:
得到任意像素坐标点(x,y)的像素值;
S3、将3D信息图像输入已完成训练神经网络预测鉴定结果,并实时返回鉴定应对方法;
S4、将鉴定结果及捕捉到的3D信息图像输入至服务器存储,再将图像预处理过后,重新输入神经网络进行微调,形成一个增量循环训练网络结构。
2.根据权利要求1所述的一种甲亢疾病即时鉴定装置的控制方法,其特征是,所述人体图像特征采集模块(15)包括机架(14)、中性密度滤波片(3)、前置成像镜组(4)、微透镜组(5)、双子人体摄像机模块(6)和照明光源,所述中性密度滤波片(3)、前置成像镜组(4)、微透镜组(5)依次固定在机架(14)内,所述照明光源在中性密度滤波片(3)前固定在机架(14)内,所述双子人体摄像机模块(6)在微透镜组(5)后固定在机架(14)内。
3.根据权利要求2所述的一种甲亢疾病即时鉴定装置的控制方法,其特征是,所述照明光源包括对称设置在机架(14)内的第一子照明源(201)和第二子照明源(202),所述双子人体摄像机模块(6)滑动设置有第一滑动子人体摄相机(601)和第二滑动子人体摄相机(602)。
4.根据权利要求3所述的一种甲亢疾病即时鉴定装置的控制方法,其特征是,深度卷积神经网络模块(16)包括医院甲亢患者日常监控数据单元(12)、甲亢患者数据库(9)、预训练模型(10)、网络模型(11)、服务器(8)、图像处理单元(7)和训练好的深度卷积神经网络(13),所述第一滑动子人体摄相机(601)和第二滑动子人体摄相机(602)与图像处理单元(7)信号连接,图像处理单元(7)与服务器(8)信号连接,服务器(8)与信号连接训练好的深度卷积神经网络(13)和甲亢患者数据库(9)信号连接,甲亢患者数据库(9)与预训练模型(10)信号连接,预训练模型(10)与网络模型(11)信号连接、网络模型(11)与训练好的深度卷积神经网络(13)信号连接。
5.根据权利要求1所述的一种甲亢疾病即时鉴定装置的控制方法,其特征是,所述步骤S1具体包括:
S101、通过对称照明源,对目标测量物(1)进行照射,得到对称的图像;
S102、图像通过中性密度滤光片,减少所有光的波长;
S103、图像再透过凸透镜投影到微透镜组上,微透镜组通过视角截取,将成像位置锁定在人体的关键部位;
S104、将第一滑动子人体摄相机(601)向下平移,或第二滑动子人体摄相机(602)向上平移,使得物体在成像面上重合,从而得到多张图像。
6.根据权利要求1所述的一种甲亢疾病即时鉴定装置的控制方法,其特征是,所述步骤S3中已完成训练神经网络的训练过程如下:
神经网络模型的输入层为N个shape=[batch_size,512,512,3]的张量,隐含层个数为N*2+1,输出层为一个节点,batch_size为优化算法中同一批迭代样本数量;
需要优化的损失函数为:
J(θ)=E(in,target)Loss(f(in;θ),target)
上述式中Loss为损失函数,E为最小化函数,in为输入数据,target为目标数据,θ初始模型参数,f(in;θ)模型输出函数;
这里用的两种优化算法分别为SGD和Adam,涉及参数为Loss函数梯度值,参数/>为函数的导数,e为卷积,in(m)为数据集中输入的第m个样本,target(i)为对应目标,ξk为学习率,θ为模型初始参数,s为一阶矩变量,r为二阶矩变量,ρ1、ρ2为矩估计的指数衰减率,δ为数值稳定的小常数,t为时间常数:
1)SGD
输入学习率ξk,初始参数θ:
当为满足停止条件时,从训练集中采集包含m个样本{in(1),in(2),...,in(m)}的小批量,其中数据in(i)对应目标target(i);
计算梯度估计:
更新参数:
2)Adam
输入全局学习率ξk,ξk默认0.001,矩估计的指数衰减率为ρ1、ρ2且两个值在区间[0,1)内,默认ρ1=0.9与ρ2=0.999,用于数值稳定的小常数为δ,δ默认10-7;
输入初始参数θ,初始化一阶矩和二阶矩变量s=0,r=0;初始化时间步t=0,当未满足停止条件时,从训练集中采集包含m个样本{in(1),in(2),...,in(m)},其中数据in(i)对应目标target(i);计算梯度估计:t←——t+1;
更新有偏一阶矩估计:更新有偏二阶矩估计:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911294927.XA CN111489325B (zh) | 2019-12-16 | 2019-12-16 | 一种甲亢疾病即时鉴定装置及其控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911294927.XA CN111489325B (zh) | 2019-12-16 | 2019-12-16 | 一种甲亢疾病即时鉴定装置及其控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111489325A CN111489325A (zh) | 2020-08-04 |
CN111489325B true CN111489325B (zh) | 2023-07-28 |
Family
ID=71794282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911294927.XA Active CN111489325B (zh) | 2019-12-16 | 2019-12-16 | 一种甲亢疾病即时鉴定装置及其控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111489325B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113269161A (zh) * | 2021-07-16 | 2021-08-17 | 四川九通智路科技有限公司 | 一种基于深度学习的交通标识牌检测方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016027031A (ja) * | 2014-07-01 | 2016-02-18 | レジリオ株式会社 | 神経回路網の再構築・賦活用医薬または食品 |
CN106126886A (zh) * | 2008-03-26 | 2016-11-16 | 赛拉诺斯股份有限公司 | 计算机系统 |
CN107064005A (zh) * | 2017-06-16 | 2017-08-18 | 中国科学技术大学 | 一种高光谱光场的快照式成像系统以及重建算法 |
CN107072509A (zh) * | 2015-09-30 | 2017-08-18 | Hoya株式会社 | 内窥镜系统以及评价值计算装置 |
CN107421640A (zh) * | 2017-08-29 | 2017-12-01 | 南京大学 | 基于色差扩大原理的多光谱光场成像系统及方法 |
CN107977971A (zh) * | 2017-11-09 | 2018-05-01 | 哈尔滨理工大学 | 基于卷积神经网络的椎骨定位的方法 |
CN108806792A (zh) * | 2017-05-03 | 2018-11-13 | 金波 | 深度学习面诊系统 |
US10282914B1 (en) * | 2015-07-17 | 2019-05-07 | Bao Tran | Systems and methods for computer assisted operation |
-
2019
- 2019-12-16 CN CN201911294927.XA patent/CN111489325B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106126886A (zh) * | 2008-03-26 | 2016-11-16 | 赛拉诺斯股份有限公司 | 计算机系统 |
JP2016027031A (ja) * | 2014-07-01 | 2016-02-18 | レジリオ株式会社 | 神経回路網の再構築・賦活用医薬または食品 |
US10282914B1 (en) * | 2015-07-17 | 2019-05-07 | Bao Tran | Systems and methods for computer assisted operation |
CN107072509A (zh) * | 2015-09-30 | 2017-08-18 | Hoya株式会社 | 内窥镜系统以及评价值计算装置 |
CN108806792A (zh) * | 2017-05-03 | 2018-11-13 | 金波 | 深度学习面诊系统 |
CN107064005A (zh) * | 2017-06-16 | 2017-08-18 | 中国科学技术大学 | 一种高光谱光场的快照式成像系统以及重建算法 |
CN107421640A (zh) * | 2017-08-29 | 2017-12-01 | 南京大学 | 基于色差扩大原理的多光谱光场成像系统及方法 |
CN107977971A (zh) * | 2017-11-09 | 2018-05-01 | 哈尔滨理工大学 | 基于卷积神经网络的椎骨定位的方法 |
Non-Patent Citations (3)
Title |
---|
W. Sato et al..Assisting the diagnosis of Graves’ hyperthyroidism with Bayesian-type and SOM-type neural networks by making use of a set of three routine tests and their correlation with free T4.《Biomedicine & Pharmacotherapy》.2009,第7-15页. * |
乔婷婷 等.基于深度神经网络构建的甲状腺平面显像智能识别甲状腺功能状态诊断模型.《中华核医学与分子影像杂志》.2019,第39卷(第7期),第403-407页. * |
四川省新生儿促甲状腺素的季节变化与切值探讨.《中国实验诊断学》.2019,第23卷(第1期),第16-19页. * |
Also Published As
Publication number | Publication date |
---|---|
CN111489325A (zh) | 2020-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lu et al. | Underwater optical image processing: a comprehensive review | |
WO2019218621A1 (zh) | 活体检测方法及装置、电子设备和存储介质 | |
Zheng et al. | Single image reflection removal with absorption effect | |
Jung et al. | Review on the current trends in tongue diagnosis systems | |
CN109086675B (zh) | 一种基于光场成像技术的人脸识别及攻击检测方法及其装置 | |
US20140316235A1 (en) | Skin imaging and applications | |
CN110889852A (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
Yu et al. | Multiple attentional path aggregation network for marine object detection | |
CN110806636B (zh) | 显微镜分析方法 | |
WO2019187277A1 (ja) | 情報探索システム及びプログラム | |
CN107911625A (zh) | 测光方法、装置、可读存储介质和计算机设备 | |
Anushka et al. | Lens less cameras for face detection and verification | |
CN112232163B (zh) | 指纹采集方法及装置、指纹比对方法及装置、设备 | |
WO2018035794A1 (zh) | 用于测量图像清晰度值的系统及其方法 | |
CN112287954A (zh) | 图像分类方法、图像分类模型的训练方法及其装置 | |
WO2021218238A1 (zh) | 图像处理方法和图像处理装置 | |
CN111489325B (zh) | 一种甲亢疾病即时鉴定装置及其控制方法 | |
CN115131503A (zh) | 一种虹膜三维识别的健康监测方法及其系统 | |
CN108550184A (zh) | 一种基于光场相机的生物特征3d四维数据识别方法及系统 | |
CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
CN113810683A (zh) | 一种客观评估水下视频质量的无参考评价方法 | |
CN112307955A (zh) | 一种基于ssd红外图像行人检测的优化方法 | |
CN115439363A (zh) | 基于对比学习的视频去雾装置与去雾方法 | |
CN115019367A (zh) | 遗传病面部识别装置及方法 | |
Bebis et al. | Advances in Visual Computing: 14th International Symposium on Visual Computing, ISVC 2019, Lake Tahoe, NV, USA, October 7–9, 2019, Proceedings, Part II |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |