CN115530773B - 一种基于病人摄入饮食的心血管疾病评估预防系统 - Google Patents
一种基于病人摄入饮食的心血管疾病评估预防系统 Download PDFInfo
- Publication number
- CN115530773B CN115530773B CN202211271115.5A CN202211271115A CN115530773B CN 115530773 B CN115530773 B CN 115530773B CN 202211271115 A CN202211271115 A CN 202211271115A CN 115530773 B CN115530773 B CN 115530773B
- Authority
- CN
- China
- Prior art keywords
- image
- user terminal
- neural network
- food
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000024172 Cardiovascular disease Diseases 0.000 title claims abstract description 28
- 235000005911 diet Nutrition 0.000 title claims abstract description 26
- 230000037213 diet Effects 0.000 title claims abstract description 26
- 230000002265 prevention Effects 0.000 title claims abstract description 8
- 238000011156 evaluation Methods 0.000 title description 8
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 235000013305 food Nutrition 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000003062 neural network model Methods 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 238000009826 distribution Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 10
- 235000015219 food category Nutrition 0.000 claims description 8
- 230000000295 complement effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000037406 food intake Effects 0.000 claims description 3
- 239000011521 glass Substances 0.000 claims description 3
- 230000036541 health Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000007493 shaping process Methods 0.000 claims description 2
- 238000005549 size reduction Methods 0.000 claims description 2
- 238000009827 uniform distribution Methods 0.000 claims description 2
- 238000012502 risk assessment Methods 0.000 abstract description 4
- 238000010191 image analysis Methods 0.000 abstract description 3
- 244000218514 Opuntia robusta Species 0.000 description 7
- 235000003166 Opuntia robusta Nutrition 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 235000012054 meals Nutrition 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 235000014633 carbohydrates Nutrition 0.000 description 3
- 150000001720 carbohydrates Chemical class 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000474 nursing effect Effects 0.000 description 3
- 201000001320 Atherosclerosis Diseases 0.000 description 2
- HVYWMOMLDIMFJA-DPAQBDIFSA-N cholesterol Chemical compound C1C=C2C[C@@H](O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2 HVYWMOMLDIMFJA-DPAQBDIFSA-N 0.000 description 2
- NOESYZHRGYRDHS-UHFFFAOYSA-N insulin Chemical compound N1C(=O)C(NC(=O)C(CCC(N)=O)NC(=O)C(CCC(O)=O)NC(=O)C(C(C)C)NC(=O)C(NC(=O)CN)C(C)CC)CSSCC(C(NC(CO)C(=O)NC(CC(C)C)C(=O)NC(CC=2C=CC(O)=CC=2)C(=O)NC(CCC(N)=O)C(=O)NC(CC(C)C)C(=O)NC(CCC(O)=O)C(=O)NC(CC(N)=O)C(=O)NC(CC=2C=CC(O)=CC=2)C(=O)NC(CSSCC(NC(=O)C(C(C)C)NC(=O)C(CC(C)C)NC(=O)C(CC=2C=CC(O)=CC=2)NC(=O)C(CC(C)C)NC(=O)C(C)NC(=O)C(CCC(O)=O)NC(=O)C(C(C)C)NC(=O)C(CC(C)C)NC(=O)C(CC=2NC=NC=2)NC(=O)C(CO)NC(=O)CNC2=O)C(=O)NCC(=O)NC(CCC(O)=O)C(=O)NC(CCCNC(N)=N)C(=O)NCC(=O)NC(CC=3C=CC=CC=3)C(=O)NC(CC=3C=CC=CC=3)C(=O)NC(CC=3C=CC(O)=CC=3)C(=O)NC(C(C)O)C(=O)N3C(CCC3)C(=O)NC(CCCCN)C(=O)NC(C)C(O)=O)C(=O)NC(CC(N)=O)C(O)=O)=O)NC(=O)C(C(C)CC)NC(=O)C(CO)NC(=O)C(C(C)O)NC(=O)C1CSSCC2NC(=O)C(CC(C)C)NC(=O)C(NC(=O)C(CCC(N)=O)NC(=O)C(CC(N)=O)NC(=O)C(NC(=O)C(N)CC=1C=CC=CC=1)C(C)C)CC1=CN=CN1 NOESYZHRGYRDHS-UHFFFAOYSA-N 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 235000021049 nutrient content Nutrition 0.000 description 2
- 230000008092 positive effect Effects 0.000 description 2
- 244000241257 Cucumis melo Species 0.000 description 1
- 235000015510 Cucumis melo subsp melo Nutrition 0.000 description 1
- 208000031226 Hyperlipidaemia Diseases 0.000 description 1
- 102000004877 Insulin Human genes 0.000 description 1
- 108090001061 Insulin Proteins 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 208000008589 Obesity Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000021373 diet component Nutrition 0.000 description 1
- 235000013367 dietary fats Nutrition 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 235000013601 eggs Nutrition 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 229940125396 insulin Drugs 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 235000020824 obesity Nutrition 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 150000003626 triacylglycerols Chemical class 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4842—Monitoring progression or stage of a disease
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7445—Display arrangements, e.g. multiple display units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本发明涉及一种对病人摄入饮食进行分析的心血管疾病评估预防系统。在病人佩戴的用户终端智能设备拍摄饮食图像，对图像进行初步分析和特征提取后，将相对于图像数据量大幅降低的特征数据传回云端进行进一步分析，以大大降低常用方法对带宽的要求，并实现基于图像分析的饮食分析，从而对心血管疾病进行风险评估。
Description
技术领域
本发明属于医疗器械领域，特别地，涉及一种由图像采集装置组成的基于病人摄入饮食的心血管疾病评估预防系统。
背景技术
饮食中脂肪、碳水化合物等成分与心血管疾病有显著的联系。比如，饮食脂肪总摄入量是影响血中胆固醇浓度的主要因素,并且与动脉粥样硬化(AS)发病率和病死率呈明显正相关。富含糖类和精致碳水化合物的饮食会促进机体生成胰岛素,致使摄入的食物转变成三酰甘油,大量摄入可能造成肥胖、高脂血症等。因此，饮食控制对心血管疾病的治疗、控制和预防有着积极的作用。
通过严格控制心血管疾病病人的饮食对疾病的治疗具有明显的积极效果，然而在大多数条件下，病人很难自行确定饮食的成分含量，现实中也不具备让病人长期使用恒定处方配餐的可行性。随着技术的进步，通过采用可佩戴式设备对病人的饮食实施监控，使病人及时了解饮食情况实施自我监督，成为一种可行的方法。基于视觉图像的饮食评估方法成为这一领域的研究热点。随着通信技术、芯片技术和人工智能技术的发展，可佩戴设备的微型化、智能化使其在医学领域的应用越来越广泛。通过随身佩戴的微型智能终端拍摄饮食图像，并实施自动分析，可以快速获得饮食成分的估计值，为病人实现自我评估、自我预防提供重要的数据支持。
目前常见的基于图像的饮食识别技术通常采用边云协同模式，即在病人佩戴的用户终端采集图像，将图像通过互联网传回云端分析，再将分析结果传回给病人端。这种方法能够通过云端的密集算力实现较好的识别精确度，然而数据传输量大，高度依赖于高带宽的无线互联网。而在我国仍有相当一部分地区不具备这种硬件条件，且出现网络延迟、网络拥堵时会极大降低用户体验。特别是对于病房、养老院这种用户集中的场景，需要传递的数据同时上传会造成传输时间的极大延长。
此外，还有一些技术在用户终端直接进行识别分析，但由于终端可穿戴设备算力有限，为了达到较佳的效果需要高成本的处理芯片，且还需要进行可穿戴设备内部小空间的散热设计，对产品设计要求非常高。
而且，目前对于食物的识别大多数是通用识别，也就是在神经网络设计时针对日常主食、瓜果蔬菜、肉蛋奶等所有常见食物权重相同的看待，对于它们的识别准确率相当。由于任何一个神经网络的识别率都无法做到百分之百，因此传统神经网络为了识别更多种类的食物，实际上牺牲了每种食物的识别准确率，在准确率和识别种类之间做了平衡。并没有专门针对心血管疾病的高风险食物进行特别的设计。这使得对于心血管疾病的高风险食物识别率无法达到医学要求，而只能作为日常参考。为此，也急需一种能够专门针对心血管疾病的高风险食物的高准确率识别方法和系统。
发明内容
为了适应我国国情，改善欠发达地区由于宽带网络设备落后，带宽较低的原因无法使用先进技术的现状，本发明提出一种基于边缘计算的、对病人摄入饮食进行分析的心血管疾病评估预防系统。在病人佩戴的用户终端智能设备拍摄饮食图像，对图像进行初步分析和特征提取后，将相对于图像数据量大幅降低的特征数据传回云端进行进一步分析，以大大降低常用方法对带宽的要求，并实现基于图像分析的饮食分析，从而对心血管疾病进行风险评估。
一种基于病人摄入饮食的心血管疾病评估预防系统，其特征在于：包括服务器、用户终端和参照物；
在用户终端上实施如下步骤：
步骤1：用户终端采集参照物和食物图像X，对于图像X，确定其中参照物和背景子集的过程为：
给定一个初始参照物形状子集R，并确定其相对于图像X的补集
CR(p(x|x∈A)>p(x|x∈B))表示子集R中满足括号条件的像素个数；表示补集R中满足括号内条件的像素个数；迭代更新子集R，直到：/>达到局部极值，其中μ为控制系数，参照物上的像素组成的集合为A，背景中像素组成的集合为B；
步骤2：根据步骤1从采集图像中提取出参照物后，利用神经网络模型进行特征提取；其中神经网络模型为：
第一层隐藏层
其中A′表示参照物的外切矩形图像子集，u,v为图像像素的坐标；为16组相互独立的核函数，即/>u′,v′为核函数中的元素坐标。第一层所有核函数的大小为7*7；s0表示待确定线性偏移量。/>用于将核函数与线性偏移量定义的线性模型非线性化；其中/>
后在神经网络第2-5隐藏层中进行尺寸缩小和利用核函数提取特征的操作，从而提取食物的不同尺度特征；
在服务器上实施如下步骤：
将神经网络第5隐藏层的输出经过位于服务器上的神经网络的第6隐藏层和输出层的处理，最终得到的输出向量的每一维对应于一种食物类别；根据食物类别，判断该餐造成的心血管疾病的风险大小。
所述用户终端为可穿戴设备。
所述用户终端为固定图像采集装置。
可穿戴设备为智能眼镜、智能手表、手机终端。
神经网络模型的训练是在服务器中完成，完成训练后将训练成型的模型的第5层及之前的层写入可穿戴设备中。
用户终端根据识别出来的食物种类，并结合已有食物与心血管疾病风险之间的关系数据，进行定量或定性的风险计算。
用户终端通过报警、语音提示、显示提示、色彩提示多种手段提示用户。
用户终端将计算结果上传服务器中进行记录，以便于后续健康的监控分析。
一种基于病人摄入饮食的心血管疾病风险评估方法，在服务器及用户终端上实施。
所使用的神经网络模型由服务器训练得到。
本发明的发明点及技术效果：
1、设计了专门的神经网络模型，优化了激励函数，侧重于提高对于心血管具有高风险的食物种类的识别准确度，使得其能够为医疗级别的建议提供支持，从而能够应用于心血管病预防的临床中。
2、在此基础上，对神经网络模型进行了合理的切分，将训练好的模型部分用于用户终端，得到特征数据后再传递给服务器进行神经网络模型的后续处理，特别是将计算量较轻的核函数计算步骤与计算量较重的全连接计算分别在用户终端与云端计算，可以减少用户终端、云端的数据交互量。如此可以极大地降低需要传送的数据量，降低对于带宽的需求，特别适合多用户在同一场景(病房、养老院)中并发使用。
3、在神经网络处理前首先对参照物(餐盘)进行识别，采用参照物代替从采集图像中直接识别食物可以避免背景带来的干扰，由此可以使得在设计神经网络时集中力量在对餐盘中的目标进行识别，有助于提高识别准确度的同时降低神经网络的复杂程度，大幅提升计算效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1是本发明系统结构图。
具体实施方式
在医院、养老院中，餐盘采用标准餐盘，每份餐盘盛放的食物重量是固定的，例如50-100g。通过用户佩戴的可穿戴设备采集面前的餐盘图像，从而识别出食物种类，特别是对于心血管疾病的高风险食物。根据系统存储的食物种类与营养物质含量的对应表格，计算出面前所有餐盘中食物的营养物质总量，并根据预先标定的各种营养物质对于心血管疾病风险的影响系数，计算获得该餐造成的心血管疾病的风险大小。
可以理解，识别出食物种类后，也可以根据行业内其他已标定的食物与心血管疾病风险的关系，来进行定量或定性的计算，从而提示用户用餐注意风险。
该系统包括服务器，用户终端(通常为可穿戴设备)。其中在实际检测过程中服务器中实施下述步骤2中的神经网络第6层及输出层的算法，而在可穿戴设备中实施步骤1、步骤2中神经网络输入层至第5层的算法、及步骤3。但在前期的模型训练中，所有神经网络模型的训练均是在服务器中完成。完成训练后将训练成型的模型的第5层及之前的层写入可穿戴设备中。
可穿戴设备包括智能眼镜、智能手表、手机终端等。
除此之外，也可以在餐桌之上设置采集和处理终端来代替可穿戴设备。
下面将详述具体判别步骤：
步骤1：饮食评估图像场景的背景及参照物提取
利用可佩戴式设备拍摄病人用餐的餐品，根据先验信息提取出其中的背景和参照物(餐盘)，用于对待识别的食物进行定位。
S1.1根据参照物的先验信息从图像中提取参照物。
首先统计参照物的色彩分布，获得参照物色彩分布模型。
所述图像具有三色通道rgb，分别表示红色通道、绿色通道和蓝色通道。建立概率模型：
其中x表示图像X中的一个像素，r,g,b为其三色通道，假设三通道相互独立，则式1定义的函数表示像素x的颜色分布。
设参照物上的像素组成的集合为A，背景中像素组成的集合为B，则：p(x|x∈A)表示参照物图像中像素的颜色分布，p(x|x∈B)表示背景图像中像素的颜色分布。参照物像素每个通道的颜色分布服从高斯分布：
其中，π为圆周率常数，e为自然指数函数，μr、μg、μb、σr、σg、σb分别为三个通道各自分布的均值和方差。
背景像素每个通道的颜色服从均匀分布：
其中S表示每个通道的颜色阶数。
给定一幅未知图像X，确定其中参照物和背景子集的过程如下。
给定一个初始椭圆子集R，并确定其相对于图像X的补集 表示空集。
令：
CR(p(x|x∈A)>p(x|x∈B))…(4)
表示子集R中满足括号内式2概率大于式3概率的像素个数，令：
表示补集R中满足括号内式2概率大于式3概率的像素个数。
迭代更新子集R，直到：
达到局部极值。μ为控制系数，经过实验优选为μ＝0.5。
分别选取达到极值后的R和作为参照物子集和背景子集。即A＝R，/>
选取子集形状为椭圆，可以更贴近于参照物(餐盘)的自然形状，增加参照物提取的精确度。当然，如果系统使用的餐盘为圆形，此时子集形状可以对应选择圆形。
步骤2：食物的识别模型和学习方法
根据步骤1从饮食评估图像中提取出参照物后，对参照物的图像子集建立食物识别模型，并对模型进行学习。
由于参照物(餐盘)在图像中相对于食物本身的颜色特征更加容易区分，故采用参照物代替从图像中直接识别食物，可以大幅加快食物定位的计算效率。
采用神经网络模型对包含食物的参照物图像子集进行学习，模型的输入为参照物图像子集，模型的输出为待识别的食物种类。神经网络的隐藏层定义了从输入到输出的算术逻辑变换步骤，详细定义如下。
第一层隐藏层定义为：
根据式(6)，A′表示参照物的外切矩形图像子集，u,v为图像像素的坐标；为16组相互独立的核函数，即/>u′,v′为核函数中的元素坐标。第一层所有核函数的大小为7*7。s0表示待确定线性偏移量。/>用于将核函数与线性偏移量定义的线性模型非线性化，以实现更精确的识别分类。
根据式7定义的分段式函数在对食物数据分类时具有更好的性能。
隐藏层的第一层用多个核函数提取参照物和食物图像子集的特征。
第二层隐藏层的定义如下：
式8表示在第一层隐藏层的4*4窗口内取最大的像素，并赋值给第二层隐藏层的一个像素。相当于将原图缩小为其大小。
第三层隐藏层的定义如下：
根据式(9)，u,v为图像像素的坐标；为另外16组相互独立的核函数，即/> u′,v′为核函数中的元素坐标。第三层所有核函数的大小为5*5。s2表示待确定线性偏移量。/>同7定义。
第三层在尺寸缩小后的第二层上用另一组核函数提取特征，由于原图像的缩小相当于核函数的相对扩大，因此第三层与第二层的主要作用是进一步提取食物的更高尺度特征。
第四层隐藏层的定义如下：
式10表示在第三层隐藏层的4*4窗口内取最大的像素，并赋值给第四层隐藏层的一个像素。相当于将原图缩小为其大小。
第五层隐藏层的定义如下：
根据式(11)，u,v为图像像素的坐标；为另外16组相互独立的核函数，即/> u′,v′为核函数中的元素坐标。第五层所有核函数的大小为5*5。s4表示待确定线性偏移量。/>同7定义。
与之前的两层类似，第五层在尺寸缩小后的第四层上用另一组核函数提取特征，主要作用是更进一步提取食物的更高尺度特征。以适应食物在图像中多种可能的尺寸。
第六层隐藏层的定义如下：
式12中，为一2048维向量，/>表示第五层的元素/>与第六层的元素/>之间的线性权值，s5表示待确定线性偏移量。/>同7定义。
神经网络模型的输出定义如下：
输出为一不超过2048维的向量，/>表示第六层元素/>与输出的类别/>之间的线性权值。输出向量的每一维对应于一种食物类别，取其中最大值表示图像中检测出的食物种类。
根据上述6-13给出神经网络模型定义，对该模型进行学习，准备学习样本及样本类别采用下列成本函数计算其与模型输出/>的差异，并将该成本最小化：
式14达到最优后的参数(即前述6-13各式中的核函数与线性偏移量)为模型参数，完成学习。学习过程在云端进行。
步骤3：基于识别模型的用户终端图像特征提取与食物类型识别
根据步骤2获得神经网络识别模型提取图像特征，并根据模型计算食物种类。
将即隐藏层第五层及之前的所有模型参数写入用户终端的可佩戴式设备。设备拍摄到一张图像后，根据步骤1、2计算式11的输出。由于神经网络模型绝大多数为线性计算，且每个核函数尺寸很小，在现代嵌入式计算环境下可以通过优化提高计算效率，故上述计算在现有硬件设备上可以快速完成；并获得11的输出向量为一原图像尺度缩小的图像矩阵，将该矩阵传送到云端作进一步计算，相对于传输图像大大减少了数据传输量。
云端根据用户终端传送的式11的输出，进一步根据式12、13计算输出类别，获得食物种类。通过本发明方法，将计算量较轻的核函数计算步骤与计算量较重的全连接计算分别在用户终端与云端计算，可以减少用户终端、云端的数据交互量。
下表给出采用本发明方法对食物类别识别的结果及计算效率对比，测试结果表明本发明方法能够较好的识别食物类别，同时计算效率较高，实现基于图像分析的饮食分析，从而对心血管疾病进行风险评估。
此外，用户终端(例如可穿戴设备)根据识别出来的食物种类，并结合已有食物与心血管疾病风险之间的关系数据，进行定量或定性的风险计算，并通过报警、语音提示、显示提示、色彩提示等多种手段提示用户。同时将该情况上传服务器中进行记录，以便于后续健康的监控分析。
除此之外，实施例中记载的诸多效果，也是本发明所能够达到的效果，也是为了解决技术问题所专门设计的，同样属于本发明的发明贡献。
以上各种实施例仅为有限列举，由于篇幅无法穷举，因此不作为对权利保护范围的限定，所有和上述产品、方法类似的技术方案均在本申请保护范围之内。
Claims (10)
1.一种基于病人摄入饮食的心血管疾病评估预防系统，其特征在于：包括服务器、用户终端和参照物；
在用户终端上实施如下步骤：
步骤1：用户终端采集参照物和食物图像X，对于图像X，确定其中参照物和背景子集的过程为：
参照物上的像素组成的集合为A，背景中像素组成的集合为B；
p(x|x∈A)表示参照物图像中像素的颜色分布，p(x|x∈B)表示背景图像中像素的颜色分布；
参照物像素每个通道的颜色分布服从分布：
其中，π为圆周率常数，e为自然指数函数，μr、μg、μb、σr、σg、σb分别为三个颜色通道各自分布的均值和方差；x表示图像X中的一个像素，r,g,b其三色通道；
背景像素每个通道的颜色服从均匀分布：
其中S表示每个通道的颜色阶数；
给定一个初始参照物形状子集R，并确定其相对于图像X的补集
CR(p(x|x∈A)>p(x|x∈B))
表示子集R中满足括号条件的像素个数；
表示补集R中满足括号内条件的像素个数；迭代更新子集R，直到：达到局部极值，其中μ为控制系数，
步骤2：根据步骤1从采集图像中提取出参照物后，利用神经网络模型进行特征提取；其中神经网络模型为：
第一层隐藏层
其中A'表示参照物的外切矩形图像子集，u,v为图像像素的坐标；为16组相互独立的核函数，即/>u',v'为核函数中的元素坐标；第一层所有核函数的大小为7*7；s0表示待确定线性偏移量；
用于将核函数与线性偏移量定义的线性模型非线性化：
后在神经网络第2-5隐藏层中进行尺寸缩小和利用核函数提取特征的操作，从而提取食物的不同尺度特征；
在服务器上实施如下步骤：
将神经网络第5隐藏层的输出经过位于服务器上的神经网络的第6隐藏层和输出层的处理，最终得到的输出向量的每一维对应于一种食物类别；根据食物类别，判断造成的心血管疾病的风险大小；
对该神经网络模型进行学习，准备学习样本采用下列成本函数计算其与模型输出/>的差异，并将成本最小化：
该式达到最优后的参数，完成学习。
2.如权利要求1所述系统，其特征在于：所述用户终端为可穿戴设备。
3.如权利要求1所述系统，其特征在于：所述用户终端为固定图像采集装置。
4.如权利要求2所述系统，其特征在于：可穿戴设备为智能眼镜、智能手表、手机终端。
5.如权利要求1所述系统，其特征在于：神经网络模型的训练是在服务器中完成，完成训练后将训练成型的模型的第5层及之前的层写入可穿戴设备中。
6.如权利要求1所述系统，其特征在于：用户终端根据识别出来的食物种类，并结合已有食物与心血管疾病风险之间的关系数据，进行定量或定性的风险计算。
7.如权利要求6所述系统，其特征在于：用户终端通过报警、语音提示、显示提示、色彩提示多种手段提示用户。
8.如权利要求6所述系统，其特征在于：用户终端将计算结果上传服务器中进行记录，以便于后续健康的监控分析。
9.一种基于病人摄入饮食的心血管疾病风险评估方法，其特征在于：在如权利要求1-8所述的服务器及用户终端上实施。
10.如权利要求9所述方法，其特征在于：所使用的神经网络模型由服务器训练得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211271115.5A CN115530773B (zh) | 2022-10-17 | 2022-10-17 | 一种基于病人摄入饮食的心血管疾病评估预防系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211271115.5A CN115530773B (zh) | 2022-10-17 | 2022-10-17 | 一种基于病人摄入饮食的心血管疾病评估预防系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115530773A CN115530773A (zh) | 2022-12-30 |
| CN115530773B true CN115530773B (zh) | 2024-01-05 |
Family
ID=84735547
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211271115.5A Active CN115530773B (zh) | 2022-10-17 | 2022-10-17 | 一种基于病人摄入饮食的心血管疾病评估预防系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115530773B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005070908A (ja) * | 2003-08-20 | 2005-03-17 | Matsumoto Takashi | 院内用食事摂取量の計測方法と計測システム |
| JP2006201893A (ja) * | 2005-01-19 | 2006-08-03 | Takasaki Univ Of Health & Welfare | 栄養素算出方法およびそのシステム |
| WO2014107081A1 (ko) * | 2013-01-07 | 2014-07-10 | 재단법인 아산사회복지재단 | 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템 |
| US9449029B2 (en) * | 2012-12-14 | 2016-09-20 | Industrial Technology Research Institute | Method and system for diet management |
| CN106372198A (zh) * | 2016-08-31 | 2017-02-01 | 乐视控股（北京）有限公司 | 一种基于图像识别技术的数据提取方法及其移动终端 |
| CN110059654A (zh) * | 2019-04-25 | 2019-07-26 | 台州智必安科技有限责任公司 | 一种基于细粒度识别的菜品自动结算及饮食健康管理方法 |
| CN110705621A (zh) * | 2019-09-25 | 2020-01-17 | 北京影谱科技股份有限公司 | 基于dcnn的食物图像的识别方法和系统及食物热量计算方法 |
| KR20200036314A (ko) * | 2018-09-28 | 2020-04-07 | 가천대학교 산학협력단 | 식품 정보 추정을 위한 가이드 카드, 이를 이용한 식품 정보 추정 시스템 및 방법 |
| CN111325322A (zh) * | 2020-02-12 | 2020-06-23 | 深圳壹账通智能科技有限公司 | 基于隐私保护的深度学习方法、系统、服务器及存储介质 |
| CN111680711A (zh) * | 2020-04-08 | 2020-09-18 | 上海吴塘科技有限公司 | 基于卷积神经网络的Logo图像分类方法 |
| CN111797719A (zh) * | 2020-06-17 | 2020-10-20 | 武汉大学 | 一种食物成分识别方法 |
| KR20210040495A (ko) * | 2019-10-04 | 2021-04-14 | 김준연 | 영상 기반 열량 측정방법 및 장치 |
| CN115131783A (zh) * | 2022-06-23 | 2022-09-30 | 贵州大学 | 基于机器视觉的用户饮食营养成分信息自主感知方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101956158B1 (ko) * | 2017-08-22 | 2019-03-08 | 한국과학기술연구원 | 식물 잎 식별 시스템 및 방법 |
| US11037029B2 (en) * | 2018-10-11 | 2021-06-15 | Futurewei Technologies, Inc. | Multi-stage image recognition for a non-ideal environment |
| RU2697646C1 (ru) * | 2018-10-26 | 2019-08-15 | Самсунг Электроникс Ко., Лтд. | Способ биометрической аутентификации пользователя и вычислительное устройство, реализующее упомянутый способ |
-
2022
- 2022-10-17 CN CN202211271115.5A patent/CN115530773B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005070908A (ja) * | 2003-08-20 | 2005-03-17 | Matsumoto Takashi | 院内用食事摂取量の計測方法と計測システム |
| JP2006201893A (ja) * | 2005-01-19 | 2006-08-03 | Takasaki Univ Of Health & Welfare | 栄養素算出方法およびそのシステム |
| US9449029B2 (en) * | 2012-12-14 | 2016-09-20 | Industrial Technology Research Institute | Method and system for diet management |
| WO2014107081A1 (ko) * | 2013-01-07 | 2014-07-10 | 재단법인 아산사회복지재단 | 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템 |
| CN106372198A (zh) * | 2016-08-31 | 2017-02-01 | 乐视控股（北京）有限公司 | 一种基于图像识别技术的数据提取方法及其移动终端 |
| KR20200036314A (ko) * | 2018-09-28 | 2020-04-07 | 가천대학교 산학협력단 | 식품 정보 추정을 위한 가이드 카드, 이를 이용한 식품 정보 추정 시스템 및 방법 |
| CN110059654A (zh) * | 2019-04-25 | 2019-07-26 | 台州智必安科技有限责任公司 | 一种基于细粒度识别的菜品自动结算及饮食健康管理方法 |
| CN110705621A (zh) * | 2019-09-25 | 2020-01-17 | 北京影谱科技股份有限公司 | 基于dcnn的食物图像的识别方法和系统及食物热量计算方法 |
| KR20210040495A (ko) * | 2019-10-04 | 2021-04-14 | 김준연 | 영상 기반 열량 측정방법 및 장치 |
| CN111325322A (zh) * | 2020-02-12 | 2020-06-23 | 深圳壹账通智能科技有限公司 | 基于隐私保护的深度学习方法、系统、服务器及存储介质 |
| CN111680711A (zh) * | 2020-04-08 | 2020-09-18 | 上海吴塘科技有限公司 | 基于卷积神经网络的Logo图像分类方法 |
| CN111797719A (zh) * | 2020-06-17 | 2020-10-20 | 武汉大学 | 一种食物成分识别方法 |
| CN115131783A (zh) * | 2022-06-23 | 2022-09-30 | 贵州大学 | 基于机器视觉的用户饮食营养成分信息自主感知方法 |
Non-Patent Citations (3)
| Title |
|---|
| Food Recognition: A New Dataset, Experiments, and Results;Gianluigi Ciocc 等;《IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS》;第21卷(第3期);588-598 * |
| 基于HSV空间和形状检测 的餐盘识别智能算法研究;陈小娥;《西安文理学院学报( 自然科学版)》;第20卷(第6期);67-71 * |
| 黄孝平.《当代机器深度学习方法与应用研究》.电子科技大学出版社,2017,252-254. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115530773A (zh) | 2022-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mezgec et al. | Mixed deep learning and natural language processing method for fake-food image recognition and standardization to help automated dietary assessment | |
| Pouladzadeh et al. | Food calorie measurement using deep learning neural network | |
| US8605952B2 (en) | Dietary assessment system and method | |
| CN104778374A (zh) | 一种基于图像处理识别方法的自动膳食评估装置 | |
| Khanna et al. | An overview of the technology assisted dietary assessment project at Purdue University | |
| CN111902878A (zh) | 用于食品分析、个性化推荐和健康管理的系统和方法 | |
| Liang et al. | Computer vision-based food calorie estimation: dataset, method, and experiment | |
| CN104809472A (zh) | 一种基于svm的食物分类识别方法 | |
| CN110689056A (zh) | 一种分类方法及装置、设备和存储介质 | |
| CN104765980A (zh) | 一种基于云计算的智能膳食评估方法 | |
| Reddy et al. | Food recognition and calorie measurement using image processing and convolutional neural network | |
| CN115530773B (zh) | 一种基于病人摄入饮食的心血管疾病评估预防系统 | |
| Wazumi et al. | Auto-recognition of food images using SPIN feature for Food-Log system | |
| US11486633B2 (en) | Smart refrigerator based on big data analysis of server, health management method, and system | |
| CN117577270B (zh) | 患者的智能化营养管理方法及系统 | |
| Desai et al. | Image-Based Food Calorie Estimation Using Incremental Learning | |
| CN114581265B (zh) | 一种就餐人员食用喜好分析系统及方法 | |
| EP4160476A1 (en) | A method and system for analyzing intestinal microflora of a subject | |
| CN116825286B (zh) | 一种食物成分识别及营养推荐系统 | |
| Monalisa et al. | Dia-Glass: a calorie-calculating spectacles for diabetic patients using augmented reality and faster R-CNN | |
| Sari et al. | Leftovers Food Recognition using Deep Neural Network and Regression Approach for Objective Visual Analysis Estimation | |
| Pehlic et al. | Deep Transfer Learning for Food Recognition | |
| WO2021044695A1 (ja) | 健康管理支援装置、健康管理支援方法、プログラム、および健康管理の支援システム | |
| Wiriyasuttiwong et al. | HEALTHCARE APPLICATION FOR LOW-FODMAP VEGETABLES AND FRUITS IMAGE IDENTIFICATION USING DEEP LEARNING | |
| TWM642885U (zh) | 用於評估飲食的運算裝置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |