CN114617533A - 一种基于三维重建的营养状况确定系统 - Google Patents
一种基于三维重建的营养状况确定系统 Download PDFInfo
- Publication number
- CN114617533A CN114617533A CN202210516530.6A CN202210516530A CN114617533A CN 114617533 A CN114617533 A CN 114617533A CN 202210516530 A CN202210516530 A CN 202210516530A CN 114617533 A CN114617533 A CN 114617533A
- Authority
- CN
- China
- Prior art keywords
- determining
- temporal
- camera
- information
- skull
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000016709 nutrition Nutrition 0.000 title claims abstract description 59
- 230000035764 nutrition Effects 0.000 title claims abstract description 51
- 230000002123 temporal effect Effects 0.000 claims abstract description 72
- 210000003625 skull Anatomy 0.000 claims abstract description 57
- 238000011156 evaluation Methods 0.000 claims abstract description 23
- 238000010801 machine learning Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 8
- 235000003715 nutritional status Nutrition 0.000 claims description 38
- 210000005252 bulbus oculi Anatomy 0.000 claims description 21
- 210000002027 skeletal muscle Anatomy 0.000 claims description 18
- 210000000027 corpus adiposum orbitae Anatomy 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 10
- 230000008030 elimination Effects 0.000 claims description 8
- 238000003379 elimination reaction Methods 0.000 claims description 8
- 210000003128 head Anatomy 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 4
- 210000004279 orbit Anatomy 0.000 abstract description 48
- 238000000034 method Methods 0.000 abstract description 30
- 208000002720 Malnutrition Diseases 0.000 abstract description 11
- 235000000824 malnutrition Nutrition 0.000 abstract description 10
- 230000001071 malnutrition Effects 0.000 abstract description 10
- 208000015380 nutritional deficiency disease Diseases 0.000 abstract description 10
- 238000004364 calculation method Methods 0.000 abstract description 6
- 238000005481 NMR spectroscopy Methods 0.000 abstract description 5
- 238000012216 screening Methods 0.000 abstract description 5
- 238000005259 measurement Methods 0.000 abstract description 3
- 238000002604 ultrasonography Methods 0.000 abstract description 3
- 239000002699 waste material Substances 0.000 abstract description 2
- 238000007477 logistic regression Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 210000000577 adipose tissue Anatomy 0.000 description 3
- 235000021196 dietary intervention Nutrition 0.000 description 3
- 235000000053 special nutrition Nutrition 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 102000007562 Serum Albumin Human genes 0.000 description 2
- 108010071390 Serum Albumin Proteins 0.000 description 2
- 244000309466 calf Species 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 208000001076 sarcopenia Diseases 0.000 description 2
- 238000012353 t test Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010006895 Cachexia Diseases 0.000 description 1
- 206010025476 Malabsorption Diseases 0.000 description 1
- 208000004155 Malabsorption Syndromes Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000000692 Student's t-test Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 208000020832 chronic kidney disease Diseases 0.000 description 1
- 208000022831 chronic renal failure syndrome Diseases 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010832 independent-sample T-test Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 210000003455 parietal bone Anatomy 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 210000003582 temporal bone Anatomy 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
- 235000000112 undernutrition Nutrition 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000004580 weight loss Effects 0.000 description 1
- 208000016261 weight loss Diseases 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于三维重建的营养状况确定系统，涉及图像处理及机器学习技术领域，主要包括基于头颅深度图像和头颅RGB图像重建被测人员的包含颞部部位和眼眶部位的三维模型；基于三维模型确定被测人员的颞部部位信息和眼眶部位信息；基于颞部部位信息和眼眶部位信息确定被测人员的营养状况。本发明通过重建包含颞部部位和眼眶部位的三维模型，进行营养不良的筛查和评价，具有操作简便，计算结果精确等优点，可以较好解决目前通过核磁共振、CT、超声等仪器测量，耗时耗力，浪费成本的问题。
Description
技术领域
本发明涉及图像处理及机器学习技术领域，特别是涉及一种基于三维重建的营养状况确定系统。
背景技术
营养不良(malnutrition)又称为营养不足(undernutrition)，指由于膳食中蛋白质、能量及其他营养素长期摄入不足、吸收不良或消耗增加而导致的机体生长发育和功能障碍。对于有营养风险、营养不良或者重度营养不良的人员来说，营养干预是综合治疗的重要组成部分，合理的营养干预有利于临床结局的改善。
在对人员进行营养干预之前，需要对人员进行营养筛查或营养评价。营养评价的步骤为：1）进行营养风险筛查；2）进行营养不良诊断。其中，在营养不良诊断时，需要结合病因性因素和表现性因素。表现性因素包括低体重、体重下降、骨骼肌含量减少、脂肪含量减少等。
现有确定人员骨骼肌含量和脂肪含量的方式主要为2种，一种是通过生物电阻抗方式来确定骨骼肌含量和脂肪含量，即通过微弱电流流经人体不同部位时产生的电阻来计算身体各组分含量；另一种是使用双能射线或核磁共振，通过人体不同组分的影像学表现来计算骨骼肌含量和脂肪含量。
现有的两种方法，虽然能够在一定程度上确定人员骨骼肌含量和脂肪含量，但是存在以下缺点：
第一，无论是生物电阻抗方法还是影像学方法，均是通过物理因子（电流、放射射线）作用于人体，对特定疾病人群会产生危害（如安装了起搏器的人员或孕妇等）。
第二，无论是生物电阻抗方法还是影像学方法，均需要体积较大、成本较高且移动不方便的医学设备，如生物电阻抗方法需要人体成分分析仪，如影像学方法需要CT机或核磁共振仪。
第三，无论是生物电阻抗方法还是影像学方法，需要专业人员操作，无法覆盖所有人员情况，如居家治疗的肿瘤人员、长期在院外治疗的慢性肾衰人员等。
第四，无论是生物电阻抗方法还是影像学方法，均会产生较多的检测费用。如生物电阻抗法的使用需要医生在场，而核磁共振和双能射线除了需要医生以外还需要专业的医学技术人员操作，人员支付相应的检测费用。
发明内容
本发明的目的是提供了一种基于三维重建的营养状况确定系统，在被测人员营养状况评估方面具有人体危害性小、成本低和人员可自助操作等优点。
为实现上述目的，本发明提供了如下方案：
一种基于三维重建的营养状况确定系统，包括第一摄像头、第二摄像头和营养状况评估模块；
所述第一摄像头，用于：获取被测人员的头颅深度图像；
所述第二摄像头，用于：获取被测人员的头颅RGB图像；
所述营养状况评估模块，用于：
基于所述头颅深度图像和所述头颅RGB图像，重建所述被测人员的包含颞部部位和眼眶部位的三维模型；
基于所述三维模型，确定所述被测人员的颞部部位信息和眼眶部位信息；
基于所述颞部部位信息和所述眼眶部位信息，确定所述被测人员的营养状况。
可选地，在所述基于所述头颅深度图像和所述头颅RGB图像，重建所述被测人员的包含颞部部位和眼眶部位的三维模型方面，所述营养状况评估模块，用于：
基于所述头颅RGB图像和深度学习算法，确定人脸特征点；
根据所述人脸特征点的坐标位置，将所述头颅RGB图像和所述头颅深度图像进行贴合处理，得到包含颅面部和颞部的三维模型；
对所述包含颅面部和颞部的三维模型进行折痕消除和噪点消除，得到所述被测人员的包含颞部部位和眼眶部位的三维模型。
可选地，所述颞部部位信息至少包括颞部的曲率信息；所述眼眶部位信息至少包括眼眶脂肪垫的体积；在所述基于所述三维模型，确定所述被测人员的颞部部位信息和眼眶部位信息方面，所述营养状况评估模块，用于：
基于所述三维模型，确定颞部特征点；
计算每个所述颞部特征点对应的高斯曲率和平均曲率；其中，所述颞部的曲率信息包括每个所述颞部特征点对应的高斯曲率和平均曲率；
基于所述三维模型，确定眼眶特征点和眼球特征点；
基于所述眼眶特征点确定眼眶体积，基于所述眼球特征点确定眼球体积；
在同一个纵向的平面外侧，将所述眼眶体积减去所述眼球体积，得到眼眶脂肪垫的体积。
可选地，在所述基于所述颞部部位信息和所述眼眶部位信息，确定所述被测人员的营养状况方面，所述营养状况评估模块，用于：
基于所述颞部部位信息和所述眼眶部位信息，采用机器学习算法，确定所述被测人员的骨骼肌含量和脂肪含量；
根据所述被测人员的骨骼肌含量和脂肪含量，确定所述被测人员的营养状况。
可选地，所述营养状况评估模块至少包括信息获取单元、数据处理单元以及指引单元；
所述指引单元，用于：输出第一控制指令和第二控制指令；所述第一控制指令用于控制所述第一摄像头和所述第二摄像头打开；所述第二控制指令用于提示被测人员按照规定进行头颅转动，以使所述第一摄像头和所述第二摄像头均能采集到符合要求的所述头颅深度图像和所述头颅RGB图像；
所述信息获取单元，用于：获取所述头颅深度图像和所述头颅RGB图像；
所述数据处理单元，用于：
基于所述头颅深度图像和所述头颅RGB图像，重建所述被测人员的包含颞部部位和眼眶部位的三维模型；
基于所述三维模型，确定所述被测人员的颞部部位信息和眼眶部位信息；
基于所述颞部部位信息和所述眼眶部位信息，确定所述被测人员的营养状况。
可选地，所述营养状况评估模块还包括开始虚拟按钮和结果显示模块；
所述结果显示模块用于以界面形式显示所述被测人员的营养状况。
可选的，所述营养状况评估模块集成在终端上；所述终端分别与所述第一摄像头、所述第二摄像头连接。
可选的，所述第一摄像头、所述第二摄像头和所述营养状况评估模块均集成在同一终端上。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明通过摄像头和专用营养状况评估模块确定被测人员的营养状况，不产生对人体可能有害的物理因子，解决了现有方式产生有害物理因子的问题。
本发明的专用营养状况评估模块一般安装在移动终端上，例如手机和平板，故本发明采用摄像头和移动终端确定被测人员的营养状况，具有检测设备体积极小、成本极低、人员可自助操作、节省医生人力、同时精准评价人员的营养状况的优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于三维重建的营养状况确定方法的整体流程图；
图2为本发明不同角度下的初步3D模型示意图；图2中（a）为第一角度下的初步3D模型示意图；图2中（b）为第二角度下的初步3D模型示意图；图2中（c）为第三角度下的初步3D模型示意图；
图3为本发明形象直观且存在粗糙折痕的三维模型示意图；
图4为本发明包含颞部部位和眼眶部位的三维模型示意图；
图5为本发明一种基于三维重建的营养状况确定系统的结构框图；
图6为本发明颞部示意图；
图7为本发明眼眶脂肪垫示意图；
图8为本发明一种基于三维重建的营养状况确定方法的流程示意图；
图9为本发明营养状况评估APP的界面图；
图10为本发明营养状况评估APP的结果验证图；图10中（a）为营养状况评估APP计算的结果P与血清白蛋白的相关性示意图；图10中（b）为营养状况评估APP计算的结果P与小腿骨骼肌维度的相关性示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明目的是提供一种基于三维重建的营养状况确定系统，该系统包括深度相机、普通相机和移动终端。如图1所示，该系统的操作步骤为：（1）采集含有深度、RGB等信息的图像；（2）重建包含颞部部位和眼眶部位的三维模型；（3）消除折痕和噪点；（4）数据测量与计算颞部部位和眼眶部位的体积、弧度或曲率，（5）根据曲率、体积和人体其他数据预测人员的脂肪含量和四肢骨骼肌围度，从而确定人员营养状况，并相应的图形表示。本发明通过重建包含颞部部位和眼眶部位的三维模型，进行营养不良的筛查和评价，具有操作简便，计算结果精确等优点，可以较好解决目前通过核磁共振、CT、超声等仪器测量，耗时耗力，浪费成本的问题。
本发明提供的技术方案是现有测量成本的千分之一，可以极大地提高院内院外人员营养不良的筛查和评估比例，避免因营养不良而发生的恶病质、临床治疗毒副反应加剧等。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
本实施例提供了一种基于三维重建的营养状况确定系统，包括深度相机、普通相机和移动终端。
所述深度相机和所述普通相机安置在所述移动终端附近，使其在面对移动终端的人员头颅时能够进行完整的拍摄和扫描，且所述深度相机和所述普通相机的输出端均连接至所述移动终端。
该系统的实施过程为：
根据所述深度相机和所述普通相机获得的头颅图像数据，重建包含颞部部位和眼眶部位的三维模型；通过RGB图像标记的特征点和深度相机探测的三维点阵，确定颞部部位信息（例如颞部的曲率信息）和眼眶部位信息（例如眼眶脂肪垫的体积）；基于所述颞部部位信息和所述眼眶部位信息，通过多元逻辑回归算法，评价人员是否存在脂肪减少或肌肉减少的情况，即确定人员的营养状况。
所述深度相机包括但不限于移动终端自带的深度传感器，以及使用相机阵列、TOF技术、基于结构光的深度探测技术等的深度传感器；所述移动终端包括但不限于移动电脑、ipad，移动手机等。
所述根据所述深度相机和所述普通相机获得的头颅图像数据，重建包含颞部部位和眼眶部位的三维模型，具体如下：
①深度图像和RGB图像的采集：用深度相机和普通相机扫描，采集人员头颅的深度图像和RGB图像，并将深度图像和RGB图像分成若干线程以进行后期处理。
②分段重建三维模型：通过KinectFusion算法对每一线程均进行frame-to-model的三维重建，每个线程都可以得到一个初步3D模型，故可以获得如图2所示的三个不同角度的初步3D模型；此时需要将上述多个初步3D模型拟合为一个完整的模型，具体拟合过程为：将初步3D模型上的每个特征点和该特征点的RGB值构成一个矩阵，将每个线程上的特征点构建的矩阵用误差矩阵算法进行配准，然后采用移动立方体MarchingCubes算法进行曲面拟合，以获得形象直观且存在粗糙折痕的三维模型。
④消除折痕和噪点：由于每个模型最后的单个视点可靠性很差，拟合后的模型拼接处存在粗糙折痕，如图3所示；本实施例首先优化前一阶段的最后一个视点的位姿，并将此视点的位姿确定为后一个阶段的参考视点，以消除三维模型的折痕现象；然后采用滤波算法来分离噪点，具体为：对得到的比较干净的点云进行三角剖分，再对三角网运用体素滤波方法进行平滑处理，此时的三角网顶点比较多，为了提高后续的计算速度，可以提取出三角网的特征点。利用特征点进行泊松重建，这样就可以得到一个即保留了特征信息，三角数量大大减少的一个mesh。如图4所示，通过上述方式即可获得有特征点标注且包含颞部部位和眼眶部位的三维模型。
所述通过RGB图像标记的特征点和深度相机探测的三维点阵，确定颞部部位信息和眼眶部位信息，具体包括：
①确定颞部部位信息；颞部部位信息至少包括颞部的曲率；该颞部的曲率为颞部特征点之间，所有的三维点云构成的一个曲面的曲率。
②眼眶部位信息；该眼眶部位信息至少包括眼眶脂肪垫的体积；眼眶的所有特征点之间，通过三维点云构建一个眼眶的体积，眼球的特征点构建出眼球的体积；在同一个纵向的平面外侧，眼眶的体积减去眼球的体积，即为眼眶脂肪垫的体积。
所述基于所述颞部部位信息和所述眼眶部位信息，通过多元逻辑回归算法，评价人员是否存在脂肪减少或肌肉减少的情况，即确定人员的营养状况，具体包括：
根据眼眶脂肪垫的体积、颞部的曲率以及移动终端中预存的人员的年龄、身高、体重等数据，组成η维向量，η为大于1的自然数。
根据η维向量和建立的基于多元逻辑回归的概率模型，计算营养相关指标发生率，进而确定人员的营养状况。
实施例二
如图5所示，本实施例提供了一种基于三维重建的营养状况确定系统，包括第一摄像头、第二摄像头和营养状况评估模块。
所述第一摄像头，用于：获取被测人员的头颅深度图像。
所述第二摄像头，用于：获取被测人员的头颅RGB图像。
所述营养状况评估模块，用于：
基于所述头颅深度图像和所述头颅RGB图像，重建所述被测人员的包含颞部部位和眼眶部位的三维模型；
基于所述三维模型，确定所述被测人员的颞部部位信息和眼眶部位信息；
基于所述颞部部位信息和所述眼眶部位信息，确定所述被测人员的营养状况。
一个示例中，第一摄像头、第二摄像头和营养状况评估模块均可集成在同一个移动终端上。或者所述营养状况评估模块集成在终端上；所述终端分别与所述第一摄像头、所述第二摄像头连接。
其中，在所述基于所述头颅深度图像和所述头颅RGB图像，重建所述被测人员的包含颞部部位和眼眶部位的三维模型方面，所述营养状况评估模块进一步用于：
基于所述头颅RGB图像和深度学习算法，确定人脸特征点；例如，该人脸特征点为头颅面部的骨性结构，包括眉弓外侧角、顶骨和颞骨的转折、颧突、下颌角等；
根据所述人脸特征点的坐标位置，采用现有方法将所述头颅RGB图像和所述头颅深度图像进行贴合处理，得到包含颅面部和颞部的三维模型；
对所述包含颅面部和颞部的三维模型进行折痕消除和噪点消除，得到所述被测人员的包含颞部部位和眼眶部位的三维模型。
所述颞部部位信息至少包括颞部的曲率信息；所述眼眶部位信息至少包括眼眶脂肪垫的体积，故在基于所述三维模型，确定所述被测人员的颞部部位信息和眼眶部位信息方面，所述营养状况评估模块进一步用于：
基于所述三维模型，确定颞部特征点；
计算每个所述颞部特征点对应的高斯曲率和平均曲率；其中，所述颞部的曲率信息包括每个所述颞部特征点对应的高斯曲率和平均曲率；所述颞部的曲率为颞部特征点之间，所有的三维点云构成的一个曲面，如图6所示，本实施例用已有建立法向量的方法，计算出每个所述颞部特征点的高斯曲率以及所有所述颞部特征点的平均曲率，所有曲率数据记作一个向量μ。
基于所述三维模型，确定眼眶特征点和眼球特征点；
基于所述眼眶特征点确定眼眶体积，基于所述眼球特征点确定眼球体积；即眼部的所有特征点之间，通过三维点云构建一个体积块，眼球的特征点之间，通过三维点云构建一个眼球的体积；
在同一个纵向的平面外侧，将所述眼眶体积减去所述眼球体积，即得到眼眶脂肪垫的体积，如图7所示。
在所述基于所述颞部部位信息和所述眼眶部位信息，确定所述被测人员的营养状况方面，所述营养状况评估模块进一步用于：
基于所述颞部部位信息和所述眼眶部位信息，采用机器学习算法，确定所述被测人员的骨骼肌含量和脂肪含量；
根据所述被测人员的骨骼肌含量和脂肪含量，确定所述被测人员的营养状况。
在所述基于所述颞部部位信息和所述眼眶部位信息，确定所述被测人员的营养状况方面，一个具体的实施例为：
首先明确颞部部位信息和眼眶部位信息作为部分特征，用于之后步骤的机器学习，用于预测该样本来源人员的营养状况。
其次，根据确颞部部位信息、眼眶部位信息和人员基本信息，组成η维的向量X，η为大于1的自然数。人员基本信息包括但不限于的年龄、身高、体重、6分钟步行试验速度等数据。
接着建立基于多元逻辑回归的概率模型，并将向量X带入概率模型中，求解出被测人员为脂肪减少或骨骼肌减少症的概率p。
最后，根据被测人员为脂肪减少或骨骼肌减少症的概率p，确定被测人员的营养状况。
其中，基于多元逻辑回归的概率模型的表达式为
基于多元逻辑回归的概率模型的建立过程，包括以下步骤：
收集对应标识为0和1的两组训练样本集X0和X1；其中，标识0表示病人无肌肉减少症，标识1表示需要存在肌肉减少症。
所述训练样本集为由对应标识下的m个历史样本组成的nXm维矩阵，所述历史样本为由η个维度数据组成的η维向量，m为大于1的自然数；对于测试样本中的任一指标数据，通过t检验（两个样本分别为独立样本，故进行独立样本t检验），判断该指标数据在两类标识0和1对应的训练样本集X0和X1中是否存在明显差异，若检验计算得到的p值大于0.05，则删除该维度数据，依此遍历测试样本中每个维度指标数据。（该步骤论述的过程为进行t检验的过程）最终选取筛选出的所有维度数据，作为多元逻辑回归的因子或协变量，带入多元逻辑回归的模型得到具体的模型算法。
一个实施例中，本实施例所述的营养状况评估模块至少包括信息获取单元、数据处理单元以及指引单元。
所述指引单元，用于：输出第一控制指令和第二控制指令；所述第一控制指令用于控制所述第一摄像头和所述第二摄像头打开；所述第二控制指令用于提示被测人员按照规定进行头颅转动，以使所述第一摄像头和所述第二摄像头均能采集到符合要求的所述头颅深度图像和所述头颅RGB图像；
所述信息获取单元，用于：获取所述头颅深度图像和所述头颅RGB图像；
所述数据处理单元，用于：
基于所述头颅深度图像和所述头颅RGB图像，重建所述被测人员的包含颞部部位和眼眶部位的三维模型；
基于所述三维模型，确定所述被测人员的颞部部位信息和眼眶部位信息；
基于所述颞部部位信息和所述眼眶部位信息，确定所述被测人员的营养状况。
进一步的，所述营养状况评估模块还包括开始虚拟按钮和结果显示模块；
所述结果显示模块用于以界面形式显示所述被测人员的营养状况。
一个示例中，头颅深度图像和头颅RGB图像的采集过程为：
第一，将第一摄像头和第二摄像头均与营养状况评估模块连接好，被测人员站在距离第一摄像头和第二摄像头1.2～1.5米左右处，保证第一摄像头和第二摄像头可以完整拍摄到被测人员的整个头颅部分。
第二，点击所述开始虚拟按钮，进入捕捉过程，根据营养状况评估模块的界面提示，让被测人员的头颅向左移动30度，用时2-5s，再回到原位；然后让被测人员的头颅向右移动30度，用时2-5s。在此期间，第一摄像头和第二摄像头以均匀的时间间隔对被测人员头颅进行拍摄，每秒采集15帧的头颅深度图像和头颅RGB图像，共采集60-150幅且图像分辨率为512×424的头颅深度图像和头颅RGB图像。
第三，将头颅深度图像和头颅RGB图像传输至营养状况评估模块中。
实施例三
如图8所示，本实施例提供的一种基于三维重建的营养状况确定方法，包括：
步骤801：获取被测人员的头颅深度图像和头颅RGB图像。
步骤802：基于所述头颅深度图像和所述头颅RGB图像，重建所述被测人员的包含颞部部位和眼眶部位的三维模型。
步骤803：基于所述三维模型，确定所述被测人员的颞部部位信息和眼眶部位信息。
步骤804：基于所述颞部部位信息和所述眼眶部位信息，确定所述被测人员的营养状况。
其中，所述基于所述头颅深度图像和所述头颅RGB图像，重建所述被测人员的包含颞部部位和眼眶部位的三维模型，具体包括：
基于所述头颅RGB图像和深度学习算法，确定人脸特征点；根据所述人脸特征点的坐标位置，将所述头颅RGB图像和所述头颅深度图像进行贴合处理，得到包含颅面部和颞部的三维模型；对所述包含颅面部和颞部的三维模型进行折痕消除和噪点消除，得到所述被测人员的包含颞部部位和眼眶部位的三维模型。
所述颞部部位信息至少包括颞部的曲率信息；所述眼眶部位信息至少包括眼眶脂肪垫的体积；所述基于所述三维模型，确定所述被测人员的颞部部位信息和眼眶部位信息，具体包括：
基于所述三维模型，确定颞部特征点；计算每个所述颞部特征点对应的高斯曲率和平均曲率；其中，所述颞部的曲率信息包括每个所述颞部特征点对应的高斯曲率和平均曲率；基于所述三维模型，确定眼眶特征点和眼球特征点；基于所述眼眶特征点确定眼眶体积，基于所述眼球特征点确定眼球体积；在同一个纵向的平面外侧，将所述眼眶体积减去所述眼球体积，得到眼眶脂肪垫的体积。
所述基于所述颞部部位信息和所述眼眶部位信息，确定所述被测人员的营养状况，具体包括：
基于所述颞部部位信息和所述眼眶部位信息，采用机器学习算法，确定所述被测人员的骨骼肌含量和脂肪含量；根据所述被测人员的骨骼肌含量和脂肪含量，确定所述被测人员的营养状况。
现使用搭载深度摄像头和普通摄像头的iphone12为载体，将上述算法封装进营养状况评估APP中，其使用界面如图9所示。
该营养状况评估APP将图像数据与超声数据、生化数据对比以进行信效度验证。样本量为50例，如图10所示，根据营养状况评估APP计算的结果P与血清白蛋白的相关性r=0.324，结果P与小腿骨骼肌维度的相关性r=0.608，均具有显著相关关系，证明该营养状况评估APP在预测营养状况上具有很高的信度和效度。
此外，以上技术手段可以不使用深度数据，仅使用大量数据通过机器学习，进行定性评价，但其准确度较差。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种基于三维重建的营养状况确定系统，其特征在于，包括第一摄像头、第二摄像头和营养状况评估模块；
所述第一摄像头，用于：获取被测人员的头颅深度图像；
所述第二摄像头，用于：获取被测人员的头颅RGB图像；
所述营养状况评估模块，用于：
基于所述头颅深度图像和所述头颅RGB图像，重建所述被测人员的包含颞部部位和眼眶部位的三维模型；
基于所述三维模型，确定所述被测人员的颞部部位信息和眼眶部位信息；
基于所述颞部部位信息和所述眼眶部位信息，确定所述被测人员的营养状况。
2.根据权利要求1所述的一种基于三维重建的营养状况确定系统，其特征在于，在所述基于所述头颅深度图像和所述头颅RGB图像，重建所述被测人员的包含颞部部位和眼眶部位的三维模型方面，所述营养状况评估模块，用于：
基于所述头颅RGB图像和深度学习算法，确定人脸特征点；
根据所述人脸特征点的坐标位置，将所述头颅RGB图像和所述头颅深度图像进行贴合处理，得到包含颅面部和颞部的三维模型；
对所述包含颅面部和颞部的三维模型进行折痕消除和噪点消除，得到所述被测人员的包含颞部部位和眼眶部位的三维模型。
3.根据权利要求1所述的一种基于三维重建的营养状况确定系统，其特征在于，所述颞部部位信息至少包括颞部的曲率信息；所述眼眶部位信息至少包括眼眶脂肪垫的体积；在所述基于所述三维模型，确定所述被测人员的颞部部位信息和眼眶部位信息方面，所述营养状况评估模块，用于：
基于所述三维模型，确定颞部特征点；
计算每个所述颞部特征点对应的高斯曲率和平均曲率；其中，所述颞部的曲率信息包括每个所述颞部特征点对应的高斯曲率和平均曲率；
基于所述三维模型，确定眼眶特征点和眼球特征点；
基于所述眼眶特征点确定眼眶体积，基于所述眼球特征点确定眼球体积；
在同一个纵向的平面外侧，将所述眼眶体积减去所述眼球体积，得到眼眶脂肪垫的体积。
4.根据权利要求1所述的一种基于三维重建的营养状况确定系统，其特征在于，在所述基于所述颞部部位信息和所述眼眶部位信息，确定所述被测人员的营养状况方面，所述营养状况评估模块，用于：
基于所述颞部部位信息和所述眼眶部位信息，采用机器学习算法，确定所述被测人员的骨骼肌含量和脂肪含量；
根据所述被测人员的骨骼肌含量和脂肪含量，确定所述被测人员的营养状况。
5.根据权利要求1所述的一种基于三维重建的营养状况确定系统，其特征在于，所述营养状况评估模块至少包括信息获取单元、数据处理单元以及指引单元；
所述指引单元，用于：输出第一控制指令和第二控制指令；所述第一控制指令用于控制所述第一摄像头和所述第二摄像头打开；所述第二控制指令用于提示被测人员按照规定进行头颅转动，以使所述第一摄像头和所述第二摄像头均能采集到符合要求的所述头颅深度图像和所述头颅RGB图像；
所述信息获取单元，用于：获取所述头颅深度图像和所述头颅RGB图像；
所述数据处理单元，用于：
基于所述头颅深度图像和所述头颅RGB图像，重建所述被测人员的包含颞部部位和眼眶部位的三维模型；
基于所述三维模型，确定所述被测人员的颞部部位信息和眼眶部位信息；
基于所述颞部部位信息和所述眼眶部位信息，确定所述被测人员的营养状况。
6.根据权利要求5所述的一种基于三维重建的营养状况确定系统，其特征在于，所述营养状况评估模块还包括开始虚拟按钮和结果显示模块；
所述结果显示模块用于以界面形式显示所述被测人员的营养状况。
7.根据权利要求1所述的一种基于三维重建的营养状况确定系统，其特征在于，所述营养状况评估模块集成在终端上；所述终端分别与所述第一摄像头、所述第二摄像头连接。
8.根据权利要求1所述的一种基于三维重建的营养状况确定系统，其特征在于，所述第一摄像头、所述第二摄像头和所述营养状况评估模块均集成在同一终端上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210516530.6A CN114617533B (zh) | 2022-05-13 | 2022-05-13 | 一种基于三维重建的营养状况确定系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210516530.6A CN114617533B (zh) | 2022-05-13 | 2022-05-13 | 一种基于三维重建的营养状况确定系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114617533A true CN114617533A (zh) | 2022-06-14 |
| CN114617533B CN114617533B (zh) | 2022-08-16 |
Family
ID=81907181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210516530.6A Active CN114617533B (zh) | 2022-05-13 | 2022-05-13 | 一种基于三维重建的营养状况确定系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114617533B (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1972643A (zh) * | 2004-05-20 | 2007-05-30 | 库柏维景公司 | 用于提高视力的角膜覆盖物和波前像差矫正 |
| US20070141163A1 (en) * | 2004-01-06 | 2007-06-21 | Franco Vitaliano | Smart bio-nanoparticle elements |
| US20080200993A1 (en) * | 2007-02-15 | 2008-08-21 | Jenifer Lee Henderson | Temporal Brow Lifting and Fixation Device |
| CN101520553A (zh) * | 2003-12-03 | 2009-09-02 | 卡尔蔡司视觉澳大利亚控股有限公司 | 成形的非矫正护目镜镜片及提供该种镜片的方法 |
| US20110098935A1 (en) * | 2006-03-20 | 2011-04-28 | University Of Maryland, Baltimore | Techniques for determining the effects on a system of a component that has four states |
| AU2015200007A1 (en) * | 2010-06-15 | 2015-01-29 | Flint Hills Scientific, Llc | A systems approach to disease state, health, and comorbidity assessment |
| CN104346829A (zh) * | 2013-07-29 | 2015-02-11 | 中国农业机械化科学研究院 | 基于pmd相机和摄像头的彩色三维重建系统及其方法 |
| US20150045897A1 (en) * | 2013-08-09 | 2015-02-12 | Howmedica Osteonics Corp. | Patient-specific craniofacial implants |
| US20170293356A1 (en) * | 2016-04-08 | 2017-10-12 | Vizzario, Inc. | Methods and Systems for Obtaining, Analyzing, and Generating Vision Performance Data and Modifying Media Based on the Vision Performance Data |
| CN207182917U (zh) * | 2017-09-21 | 2018-04-03 | 北京康爱营养科技股份有限公司 | 营养状态评估装置 |
| CN110491510A (zh) * | 2019-07-22 | 2019-11-22 | 缤刻普达（北京）科技有限责任公司 | 身体测量装置、方法及健康管理意见报告生成装置 |
| CN111540473A (zh) * | 2020-05-28 | 2020-08-14 | 崔剑雄 | 患者主观整体营养评估量表生成系统、装置和方法 |
| CN111542776A (zh) * | 2017-11-15 | 2020-08-14 | 卡尔蔡斯耶拿有限公司 | 用于hmd的光导、hmd以及用于在hmd中传输图像的方法 |
| CN111657981A (zh) * | 2019-03-08 | 2020-09-15 | 西门子医疗有限公司 | 产生虚拟患者模型的方法、患者模型产生装置和检查系统 |
| US20200320781A1 (en) * | 2015-07-17 | 2020-10-08 | Bao Tran | Systems and Methods for Fitting Product |
| CN113628750A (zh) * | 2021-09-17 | 2021-11-09 | 成都尚医信息科技有限公司 | 一种基于数字技术的营养不良快速筛查系统 |
| WO2021230534A1 (ko) * | 2020-05-13 | 2021-11-18 | 가톨릭대학교 산학협력단 | 안와 및 안와주변 병변 예측 장치 및 그 예측 방법 |
| CN114219754A (zh) * | 2021-10-29 | 2022-03-22 | 上海鹰瞳医疗科技有限公司 | 基于眼部ct图像的甲状腺相关眼疾识别方法和装置 |
-
2022
- 2022-05-13 CN CN202210516530.6A patent/CN114617533B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101520553A (zh) * | 2003-12-03 | 2009-09-02 | 卡尔蔡司视觉澳大利亚控股有限公司 | 成形的非矫正护目镜镜片及提供该种镜片的方法 |
| US20070141163A1 (en) * | 2004-01-06 | 2007-06-21 | Franco Vitaliano | Smart bio-nanoparticle elements |
| CN1972643A (zh) * | 2004-05-20 | 2007-05-30 | 库柏维景公司 | 用于提高视力的角膜覆盖物和波前像差矫正 |
| US20110098935A1 (en) * | 2006-03-20 | 2011-04-28 | University Of Maryland, Baltimore | Techniques for determining the effects on a system of a component that has four states |
| US20080200993A1 (en) * | 2007-02-15 | 2008-08-21 | Jenifer Lee Henderson | Temporal Brow Lifting and Fixation Device |
| AU2015200007A1 (en) * | 2010-06-15 | 2015-01-29 | Flint Hills Scientific, Llc | A systems approach to disease state, health, and comorbidity assessment |
| CN104346829A (zh) * | 2013-07-29 | 2015-02-11 | 中国农业机械化科学研究院 | 基于pmd相机和摄像头的彩色三维重建系统及其方法 |
| US20150045897A1 (en) * | 2013-08-09 | 2015-02-12 | Howmedica Osteonics Corp. | Patient-specific craniofacial implants |
| US20200320781A1 (en) * | 2015-07-17 | 2020-10-08 | Bao Tran | Systems and Methods for Fitting Product |
| US20170293356A1 (en) * | 2016-04-08 | 2017-10-12 | Vizzario, Inc. | Methods and Systems for Obtaining, Analyzing, and Generating Vision Performance Data and Modifying Media Based on the Vision Performance Data |
| CN207182917U (zh) * | 2017-09-21 | 2018-04-03 | 北京康爱营养科技股份有限公司 | 营养状态评估装置 |
| CN111542776A (zh) * | 2017-11-15 | 2020-08-14 | 卡尔蔡斯耶拿有限公司 | 用于hmd的光导、hmd以及用于在hmd中传输图像的方法 |
| CN111657981A (zh) * | 2019-03-08 | 2020-09-15 | 西门子医疗有限公司 | 产生虚拟患者模型的方法、患者模型产生装置和检查系统 |
| CN110491510A (zh) * | 2019-07-22 | 2019-11-22 | 缤刻普达（北京）科技有限责任公司 | 身体测量装置、方法及健康管理意见报告生成装置 |
| WO2021230534A1 (ko) * | 2020-05-13 | 2021-11-18 | 가톨릭대학교 산학협력단 | 안와 및 안와주변 병변 예측 장치 및 그 예측 방법 |
| CN111540473A (zh) * | 2020-05-28 | 2020-08-14 | 崔剑雄 | 患者主观整体营养评估量表生成系统、装置和方法 |
| CN113628750A (zh) * | 2021-09-17 | 2021-11-09 | 成都尚医信息科技有限公司 | 一种基于数字技术的营养不良快速筛查系统 |
| CN114219754A (zh) * | 2021-10-29 | 2022-03-22 | 上海鹰瞳医疗科技有限公司 | 基于眼部ct图像的甲状腺相关眼疾识别方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114617533B (zh) | 2022-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109859203B (zh) | 基于深度学习的缺陷牙齿图像识别方法 | |
| Giancardo et al. | Textureless macula swelling detection with multiple retinal fundus images | |
| CN106340015B (zh) | 一种关键点的定位方法和装置 | |
| CN107038728A (zh) | 基于迭代重建的轮廓自动化确定 | |
| CN113781440B (zh) | 超声视频病灶检测方法及装置 | |
| KR20130136519A (ko) | 파노라마 엑스선 사진을 이용한 진단 지원 시스템, 및 파노라마 엑스선 사진을 이용한 진단 지원 프로그램 | |
| CN108257132A (zh) | 一种基于机器学习的ct图像质量评估的方法 | |
| CN103562960B (zh) | 用于生成图像的图像区域与元素类之间的分配的装置 | |
| WO2011106440A1 (en) | Method of analyzing a medical image | |
| US9092867B2 (en) | Methods for segmenting images and detecting specific structures | |
| CN110599499B (zh) | 基于多路卷积神经网络的mri图像心脏结构分割方法 | |
| US8831323B2 (en) | Method and apparatus for measuring activity of a tracer | |
| CN110335235A (zh) | 心脏医学图像的处理装置、处理系统和介质 | |
| US20160210740A1 (en) | Method and system for spine position detection | |
| WO2015040547A1 (en) | Method and system for spine position detection | |
| JP2022546344A (ja) | 脳卒中特徴取得のための画像処理 | |
| CN114419181A (zh) | Cta图像的重建方法及重建装置、显示方法及显示装置 | |
| CN114529502A (zh) | 用于进行自动化受检者解剖结构和取向识别的基于深度学习的方法和系统 | |
| CN109087357A (zh) | 扫描定位方法、装置、计算机设备及计算机可读存储介质 | |
| CN109300122A (zh) | 图像处理与阈值确定方法、装置及设备 | |
| CN114617533B (zh) | 一种基于三维重建的营养状况确定系统 | |
| Voigt et al. | Topodermatographic image analysis for melanoma screening and the quantitative assessment of tumor dimension parameters of the skin | |
| CN107004270A (zh) | 用于计算感兴趣对象的位移的方法和系统 | |
| CN115330732A (zh) | 一种确定胰腺癌的方法及装置 | |
| CN106447650B (zh) | 基于spect平面显像的人体甲状腺测重方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |