CN114092449A - 一种基于深度学习的人体脏器和经络的视觉定位方法 - Google Patents

一种基于深度学习的人体脏器和经络的视觉定位方法 Download PDF

Info

Publication number
CN114092449A
CN114092449A CN202111403811.2A CN202111403811A CN114092449A CN 114092449 A CN114092449 A CN 114092449A CN 202111403811 A CN202111403811 A CN 202111403811A CN 114092449 A CN114092449 A CN 114092449A
Authority
CN
China
Prior art keywords
meridians
treatment bed
human body
positions
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111403811.2A
Other languages
English (en)
Inventor
张霞
朱海鹏
陈惠�
石明全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Institute of Green and Intelligent Technology of CAS
Original Assignee
Chongqing Institute of Green and Intelligent Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Institute of Green and Intelligent Technology of CAS filed Critical Chongqing Institute of Green and Intelligent Technology of CAS
Priority to CN202111403811.2A priority Critical patent/CN114092449A/zh
Publication of CN114092449A publication Critical patent/CN114092449A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明涉及一种基于深度学习的人体脏器和经络的视觉定位方法，属于计算机视觉和机器学习技术领域。该方法包括：提取治疗床轮廓并将其中心位置设置为坐标原点；筛选包含人物且符合姿态条件的视频帧进行关键点标注，构建样本集；基于样本集训练得到最优的MobileNet网络模型；利用最优网络模型对实测视频进行分析，得到患者关键点相对治疗床中心的位置，进而估算患者脏器、经络位置。本发明是一种基于深度学习估算患者脏器、经络位置的实时方法，可快速、准确和稳定地定位出患者脏器及经络在治疗床的位置，从而提高患者患病部位的治疗效果。

Description

一种基于深度学习的人体脏器和经络的视觉定位方法
技术领域
本发明属于计算机视觉和机器学习技术领域，涉及一种基于深度学习的人体脏器和经络的视觉定位方法。
背景技术
目前，人体关键点定位检测是诸多计算机视觉任务的基础，如动作分类、异常行为检测以及自动驾驶等。近年来，随着深度学习技术的发展，人体关键点的检测效果不断提升，已广泛应用于计算机视觉的各个领域。在医学中，人体关键点的检测主要应用于运动医学领域，以对骨骼疾病患者的运动过程进行科学化理解与分析。而基于人体关键点估计人体脏器、经络位置的相关研究还未出现。特别是在康复医疗中，基于人体关键点估计人体脏器、经络位置的研究至关重要，该研究将避免医护人员对脏器位置估计经验的过度依赖，而且考虑了患者的个体差异，有助于对患病部位进行准确治疗；此外，在治疗过程中还可对患者进行实时监控以及时调整治疗内容，提高患者的治疗效果。
发明内容
有鉴于此，本发明的目的在于提供一种基于深度学习的人体脏器和经络的视觉定位方法，以通过人体关键点及其与脏器、经络之间的相对位置关系，快速、准确和稳定地定位患者脏器、经络在治疗床的位置，从而对患者的患病部位进行针对性治疗，提高其治疗效果。
为达到上述目的，本发明提供如下技术方案：
一种基于深度学习的人体脏器和经络的视觉定位方法，具体包括以下步骤：
S1：从视频中筛选治疗床闲置时的视频帧，并提取治疗床轮廓信息，根据治疗床轮廓信息计算治疗床的中心位置并将其设置为图像坐标原点；
S2：当患者平躺在治疗床时，从视频中筛选出包含人物且符合姿态条件的视频帧进行标注，构建样本集；
S3：将样本集输入MobileNet网络中进行训练，得到一个可提取人体关键点位置的最优网络检测模块；
S4：输入待分析视频至最优网络检测模块，得到人体的关键点信息，并用步骤S1计算的坐标原点对关键点进行坐标修正，从而估算人体脏器及经络相对治疗床的位置。
进一步，步骤S1中，提取治疗床轮廓信息，具体包括以下步骤：
S11：在筛选的视频帧图像中进行高斯滤波，以减少图像上的噪声，防止图像失真；
S12：将滤波后的图像进行灰度及二值化处理；
S13：对二值化图像进行膨胀处理，进一步消除噪声并将图像中独立的元素分割出来；
S14：从图像中检索治疗床的外轮廓。
进一步，步骤S2中，构建样本集，具体包括：筛选出包含人物且符合姿态条件的视频帧；将视频帧划分为训练集、测试集和验证集；对训练集中的视频帧标注人体关键点。
进一步，步骤S2中，所述人体关键点包括：左右颈、左右肩、左右腋窝、左右胯、大腿根部、左右大腿中部、左右膝盖、左右小腿中部以及左右脚踝。
进一步，步骤S4中，估算人体脏器及经络位置，包括估算心脏、左肺、右肺、脾、肝、主经络起点和终点、右腿经络起点和终点、左腿经络起点和终点，具体计算公式为：
心脏：x＝xB2-(xB2-xB1)/2，y＝yB2-(yB2-yB3)/2，其中，B1、B2、B3分别对应颈部左侧、左肩顶、左腋窝；
右肺：x＝xA1-(xA1-xA2)/2，y＝yA3，其中，A1、A2、A3分别对应颈部右侧、右肩顶、右腋窝；
左肺：x＝xB2-(xB2-xB1)/2，y＝yB3；
脾：x＝xB2-(xB2-xB1)/2，y＝yB3-(yB3-yB4)/2，其中，B4对应左胯；
肝：x＝xB2-(xB2-xB1)/2，y＝yB3-(yB3-yB4)/2；
主经络起点：x＝xC，y＝yA1；终点：x＝xC，y＝yC，其中，C对应大腿根部；
右腿经络起点：x＝xA1-(xA1-xA2)/2，y＝yC；终点：x＝xA11，y＝yA11，其中，A11对应右脚踝；
左腿经络起点：x＝xB2-(xB2-xB1)/2，y＝yC；终点：x＝xB11，y＝yB11，其中，B11对应左脚踝。
本发明的有益效果在于：本发明以通过人体关键点及其与脏器、经络之间的相对位置关系，快速、准确和稳定地定位出患者脏器、经络相对治疗床的位置，从而对患者的患病部位进行针对性治疗，提高其治疗效果。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明基于深度学习的人体脏器和经络的视觉定位方法流程图；
图2为人体关键点示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
请参阅图1～图2，本实施例提供一种基于深度学习的人体脏器和经络的视觉定位方法，具体包括以下步骤：
S1：从视频中筛选治疗床闲置时的视频帧，并提取治疗床轮廓信息，根据治疗床轮廓信息计算治疗床的中心位置并将其设置为图像坐标原点；
其中，提取治疗床轮廓信息，具体包括以下步骤：
S11：对筛选的视频帧图像中进行高斯滤波，以减少图像上的噪声，防止图像失真；
S12：将滤波后的图像进行灰度及二值化处理；
S13：对二值化图像进行膨胀处理，进一步消除噪声并将图像中独立的元素分割出来；
S14：从图像中检索治疗床的外轮廓。
S2：当患者平躺在治疗床时，从视频中筛选出包含人物且符合姿态条件的视频帧进行标注，构建样本集；
其中，构建样本集，具体包括：筛选出包含人物且符合姿态条件的视频帧；将视频帧划分为训练集、测试集和验证集；对训练集中的视频帧标注人体关键点。
人体关键点包括：左右颈、左右肩、左右腋窝、左右胯、大腿根部、左右大腿中部、左右膝盖、左右小腿中部以及左右脚踝。
S3：将样本集输入MobileNet网络中进行训练，得到一个可提取人体关键点位置的最优网络检测模块；
S4：输入待分析视频至最优网络检测模块，得到人体的关键点信息，并用步骤S1计算的坐标原点对关键点进行坐标修正，从而估算人体脏器及经络相对治疗床的位置。
其中，估算人体脏器及经络位置，包括估算心脏、左肺、右肺、脾、肝、主经络起点和终点、右腿经络起点和终点、左腿经络起点和终点，具体计算公式为：
心脏：x＝xB2-(xB2-xB1)/2，y＝yB2-(yB2-yB3)/2，其中，B1、B2、B3分别对应颈部左侧、左肩顶、左腋窝；
右肺：x＝xA1-(xA1-xA2)/2，y＝yA3，其中，A1、A2、A3分别对应颈部右侧、右肩顶、右腋窝；
左肺：x＝xB2-(xB2-xB1)/2，y＝yB3；
脾：x＝xB2-(xB2-xB1)/2，y＝yB3-(yB3-yB4)/2，其中，B4对应左胯；
肝：x＝xB2-(xB2-xB1)/2，y＝yB3-(yB3-yB4)/2；
主经络起点：x＝xC，y＝yA1；终点：x＝xC，y＝yC，其中，C对应大腿根部；
右腿经络起点：x＝xA1-(xA1-xA2)/2，y＝yC；终点：x＝xA11，y＝yA11，其中，A11对应右脚踝；
左腿经络起点：x＝xB2-(xB2-xB1)/2，y＝yC；终点：x＝xB11，y＝yB11，其中，B11对应左脚踝。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于深度学习的人体脏器和经络的视觉定位方法，其特征在于，该方法具体包括以下步骤：
S1：从视频中筛选治疗床闲置时的视频帧，并提取治疗床轮廓信息，根据治疗床轮廓信息计算治疗床的中心位置并将其设置为图像坐标原点；
S2：当患者平躺在治疗床时，从视频中筛选出包含人物且符合姿态条件的视频帧进行标注，构建样本集；
S3：将样本集输入MobileNet网络中进行训练，得到一个可提取人体关键点位置的最优网络检测模块；
S4：输入待分析视频至最优网络检测模块，得到人体的关键点信息，并用步骤S1计算的坐标原点对关键点进行坐标修正，从而估算人体脏器及经络相对治疗床的位置。
2.根据权利要求1所述的人体脏器和经络的视觉定位方法，其特征在于，步骤S1中，提取治疗床轮廓信息，具体包括以下步骤：
S11：对筛选的图像进行高斯滤波；
S12：将滤波后的图像进行灰度及二值化处理；
S13：对二值化图像进行膨胀处理，并将图像中独立的元素分割出来；
S14：从图像中检索治疗床的外轮廓。
3.根据权利要求1所述的人体脏器和经络的视觉定位方法，其特征在于，步骤S2中，构建样本集，具体包括：筛选出包含人物且符合姿态条件的视频帧；将视频帧划分为训练集、测试集和验证集；对训练集中的视频帧标注人体关键点。
4.根据权利要求3所述的人体脏器和经络的视觉定位方法，其特征在于，步骤S2中，所述人体关键点包括：左右颈、左右肩、左右腋窝、左右胯、大腿根部、左右大腿中部、左右膝盖、左右小腿中部以及左右脚踝。
5.根据权利要求1所述的人体脏器和经络的视觉定位方法，其特征在于，步骤S4中，估算人体脏器及经络位置，包括估算心脏、左肺、右肺、脾、肝、主经络起点和终点、右腿经络起点和终点、左腿经络起点和终点，具体计算公式为：
心脏：x＝xB2-(xB2-xB1)/2，y＝yB2-(yB2-yB3)/2，其中，B1、B2、B3分别对应颈部左侧、左肩顶、左腋窝；
右肺：x＝xA1-(xA1-xA2)/2，y＝yA3，其中，A1、A2、A3分别对应颈部右侧、右肩顶、右腋窝；
左肺：x＝xB2-(xB2-xB1)/2，y＝yB3；
脾：x＝xB2-(xB2-xB1)/2，y＝yB3-(yB3-yB4)/2，其中，B4对应左胯；
肝：x＝xB2-(xB2-xB1)/2，y＝yB3-(yB3-yB4)/2；
主经络起点：x＝xC，y＝yA1；终点：x＝xC，y＝yC，其中，C对应大腿根部；
右腿经络起点：x＝xA1-(xA1-xA2)/2，y＝yC；终点：x＝xA11，y＝yA11，其中，A11对应右脚踝；
左腿经络起点：x＝xB2-(xB2-xB1)/2，y＝yC；终点：x＝xB11，y＝yB11，其中，B11对应左脚踝。
CN202111403811.2A 2021-11-24 2021-11-24 一种基于深度学习的人体脏器和经络的视觉定位方法 Pending CN114092449A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111403811.2A CN114092449A (zh) 2021-11-24 2021-11-24 一种基于深度学习的人体脏器和经络的视觉定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111403811.2A CN114092449A (zh) 2021-11-24 2021-11-24 一种基于深度学习的人体脏器和经络的视觉定位方法

Publications (1)

Publication Number Publication Date
CN114092449A true CN114092449A (zh) 2022-02-25

Family

ID=80303885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111403811.2A Pending CN114092449A (zh) 2021-11-24 2021-11-24 一种基于深度学习的人体脏器和经络的视觉定位方法

Country Status (1)

Country Link
CN (1) CN114092449A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998571A (zh) * 2022-05-27 2022-09-02 中国科学院重庆绿色智能技术研究院 基于固定尺寸标志物的图像处理及颜色检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998571A (zh) * 2022-05-27 2022-09-02 中国科学院重庆绿色智能技术研究院 基于固定尺寸标志物的图像处理及颜色检测方法
CN114998571B (zh) * 2022-05-27 2024-04-12 中国科学院重庆绿色智能技术研究院 基于固定尺寸标志物的图像处理及颜色检测方法

Similar Documents

Publication Publication Date Title
CN108171738B (zh) 基于脑功能模板的多模态医学图像配准方法
JP2005218507A (ja) バイタルサイン計測方法と装置
CN113647939B (zh) 一种针对脊柱退行性疾病的人工智能康复评估与训练系统
CN107115102A (zh) 一种骨关节功能评估方法与装置
JPWO2009107500A1 (ja) 医用画像処理装置、医用画像処理方法、プログラム
Li et al. Three-dimensional pose estimation of infants lying supine using data from a Kinect sensor with low training cost
CN106846346A (zh) 基于关键帧标记的序列ct图像骨盆轮廓快速提取方法
Langner et al. Identifying morphological indicators of aging with neural networks on large-scale whole-body MRI
CN113130066A (zh) 一种基于人工智能的舌诊图像识别方法
CN111403026A (zh) 一种面瘫等级评估方法
CN110400618B (zh) 一种基于人体运动结构特征的三维步态生成方法
CN114092449A (zh) 一种基于深度学习的人体脏器和经络的视觉定位方法
Lee et al. Video analysis of human gait and posture to determine neurological disorders
US20240020823A1 (en) Assistance diagnosis system for lung disease based on deep learning and assistance diagnosis method thereof
CN110537915A (zh) 一种基于fmri及dti融合的皮质脊髓束纤维追踪方法
Baiker et al. Fully automated whole-body registration in mice using an articulated skeleton atlas
EP2821968B1 (en) Processing model data representing a biological body section having a defect portion
CN113362944A (zh) 一种基于机器学习的功能性消化不良和针刺疗效的预测
CN115300290B (zh) 一种肌肉放松辅助方法
Xia et al. Predicting Free Achilles Tendon Strain From Motion Capture Data Using Artificial Intelligence
CN116486458A (zh) 一种基于图像识别技术的气道评估方法
Soda et al. A low-cost video-based tool for clinical gait analysis
CN114240934B (zh) 一种基于肢端肥大症的图像数据分析方法及系统
Lee et al. A postoperative free flap monitoring system: Circulatory compromise detection based on visible-light image
CN110801204B (zh) 一种基于人体框架的平衡检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination