CN112184705B - 一种基于计算机视觉技术的人体穴位识别、定位及应用系统 - Google Patents

一种基于计算机视觉技术的人体穴位识别、定位及应用系统 Download PDF

Info

Publication number
CN112184705B
CN112184705B CN202011175669.6A CN202011175669A CN112184705B CN 112184705 B CN112184705 B CN 112184705B CN 202011175669 A CN202011175669 A CN 202011175669A CN 112184705 B CN112184705 B CN 112184705B
Authority
CN
China
Prior art keywords
image
acupuncture point
positioning
data set
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011175669.6A
Other languages
English (en)
Other versions
CN112184705A (zh
Inventor
冯伟
梁繁荣
赵凌
孙铭声
祝斌林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Zhishu Yilian Technology Co ltd
Original Assignee
Chengdu Zhishu Yilian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Zhishu Yilian Technology Co ltd filed Critical Chengdu Zhishu Yilian Technology Co ltd
Priority to CN202011175669.6A priority Critical patent/CN112184705B/zh
Publication of CN112184705A publication Critical patent/CN112184705A/zh
Application granted granted Critical
Publication of CN112184705B publication Critical patent/CN112184705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于计算机视觉技术的人体穴位识别、定位及应用系统，通过构建穴位及病症信息数据库、穴位识别定位算法模块、交互处理程序，极大提高穴位识别的效率、准确率，帮助用户轻松寻穴，将深度学习技术和双目立体成像技术应用于识别人体表面二维图像特征中的穴位名称及对应位置，并创造性地使用对图像进行原始标记的方式设计基于深度学习的自动标注模型，为基于深度学习的穴位识别模型的建立和训练提供大量、准确的数据基础。同时，使用双目立体成像技术为基于深度学习的穴位识别模型提供图像三维空间信息，提高穴位识别模型定位的准确度，帮助用户轻松寻穴，有利于的传统中医腧穴理论推广使用。

Description

一种基于计算机视觉技术的人体穴位识别、定位及应用系统
技术领域
本发明涉及深度学习领域，尤其涉及一种基于计算机视觉技术的人体穴位识别、定位及应用系统。
背景技术
随着社会生活不断丰富，全民保健意识逐步提高，基于传统中医穴位保健理论得以迅速发展，并有着极佳的保健效果。传统寻穴需要专业中医师根据骨度分寸法、体表标志法、手指比量法等专业性强的方法实施，医师人力资源无法满足广大民众需求；而运用现代高新技术的寻穴方法如建立人体三维模型，结合VR（虚拟现实）、AR（增强现实）技术进行人体寻穴，此方法可以完成穴位识别，但是用户使用门槛高，同时需要专业技术人员指导实施，针对不同人体需要重新建模时间花费长，现实可行性不强。
发明内容
针对上述问题，本发明提供一种基于计算机视觉技术的人体穴位识别、定位及应用系统，通过构建穴位及病症信息数据库、穴位识别定位算法模块、交互处理程序，极大提高穴位识别的效率、准确率，帮助用户轻松寻穴，有利于的传统中医腧穴理论推广使用。针对用户不同病症对应的穴位集合，提供不同病症关联穴位集合的保健、按摩、针灸方法。
本发明通过以下技术方案实现：
一种基于计算机视觉技术的人体穴位识别、定位及应用系统，包括：
自监督标注模块，通过原始穴位标记数据集，对穴位坐标信息进行识别，并通过坐标预提取模型校验，得到输出穴位坐标信息；
双目立体成像监督模块，比较显著性检测模型和识别定位模型的深度信息，输出结果，并通过反向传播算法进行优化；
部位图像分类模块，构建基于深度学习的人体部位分类模型，通过原始图像中特征信息，识别出图像中是否包含系统可以识别的人体部位；
显著性检测模块，构建基于深度学习的显著性检测模型，通过原始图像中特征信息，对图像中的人体部位进行分割，并对目标图像中的部位框进行定位；
识别定位模块，构建的基于深度学习的识别定位模型，通过分割图像中轮廓信息，对识别定位模型图像中人体部位的位置及方向进行判断，对图像中存在的穴位点的位置和对应的穴位名称进行定位。
进一步的，所述自监督标注模块包括：
原始标记获取单元，对标记样本的人体通过标记物进行原始标记，并对带有原始标记的穴位部位进行拍摄，得到原始穴位标记数据集；
坐标预提取单元，根据标记物的具体形状、颜色，通过计算机图像处理技术，对原始穴位标记数据集中的每帧图像进行标记物的坐标提取；
标记定位单元，依据原始图像中的标记物体的特征信息，定位出标记物体在图像中的准确坐标；并根据单帧图像中所有标记的坐标，拟合出标记部位所在的位置框，所有位置框的集合构成部位框数据集。
进一步的，所述双目立体成像监督模块包括：
像素深度信息监督单元，通过原始穴位标记数据集，对应视频流中的帧图像提取图片中的像素深度信息，并将帧图像和帧图像中的深度信息作为像素深度信息监督数据集；
反向传播算法模块，通过反向传播算法优化显著性检测模块和识别定位模块的参数。
进一步的，所述部位图像分类模块包括：
分类模型搭建单元，构建基于深度学习的人体部位分类模型，通过原始图像中的特征信息，识别出图像中是否包含系统可以识别的人体部位。
进一步的，所述显著性检测模块包括：
人体部位数据采集单元，对原始穴位标记数据集进行图像处理后，得到人体部位数据集；
目标部位处理轮廓单元，对人体部位数据集的图像进行肤色检测、阈值分割、Canny算法获取目标部位处理轮廓；
图像分割矫正单元，通过预先训练的图像分割模块对人体部位数据集的图像进行图像分割，获取目标部位分割轮廓，并对轮廓进行矫正；
显著性检测数据单元，通过矫正后图像、人体部位数据集、像素深度信息监督数据集和部位框数据集进行组合，构成显著性检测数据集；
显著性检测模型搭建单元，通过搭建并训练显著性检测模型，同时提供模型调用功能。
进一步的，所述识别定位模块包括：
检测单元，通过的显著性检测模型检测原始穴位标记数据集中的图像，得到分割图像和部位框；
分割图像数据采集单元，通过部位框裁剪分割图像、部位框和标记物体，在图像中的准确坐标计算得到的穴位坐标、像素深度信息监督数据集构成裁剪后分割图像数据集；
识别定位数据获取单元，通过数据增强手段得到识别定位数据集；
识别定位模型搭建单元，通过搭建并训练识别定位模型，同时提供模型调用功能。
进一步的，所述系统还包括数据库和交互处理程序；所述数据库用于存储和输出穴位信息；所述交互处理程序通过接收用户需要进行识别穴位的病症信息，与数据历史穴位信息进行匹配，得到并生成对应的穴位指引信息；用户根据指引内容，对指定的身体部位进行拍摄视频或照片，交互处理程序根据穴位坐标及穴位名称对应关系和图像的像素深度信息，在输入照片或视频上重建穴位信息。
本发明的有益效果：
（1）本发明创新地使用计算机视觉技术结合手机完成穴位识别定位，结合中医理论进行腧穴理论的普及和应用，提高全民保健水平；
（2）本发明在设计训练深度学习算法模型时，创新地使用贴标记物体的方式，获得大量的原始数据样本，为多个模型的训练提供数据基础，且提高模型的准确度；
（3）本发明创新地使用双目立体成像视觉技术采集原始图像的深度信息，训练具有三维预测能力的算法模型。在单摄像头采集、TOF、双目及多目摄像场景下，算法模型的可移植能力提高，尤其在使用手机时，穴位定位准确度提高；
（4）本发明可以在短时间内，完成对身体各部位穴位的识别，识别准确度、精度高，鲁棒性强（适用于各种体型和一定范围的动作变化）。算法模型级联的模块设计，使识别定位的效果更好；
（5）本发明操作方便，用户使用成本低，拓展性强，可移植到FPGA、ARM、CPU等具备处理能力的其他设备上运行。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的系统结构框图；
图2为本发明的自监督标注模块结构框图；
图3为本发明的双目立体成像监督模块结构框图；
图4为本发明的部位图像分类模型结构框图；
图5为本发明的显著性检测模块结构框图；
图6为本发明的识别定位模块结构框图；
图7为本发明的穴位识别定位模块结构框图；
图8位本发明的交互处理程序结构框图；
图9为本发明实施例3的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
本实施例提出一种基于计算机视觉技术的人体穴位识别、定位及应用系统，包括以下组成部分：
一种基于计算机视觉技术的人体穴位识别、定位及应用系统，包括：
自监督标注模块，通过原始穴位标记数据集，对穴位坐标信息进行识别，并通过坐标预提取模型校验，得到输出穴位坐标信息；
双目立体成像监督模块，比较显著性检测模型和识别定位模型的深度信息，输出结果，并通过反向传播算法进行优化；
部位图像分类模块，构建基于深度学习的人体部位分类模型，通过原始图像中特征信息，识别出图像中是否包含系统可以识别的人体部位；
显著性检测模块，构建基于深度学习的显著性检测模型，通过原始图像中特征信息，对图像中的人体部位进行分割，并对目标图像中的部位框进行定位；
识别定位模块，构建的基于深度学习的识别定位模型，通过分割图像中轮廓信息，对识别定位模型图像中人体部位的位置及方向进行判断，对图像中存在的穴位点的位置和对应的穴位名称进行定位。
进一步的，所述自监督标注模块包括：
原始标记获取单元，对标记样本的人体通过标记物进行原始标记，并对带有原始标记的穴位部位进行拍摄，得到原始穴位标记数据集；
坐标预提取单元，根据标记物的具体形状、颜色，通过计算机图像处理技术，对原始穴位标记数据集中的每帧图像进行标记物的坐标提取；
标记定位单元，依据原始图像中的标记物体的特征信息，定位出标记物体在图像中的准确坐标；并根据单帧图像中所有标记的坐标，拟合出标记部位所在的位置框，所有位置框的集合构成部位框数据集。
进一步的，所述双目立体成像监督模块包括：
像素深度信息监督单元，通过原始穴位标记数据集，对应视频流中的帧图像提取图片中的像素深度信息，并将帧图像和帧图像中的深度信息作为像素深度信息监督数据集；
反向传播算法模块，通过反向传播算法优化显著性检测模块和识别定位模块的参数。
进一步的，所述部位图像分类模块包括：
分类模型搭建单元，构建基于深度学习的人体部位分类模型，通过原始图像中的特征信息，识别出图像中是否包含系统可以识别的人体部位。
进一步的，所述显著性检测模块包括：
人体部位数据采集单元，对原始穴位标记数据集进行图像处理后，得到人体部位数据集；
目标部位处理轮廓单元，对人体部位数据集的图像进行肤色检测、阈值分割、Canny算法获取目标部位处理轮廓；
图像分割矫正单元，通过预先训练的图像分割模块对人体部位数据集的图像进行图像分割，获取目标部位分割轮廓，并对轮廓进行矫正；
显著性检测数据单元，通过矫正后图像、人体部位数据集、像素深度信息监督数据集和部位框数据集进行组合，构成显著性检测数据集；
显著性检测模型搭建单元，通过搭建并训练显著性检测模型，同时提供模型调用功能。
进一步的，所述识别定位模块包括：
检测单元，通过的显著性检测模型检测原始穴位标记数据集中的图像，得到分割图像和部位框；
分割图像数据采集单元，通过部位框裁剪分割图像、部位框和标记物体，在图像中的准确坐标计算得到的穴位坐标、像素深度信息监督数据集构成裁剪后分割图像数据集；
识别定位数据获取单元，通过数据增强手段得到识别定位数据集；
识别定位模型搭建单元，通过搭建并训练识别定位模型，同时提供模型调用功能。
进一步的，所述系统还包括数据库和交互处理程序；所述数据库用于存储和输出穴位信息；所述交互处理程序通过接收用户需要进行识别穴位的病症信息，与数据历史穴位信息进行匹配，得到并生成对应的穴位指引信息；用户根据指引内容，对指定的身体部位进行拍摄视频或照片，交互处理程序根据穴位坐标及穴位名称对应关系和图像的像素深度信息，在输入照片或视频上重建穴位信息。
进一步的，所述系统还包括数据库和交互处理程序；所述数据库用于存储和输出穴位信息；所述交互处理程序通过接收用户需要进行识别穴位的病症信息，与数据库历史穴位信息进行匹配，得到并生成对应的穴位指引信息；用户根据指引内容，对指定的身体部位进行拍摄视频或照片，交互处理程序根据穴位坐标及穴位名称对应关系和图像的像素深度信息，在输入照片或视频上重建穴位信息。
实施例2
在实施例1的基础上，提出一种基于计算机视觉技术的人体穴位识别、定位及应用系统的方法，包括以下组成步骤：
1、穴位及病症信息数据库模块Z1：
根据中医理论中人体穴位及穴位对应的病症信息，建立基于病症的穴位保健、按摩、针灸方法的数据库。
1.1所述建立的数据库，包含：
病症对应的人体各部位穴位名称，穴位的按摩方式，穴位的针灸方法，穴位的其他主治病症，穴位的其他详细解释。
1.2 所述建立的数据库，用于提供给用户针对不同的病症的穴位应用方法的数据来源。
1.3 所述建立的数据库，其中的人体穴位及穴位对应的病症信息，由多本专业中医理论古籍或教材包括但不限于：《针灸甲乙经》、《铜人腧穴针灸图经》、《针灸学》、《经络腧穴学》等提炼而成。
1.4 所述建立的数据库，可以部署在服务器、小程序、嵌入式平台等环境中使用。
2、穴位识别定位算法模块Z2：
依据基于计算机视觉技术中的双目立体成像技术和基于人工神经网络中的深度学习技术，构建穴位识别定位算法模块。图7所示。
本算法模块由用于完成多个不同图像处理任务的子算法模块组合而成，这些子算法模块为：自监督标注模块S1、双目立体成像监督模块S2、部位图像分类模块S3、显著性检测模块S4、识别定位模块S5。
2.1 所述自监督标注模块S1的具体构建步骤为：图2所示。
2.1.1 由专业的学校中医教师根据腧穴理论，在每一个标记样本的人体上寻出需要构建的穴位集合中的每个穴位，并在每个穴位上使用标记物粘贴于穴位处作为穴位的原始标记，标记样本数量大于10000，最后使用双目摄像头对粘贴有标记的穴位部位进行视频拍摄，得到原始穴位标记数据集S11。
进一步的，所述腧穴理论为：骨度分寸法、体表标志法、手指比量法等传统腧穴定位方法，方法均来自中医理论古籍或教材。
进一步的，所述标记物为：方便构建自监督标注模块，使用计算机视觉技术提取目标图像内存在的所述标记物的坐标，所以该标记物具有形状一致性或颜色一致性。
进一步的，所述标记样本数量为：不同体态的人的个数。
进一步的，所述视频拍摄的方式也可更换为拍摄照片，其目的为：获取原始穴位标记的图像。
2.1.2 坐标预提取模型S12：根据上述标记物的具体形状、颜色，使用计算机图像处理技术如：视频处理、图像通道转换、图像格式转换、图像形态学操作如（腐蚀、膨胀）等、图像变换操作如（傅里叶变换、霍夫变换）等；从原始穴位标记数据集中的每帧图像提取标记物的坐标。使用每帧图像与图像内的标记物体坐标构建基于深度学习的标注定位模型的标记数据集S13。
进一步，由于基于图像变换操作、形态学操作、图像通道转换、图像格式转换操作后获得的标记物体受限于图像标记物的光照、角度的影响，所以设计了基于深度学习的标记定位模型，该模型可以大大提高标记定位的准确度。
2.1.3 设计基于深度学习的标记定位模型S14，该模型可以以DarkNet、ResNet、MobileNet等系列CNN卷积神经网络模型为主框架，以MSELoss、L1Loss、BCELoss等损失函数为优化目标，以Adam、SGD等损失优化方法为优化器来构建自监督标注模型，以Pytorch、TensorFlow、Caffe等平台构建和训练模型。其目的为：构建基于深度学习的标记（单类多目标）定位模型，依据原始图像中的标记物体的特征、纹理、轮廓等信息，定位出标记物体在图像中的准确坐标S15，同时，根据单帧图像中所有标记的坐标，拟合出标记部位所在的位置框，所有位置框的集合构成部位框数据集S16。
进一步的，所述标记物体在图像中的准确坐标S15用于训练穴位识别定位模型S56。
进一步的，所述拟合为：根据不同部位轮廓的形状，选择合适的位置框，使该部位和该部位内的标记均在位置框内。
进一步的，所述部位框数据集S16，用于训练显著性检测模型S46。
2.1.4 组合上述模型及数据集，构成自监督标注模块S1。具体组合和流程为：将原始穴位标记数据集S11经过标记定位模型S14识别后的穴位坐标信息经坐标预提取模型S12校验：校验成功则输出穴位坐标信息；若校验不成功，则继续训练该标记识别模型。其组合流程如图1所示。
2.2 所述双目立体成像监督模块S2的具体构建步骤为：图3所示。
2.2.1 使用上述原始穴位标记数据集S11，对应视频流中的帧图像提取图片中的像素深度信息。
进一步的，所述像素深度信息为：双目摄像头的左右两个摄像头采集的视频流分帧处理后，对分出的每帧的两幅图像通过双目立体成像原理建模后，得到具有每个像素的深度信息的集合。
进一步的，视频流分帧处理时，设置帧间隔或不设置间隔分帧。
2.2.2 将帧图像和帧图像中的深度信息作为像素深度信息监督数据集S21。
2.2.3 使用像素深度信息监督数据集S21作为深度信息标签S22来监督显著性检测模块S4中的显著性检测模型S44和识别定位模块S5的识别模型S54的深度信息输出。
进一步，所述深度信息标签S22为：在训练监督显著性检测模型S44和识别定位模型S54时，两个模型的输出中的部分信息为输入模块图像的深度信息值，训练过程的一个目标为使两个模型每次输出的深度信息值与深度信息标签相等。以此使显著性检测模型S44和识别定位模型S54具备侦测图像深度信息的能力。
进一步，所述监督过程即为：比较显著性检测模型S44和识别定位模型S54的深度信息输出是否与深度信息标签相等，使用反向传播算法优化显著性检测模型S44和识别定位模型S54时的参数。
2.3 所述部位图像分类模块S3的具体构建步骤为：图4所示。
2.3.1 根据人体部位的二维图像特征，设计基于深度学习的人体部位分类模型S31，该模型可以以DarkNet、ResNet、MobileNet等系列CNN卷积神经网络模型为主框架，以MSELoss、L1Loss、BCELoss等损失函数为优化目标，以Adam、SGD等损失优化方法为优化器来构建自监督标注模型，以Pytorch、TensorFlow、Caffe等深度学习平台构建和训练模型。其目的为：构建基于深度学习的人体部位分类（图像分类）模型，依据原始图像中特征信息，识别图像中是否包含系统可以识别的人体部位。
进一步的，所述人体部位分类模型S31可以是基于传统机器学习算法模型、其他深度学习算法模型构建而成。
2.3.2 在构建的人体部位分类模型S31基础上，系统可以对输入系统的图像进行判定。
2.3.3 若人体部位分类模型S31判断输入系统的图像为系统不可识别的图像则退出工作流，请求重新输入；若人体部位分类模型S31判断为系统可识别的图像，其返回值为True和预设的人体具体部位，并将返回值和输入图像输入至下一个工作流。
进一步的，只有用户输入系统的图像为正确的系统可识别的人体部位图像时，才能进入下一个工作流进行后续的穴位识别，以此保证系统工作正常。
进一步的，部位图像分类模块S3目的为，使用参数量较小的深度学习网络模型，达到保证系统的输入正确。本模块可以与显著性检测模块、识别定位模块嵌入、并行、串行使用等，但在此基础上做出的改进、顺序交换、删减等都应属于本专利权力保护的范围。
2.4 所述显著性检测模块S4的具体构建步骤为：图5所示。
2.4.1 对原始穴位标记数据集S11进行图像处理后，得到人体部位数据集S41。
2.4.2 采用OpenCV、PIL等图像处理库对人体部位数据集S41的图像进行肤色检测、阈值分割、Canny算法等获取目标部位处理轮廓S42。
2.4.3 使用预先训练的图像分割模型对人体部位数据集S41的图像进行图像分割，获取目标部位分割轮廓S43。
2.4.4 对上述目标部位处理轮廓S42和目标部位分割轮廓S43的图像进行一一矫正后，获得矫正后图像S44。
2.4.5 将矫正后图像S44、人体部位数据集S41、像素深度信息监督数据集S21、部位框数据集S16组合构成显著性检测数据集S45。
2.4.6 根据人体部位图像的分辨率、图像中需要检测的部位大小，设计基于深度学习的显著性检测模型S46，该模型可以以DarkNet、ResNet、MobileNet等系列CNN卷积神经网络模型为主框架，以MSELoss、L1Loss、BCELoss等损失函数为优化目标，以Adam、SGD等损失优化方法为优化器来构建自监督标注模型，以Pytorch、TensorFlow、Caffe等深度学习平台构建和训练模型。
2.4.7 使用上述显著性检测数据集S45训练显著性检测模型S46，训练目标为：使构建的基于深度学习的显著性检测模型S46，能根据原始图像中特征信息，分割出图像中的人体部位，并定位目标图像中的部位框。
2.5 所述识别定位模块S5的具体构建步骤为：图6所示。
2.5.1 使用训练好的显著性检测模型S46检测原始穴位标记数据集S11中的图像，得到分割图像S51和部位框S52。
2.5.2 使用部位框裁剪分割图像、部位框和标记物体在图像中的准确坐标S15计算得到的穴位坐标S53、像素深度信息监督数据集S21构成裁剪后分割图像数据集S54。使用数据增强手段得到识别定位数据集S55。
2.5.3 根据分割图像S51和穴位坐标S53的数量，设计基于深度学习的识别定位模型S56，该模型可以以DarkNet、ResNet、MobileNet等系列CNN卷积神经网络模型为主框架，以MSELoss、L1Loss、BCELoss等损失函数为优化目标，以Adam、SGD等损失优化方法为优化器来构建自监督标注模型，以Pytorch、TensorFlow、Caffe等深度学习平台构建和训练模型。
2.5.4 使用识别定位数据集S55训练识别定位模型S56，训练目标为：使构建的基于深度学习的识别定位模型S56，能根据分割图像中轮廓信息，识别定位模型判断图像中人体部位的位置及方向进而定位图像中存在的穴位点的位置和穴位名称。
2.6 组合以上模块，其具体步骤为：图7所示。
2.6.1 对输入Z21使用部位图像分类模块S3判断，若结果为输入不符合系统要求，则退出工作流，请求重新输入；若部位图像分类模块S3判断为系统可识别的图像，其返回值为True和预设的人体具体部位，并将返回值和输入图像输入至下一个工作流。
2.6.2 使用显著性检测模块S4对输入图像Z22进行图像显著性检测，获得部位框坐标Z24和分割像素深度信息Z25。
2.6.3 使用获得的部位框坐标Z24对分割图像进行裁剪，裁剪后的图像输入识别定位模块S5，获得穴位坐标和穴位名称对应关系Z26和定位像素深度信息Z27。
2.6.4 将输入大小Z3、部位框坐标Z24、分割像素深度信息Z25、穴位坐标和穴位名称对应关系Z26、定位像素深度信息Z27进行坐标映射Z29。
进一步的，所述坐标映射Z29过程为：将穴位坐标和穴位名称对应关系Z26、定位像素深度信息Z27映射为对应输入图像Z22的穴位坐标和穴位名称对应关系和像素深度信息。
2.6.5 当输入图片为两张时：使用双目成像建模Z28将两张图片和经过坐标映射Z29处理后的穴位坐标和穴位名称对应关系和像素深度信息形成输出；当输入图片为单张时，直接使用经过坐标映射Z29处理后的穴位坐标和穴位名称对应关系和像素深度信息形成输出。
进一步的，所述输出为对应输入图像Z22的穴位坐标和穴位名称对应关系和像素深度信息。
3、交互处理程序Z3：
具体步骤为：图8所示。
3.1 交互处理程序Z3接收用户需要进行识别穴位的病症信息。
3.2 交互处理程序Z3所述穴位及病症信息数据库模块Z1中，检索当前病症对应的穴位信息后，向用户返回需要寻找的穴位名称及对应的身体部位。
3.3 交互处理程序Z3根据对应的穴位名称和部位，生成本次寻穴的指引内容。
进一步的，所述指引内容为预设的部位拍摄方式，拍摄轮廓等。
3.4 用户根据指引内容，对指定的身体部位进行拍摄视频或照片。
3.5 交互处理程序Z3运行穴位识别定位算法模块Z2对拍摄的身体部位视频或照片进行检测，若部位图像分类模块S3输出当前视频或照片不符合系统检测，则提示用户调整重新拍摄。若部位图像分类模块S3检测通过，则会对用户传入的身体部位视频或照片进行穴位定位识别，返回穴位坐标及穴位名称对应关系和图像的像素深度信息。
3.6 交互处理程序Z3根据穴位坐标及穴位名称对应关系和图像的像素深度信息在输入照片或视频上重建穴位坐标和穴位名称及调取，穴位的按摩方式、针灸方法、其他主治病症，穴位的其他详细解释等。达到使用户可视化的目的。
3.7 当交互处理程序Z3位于设计好的带有VR、TOF摄像头、双目摄像头等功能的嵌入式平台时，使用输出结果可以还原虚拟现实中人体部位的穴位对应位置，结合其他硬件设备，达到更加快速、简易、精准的取穴、用穴体验。
本实施例将深度学习技术和双目立体成像技术应用于识别人体表面二维图像特征中的穴位名称及穴位位置，并创造性地使用对图像进行原始标记的方式设计基于深度学习的自动标注模型，为基于深度学习的穴位识别模型的建立和训练提供大量、准确的数据基础。同时，使用双目立体成像技术为基于深度学习的穴位识别模型提供图像三维空间信息，提高穴位识别模型定位的准确度，帮助用户轻松寻穴，有利于的传统中医腧穴理论推广使用。
实施例3
如图9，本实施例提出一种基于计算机视觉技术的人体穴位识别、定位及应用系统在用户端的执行流程，在本实施例中，包含以下上述模块：穴位及病症信息数据库模块Z1、穴位识别定位算法模块Z2、将交互处理程序Z3分为：位于服务器端的服务器处理程序Z4和位于手机端小程序Z5。将建立好的穴位及病症信息数据库模块Z1部署在手机端小程序Z5上；将训练好的穴位识别定位算法模块Z2部署在服务器处理程序Z4上。
1、用户使用进入小程序界面后，选择并点击需要进行调理的病症；
2、小程序端根据选择的病症在穴位及病症信息数据库模块Z1中检索病症对应的所有穴位信息，并根据对应的穴位生成本次寻穴需要的拍摄指引；
3、将拍摄指引显示在用户界面，用户依据指引拍摄视频或照片后将文件上传至服务器处理程序Z4；
4、服务器处理程序Z4运行穴位识别定位算法模块Z2对拍摄的身体部位视频或照片进行检测，若部位图像分类模块S3输出当前照片不符合系统检测，则返回需要提示用户调整重新拍摄的指令。若部位图像分类模块S3检测通过，则会对用户传入的身体部位照片进行穴位定位识别，返回穴位坐标及穴位名称对应关系和图像的像素深度信息。
5、手机端小程序Z5根据服务器处理程序Z4返回的指令或穴位坐标及穴位名称对应关系进行相应的显示。若指令为需要用户重新拍摄，则显示提示用户重新拍摄的界面。若指令为穴位坐标及穴位名称对应关系，则在穴位及病症信息数据库模块Z1检索穴位名称关联的信息后，在输入图像上重建穴位坐标和穴位名称，穴位的按摩方式、针灸方法、其他主治病症，穴位的其他详细解释等可视化的穴位信息，达到使用户可视化的目的。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于计算机视觉技术的人体穴位识别、定位及应用系统，其特征在于，包括：
自监督标注模块，通过原始穴位标记数据集，对穴位坐标信息进行识别，并通过坐标预提取模型校验，得到输出穴位坐标信息；
双目立体成像监督模块，比较显著性检测模型和识别定位模型的深度信息，提取像素深度信息，使用像素深度信息监督数据集作为深度信息标签来监督显著性检测模块中的显著性检测模型和识别定位模块的识别模型的深度信息输出，输出结果，通过反向传播算法优化显著性检测模块和识别定位模块的参数；
部位图像分类模块，构建基于深度学习的人体部位分类模型，通过原始图像中特征信息，识别出图像中是否包含系统可以识别的人体部位；
显著性检测模块，构建基于深度学习的显著性检测模型，通过原始图像中特征信息，对图像中的人体部位进行分割，并对目标图像中的部位框进行定位；
识别定位模块，构建的基于深度学习的识别定位模型，通过分割图像中轮廓信息，对识别定位模型图像中人体部位的位置及方向进行判断，对图像中存在的穴位点的位置和对应的穴位名称进行定位。
2.根据权利要求1所述的一种基于计算机视觉技术的人体穴位识别、定位及应用系统，其特征在于，所述自监督标注模块包括：
原始标记获取单元，对标记样本的人体通过标记物进行原始标记，并对带有原始标记的穴位部位进行拍摄，得到原始穴位标记数据集；
坐标预提取单元，根据标记物的具体形状、颜色，通过计算机图像处理技术，对原始穴位标记数据集中的每帧图像进行标记物的坐标提取；
标记定位单元，依据原始图像中的标记物体的特征信息，定位出标记物体在图像中的准确坐标；并根据单帧图像中所有标记的坐标，拟合出标记部位所在的位置框，所有位置框的集合构成部位框数据集。
3.根据权利要求1所述的一种基于计算机视觉技术的人体穴位识别、定位及应用系统，其特征在于，所述双目立体成像监督模块包括：
像素深度信息监督单元，通过原始穴位标记数据集，对应视频流中的帧图像提取图片中的像素深度信息，并将帧图像和帧图像中的深度信息作为像素深度信息监督数据集；
反向传播算法单元，通过反向传播算法优化显著性检测模块和识别定位模块的参数。
4.根据权利要求1所述的一种基于计算机视觉技术的人体穴位识别、定位及应用系统，其特征在于，所述部位图像分类模块包括：
分类模型搭建单元，构建基于深度学习的人体部位分类模型，通过原始图像中的特征信息，识别出图像中是否包含系统可以识别的人体部位。
5.根据权利要求2或3所述的一种基于计算机视觉技术的人体穴位识别、定位及应用系统，其特征在于，所述显著性检测模块包括：
人体部位数据采集单元，对原始穴位标记数据集进行图像处理后，得到人体部位数据集；
目标部位处理轮廓单元，对人体部位数据集的图像进行肤色检测、阈值分割、Canny算法获取目标部位处理轮廓；
图像分割矫正单元，通过预先训练的图像分割模块对人体部位数据集的图像进行图像分割，获取目标部位分割轮廓，并对轮廓进行矫正；
显著性检测数据单元，通过矫正后图像、人体部位数据集、像素深度信息监督数据集和部位框数据集进行组合，构成显著性检测数据集；
显著性检测模型搭建单元，通过搭建并训练显著性检测模型，同时提供模型调用功能。
6.根据权利要求3所述的一种基于计算机视觉技术的人体穴位识别、定位及应用系统，其特征在于，所述识别定位模块包括：
检测单元，通过的显著性检测模型检测原始穴位标记数据集中的图像，得到分割图像和部位框；
分割图像数据采集单元，通过部位框裁剪分割图像、部位框和标记物体，在图像中的准确坐标计算得到的穴位坐标、像素深度信息监督数据集构成裁剪后分割图像数据集；
识别定位数据获取单元，通过数据增强手段得到识别定位数据集；
识别定位模型搭建单元，通过搭建并训练识别定位模型，同时提供模型调用功能。
7.根据权利要求1所述的一种基于计算机视觉技术的人体穴位识别、定位及应用系统，其特征在于，所述系统还包括数据库和交互处理程序；所述数据库用于存储和输出穴位信息；所述交互处理程序通过接收用户需要进行识别穴位的病症信息，与数据历史穴位信息进行匹配，得到并生成对应的穴位指引信息；用户根据指引内容，对指定的身体部位进行拍摄视频或照片，交互处理程序根据穴位坐标及穴位名称对应关系和图像的像素深度信息，在输入照片或视频上重建穴位信息。
CN202011175669.6A 2020-10-28 2020-10-28 一种基于计算机视觉技术的人体穴位识别、定位及应用系统 Active CN112184705B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011175669.6A CN112184705B (zh) 2020-10-28 2020-10-28 一种基于计算机视觉技术的人体穴位识别、定位及应用系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011175669.6A CN112184705B (zh) 2020-10-28 2020-10-28 一种基于计算机视觉技术的人体穴位识别、定位及应用系统

Publications (2)

Publication Number Publication Date
CN112184705A CN112184705A (zh) 2021-01-05
CN112184705B true CN112184705B (zh) 2022-07-05

Family

ID=73916433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011175669.6A Active CN112184705B (zh) 2020-10-28 2020-10-28 一种基于计算机视觉技术的人体穴位识别、定位及应用系统

Country Status (1)

Country Link
CN (1) CN112184705B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991437B (zh) * 2021-04-08 2023-01-10 上海盛益精密机械有限公司 基于图像展缩技术的全自动穴位定位方法
CN113269135A (zh) * 2021-06-17 2021-08-17 中国空间技术研究院 一种卫星转发器识别模型及其训练方法和使用方法
CN113807414A (zh) * 2021-08-30 2021-12-17 中科尚易健康科技(北京)有限公司 基于深度学习的人体经络自动标注方法和装置、设备及存储介质
CN113807204A (zh) * 2021-08-30 2021-12-17 中科尚易健康科技(北京)有限公司 人体经络识别方法和装置、设备及存储介质
CN113813170B (zh) * 2021-08-30 2023-11-24 中科尚易健康科技(北京)有限公司 多摄像头理疗系统的摄像头之间目标点转换方法
CN113813169B (zh) * 2021-08-30 2023-12-01 中科尚易健康科技(北京)有限公司 模型递减的深度学习的人体穴位识别方法及理疗设备
CN113807205A (zh) * 2021-08-30 2021-12-17 中科尚易健康科技(北京)有限公司 局部增强的人体经络识别方法和装置、设备及存储介质
CN113808184A (zh) * 2021-08-30 2021-12-17 中科尚易健康科技(北京)有限公司 基于点云识别的插值方法和装置、设备及存储介质
CN113807207A (zh) * 2021-08-30 2021-12-17 中科尚易健康科技(北京)有限公司 基于多摄像头的人体经络识别方法和装置及人体经络调理设备
CN114092634A (zh) * 2021-10-12 2022-02-25 中国科学院半导体研究所 经穴定位方法、装置、电子设备及存储介质
CN113842116B (zh) * 2021-10-14 2022-09-27 北京鹰之眼智能健康科技有限公司 一种人体穴位的自动定位方法、装置和电子设备
CN113780250B (zh) * 2021-11-11 2022-01-28 四川大学 一种针对小样本的端到端面部腧穴定位方法及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028950A (zh) * 2019-12-26 2020-04-17 中科彭州智慧产业创新中心有限公司 三维人体经络显示方法及显示系统、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101780319B1 (ko) * 2017-03-21 2017-09-21 대전대학교 산학협력단 3차원 경혈 매핑 장치 및 방법
CN107137225B (zh) * 2017-06-22 2023-09-01 山东中医药大学 个性化头面部穴位识别模型建立、定位的方法和系统
SG10201809094TA (en) * 2018-10-16 2020-05-28 Aitreat Pte Ltd Method And System Of Locating A Position Within A Human Body
CN110464633A (zh) * 2019-06-17 2019-11-19 深圳壹账通智能科技有限公司 穴位识别方法、装置、设备及存储介质
CN110458025B (zh) * 2019-07-11 2022-10-14 南京邮电大学 一种基于双目摄像头的目标识别与定位方法
CN110930374A (zh) * 2019-11-13 2020-03-27 北京邮电大学 一种基于双深度相机的腧穴定位方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028950A (zh) * 2019-12-26 2020-04-17 中科彭州智慧产业创新中心有限公司 三维人体经络显示方法及显示系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN112184705A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN112184705B (zh) 一种基于计算机视觉技术的人体穴位识别、定位及应用系统
Gomez-Donoso et al. Large-scale multiview 3d hand pose dataset
CN110458895B (zh) 图像坐标系的转换方法、装置、设备及存储介质
CN103336576B (zh) 一种基于眼动追踪进行浏览器操作的方法及装置
CN110705478A (zh) 人脸跟踪方法、装置、设备及存储介质
US11945125B2 (en) Auxiliary photographing device for dyskinesia analysis, and control method and apparatus for auxiliary photographing device for dyskinesia analysis
CN105426827A (zh) 活体验证方法、装置和系统
CN109815776A (zh) 动作提示方法和装置、存储介质及电子装置
CN112101315B (zh) 一种基于深度学习的运动评判指导方法和系统
CN112016497A (zh) 基于人工智能的单视角太极拳动作分析及考核系统
CN111695431A (zh) 一种人脸识别方法、装置、终端设备及存储介质
KR20200081629A (ko) 관절각 비교를 통한 단체 댄스 평가 장치 및 그 방법
CN114022512A (zh) 运动辅助方法、装置及介质
CN114333046A (zh) 舞蹈动作评分方法、装置、设备和存储介质
CN114549557A (zh) 一种人像分割网络训练方法、装置、设备及介质
Sielhorst et al. Synchronizing 3d movements for quantitative comparison and simultaneous visualization of actions
CN115331314A (zh) 一种基于app筛查功能的运动效果评估方法和系统
CN108416800A (zh) 目标跟踪方法及装置、终端、计算机可读存储介质
CN109934798A (zh) 体内目标物信息标注方法及装置、电子设备、存储介质
CN114093024A (zh) 人体动作的识别方法、装置、设备及存储介质
CN111881807A (zh) 基于人脸建模及表情追踪的vr会议控制系统及方法
WO2021021085A1 (en) Modification of projected structured light based on identified points within captured image
CN113965550B (zh) 智能交互式远程辅助视频系统
CN112766230A (zh) 一种视频流人员在线时长估计方法及对应系统
CN114419711B (zh) 基于ai教育系统的专注度识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant