CN112052747A - 手掌识别、健康报告生成方法、健康检测系统和电子设备 - Google Patents
手掌识别、健康报告生成方法、健康检测系统和电子设备 Download PDFInfo
- Publication number
- CN112052747A CN112052747A CN202010827545.5A CN202010827545A CN112052747A CN 112052747 A CN112052747 A CN 112052747A CN 202010827545 A CN202010827545 A CN 202010827545A CN 112052747 A CN112052747 A CN 112052747A
- Authority
- CN
- China
- Prior art keywords
- palm
- image
- health
- processed
- guidance plan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000001467 acupuncture Methods 0.000 claims description 45
- 235000013305 food Nutrition 0.000 claims description 9
- 238000002560 therapeutic procedure Methods 0.000 claims description 9
- 230000002996 emotional effect Effects 0.000 claims description 8
- 238000012423 maintenance Methods 0.000 claims description 8
- 238000000554 physical therapy Methods 0.000 claims description 8
- 238000009207 exercise therapy Methods 0.000 claims description 7
- 210000004185 liver Anatomy 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 239000008280 blood Substances 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000001105 regulatory effect Effects 0.000 description 4
- 210000000952 spleen Anatomy 0.000 description 4
- 235000009917 Crataegus X brevipes Nutrition 0.000 description 3
- 235000013204 Crataegus X haemacarpa Nutrition 0.000 description 3
- 235000009685 Crataegus X maligna Nutrition 0.000 description 3
- 235000009444 Crataegus X rubrocarnea Nutrition 0.000 description 3
- 235000009486 Crataegus bullatus Nutrition 0.000 description 3
- 235000017181 Crataegus chrysocarpa Nutrition 0.000 description 3
- 235000009682 Crataegus limnophila Nutrition 0.000 description 3
- 240000000171 Crataegus monogyna Species 0.000 description 3
- 235000004423 Crataegus monogyna Nutrition 0.000 description 3
- 235000002313 Crataegus paludosa Nutrition 0.000 description 3
- 235000009840 Crataegus x incaedua Nutrition 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 210000000232 gallbladder Anatomy 0.000 description 3
- 210000002216 heart Anatomy 0.000 description 3
- 210000003734 kidney Anatomy 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 210000002784 stomach Anatomy 0.000 description 3
- 238000009835 boiling Methods 0.000 description 2
- 235000019007 dietary guidelines Nutrition 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 235000008216 herbs Nutrition 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 210000002429 large intestine Anatomy 0.000 description 2
- BKIMMITUMNQMOS-UHFFFAOYSA-N nonane Chemical compound CCCCCCCCC BKIMMITUMNQMOS-UHFFFAOYSA-N 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000003516 pericardium Anatomy 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 210000000813 small intestine Anatomy 0.000 description 2
- 210000001835 viscera Anatomy 0.000 description 2
- 235000001674 Agaricus brunnescens Nutrition 0.000 description 1
- 244000291564 Allium cepa Species 0.000 description 1
- 235000002732 Allium cepa var. cepa Nutrition 0.000 description 1
- 240000006063 Averrhoa carambola Species 0.000 description 1
- 235000010082 Averrhoa carambola Nutrition 0.000 description 1
- 235000000832 Ayote Nutrition 0.000 description 1
- 244000045232 Canavalia ensiformis Species 0.000 description 1
- 235000010520 Canavalia ensiformis Nutrition 0.000 description 1
- 235000010518 Canavalia gladiata Nutrition 0.000 description 1
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 235000007516 Chrysanthemum Nutrition 0.000 description 1
- 244000189548 Chrysanthemum x morifolium Species 0.000 description 1
- 241000207199 Citrus Species 0.000 description 1
- 235000005979 Citrus limon Nutrition 0.000 description 1
- 235000014493 Crataegus Nutrition 0.000 description 1
- 241001092040 Crataegus Species 0.000 description 1
- 235000009854 Cucurbita moschata Nutrition 0.000 description 1
- 240000001980 Cucurbita pepo Species 0.000 description 1
- 235000009804 Cucurbita pepo subsp pepo Nutrition 0.000 description 1
- 208000005171 Dysmenorrhea Diseases 0.000 description 1
- 206010013935 Dysmenorrhoea Diseases 0.000 description 1
- 240000008620 Fagopyrum esculentum Species 0.000 description 1
- 235000009419 Fagopyrum esculentum Nutrition 0.000 description 1
- 235000016623 Fragaria vesca Nutrition 0.000 description 1
- 240000009088 Fragaria x ananassa Species 0.000 description 1
- 235000011363 Fragaria x ananassa Nutrition 0.000 description 1
- 235000007270 Gaultheria hispida Nutrition 0.000 description 1
- 244000068988 Glycine max Species 0.000 description 1
- 235000010469 Glycine max Nutrition 0.000 description 1
- 240000005979 Hordeum vulgare Species 0.000 description 1
- 235000007340 Hordeum vulgare Nutrition 0.000 description 1
- 235000009811 Momordica charantia Nutrition 0.000 description 1
- 235000009134 Myrica cerifera Nutrition 0.000 description 1
- 244000269152 Myrica pensylvanica Species 0.000 description 1
- 235000012851 Myrica pensylvanica Nutrition 0.000 description 1
- 240000001316 Pappea capensis Species 0.000 description 1
- 244000236480 Podophyllum peltatum Species 0.000 description 1
- 244000294611 Punica granatum Species 0.000 description 1
- 235000014360 Punica granatum Nutrition 0.000 description 1
- 244000088415 Raphanus sativus Species 0.000 description 1
- 235000006140 Raphanus sativus var sativus Nutrition 0.000 description 1
- 241000220317 Rosa Species 0.000 description 1
- 208000013738 Sleep Initiation and Maintenance disease Diseases 0.000 description 1
- 240000003829 Sorghum propinquum Species 0.000 description 1
- 235000011684 Sorghum saccharatum Nutrition 0.000 description 1
- 244000078912 Trichosanthes cucumerina Species 0.000 description 1
- 235000008322 Trichosanthes cucumerina Nutrition 0.000 description 1
- 208000031975 Yang Deficiency Diseases 0.000 description 1
- 240000008866 Ziziphus nummularia Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 208000022531 anorexia Diseases 0.000 description 1
- 235000019789 appetite Nutrition 0.000 description 1
- 230000036528 appetite Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000023555 blood coagulation Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 235000020971 citrus fruits Nutrition 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 206010061428 decreased appetite Diseases 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000000378 dietary effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 241000411851 herbal medicine Species 0.000 description 1
- 235000015243 ice cream Nutrition 0.000 description 1
- 206010022437 insomnia Diseases 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 235000015136 pumpkin Nutrition 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003756 stirring Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4854—Diagnosis based on concepts of traditional oriental medicine
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Human Computer Interaction (AREA)
- Alternative & Traditional Medicine (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Finger-Pressure Massage (AREA)
Abstract
本发明公开了手掌识别、健康报告生成方法、健康检测系统和电子设备，包括：获取含手掌的待处理图像；预处理待处理图像，分离出手掌图像；检测手掌图像中手掌的关键点；基于手掌的关键点，划分手掌图像，从而确定手掌各区域。可以自动检测手掌各区域，并生成健康报告。
Description
技术领域
本发明涉及人工智能领域，尤其涉及手掌识别、健康报告生成方 法、健康检测系统和电子设备。
背景技术
人的双手上有十二条正经脉的86个经穴和224个奇穴，手部集 中了与体内所有器官均有关系的穴位。手掌联结着人体的前部、手背 联结着人体的后部各种器官，因此身体内部有无异常都可由经、穴传 递给手的各部位。疾病的信号更会通过神经、血管和经络反应到指掌 的不同部位上来，而指掌的某种部位的形态改变，其中特异性和规律 性的改变，就是从手诊病的依据。
随着社会进步，人们对于慢病管理的认知也越来越清晰，重视“治 未病”也为中医的健康管理与检测带来了机会。中国的经络理论基础 丰富雄厚，结合热红外与经络全息理论的检测设备也有，但是做不到 自动检测目标区域的功能，并且在检测完毕后，也不能很好的管理人 体健康的档案，对档案进行智能分析，生成健康保健计划，从而影响 了用户体验。
发明内容
本发明的目的是提供手掌识别、健康报告生成方法、健康检测系 统和电子设备，可以自动检测手掌各区域，并生成健康报告。
本发明公开了一种手掌识别方法，包括：
获取含手掌的待处理图像；
预处理待处理图像，分离出手掌图像；
检测手掌图像中手掌的关键点；
基于手掌的关键点，划分手掌图像，从而确定手掌各区域。
可选的，所述获取含手掌的待处理图像为红外图像。
可选的，所述预处理待处理图像包括：
通过最大类间法寻找待处理图像的背景和手掌图像的阈值；
基于阈值，对待处理图像进行二值化处理。
可选的，所述基于阈值，对待处理图像进行二值化处理具体为：
将阈值代入OpenCV中，对待处理图像进行二值化处理。
所述分离出手掌图像具体为：
通过OpenCV轮廓凸包检测，识别处理后的待处理图像中手掌的 轮廓，从而分离出手掌图像。
可选的，所述检测手掌图像中手掌的关键点包括：
通过Mask R-CNN的FPN和ROI Align检测手掌；
通过CPN，检测手掌的关键点。
本发明还公开了一种健康报告生成方法，基于上述的手掌识别方 法，所述健康报告生成方法包括：
获取含手掌的待处理红外图像；
通过手掌识别方法，识别手掌各区域，从而定位手掌各区域对应 穴位；
检测手掌穴位的诊断数据信息，进行分析，生成分析结果；
根据分析结果，生成健康报告。
可选的，所述手掌穴位的诊断数据信息至少包括穴位温度、同一 手掌穴位间的温度差、左右手掌对称部位穴位温度差值信息中的一 项。
可选的，所述健康报告生成方法还包括：
根据健康报告生成对应的健康指导计划，其中，所述健康指导计 划至少包括穴位理疗指导计划、食疗指导计划、运动疗法指导计划、 情志养生指导计划中的一项。
本发明还公开了一种健康检测系统，包括：
第一终端，用于获取含手掌的待处理红外图像；
服务器，用于接收第一终端发送的含手掌的待处理红外图像，并 用于识别手掌各区域，从而定位手掌各区域对应穴位，并用于检测手 掌穴位的诊断数据信息，进行分析，生成分析结果；并用于根据分析 结果，生成健康报告；
第二终端，用于接收服务器发送的所述健康报告，并展示健康报 告。
可选的，所述服务器还用于根据健康报告生成对应的健康指导计 划；其中，所述健康指导计划至少包括穴位理疗指导计划、食疗指导 计划、运动疗法指导计划、情志养生指导计划中的一项。
本发明还公开了一种电子设备，其特征在于，所述电子设备包括：
存储器，存储至少一个指令；
处理器，执行所述存储器中存储的指令以实现如上所述的健康报 告生成方法。
本发明的手掌识别方法可以自动检测手掌各区域，并生成健康报 告。
附图说明
所包括的附图用来提供对本发明实施例的进一步的理解，其构成 了说明书的一部分，用于例示本发明的实施方式，并与文字描述一起 来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动 性的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明实施例手掌识别方法的流程图；
图2是本发明实施例手掌各区域对应的穴位经络示意图；
图3是本发明实施例手掌21个关键点的示意图；
图4是本发明实施例健康报告生成方法的流程图；
图5是本发明实施例健康检测系统的简要示意图。
其中，100、健康检测系统；110、第一终端、120、服务器；130、 第二终端。
具体实施方式
需要理解的是，这里所使用的术语、公开的具体结构和功能细节， 仅仅是为了描述具体实施例，是代表性的，但是本发明可以通过许多 替换形式来具体实现，不应被解释成仅受限于这里所阐述的实施例。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的， 而不能理解为指示相对重要性，或者隐含指明所指示的技术特征的数 量。由此，除非另有说明，限定有“第一”、“第二”的特征可以明 示或者隐含地包括一个或者更多个该特征。
下面参考附图和可选的实施例对本发明作详细说明。
如图1所示，作为本发明的一实施例，公开了一种手掌识别方法， 包括：
S100：获取含手掌的待处理图像；
S200：预处理待处理图像，分离出手掌图像；
S300：检测手掌图像中手掌的关键点；
S400：基于手掌的关键点，划分手掌图像，从而确定手掌各区域。
如图2所示，手掌特定部位与穴位存在的对应关系，可以通过对 手掌各区域的检测识别，进而检测各区域对应的穴位的情况，来判断 健康状况。由于手掌不同部位对应于不同的经络，所以技术的关键点 是对含手掌的待处理图像进行自动识别并进行手掌各区域划分。本实 施例的手掌识别方法，根据手掌本身的独特存在的关节点，总体上分 为两步，第一步是从待处理图像的背景中剥离出手掌图像，第二步是 在剥离的手掌图像中找到关键点。需要说明的是，在含手掌的待处理 图像中，除手掌图像以外的部分为待处理图像的背景部分。
在步骤S200中，含手掌的待处理图像进行预处理是为了可以更 准确、更好的、更快速的分离出手掌图像。结合图3所示，步骤S300 所述手掌的关键点为图中的21个关键点。每个关键点所在位置对应 不同的手掌区域。而步骤300所述的检测手掌图像中手掌的关键点可 以是检测其中21个关键点中的部分或者全部，也可以根据需要检测 更多的关键点，以划分出更多区域。为方便描述方案，本发明以21 个关键点为例进行方案阐述，其中图3中的关键点区域1、2、7、8、 9、11、12、13、15、16、17、19、20、21分别对应图2中的脾经、 胃经、任脉、胆经、肝经、心包经、小肠经、心经、三焦经、大肠经、 肺经、督脉、膀胱经、肾经。优选的，本发明检测如图3中的21个 关键点划分手掌图像，从而确定手掌各区域。
具体的，所述步骤100获取含手掌的待处理图像为红外图像。手 掌的待处理图像为红外成像设备如红外摄像头等拍摄的红外图像。根 据人体具有体温的特性，红外图像基本可以将滤掉背景中大部分干扰 元素，相对于RGB摄像头省去HSV((Hue,Saturation,Value))肤色 检测的步骤。同时，红外图像也可以直接用于热红外检测技术检测穴 位的温度，后续健康报告生成时可以直接使用该红外图像，无缝对接， 数据准确，效率高。
所述步骤200中预处理待处理图像包括：
S210：通过最大类间法寻找待处理图像的背景和手掌图像的阈 值；
S220：基于阈值，对待处理图像进行二值化处理。
对图像预处理，以便从待处理图像分离出手掌图像。对待处理图 像用最大类间法(Otsu)，寻找到手掌图像部分、背景部分的类间阈 值，然后进行二值化处理。
OTSU算法让阈值T应使目标与背景两类的类间方差最大。例如 对于一幅图像，设当前景(在本实施例中即是手掌图像部分)与背景 的分割阈值为t时，前景点占图像比例为w0，均值为u0，背景点占图 像比例为w1，均值为u1。则整个图像的均值为u＝w0×u0+w1×u1。建立 目标函数g(t)＝w0(u0-u)2+w1(u1-u)2，g(t)就是当分割阈值为t时的类 间方差表达式。OTSU算法使得g(t)取得全局最大值，当g(t)为最大 时所对应的t称为最佳阈值。
二值化就是将256个亮度等级的灰度图像通过适当的阈值选取 而获得仍然可以反映图像整体和局部特征的二值化图像。二值化有利 于图像的进一步处理，使图像变得简单，而且数据量减小，能凸显出 目标的轮廓。在本方案中，因为待处理图像采用的是红外图像，且对 于手掌图像而言，与背景环境相比，轮廓形状明显，使用OTSU算法 和二值化处理之后，图像变得简单，数据量减小，更能凸显出手掌轮 廓的同时，处理后图像数据更准确，分离效果更好。
进一步的，所述步骤S220基于阈值，对待处理图像进行二值化 处理具体为：
S221：将阈值代入OpenCV中，对待处理图像进行二值化处理。
为了便于理解，在OpenCV中的处理过程为：首先膨胀(扩大轮 廓边缘)5个像素点，避免手指短截，接着选取最大轮廓，将最大轮 廓重新画出来，过滤掉背景中的其它非手掌图案的一些小轮廓，即背 景噪声，将二值化的图像转化成近似多边形，然后将手指边缘直线化， 从而去掉不需要的轮廓缺陷，获取轮廓凸包，上述过程采用的是 OpenCV自带的OpenCV轮廓凸包检测算法。在此基础上，获取凸包缺 陷、缺陷起点，缺陷起点为手指与手掌相连的位置。由此，可以在待 处理图像的背景中剥离出了手掌图像。
因此，所述步骤S200中的分离出手掌图像具体可以为：
S230通过OpenCV轮廓凸包检测，识别处理后的待处理图像中手 掌的轮廓，从而分离出手掌图像。
另一方米埃，所述步骤S300检测手掌图像中手掌的关键点还包 括：
S310：通过Mask R-CNN的FPN和ROI Align检测手掌；
S320：通过CPN，检测手掌的关键点。
利用mask-rcnn的FPN(特征金字塔网络，Feature Pyramid Network)和ROI Alig手掌图像，然后通过CPN(级联金字塔网络， Cascaded Pyramid Network)实现关键点检测。如图3所示检测21 个关键点。
CPN包括GlobalNet和RefineNet两部分。GlobalNet是特征金 字塔网络，在本发明中可以定位21个关键点中简单的关键点， RefineNet通过整合GlobalNet所有级别的特征来处理21个点位中 比较难识别的关键点。也就是说，GlobalNet先识别出简单关键点， 再由RefineNet来识别余下的难以识别的关键点。这样从易到难，层 层推进，最终克服了关键点难以识别的问题。具体结合到本发明中， 如图3所示，简单的关键点为1、9、13、17、21，这些关键点处于 手掌的指尖区域，较容易识别；难以识别的关键点为2、3、4、5、6、 7、8、10、11、12、14、15、16、18、19、20。由此可知，由于本发 明中针对的是手掌图案的识别，由于手掌图案的整体形状存在如上述 的难以识别的关键点，采用CPN适合于本发明中手掌图案的特点，识 别效率高且准确。
作为本发明的另一实施例，如图4所示，还公开了一种健康报告 生成方法，基于上述的手掌识别方法，所述健康报告生成方法包括：
步骤A：获取含手掌的待处理红外图像；
步骤B：通过手掌识别方法，识别手掌各区域，从而定位手掌各 区域对应穴位；
步骤C：检测手掌穴位的诊断数据信息，进行分析，生成分析结 果；
步骤D：根据分析结果，生成健康报告。
本方案中，获取含手掌的待处理红外图像，该红外图像既用于手 掌识别方法中识别手掌各区域，从而定位手掌各区域对应穴位，也用 于检测手掌穴位的诊断数据信息，处理方便，效率高，数据准确。本 方案通过手掌识别方法自动识别手掌各区域，从而定位手掌各区域对 应穴位，可以精确锁定检测穴位。进一步结合手掌穴位的诊断数据信 息，生成健康报告，方便用户进行健康管理，提高用户体验。
具体的，步骤C中所述的手掌穴位的诊断数据信息至少包括穴位 温度、同一手掌穴位间的温度差、左右手掌对称部位穴位温度差中的 一项。其中，穴位温度指的是手掌每个穴位的温度值；同一手掌穴位 间的温度差指的是同一手掌上的穴位之间的温度差，例如如图2所示 的左手掌上的肝经和胆经之间的温度差；左右手掌对称部位穴位温度 差指的是左手掌和右手掌对称部位穴位之间的温度差值，例如如图2 所示的左手掌任脉和右手掌上任脉(未图示)之间的温度差值。
手掌穴位的诊断数据信息可以上述的一项、两项或者三项，也可 以包括穴位之间的温度进行其他方法比较、分析后的值。因为手掌的 待处理图像是红外图像，所以可以直接通过热红外检测技术检测上述 诊断数据信息。手掌穴位的诊断数据信，具体举例如下表1：
表1手掌穴位诊断数据信息检测表
结合表1和图2所示的各穴位位置，根据中医医学诊断理论，左 右手掌穴位间温度差优选为心经与小肠经、肝经与胆经、脾经与胃经、 肺经与大肠经、肾经与膀胱经、心包经与三焦经、壬脉与督脉之间的 温度差，依次作为诊断数据可以得到的更准确的分析结果。
人体内脏的疾病可以在体表相关的穴位上出现一定程度的温度 变化,温度变化的形式可以是相关穴位温度的上升和下降,也可以表 现为对称部位穴位温度的失衡等等。通过手各区域对应的穴位，与心、 肝、脾、肺、肾等脏腑对应起来，以温度为客观指标，可以分析出人 体的生理、病理状态。因此，在本方案中，通过检测穴位温度、同一 手掌穴位间的温度差、左右手掌对称部位穴位温度差，以此生成分析 结果，对应生成健康报告，从而能够很好的帮助健康管理的实施，可 以长期对用户健康保健做出指导，帮助用户进行穴位经络诊断、健康 管理。
具体的，所述健康报告生成方法还包括：
根据健康报告生成对应的健康指导计划，其中，所述健康指导计 划至少包括穴位理疗指导计划、食疗指导计划、运动疗法指导计划、 情志养生指导计划中的一项。健康指导计划可以其中的一项、两项、 三项甚至是更多。所述的穴位理疗可以是艾灸、按摩，针灸等等。用 户通过执行穴位理疗指导计划、食疗指导计划、运动疗法指导计划、 情志养生指导计划，达到缓解和治疗保健的目的。
关于本方案中的根据健康报告生成对应的健康指导计划，例如， 健康报告提示用户存在肝经淤堵，则可能生成的情志养生指导计划： 心理调摄：多参加社会活动、集体文娱活动；常看喜剧、滑稽剧以及 富有鼓励和激励意义的电影、电视，勿看悲剧、苦剧。可能生成的运 动疗法指导计划：平时注意运动，气郁体质的人,如果不兼带阳虚和 气血虚,可以选择较大强度和运动量的锻炼,比如跑步、登山、球类、 武术、游泳等,足够的运动量,能够较好地调畅气血,促进食欲和改善 睡眠。可能生成的食疗指导计划：应选用具有理气解郁、调理脾胃功 能的食物，如大麦、荞麦、高粱、刀豆、蘑菇、豆豉、苦瓜、萝卜、 洋葱、菊花、玫瑰等。气郁体质者应少食收敛酸涩之物，如乌梅。南 瓜、泡菜、石榴、青梅、杨梅、草莓、杨桃、酸枣、李子、柠檬等， 一面阻滞气机，气滞则血凝。亦不可多食冰冷食品，如雪糕、冰激凌、 冰冻饮料等。还可能生成的食疗指导计划为：柑橘山楂饮，配方为柑 橘100克，山楂80克；制作过程为：1、将柑橘去皮，果肉分成瓣； 2、山楂对半切开，去核，果肉切成小块；3、砂锅中注入适量清水烧 开，倒入柑橘、山楂；4、盖上盖，用小火煮15分钟，至其析出有效 成分，揭盖，略微搅动片刻。5、将煮好的柑橘山楂饮盛出，装入碗 中即可；本品功效为活血化瘀，适合气郁女性缓解痛经、失眠、食欲 不佳等症。还可能生成的食疗指导计划为：中草药调理，常用陈皮、 青皮、香附、乌药、川楝子、小茴香、佛手、郁金等疏肝理气解郁的 药，若气郁引起血瘀，当搭配活血化瘀药。可能生成的穴位理疗指导 计划对膻中、中脘、神阙、气海、涌泉、阴陵泉等穴位艾灸、按摩， 针灸。
作为本发明的另一实施例，如图5所示，还公开了一种健康检测 系统100，包括第一终端110、服务器120和第二终端130。所述第 一终端110用于获取手掌的红外图像。所述服务器120用于接收第一 终端110发送的含手掌的待处理红外图像，还用于识别手掌各区域， 从而定位手掌各区域对应穴位，还用于检测手掌穴位的诊断数据信 息，进行分析，生成分析结果；并用于根据分析结果，生成健康报告。 所述第二终端120，用于接收服务器120发送的所述健康报告，并展 示健康报告。
本发明的健康检测系统100通过手掌识别方法自动识别手掌各 区域，从而定位手掌各区域对应穴位，可以精确锁定检测穴位。进一 步结合手掌穴位的诊断数据信息，生成健康报告，方便用户进行健康 管理，提高用户体验。
第一终端110可以是各种红外成像成像设备，例如红外摄像头 等。第二终端130可以是手机、平板电脑、电脑等各种可接受健康报 告并展示的电子设备。
进一步的，所述服务器120还用于根据健康报告生成对应的健康 指导计划；其中，所述健康指导计划至少包括穴位理疗指导计划、食 疗指导计划、运动疗法指导计划、情志养生指导计划中的一项。
作为本发明的另一实施例，还公开了一种电子设备，所述电子设 备包括存储器和处理器。所述存储器存储至少一个指令；所述处理器 执行所述存储器中存储的指令以实现如上所述的健康报告生成方法。
需要说明的是，本发明实施例中涉及到的各步骤的限定，在不影 响具体方案实施的前提下，并不认定为对步骤先后顺序做出限定，写 在前面的步骤可以是在先执行的，也可以是在后执行的，甚至也可以 是同时执行的，只要能实施本方案，都应当视为属于本发明的保护范 围。
以上内容是结合具体的可选实施方式对本发明所作的进一步详 细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明 所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下， 还可以做出若干简单推演或替换，都应当视为属于本发明的保护范 围。
Claims (11)
1.一种手掌识别方法，其特征在于，包括：
获取含手掌的待处理图像；
预处理待处理图像，分离出手掌图像；
检测手掌图像中手掌的关键点；
基于手掌的关键点，划分手掌图像，从而确定手掌各区域。
2.如权利要求1所述的一种手掌识别方法，其特征在于，所述获取含手掌的待处理图像为红外图像。
3.如权利要求2所述的一种手掌识别方法，其特征在于，所述预处理待处理图像包括：
通过最大类间法寻找待处理图像的背景和手掌图像的阈值；
基于阈值，对待处理图像进行二值化处理。
4.如权利要求3所述的一种手掌识别方法，其特征在于，所述基于阈值，对待处理图像进行二值化处理具体为：
将阈值代入OpenCV中，对待处理图像进行二值化处理；
所述分离出手掌图像具体为：
通过OpenCV轮廓凸包检测，识别处理后的待处理图像中手掌的轮廓，从而分离出手掌图像。
5.如权利要求1至4任意一项所述的一种手掌识别方法，其特征在于，所述检测手掌图像中手掌的关键点包括：
通过Mask R-CNN的FPN和ROI Align检测手掌；
通过CPN，检测手掌的关键点。
6.一种健康报告生成方法，基于权利要求1至5任意一项所述的手掌识别方法，其特征在于，所述健康报告生成方法包括：
获取含手掌的待处理红外图像；
通过手掌识别方法，识别手掌各区域，从而定位手掌各区域对应穴位；
检测手掌穴位的诊断数据信息，进行分析，生成分析结果；
根据分析结果，生成健康报告。
7.如权利要求6所述的一种健康报告生成方法，其特征在于，所述手掌穴位的诊断数据信息至少包括穴位温度、同一手掌穴位间的温度差、左右手掌对称部位穴位温度差值信息中的一项。
8.如权利要求6所述的一种健康报告生成方法，其特征在于，所述健康报告生成方法还包括：
根据健康报告生成对应的健康指导计划，其中，所述健康指导计划至少包括穴位理疗指导计划、食疗指导计划、运动疗法指导计划、情志养生指导计划中的一项。
9.一种健康检测系统，其特征在于，包括：
第一终端，用于获取含手掌的待处理红外图像；
服务器，用于接收第一终端发送的含手掌的待处理红外图像，并用于识别手掌各区域，从而定位手掌各区域对应穴位，并用于检测手掌穴位的诊断数据信息，进行分析，生成分析结果；并用于根据分析结果，生成健康报告；
第二终端，用于接收服务器发送的所述健康报告，并展示健康报告。
10.如权利要求9所述的一种健康检测系统，其特征在于，所述服务器还用于根据健康报告生成对应的健康指导计划；其中，所述健康指导计划至少包括穴位理疗指导计划、食疗指导计划、运动疗法指导计划、情志养生指导计划中的一项。
11.一种电子设备，其特征在于，所述电子设备包括：
存储器，存储至少一个指令；
处理器，执行所述存储器中存储的指令以实现如权利要求6至8中任意一项所述的健康报告生成方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2020108028246 | 2020-08-11 | ||
| CN202010802824 | 2020-08-11 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112052747A true CN112052747A (zh) | 2020-12-08 |
Family
ID=73599371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010827545.5A Pending CN112052747A (zh) | 2020-08-11 | 2020-08-17 | 手掌识别、健康报告生成方法、健康检测系统和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112052747A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113780201A (zh) * | 2021-09-15 | 2021-12-10 | 墨奇科技（北京）有限公司 | 手部图像的处理方法及装置、设备和介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102402679A (zh) * | 2010-09-07 | 2012-04-04 | 北京北科慧识科技股份有限公司 | 非接触式掌纹掌脉识别系统 |
| US20120250961A1 (en) * | 2011-03-30 | 2012-10-04 | Fujifilm Corporation | Medical report generation apparatus, method and program |
| CN103735247A (zh) * | 2013-12-20 | 2014-04-23 | 上海中医药大学 | 用于健康状态辨识的掌色分析方法 |
| KR20170023565A (ko) * | 2015-08-24 | 2017-03-06 | 상명대학교서울산학협력단 | 영상 처리를 이용한 손가락 개수 인식 방법 및 장치 |
| CN106845388A (zh) * | 2017-01-18 | 2017-06-13 | 北京交通大学 | 基于复杂场景的移动终端掌纹感兴趣区域的提取方法 |
| KR101774549B1 (ko) * | 2016-06-28 | 2017-09-21 | 주식회사 팀엘리시움 | 경혈점을 인식하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체 |
| CN108427942A (zh) * | 2018-04-22 | 2018-08-21 | 广州麦仑信息科技有限公司 | 一种基于深度学习的手掌检测与关键点定位方法 |
| JP2018185717A (ja) * | 2017-04-27 | 2018-11-22 | コニカミノルタ株式会社 | 健康管理システムおよび健康管理方法 |
| CN110807410A (zh) * | 2019-10-30 | 2020-02-18 | 北京百度网讯科技有限公司 | 关键点定位方法、装置、电子设备和存储介质 |
| CN111401219A (zh) * | 2020-03-10 | 2020-07-10 | 厦门中控智慧信息技术有限公司 | 一种手掌关键点检测方法和装置 |
| CN111466882A (zh) * | 2020-04-23 | 2020-07-31 | 上海祉云医疗科技有限公司 | 一种智能中医手诊分析系统及方法 |
-
2020
- 2020-08-17 CN CN202010827545.5A patent/CN112052747A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102402679A (zh) * | 2010-09-07 | 2012-04-04 | 北京北科慧识科技股份有限公司 | 非接触式掌纹掌脉识别系统 |
| US20120250961A1 (en) * | 2011-03-30 | 2012-10-04 | Fujifilm Corporation | Medical report generation apparatus, method and program |
| CN103735247A (zh) * | 2013-12-20 | 2014-04-23 | 上海中医药大学 | 用于健康状态辨识的掌色分析方法 |
| KR20170023565A (ko) * | 2015-08-24 | 2017-03-06 | 상명대학교서울산학협력단 | 영상 처리를 이용한 손가락 개수 인식 방법 및 장치 |
| KR101774549B1 (ko) * | 2016-06-28 | 2017-09-21 | 주식회사 팀엘리시움 | 경혈점을 인식하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체 |
| CN106845388A (zh) * | 2017-01-18 | 2017-06-13 | 北京交通大学 | 基于复杂场景的移动终端掌纹感兴趣区域的提取方法 |
| JP2018185717A (ja) * | 2017-04-27 | 2018-11-22 | コニカミノルタ株式会社 | 健康管理システムおよび健康管理方法 |
| CN108427942A (zh) * | 2018-04-22 | 2018-08-21 | 广州麦仑信息科技有限公司 | 一种基于深度学习的手掌检测与关键点定位方法 |
| CN110807410A (zh) * | 2019-10-30 | 2020-02-18 | 北京百度网讯科技有限公司 | 关键点定位方法、装置、电子设备和存储介质 |
| CN111401219A (zh) * | 2020-03-10 | 2020-07-10 | 厦门中控智慧信息技术有限公司 | 一种手掌关键点检测方法和装置 |
| CN111466882A (zh) * | 2020-04-23 | 2020-07-31 | 上海祉云医疗科技有限公司 | 一种智能中医手诊分析系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| YILUN CHEN, ZHICHENG WANG, YUXIANG PENG, ZHIQIANG ZHANG, GANG YU, JIAN SUN, CASCADED PYRAMID NETWORK FOR MULTI-PERSON POSE ESTIMATION, 20 November 2017 (2017-11-20) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113780201A (zh) * | 2021-09-15 | 2021-12-10 | 墨奇科技（北京）有限公司 | 手部图像的处理方法及装置、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kabacinski et al. | Vein pattern database and benchmark results | |
| Kanwisher et al. | A locus in human extrastriate cortex for visual shape analysis | |
| CN105426695B (zh) | 一种基于虹膜的健康状态检测系统 | |
| Loffler | Perception of contours and shapes: Low and intermediate stage mechanisms | |
| CN110464633A (zh) | 穴位识别方法、装置、设备及存储介质 | |
| CN104688184B (zh) | 可见光皮肤图像的静脉显像方法 | |
| Dakin et al. | Context influences contour integration | |
| Nakabayashi et al. | Independent influences of verbalization and race on the configural and featural processing of faces: a behavioral and eye movement study. | |
| CN107837076A (zh) | 一种近红外自配准静脉显像装置及方法 | |
| WO2020199739A1 (zh) | 基于影像大数据的中医体质智能检测与调养系统及方法 | |
| CN104933297A (zh) | 一种为用户提供治疗建议信息的方法与装置 | |
| CN112052747A (zh) | 手掌识别、健康报告生成方法、健康检测系统和电子设备 | |
| CN109259730A (zh) | 一种基于舌诊的预警分析方法和存储介质 | |
| Ganeshan et al. | Biometric iris recognition system using a fast and robust iris localization and alignment procedure | |
| CN103236062B (zh) | 基于人脑肿瘤核磁库的磁共振图像血管分割系统 | |
| Akbar et al. | Image analysis for MRI based brain tumor detection | |
| Van Almkerk et al. | Virtual nature environments based on fractal geometry for optimizing restorative effects | |
| Chun et al. | Study of latest trend on acupuncture for obesity treatment | |
| Lai et al. | Health examination based on iris images | |
| CN104616260A (zh) | 静脉图像增强方法及装置 | |
| CN212809784U (zh) | 一种基于图像识别和大数据的个人健康管理系统 | |
| CN110585591B (zh) | 一种基于神经反馈的大脑视觉检测分析设备和方法 | |
| CN111833989A (zh) | 基于中医大数据的健康茶饮与体质的智能匹配方法和系统 | |
| Park et al. | Automated extraction of optic disc regions from fundus images for preperimetric glaucoma diagnosis | |
| Chang et al. | Robust dermatological wound image segmentation in clinical photos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |