CN113380375A - 一种基于机器视觉的针灸手法量化方法及系统 - Google Patents

一种基于机器视觉的针灸手法量化方法及系统 Download PDF

Info

Publication number
CN113380375A
CN113380375A CN202110628166.8A CN202110628166A CN113380375A CN 113380375 A CN113380375 A CN 113380375A CN 202110628166 A CN202110628166 A CN 202110628166A CN 113380375 A CN113380375 A CN 113380375A
Authority
CN
China
Prior art keywords
manipulation
acupuncture
coordinates
vision sensor
binocular vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110628166.8A
Other languages
English (en)
Inventor
李之玉
刘澄涵
张亚楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yisheng Information Technology Co ltd
Original Assignee
Shanghai Yisheng Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yisheng Information Technology Co ltd filed Critical Shanghai Yisheng Information Technology Co ltd
Priority to CN202110628166.8A priority Critical patent/CN113380375A/zh
Publication of CN113380375A publication Critical patent/CN113380375A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Urology & Nephrology (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Finger-Pressure Massage (AREA)

Abstract

本发明提出了一种基于机器视觉的针灸手法量化方法及系统。该方法分为六个模块：标定双目视觉传感器、录制实验用针的过程、计算空间坐标、分析对应的手法操作、计算手法操作的物理参数、在手法数据库中储存结果。标定双目视觉传感器以便得到图像坐标和空间坐标的换算关系，计算机计算视频中的每帧反光目标的空间坐标，分析所有空间坐标可得到视频中不同时间段的手法操作。再计算得到每一个手法操作的幅度、角度等物理参数，储存在手法数据库中，就完成了一次针灸手法的量化。

Description

一种基于机器视觉的针灸手法量化方法及系统
技术领域
本发明涉及一种针灸手法量化技术，具体涉及一种基于机器视觉的针灸手法量化方法及系统。
背景技术
针灸是一种历史悠久、实操性很强的医疗技术。一直以来，针灸手法的教学和传承多依赖口传心授或课堂、书本；对教学成果的检验也只能在实践中靠患者的反馈，不能做到精细的量化和调整。因此开发一种能够对针灸手法进行测量和评估的方法，使得能够获得针灸手法中的细节，对针灸本身的发展、教学质量的提高、相关产业的带动都是有很大的积极意义的。
目前有许多针灸手法量化的系统，但仍有许多地方值得完善和提高。有些是采取了模拟方式的量化，如压力、拉力转换的电信号等。但这种方式较容易受噪声干扰，也不方便发现导致异常信号的原因，进而无法调整手法状态。有些则是测量方式较为笼统，例如只能对一个时间段的旋转总数、提插总数等进行统计，不能捕捉到更细微的手法变化，难以获得更精确的手法评价和改善。
发明内容
为解决上述问题，本发明提供一种基于机器视觉的针灸手法量化方法及系统。本发明通过标定好的双目视觉传感器来录制实验用针的针灸手法，再结合机器视觉的图像处理算法，分析计算得到每一帧的空间坐标，从而可以继续计算获得视频中的不同针灸手法，以及每个针灸手法对应的物理参数。采取视觉的方式较其它方式更加自然、直观；对每一帧的分析，既可以精确量化每一时刻点的手法细节，也可以将其汇总分析，获取动作的趋势和最显著的特点。
本发明是通过如下技术方案实现的。
S1、标定双目视觉传感器，并根据张正友标定法计算所拍摄的图片上的有效点，在图片上的坐标与空间三维坐标之间的换算关系。
S2、使用标定好的双目视觉传感器，录制用户使用实验用针进行针灸时的手部和实验用针的运动过程。
S3、将录制好的视频，上传至计算机，使用结合了机器视觉的图像处理算法识别出视频中每一帧的实验用针的空间坐标。
S4、将所得的空间坐标使用计算机进行手法组合分析，获得针灸手法理论中对应的不同的基础针灸手法操作。
S5、将所得的基础针灸手法操作分别使用计算机进行物理参数分析，获取基础手法的物理参数。如运动幅度、频率、角度等。
S6、将所获得的物理参数存储在手法数据库中。
进一步地，在步骤S1中，双目视觉传感器进行标定。通过视觉信息，将获取双目视觉传感器的内参数和外参数，并将空间坐标系统一于双目视觉传感器的坐标系下，并计算出图像坐标和空间三维坐标的换算方程的系数。所述有效点，是使用棋盘格标定板进行标定的时候，用于计算的格子之间的交叉点。
进一步地，在步骤S2中，实验用针由医用针灸针，辅助棒，反光目标组成。根据采集手法的不同，选取不同长度与直径的所述辅助棒固定在所述医用针灸针的不同部位。在某些采集手法中，不使用辅助棒。所述反光目标为包括但不限于球形的反光物体。在进行录制时，在使用所述辅助棒的情况下，根据采集手法的不同，选取不同大小的反光目标固定在辅助棒的不同部位。在不使用所述辅助棒的情况下，根据采集手法的不同，选取不同大小的反光目标固定在所述医用针灸针的不同部位。
进一步地，在步骤S3中，首先采用神经网络将每一帧图像的手部和实验用针的大概区域识别出来；第二步对每一幅图像，使用预先设计的估计参数标记出反光目标的大概区域，并根据后续步骤的实际情况进行自适应地调整估计参数；第三步使用计算机图形学算法精确定位反光目标的图像坐标；第四步使用S1步骤中所得到的图像坐标与空间坐标的换算关系，算出每一帧图像的三维空间坐标。
进一步地，在步骤S4中，根据所得到的三维空间坐标的变化情况，得到包括并不限于不同时间段内实验用针的轨迹的方向、和选作比较之用的基准点的距离等的变化，进而和针灸理论中的各类基础针灸手法所对比，得到不同时间段内用户进行的是哪一种针灸手法。
进一步地，在步骤S5中，根据所得到的不同时间段的基础针灸手法，进行所需要的物理参数计算，包括且不限于幅度、频率、角度等。
进一步地，在步骤S6中，根据物理参数以及不同的业务需求，将所记录的视频、所获得的图像、坐标、参数等数据储存在手法数据库中。
实现权利要求1所述的一种基于机器视觉的针灸手法量化系统，其包括双目视觉传感器、实验用针、计算机、手法数据库。双目视觉传感器用于录制视频和捕捉图像；实验用针用于实施针灸操作；计算机用于计算坐标点、分析手法组合、计算手法的物理参数；手法数据库用于储存分析和计算所得的数据。
本发明与现有技术相比，具有以下优点和有益效果：通过视频与图像记录针灸手法，更加简明直观；使用机器视觉处理视频素材，获取针灸手法的关键点的物理参数的方法，较之市场上已有的针灸手法量化方法，更不容易受噪声干扰，也更容易发现手法中的细微变化，从而得到更精确、更有指导意义的量化结果。
附图说明
图1为本发明的流程图。
图2录制操作视频示意图。
图3实验针体示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合附图并通过举例，对本发明的技术方案进行详细说明。需要指出的是，以下若有未明确说明的过程或符号，均是本领域人员可参照已有技术理解并实现的。
本实例的基于机器视觉的针灸手法量化系统包括双目视觉传感器、实验用针、计算机、手法数据库。该方法的流程如图1所示，通过以下步骤实现：
S1、通过双目视觉传感器实现的。标定时，根据张正友标定法计算双目视觉传感器所拍摄的图片上的有效点，在图片上的坐标与空间三维坐标之间的换算关系。
S2、通过双目视觉传感器实现的。如图2，使用标定好的双目视觉传感器，录制用户使用实验用针进行针灸时的手部和实验用针的运动过程。实验用针，包括医用针灸针，辅助棒，反光目标。根据采集手法的不同，选取不同长度与直径的所述辅助棒固定在所述医用针灸针的不同部位。在某些采集手法中，不使用辅助棒。所述反光目标为包括但不限于球形的反光物体。在进行录制时，在使用所述辅助棒的情况下，根据采集手法的不同，选取不同大小的反光目标固定在辅助棒的不同部位。在不使用所述辅助棒的情况下，根据采集手法的不同，选取不同大小的反光目标固定在所述医用针灸针的不同部位。
S3、在计算机上实现的。将录制好的视频，上传至计算机，使用结合了机器视觉的图像处理算法识别出视频中每一帧的实验用针的空间坐标。方法是首先采用神经网络将每一帧图像的手部和实验用针的大概区域识别出来；第二步对每一幅图像，使用预先设计的估计参数标记出反光目标的大概区域，并根据后续步骤的实际情况进行自适应地调整估计参数。例如，根据前一帧反光目标的位置A和后一帧反光目标的位置B，选取包括A和B在内的区域C，以C中心为基础，乘以估计参数得到面积D。如果D仍然没有包括反光目标，则将估计参数以一定的方式扩大，并不断迭代，直到找到反光目标为止；第三步使用计算机图形学算法精确定位反光目标的图像坐标；第四步使用S1步骤中所得到的图像坐标与空间坐标的换算关系，算出每一帧图像的三维空间坐标。
S4、在计算机上实现的。将所得的空间坐标使用计算机进行手法组合分析，获得针灸手法理论中对应的不同的基础针灸手法操作。方法是根据所得到的三维空间坐标的变化情况，得到包括并不限于不同时间段内实验用针的轨迹的方向、和选作比较之用的基准点的距离的变化等，进而和针灸理论中的各类基础针灸手法所对比，得到不同时间段内用户进行的是哪一种针灸手法。
例如：在t0时刻，记录该时刻对应帧的反光目标的三维坐标P0。在t1时刻，记录该时刻对应帧的反光目标的三维坐标P1。在t2时刻，记录该时刻对应帧的反光目标的三维坐标P2。计算P0和P1的距离D1、计算P0和P1的距离D2。如果D1>D2，则将t0-t2时刻记录为“远离”时间段。如果D1<D2，则将t0-t2时刻记录为“靠近”时间段。
S5、在计算机上实现的。将所得的基础针灸手法操作分别使用计算机进行物理参数分析，获取基础手法的物理参数。如运动幅度、频率、角度等。
S6、在手法数据库上实现的。将所获得的物理参数存储在手法数据库中。至此，一次量化过程结束。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围。凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，或利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于机器视觉的针灸手法量化方法，其特征在于，包括以下步骤：
S1、标定双目视觉传感器，并根据张正友标定法计算所拍摄的图片上的有效点，在图片上的坐标与空间三维坐标之间的换算关系；
S2、使用标定好的双目视觉传感器，录制用户使用实验用针进行针灸时的手部和实验用针的运动过程；
S3、将录制好的视频，上传至计算机，使用结合了机器视觉的图像处理算法识别出视频中每一帧的实验用针的空间坐标；
S4、将所得的空间坐标使用计算机进行手法组合分析，获得针灸手法理论中对应的不同的基础针灸手法操作；
S5、将所得的基础针灸手法操作分别使用计算机进行物理参数分析，获取基础手法的物理参数，如运动幅度、频率、角度等。
2.S6、将所获得的物理参数存储在手法数据库中。
3.根据权利要求1所述的一种基于机器视觉的针灸手法量化方法，其特征在于，在步骤S1中，所述双目视觉传感器的标定，是通过视觉信息，将获取双目视觉传感器的内参数和外参数，并将空间坐标系统一于双目视觉传感器的坐标系下，并计算出图像坐标和空间三维坐标的换算方程的系数。
4.根据权利要求1所述的一种基于机器视觉的针灸手法量化方法，其特征在于，在步骤S1中，所述有效点，是使用棋盘格标定板进行标定的时候，用于计算的格子之间的交叉点。
5.根据权利要求1所述的一种基于机器视觉的针灸手法量化方法，其特征在于，在步骤S3中，所述结合了机器视觉的图像处理算法，包括以下步骤：
首先采用神经网络将每一帧图像的手部和实验用针的大概区域识别出来；
第二步对每一幅图像，使用预先设计的估计参数标记出反光目标的大概区域，并根据后续步骤的实际情况进行自适应地调整估计参数；
第三步使用计算机图形学算法精确定位反光目标的图像坐标；
第四步使用S1步骤中所得到的图像坐标与空间坐标的换算关系，算出每一帧图像的三维空间坐标。
6.根据权利要求1所述的一种基于机器视觉的针灸手法量化方法，其特征在于，在步骤S4中，所述手法组合分析，是根据所得到的三维空间坐标的变化情况，得到包括并不限于不同时间段内实验用针的轨迹的方向、和选作比较之用的基准点的距离等变化，进而和针灸理论中的各类基础针灸手法所对比，得到不同时间段内用户进行的针灸手法。
7.根据权利要求1所述的一种基于机器视觉的针灸手法量化方法，其特征在于，在步骤S5中，所述物理参数分析，是根据所得到的不同时间段的基础针灸手法，进行所需要的物理参数计算，包括且不限于幅度、频率、角度等。
8.根据权利要求1所述的一种基于机器视觉的针灸手法量化方法，其特征在于，在步骤S6中，所述手法数据库，是根据物理参数以及不同的业务需求，将所记录的视频、所获得的图像、坐标、参数等数据的储存数据库。
9.根据权利要求1所述的一种基于机器视觉的针灸手法量化系统，其特征在于，包括双目视觉传感器、实验用针、计算机、手法数据库组成。
10.双目视觉传感器用于录制视频和捕捉图像；实验用针用于实施针灸操作；计算机用于计算坐标点、分析手法组合、计算手法的物理参数；手法数据库用于储存分析和计算所得的数据。
CN202110628166.8A 2021-06-06 2021-06-06 一种基于机器视觉的针灸手法量化方法及系统 Pending CN113380375A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110628166.8A CN113380375A (zh) 2021-06-06 2021-06-06 一种基于机器视觉的针灸手法量化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110628166.8A CN113380375A (zh) 2021-06-06 2021-06-06 一种基于机器视觉的针灸手法量化方法及系统

Publications (1)

Publication Number Publication Date
CN113380375A true CN113380375A (zh) 2021-09-10

Family

ID=77575894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110628166.8A Pending CN113380375A (zh) 2021-06-06 2021-06-06 一种基于机器视觉的针灸手法量化方法及系统

Country Status (1)

Country Link
CN (1) CN113380375A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115588154A (zh) * 2022-10-11 2023-01-10 湖北中医药大学 一种针刺手法运动轨迹的识别转录系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115588154A (zh) * 2022-10-11 2023-01-10 湖北中医药大学 一种针刺手法运动轨迹的识别转录系统及方法
CN115588154B (zh) * 2022-10-11 2024-06-07 湖北中医药大学 一种针刺手法运动轨迹的识别转录系统及方法

Similar Documents

Publication Publication Date Title
Zhang et al. 3D dynamic scene analysis: a stereo based approach
US10659670B2 (en) Monitoring system and control method thereof
CN107328502B (zh) 一种锚杆托盘载荷可视化数字成像方法
CN108225537A (zh) 一种非接触式的基于高速摄影的微小物体振动测量方法
US6141440A (en) Disparity measurement with variably sized interrogation regions
Cortés-Osorio et al. Velocity estimation from a single linear motion blurred image using discrete cosine transform
Pintea et al. Hand-tremor frequency estimation in videos
CN109934873B (zh) 标注图像获取方法、装置及设备
CN112967312B (zh) 一种面向野外刚体目标的实时鲁棒位移监测方法及系统
CN113380375A (zh) 一种基于机器视觉的针灸手法量化方法及系统
CN110992393B (zh) 一种基于视觉的目标运动跟踪方法
CN110930386B (zh) 图像处理方法、装置、设备及存储介质
WO2019110382A1 (en) Device, system and method for detecting body movement of a patient
CN115331153A (zh) 一种用于辅助前庭康复训练的姿态监测方法
JP5314018B2 (ja) 因子測定及び表示装置、因子測定及び表示方法、因子測定及び表示方法をコンピューターに実行させる因子測定及び表示プログラム、並びに、音響スキャナ
CN108734139B (zh) 基于特征融合及svd自适应模型更新的相关滤波跟踪方法
Zhang et al. Temporal interpolation via motion field prediction
CN112800966A (zh) 一种视线的追踪方法及电子设备
CN114255200A (zh) 基于实时电影成像的心肌应力分析方法及装置
CN115950436B (zh) 运动物体于既定空间内的定位方法及系统、存储介质
CN117745808B (zh) 一种基于摄影测量的心电图像定位比对方法
CN117596483B (zh) 视频防抖拼接方法、装置、设备及存储介质
KR100324654B1 (ko) 작업 시간 측정 방법
CN111428720B (zh) 基于阶跃响应匹配的亚像素级视觉特征点定位方法及装置
Lin et al. Temporal Interpolation via Motion Field Prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination