CN115588154B - 一种针刺手法运动轨迹的识别转录系统及方法 - Google Patents

一种针刺手法运动轨迹的识别转录系统及方法 Download PDF

Info

Publication number
CN115588154B
CN115588154B CN202211242976.0A CN202211242976A CN115588154B CN 115588154 B CN115588154 B CN 115588154B CN 202211242976 A CN202211242976 A CN 202211242976A CN 115588154 B CN115588154 B CN 115588154B
Authority
CN
China
Prior art keywords
frame
image
video
manipulation
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211242976.0A
Other languages
English (en)
Other versions
CN115588154A (zh
Inventor
宋杰
俞果
屈艺
毕天威
高静莹
吴师
徐子绚
陈洋
孙兴洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei College of Chinese Medicine
Original Assignee
Hubei College of Chinese Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei College of Chinese Medicine filed Critical Hubei College of Chinese Medicine
Priority to CN202211242976.0A priority Critical patent/CN115588154B/zh
Publication of CN115588154A publication Critical patent/CN115588154A/zh
Application granted granted Critical
Publication of CN115588154B publication Critical patent/CN115588154B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种针刺手法运动轨迹的识别转录系统及方法，涉及视频技术领域，包括OpenCV解码器、图像处理器、物体跟踪器和运动轨迹输出器，所述OpenCV解码器用于将输入的针灸手法视频转为每一帧的图像；本发明可以对视频进行解码，输出视频中的每一帧的图像，可以对第一帧图像进行处理，获取初始的坐标，可以对每一帧图像中的针灸动作进行跟踪，并记录动作的坐标，可以对记录下的坐标进行处理，输出运动距离‑时间曲线、速度时间曲线、加速度‑时间曲线与能够供运针仪器能够识别的动作序列，以此，能够采集动作轨迹等数据，将中医的针灸动作转化为供仪器识别的动作组合，从而让运针仪能够做出对应的针灸动作。

Description

一种针刺手法运动轨迹的识别转录系统及方法
技术领域
本发明涉及视频技术领域，尤其涉及一种针刺手法运动轨迹的识别转录系统及方法。
背景技术
针灸作为中医特色疗法，国际化推广应用发展迅速，已被190多个国家推广应用，成为全球应用最广泛、接受程度最高的传统医学，但中医药标准体系仍不够完善，推广应用相对比较薄弱，需要一款系统对真实世界针刺手法运动轨迹进行采集，已用于数据分析和仪器运用，因此，本发明提出一种针刺手法运动轨迹的识别转录系统及方法以解决现有技术中存在的问题。
发明内容
针对上述问题，本发明提出一种针刺手法运动轨迹的识别转录系统及方法，该针刺手法运动轨迹的识别转录系统及方法能够采集动作轨迹等数据，将中医的针灸动作转化为供仪器识别的动作组合，从而让运针仪能够做出对应的针灸动作。
为实现本发明的目的，本发明通过以下技术方案实现：一种针刺手法运动轨迹的识别转录系统，包括OpenCV解码器、图像处理器、物体跟踪器和运动轨迹输出器，所述OpenCV解码器用于将输入的针灸手法视频转为每一帧的图像，供其他部件对动作进行解析处理；所述图像处理器用于将OpenCV解码器输出的第一帧图像进行处理，采用卷积神经网络对视频类型进行识别，使用Suzuki算法计算每个视频中手法的初始位置；
所述物体跟踪器用于对每一帧图像中手法的运动进行跟踪，采用CamShift 算法对手法进行追踪，并记录下每帧图片中手法的位置，组合成为连续的运动轨迹；所述运动轨迹输出器用于对物体跟踪器记录下的手法运动轨迹进行转换，将对应的手法运动轨迹转换为运动距离/角度-时间曲线、(角)速度-时间曲线、 (角)加速度时间曲线、以及运针仪能够识别的指令序列。
一种针刺手法运动轨迹的识别转录方法，包括以下步骤：
S1：打开针灸动作的视频；
S2：利用OpenCV视频解码器对打开的视频文件进行图像解码；
S3：利用图像处理器对解码的图像进行处理，包括使用卷积神经网络识别视频手法类型、转换图像颜色空间、对转换后的图像进行目标增强、利用Suzuki 轮廓检测算法对图像中的针灸动作进行识别，获取初始坐标；
S4：将得到的初始坐标作为起始坐标，使用物体跟踪器对视频图像中的针灸动作进行追踪，包括利用CamShift算法对视频中的运动轨迹进行计算并记录；
S5：反复取下一帧图像并进行跟踪、记录，直至处理完所有视频帧图像；
S6：使用运动轨迹输出器将记录下的运动轨迹输出为运动距离/角度-时间曲线、(角)速度-时间曲线、(角)加速度-时间曲线、以及运针仪可识别的G-Code 指令序列。
进一步改进在于：所述S3包括：
S31：使用卷积神经网络进行训练，获取针柄/针顶标记物的图像特征；
S32：打开针灸视频，使用OpenCV提取视频中的每帧的图像；
S33：使用神经网络对首帧图片进行以下操作识别并分类，判断视频为提插类或捻转手法；
S34：对首帧图片转换图像颜色空间、对转换后的图像进行目标增强、利用 Suzuki轮廓检测算法对图像中的针灸动作进行识别，获取针柄/标记物的初始坐标。
进一步改进在于：所述S31包括：
S311：准备数据集，提取提插类和捻转类对应手法的视频的首帧图像，按照手法进行归类，作为数据集；
S312：搭建一个卷积神经网络，使用S311中准备的数据集进行训练；
S313：将训练好的模型保存，供识别时使用。
进一步改进在于：所述S33包括：
S331：加载S313中保存的神经网络模型；
S332：对S32中提取出的视频首帧图像，使用S313中的模型对其类别进行预测；
S333：根据对图像手法类别的预测，选择其预测结果中概率最大的结果为，视频对应的手法类型。
进一步改进在于：所述S34包括：
S341：将图片从RGB颜色空间转换为HSV颜色空间；
S342：将HSV图像的三通道分量进行处理，以筛选出针柄/标记物作为起始追踪目标；
S343：将处理后的HSV图像与首帧图像按位比较，去除其他无用图像，仅保留需要追踪的针柄/标记物；
S344：对得到的图像采用Suzuki算法，获取目标边缘点集，具体步骤如下：
(1)：为每个边界编号，保证编号唯一，记当前跟踪的边界编号为NBD，上一个跟踪的边界编号为LNBD；
(2)：使用光栅扫描法对图像进行扫描，每次扫描到新的一行时，令LNBD＝1，当扫描到某个像素点(i，j)的灰度值fi，j≠0时执行下一步骤；
(3)：当fi，j＝1且fi，j-1＝0，令(i2，j2)＝(i，j-1)，NBD+1，当fi，j≥1 且fi，j+1＝0，令(i2，j2)＝(i，j+1)，NBD+1，当fi，j≠1，跳转到(9)；
(4)：以(i，j)为中心，(i2，j2)为起点，按顺时针方向查找非0像素点，当存在，则记录第一个像素点的位置(i1，j1)，当不存在，则令fi，j＝-NBD，跳转到(9)；
(5)：令(i2，j2)＝(i1，j1)，(i3，j3)＝(i，j)；
(6)：以(i2，j2)为中心，(i3，j3)为起点，按逆时针方向查找非0像素点，当存在，则记录为(i4，j4)；
(7)：当fi3，j3+1＝0，则fi3，j3＝-NBD，当fi3，j3+1≠0，且fi3，j3＝1，则fi3，j3＝NBD；
(8)：当(i4，j4)＝(i，j)，(i3，j3)＝(i1，j1)，跳转到(5)，否则，(i3，j3)＝(i4，j4)，(i2，j2)＝(i3，j3)；
(9)：当fi，j≠1，则令LNBD＝|fi，j|，继续从(i，j+1)扫描，当扫描到图片的最右下角时，扫描结束；
S345：对S344中获取的目标边缘点集进行框选，此即为初始坐标。
进一步改进在于：所述S4中，当判断视频手法为提插类，则进行如下操作：
S411：对每帧图像进行反向投影，将其从RGB颜色空间转换为HSV颜色空间，对图像的对H分量进行直方图统计，代表不同H分量取值出现的概率，将图像中每个像素的值用其颜色出现的概率进行替换，由此得到颜色概率分布图；
S412：在当前帧，计算候选图像块的颜色直方图；
S413：对每一帧图片，都利用CamShift算法，计算目标的新位置：
(1)：计算0阶矩：
(2)：计算1阶矩：
(3)：搜索框的质心为搜索框的大小为/>
(4)：移动搜索框的中心到质心，当移动距离大于阈值，则跳转到(1)重新计算，直至移动值小于阈值，或计算次数到达指定最大值；
S414：对每一帧图片计算出的物体坐标进行记录。
进一步改进在于：所述S6中，当判断视频手法为提插类，则进行如下操作：
S611：将每一帧图片记录下的物体坐标进行如下处理，转换为运动距离时间曲线：对视频帧按顺序编号，作为x轴坐标，以每帧对应的物体坐标作为y轴坐标，使用Matplotlib绘制对应的散点图；
S612：将每一帧图片记录下的物体坐标进行如下处理，转换为速度时间曲线：对S414记录下的坐标，逐帧计算位移，按照像素与针柄实际长度的对应关系计算出针柄的实际位移，按照每帧之间间隔的时间长度，计算出每帧之间的速度，对视频帧按顺序编号，作为x轴坐标，以每帧对应的速度作为y轴坐标，使用 Matplotlib绘制对应的散点图；
S613：将每一帧图片记录下的物体坐标进行如下处理，转换为加速度时间曲线：对S612记录下的速度，逐帧计算速度差，按照每帧之间的速度差与每帧之间间隔的时间长度，计算出每帧之间的加速度，对视频帧按顺序编号，作为x轴坐标，以每帧对应的加速度作为y轴坐标，使用Matplotlib绘制对应的散点图；
S614：将每一帧图片记录下的物体坐标进行如下处理，转换为运针仪可以识别的G-Code指令序列：对S612得到的物体运动轨迹，按照与运针仪指令中位移对应的关系进行转换，得到指令中位移的长度，将指令位移长度转换为对应的 G-Code运行指令。
进一步改进在于：所述S4中，当判断视频手法为捻转类，则进行如下操作：
S421：对于每一帧图像，采用S344中的算法框选标记物，获取标记物的边缘点集；
S422：对于S421中的点集，求最小外接矩形；
S423：对于S422中求得的矩形，记录其旋转角度；
S424：对每一帧图片计算出的角度进行记录。
进一步改进在于：所述S6中，当判断视频手法为捻转类，则进行如下操作：
S621：将每一帧图片记录下的角度进行如下处理，转换为角度时间曲线：对 S424记录下的角度使用numpy进行曲线拟合，对视频帧按顺序编号，作为x轴坐标，以每帧对应的角度作为y轴坐标，使用Matplotlib绘制对应的散点图；
S622：将每一帧图片记录下的物体角度进行如下处理，转换为角速度时间曲线：对S424记录下的角度，逐帧计算角度变化，按照每帧之间间隔的时间长度，计算出每帧之间的角速度，对视频帧按顺序编号，作为x轴坐标，以每帧对应的角速度作为y轴坐标，使用Matplotlib绘制对应的散点图；
S623：将每一帧图片记录下的角度进行如下处理，转换为角加速度时间曲线：对S424记录下的角速度，逐帧计算速度差，按照每帧之间的速度差与每帧之间间隔的时间长度，计算出每帧之间的角加速度，对视频帧按顺序编号，作为x轴坐标，以每帧对应的角加速度作为y轴坐标，使用Matplotlib绘制对应的散点图；
S624：将每一帧图片记录下的角度进行如下处理，转换为运针仪可以识别的 G-Code指令序列：对S622得到的物体角度变化，按照与运针仪指令中角位移对应的关系进行转换，得到指令中角位移的长度，将指令角位移长度转换为对应的 G-Code运行指令。
本发明的有益效果为：
1、本发明可以对视频进行解码，输出视频中的每一帧的图像，可以对第一帧图像进行处理，获取初始的坐标，可以对每一帧图像中的针灸动作进行跟踪，并记录动作的坐标，可以对记录下的坐标进行处理，输出运动距离-时间曲线、速度时间曲线、加速度-时间曲线与能够供运针仪器能够识别的动作序列，以此，能够采集动作轨迹等数据，将中医的针灸动作转化为供仪器识别的动作组合，从而让运针仪能够做出对应的针灸动作。
2、本发明将针灸的动作手法采集为系统化的标准数据，便于与现代自动化仪器相结合，为中医的推广提供便利。
附图说明
图1为本发明的系统流程路径图；
图2为本发明的对针灸视频的手法判断流程图；
图3为本发明的获取初始坐标的流程图；
图4为本发明的提插类手法跟踪轨迹流程图；
图5为本发明的捻转类手法跟踪轨迹流程图。
具体实施方式
为了加深对本发明的理解，下面将结合实施例对本发明做进一步详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。
实施例一
根据图1所示，本实施例提出了一种针刺手法运动轨迹的识别转录系统，包括OpenCV解码器、图像处理器、物体跟踪器和运动轨迹输出器，所述OpenCV解码器用于将输入的针灸手法视频转为每一帧的图像，供其他部件对动作进行解析处理；所述图像处理器用于将OpenCV解码器输出的第一帧图像进行处理，采用卷积神经网络对视频类型进行识别，使用Suzuki算法计算每个视频中手法的初始位置；
所述物体跟踪器用于对每一帧图像中手法的运动进行跟踪，采用CamShift 算法对手法进行追踪，并记录下每帧图片中手法的位置，组合成为连续的运动轨迹；所述运动轨迹输出器用于对物体跟踪器记录下的手法运动轨迹进行转换，将对应的手法运动轨迹转换为运动距离/角度-时间曲线、(角)速度-时间曲线、 (角)加速度时间曲线、以及运针仪能够识别的指令序列。
通过本发明，能够采集动作轨迹等数据，将中医的针灸动作转化为供仪器识别的动作组合，从而让运针仪能够做出对应的针灸动作，为中医的推广提供便利。
实施例二
根据图1、2、3、4所示，本实施例提出了一种针刺手法运动轨迹的识别转录方法，包括以下步骤：
S1：打开针灸动作的视频；
S2：利用OpenCV视频解码器对打开的视频文件进行图像解码；
S3：利用图像处理器对解码的图像进行处理，包括使用卷积神经网络识别视频手法类型、转换图像颜色空间、对转换后的图像进行目标增强、利用Suzuki 轮廓检测算法对图像中的针灸动作进行识别，获取初始坐标；
S4：将得到的初始坐标作为起始坐标，使用物体跟踪器对视频图像中的针灸动作进行追踪，包括利用CamShift算法对视频中的运动轨迹进行计算并记录；
S5：反复取下一帧图像并进行跟踪、记录，直至处理完所有视频帧图像；
S6：使用运动轨迹输出器将记录下的运动轨迹输出为运动距离/角度-时间曲线、(角)速度-时间曲线、(角)加速度-时间曲线、以及运针仪可识别的G-Code 指令序列。
所述S3包括：
S31：使用卷积神经网络进行训练，获取针柄/针顶标记物的图像特征；卷积神经网络(Convolutional Neural Network)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于图像处理有出色表现，卷积神经网络由卷积层、线性整流层、池化层和顶端的全连通层组成。这一结构使得卷积神经网络能够利用输入数据的二维结构；
S32：打开针灸视频，使用OpenCV提取视频中的每帧的图像；
S33：使用神经网络对首帧图片进行以下操作识别并分类，判断视频为提插类或捻转手法；
S34：对首帧图片转换图像颜色空间、对转换后的图像进行目标增强、利用 Suzuki轮廓检测算法对图像中的针灸动作进行识别，获取针柄/标记物的初始坐标。
所述S31包括：
S311：准备数据集，提取提插类和捻转类对应手法的视频的首帧图像，按照手法进行归类，作为数据集；
S312：搭建一个卷积神经网络，使用S311中准备的数据集进行训练；
S313：将训练好的模型保存，供识别时使用。
所述S33包括：
S331：加载S313中保存的神经网络模型；
S332：对S32中提取出的视频首帧图像，使用S313中的模型对其类别进行预测；
S333：根据对图像手法类别的预测，选择其预测结果中概率最大的结果为，视频对应的手法类型。
所述S34包括：
S341：将图片从RGB颜色空间转换为HSV颜色空间；以便后续确定起始追踪坐标；
S342：将HSV图像的三通道分量进行处理，以筛选出针柄/标记物作为起始追踪目标；
S343：将处理后的HSV图像与首帧图像按位比较，去除其他无用图像，仅保留需要追踪的针柄/标记物；
S344：对得到的图像采用Suzuki算法，获取目标边缘点集，具体步骤如下：
(1)：为每个边界编号，保证编号唯一，记当前跟踪的边界编号为NBD，上一个跟踪的边界编号为LNBD；
(2)：使用光栅扫描法对图像进行扫描，每次扫描到新的一行时，令LNBD＝1，当扫描到某个像素点(i，j)的灰度值fi，j≠0时执行下一步骤；
(3)：当fi，j＝1且fi，j-1＝0，令(i2，j2)＝(i，j-1)，NBD+1，当fi，j≥1 且fi，j+1＝0，令(i2，j2)＝(i，j+1)，NBD+1，当fi，j≠1，跳转到(9)；
(4)：以(i，j)为中心，(i2，j2)为起点，按顺时针方向查找非0像素点，当存在，则记录第一个像素点的位置(i1，j1)，当不存在，则令fi，j＝-NBD，跳转到(9)；
(5)：令(i2，j2)＝(i1，j1)，(i3，j3)＝(i，j)；
(6)：以(i2，j2)为中心，(i3，j3)为起点，按逆时针方向查找非0像素点，当存在，则记录为(i4，j4)；
(7)：当fi3，j3+1＝0，则fi3，j3＝-NBD，当fi3，j3+1≠0，且fi3，j3＝1，则fi3，j3＝NBD；
(8)：当(i4，j4)＝(i，j)，(i3，j3)＝(i1，j1)，跳转到(5)，否则，(i3，j3)＝(i4，j4)，(i2，j2)＝(i3，j3)；
(9)：当fi，j≠1，则令LNBD＝|fi，j|，继续从(i，j+1)扫描，当扫描到图片的最右下角时，扫描结束；
S345：对S344中获取的目标边缘点集进行框选，此即为初始坐标。
所述S4中，当判断视频手法为提插类，则进行如下操作：
S411：对每帧图像进行反向投影，将其从RGB颜色空间转换为HSV颜色空间，以减少光照变化对目标跟踪的影响，对图像的对H分量进行直方图统计，代表不同H分量取值出现的概率，将图像中每个像素的值用其颜色出现的概率进行替换，由此得到颜色概率分布图；
S412：在当前帧，计算候选图像块的颜色直方图；
S413：对每一帧图片，都利用CamShift算法，计算目标的新位置：
(1)：计算0阶矩：
(2)：计算1阶矩：
(3)：搜索框的质心为搜索框的大小为/>
(4)：移动搜索框的中心到质心，当移动距离大于阈值，则跳转到(1)重新计算，直至移动值小于阈值，或计算次数到达指定最大值；
S414：对每一帧图片计算出的物体坐标进行记录。
所述S6中，当判断视频手法为提插类，则进行如下操作：
S611：将每一帧图片记录下的物体坐标进行如下处理，转换为运动距离时间曲线：对视频帧按顺序编号，作为x轴坐标，以每帧对应的物体坐标作为y轴坐标，使用Matplotlib绘制对应的散点图；
S612：将每一帧图片记录下的物体坐标进行如下处理，转换为速度时间曲线：对S414记录下的坐标，逐帧计算位移，按照像素与针柄实际长度的对应关系计算出针柄的实际位移，按照每帧之间间隔的时间长度，计算出每帧之间的速度，对视频帧按顺序编号，作为x轴坐标，以每帧对应的速度作为y轴坐标，使用 Matplotlib绘制对应的散点图；
S613：将每一帧图片记录下的物体坐标进行如下处理，转换为加速度时间曲线：对S612记录下的速度，逐帧计算速度差，按照每帧之间的速度差与每帧之间间隔的时间长度，计算出每帧之间的加速度，对视频帧按顺序编号，作为x轴坐标，以每帧对应的加速度作为y轴坐标，使用Matplotlib绘制对应的散点图；
S614：将每一帧图片记录下的物体坐标进行如下处理，转换为运针仪可以识别的G-Code指令序列：对S612得到的物体运动轨迹，按照与运针仪指令中位移对应的关系进行转换，得到指令中位移的长度，将指令位移长度转换为对应的G-Code运行指令。
实施例三
根据图1、2、3、5所示，本实施例提出了一种针刺手法运动轨迹的识别转录方法，包括以下步骤：
S1：打开针灸动作的视频；
S2：利用OpenCV视频解码器对打开的视频文件进行图像解码；
S3：利用图像处理器对解码的图像进行处理，包括使用卷积神经网络识别视频手法类型、转换图像颜色空间、对转换后的图像进行目标增强、利用Suzuki 轮廓检测算法对图像中的针灸动作进行识别，获取初始坐标；
S4：将得到的初始坐标作为起始坐标，使用物体跟踪器对视频图像中的针灸动作进行追踪，包括利用CamShift算法对视频中的运动轨迹进行计算并记录；
S5：反复取下一帧图像并进行跟踪、记录，直至处理完所有视频帧图像；
S6：使用运动轨迹输出器将记录下的运动轨迹输出为运动距离/角度-时间曲线、(角)速度-时间曲线、(角)加速度-时间曲线、以及运针仪可识别的G-Code 指令序列。
所述S3包括：
S31：使用卷积神经网络进行训练，获取针柄/针顶标记物的图像特征；卷积神经网络(Convolutional Neural Network)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于图像处理有出色表现，卷积神经网络由卷积层、线性整流层、池化层和顶端的全连通层组成。这一结构使得卷积神经网络能够利用输入数据的二维结构；
S32：打开针灸视频，使用OpenCV提取视频中的每帧的图像；
S33：使用神经网络对首帧图片进行以下操作识别并分类，判断视频为提插类或捻转手法；
S34：对首帧图片转换图像颜色空间、对转换后的图像进行目标增强、利用 Suzuki轮廓检测算法对图像中的针灸动作进行识别，获取针柄/标记物的初始坐标。
所述S31包括：
S311：准备数据集，提取提插类和捻转类对应手法的视频的首帧图像，按照手法进行归类，作为数据集；
S312：搭建一个卷积神经网络，使用S311中准备的数据集进行训练；
S313：将训练好的模型保存，供识别时使用。
所述S33包括：
S331：加载S313中保存的神经网络模型；
S332：对S32中提取出的视频首帧图像，使用S313中的模型对其类别进行预测；
S333：根据对图像手法类别的预测，选择其预测结果中概率最大的结果为，视频对应的手法类型。
所述S34包括：
S341：将图片从RGB颜色空间转换为HSV颜色空间；以便后续确定起始追踪坐标；
S342：将HSV图像的三通道分量进行处理，以筛选出针柄/标记物作为起始追踪目标；
S343：将处理后的HSV图像与首帧图像按位比较，去除其他无用图像，仅保留需要追踪的针柄/标记物；
S344：对得到的图像采用Suzuki算法，获取目标边缘点集，具体步骤如下：
(1)：为每个边界编号，保证编号唯一，记当前跟踪的边界编号为NBD，上一个跟踪的边界编号为LNBD；
(2)：使用光栅扫描法对图像进行扫描，每次扫描到新的一行时，令LNBD＝1，当扫描到某个像素点(i，j)的灰度值fi，j≠0时执行下一步骤；
(3)：当fi，j＝1且fi，j-1＝0，令(i2，j2)＝(i，j-1)，NBD+1，当fi，j≥1 且fi，j+1＝0，令(i2，j2)＝(i，j+1)，NBD+1，当fi，j≠1，跳转到(9)；
(4)：以(i，j)为中心，(i2，j2)为起点，按顺时针方向查找非0像素点，当存在，则记录第一个像素点的位置(i1，j1)，当不存在，则令fi，j＝-NBD，跳转到(9)；
(5)：令(i2，j2)＝(i1，j1)，(i3，j3)＝(i，j)；
(6)：以(i2，j2)为中心，(i3，j3)为起点，按逆时针方向查找非0像素点，当存在，则记录为(i4，j4)；
(7)：当fi3，j3+1＝0，则fi3，j3＝-NBD，当fi3，j3+1≠0，且fi3，j3＝1，则fi3，j3＝NBD；
(8)：当(i4，j4)＝(i，j)，(i3，j3)＝(i1，j1)，跳转到(5)，否则，(i3，j3)＝(i4，j4)，(i2，j2)＝(i3，j3)；
(9)：当fi，j≠1，则令LNBD＝|fi，j|，继续从(i，j+1)扫描，当扫描到图片的最右下角时，扫描结束；
S345：对S344中获取的目标边缘点集进行框选，此即为初始坐标。
所述S4中，当判断视频手法为捻转类，则进行如下操作：
S421：对于每一帧图像，采用S344中的算法框选标记物，获取标记物的边缘点集；
S422：对于S421中的点集，求最小外接矩形；
S423：对于S422中求得的矩形，记录其旋转角度；
S424：对每一帧图片计算出的角度进行记录。
所述S6中，当判断视频手法为捻转类，则进行如下操作：
S621：将每一帧图片记录下的角度进行如下处理，转换为角度时间曲线：对 S424记录下的角度使用numpy进行曲线拟合，对视频帧按顺序编号，作为x轴坐标，以每帧对应的角度作为y轴坐标，使用Matplotlib绘制对应的散点图；
S622：将每一帧图片记录下的物体角度进行如下处理，转换为角速度时间曲线：对S424记录下的角度，逐帧计算角度变化，按照每帧之间间隔的时间长度，计算出每帧之间的角速度，对视频帧按顺序编号，作为x轴坐标，以每帧对应的角速度作为y轴坐标，使用Matplotlib绘制对应的散点图；
S623：将每一帧图片记录下的角度进行如下处理，转换为角加速度时间曲线：对S424记录下的角速度，逐帧计算速度差，按照每帧之间的速度差与每帧之间间隔的时间长度，计算出每帧之间的角加速度，对视频帧按顺序编号，作为x轴坐标，以每帧对应的角加速度作为y轴坐标，使用Matplotlib绘制对应的散点图；
S624：将每一帧图片记录下的角度进行如下处理，转换为运针仪可以识别的 G-Code指令序列：对S622得到的物体角度变化，按照与运针仪指令中角位移对应的关系进行转换，得到指令中角位移的长度，将指令角位移长度转换为对应的 G-Code运行指令
本发明使用OpenCV解码器对视频进行解码，输出视频中的每一帧的图像，使用图像处理器对第一帧图像进行处理，获取初始的坐标，使用物体跟踪器对每一帧图像中的针灸动作进行跟踪，并记录动作的坐标，使用运动轨迹输出器对记录下的坐标进行处理，输出运动距离-时间曲线、速度时间曲线、加速度-时间曲线与能够供运针仪器能够识别的动作序列，通过本发明，能够采集动作轨迹等数据，将中医的针灸动作转化为供仪器识别的动作组合，从而让运针仪能够做出对应的针灸动作，为中医的推广提供便利。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种针刺手法运动轨迹的识别转录方法，其特征在于，包括以下步骤：
S1：打开针灸动作的视频；
S2：利用OpenCV视频解码器对打开的视频文件进行图像解码；
S3：利用图像处理器对解码的图像进行处理，包括使用卷积神经网络识别视频手法类型、转换图像颜色空间、对转换后的图像进行目标增强、利用Suzuki轮廓检测算法对图像中的针灸动作进行识别，获取初始坐标；
S4：将得到的初始坐标作为起始坐标，使用物体跟踪器对视频图像中的针灸动作进行追踪，包括利用CamShift算法对视频中的运动轨迹进行计算并记录；
S5：反复取下一帧图像并进行跟踪、记录，直至处理完所有视频帧图像；
S6：使用运动轨迹输出器将记录下的运动轨迹输出为运动距离/角度-时间曲线、角速度-时间曲线、角加速度-时间曲线、以及运针仪可识别的G-Code指令序列；
其中所述S3包括：
S31：使用卷积神经网络进行训练，获取针柄/针顶标记物的图像特征；
S32：打开针灸视频，使用OpenCV提取视频中的每帧的图像；
S33：使用神经网络对首帧图片进行以下操作识别并分类，判断视频为提插类或捻转手法；
S34：对首帧图片转换图像颜色空间、对转换后的图像进行目标增强、利用Suzuki轮廓检测算法对图像中的针灸动作进行识别，获取针柄/标记物的初始坐标；
所述S31包括：
S311：准备数据集，提取提插类和捻转类对应手法的视频的首帧图像，按照手法进行归类，作为数据集；
S312：搭建一个卷积神经网络，使用S311中准备的数据集进行训练；
S313：将训练好的模型保存，供识别时使用；
所述S33包括：
S331：加载S313中保存的神经网络模型；
S332：对S32中提取出的视频首帧图像，使用S313中的模型对其类别进行预测；
S333：根据对图像手法类别的预测，选择其预测结果中概率最大的结果为，视频对应的手法类型；
所述S34包括：
S341：将图片从RGB颜色空间转换为HSV颜色空间；
S342：将HSV图像的三通道分量进行处理，以筛选出针柄/标记物作为起始追踪目标；
S343：将处理后的HSV图像与首帧图像按位比较，去除其他无用图像，仅保留需要追踪的针柄/标记物；
S344：对得到的图像采用Suzuki算法，获取目标边缘点集，具体步骤如下：
(1)：为每个边界编号，保证编号唯一，记当前跟踪的边界编号为NBD，上一个跟踪的边界编号为LNBD；
(2)：使用光栅扫描法对图像进行扫描，每次扫描到新的一行时，令LNBD＝1，当扫描到某个像素点(i，j)的灰度值fi，j≠0时执行下一步骤；
(3)：当fi，j＝1且fi，j-1＝0，令(i2，j2)＝(i，j-1)，NBD+1，当fi，j≥1且fi，j+1＝0，令(i2，j2)＝(i，j+1)，NBD+1，当fi，j≠1，跳转到(9)；
(4)：以(i，j)为中心，(i2，j2)为起点，按顺时针方向查找非0像素点，当存在，则记录第一个像素点的位置(i1，j1)，当不存在，则令fi，j＝-NBD，跳转到(9)；
(5)：令(i2，j2)＝(i1，j1)，(i3，j3)＝(i，j)；
(6)：以(i2，j2)为中心，(i3，j3)为起点，按逆时针方向查找非0像素点，当存在，则记录为(i4，j4)；
(7)：当fi3，j3+1＝0，则fi3，j3＝-NBD，当fi3，j3+1≠0，且fi3，j3＝1，则fi3，j3＝NBD；
(8)：当(i4，j4)＝(i，j)，(i3，j3)＝(i1，j1)，跳转到(5)，否则，(i3，j3)＝(i4，j4)，(i2，j2)＝(i3，j3)；
(9)：当fi，j≠1，则令LNBD＝|fi，j|，继续从(i，j+1)扫描，当扫描到图片的最右下角时，扫描结束；
S345：对S344中获取的目标边缘点集进行框选，此即为初始坐标。
2.根据权利要求1所述的一种针刺手法运动轨迹的识别转录方法，其特征在于：所述S4中，当判断视频手法为提插类，则进行如下操作：
S411：对每帧图像进行反向投影，将其从RGB颜色空间转换为HSV颜色空间，对图像的对H分量进行直方图统计，代表不同H分量取值出现的概率，将图像中每个像素的值用其颜色出现的概率进行替换，由此得到颜色概率分布图；
S412：在当前帧，计算候选图像块的颜色直方图；
S413：对每一帧图片，都利用CamShift算法，计算目标的新位置：
(1)：计算0阶矩：
(2)：计算1阶矩：
(3)：搜索框的质心为搜索框的大小为/>
(4)：移动搜索框的中心到质心，当移动距离大于阈值，则跳转到(1)重新计算，直至移动值小于阈值，或计算次数到达指定最大值；
S414：对每一帧图片计算出的物体坐标进行记录。
3.根据权利要求2所述的一种针刺手法运动轨迹的识别转录方法，其特征在于：所述S6中，当判断视频手法为提插类，则进行如下操作：
S611：将每一帧图片记录下的物体坐标进行如下处理，转换为运动距离时间曲线：对视频帧按顺序编号，作为x轴坐标，以每帧对应的物体坐标作为y轴坐标，使用Matplotlib绘制对应的散点图；
S612：将每一帧图片记录下的物体坐标进行如下处理，转换为速度时间曲线：对S414记录下的坐标，逐帧计算位移，按照像素与针柄实际长度的对应关系计算出针柄的实际位移，按照每帧之间间隔的时间长度，计算出每帧之间的速度，对视频帧按顺序编号，作为x轴坐标，以每帧对应的速度作为y轴坐标，使用Matplotlib绘制对应的散点图；
S613：将每一帧图片记录下的物体坐标进行如下处理，转换为加速度时间曲线：对S612记录下的速度，逐帧计算速度差，按照每帧之间的速度差与每帧之间间隔的时间长度，计算出每帧之间的加速度，对视频帧按顺序编号，作为x轴坐标，以每帧对应的加速度作为y轴坐标，使用Matplotlib绘制对应的散点图；
S614：将每一帧图片记录下的物体坐标进行如下处理，转换为运针仪可以识别的G-Code指令序列：对S612得到的物体运动轨迹，按照与运针仪指令中位移对应的关系进行转换，得到指令中位移的长度，将指令位移长度转换为对应的G-Code运行指令。
4.根据权利要求1所述的一种针刺手法运动轨迹的识别转录方法，其特征在于：所述S4中，当判断视频手法为捻转类，则进行如下操作：
S421：对于每一帧图像，采用S344中的算法框选标记物，获取标记物的边缘点集；
S422：对于S421中的点集，求最小外接矩形；
S423：对于S422中求得的矩形，记录其旋转角度；
S424：对每一帧图片计算出的角度进行记录。
5.根据权利要求4所述的一种针刺手法运动轨迹的识别转录方法，其特征在于：所述S6中，当判断视频手法为捻转类，则进行如下操作：
S621：将每一帧图片记录下的角度进行如下处理，转换为角度时间曲线：对S424记录下的角度使用numpy进行曲线拟合，对视频帧按顺序编号，作为x轴坐标，以每帧对应的角度作为y轴坐标，使用Matplotlib绘制对应的散点图；
S622：将每一帧图片记录下的物体角度进行如下处理，转换为角速度时间曲线：对S424记录下的角度，逐帧计算角度变化，按照每帧之间间隔的时间长度，计算出每帧之间的角速度，对视频帧按顺序编号，作为x轴坐标，以每帧对应的角速度作为y轴坐标，使用Matplotlib绘制对应的散点图；
S623：将每一帧图片记录下的角度进行如下处理，转换为角加速度时间曲线：对S424记录下的角速度，逐帧计算速度差，按照每帧之间的速度差与每帧之间间隔的时间长度，计算出每帧之间的角加速度，对视频帧按顺序编号，作为x轴坐标，以每帧对应的角加速度作为y轴坐标，使用Matplotlib绘制对应的散点图；
S624：将每一帧图片记录下的角度进行如下处理，转换为运针仪可以识别的G-Code指令序列：对S622得到的物体角度变化，按照与运针仪指令中角位移对应的关系进行转换，得到指令中角位移的长度，将指令角位移长度转换为对应的G-Code运行指令。
6.一种针刺手法运动轨迹的识别转录系统，包括OpenCV解码器、图像处理器、物体跟踪器和运动轨迹输出器，所述识别转录系统用于执行权利要求1-5任一项所述识别转录方法，其特征在于：所述OpenCV解码器用于将输入的针灸手法视频转为每一帧的图像，供其他部件对动作进行解析处理；所述图像处理器用于将OpenCV解码器输出的第一帧图像进行处理，采用卷积神经网络对视频类型进行识别，使用Suzuki算法计算每个视频中手法的初始位置；
所述物体跟踪器用于对每一帧图像中手法的运动进行跟踪，采用CamShift算法对手法进行追踪，并记录下每帧图片中手法的位置，组合成为连续的运动轨迹；所述运动轨迹输出器用于对物体跟踪器记录下的手法运动轨迹进行转换，将对应的手法运动轨迹转换为运动距离/角度-时间曲线、角速度-时间曲线、角加速度时间曲线、以及运针仪能够识别的指令序列。
CN202211242976.0A 2022-10-11 2022-10-11 一种针刺手法运动轨迹的识别转录系统及方法 Active CN115588154B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211242976.0A CN115588154B (zh) 2022-10-11 2022-10-11 一种针刺手法运动轨迹的识别转录系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211242976.0A CN115588154B (zh) 2022-10-11 2022-10-11 一种针刺手法运动轨迹的识别转录系统及方法

Publications (2)

Publication Number Publication Date
CN115588154A CN115588154A (zh) 2023-01-10
CN115588154B true CN115588154B (zh) 2024-06-07

Family

ID=84779236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211242976.0A Active CN115588154B (zh) 2022-10-11 2022-10-11 一种针刺手法运动轨迹的识别转录系统及方法

Country Status (1)

Country Link
CN (1) CN115588154B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007215555A (ja) * 2006-01-18 2007-08-30 Matsushita Electric Works Ltd マッサージ機
CN106913461A (zh) * 2017-03-06 2017-07-04 西安电子科技大学 基于单目相机的非接触式针刺手法测量装置及测量方法
CN107066931A (zh) * 2017-01-12 2017-08-18 张家港全智电子科技有限公司 一种基于监控视频的目标轨迹跟踪方法
CN109816692A (zh) * 2019-01-11 2019-05-28 南京理工大学 一种基于Camshift算法的运动目标跟踪方法
CN113080853A (zh) * 2021-03-29 2021-07-09 北京化工大学 基于触觉传感器的针刺手法识别方法、装置、系统及介质
CN113380375A (zh) * 2021-06-06 2021-09-10 上海墀圣信息科技有限责任公司 一种基于机器视觉的针灸手法量化方法及系统
CN113706986A (zh) * 2021-09-27 2021-11-26 成都智数医联科技有限公司 一种针灸训练评价系统、方法、计算机设备及存储介质
CN214969045U (zh) * 2021-05-08 2021-12-03 湖北中医药大学 一种可调速模仿针刺手法的针刺辅助仪器
CN215833947U (zh) * 2021-08-12 2022-02-15 北京化工大学 一种针体运动轨迹检测装置和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8116527B2 (en) * 2009-10-07 2012-02-14 The United States Of America As Represented By The Secretary Of The Army Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007215555A (ja) * 2006-01-18 2007-08-30 Matsushita Electric Works Ltd マッサージ機
CN107066931A (zh) * 2017-01-12 2017-08-18 张家港全智电子科技有限公司 一种基于监控视频的目标轨迹跟踪方法
CN106913461A (zh) * 2017-03-06 2017-07-04 西安电子科技大学 基于单目相机的非接触式针刺手法测量装置及测量方法
CN109816692A (zh) * 2019-01-11 2019-05-28 南京理工大学 一种基于Camshift算法的运动目标跟踪方法
CN113080853A (zh) * 2021-03-29 2021-07-09 北京化工大学 基于触觉传感器的针刺手法识别方法、装置、系统及介质
CN214969045U (zh) * 2021-05-08 2021-12-03 湖北中医药大学 一种可调速模仿针刺手法的针刺辅助仪器
CN113380375A (zh) * 2021-06-06 2021-09-10 上海墀圣信息科技有限责任公司 一种基于机器视觉的针灸手法量化方法及系统
CN215833947U (zh) * 2021-08-12 2022-02-15 北京化工大学 一种针体运动轨迹检测装置和系统
CN113706986A (zh) * 2021-09-27 2021-11-26 成都智数医联科技有限公司 一种针灸训练评价系统、方法、计算机设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Mu Zhang et al..Preliminary Application of Gesture Recognition to Virtual Acupuncture.《IEEE》.2018,全文. *
向庆东等.基于数据挖掘分析中医治疗癌痛的取穴规律研究.《中国全科医学》.2018,全文. *
唐文超 ; 杨华元 ; 郭义 ; 刘堂义 ; 高明 ; .运动视频分析技术在针刺提插手法教学中的师生对比研究.上海针灸杂志.2016,(第11期),全文. *
王辉昊 ; 张旻 ; 牛文鑫 ; 沈旭哲 ; 詹红生 ; .三维运动捕捉技术在颈椎整复手法中肢体运动轨迹的在体研究.中国骨伤.2015,(第10期),全文. *

Also Published As

Publication number Publication date
CN115588154A (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
CN109376684B (zh) 一种人脸关键点检测方法、装置、计算机设备和存储介质
CN109558832B (zh) 一种人体姿态检测方法、装置、设备及存储介质
CN111488773B (zh) 一种动作识别方法、装置、设备及存储介质
CN109919977B (zh) 一种基于时间特征的视频运动人物跟踪与身份识别方法
JP4766495B2 (ja) 対象物追跡装置および対象物追跡方法
CN110796046A (zh) 基于卷积神经网络的智能钢渣检测方法和系统
CN112462940A (zh) 智能家居多模态人机自然交互系统及其方法
CN112036383B (zh) 一种基于手静脉的身份识别方法及装置
CN106022231A (zh) 一种基于多特征融合的行人快速检测的技术方法
CN106204660A (zh) 一种基于特征匹配的地面目标跟踪装置
Wang et al. Towards end-to-end text spotting in natural scenes
Chen et al. Using FTOC to track shuttlecock for the badminton robot
CN112232204B (zh) 基于红外图像的活体检测方法
CN111931654A (zh) 一种人员跟踪智能监测方法、系统和装置
CN111814733A (zh) 基于头部姿态的专注度检测方法及装置
CN113177531B (zh) 一种基于视频分析的说话识别方法、系统、设备及介质
CN111613227A (zh) 声纹数据生成方法、装置、计算机装置及存储介质
CN115588154B (zh) 一种针刺手法运动轨迹的识别转录系统及方法
CN114882204A (zh) 船名自动识别方法
CN114266952A (zh) 基于深监督的实时语义分割方法
CN116884003B (zh) 图片自动标注方法、装置、电子设备及存储介质
CN113362390A (zh) 一种基于椭圆检测的快速圆形目标定位视频处理方法
CN112991281A (zh) 视觉检测方法、系统、电子设备及介质
CN112965602A (zh) 一种基于手势的人机交互方法及设备
CN110689066B (zh) 一种人脸识别数据均衡与增强相结合的训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant