CN118078220A - 一种基于机械臂力感知的人体脊柱定位方法 - Google Patents
一种基于机械臂力感知的人体脊柱定位方法 Download PDFInfo
- Publication number
- CN118078220A CN118078220A CN202410519768.3A CN202410519768A CN118078220A CN 118078220 A CN118078220 A CN 118078220A CN 202410519768 A CN202410519768 A CN 202410519768A CN 118078220 A CN118078220 A CN 118078220A
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- spine
- points
- positioning
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 44
- 230000008447 perception Effects 0.000 claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 18
- 238000000418 atomic force spectrum Methods 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 7
- 238000003709 image segmentation Methods 0.000 claims description 5
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000002559 palpation Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000003491 skin Anatomy 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 238000000554 physical therapy Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0048—Detecting, measuring or recording by applying mechanical forces or stimuli
- A61B5/0053—Detecting, measuring or recording by applying mechanical forces or stimuli by applying pressure, e.g. compression, indentation, palpation, grasping, gauging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0064—Body surface scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
- A61B5/4566—Evaluating the spine
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/683—Means for maintaining contact with the body
- A61B5/6835—Supports or holders, e.g., articulated arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6843—Monitoring or controlling sensor contact pressure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Physical Education & Sports Medicine (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Dentistry (AREA)
- Psychiatry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Rheumatology (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于机械臂力感知的人体脊柱定位方法，利用深度相机进行人体背部的三维重建及分割，再利用3D关键点检测网络对人体背部点云模型进行脊柱粗定位，进而规划出初始的运动轨迹，运动中利用力传感器采集法向接触力，最后基于接触力的变化信息对脊柱的粗定位进行修正并得到准确的脊柱位置；本发明的实现过程通过机械臂模拟人手的脊柱触诊，能够结合个体实际的脊柱棘突状况，得到更为精准的脊柱定位。
Description
技术领域
本发明涉及智能医疗领域，具体的说，是涉及一种基于机械臂力感知的人体脊柱定位方法。
背景技术
脊柱是人体骨骼系统的支撑中枢，也是神经系统的重要组成部分。人体有众多的穴位分布在脊柱附近，这些穴位对于调整体内能量流动、促进血液循环以及改善各种疾病症状都具有重要的作用。在机器人辅助按摩、理疗、诊断等场景，人体脊柱的准确定位至关重要，医疗辅助仪器只有精准地定位脊柱，才能更好地发挥其功能。
现有医疗设备采用的脊柱定位，多通过深度相机拍摄人体背部，获取人体背部深度图像，例如专利申请号201810479290.0公开的基于深度相机的人体背部脊柱中线识别方法，其包括获取人体背部深度图像，网格化处理，曲率化处理，提取背部中线区域，获取隆骨点坐标与胯骨点坐标，进行三次样条插值拟合处理，得到人体背部脊柱中线。
该方法采取了深度相机进行拍摄，由于深度相机无法感知皮肤之下的组织信息，基于深度相机获得的图像数据存在一定误差，且得到脊柱中线，并没有考虑脊柱纵深的位置变化，而每个人的脊柱棘突又存在较大差异。因此，如何在深度相机拍摄的图像基础上，进一步提高脊柱定位的精度，成为业内亟待解决的问题。
发明内容
为了克服现有基于深度相机的人体背部脊柱中线识别方法，没有考虑脊柱纵深的位置变化，脊柱定位的精度不足，本发明提供一种基于机械臂力感知的人体脊柱定位方法。
本发明技术方案如下所述：
一种基于机械臂力感知的人体脊柱定位方法，先基于深度相机绘制人体背部点云模型，利用深度神经网络在所述人体背部点云模型上获取用于表示每节椎体的粗定位点，再通过若干所述粗定位点规划扫描路径，执行扫描路径并同步采集法向接触力信息，通过压力变化对脊柱粗定位进行修正。
根据上述方案的本发明，所述基于深度相机绘制人体背部点云模型，包括以下步骤：
步骤101、利用深度相机拍摄、采集背部区域的RGBD图像数据；
步骤102、利用深度卷积图像分割网络，对采集到的RGBD图像进行目标区域分割，以得到人体的背部区域；
步骤103、基于目标区域分割结果，剔除RGBD图像中的非目标区域，得到人体背部点云模型。
进一步的，步骤101中所述利用深度相机拍摄，具体地，使用拍摄机械臂夹持深度相机按照预设的路径拍摄人体背部，拍摄视角覆盖整个背部的脊柱区域。
进一步的，步骤102中所述网络为U-Net网络。
根据上述方案的本发明，所述利用深度神经网络在人体背部点云模型上获取用于表示每节椎体的粗定位点，包括以下步骤：
步骤201、构建3D关键点检测深度神经网络和专属训练数据集，利用专属训练数据集对所述3D关键点检测深度神经网络进行训练优化，获得3D关键点检测模型；
步骤202、利用训练好的3D关键点检测模型对人体背部点云模型的RGBD图像进行检测即可得到脊柱粗定位的关键点。
进一步的，步骤202中，脊柱的粗定位点为17个有序关键点的3D坐标。
根据上述方案的本发明，所述通过若干所述粗定位点规划压力检测机械臂的扫描路径，包括以下步骤：
步骤301、对若干所述粗定位点进行线性插值，得到密集的第一离散点；
步骤302、将插值后的多个第一离散点投影到人体背部点云模型的曲面上；
步骤303、使用样条曲线对投影后的点进行曲线拟合，并在拟合曲线上等间隔取一系列第二离散点，所取的若干第二离散点即为路径点。
进一步的，所述步骤302中，对每个第一离散点的投影包括以下步骤：
步骤a. 取出所有离第一离散点距离小于一定阈值的最近邻点；
步骤b. 对所有步骤a的最近邻点进行平面拟合得到一个最优平面；
步骤c. 所求投影点即为该第一离散点在最优平面上的投影点。
进一步的，所述通过若干所述粗定位点规划压力检测机械臂的扫描路径，还包括：步骤304、计算每个路径点的姿态信息，该姿态信息为三坐标方向向量[Vx, Vy, Vz]。
更进一步的，获取三坐标方向向量[Vx, Vy, Vz]的步骤如下：
步骤d. 取所有离路径点距离小于一定阈值的最近邻点；
步骤e. 对所有步骤d的最近邻点进行平面拟合得到一个最优平面；
步骤f. Vz为最优平面的法线向量，且方向指向体外；
步骤g. Vy为由当前路径点指向下一个路径点的方向向量在拟合的最优平面上的投影向量；
步骤h. Vx= Vy × Vz，其中×表示向量叉乘运算。
根据上述方案的本发明，所述执行扫描路径并同步采集法向接触力信息，包括：
步骤501、控制压力检测机械臂移动到第一个路径点；
步骤502、在第一个路径点，基于力反馈控制压力检测机械臂沿靠近脊柱方向下压探寻，直至测得的压力达到预设值，记录下压时的探寻距离；
步骤503、将所有路径点沿步骤502的探寻方向按照所述探寻距离偏移，得到修正后的扫描路径；
步骤504、压力检测机械臂执行修正后的扫描路径，并同步采集法向接触力信息。
根据上述方案的本发明，所述通过压力变化对脊柱粗定位进行修正，包括以下步骤：
步骤601、滤除接触力曲线中的趋势项；
步骤602、滤除接触力曲线中的噪声频率成分；
步骤603、提取滤波后接触力曲线中的局部极值点，局部极值点对应的轨迹点的坐标作为脊柱定位坐标。
进一步的，步骤601中，利用最小二乘法将接触力曲线拟合成一条直线，然后从接触力曲线中减去该直线。
进一步的，步骤602中，利用带通滤波器滤除噪声信号。
根据上述方案的本发明，其有益效果在于：
本发明利用深度相机进行人体背部的三维重建及分割，再利用3D关键点检测模型对人体背部点云模型进行脊柱粗定位，进而规划出压力检测机械臂的初始运动轨迹，运动中利用力传感器采集法向接触力，最后基于接触力的变化信息对脊柱的粗定位进行修正并得到准确的脊柱位置；本发明的实现过程通过机械臂模拟人手的脊柱触诊，能够结合个体实际的脊柱棘突状况，得到更为精准的脊柱定位。
附图说明
图1为本发明的方法流程图；
图2为机械臂接触力扫描示意图；
图3为3D关键点检测深度神经网络的网络结构。
具体实施方式
为了更好地理解本发明的目的、技术方案以及技术效果，以下结合附图和实施例对本发明进行进一步的讲解说明。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时声明，以下所描述的实施例仅用于解释本发明，并不用于限定本发明。
需要说明的是，指示方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。术语“第一”、“第二”仅用于便于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明技术特征的数量。“多个”的含义是两个或两个以上，除非另有明确具体地限定。
如图1所示，一种基于机械臂力感知的人体脊柱定位方法，先基于深度相机绘制人体背部点云模型，利用深度神经网络在所述人体背部点云模型上获取用于表示每节椎体的粗定位点，再通过若干所述粗定位点规划扫描路径，执行扫描路径并同步采集法向接触力信息，通过压力变化对脊柱粗定位进行修正。
可见，本发明“先基于深度相机的粗定位，后基于压力检测机械臂接触力扫描进行修正”的脊柱定位方法；考虑了深度相机无法感知皮肤之下的组织信息，消除了纯视觉的粗定位存在误差的缺陷，使用压力检测在粗定位结果确定的曲线上进行接触力扫描，并同步获取扫描过程中的压力变化以修正粗定位结果。
本发明的基本原理是压力检测机械臂末端（带有压力检测传感器）经过椎体棘突时测得的压力变大，而在相邻两个棘突之间压力会小一些，这样就可以通过检测压力尖峰来定位各个棘突的位置，以修正脊柱粗定位结果。
如图2所示，在一个优选实施例中，压力检测机械臂末端为偏平结构，利于更好地贴合人体背部；扁平结构的探头选用的厚度在2mm至8mm，例如5mm，能够保证灵敏感知相邻棘突间的间隙；在压力检测机械臂末端至少安装沿Z轴方向的一维力传感器，实现接触力感知；为了提升接触力感知精度，可以考虑重力补偿。
在本发明中，基于深度相机绘制人体背部点云模型的步骤，实现对人体背部三维重建，具体包括以下步骤：
步骤101、利用深度相机拍摄、采集背部区域的RGBD图像数据；
在一个具体实施例中，借助拍摄机械臂夹持深度相机，提高拍摄稳定性，按照预设的路径拍摄人体背部，拍摄视角覆盖整个背部区域，拍摄视角应能够采集到整个人体背部。可以多台深度相机从不同角度拍摄，提高拍摄效率。
步骤102、利用深度卷积图像分割网络，对步骤101采集到的RGBD图像进行目标区域分割，以得到人体的背部区域；可以采用U-Net网络，U-net作为一种广泛应用于医学图像分割的卷积神经网络，具有紧凑的网络结构，使得网络参数相对较少，且训练速度较快，这对于医学图像分割这类数据量较少的任务非常重要，可以降低过拟合的风险，提高模型的泛化能力。
步骤103、基于目标区域分割结果，剔除RGBD图像中的非目标区域，得到人体背部点云模型。该步骤剔除人体背部之外的区域，缩减范围，利于简化问题，减少计算量，提高效率。
在本发明，所述在人体背部点云模型上获取用于表示每节椎体的粗定位点，包括以下步骤：
步骤201、构建3D关键点检测深度神经网络和专属训练数据集，利用专属训练数据集对所述3D关键点检测深度神经网络进行训练优化，获得3D关键点检测模型；
其中，所构建的专属训练集，包含后背点云到脊柱关键点映射的专家知识，这里是基于临床数据人工在后背点云数据上标注出每节椎体的关键点，每个关键点对应一个棘突在表皮的位置；针对基于视觉信息无法生成密集脊柱点云模型的技术难题，通过用几个关键点来大致表征脊柱的位置，从而对脊柱进行粗定位。利用此专属训练数据集对模型进行训练，获得训练好的3D关键点检测模型。
步骤202、利用训练好的3D关键点检测模型对人体背部点云模型的RGBD图像进行检测即可得到脊柱粗定位的关键点；
训练好的3D关键点检测模型的神经网络能够对未知信息的人体背部点云模型进行预测，从而估算该人体背部点云模型的脊柱关键点的大致位置，可获得若干有序关键点的3D坐标。通过该步骤，将脊柱粗定位问题转化为RGBD图像中的3D关键点检测问题，利用成熟可靠的RGBD图像3D关键点检测技术来快速完成脊柱的粗定位工作。
其中，3D关键点检测深度神经网络（PVN3D，即 A Deep Point-Wise 3D KeypointsVoting Network for 6DoF Pose Estimation），利用3D关键点检测模块预测从可见点到目标关键点的欧几里得平移偏移量，通过这些可见点的坐标和预测的偏移量为目标关键点的位置投票，这些投票的点有聚类算法进行聚类以消除密群点的干扰，群集的中心为被选为投票选出的关键点。
如图3所示，在一个可选实施例中，三通道RGB彩色图像（即背部区域的RGBD图像）和单通道深度图像各自通过深度卷积特征提取骨干网络（如ResNet）提取特征，进行特征融合。再经过多级训练，每一级训练阶段包含：依次经过多层特征融合卷积网络、基于1×1卷积的关键点热力图映射网络、18通道的关键点热力图；且每一级训练阶段的输出结果均与前一级训练阶段的输出结果特征融合后，输入下一级训练阶段。
所述18通道的关键点热力图，包括训练阶段和部署推理阶段。
训练阶段：多级损失函数约束；
1、标注数据采用one-hot编码，其中：前17个通道分别代表为对应关键点的概率，最后一个通道代表为背景的概率；
2、训练网络：通过MSE损失函数优化18通道热力图的预测值和标注值间的误差。
部署推理阶段：
1、对最后一级输出的热力图前17个通道中各个通道进行非极大值抑制得到各个关键点的候选点；
2、基于相关先验约束（如所有关键点都在一条直线上）进行后处理以得到最终检测结果。
在本发明中，所述通过若干所述粗定位点规划压力检测机械臂的扫描路径，包括以下步骤：
步骤301、对若干所述粗定位点进行线性插值，得到密集的第一离散点，例如一个关键点经过线性插值得到密集的51个离散点；
步骤302、将插值后的多个第一离散点投影到人体背部点云模型的曲面上；
其中，对每个第一离散点的投影包括以下步骤：
步骤a. 取出所有离第一离散点距离小于一定阈值（例如10mm）的最近邻点；
步骤b. 对所有步骤a的最近邻点进行平面拟合得到一个最优平面；
步骤c. 所求投影点即为该第一离散点在最优平面上的投影点。
步骤303、使用样条曲线对投影后的点进行曲线拟合，并在拟合曲线上等间隔（例如2mm）取一系列第二离散点，所取的若干第二离散点即为路径点。
至此，已经得到了扫描路径点的位置坐标，进一步还需每个路径点的姿态信息，如：
步骤304、计算每个路径点的姿态信息，该姿态信息为三坐标方向向量[Vx, Vy,Vz]。
获取三坐标方向向量[Vx, Vy, Vz]的步骤如下：
步骤d. 取所有离路径点距离小于一定阈值（例如10mm）的最近邻点；
步骤e. 对所有步骤d的最近邻点进行平面拟合得到一个最优平面；
步骤f. Vz为最优平面的法线向量，且方向指向体外；
步骤g. Vy为由当前路径点指向下一个路径点的方向向量在拟合的最优平面上的投影向量；
步骤h. Vx= Vy × Vz，其中×表示向量叉乘运算。
在本发明中，所述执行扫描路径并同步采集法向接触力信息，包括：
步骤501、控制压力检测机械臂移动到第一个路径点；
步骤502、在第一个路径点，基于力反馈控制压力检测机械臂沿靠近脊柱方向（-Vz方向）下压探寻，直至测得的压力（Vz方向的压力）达到预设值（例如3N），记录下压时的探寻距离；
步骤503、将所有路径点沿步骤502的探寻方向（-Vz方向）按照所述探寻距离偏移，得到修正后的扫描路径；
步骤504、压力检测机械臂执行修正后的扫描路径，并同步采集法向接触力信息。其中，压力检测机械臂在无力控位置控制模式下严格按照规划轨迹运行，匀速执行修正后的扫描路径，并同步采集法向接触力信息。其中，无力控位置模式是机械臂通用的控制模式。
在本发明中，通过压力变化对脊柱粗定位进行修正，理想的力曲线应当是每隔一定周期就有一个压力增大尖峰，且该周期由相邻棘突的距离和机械臂（压力检测机械臂）扫描速度决定，因此可以利用频域滤波技术检测这些尖峰。具体处理步骤如下：
步骤601、滤除接触力曲线中的趋势项：可以利用最小二乘法将接触力曲线拟合成一条直线，然后从接触力曲线中减去该直线；
步骤602、滤除接触力曲线中的噪声频率成分：考虑到由棘突造成的压力尖峰信号的频率是在一定范围内的，可以利用带通滤波器滤除噪声信号；
步骤603、提取滤波后接触力曲线中的局部极值点，作为各个棘突的对应点，因此极值点对应的轨迹点的坐标作为脊柱定位坐标。
本发明综合了背部重建与分割、脊柱粗定位、扫描轨迹规划、扫描控制策略、力曲线信号处理，先基于3D视觉粗定位，后进行机械臂接触力扫描修正的脊柱定位方法。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于机械臂力感知的人体脊柱定位方法，其特征在于，先基于深度相机绘制人体背部点云模型，利用深度神经网络在所述人体背部点云模型上获取用于表示每节椎体的粗定位点，再通过若干所述粗定位点规划扫描路径，执行扫描路径并同步采集法向接触力信息，通过压力变化对脊柱粗定位进行修正。
2.根据权利要求1所述的基于机械臂力感知的人体脊柱定位方法，其特征在于，所述基于深度相机绘制人体背部点云模型，包括以下步骤：
步骤101、利用深度相机拍摄、采集背部区域的RGBD图像数据；
步骤102、利用深度卷积图像分割网络，对采集到的RGBD图像进行目标区域分割，以得到人体的背部区域；
步骤103、基于目标区域分割结果，剔除RGBD图像中的非目标区域，得到人体背部点云模型。
3.根据权利要求1所述的基于机械臂力感知的人体脊柱定位方法，其特征在于，所述利用深度神经网络在人体背部点云模型上获取用于表示每节椎体的粗定位点，包括以下步骤：
步骤201、构建3D关键点检测深度神经网络和专属训练数据集，利用专属训练数据集对所述3D关键点检测深度神经网络进行训练优化，获得3D关键点检测模型；
步骤202、利用训练好的3D关键点检测模型对人体背部点云模型的RGBD图像进行检测即可得到脊柱粗定位的关键点。
4.根据权利要求1所述的基于机械臂力感知的人体脊柱定位方法，其特征在于，所述通过若干所述粗定位点规划压力检测机械臂的扫描路径，包括以下步骤：
步骤301、对若干所述粗定位点进行线性插值，得到密集的第一离散点；
步骤302、将插值后的多个第一离散点投影到人体背部点云模型的曲面上；
步骤303、使用样条曲线对投影后的点进行曲线拟合，并在拟合曲线上等间隔取一系列第二离散点，所取的若干第二离散点即为路径点。
5.根据权利要求4所述的基于机械臂力感知的人体脊柱定位方法，其特征在于，所述步骤302中，对每个第一离散点的投影包括以下步骤：
步骤a. 取出所有离第一离散点距离小于一定阈值的最近邻点；
步骤b. 对所有步骤a的最近邻点进行平面拟合得到一个最优平面；
步骤c. 所求投影点即为该第一离散点在最优平面上的投影点。
6.根据权利要求4所述的基于机械臂力感知的人体脊柱定位方法，其特征在于，所述通过若干所述粗定位点规划压力检测机械臂的扫描路径，还包括：步骤304、计算每个路径点的姿态信息，该姿态信息为三坐标方向向量[Vx, Vy, Vz]。
7.根据权利要求6所述的基于机械臂力感知的人体脊柱定位方法，其特征在于，获取三坐标方向向量[Vx, Vy, Vz]的步骤如下：
步骤d. 取所有离路径点距离小于一定阈值的最近邻点；
步骤e. 对所有步骤d的最近邻点进行平面拟合得到一个最优平面；
步骤f. Vz为最优平面的法线向量，且方向指向体外；
步骤g. Vy为由当前路径点指向下一个路径点的方向向量在最优平面上的投影向量；
步骤h. Vx= Vy × Vz，其中×表示向量叉乘运算。
8.根据权利要求1所述的基于机械臂力感知的人体脊柱定位方法，其特征在于，所述执行扫描路径并同步采集法向接触力信息，包括：
步骤501、控制压力检测机械臂移动到第一个路径点；
步骤502、在第一个路径点，基于力反馈控制压力检测机械臂沿靠近脊柱方向下压探寻，直至测得的压力达到预设值，记录下压时的探寻距离；
步骤503、将所有路径点沿步骤502的探寻方向按照所述探寻距离偏移，得到修正后的扫描路径；
步骤504、压力检测机械臂执行修正后的扫描路径，并同步采集法向接触力信息。
9.根据权利要求1所述的基于机械臂力感知的人体脊柱定位方法，其特征在于，所述通过压力变化对脊柱粗定位进行修正，包括以下步骤：
步骤601、滤除接触力曲线中的趋势项；
步骤602、滤除接触力曲线中的噪声频率成分；
步骤603、提取滤波后接触力曲线中的局部极值点，局部极值点对应的轨迹点的坐标作为脊柱定位坐标。
10.根据权利要求9所述的基于机械臂力感知的人体脊柱定位方法，其特征在于，步骤601中，利用最小二乘法将接触力曲线拟合成一条直线，然后从接触力曲线中减去该直线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410519768.3A CN118078220B (zh) | 2024-04-28 | 2024-04-28 | 一种基于机械臂力感知的人体脊柱定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410519768.3A CN118078220B (zh) | 2024-04-28 | 2024-04-28 | 一种基于机械臂力感知的人体脊柱定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118078220A true CN118078220A (zh) | 2024-05-28 |
| CN118078220B CN118078220B (zh) | 2024-07-02 |
Family
ID=91165497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410519768.3A Active CN118078220B (zh) | 2024-04-28 | 2024-04-28 | 一种基于机械臂力感知的人体脊柱定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118078220B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111789634A (zh) * | 2020-06-09 | 2020-10-20 | 浙江大学 | 一种人体脊柱自动化超声扫查的路径规划方法 |
| CN115153448A (zh) * | 2022-08-05 | 2022-10-11 | 芙索特(上海)医疗科技有限公司 | 一种脊柱识别定位方法、装置和系统 |
| CN115530987A (zh) * | 2022-10-25 | 2022-12-30 | 山东卓业医疗科技有限公司 | 一种智能微创手术机器人及其方式 |
| CN115741732A (zh) * | 2022-11-15 | 2023-03-07 | 福州大学 | 一种按摩机器人的交互式路径规划及运动控制方法 |
-
2024
- 2024-04-28 CN CN202410519768.3A patent/CN118078220B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111789634A (zh) * | 2020-06-09 | 2020-10-20 | 浙江大学 | 一种人体脊柱自动化超声扫查的路径规划方法 |
| CN115153448A (zh) * | 2022-08-05 | 2022-10-11 | 芙索特(上海)医疗科技有限公司 | 一种脊柱识别定位方法、装置和系统 |
| CN115530987A (zh) * | 2022-10-25 | 2022-12-30 | 山东卓业医疗科技有限公司 | 一种智能微创手术机器人及其方式 |
| CN115741732A (zh) * | 2022-11-15 | 2023-03-07 | 福州大学 | 一种按摩机器人的交互式路径规划及运动控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118078220B (zh) | 2024-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102298778B (zh) | 用于估计对象状态的估计系统、估计方法和估计程序 | |
| CN112734757B (zh) | 一种脊柱X光图像cobb角测量方法 | |
| CN110321754B (zh) | 一种基于计算机视觉的人体运动姿态纠正方法及系统 | |
| CN110084842B (zh) | 一种机器人云台伺服二次对准方法及装置 | |
| CN112184617A (zh) | 一种基于深度学习的脊椎mri影像关键点检测方法 | |
| EP2399243A2 (en) | Method and system for gesture recognition | |
| CN108921062A (zh) | 一种联合多步态特征协同字典的步态识别方法 | |
| Angelopoulou et al. | 3D reconstruction of medical images from slices automatically landmarked with growing neural models | |
| CN106846372B (zh) | 人体运动质量视觉分析与评价系统及其方法 | |
| CN111640127B (zh) | 一种用于骨科的精准临床诊断导航方法 | |
| CN113989936A (zh) | 一种可识别儿童坐姿并自动语音纠正的台灯 | |
| CN118078220B (zh) | 一种基于机械臂力感知的人体脊柱定位方法 | |
| CN117558428A (zh) | 一种用于肝脏mri的成像优化方法及系统 | |
| JP4643856B2 (ja) | ストローク情報測定装置及びストローク情報測定方法 | |
| Wang et al. | Towards autonomous control of surgical instruments using adaptive-fusion tracking and robot self-calibration | |
| CN101840508B (zh) | 自动识别人体链状结构中特征点的方法及其系统 | |
| CN118570838A (zh) | 一种面向辅助康复运动的人体姿态关键点识别方法和装置 | |
| CN112396014A (zh) | 基于特征融合的视触融合步态识别方法 | |
| Al Naser et al. | Fusion of depth, color, and thermal images towards digital twins and safe human interaction with a robot in an industrial environment | |
| CN113537128A (zh) | 一种基于深度学习姿态评估对连续动作的比对和分析方法、系统以及设备 | |
| EP3465536A1 (en) | System and method for eye tracking | |
| CN113378720A (zh) | 三维肢体动作捕捉方法 | |
| Sugiyama et al. | Improving the Accuracy of Gait Detection Using Computer Vision | |
| CN114255200A (zh) | 基于实时电影成像的心肌应力分析方法及装置 | |
| CN118507040A (zh) | 一种基于物联网的人脸识别健康预测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |