CN114677489A - 全自动3d耳道扫描方法 - Google Patents
全自动3d耳道扫描方法 Download PDFInfo
- Publication number
- CN114677489A CN114677489A CN202210180556.8A CN202210180556A CN114677489A CN 114677489 A CN114677489 A CN 114677489A CN 202210180556 A CN202210180556 A CN 202210180556A CN 114677489 A CN114677489 A CN 114677489A
- Authority
- CN
- China
- Prior art keywords
- scanning
- data
- ear canal
- point cloud
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提出一种全自动3D耳道扫描方法,实现精准、便捷、低成本的耳道扫描,其特征在于,包括以下步骤:S01,数据采集步骤;对目标进行多维扫描,获得多个扫描姿态下的耳道轮廓数据;S02,标定步骤;通过旋转平移矩阵来统一所述多个扫描姿态下的耳道轮廓数据的坐标;S03,点云提取步骤;建立选框选取需要保留的点云区域,继而删除其余区域的数据实现数据;S04,点云抽稀步骤;根据扫描分辩率计算获得点与点之间的间隔阈值,或者是根据机械臂速度和采样频率来计算获得点与点之间的间隔阈值;将点间距离小于间隔阈值的点删除实现点云抽稀;S05,点云网格化步骤;对点云中的空洞区域通过三角网格化方式进行填充。
Description
技术领域
本发明应用于对耳道轮廓的采样建模,尤其涉及全自动3D耳道扫描方法。
背景技术
非定制化的耳机/助听器往往不能很好地适应不同人耳道轮廓,容易对耳道和耳甲腔形成局部压迫或者存在间隙,导致佩戴不适、易脱落、隔音效果差等问题。为提升耳机/助听器入耳部分与耳道轮廓的贴合度,显然最好是能够根据耳道轮廓进行定制,而传统的定制方式需经过耳印模、涂蜡、取阴模、注入光敏树脂、固化成形等一系列工序,不仅制作时间长、成本高,而且取模误差大,未够精准、方便。
发明内容
本发明提出一种全自动3D耳道扫描方法,目的在于提供便捷、低成本的3D耳道扫描方案,其具体通过以下技术手段实现:
本发明的全自动3D耳道扫描方法包括以下步骤:
S01,数据采集步骤;通过六自由度机械臂带动激光轮廓测距仪对目标进行多维扫描,获得多个扫描姿态下的耳道轮廓数据;
S02,标定步骤;通过预求解的旋转平移矩阵来统一所述多个扫描姿态下的耳道轮廓数据的坐标,建立点云;
S03,点云提取步骤;建立选框将耳道轮廓数据的点云划分成框内区域与框外区域,再选取需要保留的区域,继而删除另一区域的数据实现数据点云提取;
S04,点云抽稀步骤;基于距离的精简算法来对耳道轮廓数据的点云进行降采样,即根据扫描分辩率计算获得点与点之间的间隔阈值,或者是根据机械臂速度和采样频率来计算获得点与点之间的间隔阈值;将点间距离小于间隔阈值的点删除实现点云抽稀;
S05,点云网格化步骤;对点云中的空洞通过网格化方式进行填充,即在空洞边界点之间构建一个网格以拟合成平滑表面。
于本发明的一个或多个实施例当中,在每个姿态的扫描起始位置建立一上空间直角坐标系,其中:X轴方向是激光轮廓测距仪的测量点方向;Y轴方向是扫描方向,即机械臂带激光轮廓测距仪运动方向;Z轴方向是激光轮廓测距仪的测量方向,即该姿态下XY扫描平面的法线方向;X轴和Z轴方向的数据由激光轮廓测距仪中提取,Y轴方向的数据根据机械臂的运行速度来计算;在扫描采集数据时记录当前时间生成对应的时间戳,根据相邻两条轮廓数据的时间间隔计算出该条轮廓的Y坐标,实现三维扩展。
于本发明的一个或多个实施例当中,在步骤S05中,采用点云网格化重建算法,通过隐式地拟合一个由物体派生的指示函数,给出一个平滑的物体表面的估计,将物体表现的离散样本点信息转化到连续表面函数上,并通过连续多次的平滑滤波卷积来进行近似,从而构建出隐式表面。
于本发明的一个或多个实施例当中,建立有建立基础耳道轮廓数据库,在基础耳道轮廓数据库中存有通过标准取样的内耳道轮廓数据;将经步骤S01-S05获得的三维耳道轮廓数据与基础耳道轮廓数据库进行匹配拼接,最终生成立体耳道轮廓模型。
本发明的有益效果是:克服耳道扫描过程中耳道遮挡的问题,通过多姿态扫描获得不同区域图像,继而互补与标定扩展,再经点云提取、抽稀、三角网格化等点云数据处理重建恢复得出精准的耳朵三维模型,从而实于耳机/助听器等产品的形状定制,满足用户的使用需求与提升使用体验。同时,相比之传统的定制方式,本发明不仅采样建模时间短、成本低,而且通过算法较好地克服定制误差,实现精准、便捷、低成本的3D耳道扫描方案。
附图说明
图1为本发明的扫描与三维建模流程图。
图2为本发明的扫描姿态空间分布示意图。
图3为本发明的标定场结构示意图。
图4为本发明的坐标系旋转平移关系图。
图5为本发明的三角网格化示意图。
具体实施方式
如下结合附图对本申请方案作进一步描述:
参见附图1,全自动3D耳道扫描方法包括以下步骤:
S01,数据采集步骤;通过六自由度机械臂带动激光轮廓测距仪对目标进行多维扫描,获得多个扫描姿态下的耳道轮廓数据;
首先,设置好激光轮廓测距仪的扫描参数以及机械臂的运动速度,本实施例中机械臂扫描速度可设5mm/s和10mm/s两档,扫描速度决定了相邻轮廓线间的间隔,也就是Y轴方向的分辨率;由于耳朵结构较为复杂,遮挡严重,若只从某个方向扫描是难以获得完整的三维点云数据,所以本实施共设计了8个姿态来对目标进行扫描,参见附图2,各个姿态以扫描视角来命名,LR是指在左侧朝向右侧扫描,RUD是指从右侧从上往下扫描测;双侧扫描可以解决左、右耳因朝向不同而导到内部结构不可见的问题;
其次,在每个姿态的扫描起始位置建立一上空间直角坐标系,其中:X轴方向是激光轮廓测距仪的测量点方向,也就是激光的方向;Y轴方向是扫描方向,也就是机械臂带激光轮廓测距仪运动方向;Z轴方向是激光轮廓测距仪的测量方向,即该姿态下XY扫描平面的法线方向;X轴和Z轴方向的数据可以通过命令由激光轮廓测距仪中提取,Y轴方向的数据根据机械臂的运行速度来计算;同时,由于激光轮廓测距仪和机械臂是两套独立的系统,如若要获得每个时刻相对应的数据,则需分别向激光轮廓测距仪和机械臂发送命,通信时间的不同将造成延时,因此需要对二者采取同步措施;本实施例中,在扫描采集数据时记录当前时间生成对应的时间戳,由于时间和轮廓是在同一个系统(激光轮廓测距仪)中获取,就不需要考虑通信延时问题。在一个姿态下,每条轮廓数据都有时间戳,根据相邻两条轮廓数据的时间间隔计算出该条轮廓的Y坐标,实现三维扩展;
S02,标定步骤;通过预求解的旋转平移矩阵来统一所述多个扫描姿态下的耳道轮廓数据的坐标,建立点云;
每个姿态的三维数据的空间直角坐标系的位置是不同的,需要通过旋转平移来实现坐标系的统一,而机械臂的姿态是固定的,所以用每次姿态的起点位置为原点建立坐标系,每次扫描的坐标系是相同的,即每次扫描的旋转平移矩阵是相同的,故标定的过程就是通过预先的一次扫描来求解得到每个姿态的旋转平移矩阵,为后续的数据自动拼接奠定基础;
参见附图3,所述旋转平移矩阵的求解步骤包括:
在一个工件上装设四个小杆A、B、C、D并令小杆A、B、C、D的端面不共面,小杆的高度距离为60mm,宽度距离为67mm,且相同长度的小杆成对角线安装,即小杆A和C对角安装,小杆B和C对角安装;在杆A、B、C、D的端面上设置标记点;
依序对各小杆进行扫描获得在各姿态下的空间点云,并以相同的顺序对扫描数据进行手动框选,再对框选保留的数据的所有点的重心,以重心作为该次操作所选择的点的坐标,就可得到每个姿态下的四个点组成的点集;再选择其中一个姿态作为参考姿态,通过点集计算其它姿态转换到参考姿态的旋转矩阵和平移矩阵;
参见附图4,坐标系0-XYZ为参考坐标系,0-X2Y2Z2为待变换坐标系,0-X1Y1Z1为中间坐标系,分别以Z轴、Y轴、Z轴为旋转轴旋转α、β、γ;而且坐标系0-XYZ和坐标系0-X2Y2Z2之间不存在夹角,所以只需平移就可以实现转换;具体的步骤是:
在以X轴为旋转轴转α度时,即在OYZ平面上顺时针旋转,P是坐标系O-XYZ下的某点,P1为坐标系O-X1Y1Z1下的某点,由P1转换到坐标系O-XYZ采取如下变换公式:
同理,在以Y轴为旋转轴转β度时,变换公式为:
在以Z轴为旋转轴转γ度时,变换公式为:
由于参考坐标与待变换坐标系之间为平移关系,故需加入对应的偏移量:
综合上述(1)-(4)式得到转换方程为:
其中,R为转换的旋转矩阵,t为转换平移矩阵,代入各小杆的扫描数据实现求解;由公式(5)可知,一共有六个参数需要求解,即需要三组点对数据就可以完成求解,但点对数越多,误差越小,有利于提高求解精度,故本实施例中采用四个不同面的点以及待转坐标系下的对应的同名点组成的四个点对来完成参数的求解,从而实现标定;
S03,点云提取步骤;建立选框将耳道轮廓数据的点云划分成框内区域与框外区域,再选取需要保留的区域,继而删除另一区域的数据实现数据点云提取;
由于扫描时无法做到自动识别目标区域,故得到的点云数据中不可避免地会包含周围环境的部分点云数据,因而需要删除无效点云数据;
本实施例中采用矩形选择或多边形选择,其中:
1)矩形选择是以鼠标左键按下的点为矩形的起点,松点时的点作为终点,在起点和终点之间构成矩形,此时点云数据将被划分成内外两部分,然后选取需要保留的点云区域,将另一部分的点云数据删掉;
2)多边形选择是通过选择的多个点利用闭合曲线依次连接形成多边形,也是将点云数据将被划分成内外两部分,然后选取需要保留的点云区域,将另一部分的点云数据删掉;
S04,点云抽稀步骤;由于本专利的重叠区域是由多个姿态都能扫描的区域,只有其余姿态没有扫描到的部分才是补充构建模型的有效数据,在坐标系统一后,重叠区域中的重复特征数据加大了扣续处理的计算量;本实施例采用基于距离的精简算法来对耳道轮廓数据的点云进行降采样,降低重叠区域内点的密度,保留密度较低的非重叠区域、变化梯度明显的区域;
由于扫描的分辩率是固定的,也就是每条轮廓上的点的间隔是固定的,另个轮廓之间的间隔也是可以依据机械臂的速度和采样频率来计算,且点云重合的区域上深度变化不大,故根据扫描分辩率计算获得点与点之间的间隔阈值,或者是根据机械臂速度和采样频率来计算获得点与点之间的间隔阈值;将点间距离小于间隔阈值的点删除,从而来降低重叠区域的点的个数;
S05,点云网格化步骤;对点云中的空洞通过网格化方式进行填充,即在空洞边界点之间构建一个网格以拟合成平滑表面;具体的,采用Possion重建算法,通过隐式地拟合一个由物体派生的指示函数,给出一个平滑的物体表面的估计,将物体表现的离散样本点信息转化到连续表面函数上,从而构建出隐式表面;
基于上述(6)式,对边界为σM内的区域进行分段近似:
本专利扫描处理方式是:
首先,设置好扫描参数和机械臂运动速度,然后对扫描系统进行标定,计算出扫描姿态间的旋转平移矩阵。
接着,启动扫描程序并对获得的数据进行删除噪点和无效数据的预处理,对数据进行三维扩展和坐标系统一;
然后,再选取点云中的感兴趣区域,将其它背景数据删除;
最后,通过对保留的点云数据执行三角网格化,得到完整的目标三维模型。
考虑到耳道遮挡等原因可能导致模型中对内耳道的数据偏差或缺失,本实施例通过标准的耳道轮廓数据来构成基础耳道轮廓数据库,里面存在完整的典型耳道轮廓模型,将经步骤S01-S05获得的三维耳道轮廓数据与基础耳道轮廓数据库进行匹配拼接,最终生成立体耳道轮廓模型。
上述优选实施方式应视为本申请方案实施方式的举例说明,凡与本申请方案雷同、近似或以此为基础作出的技术推演、替换、改进等,均应视为本专利的保护范围。
Claims (10)
1.一种全自动3D耳道扫描方法,其特征在于,包括以下步骤:
S01,数据采集步骤;通过六自由度机械臂带动激光轮廓测距仪对目标进行多维扫描,获得多个扫描姿态下的耳道轮廓数据;
S02,标定步骤;通过预求解的旋转平移矩阵来统一所述多个扫描姿态下的耳道轮廓数据的坐标,建立点云;
S03,点云提取步骤;建立选框将耳道轮廓数据的点云划分成框内区域与框外区域,再选取需要保留的区域,继而删除另一区域的数据实现数据点云提取;
S04,点云抽稀步骤;基于距离的精简算法来对耳道轮廓数据的点云进行降采样,即根据扫描分辩率计算获得点与点之间的间隔阈值,或者是根据机械臂速度和采样频率来计算获得点与点之间的间隔阈值;将点间距离小于间隔阈值的点删除实现点云抽稀;
S05,点云网格化步骤;对点云中的空洞通过网格化方式进行填充,即在空洞边界点之间构建一个网格以拟合成平滑表面。
2.根据权利要求1所述的全自动3D耳道扫描方法,其特征在于,在步骤S1中,在每个姿态的扫描起始位置建立一上空间直角坐标系,其中:X轴方向是激光轮廓测距仪的测量点方向;Y轴方向是扫描方向,即机械臂带激光轮廓测距仪运动方向;Z轴方向是激光轮廓测距仪的测量方向,即该姿态下XY扫描平面的法线方向;X轴和Z轴方向的数据由激光轮廓测距仪中提取,Y轴方向的数据根据机械臂的运行速度来计算。
3.根据权利要求2所述的全自动3D耳道扫描方法,其特征在于,在步骤S1中,在扫描采集数据时记录当前时间生成对应的时间戳,根据相邻两条轮廓数据的时间间隔计算出该条轮廓的Y坐标,实现三维扩展。
4.根据权利要求1所述的全自动3D耳道扫描方法,其特征在于,所述旋转平移矩阵的求解步骤包括:在一个工件上装设若干小杆以令小杆的端面不共面,在杆的端面上设置标记点;依序对各小杆进行扫描获得在各姿态下的空间点云,并选择其中一个姿态作为参考姿态,通过点集计算其它姿态转换到参考姿态的旋转矩阵和平移矩阵。
6.根据权利要求5所述的全自动3D耳道扫描方法,其特征在于,所述旋转平移矩阵的求解步骤中,小杆的数量至少为四个。
7.根据权利要求5所述的全自动3D耳道扫描方法,其特征在于,所述旋转平移矩阵的求解步骤中,先对扫描数据进行手动框选,再对框选保留的数据的所有点的重心,以重心作为该次操作所选择的点的坐标。
8.根据权利要求1所述的全自动3D耳道扫描方法,其特征在于,在步骤S05中,采用点云网格化重建算法,通过隐式地拟合一个由物体派生的指示函数,给出一个平滑的物体表面的估计,将物体表现的离散样本点信息转化到连续表面函数上,从而构建出隐式表面;
目标M的边界为σM,XM为边界内取值“1”、其余取值“0”的指示函数,XM(q0)为边界内各点q0的表示;
基于上述(6)式,对边界为σM内的区域进行分段近似:
9.根据权利要求8所述的全自动3D耳道扫描方法,其特征在于,在步骤S05中,通过连续三次的平滑滤波卷积来进行近似。
10.根据权利要求1-9任一项所述的全自动3D耳道扫描方法,其特征在于,建立有基础耳道轮廓数据库,在基础耳道轮廓数据库中存有通过标准取样的内耳道轮廓数据;将经步骤S01-S05获得的三维耳道轮廓数据与基础耳道轮廓数据库进行匹配拼接,最终生成立体耳道轮廓模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210180556.8A CN114677489A (zh) | 2022-02-25 | 2022-02-25 | 全自动3d耳道扫描方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210180556.8A CN114677489A (zh) | 2022-02-25 | 2022-02-25 | 全自动3d耳道扫描方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114677489A true CN114677489A (zh) | 2022-06-28 |
Family
ID=82072681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210180556.8A Pending CN114677489A (zh) | 2022-02-25 | 2022-02-25 | 全自动3d耳道扫描方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114677489A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115144869A (zh) * | 2022-09-05 | 2022-10-04 | 北京理工大学 | 基于太赫兹雷达的曲面物体检测方法及装置 |
CN116228831A (zh) * | 2023-05-10 | 2023-06-06 | 深圳市深视智能科技有限公司 | 耳机接缝处的段差测量方法及系统、校正方法、控制器 |
CN116244730A (zh) * | 2022-12-14 | 2023-06-09 | 思看科技(杭州)股份有限公司 | 一种数据保护方法、装置和存储介质 |
-
2022
- 2022-02-25 CN CN202210180556.8A patent/CN114677489A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115144869A (zh) * | 2022-09-05 | 2022-10-04 | 北京理工大学 | 基于太赫兹雷达的曲面物体检测方法及装置 |
CN115144869B (zh) * | 2022-09-05 | 2022-11-29 | 北京理工大学 | 基于太赫兹雷达的曲面物体检测方法及装置 |
CN116244730A (zh) * | 2022-12-14 | 2023-06-09 | 思看科技(杭州)股份有限公司 | 一种数据保护方法、装置和存储介质 |
CN116244730B (zh) * | 2022-12-14 | 2023-10-13 | 思看科技(杭州)股份有限公司 | 一种数据保护方法、装置和存储介质 |
CN116228831A (zh) * | 2023-05-10 | 2023-06-06 | 深圳市深视智能科技有限公司 | 耳机接缝处的段差测量方法及系统、校正方法、控制器 |
CN116228831B (zh) * | 2023-05-10 | 2023-08-22 | 深圳市深视智能科技有限公司 | 耳机接缝处的段差测量方法及系统、校正方法、控制器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114677489A (zh) | 全自动3d耳道扫描方法 | |
CN107255476B (zh) | 一种基于惯性数据和视觉特征的室内定位方法和装置 | |
CN110874864B (zh) | 获取对象三维模型的方法、装置、电子设备及系统 | |
US10984554B2 (en) | Monocular vision tracking method, apparatus and non-volatile computer-readable storage medium | |
CN107705333B (zh) | 基于双目相机的空间定位方法及装置 | |
WO2018018981A1 (zh) | 用于对三维表面的图像进行重建的方法、装置和系统 | |
CN104596502B (zh) | 一种基于cad模型与单目视觉的物体位姿测量方法 | |
WO2019219012A1 (zh) | 联合刚性运动和非刚性形变的三维重建方法及装置 | |
KR100748719B1 (ko) | 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법 | |
CN107590825B (zh) | 一种基于sfm的点云孔洞修补方法 | |
WO2019219013A1 (zh) | 联合优化人体体态与外观模型的三维重建方法及系统 | |
CN108053437B (zh) | 基于体态的三维模型获取方法及装置 | |
KR20210025602A (ko) | 치아 임플란트 수술 시각 네비게이션을 위한 정합 방법 및 전자 설비 | |
CN104574432A (zh) | 一种自动多视角人脸自拍图像的三维人脸重建方法及系统 | |
CN108663026A (zh) | 一种振动测量方法 | |
CN112132876B (zh) | 2d-3d图像配准中的初始位姿估计方法 | |
CN112734890A (zh) | 基于三维重建的人脸替换方法及装置 | |
CN113343925A (zh) | 人脸三维重建方法、装置、电子设备及存储介质 | |
CN111105467B (zh) | 一种图像标定方法、装置及电子设备 | |
CN107610215A (zh) | 一种高精度多角度口腔三维数字成像模型构建方法 | |
JP2002032741A (ja) | 3次元画像生成システムおよび3次元画像生成方法、並びにプログラム提供媒体 | |
CN112927374A (zh) | 齿模对准方法及牙齿结构、三维模型对准方法及结构件 | |
CN111292411A (zh) | 一种基于向内环视多rgbd相机的实时动态人体三维重建方法 | |
CN114037744A (zh) | 一种基于卷积神经网络的口腔感兴趣区域三维重建方法及装置 | |
WO2017182448A1 (en) | Method and device for determining a 3d model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |