CN117437367B - 一种基于耳廓关联函数预警耳机滑动及动态修正方法 - Google Patents
一种基于耳廓关联函数预警耳机滑动及动态修正方法 Download PDFInfo
- Publication number
- CN117437367B CN117437367B CN202311773888.8A CN202311773888A CN117437367B CN 117437367 B CN117437367 B CN 117437367B CN 202311773888 A CN202311773888 A CN 202311773888A CN 117437367 B CN117437367 B CN 117437367B
- Authority
- CN
- China
- Prior art keywords
- auricle
- earphone
- model
- correlation
- early warning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012937 correction Methods 0.000 title claims abstract description 21
- 238000005314 correlation function Methods 0.000 title claims description 45
- 230000006870 function Effects 0.000 claims abstract description 48
- 238000013507 mapping Methods 0.000 claims abstract description 26
- 230000003287 optical effect Effects 0.000 claims abstract description 24
- 230000000694 effects Effects 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000001419 dependent effect Effects 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 238000010219 correlation analysis Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 241000746998 Tragus Species 0.000 claims description 2
- 210000000959 ear middle Anatomy 0.000 claims description 2
- 230000005284 excitation Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 15
- 101001010782 Drosophila melanogaster Fez family zinc finger protein erm Proteins 0.000 description 16
- 210000003128 head Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/27—Regression, e.g. linear or logistic regression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/23—Design optimisation, verification or simulation using finite element methods [FEM] or finite difference methods [FDM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于耳廓关联函数预警耳机滑动及动态修正方法，首先，建立三维耳廓模型数据库和耳廓‑耳机近场声学模型，采集耳道处的频谱信息建立耳廓关联函数，基于耳廓关联函数优选耳廓关键特征参数，并利用高斯核神经网络构建两者的映射模型。其次，结合微型光学相机的光学拍照技术重建耳廓模型，并结合计算机视觉的模式识别技术快速识别耳廓关键特征参数的特征点，通过分析前后两帧的特征点坐标位置的相关性，实现耳机滑落预警功能，同时，根据最新特征点获取耳廓关键特征参数并实时反馈给耳廓特征‑耳廓关联函数映射模型，实现动态修正功能。本发明为耳机错位畸变校准提供新手段，进一步提升了虚拟听觉效果。
Description
技术领域
本发明涉及虚拟听觉显示技术领域，提出了一种基于耳廓关联函数预警耳机滑动及动态修正方法。
背景技术
空间声重放技术又称三维音频技术，人类利用此技术可以构建虚拟听觉空间，即让倾听者产生具体的空间感知信息。随着人工智能视听技术的发展，构建沉浸式虚拟听觉空间逐渐成为实现逼真虚拟现实感受的关键组成部分，该技术已在影音娱乐、军事导航以及语音通讯等领域实现了一定程度的应用。
依据不同的声音播放设备空间声重放技术可分为两大类：第一类是多通路扬声器重放，涉及声全息重放、球谐波分解、波场合成等技术，主要是通过线阵扬声器的协同作用，在特定听音区域内营造出虚拟的三维空间环境，实现对原始声场的重建。但需要布置大量的线阵扬声器，且扬声器的配置有严格要求，因此该技术的发展被限制。第二类是双通道耳机重放，主要涉及双耳捡拾与虚拟听觉重放，其中，双耳捡拾技术的关键在于利用麦克风捡拾双耳信号的过程，而虚拟听觉重放的技术核心则是头相关传输函数，此方法的优点是仅需一副双通道耳机便可产生三维空间声效果，因其便利性和实用性，迅速成为构建虚拟空间听觉的主流方式。
头相关传输函数很大程度上依赖与声音反射、衍射和色散相关的人体特征参数，尤其是耳廓参数，而这些参数对每个人来说都是独特的，近些年，国内外采用多种创新性的方法建立了个性化的头相关传递函数，进一步提升了虚拟听觉效果。但当受试者佩戴的双通道耳机出现滑动情况，则会影响到耳机呈现的虚拟听觉效果，比如前后混淆、上下混淆、角度偏差和头中效应等，这对于军事等特殊领域至关重要，比如耳机滑动影响3D告警效果，降低了士兵对告警的响应时间，进而降低了士兵的态势感知能力。所以目前急需开发一种既可以预警耳机滑动又可以动态修正虚拟听觉效果的个性化方法。
发明内容
本发明的目的是针对现有技术中存在的技术缺陷，提供一种基于耳廓关联函数预警耳机滑动及动态修正方法。
为实现本发明的目的所采用的技术方案是：
一种基于耳廓关联函数预警耳机滑动及动态修正方法，包括以下步骤：
步骤1，建立三维耳廓模型数据库；
步骤2，构建耳机模型，在所述耳机模型中，耳罩的内部正中心设有微型光学相机，将步骤1得到的三维耳廓模型与所述耳机模型相贴合构建耳廓-耳机近场声学模型；
步骤3，基于所述耳廓-耳机近场声学模型，通过有限元方法计算耳廓关联函数，并提取耳廓关联函数的特异性特征；
步骤4，结合相关性分析和逐步回归法对影响所述耳廓关联函数的耳廓特征参数进行排序，选择前N个作为耳廓关键特征参数；
步骤5，利用高斯核神经网络构建步骤4得到的耳廓关键特征参数与步骤3得到的耳廓关联函数的映射模型，得到耳廓特征-耳廓关联函数映射模型，所述耳廓特征-耳廓关联函数映射的模型输入为耳廓关键特征参数，模型输出为耳廓关联函数的特异性特征；
步骤6，联合微型光学相机的光学拍照与步骤5得到的耳廓特征-耳廓关联函数映射模型，对耳廓模型进行几何重建，识别耳廓关键特征参数的特征点，对比前后两帧获取的特征点的坐标位置，实时计算两组特征点坐标位置的相关性，若相关性小于阈值，则预警耳机滑落，并且根据所述特征点计算耳廓关键特征参数值，实时反馈给步骤5得到的耳廓特征-耳廓关联函数映射模型，输出新的耳廓关联函数，动态修正虚拟听觉效果。
在上述技术方案中，所述步骤1中，通过手持式激光扫描仪建立三维耳廓模型数据库，具体步骤为：先校准激光扫描仪，然后对受试者的耳廓进行非接触式扫描，获得点阵数据，最后将所述点阵数据导入到Magics软件中进行三维重构，最后保存成.stl格式。
在上述技术方案中，所述步骤2的耳机模型包含微型光学相机、扬声器、耳罩、耳套和支架，支架连接左右两个耳罩，每一个耳罩上设有耳套，每一个耳罩的内部正中心设有微型光学相机，扬声器设置在微型光学相机的一侧。
在上述技术方案中，所述步骤3中，将步骤2构建的耳廓-耳机近场声学模型导入到有限元仿真软件COMSOL中，在扬声器处施加声激励信号采集耳道处的频谱信息，构建耳廓关联函数。
在上述技术方案中，所述步骤3中，采用局部线性嵌入算法提取耳廓关联函数的特异性特征，具体包括以下步骤：先构建耳廓关联函数邻域图，然后计算耳廓关联函数数据近邻间的局部线性表示系数矩阵，最后获取耳廓关联函数的特异性特征。
在上述技术方案中，所述步骤4中，采用Pearman相关分析筛选具有高相关度的耳廓特征参数，再采用逐步回归法对影响耳廓关联函数的耳廓特征参数进行排序，选择前N个作为耳廓关键特征参数，N=5。
在上述技术方案中，所述步骤4中，所述耳廓特征参数为24个，包括耳廓总长、耳廓最大宽、上耳轮宽度、三角窝高度、耳甲腔高度、耳屏间宽度、耳垂长、耳廓总宽、耳廓最大宽、中耳轮宽度、内耳廓宽度、耳甲腔宽度、耳甲腔深度、外耳屏耳翼长、外耳翼高度、耳屏间宽度、容貌耳长、耳翼点高度、耳廓下偏移量、耳廓后偏移量、耳廓旋转角、耳甲腔旋转角、耳廓偏转角、耳廓张角。
在上述技术方案中，所述步骤4中，得到的耳廓关键特征参数包括内耳廓宽度、三角窝高度、耳甲腔高度、耳甲腔宽度和耳屏间宽度。
在上述技术方案中，所述步骤5中，首先，以步骤4得到的耳廓关键特征参数作为自变量，步骤3得到的耳廓关联函数的特异性特征作为因变量，对自变量和因变量的均值和方差进行归一化处理，并进行洗牌，然后，选定训练集和测试集，采用网格搜索法寻找所述耳廓特征-耳廓关联函数映射模型的最优参数，最后，基于所述最优参数对耳廓特征-耳廓关联函数映射模型进行训练和测试。
在上述技术方案中，所述步骤6中，所述阈值为0.85-1。
与现有技术相比，本发明的有益效果是：
本发明构建了耳廓关联函数并优选出与耳廓关联函数最为相关的耳廓特征参数，在耳廓特征-耳廓关联函数映射模型基础上，联合微型光学相机的光学拍照技术和计算机视觉的模式识别技术实现耳机滑动及动态修正功能，为耳机错位畸变校准提供新手段，进一步提升了虚拟听觉效果。
附图说明
图1为一种基于耳廓关联函数预警耳机滑动及动态修正方法的整体架构图。
图2为一种基于手持式3D激光扫描仪获取的耳廓模型；
其中，（a）右耳廓，（b）左耳廓。
图3为一种基于三维建模软件建立的耳机模型；
其中，（a）耳机整体模型，（b）耳罩模型。
图4为建立的耳廓-耳机近场声学模型。
图5为耳机滑落预警示意图。
图6为基于光学技术获取耳廓关键特征参数值。
图中：
1-微型光学相机，2-扬声器，3-耳罩，4-耳套，5-支架。
具体实施方式
以下结合具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
一种基于耳廓关联函数预警耳机滑动及动态修正方法，包括以下步骤：
步骤1：通过手持式激光扫描仪建立三维耳廓模型数据库，具体步骤包括：
步骤1.1，校准3D激光扫描仪。采用手持式3D激光扫描仪（Thunk3D，讯恒科技），依次正面平放，前边倾斜30度，后边倾斜30度，左边倾斜30度，右边倾斜30度拍摄标定板，即可完成3D激光扫描仪参数的标定；
步骤1.2，利用3D激光扫描仪对受试者的耳廓进行非接触式扫描，获得点阵数据。首先设置扫描参数，通过调节亮度设定物体材质，将拼接方式设定为特征拼接，将扫描模式设定为小范围；在扫描的过程中，对受试者的姿势不做特殊要求，受试者只需要选择舒适的姿势坐着即可，这样有利于减少因头部移动而产生噪点，本实施例中包括60名被试者；
步骤1.3，重建三维耳廓模型。将步骤1.2获得的点阵数据导入到Magics软件中进行三维重构，其中包括点阵合成和模型修复（孔洞修补、孔洞检测和平滑处理）操作，最后保存成.stl格式，如图2中（a）和（b）所示；
步骤2：基于三维重建技术构建耳机模型以及耳廓-耳机近场声学模型，具体步骤包括：
步骤2.1，构建耳机模型。耳机模型包括微型光学相机1、扬声器2、耳罩3、耳套4和支架5，耳机模型如图3中（a）所示；支架5连接左右两个耳罩3，每一个耳罩3上设有耳套4，每一个耳罩3的内部正中心设有微型光学相机1，扬声器2设置在微型光学相机1的一侧，如图3中（b）所示；
步骤2.2，构建耳廓-耳机近场声学模型。将步骤1得到的三维耳廓模型和步骤2.1得到的耳机模型统一导入到SOLIDWORKS软件中，通过坐标移动和布尔运算操作将三维耳廓模型和耳机模型贴合形成一个密闭的空间，但为降低后面计算工作量，这里只采用耳机模型中耳罩3（耳罩3上设有扬声器2和微型光学相机1）和三维耳廓模型组成耳廓-耳机近场声学模型，如图4所示；
步骤3：基于有限元方法计算耳廓关联函数，并提取耳廓关联函数的特异性特征，即采集耳道处的频谱信息，实现特殊环境下的声波探测，具体步骤如下：
步骤3.1，将步骤2.3得到的耳廓-耳机近场声学模型导入到有限元COMSOL软件中，通过压力声学-有限元模块进行求解，即通过配置声场环境、设定参数、划分网格和配置求解器，求解耳道处的频谱特性，构建耳廓关联函数。
所述设定参数时，在扬声器2的位置处施加不同频率的面声源信号（100 Hz-20kHz，步长100 Hz），在耳道位置采集经扬声器2发射的单频信号，其中包括幅值和相位信息，实现特殊环境下的声波探测。
所述网格划分时，为进一步提高有限元仿真计算模型的计算速度，三维耳廓模型遵循6个网格解析1个波长的最高标准，即采用1/6波长划分标准对三维耳廓模型进行均匀划分；耳罩模型遵循4个网格解析 1个波长的划分标准，即采用1/4波长划分标准对耳罩模型进行均匀划分。
步骤3.2，基于步骤3.1获取的耳廓关联函数，利用局部线性嵌入算法提取耳廓关联函数的特异性特征。
步骤3.2.1，构建耳廓关联函数邻域图。根据 K近邻法取出耳廓关联函数中每个样本点的K个近邻点，将每个样本点与其K个近邻点相连接构成高维数据中的带权邻域图。
步骤3.2.2，计算耳廓关联函数数据近邻间的局部线性表示系数矩阵。在确认近邻数K之后，利用式（1）求解。首先，当 不是 /> 的K近邻的时候，/> 取值为0，其次，对于同一个/>来说，/>；
（1）
其中，为高维特征的权重系数，/> 为高维特征的最小权重系数，/> 表示第i个高维特征，/> 表示第j个高维特征，/> 表示第/>个高维特征和第/>个高维特征的权重系数，/>表示高维特征数量。
步骤3.2.3，获取耳廓关联函数的特异性特征。在保证权值矩阵W不变的情况下利用等式（2）求解低维表示Y的值，即提取耳廓关联函数的特异性特征；
（2）
其中，为低维特征的权重系数，/> 为低维特征的最小权重系数，/>表示第/>个低维特征，/>表示第/>个低维特征，/>表示第/>个低维特征和第/>个低维特征的权重系数，/>表示低维特征数量。
步骤4：结合相关性分析和逐步回归法优选耳廓关键特征参数，即选择对耳廓关联函数影响较大的耳廓特征参数，其中包括：
步骤4.1，采集耳廓特征参数。根据《GB/T 22187-2009》人体特征参数测量标准，借助电子测量工具SOLIDWORKS软件基于耳廓基准数据库测量每名被试24项耳廓特征参数，详见表1；
步骤4.2，利用相关性分析删除相关性高的耳廓特征参数。采用Pearman相关分析筛选具有高相关度的特征，如式（3）所示：
（3）
其中，和/>是同一个被试的两个不同耳廓特征参数，/>和/>是60名被试任意两个耳廓特征参数的平均值，/> 是被试的数量。通过此步骤剔除相关系数大于0.85的耳廓特征参数（二者取其一）。
步骤4.3，采用逐步回归法进一步优选对耳廓关联函数影响较大的耳廓特征参数，其中包括：
步骤4.3.1，建立每个自变量与因变量的一元回归方程。其中，经过步骤4.2删除相关性高的耳廓特征参数后，剩余的耳廓特征参数作为自变量，经步骤3.2获取耳廓关联函数的特异性特征作为因变量；
（4）
其中是自变量矩阵，/>是因变量，/>是线性系数，/>是常系数，/>是残差，/>是耳廓特征参数的数量；
步骤4.3.2，计算上述一元回归方程中的回归系数的检验统计量，并求出最大的统计量/>；
（5）
步骤4.3.3，将每个混合的自变量组与因变量建立二元回归方程，计算二元回归方程中的回归系数的检验统计量，并求出最大的统计量/>；
（6）
步骤4.3.4，对给定的显著性水平 ，记相应的临界值为 />，若变量 ，引入回归模型，否则，终止变量引入过程；
步骤4.3.5，依此方法重复进行步骤4.3.4，每次从未引入回归模型的自变量中选取一个，直到经检验没有变量引入为止。
本实施例中最终优选5项关键的耳廓特征参数，内耳廓宽度、三角窝高度、耳甲腔高度、耳甲腔宽度和耳屏间宽度作为耳廓关键特征参数。
步骤5：建立个性化耳廓关联函数，即使用高斯核神经网络构建步骤4得到的耳廓关键特征参数与步骤3得到的耳廓关联函数的映射模型，作为耳廓特征-耳廓关联函数映射模型，其中包括：
步骤5.1，数据预处理。对自变量和因变量的均值和方差进行归一化处理，并进行洗牌，其中，步骤4得到的耳廓关键特征参数作为自变量，步骤3得到的耳廓关联函数特异性特征作为因变量；
步骤5.2，选定训练集和测试集。将前期获得的60名被试的耳廓关键特征参数和耳廓关联函数特异性特征的数据随机划分为80%的训练集（48名）和20%的测试集（12名）；
步骤5.3，耳廓特征-耳廓关联函数映射模型参数优化。采用网格搜索法寻找耳廓特征-耳廓关联函数映射模型的最优参数，即扩展速度s，在一定范围内以步长为0.1变化，经过以上步骤后，扩展速度s=1.2提供了最佳性能，即最小均方误差；
步骤5.4，训练耳廓特征-耳廓关联函数映射模型。基于步骤5.3得到的最优参数对耳廓特征-耳廓关联函数映射模型进行训练，训练完成后基于该模型对测试集数据进行测试，后通过模型的泛化误差指标，评估所建立映射模型的预测性能。
步骤6：联合微型光学相机的光学拍照技术和计算机视觉的模式识别技术实现耳机滑动及动态修正功能。
步骤6.1，在上述耳廓特征-耳廓关联函数映射模型基础上，联合微型光学相机1的光学拍照技术对耳廓模型进行快速几何重建。
步骤6.2，利用计算机视觉的模式识别技术自动识别耳廓关键特征参数的特征点，然后对比前后两帧获取的特征点的坐标位置，实时计算两组特征点坐标位置的相关性，若相关性小于0.9，则预警耳机滑落，同时，根据特征点坐标位置记录偏移的方向，如图5所示。
步骤6.3，根据微型光学相机1获取的最新耳廓关键特征点计算耳廓关键特征参数值，如图6所示，并实时反馈给步骤5.4建立的耳廓特征-耳廓关联函数映射模型，输出新的耳廓关联函数，实现动态修正虚拟听觉效果的功能。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于耳廓关联函数预警耳机滑动及动态修正方法，其特征在于，包括以下步骤：
步骤1，建立三维耳廓模型数据库；
步骤2，构建耳机模型，在所述耳机模型中，耳罩的内部正中心设有微型光学相机，将步骤1得到的三维耳廓模型与所述耳机模型相贴合构建耳廓-耳机近场声学模型；
步骤3，基于所述耳廓-耳机近场声学模型，通过有限元方法计算耳廓关联函数，并提取耳廓关联函数的特异性特征；
步骤4，结合相关性分析和逐步回归法对影响所述耳廓关联函数的耳廓特征参数进行排序，选择前N个作为耳廓关键特征参数；
步骤5，利用高斯核神经网络构建步骤4得到的耳廓关键特征参数与步骤3得到的耳廓关联函数的映射模型，得到耳廓特征-耳廓关联函数映射模型，所述耳廓特征-耳廓关联函数映射的模型输入为耳廓关键特征参数，模型输出为耳廓关联函数的特异性特征；
步骤6，联合微型光学相机的光学拍照与步骤5得到的耳廓特征-耳廓关联函数映射模型，对耳廓模型进行几何重建，识别耳廓关键特征参数的特征点，对比前后两帧获取的特征点的坐标位置，实时计算两组特征点坐标位置的相关性，若相关性小于阈值，则预警耳机滑落，并且根据所述特征点计算耳廓关键特征参数值，实时反馈给步骤5得到的耳廓特征-耳廓关联函数映射模型，输出新的耳廓关联函数，动态修正虚拟听觉效果。
2.如权利要求1所述的一种基于耳廓关联函数预警耳机滑动及动态修正方法，其特征在于，所述步骤1中，通过手持式激光扫描仪建立三维耳廓模型数据库，具体步骤为：先校准激光扫描仪，然后对受试者的耳廓进行非接触式扫描，获得点阵数据，最后将所述点阵数据导入到Magics软件中进行三维重构，最后保存成.stl格式。
3.如权利要求1所述的一种基于耳廓关联函数预警耳机滑动及动态修正方法，其特征在于，所述步骤2的耳机模型包含微型光学相机、扬声器、耳罩、耳套和支架，支架连接左右两个耳罩，每一个耳罩上设有耳套，每一个耳罩的内部正中心设有微型光学相机，扬声器设置在微型光学相机的一侧。
4.如权利要求1所述的一种基于耳廓关联函数预警耳机滑动及动态修正方法，其特征在于，所述步骤3中，将步骤2构建的耳廓-耳机近场声学模型导入到有限元仿真软件COMSOL中，在扬声器处施加声激励信号采集耳道处的频谱信息，构建耳廓关联函数。
5.如权利要求1所述的一种基于耳廓关联函数预警耳机滑动及动态修正方法，其特征在于，所述步骤3中，采用局部线性嵌入算法提取耳廓关联函数的特异性特征，具体包括以下步骤：先构建耳廓关联函数邻域图，然后计算耳廓关联函数数据近邻间的局部线性表示系数矩阵，最后获取耳廓关联函数的特异性特征。
6.如权利要求1所述的一种基于耳廓关联函数预警耳机滑动及动态修正方法，其特征在于，所述步骤4中，采用Pearman相关分析筛选具有高相关度的耳廓特征参数，再采用逐步回归法对影响耳廓关联函数的耳廓特征参数进行排序，选择前N个作为耳廓关键特征参数，N=5。
7.如权利要求1所述的一种基于耳廓关联函数预警耳机滑动及动态修正方法，其特征在于，所述步骤4中，所述耳廓特征参数为24个，包括耳廓总长、耳廓最大宽、上耳轮宽度、三角窝高度、耳甲腔高度、耳屏间宽度、耳垂长、耳廓总宽、耳廓最大宽、中耳轮宽度、内耳廓宽度、耳甲腔宽度、耳甲腔深度、外耳屏耳翼长、外耳翼高度、耳屏间宽度、容貌耳长、耳翼点高度、耳廓下偏移量、耳廓后偏移量、耳廓旋转角、耳甲腔旋转角、耳廓偏转角、耳廓张角。
8.如权利要求1所述的一种基于耳廓关联函数预警耳机滑动及动态修正方法，其特征在于，所述步骤4中，得到的耳廓关键特征参数包括内耳廓宽度、三角窝高度、耳甲腔高度、耳甲腔宽度和耳屏间宽度。
9.如权利要求1所述的一种基于耳廓关联函数预警耳机滑动及动态修正方法，其特征在于，所述步骤5中，首先，以步骤4得到的耳廓关键特征参数作为自变量，步骤3得到的耳廓关联函数的特异性特征作为因变量，对自变量和因变量的均值和方差进行归一化处理，并进行洗牌，然后，选定训练集和测试集，采用网格搜索法寻找所述耳廓特征-耳廓关联函数映射模型的最优参数，最后，基于所述最优参数对耳廓特征-耳廓关联函数映射模型进行训练和测试。
10.如权利要求1所述的一种基于耳廓关联函数预警耳机滑动及动态修正方法，其特征在于，所述步骤6中，所述阈值为0.85-1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311773888.8A CN117437367B (zh) | 2023-12-22 | 2023-12-22 | 一种基于耳廓关联函数预警耳机滑动及动态修正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311773888.8A CN117437367B (zh) | 2023-12-22 | 2023-12-22 | 一种基于耳廓关联函数预警耳机滑动及动态修正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117437367A CN117437367A (zh) | 2024-01-23 |
| CN117437367B true CN117437367B (zh) | 2024-02-23 |
Family
ID=89558725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311773888.8A Active CN117437367B (zh) | 2023-12-22 | 2023-12-22 | 一种基于耳廓关联函数预警耳机滑动及动态修正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117437367B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106571135A (zh) * | 2016-10-27 | 2017-04-19 | 苏州大学 | 一种耳语音特征提取方法及系统 |
| CN107590833A (zh) * | 2017-08-23 | 2018-01-16 | 华南理工大学 | 一种基于等高线的人耳轮廓特征增强和生理参数提取方法 |
| CN114049886A (zh) * | 2021-10-21 | 2022-02-15 | 深圳市宇恒互动科技开发有限公司 | 波形信号的处理方法及处理装置 |
| CN115153563A (zh) * | 2022-05-16 | 2022-10-11 | 天津大学 | 基于eeg的普通话听觉注意解码方法及装置 |
| CN115412808A (zh) * | 2022-09-05 | 2022-11-29 | 天津大学 | 基于个性化头相关传递函数提高虚拟听觉重放方法及系统 |
| CN115793844A (zh) * | 2021-09-10 | 2023-03-14 | 山东大学 | 一种基于imu面部手势识别的真无线耳机交互方法 |
-
2023
- 2023-12-22 CN CN202311773888.8A patent/CN117437367B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106571135A (zh) * | 2016-10-27 | 2017-04-19 | 苏州大学 | 一种耳语音特征提取方法及系统 |
| CN107590833A (zh) * | 2017-08-23 | 2018-01-16 | 华南理工大学 | 一种基于等高线的人耳轮廓特征增强和生理参数提取方法 |
| CN115793844A (zh) * | 2021-09-10 | 2023-03-14 | 山东大学 | 一种基于imu面部手势识别的真无线耳机交互方法 |
| CN114049886A (zh) * | 2021-10-21 | 2022-02-15 | 深圳市宇恒互动科技开发有限公司 | 波形信号的处理方法及处理装置 |
| CN115153563A (zh) * | 2022-05-16 | 2022-10-11 | 天津大学 | 基于eeg的普通话听觉注意解码方法及装置 |
| CN115412808A (zh) * | 2022-09-05 | 2022-11-29 | 天津大学 | 基于个性化头相关传递函数提高虚拟听觉重放方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| Qianli Cheng.Design and optimization of auditory prostheses using the finite element method: a narrative review.《 Annals of Translational Medicine》.2022,第1-15页. * |
| 刘宝禄等.个性化头相关传递函数的研究进展.《电子测量与仪器学报》.2020,第155-165页. * |
| 张海裕等.光学相干层析成像技术在中耳内耳研究中的应用.《听力学及言语疾病杂志》.2022,第1-7页. * |
| 高文波等.种植体长度 、 直径对初期稳定性影响的三维有限元分析.《第十三届全国生物力学学术会议论文摘要汇编》.2021,第313页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117437367A (zh) | 2024-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5702852B2 (ja) | データベース内の知覚的に最適なｈｒｔｆフィルタを形態学的パラメータに従って選択するための方法 | |
| Denk et al. | An individualised acoustically transparent earpiece for hearing devices | |
| CN104284286A (zh) | 个体hrtf的确定 | |
| Romigh et al. | Free-field localization performance with a head-tracked virtual auditory display | |
| Corey et al. | Acoustic impulse responses for wearable audio devices | |
| CN114586378B (zh) | 用于入耳式麦克风阵列的部分hrtf补偿或预测 | |
| CN117135530B (zh) | 听音空间感知信息的获取方法、装置、设备及存储介质 | |
| CN117437367B (zh) | 一种基于耳廓关联函数预警耳机滑动及动态修正方法 | |
| CN110620982A (zh) | 用于助听器中的音频播放的方法 | |
| TWI811762B (zh) | 音質評價方法及使用其之音質評價系統 | |
| WO2022074990A1 (ja) | 学習データ生成装置、学習データ生成方法、学習装置、学習方法、データ構造、情報処理装置、および、音響処理装置 | |
| Gardner | Spatial audio reproduction: Towards individualized binaural sound | |
| Derawi et al. | Biometric acoustic ear recognition | |
| JP2022020259A (ja) | 頭外定位フィルタ生成システム、処理装置、頭外定位フィルタ生成方法、及びプログラム | |
| CN117729503A (zh) | 一种实时测量耳廓参数同时动态修正提醒耳罩滑动的方法 | |
| CN113965859B (zh) | 头外定位滤波器确定系统、方法以及程序 | |
| CN112218224B (zh) | 一种基于头戴式扬声器系统的hrtf测量方法及其测量设备 | |
| EP4296825A2 (en) | Haptic system and method | |
| WO2021059983A1 (ja) | ヘッドホン、頭外定位フィルタ決定装置、頭外定位フィルタ決定システム、頭外定位フィルタ決定方法、及びプログラム | |
| Liu | Generating Personalized Head-Related Transfer Function (HRTF) using Scanned Mesh from iPhone FaceID | |
| Pirard | Spatial Audio and Individualized HRTFs using a Convolutional Neural Network (CNN) | |
| Dinakaran | Anthropometrics based individualization of Head-Related Transfer Functions | |
| Chaudhuri et al. | A study on variability of anthropometric data of various pinna patterns of human ear for individualization of head related transfer function: A technical review | |
| JP4956722B2 (ja) | 音空間再合成提示システム | |
| CN106714043A (zh) | 一种立体声麦克风及其录音方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |