CN112328676A - 一种估计个性化头相关传输函数的方法及相关设备 - Google Patents

一种估计个性化头相关传输函数的方法及相关设备 Download PDF

Info

Publication number
CN112328676A
CN112328676A CN202011368576.5A CN202011368576A CN112328676A CN 112328676 A CN112328676 A CN 112328676A CN 202011368576 A CN202011368576 A CN 202011368576A CN 112328676 A CN112328676 A CN 112328676A
Authority
CN
China
Prior art keywords
head
transfer function
related transfer
data
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011368576.5A
Other languages
English (en)
Inventor
李登实
官端正
赵兰馨
梁晓聪
曾露
张宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jianghan University
Original Assignee
Jianghan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jianghan University filed Critical Jianghan University
Priority to CN202011368576.5A priority Critical patent/CN112328676A/zh
Publication of CN112328676A publication Critical patent/CN112328676A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

一种估计个性化头相关传输函数的方法及相关设备，所述方法包括步骤：获取头相关传输函数样本数据库数据；根据深度神经网络和卷积神经网络构建网络训练模型；根据所述头相关传输函数样本数据库数据和所述网络训练模型训练得到个性化头相关传输函数预测模型；采集受试者人体图像数据；根据所述人体图像数据计算受试者人体参数数据；根据所述人体参数数据和所述个性化头相关传输函数预测模型估计个性化头相关传输函数。本申请提供的一种估计个性化头相关传输函数的方法、装置、电子设备及存储介质具有运算效率高、个性化效果显著的特点。

Description

一种估计个性化头相关传输函数的方法及相关设备
技术领域
本发明属于头相关传输函数技术领域，具体涉及一种估计个性化头相关传输函数的方法相关设备。
背景技术
随着虚拟现实技术及其应用的快速发展，3D(三维)视听技术成为当前以及未来引领多媒体产业发展方向的核心技术支撑之一。只要通过耳膜感知双耳接收到的音频信号，就可以感知到周围声源的空间特征：距离、方向和包括声音的水平到达时间和传入声音的频谱的声觉提示。通常，这种声音/形态的相互作用通过与头相关传输函数(HRTF)进行数学描述。这些线索在很大程度上受到声音与人的耳廓、头部和躯干的相互作用的影响，因此对每个人都是特定的。
在双耳三维声场呈现中，利用头相关传输函数进行三维声场的重建可以得到具有较好的空间听觉效果。高质量的三维音效需要获取精准的头相关传输函数，通过实验测量得到的头相关传输函数最为精准，但对测量环境、测量时间与测量成本都有较大要求，在实际操作中无法展开应用。而HRTF与个体测量参数有关，要生成用户主观感受好、沉浸式体验丰富的声音效果，就需要获得用户的个性化HRTF。
当前HRTF个性化获取的方法主要有4类方法：
1、声学测量。在受试者周围每个方向放置一个或几个扬声器，在其耳道入口处放置麦克风，记录相应的脉冲响应。1995年，麻省理工多媒体实验室首次使用KEMAR人工头测量建立了刚T HRTF数据库；2001年，加州大学实验室首次测量了43个真人和一个KEMAR人工头的CIPIC HRTF数据库。声学测量的方式测得的数据较为准确，但这项复杂的工作既昂贵又费时，而且采集的HRTF在空间位置中的分布相对较为稀疏。
2、数值模拟。从物理过程的声波传播出发，模拟声波在人体表面的边界出现时音源在耳廓处的声压规律。与声学测量相比，它可以减少乏味的采集过程。此外，可以通过使用2D到3D重建技术实现个性化，一旦获取了3D几何图形，仿真过程就可以完全重复并且没有测量噪声。自2000年代中期以来，主要的计算技术是用于谐波域的快速多极加速边界元方法(FM-BEM)和用于时间的有限差分时域(FDTD)。该方式是对测量过程的直接模拟得到的个性化HRTF，与实际测量十分吻合，但仍对设备仪器与计算时间有要求，比直接测量更加耗时。
3、通过主观反馈听觉效果修正频谱得到个性化HRTF。2015年，Kimberly等人使用PCA对HRIR(头相关冲击响应)进行降维，提取出主要成分权重，由被试者根据人体听觉方位感知反馈信息，对主要成分权重进行调节。这类个性化方式需要通过手动调整参数完成，需要多次尝试，导致个性化的时间很长。
4、利用统计方法建立人体参数与HRTF的映射模型，实现个性化HRTF的生成。2018年，武汉大学的陈玮等人通过分段分析对HRIR进行分组，然后通过多元线性回归建立每组HRIR与相关的人体参数之间的映射模型。该类方法由于人体参数与HRTF之间的关系十分复杂，如何准确的建立人体参数与个性化HRTF之间的映射模型，仍需要继续研究。
发明内容
鉴于上述问题，本发明提供克服上述问题或者至少部分地解决上述问题的一种估计个性化头相关传输函数的方法、装置、电子设备及存储介质。
为解决上述技术问题，本发明提供了一种估计个性化头相关传输函数的方法，所述方法包括步骤：
获取头相关传输函数样本数据库数据；
根据深度神经网络和卷积神经网络构建网络训练模型；
根据所述头相关传输函数样本数据库数据和所述网络训练模型训练得到个性化头相关传输函数预测模型；
采集受试者人体图像数据；
根据所述人体图像数据计算受试者人体参数数据；
根据所述人体参数数据和所述个性化头相关传输函数预测模型估计个性化头相关传输函数。
优选地，所述获取头相关传输函数样本数据库数据包括步骤：
获取头相关传输函数样本数据库；
获取所述头相关传输函数样本数据库中的头相关脉冲响应；
获取所述头相关传输函数样本数据库中的人体测量参数；
获取所述头相关传输函数样本数据库中的双耳图像。
优选地，所述根据深度神经网络和卷积神经网络构建网络训练模型包括步骤：
配置第一深度神经网络、第二深度神经网络和卷积神经网络；
将所述第一深度神经网络和所述卷积神经网络的输出端与所述第二深度神经网络的输入端连接。
优选地，所述根据所述头相关传输函数样本数据库数据和所述网络训练模型训练得到个性化头相关传输函数预测模型包括步骤：
将所述头相关传输函数样本数据库数据中的人体测量参数作为输入送入所述网络训练模型中的第一深度神经网络；
将所述头相关传输函数样本数据库数据中的双耳图像作为输入送入所述网络训练模型中的卷积神经网络；
将所述第一深度神经网络和所述卷积神经网络的输出作为联合输入送入所述网络训练模型中的第二深度神经网络；
将所述头相关传输函数样本数据库数据中的头相关脉冲响应作为所述第二深度神经网络的输出；
训练得到所述个性化头相关传输函数预测模型。
优选地，所述采集受试者人体图像数据包括步骤：
配置门形框架和柱形框架；
在所述门形框架上安装第一摄像头和红外装置；
在所述第一摄像头旁放置第一参照物；
在所述柱形框架上安装第二摄像头；
在所述第二摄像头旁放置第二参照物；
通过所述第一摄像头采集受试者侧面全身图像和头部图像；
通过所述红外装置采集受试者身高数据；
通过所述第二摄像头采集受试者正面全身图像和正面面部图像。
优选地，所述根据所述人体图像数据计算受试者人体参数数据包括步骤：
获取受试者身高数据、第一参照物尺寸数据和第二参照物尺寸数据；
测量所述人体图像数据中各图像中的人体数据；
根据所述身高数据、所述第一参照物尺寸数据、所述第二参照物尺寸数据和所述人体数据计算所述人体参数数据。
优选地，所述根据所述人体参数数据和所述个性化头相关传输函数预测模型估计个性化头相关传输函数包括步骤：
获取所述人体参数数据；
获取所述个性化头相关传输函数预测模型；
将所述人体参数数据输入所述个性化头相关传输函数预测模型中；
得到所述个性化头相关传输函数预测模型输出的所述个性化头相关传输函数。
本发明还提供了一种估计个性化头相关传输函数的装置，所述装置包括：
获取模块，用于获取头相关传输函数样本数据库数据；
构建模块，用于根据深度神经网络和卷积神经网络构建网络训练模型；
训练模块，用于根据所述头相关传输函数样本数据库数据和所述网络训练模型训练得到个性化头相关传输函数预测模型；
采集模块，用于采集受试者人体图像数据；
计算模块，用于根据所述人体图像数据计算受试者人体参数数据；
估计模块，用于根据所述人体参数数据和所述个性化头相关传输函数预测模型估计个性化头相关传输函数。
本发明还提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述中任一所述的估计个性化头相关传输函数的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现如上述中任一所述的估计个性化头相关传输函数的方法。
本发明实施例中的一个或多个技术方案，至少具有如下技术效果或优点：本申请提供的一种估计个性化头相关传输函数的方法、装置、电子设备及存储介质具有运算效率高、个性化效果显著的特点。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种估计个性化头相关传输函数的方法的流程示意图；
图2是本发明实施例提供的一种估计个性化头相关传输函数的装置的结构示意图；
图3是本发明实施例提供的一种电子设备的示意图；
图4是本发明实施例提供的一种存储介质的示意图；
图5是本发明实施例提供的一种估计个性化头相关传输函数的方法中得到的人体图像数据示意图；
图6是本发明实施例提供的一种估计个性化头相关传输函数的方法中得到的人体参数数据示意图。
具体实施方式
下文将结合具体实施方式和实施例，具体阐述本发明，本发明的优点和各种效果将由此更加清楚地呈现。本领域技术人员应理解，这些具体实施方式和实施例是用于说明本发明，而非限制本发明。
在整个说明书中，除非另有特别说明，本文使用的术语应理解为如本领域中通常所使用的含义。因此，除非另有定义，本文使用的所有技术和科学术语具有与本发明所属领域技术人员的一般理解相同的含义。若存在矛盾，本说明书优先。
除非另有特别说明，本发明中用到的各种原材料、试剂、仪器和设备等，均可通过市场购买得到或者可通过现有方法制备得到。
如图1，在本申请实施例中，本发明提供了一种估计个性化头相关传输函数的方法，所述方法包括步骤：
S1：获取头相关传输函数样本数据库数据；
S2：根据深度神经网络和卷积神经网络构建网络训练模型；
S3：根据所述头相关传输函数样本数据库数据和所述网络训练模型训练得到个性化头相关传输函数预测模型；
S4：采集受试者人体图像数据；
S5：根据所述人体图像数据计算受试者人体参数数据；
S6：根据所述人体参数数据和所述个性化头相关传输函数预测模型估计个性化头相关传输函数。
在本申请实施例中，当估计个性化头相关传输函数时，首先获取头相关传输函数样本数据库数据，同时根据深度神经网络和卷积神经网络构建网络训练模型；然后根据所述头相关传输函数样本数据库数据和所述网络训练模型训练得到个性化头相关传输函数预测模型；接着采集受试者人体图像数据，并根据所述人体图像数据计算受试者人体参数数据；最后根据所述人体参数数据和所述个性化头相关传输函数预测模型估计个性化头相关传输函数。
在本申请实施例中，步骤S1中的获取头相关传输函数样本数据库数据包括步骤：
获取头相关传输函数样本数据库；
获取所述头相关传输函数样本数据库中的头相关脉冲响应；
获取所述头相关传输函数样本数据库中的人体测量参数；
获取所述头相关传输函数样本数据库受试者的双耳图像。
在本申请实施例中，头相关传输函数样本数据库选择CIPIC HRTF数据库，该数据库包含44个真人和一个KEMAR人头数据，头相关脉冲响应的测量值在水平25个方位且高度50个方位采样得到。人体测量参数共包括37个人体测量参数，具体地，17个躯干和头部处的测量参数以及每个耳廓处的10个测量参数，双耳图像为受试者左右耳的彩色图像。
在本申请实施例中，步骤S2中的根据深度神经网络和卷积神经网络构建网络训练模型包括步骤：
配置第一深度神经网络、第二深度神经网络和卷积神经网络；
将所述第一深度神经网络和所述卷积神经网络的输出端与所述第二深度神经网络的输入端连接。
在本申请实施例中，网络训练模型由深度神经网络和卷积神经网络共同构建而成，且深度神经网络配置有2个，分别为第一深度神经网络、第二深度神经网络，其中，第一深度神经网络和卷积神经网络的输出端与第二深度神经网络的输入端连接，从而，第一深度神经网络和卷积神经网络的输出作为输入进入第二深度神经网络中。
在本申请实施例中，步骤S3中的根据所述头相关传输函数样本数据库数据和所述网络训练模型训练得到个性化头相关传输函数预测模型包括步骤：
将所述头相关传输函数样本数据库数据中的人体测量参数作为输入送入所述网络训练模型中的第一深度神经网络；
将所述头相关传输函数样本数据库数据中的双耳图像作为输入送入所述网络训练模型中的卷积神经网络；
将所述第一深度神经网络和所述卷积神经网络的输出作为联合输入送入所述网络训练模型中的第二深度神经网络；
将所述头相关传输函数样本数据库数据中的头相关脉冲响应作为所述第二深度神经网络的输出；
训练得到所述个性化头相关传输函数预测模型。
在本申请实施例中，将头部与躯干处的17个测量参数作为第一深度神经网络的输入送入第一深度神经网络，将双耳图像作为卷积神经网络的输入送进卷积神经网络，将第一深度神经网络与卷积神经网络的输出作为联合输入送进第二深度神经网络，将头相关传输函数样本数据库数据中的头相关脉冲响应作为第二深度神经网络的输出，训练得到基于人体测量参数与双耳图像的个性化头相关传输函数预测模型。
具体地，第一深度神经网络提取17个测量参数特征，卷积神经网络提取双耳图像特征，将第一深度神经网络提取的特征与卷积神经网络提取的特征联合送入第二深度神经网络训练，输出为头相关脉冲响应。第一深度神经网络的输入为19维，包含17维人体测量参数、1维方位角和1维高度角数据；卷积神经网络提取双耳图像特征，首先对样本数据库中耳朵图像大小进行预处理，将图像大小采集到64*64像素，对RGB图像做二值化，将二值化后的图像作为输入送入卷积神经网络，卷积神经网络的输入为64*64*1。将第一深度神经网络与卷积神经网络的输出作为输入一起送进第二深度神经网络，第二深度神经网络的输出为CIPIC样本数据库中的25个方位角和50个高度角采集得到的共计1250个采样点的头相关脉冲响应数据。
在本申请实施例中，步骤S4中的采集受试者人体图像数据包括步骤：
配置门形框架和柱形框架；
在所述门形框架上安装第一摄像头和红外装置；
在所述第一摄像头旁放置第一参照物；
在所述柱形框架上安装第二摄像头；
在所述第二摄像头旁放置第二参照物；
通过所述第一摄像头采集受试者侧面全身图像和头部图像；
通过所述红外装置采集受试者身高数据；
通过所述第二摄像头采集受试者正面全身图像和正面面部图像。
在本申请实施例中，采集受试者人体图像数据的采集框架分为门形框架与柱形框架。门形框架的尺寸为高2m宽2m，顶部安装有红外装置，用于测量身高数据，两侧的柱子上有刻度尺，两侧的柱子上分别放置两对滑轮组，滑轮组上放置固定的高分辨率摄像头，滑轮组可上下移动并固定，框架采集数据包括但不限于身高和双耳图片。柱形框架与门形框架类似，用于采集用户面部照片和全身照片。为方便移动，门形框架与执行框架下方都安装了滑轮。
当用户于框架结构采集点接受数据采集时，门形框架上方的红外装置测量用户身高数据，门形框架上共计4个摄像头，分别用于采集2张侧面全身照和两侧头部图像，柱形框架上设置2个摄像头，分别用于采集正面全身照和面部的正面照片。在框架结构采集点旁设置有多个固定长度且形状规整、明显的参照物，拍摄正面全身照、面部正面照片以及侧面全身照时，参照物会在拍摄采集区域内。
在本实施例中，受试者站在门型框架下，框架上方的红外装置测量得到受试者的身高，通过受试者面前的柱形框架上的摄像头拍摄受试者全身照片，利用照片中已知大小的参照物和红外装置测到的受试者身高计算受试者的躯干数据和部分头部参数数据。利用门型框架获取得到双耳图像和侧身全身照片，同样利用参照物计算剩余部分头部参数数据，同时将所采集到的数据保存在数据库中。
在本申请实施例中，步骤S5中的根据所述人体图像数据计算受试者人体参数数据包括步骤：
获取受试者身高数据、第一参照物尺寸数据和第二参照物尺寸数据；
测量所述人体图像数据中各图像中的人体数据；
根据所述身高数据、所述第一参照物尺寸数据、所述第二参照物尺寸数据和所述人体数据计算所述人体参数数据。
在本实施例中，对采集框架采集的共计6张图片(如图5)进行数据计算，6张图片传入数据计算系统时，后台工作人员在图片上鼠标点击定位参照物边框位置以及人体所需测量值边缘位置与耳廓图像边缘位置。门形框架上方的红外装置测量用户身高数据，通过正面全身照以及面部正面照计算头部高度、宽度数据、脖子高度、宽度数据、躯干宽度、高度数据和肩宽数据；通过侧面全身照以及侧面头部照计算头部深度、脖子深度数据、耳廓上偏移量、耳廓后偏移量、头部向前偏移量数据和躯干厚度数据。以上是可直接测量得到的数据，然后根据红外装置测量的身高数据、参照物的实际尺寸数据人体数据经计算得到头围、肩围数据等共计得到17个人体参数(如图6)。然后将采集到的6张图片以及采集到的17个人体参数显示在个性化人体测量参数采集显示系统上，系统界面包括各个摄像头采集显示模块与采集数据显示模块。摄像头采集显示模块包括门形框架与柱形框架共计6个摄像头拍摄的人体图像。采集数据显示模块显示采集的到的人体参数包括但不限于头高、头宽、耳廓上偏移量、耳廓后偏移量、颈高、颈宽、躯干厚度、躯干高度。
在本申请实施例中，步骤S6中的根据所述人体参数数据和所述个性化头相关传输函数预测模型估计个性化头相关传输函数包括步骤：
获取所述人体参数数据；
获取所述个性化头相关传输函数预测模型；
将所述人体参数数据输入所述个性化头相关传输函数预测模型中；
得到所述个性化头相关传输函数预测模型输出的所述个性化头相关传输函数。
在本申请实施例中，将所采集到的受试者人体参数数据送入个性化头相关传输函数预测模型，个性化头相关传输函数预测模型输出的即为个性化头相关传输函数。
如图2，在本申请实施例中，本发明还提供了一种估计个性化头相关传输函数的装置，所述装置包括：
获取模块10，用于获取头相关传输函数样本数据库数据；
构建模块20，用于根据深度神经网络和卷积神经网络构建网络训练模型；
训练模块30，用于根据所述头相关传输函数样本数据库数据和所述网络训练模型训练得到个性化头相关传输函数预测模型；
采集模块40，用于采集受试者人体图像数据；
计算模块50，用于根据所述人体图像数据计算受试者人体参数数据；
估计模块60，用于根据所述人体参数数据和所述个性化头相关传输函数预测模型估计个性化头相关传输函数。
本申请提供的一种估计个性化头相关传输函数的装置可以执行上述所述的一种估计个性化头相关传输函数的方法。
下面参考图3，其示出了适于用来实现本公开实施例的电子设备100的结构示意图，所述电子设备100能够实现如上述中任一所述的估计个性化头相关传输函数的方法。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图3所示，电子设备100可以包括处理装置(例如中央处理器、图形处理器等)101，其可以根据存储在只读存储器(ROM)102中的程序或者从存储装置108加载到随机访问存储器(RAM)103中的程序而执行各种适当的动作和处理。在RAM 103中，还存储有电子设备100操作所需的各种程序和数据。处理装置101、ROM 102以及RAM 103通过总线104彼此相连。输入/输出(I/O)接口105也连接至总线104。
通常，以下系统可以连接至I/O接口105：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置106；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置107；包括例如磁带、硬盘等的存储装置108；以及通信装置1010。通信装置1010可以允许电子设备100与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种装置的电子设备100，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置1010从网络上被下载和安装，或者从存储装置108被安装，或者从ROM102被安装。在该计算机程序被处理装置101执行时，执行本公开实施例的方法中限定的上述功能。
下面参考图4，其示出了适于用来实现本公开实施例的计算机可读存储介质的结构示意图，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时能够实现如上述中任一所述的估计个性化头相关传输函数的方法。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、系统或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、系统或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行装置、系统或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取至少两个网际协议地址；向节点评价设备发送包括所述至少两个网际协议地址的节点评价请求，其中，所述节点评价设备从所述至少两个网际协议地址中，选取网际协议地址并返回；接收所述节点评价设备返回的网际协议地址；其中，所获取的网际协议地址指示内容分发网络中的边缘节点。
或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：接收包括至少两个网际协议地址的节点评价请求；从所述至少两个网际协议地址中，选取网际协议地址；返回选取出的网际协议地址；其中，接收到的网际协议地址指示内容分发网络中的边缘节点。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言一诸如Java、步骤Smalltalk、C++，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)-连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。
本申请提供的一种估计个性化头相关传输函数的方法、装置、电子设备及存储介质具有运算效率高、个性化效果显著的特点。
最后，还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。本申请中的“第一”、“第二”可以理解为名词。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种估计个性化头相关传输函数的方法，其特征在于，所述方法包括步骤：
获取头相关传输函数样本数据库数据；
根据深度神经网络和卷积神经网络构建网络训练模型；
根据所述头相关传输函数样本数据库数据和所述网络训练模型训练得到个性化头相关传输函数预测模型；
采集受试者人体图像数据；
根据所述人体图像数据计算受试者人体参数数据；
根据所述人体参数数据和所述个性化头相关传输函数预测模型估计个性化头相关传输函数。
2.根据权利要求1所述的估计个性化头相关传输函数的方法，其特征在于，所述获取头相关传输函数样本数据库数据包括步骤：
获取头相关传输函数样本数据库；
获取所述头相关传输函数样本数据库中的头相关脉冲响应；
获取所述头相关传输函数样本数据库中的人体测量参数；
获取所述头相关传输函数样本数据库中的双耳图像。
3.根据权利要求1所述的估计个性化头相关传输函数的方法，其特征在于，所述根据深度神经网络和卷积神经网络构建网络训练模型包括步骤：
配置第一深度神经网络、第二深度神经网络和卷积神经网络；
将所述第一深度神经网络和所述卷积神经网络的输出端与所述第二深度神经网络的输入端连接。
4.根据权利要求1所述的估计个性化头相关传输函数的方法，其特征在于，所述根据所述头相关传输函数样本数据库数据和所述网络训练模型训练得到个性化头相关传输函数预测模型包括步骤：
将所述头相关传输函数样本数据库数据中的人体测量参数作为输入送入所述网络训练模型中的第一深度神经网络；
将所述头相关传输函数样本数据库数据中的双耳图像作为输入送入所述网络训练模型中的卷积神经网络；
将所述第一深度神经网络和所述卷积神经网络的输出作为联合输入送入所述网络训练模型中的第二深度神经网络；
将所述头相关传输函数样本数据库数据中的头相关脉冲响应作为所述第二深度神经网络的输出；
训练得到所述个性化头相关传输函数预测模型。
5.根据权利要求1所述的估计个性化头相关传输函数的方法，其特征在于，所述采集受试者人体图像数据包括步骤：
配置门形框架和柱形框架；
在所述门形框架上安装第一摄像头和红外装置；
在所述第一摄像头旁放置第一参照物；
在所述柱形框架上安装第二摄像头；
在所述第二摄像头旁放置第二参照物；
通过所述第一摄像头采集受试者侧面全身图像和头部图像；
通过所述红外装置采集受试者身高数据；
通过所述第二摄像头采集受试者正面全身图像和正面面部图像。
6.根据权利要求1所述的估计个性化头相关传输函数的方法，其特征在于，所述根据所述人体图像数据计算受试者人体参数数据包括步骤：
获取受试者身高数据、第一参照物尺寸数据和第二参照物尺寸数据；
测量所述人体图像数据中各图像中的人体数据；
根据所述身高数据、所述第一参照物尺寸数据、所述第二参照物尺寸数据和所述人体数据计算所述人体参数数据。
7.根据权利要求1所述的估计个性化头相关传输函数的方法，其特征在于，所述根据所述人体参数数据和所述个性化头相关传输函数预测模型估计个性化头相关传输函数包括步骤：
获取所述人体参数数据；
获取所述个性化头相关传输函数预测模型；
将所述人体参数数据输入所述个性化头相关传输函数预测模型中；
得到所述个性化头相关传输函数预测模型输出的所述个性化头相关传输函数。
8.一种估计个性化头相关传输函数的装置，其特征在于，所述装置包括：
获取模块，用于获取头相关传输函数样本数据库数据；
构建模块，用于根据深度神经网络和卷积神经网络构建网络训练模型；
训练模块，用于根据所述头相关传输函数样本数据库数据和所述网络训练模型训练得到个性化头相关传输函数预测模型；
采集模块，用于采集受试者人体图像数据；
计算模块，用于根据所述人体图像数据计算受试者人体参数数据；
估计模块，用于根据所述人体参数数据和所述个性化头相关传输函数预测模型估计个性化头相关传输函数。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-7中任一所述的估计个性化头相关传输函数的方法。
10.一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时能够实现如权利要求1-7中任一所述的估计个性化头相关传输函数的方法。
CN202011368576.5A 2020-11-27 2020-11-27 一种估计个性化头相关传输函数的方法及相关设备 Pending CN112328676A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011368576.5A CN112328676A (zh) 2020-11-27 2020-11-27 一种估计个性化头相关传输函数的方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011368576.5A CN112328676A (zh) 2020-11-27 2020-11-27 一种估计个性化头相关传输函数的方法及相关设备

Publications (1)

Publication Number Publication Date
CN112328676A true CN112328676A (zh) 2021-02-05

Family

ID=74309255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011368576.5A Pending CN112328676A (zh) 2020-11-27 2020-11-27 一种估计个性化头相关传输函数的方法及相关设备

Country Status (1)

Country Link
CN (1) CN112328676A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113849767A (zh) * 2021-09-27 2021-12-28 中国科学院声学研究所 基于生理参数和人工头数据的个性化hrtf生成方法和系统
CN114067832A (zh) * 2021-11-11 2022-02-18 中国科学院声学研究所 一种头相关传输函数的预测方法、装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017116308A1 (en) * 2015-12-31 2017-07-06 Creative Technology Ltd A method for generating a customized/personalized head related transfer function
CN108596016A (zh) * 2018-03-06 2018-09-28 北京大学 一种基于深度神经网络的个性化头相关传输函数建模方法
CN110457646A (zh) * 2019-06-26 2019-11-15 中国政法大学 一种基于参数迁移学习低资源头相关传输函数个性化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017116308A1 (en) * 2015-12-31 2017-07-06 Creative Technology Ltd A method for generating a customized/personalized head related transfer function
CN108596016A (zh) * 2018-03-06 2018-09-28 北京大学 一种基于深度神经网络的个性化头相关传输函数建模方法
CN110457646A (zh) * 2019-06-26 2019-11-15 中国政法大学 一种基于参数迁移学习低资源头相关传输函数个性化方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113849767A (zh) * 2021-09-27 2021-12-28 中国科学院声学研究所 基于生理参数和人工头数据的个性化hrtf生成方法和系统
CN113849767B (zh) * 2021-09-27 2022-08-16 中国科学院声学研究所 基于生理参数和人工头数据的个性化hrtf生成方法和系统
CN114067832A (zh) * 2021-11-11 2022-02-18 中国科学院声学研究所 一种头相关传输函数的预测方法、装置和电子设备
CN114067832B (zh) * 2021-11-11 2024-05-14 中国人民解放军空军特色医学中心 一种头相关传输函数的预测方法、装置和电子设备

Similar Documents

Publication Publication Date Title
US11804027B2 (en) Method for generating a customized/personalized head related transfer function
US11601775B2 (en) Method for generating a customized/personalized head related transfer function
US9906884B2 (en) Methods, systems, and computer readable media for utilizing adaptive rectangular decomposition (ARD) to generate head-related transfer functions
US10699431B2 (en) Method and apparatus for generating image generative model
CN106846497B (zh) 应用于终端的呈现三维地图的方法和装置
Jot et al. Augmented reality headphone environment rendering
US20230283979A1 (en) Information processing device, information processing method, and information processing program
CN112328676A (zh) 一种估计个性化头相关传输函数的方法及相关设备
CN109754464A (zh) 用于生成信息的方法和装置
JP2022130662A (ja) 頭部伝達関数を生成するシステム及び方法
Salvador et al. Dataset of near-distance head-related transfer functions calculated using the boundary element method
Kahana et al. Boundary element simulation of HRTFs and sound fields produced by virtual acoustic imaging systems
US10743128B1 (en) System and method for generating head-related transfer function
WO2020155908A1 (zh) 用于生成信息的方法和装置
JP2022526473A (ja) 情報を取得するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム
CN112418233B (zh) 图像处理方法、装置、可读介质及电子设备
CN110390717B (zh) 3d模型重建方法、装置及电子设备
CN114049403A (zh) 一种多角度三维人脸重建方法、装置及存储介质
CN112257653A (zh) 空间装饰效果图确定方法、装置、存储介质与电子设备
CN111414084B (zh) 空间可用性测试实验室及其使用方法和装置
CN111489428B (zh) 图像生成方法、装置、电子设备及计算机可读存储介质
JP2024096996A (ja) 頭部伝達関数を生成するシステム及び方法
FI20195495A1 (en) System and method for generating head-related transfer function
CN116704027A (zh) 视觉定位测试方法和智能终端
CN117768599A (zh) 处理图像的方法、装置、系统、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination