CN111797675A - 一种人耳特征点的提取方法、装置和电子设备 - Google Patents
一种人耳特征点的提取方法、装置和电子设备 Download PDFInfo
- Publication number
- CN111797675A CN111797675A CN202010306665.0A CN202010306665A CN111797675A CN 111797675 A CN111797675 A CN 111797675A CN 202010306665 A CN202010306665 A CN 202010306665A CN 111797675 A CN111797675 A CN 111797675A
- Authority
- CN
- China
- Prior art keywords
- point
- cloud data
- point cloud
- human ear
- extracting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 78
- 238000000034 method Methods 0.000 claims abstract description 51
- 210000005069 ears Anatomy 0.000 claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims description 69
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 32
- 230000009466 transformation Effects 0.000 claims description 26
- 210000000613 ear canal Anatomy 0.000 claims description 24
- 230000008447 perception Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 15
- 241000746998 Tragus Species 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 11
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 14
- 210000000883 ear external Anatomy 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000003027 ear inner Anatomy 0.000 description 1
- 210000000959 ear middle Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种人耳特征点的提取方法、装置和电子设备，涉及深度学习技术领域，其中，该方法包括获取人耳的点云数据，并将点云数据输入到已训练的点网络中进行处理，得到人耳特征点，其中，点网络对点云数据的处理包括：提取点云数据的全局特征和局部特征，并对全局特征和局部特征进行全连接处理，得到人耳特征点。本申请提供的技术方案可以通过点网络直接处理点云数据，消除了因为点云数据转换成体素数据而增多的数据量，提高人耳特征点的提取效率，同时，在点网络中增加对点云数据局部特征的提取方法，使得人耳特征点的提取结果更加准确。
Description
技术领域
本申请涉及深度学习技术，尤其涉及一种人耳特征点的提取方法、装置和电子设备，属于三维数据深度学习技术领域。
背景技术
随着生活水平的提高，人们对于生活质量的要求也在提高，尤其是对于佩戴耳机时的舒适度。为了提高佩戴耳机时的舒适度，越来越多的人选择私人订制耳机。
通过对人耳模型进行三维扫描得到点云数据，再从点云数据中提取出人耳特征点，最后根据人耳特征点建立三维模型，通过三维模型厂家可以设计出最贴合用户的耳机。由于点云数据是一种无序的数据类型，所以在提取人耳特征点时，厂家会将点云数据转换为有序的体素数据，再通过深度学习网络对体素数据进行提取得到人耳特征点。
但是，一方面因为体素数据的立方体性质，使得点云数据的部分特征在转换时会丢失；另一方面因为体素数据的数据量较大，使得后续的工作量会增多，导致目前人耳特征点的提取工作不够准确，且处理缓慢。
发明内容
有鉴于此，本申请提供一种人耳特征点提取方法、装置和电子设备，用于提高人耳特征点提取工作的准确度和处理效率。
为了实现上述目的，第一方面，本申请实施例提供一种人耳特征点提取方法，包括：
获取人耳的点云数据；
将点云数据输入到已训练的点网络中进行处理，得到人耳特征点；
其中，点网络对点云数据的处理包括：提取点云数据的全局特征和局部特征，并对全局特征和局部特征进行全连接处理，得到人耳特征点。
可选的，人耳特征点包括：耳前切迹点、耳道口中心点、耳屏最凸点、屏间切迹点、耳甲腔最凹点、耳甲腔最后点、对耳屏最凸点、耳道口长轴起点、耳道口长轴终点、耳道口短轴起点和耳道口短轴终点。
可选的，获取人耳的点云数据，包括：
获取人耳的原始点云数据；
对原始点云数据进行归一化处理，得到点云数据。
可选的，获取人耳的点云数据，包括：
获取人耳的原始点云数据；
对原始点云数据进行极值点提取，确定原始点云数据中的极值点数据为点云数据。
可选的，提取点云数据的全局特征和局部特征，包括：
对点云数据进行仿射变换，得到第一旋转矩阵；
对第一旋转矩阵进行多层感知处理，提取得到第一特征；
对第一特征进行仿射变换，得到第二旋转矩阵；
从第二旋转矩阵分别提取全局特征和局部特征。
可选的，从第二旋转矩阵提取全局特征，包括：
对第二旋转矩阵进行多层感知处理，提取得到第二特征；
对第二特征进行最大池化处理，得到全局特征。
可选的，从第二旋转矩阵提取局部特征，包括：
对第二旋转矩阵进行中心点采集，确定第二旋转矩阵中的多个中心点；
根据多个中心点，将第二旋转矩阵划分为多个局部区域，每个局部区域由对应的中心点和中心点对应的临近点组成；
对局部区域进行多层感知处理和最大池化处理，提取得到局部区域对应的局部特征。
第二方面，本申请实施例提供一种人耳特征点提取装置，包括：
获取模块，用于获取人耳的点云数据；
处理模块，用于将点云数据输入到已训练的点网络中进行处理，得到人耳特征点；
其中，点云网络对点云数据的处理包括：提取点云数据的全局特征和局部特征，并对全局特征和局部特征进行全连接处理，得到人耳特征点。
可选的，装置还包括：
人耳特征点包括：耳前切迹点、耳道口中心点、耳屏最凸点、屏间切迹点、耳甲腔最凹点、耳甲腔最后点、对耳屏最凸点、耳道口长轴起点、耳道口长轴终点、耳道口短轴起点和耳道口短轴终点。
可选的，获取模块具体用于，包括：
获取人耳的原始点云数据；
对原始点云数据进行归一化处理，得到点云数据。
可选的，获取模块具体用于，包括：
获取人耳的原始点云数据；
对原始点云数据进行极值点提取，确定原始点云数据中的极值点数据为点云数据。
可选的，处理模块具体用于，包括：
对点云数据进行仿射变换，得到第一旋转矩阵；
对第一旋转矩阵进行多层感知处理，提取得到第一特征；
对第一特征进行仿射变换，得到第二旋转矩阵；
从第二旋转矩阵分别提取全局特征和局部特征。
可选的，处理模块具体用于，包括：
对第二旋转矩阵进行多层感知处理，提取得到第二特征；
对第二特征进行最大池化处理，得到全局特征。
可选的，处理模块具体用于，包括：
对第二旋转矩阵进行中心点采集，确定第二旋转矩阵中的多个中心点；
根据多个中心点，将第二旋转矩阵划分为多个局部区域，每个局部区域由对应的中心点和中心点对应的临近点组成；
对局部区域进行多层感知处理和最大池化处理，提取得到局部区域对应的局部特征。
第三方面，本申请实施例提供一种电子设备，包括：存储器和处理器，存储器用于存储计算机程序；处理器用于在调用计算机程序时执行上述第一方面或第一方面的任一实施方式的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面或第一方面的任一实施方式的方法。
本申请实施例提供的人耳特征点提取方法，可以获取人耳的点云数据，并将点云数据输入到已训练的点网络中进行处理，得到人耳特征点，其中，点网络对点云数据的处理包括：提取点云数据的全局特征和局部特征，并对全局特征和局部特征进行全连接处理，得到人耳特征点。本申请可以通过点网络直接处理点云数据，消除了因为点云数据转换成体素数据而增多的数据量，提高人耳特征点的提取效率，同时，在点网络中增加对点云数据局部特征的提取方法，使得人耳特征点的提取结果更加准确。
附图说明
图1为本申请实施例提供的人耳特征点提取方法流程示意图；
图2为本申请实施例提供的人耳特征点部分示意图；
图3为本申请实施例提供的耳廓特征点示意图；
图4为本申请实施例提供的外耳道特征点三维示意图；
图5为本申请实施例提供的PointNet网络的结构示意图；
图6为本申请实施例提供的T-net网络进行仿射变换的流程示意图；
图7为本申请实施例提供的PointNet网络处理流程示意图；
图8为本申请实施例提供的人耳特征点提取装置的结构示意图；
图9为本申请实施例提供的电子设备的结构示意图。
具体实施方式
为了便于理解本申请施例中的技术方案，下面首先对本申请实施例中所涉及的部分术语进行解释：
点网络(PointNet)，是一种能够直接处理点云数据的深度学习网络。
点云数据，是通过3D扫描仪获取的点数据，其对数据的顺序不敏感，因而具有无序性。
尺度不变特征转换(Scale-Invariant Feature Transform，SIFT)，是一种视觉算法，用于侦测与描述影像中的局部性特征，能够在空间尺度中寻找极值点，并提取出其位置、尺度，以及旋转不变量。
本申请实施例提供的人耳特征点提取方法可以应用于计算机、平板电脑或工作站等电子设备，本申请实施例对电子设备的具体类型不作任何限制。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本申请实施例提供的人耳特征点提取方法流程示意图，如图1所示，该方法包括如下步骤：
S110、获取人耳的点云数据。
通过对人耳模型进行三维扫描计算机可以得到人耳的点云数据，其中，点云数据可以是扫描得到的原始点云数据，也可以是对原始点云数据进行预处理后得到的数据。
可选的，为了进一步提高数据处理的效率，计算机可以对三维扫描得到的原始点云数据先进行预处理。下面结合以下三种可能的预处理方式，对原始点云数据的预处理过程进行示例性的说明：
第一种，计算机通过三维扫描获取人耳的原始点云数据，再对原始点云数据进行归一化处理，得到点云数据。归一化处理可以很好地消除原始点云数据中的奇异数据，同时将原始点云数据限定在一定的范围内，能够加快后续PointNet网络的处理速度。
第二种，计算机获取人耳的原始点云数据，再对原始点云数据进行极值点提取，确定原始点云数据中的极值点数据为点云数据。
人耳主要由外耳、中耳和内耳组成，被三维扫描的部分是外耳。外耳主要由耳廓和外耳道组成，佩戴耳机时耳机主要和耳廓的耳甲腔、耳屏，以及外耳道的道口接触。因此，建立准确的耳甲腔、耳屏和外耳道的道口的模型是建模的关键。据研究表明，人耳的耳甲腔形状主要由外耳中的部分突出点决定，这些突出点通常处于相应区域曲率最大的位置，例如，参照图2，图2为本申请实施例提供的人耳特征点部分示意图，1为耳甲腔最凹的部分、2为耳甲腔最靠近后方的部分、3为耳屏最凸的部分等，而这些部分也是原始点云数据中的极值点所在的部分。
具体的，在获取到原始点云数据的情况下，计算机可以采用SIFT算法对原始点云数据进行极值点提取，进而提取出原始点云数据中所有的极值点，并将这些极值点确定为点云数据。通过SIFT算法提取出极值点，可以有效的去除对耳甲腔形状影响很小的非必要数据，保留能够决定耳甲腔形状的必要数据，进一步减少了待处理的数据量，加快后续PointNet网络的处理效率。
第三种，在计算机获取人耳的原始点云数据后，可以先对原始点云数据进行归一化处理，再将归一化后的数据输入至SIFT算法中进行极值点提取，确定提取出的极值点数据为点云数据。
S120、将点云数据输入到已训练的点网络(PointNet)中进行处理，得到人耳特征点。
在获得到点云数据的情况下，计算机可以将点云数据输入到已训练的PointNet网络中进行处理，得到人耳特征点。其中，参照图3和图4，图3为本申请实施例提供的耳廓特征点示意图，图4为本申请实施例提供的外耳道特征点三维示意图，图3和图4中共标注了能够决定耳甲腔、耳屏和外耳道的道口形状的11个特征点，11个特征点分别是耳前切迹点、耳道口中心点、耳屏最凸点、屏间切迹点、耳甲腔最凹点、耳甲腔最后点、对耳屏最凸点、耳道口长轴起点、耳道口长轴终点、耳道口短轴起点和耳道口短轴终点。
本申请实施例中的PointNet网络增加了局部特征的提取，通过提取点云数据的全局特征和局部特征，并对所述全局特征和所述局部特征进行全连接处理，得到人耳特征点，使得人耳特征点的提取结果更加准确。
示例性的，图5为本申请实施例提供的PointNet网络的结构示意图，PointNet网络共由11个部分组成：输入层、第一仿射变换层、第一感知层、第二仿射变换层、第二感知层、最大池化层、中心点采集层、划分层、局部特征提取层、全连接层和输出层。
输入层：用于输入点云数据。
第一仿射变换层：用于使用一个微型网络(T-net)将输入的数据进行一次仿射变换，改变输入数据的角度。图6为本申请实施例提供的T-net网络进行仿射变换的流程示意图，如图6所示，T-net网络可以接收一个输入数据并进行学习，得到一个用于变换输入数据角度的仿射矩阵，再将输入数据与该仿射矩阵进行矩阵相乘，得到仿射变换后的输出数据。其中，T-net网络可以理解为一个微型的PointNet网络，其处理流程为：先将输入数据进行多层感知处理，再将多层感知处理后的数据进行最大池化处理，得到全局特征，最后根据全局特征输出结果。
第一感知层：用于对输入的数据就进行多层感知处理，提取特征数据。
第二仿射变换层：用于使用一个微型网络(T-net)将输入的数据进行一次仿射变换，改变输入数据的角度。
第二感知层：用于对输入的数据就进行多层感知处理，提取特征数据。
最大池化层：用于对输入的数据就进行最大池化处理，提起全局特征。
中心点采集层：用于在输入的数据中提取多个中心点。
划分层：用于根据输入的多个中心点将数据进行划分，得到多个局部区域。
局部特征提取层：用于分别提取多个局部区域的局部特征。
全连接层：用于融合全局特征和局部特征，提取人耳特征点。
输出层：用于输出人耳特征点。
具体的，图7为本申请实施例提供的PointNet网络处理流程示意图，如图7所示，PointNet网络可以通过如下步骤得到人耳特征点：
S121、对点云数据进行仿射变换，得到第一旋转矩阵。
在计算机将点云数据输入至PointNet网络后，为了提高后续分类的准确性，PointNet网络可以先对点云数据进行仿射变换，得到第一旋转矩阵，通过仿射变换PointNet网络可以将点云数据旋转至一个更有利于处理的角度。
具体的，点云数据本质上是一长串点(也即是nx3的矩阵，其中n是点数)，PointNet网络可以将nx3的点云数据输入至一个微型网络(T-net)中进行学习，并得到一个3*3的仿射矩阵，再将nx3的点云数据与该3*3的仿射矩阵进行矩阵相乘，得到仿射变换后的nx3的第一旋转矩阵。
S122、对第一旋转矩阵进行多层感知处理，提取得到第一特征。
PointNet网络可以将第一旋转矩阵输入至用于提取第一特征的多层感知机中进行多层感知处理，提取得到第一特征。
具体的，PointNet网络可以采用一个两层(64,64)的感知机对第一旋转矩阵进行处理，得到nx64的第一特征。
S123、对第一特征进行仿射变换，得到第二旋转矩阵。
PointNet网络可以对第一特征继续进行仿射变换，得到第二旋转矩阵。
具体的，该步骤中的仿射变换与步骤S121中基本相同，采用T-net网络对nx64的第一特征进行学习，得到一个64*64的仿射矩阵，再将第一特征与该64*64的仿射矩阵进行矩阵相乘，得到仿射变换后的nx64的第二旋转矩阵。
S124、从第二旋转矩阵分别提取全局特征和局部特征。
在将点云数据进行两次仿射变换后，PointNet网络得到第二旋转矩阵，然后，PointNet网络可以从第二旋转矩阵中分别提取全局特征和局部特征。
提取全局特征的步骤为：
S1241、对第二旋转矩阵进行多层感知处理，提取得到第二特征。
PointNet网络可以将第二旋转矩阵输入至用于提取第二特征的多层感知机中继续进行多层感知处理，提取得到第二特征。
具体的，PointNet网络可以采用一个三层(64,125,1024)的感知机对第二旋转矩阵进行处理，得到nx1024的第二特征。
S1242、对第二特征进行最大池化处理，得到全局特征。
PointNet网络可以采用对称函数，也即是最大池化函数进行处理，将n个1024维的特征融合为1个1024维的特征，进而得到全局特征。
提取局部特征的步骤为：
S1243、对第二旋转矩阵进行中心点采集，确定第二旋转矩阵中的多个中心点。
实现局部特征的提取需要先对第二旋转矩阵进行局部区域的划分。PointNet网络可以对第二旋转矩阵进行中心点采集，确定第二旋转矩阵中的多个中心点。
具体的，PointNet网络可以采用最远点采样方法(Farthest Point Sampling，FPS)进行中心点采集。其中，FPS的流程是先随机选择一个点，然后再选择离这个点最远的点作为起点，再继续迭代，直到选出需要的个数为止。例如，PointNet网络可以设置采集中心点的个数为11，以将第二旋转矩阵划分为11个局部区域。通过将第二旋转矩阵划分为11个局部区域，可以尽可能的将11个人耳特征点分散到不同的局部区域中，提高后续提取人耳特征点时的准确性。
S1244、根据多个中心点，将第二旋转矩阵划分为多个局部区域。
在获取多个中心点的情况下，PointNet网络可以计算每个点与各个中心点的距离，找出与其最近的中心点，并将该点确定为该中心点对应的临近点。依次确定完所有中心点对应的临近点后，PointNet网络可以将各个中心点和各个中心点对应的临近点确定为一个局部区域，最终PointNet网络可以将第二旋转矩阵划分为多个局部区域。
具体的，PointNet网络可以采用欧式距离计算每个点与各个中心点的距离，并将第二旋转矩阵划分为多个局部区域。其中，每个局部区域由对应的中心点和中心点对应的临近点组成。
S1245、对局部区域进行多层感知处理和最大池化处理，提取得到局部区域对应的局部特征。
该步骤可参考步骤S1241和S1242的描述，在此不在赘述。
S125、对全局特征和局部特征进行全连接处理，得到人耳特征点。
通过提取点云数据的全局特征和局部特征，PointNet网络可以对全局特征和局部特征进行全连接处理，使得最终得到的人耳特征点更加准确。
本申请实施例提供的人耳特征点提取方法，可以获取人耳的点云数据，并将点云数据输入到已训练的点网络中进行处理，得到人耳特征点，其中，点网络对点云数据的处理包括：提取点云数据的全局特征和局部特征，并对全局特征和局部特征进行全连接处理，得到人耳特征点。本申请可以通过点网络直接处理点云数据，消除了因为点云数据转换成体素数据而增多的数据量，提高人耳特征点的提取效率，同时，在点网络中增加对点云数据局部特征的提取方法，使得人耳特征点的提取更加准确。
基于同一发明构思，作为对上述方法的实现，本申请实施例提供了一种人耳特征点提取装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。
图8为本申请实施例提供的人耳特征点提取装置的结构示意图，如图8所示，本实施例提供的装置包括：
获取模块110，用于获取人耳的点云数据；
处理模块120，用于将点云数据输入到已训练的点网络中进行处理，得到人耳特征点；
其中，点云网络对点云数据的处理包括：提取点云数据的全局特征和局部特征，并对全局特征和局部特征进行全连接处理，得到人耳特征点。
可选的，装置还包括：
人耳特征点包括：耳前切迹点、耳道口中心点、耳屏最凸点、屏间切迹点、耳甲腔最凹点、耳甲腔最后点、对耳屏最凸点、耳道口长轴起点、耳道口长轴终点、耳道口短轴起点和耳道口短轴终点。
可选的，获取模块110具体用于，包括：
获取人耳的原始点云数据；
对原始点云数据进行归一化处理，得到点云数据。
可选的，获取模块110具体用于，包括：
获取人耳的原始点云数据；
对原始点云数据进行极值点提取，确定原始点云数据中的极值点数据为点云数据。
可选的，处理模块120具体用于，包括：
对点云数据进行仿射变换，得到第一旋转矩阵；
对第一旋转矩阵进行多层感知处理，提取得到第一特征；
对第一特征进行仿射变换，得到第二旋转矩阵；
从第二旋转矩阵分别提取全局特征和局部特征。
可选的，处理模块120具体用于，包括：
对第二旋转矩阵进行多层感知处理，提取得到第二特征；
对第二特征进行最大池化处理，得到全局特征。
可选的，处理模块120具体用于，包括：
对第二旋转矩阵进行中心点采集，确定第二旋转矩阵中的多个中心点；
根据多个中心点，将第二旋转矩阵划分为多个局部区域，每个局部区域由对应的中心点和中心点对应的临近点组成；
对局部区域进行多层感知处理和最大池化处理，提取得到局部区域对应的局部特征。
图9为本申请实施例提供的电子设备的结构示意图，如图9所示，该实施例的电子设备包括：至少一个处理器20(图9中仅示出一个)、存储器21以及存储在存储器21中并可在至少一个处理器20上运行的计算机程序22，处理器20执行计算机程序22时实现上述任意各个电子设备控制方法实施例中的步骤。
所称处理器20可以是中央处理单元(Central Processing Unit，CPU)，该处理器20还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器21在一些实施例中可以是电子设备的内部存储单元，例如电子设备的硬盘或内存。存储器21在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器21还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器21用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如计算机程序的程序代码等。存储器21还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种人耳特征点提取方法，其特征在于，包括：
获取人耳的点云数据；
将所述点云数据输入到已训练的点网络中进行处理，得到人耳特征点；
其中，所述点网络对所述点云数据的处理包括：提取所述点云数据的全局特征和局部特征，并对所述全局特征和所述局部特征进行全连接处理，得到所述人耳特征点。
2.根据权利要求1所述的人耳特征点提取方法，其特征在于，所述人耳特征点包括：耳前切迹点、耳道口中心点、耳屏最凸点、屏间切迹点、耳甲腔最凹点、耳甲腔最后点、对耳屏最凸点、耳道口长轴起点、耳道口长轴终点、耳道口短轴起点和耳道口短轴终点。
3.根据权利要求1所述的人耳特征点提取方法，其特征在于，所述获取人耳的点云数据，包括：
获取人耳的原始点云数据；
对所述原始点云数据进行归一化处理，得到所述点云数据。
4.根据权利要求1所述的人耳特征点提取方法，其特征在于，所述获取人耳的点云数据，包括：
获取人耳的原始点云数据；
对所述原始点云数据进行极值点提取，确定所述原始点云数据中的极值点数据为所述点云数据。
5.根据权利要求1-4任一项所述的人耳特征点提取方法，其特征在于，所述提取所述点云数据的全局特征和局部特征，包括：
对所述点云数据进行仿射变换，得到第一旋转矩阵；
对所述第一旋转矩阵进行多层感知处理，提取得到第一特征；
对所述第一特征进行仿射变换，得到第二旋转矩阵；
从所述第二旋转矩阵分别提取所述全局特征和所述局部特征。
6.根据权利要求5所述的方法，其特征在于，所述从所述第二旋转矩阵提取所述全局特征，包括：
对所述第二旋转矩阵进行多层感知处理，提取得到第二特征；
对所述第二特征进行最大池化处理，得到所述全局特征。
7.根据权利要求5所述的方法，其特征在于，所述从所述第二旋转矩阵提取所述局部特征，包括：
对所述第二旋转矩阵进行中心点采集，确定所述第二旋转矩阵中的多个中心点；
根据所述多个中心点，将所述第二旋转矩阵划分为多个局部区域，每个所述局部区域由对应的中心点和所述中心点对应的临近点组成；
对所述局部区域进行多层感知处理和最大池化处理，提取得到所述局部区域对应的局部特征。
8.一种人耳特征点提取装置，其特征在于，包括：
获取模块，用于获取人耳的点云数据；
处理模块，用于将所述点云数据输入到已训练的点网络中进行处理，得到人耳特征点；
其中，所述点云网络对所述点云数据的处理包括：提取所述点云数据的全局特征和局部特征，并对所述全局特征和所述局部特征进行全连接处理，得到所述人耳特征点。
9.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在调用所述计算机程序时执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010306665.0A CN111797675A (zh) | 2020-04-17 | 2020-04-17 | 一种人耳特征点的提取方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010306665.0A CN111797675A (zh) | 2020-04-17 | 2020-04-17 | 一种人耳特征点的提取方法、装置和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111797675A true CN111797675A (zh) | 2020-10-20 |
Family
ID=72806536
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010306665.0A Pending CN111797675A (zh) | 2020-04-17 | 2020-04-17 | 一种人耳特征点的提取方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111797675A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113313822A (zh) * | 2021-06-30 | 2021-08-27 | 深圳市豪恩声学股份有限公司 | 3d人耳模型构建方法、系统、设备及介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110415342A (zh) * | 2019-08-02 | 2019-11-05 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的三维点云重建装置与方法 |
-
2020
- 2020-04-17 CN CN202010306665.0A patent/CN111797675A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110415342A (zh) * | 2019-08-02 | 2019-11-05 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的三维点云重建装置与方法 |
Non-Patent Citations (2)
| Title |
|---|
| MD MURSALIN等: "EpNet: A Deep Neural Network for Ear Detection in 3D Point Clouds", 《ACIVS 2020: ADVANCED CONCEPTS FOR INTELLIGENT VISION SYSTEMS》, pages 17 - 20 * |
| R. QI CHARLES等: "PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, pages 78 - 80 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113313822A (zh) * | 2021-06-30 | 2021-08-27 | 深圳市豪恩声学股份有限公司 | 3d人耳模型构建方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11074466B2 (en) | Anti-counterfeiting processing method and related products | |
| CN111062952B (zh) | 肺部图像分割设备、方法及存储介质 | |
| JP5543571B2 (ja) | 頭部伝達関数を決定するシステムおよび方法 | |
| CN111160178B (zh) | 图像处理方法及装置、处理器、电子设备及存储介质 | |
| CN111325842B (zh) | 地图构建方法、重定位方法及装置、存储介质和电子设备 | |
| EP3432201B1 (en) | Method of living body detection and terminal device | |
| CN109360210A (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
| CN112270754B (zh) | 局部网格地图构建方法及装置、可读介质和电子设备 | |
| CN110059652B (zh) | 人脸图像处理方法、装置及存储介质 | |
| CN107590461A (zh) | 人脸识别方法及相关产品 | |
| CN107463818A (zh) | 解锁控制方法及相关产品 | |
| EP2611216B1 (en) | Systems and methods for determining head related transfer functions | |
| CN109977775A (zh) | 关键点检测方法、装置、设备及可读存储介质 | |
| CN113610750A (zh) | 对象识别方法、装置、计算机设备及存储介质 | |
| CN114283299A (zh) | 图像聚类方法、装置、计算机设备及存储介质 | |
| CN111797675A (zh) | 一种人耳特征点的提取方法、装置和电子设备 | |
| CN107480608A (zh) | 防伪处理方法及相关产品 | |
| CN114677350A (zh) | 连接点提取方法、装置、计算机设备及存储介质 | |
| US11622207B2 (en) | Generating a hearing assistance device shell | |
| CN112037305B (zh) | 对图像中的树状组织进行重建的方法、设备及存储介质 | |
| CN111428551B (zh) | 密度检测方法、密度检测模型训练方法和装置 | |
| CN116386091B (zh) | 指纹识别方法和装置 | |
| CN108765321A (zh) | 拍照修复方法、装置、存储介质及终端设备 | |
| CN110796665A (zh) | 图像分割方法及相关产品 | |
| CN110135329A (zh) | 从视频中提取姿势的方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201020 |