CN113221600B - 一种图像特征点的标定方法及装置 - Google Patents
一种图像特征点的标定方法及装置 Download PDFInfo
- Publication number
- CN113221600B CN113221600B CN202010069966.6A CN202010069966A CN113221600B CN 113221600 B CN113221600 B CN 113221600B CN 202010069966 A CN202010069966 A CN 202010069966A CN 113221600 B CN113221600 B CN 113221600B
- Authority
- CN
- China
- Prior art keywords
- calibrated
- image
- eye
- target
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开一种图像特征点的标定方法及装置，该方法包括：获得多个图像采集设备在相同采集周期内采集的待标定图像；从每一待标定图像中检测出面部特征点的检测位置信息及对应的语义信息；基于每一面部特征点对应的语义信息，对待标定图像进行分组，得到每一语义信息对应的待标定图像组；利用每一待标定图像组对应的语义信息所对应面部特征点的检测位置信息，及对应的设备位姿信息和设备内参信息，确定出目标语义信息所对应面部特征点对应的空间位置信息；进而，结合每一待标定图像对应的设备位姿信息和设备内参信息，确定每一待标定图像中每一目标语义信息所对应面部特征点的标注位置信息，以实现对图像特征点的准确性自动标注。
Description
技术领域
本发明涉及图像识别领域，具体而言，涉及一种图像特征点的标定方法及装置。
背景技术
特征点检测模型一般需要大量的标定有相应特征点的样本图像及其对应的标定信息训练得到的。相关技术中，在训练特征点检测模型的过程中，需要人员手动对样本图像中所包含的特征点进行标定。
由于训练特征点检测模型所需的数据量非常大，人员手动对样本图像中所包含的特征点进行标定需要耗费大量的人力成本和时间成本，且人员手动对样本图像中所包含的特征点进行标定，其标定结果易存在误差。
发明内容
本发明提供了一种图像特征点的标定方法及装置，以实现对图像特征点的准确性自动标注，以形成一个闭环自动的图像特征点的标注系统。具体的技术方案如下：
第一方面，本发明实施例提供了一种图像特征点的标定方法，所述方法包括：
获得多个图像采集设备在相同采集周期内采集的图像，作为待标定图像，其中，所述多个图像采集设备从不同角度对目标对象的面部进行拍摄；
基于当前的特征点检测模型，从每一待标定图像中检测出所述面部的面部特征点的检测位置信息及对应的语义信息，其中，所述当前的特征点检测模型为：至少基于通过手动标注其中所包含样本面部特征点的样本图像训练所得的模型；
基于每一面部特征点对应的语义信息，对所述待标定图像进行分组，得到每一语义信息对应的待标定图像组；
利用每一待标定图像组对应的语义信息所对应面部特征点的检测位置信息，以及对应的设备位姿信息和设备内参信息，确定出目标语义信息所对应面部特征点对应的空间位置信息；
针对每一目标语义信息，基于该目标语义信息所对应面部特征点对应的空间位置信息以及每一待标定图像对应的设备位姿信息和设备内参信息，确定每一待标定图像中该目标语义信息所对应面部特征点的标注位置信息。
可选的，所述面部特征点包括眼睛特征点；
所述基于每一面部特征点对应的语义信息，对所述待标定图像进行分组，得到每一语义信息对应的待标定图像组的步骤，包括：
基于每一眼睛特征点对应的语义信息，将包含所对应语义信息表征为目标对象的左眼的上眼睑的眼睛特征点的待标定图像，划分为一组；
将包含所对应语义信息表征为目标对象的左眼的下眼睑的眼睛特征点的待标定图像，划分为一组；
将包含所对应语义信息表征为目标对象的右眼的上眼睑的眼睛特征点的待标定图像，划分为一组；
并将包含所对应语义信息表征为目标对象的右眼的下眼睑的眼睛特征点的待标定图像，划分为一组，其中，眼睛的上眼睑的眼睛特征点包括：该眼睛的上眼睑对应的上眼睑点和眼角点，眼睛的下眼睑的眼睛特征点包括：该眼睛的下眼睑对应的下眼睑点和眼角点，同一眼睛的上眼睑对应的眼角点与下眼睑对应的眼角点相同，所述眼睛为所述目标对象的左眼和右眼。
可选的，所述利用每一待标定图像组对应的语义信息所对应面部特征点的检测位置信息，以及对应的设备位姿信息和设备内参信息，确定出目标语义信息所对应面部特征点对应的空间位置信息的步骤，包括：
针对每一待标定图像组，执行如下步骤A-H，以确定出目标语义信息所对应面部特征点对应的空间位置信息；
步骤A：基于该待标定图像组的每一当前的待标定图像中、该待标定图像组所对应语义信息所表征的目标眼睑对应的眼睛特征点的检测位置信息，以及每一当前的待标定图像对应的设备位姿信息和设备内参信息，确定该待标定图像组所对应目标眼睑对应的眼睛特征点对应的当前的三维位置信息，其中，该待标定图像组所对应目标眼睑为左眼上眼睑，左眼下眼睑，右眼上眼睑或右眼下眼睑；
步骤B：基于该待标定图像组所对应目标眼睑对应的眼睛特征点对应的当前的三维位置信息，以及每一当前的待标定图像对应的设备位姿信息和设备内参信息，确定该待标定图像组所对应目标眼睑对应的眼睛特征点对应的空间点、在每一当前的待标定图像中的投影点的位置信息，作为第一投影位置信息；
步骤C：针对该待标定图像组，基于该当前的待标定图像中该待标定图像组所对应目标眼睑对应的眼睛特征点的检测位置信息，以及该待标定图像组所对应目标眼睑对应的眼睛特征点对应的空间点、在该当前的待标定图像中的第一投影位置信息，确定该当前的待标定图像对应的重投影误差；
步骤D：针对该待标定图像组的每一当前的待标定图像，判断该待标定图像组的当前的待标定图像对应的重投影误差中，是否存在超过预设误差阈值的重投影误差；
步骤E：若判断该待标定图像组的当前的待标定图像对应的重投影误差中，不存在超过预设误差阈值的重投影误差，则将该待标定图像组所对应目标眼睑对应的眼睛特征点的当前的三维位置信息，确定为目标语义信息所对应眼睛特征点对应的空间位置信息；
步骤F：若判断该待标定图像组的当前的待标定图像对应的重投影误差中，存在超过预设误差阈值的重投影误差，将所对应重投影误差超过预设误差阈值的当前的待标定图像，从该待标定图像组的当前的待标定图像中滤除，得到该待标定图像组的新的当前的待标定图像；
步骤J：判断该待标定图像组的新的当前的待标定图像的数量是否不低于预设数量阈值，若判断该待标定图像组的新的当前的待标定图像的数量不低于所述预设数量阈值，返回执行步骤A；
步骤H：若判断该待标定图像组的新的当前的待标定图像的数量低于所述预设数量阈值，确定该待标定图像组对应的语义信息不为目标语义信息。
可选的，所述基于该待标定图像组的每一当前的待标定图像中、该待标定图像组所对应语义信息表征的目标眼睑对应的眼睛特征点的检测位置信息，以及每一当前的待标定图像对应的设备位姿信息和设备内参信息，确定该待标定图像组所对应目标眼睑对应的眼睛特征点的当前的三维位置信息的步骤，包括：
基于该待标定图像组的每一当前的待标定图像中、该待标定图像组所对应语义信息表征的目标眼睑对应的两个眼角点的检测位置信息，及每一当前的待标定图像对应的设备位姿信息和设备内参信息，确定该待标定图像组所对应目标眼睑对应的两个眼角点各自对应的当前的三维位置信息；
基于该待标定图像组所对应目标眼睑对应的两个眼角点各自对应的三维位置信息、第一数值、第二数值以及三次参数曲线方程，构建第一眼角约束，其中，所述第一数值和所述第二数值用于约束所述第一眼角约束中自变量的取值范围；
基于所述三次参数曲线方程，每一当前的待标定图像对应的设备位姿信息和设备内参信息，以及每一当前的待标定图像中、该待标定图像组所对应目标眼睑对应的眼睑点的检测位置信息，构建该待标定图像组所对应目标眼睑对应的重投影误差约束；
基于该待标定图像组所对应目标眼睑对应的眼睑点对应的重投影误差约束、所述第一眼角约束、预设眼角空间点与眼睑空间点的距离约束以及眼睑点有序性约束，构建该待标定图像组所对应目标眼睑对应的当前的空间眼睑曲线，以得到该待标定图像组所对应目标眼睑对应的眼睛特征点对应的当前的三维位置信息。
可选的，在所述利用每一待标定图像组对应的语义信息所对应面部特征点的检测位置信息，以及对应的设备位姿信息和设备内参信息，确定出目标语义信息所对应面部特征点对应的空间位置信息的步骤之前，所述方法还包括：
第一种方式：
从预设存储空间中，获得每一待标定图像对应的设备位姿信息和设备内参信息；
第二种方式：
针对每一待标定图像，从该待标定图像中，检测出指定标定参考目标在该待标定图像中的图像位置信息；
基于每一待标定图像中指定标定参考目标的图像位置信息以及预设标定算法，确定出每一待标定图像对应的设备位姿信息和设备内参信息。
可选的，所述针对每一目标语义信息，基于该目标语义信息所对应面部特征点对应的空间位置信息以及每一待标定图像对应的设备位姿信息和设备内参信息，确定每一待标定图像中该目标语义信息所对应面部特征点的标注位置信息的步骤，包括：
针对每一目标语义信息，基于该目标语义信息所对应面部特征点对应的空间位置信息，以及每一待标定图像对应的设备位姿信息和设备内参信息，确定该空间位置信息对应的空间点在每一待标定图像中的投影位置信息；
针对每一目标语义信息，将该目标对应信息所对应面部特征点对应的空间位置信息对应的空间点在每一待标定图像中的投影位置信息，确定为每一待标定图像中该目标语义信息所对应面部特征点的标注位置信息。
可选的，在所述针对每一目标语义信息，基于该目标语义信息所对应面部特征点对应的空间位置信息以及每一待标定图像对应的设备位姿信息和设备内参信息，确定每一待标定图像中该目标语义信息所对应面部特征点的标注位置信息的步骤之后，所述方法还包括：
利用所述待标定图像及其对应的面部特征点的标注位置信息，修正所述当前的特征点检测模型，得到新的当前的特征点检测模型。
第二方面，本发明实施例提供了一种图像特征点的标定装置，所述装置包括：
第一获得模块，被配置为获得多个图像采集设备在相同采集周期内采集的图像，作为待标定图像，其中，所述多个图像采集设备从不同角度对目标对象的面部进行拍摄；
第一检测模块，被配置为基于当前的特征点检测模型，从每一待标定图像中检测出所述面部的面部特征点的检测位置信息及对应的语义信息，其中，所述当前的特征点检测模型为：至少基于通过手动标注其中所包含样本面部特征点的样本图像训练所得的模型；
第一分组模块，被配置为基于每一面部特征点对应的语义信息，对所述待标定图像进行分组，得到每一语义信息对应的待标定图像组；
第一确定模块，被配置为利用每一待标定图像组对应的语义信息所对应面部特征点的检测位置信息，以及对应的设备位姿信息和设备内参信息，确定出目标语义信息所对应面部特征点对应的空间位置信息；
第二确定模块，被配置为针对每一目标语义信息，基于该目标语义信息所对应面部特征点对应的空间位置信息以及每一待标定图像对应的设备位姿信息和设备内参信息，确定每一待标定图像中该目标语义信息所对应面部特征点的标注位置信息。
可选的，所述第一确定模块，被具体配置为针对每一待标定图像组，执行如下步骤A-H，以确定出目标语义信息所对应面部特征点对应的空间位置信息；
步骤A：基于该待标定图像组的每一当前的待标定图像中、该待标定图像组所对应语义信息所表征的目标眼睑对应的眼睛特征点的检测位置信息，以及每一当前的待标定图像对应的设备位姿信息和设备内参信息，确定该待标定图像组所对应目标眼睑对应的眼睛特征点对应的当前的三维位置信息，其中，该待标定图像组所对应目标眼睑为左眼上眼睑，左眼下眼睑，右眼上眼睑或右眼下眼睑；
步骤B：基于该待标定图像组所对应目标眼睑对应的眼睛特征点对应的当前的三维位置信息，以及每一当前的待标定图像对应的设备位姿信息和设备内参信息，确定该待标定图像组所对应目标眼睑对应的眼睛特征点对应的空间点、在每一当前的待标定图像中的投影点的位置信息，作为第一投影位置信息；
步骤C：针对该待标定图像组，基于该当前的待标定图像中该待标定图像组所对应目标眼睑对应的眼睛特征点的检测位置信息，以及该待标定图像组所对应目标眼睑对应的眼睛特征点对应的空间点、在该当前的待标定图像中的第一投影位置信息，确定该当前的待标定图像对应的重投影误差；
步骤D：针对该待标定图像组的每一当前的待标定图像，判断该待标定图像组的当前的待标定图像对应的重投影误差中，是否存在超过预设误差阈值的重投影误差；
步骤E：若判断该待标定图像组的当前的待标定图像对应的重投影误差中，不存在超过预设误差阈值的重投影误差，则将该待标定图像组所对应目标眼睑对应的眼睛特征点的当前的三维位置信息，确定为目标语义信息所对应眼睛特征点对应的空间位置信息；
步骤F：若判断该待标定图像组的当前的待标定图像对应的重投影误差中，存在超过预设误差阈值的重投影误差，将所对应重投影误差超过预设误差阈值的当前的待标定图像，从该待标定图像组的当前的待标定图像中滤除，得到该待标定图像组的新的当前的待标定图像；
步骤J：判断该待标定图像组的新的当前的待标定图像的数量是否不低于预设数量阈值，若判断该待标定图像组的新的当前的待标定图像的数量不低于所述预设数量阈值，返回执行步骤A；
步骤H：若判断该待标定图像组的新的当前的待标定图像的数量低于所述预设数量阈值，确定该待标定图像组对应的语义信息不为目标语义信息。
由上述内容可知，本发明实施例提供的一种图像特征点的标定方法及装置，获得多个图像采集设备在相同采集周期内采集的待标定图像，其中，多个图像采集设备从不同角度对目标对象的面部进行拍摄；基于当前的特征点检测模型，从每一待标定图像中检测出面部的面部特征点的检测位置信息及对应的语义信息，其中，当前的特征点检测模型为：至少基于通过手动标注其中所包含样本面部特征点的样本图像训练所得的模型；基于每一面部特征点对应的语义信息，对待标定图像进行分组，得到每一语义信息对应的待标定图像组；利用每一待标定图像组对应的语义信息所对应面部特征点的检测位置信息，以及对应的设备位姿信息和设备内参信息，确定出目标语义信息所对应面部特征点对应的空间位置信息；针对每一目标语义信息，基于该目标语义信息所对应面部特征点对应的空间位置信息以及每一待标定图像对应的设备位姿信息和设备内参信息，确定每一待标定图像中该目标语义信息所对应面部特征点的标注位置信息。
应用本发明实施例，可以基于当前的特征点检测模型，从多个图像采集设备在相同采集周期内针对目标对象的面部采集的待标定图像中，初步检测出面部特征点的检测位置信息及对应的语义信息，利用待标定图像中所包含面部特征点对应的语义信息，对待标定图像进行分组，得到每一语义信息对应的待标定图像组；利用每一语义信息对应的待标定图像组中，该语义信息对应的面部特征点的检测位置信息，及对应的图像采集设备的设备位姿信息和设备内参信息，构建确定出目标语义信息所对应面部特征点对应的空间位置信息；进而，利用目标语义信息所对应面部特征点对应的空间位置信息以及每一待标定图像对应的设备位姿信息和设备内参信息，优化确定出每一待标定图像中该目标语义信息所对应面部特征点的标注位置信息，以实现自动对待标定图像中的面部特征点进行标注，节省人力成本和时间成本并节省了工作人员研发成本，且利用目标语义信息所对应待标定特征点对应的空间点的空间位置信息，即利用多图像中同一目标语义信息的待标定特征点的相关信息，确定出每一待标定图像中目标语义信息所对应待标定特征点的标注位置信息，提高了所确定待标定特征点的标注位置信息的准确性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括：
1、可以基于当前的特征点检测模型，从多个图像采集设备在相同采集周期内针对目标对象的面部采集的待标定图像中，初步检测出面部特征点的检测位置信息及对应的语义信息，利用待标定图像中所包含面部特征点对应的语义信息，对待标定图像进行分组，得到每一语义信息对应的待标定图像组；利用每一语义信息对应的待标定图像组中，该语义信息对应的面部特征点的检测位置信息，及对应的图像采集设备的设备位姿信息和设备内参信息，构建确定出目标语义信息所对应面部特征点对应的空间位置信息；进而，利用目标语义信息所对应面部特征点对应的空间位置信息以及每一待标定图像对应的设备位姿信息和设备内参信息，优化确定出每一待标定图像中该目标语义信息所对应面部特征点的标注位置信息，以实现自动对待标定图像中的面部特征点进行标注，节省人力成本和时间成本并节省了工作人员研发成本，且利用目标语义信息所对应待标定特征点对应的空间点的空间位置信息，即利用多图像中同一目标语义信息的待标定特征点的相关信息，确定出每一待标定图像中目标语义信息所对应待标定特征点的标注位置信息，提高了所确定待标定特征点的标注位置信息的准确性。
2、面部特征点包括眼睛特征点的情况下，在对待标定图像进行分组时，将包含同一眼睛的同一眼睑对应的眼睛特征点的待标定图像划分为一组，即将包含所对应语义信息表征为目标对象的左眼的上眼睑的眼睛特征点的待标定图像，划分为一组；将包含所对应语义信息表征为目标对象的左眼的下眼睑的眼睛特征点的待标定图像，划分为一组；将包含所对应语义信息表征为目标对象的右眼的上眼睑的眼睛特征点的待标定图像，划分为一组；并将包含所对应语义信息表征为目标对象的右眼的下眼睑的眼睛特征点的待标定图像，划分为一组；以便后续的结合同一眼睑对应的眼睛特征点在待标定图像中的检测位置信息，构建出更准确的该眼睑对应的眼睛特征点对应的空间位置信息，进而，得到准确性更高的该眼睑对应的眼睛特征点在待标定图像中的标定位置信息。
3、利用待标定图像组的每一当前的待标定图像中、该待标定图像组所对应语义信息所表征的目标眼睑对应的眼睛特征点的检测位置信息，构建出该待标定图像组所对应目标眼睑对应的眼睛特征点的当前的三维位置信息，进而利用当前的三维位置信息对应的空间点在各当前的待标定图像中的投影点的投影位置信息以及该当前的待标定图像中该待标定图像组所对应目标眼睑对应的眼睛特征点的检测位置信息，构建各当前的待标定图像对应的重投影误差，利用各当前的待标定图像对应的重投影误差与预设误差阈值，剔除待标定图像组的当前的待标定图像中所对应重投影误差较大的待标定图像，将待标定图像组中剩余的待标定图像作为待标定图像组的当前的待标定图像，在确定待标定图像组的当前的待标定图像的数量不低于预设数量阈值的情况下，继续构建该待标定图像组所对应目标眼睑对应的眼睛特征点的当前的三维位置信息，直至若判断该待标定图像组的当前的待标定图像对应的重投影误差中，不存在超过预设误差阈值的重投影误差，则将该待标定图像组所对应目标眼睑对应的眼睛特征点的当前的三维位置信息，确定为目标语义信息所对应眼睛特征点对应的空间位置信息，以确定出较准确的目标语义信息所对应眼睛特征点对应的空间位置信息。
4、结合多约束条件构建眼睛的上下眼睑点对应的空间眼睑曲线，以构建准确性更高且更符合人眼结构的空间眼睑曲线，进而利用该空间眼睑曲线上的眼睑空间点和眼角空间点的空间位置信息，以及每一待标定图像对应的设备位姿信息和设备内参信息，确定出的每一待标定图像中眼睛特征点的标注位置信息的准确性更高。
5、利用所获得的待标定图像以及其对应的更准确的每一目标语义信息所对应面部特征点的标注位置信息，修正当前的特征点检测模型，以得到对图像中特征点的检测结果更准确的新的当前的特征点检测模型，实现对当前的特征点检测模型的闭环自动化的修正及检测结果准确性的升级，形成一个对图像中面部特征点的闭环自动化的标注系统，大大的节省工作人员的研发成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像特征点的标定方法的一种流程示意图；
图2为本发明实施例提供的图像特征点的标定方法的另一种流程示意图；
图3为一种对图像中面部特征点的闭环自动化的标注的循环流程的一种示例图；
图4为本发明实施例提供的图像特征点的标定装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明提供了一种图像特征点的标定方法及装置，以实现对图像特征点的准确性自动标注，以形成一个闭环自动的图像特征点的标注系统。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的图像特征点的标定方法的一种流程示意图。该方法可以包括以下步骤：
S101：获得多个图像采集设备在相同采集周期内采集的图像，作为待标定图像。
其中，多个图像采集设备从不同角度对目标对象的面部进行拍摄。
本发明实施例所提供的该方法可以应用于任意类型的具有计算能力的电子设备中，该电子设备可以为服务器或者终端。该电子设备可以与多个图像采集设备进行直接或间接连接，可以获得该多个图像采集设备在相同采集周期内所采集的图像，作为待标定图像。在一种情况中，该待标定图像可以为待标定图像，也可以为色彩图像，这都是可以的。在误差允许范围内，该多个图像采集设备在相同采集周期内所采集的图像，也可以理解为多个图像采集设备在同一采集时刻所采集的图像。
该多个图像采集设备可以从不同角度对目标对象的面部进行拍摄，以实现对目标对象的面部的全方位的拍摄。其中，不同图像采集设备的图像采集区域存在重合的区域，以实现对目标对象的面部的面部特征点对应的空间位置信息的建立。在一种情况中，该多个图像采集设备可以实现对目标对象的面部进行360度监控。该多个图像采集设备可以包括至少3台图像采集设备。在一种实现方式中，该多个图像采集设备可以包括9台或16台图像采集设备。该图像采集设备可以为红外摄像头、红外相机或普通色彩相机。
在一种实现中，该目标对象可以为车辆驾驶员，该多个图像采集设备架设于该目标对象所驾驶车辆车舱内。
在一种实现中，电子设备可以获得至少一组该多个图像采集设备在相同采集周期内针对目标对象的面部采集的图像，作为待标定图像。其中，每组待标定图像中可以包括该多个图像采集设备采集的图像。进而，电子设备针对每组待标定图像，执行本发明实施例所提供的图像特征点的标定流程，以确定出每组待标定图像中每一待标定图像中图像特征点的位置信息。
S102：基于当前的特征点检测模型，从每一待标定图像中检测出面部的面部特征点的检测位置信息及对应的语义信息。
其中，当前的特征点检测模型为：至少基于通过手动标注其中所包含样本面部特征点的样本图像训练所得的模型。该当前的特征点检测模型可以为：基于深度学习的神经网络模型。初始的：该当前的特征点检测模型为：基于通过手动标注其中所包含样本面部特征点的样本图像训练所得的模型；随着时间推移，该当前的特征点检测模型为：通过该多个图像采集设备所采集的待标定图像，以及通过本发明实施例所提供的图像特征点的标定流程，从待标定图像中自动标注的面部特征点的标注位置信息进行修正后的模型。
其中，基于通过手动标注其中所包含样本面部特征点的样本图像，训练得到该当前的特征点检测模型的过程，可以参见相关技术中训练得到神经网络模型的过程，在此不再赘述。
在一种实现中，该通过手动标注其中所包含样本面部特征点的样本图像可以为：包含样本面部特征点的红外图像，其中，该红外图像中的样本面部特征点为工作人员手动标注出的。
电子设备获得多个图像采集设备采集的待标定图像之后，将所获得的待标定图像均输入至当前的特征点检测模型中，基于当前的特征点检测模型，从每一待标定图像中确定出其中面部的面部特征点的检测位置信息及其对应的语义信息。面部特征点包括但不限于：眼睛特征点、面部轮廓特征点、鼻子对应的特征点以及嘴部特征点。其中，眼睛特征点包括眼睛的上下眼睑的眼睑特征点以及眼角特征点。
在面部特征点为眼睛特征点的情况下，眼睛特征点对应的语义信息包括表征该眼睛特征点所属眼睛的眼睑的信息；例如：语义信息可以包括表征所对应眼睛特征点为目标对象的左眼的上眼睑上的第X个眼睑点的信息；又例如：语义信息可以包括表征所对应眼睛特征点为目标对象的右眼的下眼睑上的第Y个眼睑点的信息。
S103：基于每一面部特征点对应的语义信息，对待标定图像进行分组，得到每一语义信息对应的待标定图像组。
本步骤中，考虑到不同的图像采集设备采集到的待标定图像之间存在重叠区域也存在不重叠区域。相应的，不同的图像采集设备采集到的待标定图像之间可以包含对应相同的语义信息的面部特征点，也可能不包含对应相同的语义信息的面部特征点。鉴于此，为了便于后续计算，得到待标定图像中面部特征点的准确的标定位置信息，电子设备可以首先基于每一面部特征点对应的语义信息，对待标定图像进行分组，得到每一语义信息对应的待标定图像组。其中，每一语义信息对应的待标定图像组中的待标定图像中均包括对应该语义信息的面部特征点。
具体的，电子设备针对每一语义信息，将包含对应该语义信息的面部特征点的待标定图像，划分为一组，得到每一语义信息对应的待标定图像组，以得到至少一组待标定图像组。
S104：利用每一待标定图像组对应的语义信息所对应面部特征点的检测位置信息，以及对应的设备位姿信息和设备内参信息，确定出目标语义信息所对应面部特征点对应的空间位置信息。
其中，上述对应的设备位姿信息和设备内参信息为：每一待标定图像组对应的设备位姿信息和设备内参信息，每一待标定图像组对应的设备位姿信息和设备内参信息为：即采集得到该待标定图像组中各待标定图像的图像采集设备的设备位姿信息和设备内参信息。
本步骤中，电子设备对待标定图像进行分组之后，可以获得采集得到每一待标定图像的该多个图像采集设备的设备位姿信息和设备内参信息；进而，利用每一待标定图像组对应的语义信息所对应面部特征点的检测位置信息，以及对应的设备位姿信息和设备内参信息，确定出目标语义信息所对应面部特征点对应的空间位置信息。
其中，该目标语义信息可以为全部或部分该语义信息。
在一种实现方式中，可以直接针对每一待标定图像组，基于该待标定图像组中的每一待标定图像中、该待标定图像组所对应语义信息所表征的目标眼睑对应的眼睛特征点的检测位置信息，以及每一待标定图像对应的设备位姿信息和设备内参信息，确定该待标定图像组所对应目标眼睑对应的眼睛特征点对应的当前的三维位置信息，将该待标定图像组对应的语义信息确定为目标语义信息，并将该待标定图像组所对应目标眼睑对应的眼睛特征点对应的当前的三维位置信息，确定为该待标定图像组所对应目标眼睑对应的眼睛特征点对应的空间位置信息，即确定为该目标语义信息所对应眼睛特征点对应的空间位置信息。
图像采集设备的设备内参信息包括但不限于：图像采集设备的横轴方向上每个像素点的长度，纵轴方向上的每个像素点的长度，焦距，像主点的位置信息以及缩放因数等，像主点为光轴与像平面的交点。图像采集设备的设备位姿信息可以包括：图像采集设备采集得到待标定图像时的位置和姿态。
S105：针对每一目标语义信息，基于该目标语义信息所对应面部特征点对应的空间位置信息以及每一待标定图像对应的设备位姿信息和设备内参信息，确定每一待标定图像中该目标语义信息所对应面部特征点的标注位置信息。
一种情况中，针对每一目标语义信息，基于该目标语义信息所对应面部特征点对应的空间位置信息，以及采集到每一待标定图像的图像采集设备的设备位姿信息，确定该目标语义信息所对应面部特征点所对应空间点在每一图像采集设备的设备坐标系下的位置信息；进而，基于该目标语义信息所对应面部特征点所对应空间点在每一图像采集设备的设备坐标系下的位置信息，以及该图像采集设备的设备内参信息，确定该目标语义信息所对应面部特征点所对应空间点每一待标定图像中的投影位置信息；进而，将该目标语义信息所对应面部特征点所对应空间点每一待标定图像中的投影位置信息，确定为该目标语义信息所对应面部特征点的标注位置信息。
相应的，所述S105，可以包括如下步骤：
针对每一目标语义信息，基于该目标语义信息所对应面部特征点对应的空间位置信息，以及每一待标定图像对应的设备位姿信息和设备内参信息，确定该空间位置信息对应的空间点在每一待标定图像中的投影位置信息；
针对每一目标语义信息，将该目标对应信息所对应面部特征点对应的空间位置信息对应的空间点在每一待标定图像中的投影位置信息，确定为每一待标定图像中该目标语义信息所对应面部特征点的标注位置信息。
可以理解的是，所确定出的每一目标语义信息所对应面部特征点对应的空间位置信息，为所确定出的位置相对准确的空间位置信息，可以直接利用每一目标语义信息所对应面部特征点对应的空间位置信息对应的空间点，在各待标定图像中的投影点的投影位置信息，作为每一目标语义信息所对应面部特征点的标注位置信息，使得所确定出的每一目标语义信息所对应面部特征点的标注位置信息更加准确。
应用本发明实施例，可以基于当前的特征点检测模型，从多个图像采集设备在相同采集周期内针对目标对象的面部采集的待标定图像中，初步检测出面部特征点的检测位置信息及对应的语义信息，利用待标定图像中所包含面部特征点对应的语义信息，对待标定图像进行分组，得到每一语义信息对应的待标定图像组；利用每一语义信息对应的待标定图像组中，该语义信息对应的面部特征点的检测位置信息，及对应的图像采集设备的设备位姿信息和设备内参信息，构建确定出目标语义信息所对应面部特征点对应的空间位置信息；进而，利用目标语义信息所对应面部特征点对应的空间位置信息以及每一待标定图像对应的设备位姿信息和设备内参信息，优化确定出每一待标定图像中该目标语义信息所对应面部特征点的标注位置信息，以实现自动对待标定图像中的面部特征点进行标注，节省人力成本和时间成本并节省了工作人员研发成本，且利用目标语义信息所对应待标定特征点对应的空间点的空间位置信息，即利用多图像中同一目标语义信息的待标定特征点的相关信息，确定出每一待标定图像中目标语义信息所对应待标定特征点的标注位置信息，提高了所确定待标定特征点的标注位置信息的准确性。
并且，可以利用多个待标定图像中包含同一目标语义信息的面部特征点的检测位置信息和才记得到该待标定图像的图像采集设备的设备位姿信息和设备内参信息，构建出该目标语义信息对应的面部特征点对应的空间点，进而，基于该目标语义信息对应的面部特征点对应的空间点投影至各待标定图像中的投影点的投影位置信息，作为该待标定图像中该目标语义信息对应的面部特征点在该待标定图像中的标注位置信息，可以实现对待标定图像中被遮挡的目标语义信息对应的面部特征点的位置的标注。
在本发明的另一实施例中，面部特征点包括眼睛特征点；
所述S103，可以包括如下步骤：
基于每一眼睛特征点对应的语义信息，将包含所对应语义信息表征为目标对象的左眼的上眼睑的眼睛特征点的待标定图像，划分为一组。
将包含所对应语义信息表征为目标对象的左眼的下眼睑的眼睛特征点的待标定图像，划分为一组。
将包含所对应语义信息表征为目标对象的右眼的上眼睑的眼睛特征点的待标定图像，划分为一组。
并将包含所对应语义信息表征为目标对象的右眼的下眼睑的眼睛特征点的待标定图像，划分为一组。
其中，眼睛的上眼睑的眼睛特征点包括：该眼睛的上眼睑对应的上眼睑点和眼角点，眼睛的下眼睑的眼睛特征点包括：该眼睛的下眼睑对应的下眼睑点和眼角点，同一眼睛的上眼睑对应的眼角点与下眼睑对应的眼角点相同，该眼睛为目标对象的左眼和右眼。
本实施例中，面部特征点包括眼睛特征点，眼睛特征点包括眼睛的上下眼睑上的眼睑点以及眼睛的左右眼角点。为了保证所确定出的眼睛特征点对应的空间位置信息的准确性，鉴于眼睛的上眼睑对应的眼睛特征点之间存在的关联性，且眼睛的下眼睑对应的眼睛特征点之间存在的关联性，可以利用眼睛特征点中同属于同一眼睛的同一眼睑的眼睛特征点，共同构建该眼睑对应的眼睑曲线，进而，得到准确性更高的该眼睑对应的眼睑特征点对应的空间位置信息。
相应的，在基于每一眼睛特征点对应的语义信息，对待标定图像进行分组时，可以将包含同一眼睛的同一眼睑对应的眼睛特征点的待标定图像划分为一组，即将包含所对应语义信息表征为目标对象的左眼的上眼睑的眼睛特征点的待标定图像，划分为一组；将包含所对应语义信息表征为目标对象的左眼的下眼睑的眼睛特征点的待标定图像，划分为一组；将包含所对应语义信息表征为目标对象的右眼的上眼睑的眼睛特征点的待标定图像，划分为一组；并将包含所对应语义信息表征为目标对象的右眼的下眼睑的眼睛特征点的待标定图像，划分为一组；以便后续的结合同一眼睑对应的眼睛特征点在待标定图像中的检测位置信息，构建出更准确的该眼睑对应的眼睛特征点对应的空间位置信息，进而，得到准确性更高的该眼睑对应的眼睛特征点在待标定图像中的标定位置信息。
举例而言，一帧待标定图像中包括目标对象的左眼，在分组时，将该待标定图像划分于目标对象的左眼的下眼睑的眼睛特征点对应的待标定图像组中；并将该待标定图像划分于目标对象的左眼的上眼睑的眼睛特征点对应的待标定图像组中。
又举例而言，一帧待标定图像中包括目标对象的右眼和左眼，在分组时，将该待标定图像划分于目标对象的左眼的下眼睑的眼睛特征点对应的待标定图像组中；并将该待标定图像划分于目标对象的左眼的上眼睑的眼睛特征点对应的待标定图像组中；并将该待标定图像划分于目标对象的右眼的下眼睑的眼睛特征点对应的待标定图像组中；并将该待标定图像划分于目标对象的右眼的上眼睑的眼睛特征点对应的待标定图像组中。
其中，眼睛特征点对应的语义信息可以包括表征该眼睛特征点所属眼睛的眼睑的信息。
在本发明的另一实施例中，考虑到通过当前的特征点检测模型所检测出的面部特征点可能存在误差的情况。针对每一待标定图像组，每一待标定图像中包括的该待标定图像组对应的语义信息所对应面部特征点的检测位置信息存在优劣之分，即位置信息的识别的准确与否之分。利用该待标定图像组对应的语义信息所对应面部特征点的检测位置信息相对准确的面部特征点，所构建出的该待标定图像组对应的语义信息所对应的空间点的空间位置信息也会相对准确；进而可以利用该待标定图像组对应的语义信息所对应的空间位置信息相对准确的空间点，在待标定图像中的投影点的投影位置信息，代替待标定图像中该待标定图像组对应的语义信息所对应面部特征点不够准确的检测位置信息；进而得到该待标定图像组各待标定图像中该待标定图像组对应的语义信息所对应面部特征点的准确的标注位置信息。
鉴于此，所述S104，可以包括如下步骤：针对每一待标定图像组，执行如下步骤A-H，以确定出目标语义信息所对应面部特征点对应的空间位置信息；
步骤A：基于该待标定图像组的每一当前的待标定图像中、该待标定图像组所对应语义信息所表征的目标眼睑对应的眼睛特征点的检测位置信息，以及每一当前的待标定图像对应的设备位姿信息和设备内参信息，确定该待标定图像组所对应目标眼睑对应的眼睛特征点对应的当前的三维位置信息。
其中，该待标定图像组所对应目标眼睑为左眼上眼睑，左眼下眼睑，右眼上眼睑或右眼下眼睑；
步骤B：基于该待标定图像组所对应目标眼睑对应的眼睛特征点对应的当前的三维位置信息，以及每一当前的待标定图像对应的设备位姿信息和设备内参信息，确定该待标定图像组所对应目标眼睑对应的眼睛特征点对应的空间点、在每一当前的待标定图像中的投影点的位置信息，作为第一投影位置信息。
步骤C：针对该待标定图像组的每一当前的待标定图像，基于该当前的待标定图像中该待标定图像组所对应目标眼睑对应的眼睛特征点的检测位置信息，以及该待标定图像组所对应目标眼睑对应的眼睛特征点对应的空间点、在该当前的待标定图像中的第一投影位置信息，确定该当前的待标定图像对应的重投影误差。
步骤D：针对该待标定图像组，判断该待标定图像组的当前的待标定图像对应的重投影误差中，是否存在超过预设误差阈值的重投影误差。
步骤E：若判断该待标定图像组的当前的待标定图像对应的重投影误差中，不存在超过预设误差阈值的重投影误差，则将该待标定图像组所对应目标眼睑对应的眼睛特征点的当前的三维位置信息，确定为目标语义信息所对应眼睛特征点对应的空间位置信息。
步骤F：若判断该待标定图像组的当前的待标定图像对应的重投影误差中，存在超过预设误差阈值的重投影误差，将所对应重投影误差超过预设误差阈值的当前的待标定图像，从该待标定图像组的当前的待标定图像中滤除，得到该待标定图像组的新的当前的待标定图像。
步骤J：判断该待标定图像组的新的当前的待标定图像的数量是否不低于预设数量阈值，若判断该待标定图像组的新的当前的待标定图像的数量不低于预设数量阈值，返回执行步骤A。
步骤H：若判断该待标定图像组的新的当前的待标定图像的数量低于预设数量阈值，确定该待标定图像组对应的语义信息不为目标语义信息。
其中，上述预设误差阈值可以为工作人员根据实际情况所确定的阈值，上述预设数量阈值也可以为工作人员根据实际情况所确定的阈值。
举例而言，待标定图像组1包括5帧待标定图像，分别为图像1、图像2、图像3、图像4和图像5，待标定图像组1对应的语义信息表征图像1、图像2、图像3、图像4和图像5均包括待检测人员的左眼上眼睑对应的眼睛特征点，即左眼上眼睑的上眼睑点和左眼的眼角点；电子设备可以基于待标定图像组中的图像1-5中左眼上眼睑对应的眼睛特征点的检测位置信息，以及图像1-5对应的设备位姿信息和设备内参信息，确定左眼上眼睑对应的眼睛特征点对应的当前的三维位置信息。
基于左眼上眼睑对应的眼睛特征点对应的当前的三维位置信息，以及待标定图像组中的图像1-5对应的设备位姿信息和设备内参信息，确定该待标定图像组所对应左眼上眼睑对应的眼睛特征点对应的空间点、在图像1-5中的投影点的位置信息，作为第一投影位置信息。
基于图像1中该待标定图像组所对应左眼上眼睑对应的眼睛特征点的检测位置信息，以及该待标定图像组所对应左眼上眼睑对应的眼睛特征点对应的空间点、在图像1中的第一投影位置信息，确定该图像1对应的重投影误差；并利用相同方式，确定图像2-5对应的重投影误差；
判断图像1-5对应的重投影误差中，是否存在超过预设误差阈值的重投影误差；一种情况，若判断图像1-5对应的重投影误差中，不存在超过预设误差阈值的重投影误差，则将该待标定图像组1所对应左眼上眼睑对应的眼睛特征点的当前的三维位置信息，确定为目标语义信息所对应眼睛特征点对应的空间位置信息。
一种情况，若判断图像1-5对应的重投影误差中，存在超过预设误差阈值的重投影误差，例如图像2和图像3对应的重投影误差超过预设误差阈值，将图像2和图像3从该待标定图像中滤除，将图像1、图像4和图像5作为该待标定图像组的新的当前的待标定图像。继续判断该待标定图像组1的新的当前的待标定图像的数量是否不低于预设数量阈值；例如：预设数量阈值为3，3不低于3。
则电子设备基于待标定图像组1中的图像1、图像4和图像5中左眼上眼睑对应的眼睛特征点的检测位置信息，以及图像1、图像4和图像5对应的设备位姿信息和设备内参信息，确定左眼上眼睑对应的眼睛特征点对应的当前的三维位置信息。
基于左眼上眼睑对应的眼睛特征点对应的当前的三维位置信息，以及待标定图像组中的图像1、图像4和图像5对应的设备位姿信息和设备内参信息，确定该待标定图像组所对应左眼上眼睑对应的眼睛特征点对应的空间点、在图像1、图像4和图像5中的投影点的位置信息，作为第一投影位置信息。
基于图像1中该待标定图像组1所对应左眼上眼睑对应的眼睛特征点的检测位置信息，以及该待标定图像组所对应左眼上眼睑对应的眼睛特征点对应的空间点、在图像1中的第一投影位置信息，确定该图像1对应的重投影误差；并利用相同方式，确定图像4和图像5对应的重投影误差；
判断图像1、图像4和图像5对应的重投影误差中，是否存在超过预设误差阈值的重投影误差；一种情况，若判断图像1、图像4和图像5对应的重投影误差中，不存在超过预设误差阈值的重投影误差，则将该待标定图像组1所对应左眼上眼睑对应的眼睛特征点的当前的三维位置信息，确定为目标语义信息所对应眼睛特征点对应的空间位置信息。
另一种情况，若判断图像1、图像4和图像5对应的重投影误差中，存在超过预设误差阈值的重投影误差，例如图像4对应的重投影误差超过预设误差阈值，将图像4从该待标定图像中滤除，将图像1和图像5作为该待标定图像组的新的当前的待标定图像。继续判断该待标定图像组的新的当前的待标定图像的数量是否不低于预设数量阈值；例如：预设数量阈值为3，此时2低于3，则确定该待标定图像组1所对应语义信息不为目标语义信息，该待标定图像组1所对应左眼上眼睑对应的眼睛特征点对应的空间位置信息确定不准确。后续的，可以不针对该左眼上眼睑对应的眼睛特征点，确定其在待标定图像中的标注位置信息。
其中，构建得到目标眼睑对应的眼睛特征点对应的当前的三维位置信息的方式多种多样，在本发明的一实施例中，所述步骤A，可以包括如下子步骤A1-A4：
A1：基于该待标定图像组的每一当前的待标定图像中、该待标定图像组所对应语义信息表征的目标眼睑对应的两个眼角点的检测位置信息，及每一当前的待标定图像对应的设备位姿信息和设备内参信息，确定该待标定图像组所对应目标眼睑对应的两个眼角点各自对应的当前的三维位置信息。
A2：基于该待标定图像组所对应目标眼睑对应的两个眼角点各自对应的三维位置信息、第一数值、第二数值以及三次参数曲线方程，构建第一眼角约束。
其中，第一数值和第二数值用于约束第一眼角约束中自变量的取值范围。
A3：基于三次参数曲线方程，每一当前的待标定图像对应的设备位姿信息和设备内参信息，以及每一当前的待标定图像中、该待标定图像组所对应目标眼睑对应的眼睑点的检测位置信息，构建该待标定图像组所对应目标眼睑对应的重投影误差约束。
A4：基于该待标定图像组所对应目标眼睑对应的眼睑点对应的重投影误差约束、第一眼角约束、预设眼角空间点与眼睑空间点的距离约束以及眼睑点有序性约束，构建该待标定图像组所对应目标眼睑对应的当前的空间眼睑曲线，以得到该待标定图像组所对应目标眼睑对应的眼睛特征点对应的当前的三维位置信息。
为了保证所确定出的眼睛特征点对应的空间点的三维位置信息的准确性，电子设备可以基于待标定图像组的每一当前的待标定图像中、该待标定图像组所对应语义信息表征的目标眼睑对应的两个眼角点的检测位置信息，以及每一当前的待标定图像对应的每设备位姿信息和内参信息，确定出目标眼睑对应的两个眼角点的当前的三维位置信息。
进而，基于目标眼睑对应的两个眼角点的当前的三维位置信息，第一数值，第二数值以及三次参数曲线方程，构建第一眼角约束。
具体的，针对目标眼睑所设置的三次参数曲线方程可以表示为公式(1)：
其中，该a1、a2、a3、a4、b1、b2、b3、b4、c1、c2、c3和c4分别为所需求得的系数，t为自变量，(x，y，z)表示三次参数曲线上的点的空间坐标，即曲线上的点的三维位置信息，即目标眼睑对应的眼睛特征点对应的空间坐标。
将目标眼睑对应的两个眼角点各自对应的当前的三维位置信息代入预设的三次参数曲线方程中，可以构建出如下约束；
具体的，可以表示为公式(2)：
其中，(x0，y0，z0)表示目标眼睑对应的第一眼角点对应的当前的三维位置信息，(x1，y1，z1)表示目标眼睑对应的第二眼角点对应的当前的三维位置信息。
可以理解的是，目标眼睑对应的第一眼角点和第二眼角点均既存在于目标眼睑上又存在于目标眼睑所在眼睛的另一眼睑上。通过上述约束即公式(2)所表示的约束可以同时约束目标眼睑对应的空间眼睑曲线又可以约束目标眼睑所在眼睛的另一眼睑对应的空间眼睑曲线。
通过上述公式(2)为可以表示出目标眼睑对应的空间眼睑曲线对应的曲线方程，只需要求解出上述a1、a2、a3、a4、b1、b2、b3、b4、c1、c2、c3和c4十二个系数，以及从待标定图像组的每一当前的待标定图像中所检测出目标眼睑对应的眼睛特征点对应的自变量等待求解参数的具体取值，即可得到表征目标眼睑对应的空间眼睑曲线。
为了便于求解上述待求解参数，可以预先设置公式(2)的自变量的取值范围，例如公式(2)的自变量的取值范围可以设置最小为第一数值，最大为第二数值。鉴于目标眼睑对应的眼睛特征点中的眼睑点均位于目标眼睑对应的第一眼角点和第二眼角点之间，可以设置目标眼睑对应的第一眼角点对应的三次曲线曲线方程中的自变量t的取值为第一数值t01，目标眼睑对应的第二眼角点对应的三次曲线曲线方程中的自变量t的取值为第二数值t02。
相应的，第一眼角约束可以通过如下公式(3)表示：
在一种情况中，为了便于计算，可以设置上述第一数值t01为0，上述第二数值t02为1。相应的，将t01＝0，且t02＝1代入公式(3)，得到如下公式(4)，即第一眼角约束可以通过如下公式(4)表示；
相应的，公式(4)变形为(5)：
限定t01取值为0，t02取值为1，可以将上述待求解参数中的系数从12个减少为6个，即从a1、a2、a3、a4、b1、b2、b3、b4、c1、c2、c3和c412个系数，减少为a1、a2、b1、b2、c1和c26个系数，减少了上述待求解参数中所需求解的系数的个数，在一定程度上可以降低后续的目标眼睑对应的空间眼睑曲线的构建流程的计算量。其中，通过上述公式(5)可以确定：每一系数均可以通过目标眼睑对应的第一眼角点对应的当前的三维位置信息，和/或目标眼睑对应的第二眼角点对应的当前的三维位置信息表示。
后续的，电子设备基于三次参数曲线方程，每一当前的待标定图像对应的设备位姿信息和设备内参信息，以及每一当前的待标定图像中、该待标定图像组所对应目标眼睑对应的眼睑点的检测位置信息，构建目标眼睑对应的重投影误差约束。
具体的，可以通过tji表示待标定图像组中第j个当前的待标定图像中目标眼睑对应的第i个眼睑点，其中，i可以取[1，Mj]中的正整数，Mj表示待标定图像组中第j个当前的待标定图像中目标眼睑对应的眼睑点的总数量，j可以取[1，n]中的正整数，n表示待标定图像组中当前的待标定图像的数量。利用三次参数曲线方程，构建得到的目标眼睛对应的每一眼睑点对应的当前的三维位置信息，可以表示为公式(6)：
其中，
表示目标眼睑对应的眼睑点tj,i对应的当前的三维位置信息。
上述目标眼睑对应的两个眼角点和眼睑点对应的当前的三维位置信息，可以是在世界坐标系下的位置信息，也可以是在待标定图像组中任一当前的待标定图像对应的图像采集设备的设备坐标系下的位置信息，这都是可以的。
后续的，以目标眼睑对应的两个眼角点和眼睑点对应的当前的三维位置信息，为在世界坐标系下的位置信息为例，对确定目标眼睑对应的重投影误差约束的过程进行说明：
电子设备可以基于每一当前的待标定图像对应的设备位姿信息，确定基于每一当前的待标定图像对应的图像采集设备与世界坐标系之间的位置转换关系，作为每一当前的待标定图像对应的图像采集设备的位置转换关系；进而，针对每一当前的待标定图像，基于该当前的待标定图像中目标眼睑对应的每一眼睑点对应的当前的三维位置信息以及该当前的待标定图像对应的图像采集设备的位置转换关系，将目标眼睑对应的每一眼睑点对应的空间点从世界坐标系，转换至该当前的待标定图像对应的图像采集设备的设备坐标系下，进而，结合该当前的待标定图像对应的图像采集设备的设备内参信息，确定出目标眼睑对应的眼睑点所对应空间点在该当前的待标定图像中的投影点的位置信息；进一步计算目标眼睑对应的重投影误差约束。
其中，目标眼睑对应的重投影误差约束，可以表示为公式(7)：
电子设备基于目标眼睑对应的重投影误差约束、第一眼角约束、预设眼角空间点与眼睑空间点的距离约束以及眼睑点有序性约束，构建目标眼睑对应的空间眼睑曲线，以得到该待标定图像组所对应目标眼睑对应的眼睛特征点对应的当前的三维位置信息。
其中，待标定图像组中第j个当前的待标定图像中的目标眼睑对应的眼睑点之间的有序性约束可以表示为：
(11)。其中，当t01＝0，且t02＝1时，公式(8)可以变形为：
(8)。
在一种实现方式中，参照眼睛结构，该预设眼角空间点与眼睑空间点的距离约束，可以包括：目标眼睛的眼角空间点的中点到目标眼睑对应的眼睑点对应的空间点的距离，不大于二分之一倍的该目标眼睛的眼角空间点之间的距离的约束；目标眼睛中目标眼睑所在眼睛，目标眼睛的眼角空间点包括：目标眼睑对应的两个眼角点对应的空间点。其中，该预设眼角空间点与眼睑空间点的距离约束可以通过如下公式(9)表示：
其中，(x0，y0，z0)表示目标眼睑对应的第一眼角点对应的当前的三维位置信息，(x1，y1，z1)表示目标眼睑对应的第二眼角点对应的当前的三维位置信息，(x2，y2，z2)表示眼睑对应的第一眼角空间点与第二眼角空间点的中点的三维位置信息，其中，
表示眼睑对应的眼睑点tj,i对应的空间点的当前的三维位置信息。
通过公式(5)、(6)、(7)、(8)和(9)，可以构建出a1、a2、b1、b2、c1和c2，以及从待标定图像组的每一当前的待标定图像中所检测出的目标眼睑对应的眼睑点所对应自变量tj,i待求解参数的最小二乘问题的第一优化目标方程，其中，该第一优化目标方程可以通过如下公式(10)表示：
其中，P1表示第一优化目标方程的值，k表示a1、a2、b1、b2、c1和c2，以及从待标定图像组的每一当前的待标定图像中所检测出的目标眼睑对应的眼睑点所对应自变量tj,i等待求解参数，f1ij表示待标定图像组的第j个当前的待标定图像中目标眼睑对应的第i个眼睑点对应的重投影误差，可以通过如下公式(11)表示：
f2j,i(a1,a2,b1,b2,c1,c2,tj,i)表示待标定图像组的第j个当前的待标定图像中目标眼睑对应第i个眼睑点对应的距离约束的表达，可以通过如下公式(12)表示：
其中，dj,i表示二分之一倍的目标眼睑对应的第一眼角点对应的空间点和第二眼角点对应的空间点的距离，可以表示为
rj,i表示目标眼睑对应的眼角点对应的空间点的中点到目标眼睑对应的眼睑点tji对应的空间点的距离，可以表示为
f3j,i为待标定图像组的第j个当前的待标定图像中目标眼睑对应的第i个眼睑点对应的有序性的表达，可以通过如下公式(13)表示：
利用预设非线性优化算法，求解使得上述公式(13)达到预设收敛条件时，a1、a2、b1、b2、c1和c2，以及从标定图像组的每一当前的待标定图像中所检测出的目标眼睑对应的眼睑点所对应自变量tj,i等待求解参数的具体取值，得到目标眼睑对应的空间眼睑曲线。以得到该待标定图像组所对应目标眼睑对应的眼睛特征点对应的当前的三维位置信息。
其中，预设收敛条件可以为：公式(13)中P1的值不大于预设误差阈值或者达到局部最优，或者公式(13)的迭代次数达到预设的第一迭代次数。上述预设非线性优化算法可以包括但不限于：线搜索方法(Line Search Methods)和信任域方法(Trust RegionMethods)，其中，信任域方法中使用的最典型的算法可以为Levenberg-Marquardt。
在本发明的另一实施例中，在所述S104之前，所述方法还可以包括：获得每一待标定图像对应的设备位姿信息和设备内参信息的过程，其中，每一待标定图像对应的设备位姿信息和设备内参信息为：采集得到该待标定图像的图像采集设备的设备位姿信息和设备内参信息。其中，第一种方式：
从预设存储空间中，获得每一待标定图像对应的设备位姿信息和设备内参信息。
本实现方式中，可以认为多个图像采集设备在采集待标定图像的过程中，其设备位置信息和设备内参信息始终保持不变。鉴于此，可以预先在预设存储空间中预存该多个图像采集设备的设备位姿信息和内参信息，进而，电子设备在执行S104之前，首先从预设存储空间中，获得每一待标定图像对应的设备位姿信息和设备内参信息，即获得每一待标定图像组对应的设备位姿信息和设备内参信息。
举例而言，认为多个图像采集设备在采集待标定图像的过程中，其设备位置信息和设备内参信息始终保持不变的场景可以包括但不限于：多个图像采集设备安装于车辆中，多个图像采集设备在采集待标定图像的过程中，车辆未行驶的场景，或者车辆平稳行驶即为出现车身抖动的场景。
第二种方式：针对每一待标定图像，从该待标定图像中，检测出指定标定参考目标在该待标定图像中的图像位置信息；基于每一待标定图像中指定标定参考目标的图像位置信息以及预设标定算法，确定出每一待标定图像对应的设备位姿信息和设备内参信息。
在一种实现方式中，多个图像采集设备中的每一图像采集设备在采集不同的待标定图像的过程中，难免出现位姿信息出现变化和/或内参信息出现变化的情况，为了保证所确定的待标定图像中的面部特征点的标注位置信息的准确性更高。电子设备可以实时获得图像采集设备在采集得到待标定图像时的位姿信息和内参信息。相应的，电子设备在执行S104之前，针对每一待标定图像，从该待标定图像中，检测出指定标定参考目标在该待标定图像中的图像位置信息；基于每一待标定图像中指定标定参考目标的图像位置信息以及预设标定算法，确定出每一待标定图像对应的设备位姿信息和设备内参信息。
其中，指定标定参考目标可以指棋盘格，该预设标定算法可以是相关技术中任一可以实现对图像采集设备的位姿信息和内参信息进行标定的算法，本发明实施例并不在进行限定。
举例而言，多个图像采集设备中的每一图像采集设备在采集不同的待标定图像的过程中，难免出现位姿信息出现变化和/或内参信息出现变化的情况，可以包括但不限于：多个图像采集设备安装于处于行驶状态车辆中，多个图像采集设备在采集待标定图像的过程中，车辆难免出现抖动的情况，相应的，导致图像采集设备出现抖动的情况。
在本发明的另一实施例中，如图2所示，所述方法可以包括如下步骤：
S201：获得多个图像采集设备在相同采集周期内采集的图像，作为待标定图像。
其中，多个图像采集设备从不同角度对目标对象的面部进行拍摄。
S202：基于当前的特征点检测模型，从每一待标定图像中检测出面部的面部特征点的检测位置信息及对应的语义信息。
其中，当前的特征点检测模型为：至少基于通过手动标注其中所包含样本面部特征点的样本图像训练所得的模型。
S203：基于每一面部特征点对应的语义信息，对待标定图像进行分组，得到每一语义信息对应的待标定图像组。
S204：利用每一待标定图像组对应的语义信息所对应面部特征点的检测位置信息，以及对应的设备位姿信息和设备内参信息，确定出目标语义信息所对应面部特征点对应的空间位置信息。
S205：针对每一目标语义信息，基于该目标语义信息所对应面部特征点对应的空间位置信息以及每一待标定图像对应的设备位姿信息和设备内参信息，确定每一待标定图像中该目标语义信息所对应面部特征点的标注位置信息。
S206：利用待标定图像及其对应的面部特征点的标注位置信息，修正当前的特征点检测模型，得到新的当前的特征点检测模型。
该新的当前的特征点检测模型用于对所获得的该多个图像采集设备在后续的相同采集周期内采集的图像，即新的待标定图像，进行面部特征点的检测。
其中，该S201与图1中所示的S101相同，该S202与图1中所示的S102相同，该S203与图1中所示的S103相同，该S204与图1中所示的S104相同，该S205与图1中所示S105相同，在此不再赘述。
本实施例中，电子设备确定出每一待标定图像中目标语义信息所对应面部特征点的标注位置信息之后，可以将该待标定图像以及该待标定图像中每一目标语义信息所对应面部特征点的标注位置信息，作为训练集，继续训练当前的特征点检测模型，以修正该当前的特征点检测模型。更进一步提高修正后的当前的特征点检测模型对待标定图像中的面部特征点的检测的准确率。
后续的，电子设备获得该多个图像采集设备在相同采集周期内采集的新的图像，作为新的待标定图像；基于该新的当前的特征点检测模型，从每一新的待标定图像中检测出面部的面部特征点的检测位置信息及对应的语义信息；基于每一面部特征点对应的语义信息，对新的待标定图像进行分组，得到每一语义信息对应的待标定图像组，利用每一待标定图像组对应的语义信息所对应面部特征点的检测位置信息，以及对应的设备位姿信息和设备内参信息，确定出目标语义信息所对应面部特征点对应的空间位置信息；进而基于目标语义信息所对应面部特征点对应的空间位置信息，将目标语义信息所对应面部特征点对应的空间点，投影回各新的待标定图像中，得到每一新的待标定图像中该目标语义信息所对应面部特征点的标注位置信息。以实现对图像中面部特征点的闭环自动化的标注，并且可以循环修正特征点检测模型，不断提升特征点检测模型的面部特征点的检测精度。
鉴于此，如图3所示，为一种对图像中面部特征点的闭环自动化的标注的循环流程的一种示例图。如图3所示，多个图像采集设备可以实时针对目标对象的目标采集图像，以在各相同采集周期内采集得到待标定图像；电子设备获得该多个图像采集设备在相同采集周期内采集的待标定图像，输入当前的特征点检测模型，检测推理出各待标定图像中面部的面部特征点的检测位置信息及其对应的语义信息；进行面部特征点对应的空间点的空间位置信息的重建，即基于各待标定图像中面部的面部特征点对应的语义信息，对待标定图像进行分组，得到每一语义信息对应的待标定图像组；后续的，将面部特征点对应的空间点重投影回各待标定图像，即针对每一目标语义信息，基于该目标语义信息所对应面部特征点对应的空间位置信息以及每一待标定图像对应的设备位姿信息和设备内参信息，确定每一待标定图像中该目标语义信息所对应面部特征点的标注位置信息；利用待标定图像中面部特征点的标注位置信息以及待标定图像，重新训练当前的特征点检测模型，即修正当前的特征点检测模型，以用于后续的图像中的面部特征点的检测。
通过本实施例，可以实现利用当前的特征点检测模型，对待标定图像中的面部特征点的自动检测，并且，通过所确定出的每一待标定图像中目标语义信息所对应面部特征点的标注位置信息以及待标定图像，继续修正该当前的特征点检测模型，以自动化闭环的提高修正后的当前的特征点检测模型对待标定图像中的特征点的检测的准确率，形成一个对图像中面部特征点的闭环自动化的标注系统，大大的节省工作人员的研发成本。
在一种情况中，若初始训练得到当前的特征点检测模型的样本图像为待标定图像，后续的，电子设备所获得的待标定图像为色彩图像，通过本发明实施例所提供的图像特征点的标定流程，对为色彩图像的待标定图像中面部特征点的标注位置信息的确定，进而，利用色彩图像及其中的面部特征点的标注位置信息，修正当前的特征点检测模型，得到新的当前的特征点检测模型，进而，继续利用新的当前的特征点检测模型，对所获得的多个图像采集设备在相同采集设备所采集的为色彩图像的新的待标定图像，进行检测，得到每一新的待标定图像中面部特征点的初始的检测位置信息，进而，执行本发明实施例所提供的图像特征点的标定流程，得到新的待标定图像中面部特征点的标注位置信息，利用新的待标定图像中面部特征点的标注位置信息以及新的待标定图像，继续修正新的当前的特征点检测模型，得到新的当前的特征点检测模型。
继续获得多个图像采集设备在相同采集设备所采集的为色彩图像的新的待标定图像，不断循环修正当前的特征点检测模型，可以实现对面部特征点检测的场景转移，即实现从对待标定图像中面部特征点的准确检测，转移到对色彩图像中面部特征点的自动准确检测。
在一种实现方式中，通过大量的待标定图像及待标定图像中各语义信息所对应面部特征点的标注位置信息，对当前的特征点检测模型的修正，得到新的当前的特征点检测模型，当新的当前的特征点检测模型达到收敛条件之后，可以直接利用该达到收敛条件的新的当前的特征点检测模型对图像进行自动检测。
相应于上述方法实施例，本发明实施例提供了一种图像特征点的标定装置，如图4所示，所述装置包括：
第一获得模块410，被配置为获得多个图像采集设备在相同采集周期内采集的图像，作为待标定图像，其中，所述多个图像采集设备从不同角度对目标对象的面部进行拍摄；
第一检测模块420，被配置为基于当前的特征点检测模型，从每一待标定图像中检测出所述面部的面部特征点的检测位置信息及对应的语义信息，其中，所述当前的特征点检测模型为：至少基于通过手动标注其中所包含样本面部特征点的样本图像训练所得的模型；
第一分组模块430，被配置为基于每一面部特征点对应的语义信息，对所述待标定图像进行分组，得到每一语义信息对应的待标定图像组；
第一确定模块440，被配置为利用每一待标定图像组对应的语义信息所对应面部特征点的检测位置信息，以及对应的设备位姿信息和设备内参信息，确定出目标语义信息所对应面部特征点对应的空间位置信息；
第二确定模块350，被配置为针对每一目标语义信息，基于该目标语义信息所对应面部特征点对应的空间位置信息以及每一待标定图像对应的设备位姿信息和设备内参信息，确定每一待标定图像中该目标语义信息所对应面部特征点的标注位置信息。
应用本发明实施例，可以基于当前的特征点检测模型，从多个图像采集设备在相同采集周期内针对目标对象的面部采集的待标定图像中，初步检测出面部特征点的检测位置信息及对应的语义信息，利用待标定图像中所包含面部特征点对应的语义信息，对待标定图像进行分组，得到每一语义信息对应的待标定图像组；利用每一语义信息对应的待标定图像组中，该语义信息对应的面部特征点的检测位置信息，及对应的图像采集设备的设备位姿信息和设备内参信息，构建确定出目标语义信息所对应面部特征点对应的空间位置信息；进而，利用目标语义信息所对应面部特征点对应的空间位置信息以及每一待标定图像对应的设备位姿信息和设备内参信息，优化确定出每一待标定图像中该目标语义信息所对应面部特征点的标注位置信息，以实现自动对待标定图像中的面部特征点进行标注，节省人力成本和时间成本并节省了工作人员研发成本，且利用目标语义信息所对应待标定特征点对应的空间点的空间位置信息，即利用多图像中同一目标语义信息的待标定特征点的相关信息，确定出每一待标定图像中目标语义信息所对应待标定特征点的标注位置信息，提高了所确定待标定特征点的标注位置信息的准确性。
在本发明的另一实施例中，所述面部特征点包括眼睛特征点；
所述第一分组模块430，被具体配置为基于每一眼睛特征点对应的语义信息，将包含所对应语义信息表征为目标对象的左眼的上眼睑的眼睛特征点的待标定图像，划分为一组；将包含所对应语义信息表征为目标对象的左眼的下眼睑的眼睛特征点的待标定图像，划分为一组；将包含所对应语义信息表征为目标对象的右眼的上眼睑的眼睛特征点的待标定图像，划分为一组；并将包含所对应语义信息表征为目标对象的右眼的下眼睑的眼睛特征点的待标定图像，划分为一组，其中，眼睛的上眼睑的眼睛特征点包括：该眼睛的上眼睑对应的上眼睑点和眼角点，眼睛的下眼睑的眼睛特征点包括：该眼睛的下眼睑对应的下眼睑点和眼角点，同一眼睛的上眼睑对应的眼角点与下眼睑对应的眼角点相同，所述眼睛为所述目标对象的左眼和右眼。
在本发明的另一实施例中，所述第一确定模块440，被具体配置为针对每一待标定图像组，执行如下步骤A-H，以确定出目标语义信息所对应面部特征点对应的空间位置信息；步骤A：基于该待标定图像组的每一当前的待标定图像中、该待标定图像组所对应语义信息所表征的目标眼睑对应的眼睛特征点的检测位置信息，以及每一当前的待标定图像对应的设备位姿信息和设备内参信息，确定该待标定图像组所对应目标眼睑对应的眼睛特征点对应的当前的三维位置信息，其中，该待标定图像组所对应目标眼睑为左眼上眼睑，左眼下眼睑，右眼上眼睑或右眼下眼睑；
步骤B：基于该待标定图像组所对应目标眼睑对应的眼睛特征点对应的当前的三维位置信息，以及每一当前的待标定图像对应的设备位姿信息和设备内参信息，确定该待标定图像组所对应目标眼睑对应的眼睛特征点对应的空间点、在每一当前的待标定图像中的投影点的位置信息，作为第一投影位置信息；
步骤C：针对该待标定图像组，基于该当前的待标定图像中该待标定图像组所对应目标眼睑对应的眼睛特征点的检测位置信息，以及该待标定图像组所对应目标眼睑对应的眼睛特征点对应的空间点、在该当前的待标定图像中的第一投影位置信息，确定该当前的待标定图像对应的重投影误差；
步骤D：针对该待标定图像组的每一当前的待标定图像，判断该待标定图像组的当前的待标定图像对应的重投影误差中，是否存在超过预设误差阈值的重投影误差；
步骤E：若判断该待标定图像组的当前的待标定图像对应的重投影误差中，不存在超过预设误差阈值的重投影误差，则将该待标定图像组所对应目标眼睑对应的眼睛特征点的当前的三维位置信息，确定为目标语义信息所对应眼睛特征点对应的空间位置信息；
步骤F：若判断该待标定图像组的当前的待标定图像对应的重投影误差中，存在超过预设误差阈值的重投影误差，将所对应重投影误差超过预设误差阈值的当前的待标定图像，从该待标定图像组的当前的待标定图像中滤除，得到该待标定图像组的新的当前的待标定图像；
步骤J：判断该待标定图像组的新的当前的待标定图像的数量是否不低于预设数量阈值，若判断该待标定图像组的新的当前的待标定图像的数量不低于所述预设数量阈值，返回执行步骤A；
步骤H：若判断该待标定图像组的新的当前的待标定图像的数量低于所述预设数量阈值，确定该待标定图像组对应的语义信息不为目标语义信息。
在本发明的另一实施例中，所述第一确定模块440，被具体配置为基于该待标定图像组的每一当前的待标定图像中、该待标定图像组所对应语义信息表征的目标眼睑对应的两个眼角点的检测位置信息，及每一当前的待标定图像对应的设备位姿信息和设备内参信息，确定该待标定图像组所对应目标眼睑对应的两个眼角点各自对应的当前的三维位置信息；
基于该待标定图像组所对应目标眼睑对应的两个眼角点各自对应的三维位置信息、第一数值、第二数值以及三次参数曲线方程，构建第一眼角约束，其中，所述第一数值和所述第二数值用于约束所述第一眼角约束中自变量的取值范围；
基于所述三次参数曲线方程，每一当前的待标定图像对应的设备位姿信息和设备内参信息，以及每一当前的待标定图像中、该待标定图像组所对应目标眼睑对应的眼睑点的检测位置信息，构建该待标定图像组所对应目标眼睑对应的重投影误差约束；
基于该待标定图像组所对应目标眼睑对应的眼睑点对应的重投影误差约束、所述第一眼角约束、预设眼角空间点与眼睑空间点的距离约束以及眼睑点有序性约束，构建该待标定图像组所对应目标眼睑对应的当前的空间眼睑曲线，以得到该待标定图像组所对应目标眼睑对应的眼睛特征点对应的当前的三维位置信息。
在本发明的另一实施例中，所述装置还包括：
第二获得模块(图中未示出)，被配置为在所述利用每一待标定图像组对应的语义信息所对应面部特征点的检测位置信息，以及对应的设备位姿信息和设备内参信息，确定出目标语义信息所对应面部特征点对应的空间位置信息之前，从预设存储空间中，获得每一待标定图像对应的设备位姿信息和设备内参信息；
或者，所述装置还包括：
检测模块(图中未示出)，被配置为在所述利用每一待标定图像组对应的语义信息所对应面部特征点的检测位置信息，以及对应的设备位姿信息和设备内参信息，确定出目标语义信息所对应面部特征点对应的空间位置信息之前，针对每一待标定图像，从该待标定图像中，检测出指定标定参考目标在该待标定图像中的图像位置信息；第三确定模块(图中未示出)，被配置为基于每一待标定图像中指定标定参考目标的图像位置信息以及预设标定算法，确定出每一待标定图像对应的设备位姿信息和设备内参信息。
在本发明的另一实施例中，所述第二确定模块450，被具体配置为针对每一目标语义信息，基于该目标语义信息所对应面部特征点对应的空间位置信息，以及每一待标定图像对应的设备位姿信息和设备内参信息，确定该空间位置信息对应的空间点在每一待标定图像中的投影位置信息；
针对每一目标语义信息，将该目标对应信息所对应面部特征点对应的空间位置信息对应的空间点在每一待标定图像中的投影位置信息，确定为每一待标定图像中该目标语义信息所对应面部特征点的标注位置信息。
在本发明的另一实施例中，所述装置还包括：修正模块(图中未示出)，被配置为在所述针对每一目标语义信息，基于该目标语义信息所对应面部特征点对应的空间位置信息以及每一待标定图像对应的设备位姿信息和设备内参信息，确定每一待标定图像中该目标语义信息所对应面部特征点的标注位置信息之后，利用所述待标定图像及其对应的面部特征点的标注位置信息，修正所述当前的特征点检测模型，得到新的当前的特征点检测模型。
上述装置、系统实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
Claims (8)
1.一种图像特征点的标定方法，其特征在于，所述方法包括：
获得多个图像采集设备在相同采集周期内采集的图像，作为待标定图像，其中，所述多个图像采集设备从不同角度对目标对象的面部进行拍摄；
基于当前的特征点检测模型，从每一待标定图像中检测出所述面部的面部特征点的检测位置信息及对应的语义信息，其中，所述当前的特征点检测模型为：至少基于通过手动标注其中所包含样本面部特征点的样本图像训练所得的模型；
基于每一面部特征点对应的语义信息，对所述待标定图像进行分组，得到每一语义信息对应的待标定图像组；
利用每一待标定图像组对应的语义信息所对应面部特征点的检测位置信息，以及对应的设备位姿信息和设备内参信息，确定出目标语义信息所对应面部特征点对应的空间位置信息；
针对每一目标语义信息，基于该目标语义信息所对应面部特征点对应的空间位置信息以及每一待标定图像对应的设备位姿信息和设备内参信息，确定每一待标定图像中该目标语义信息所对应面部特征点的标注位置信息；
所述面部特征点包括眼睛特征点；
所述基于每一面部特征点对应的语义信息，对所述待标定图像进行分组，得到每一语义信息对应的待标定图像组的步骤，包括：
基于每一眼睛特征点对应的语义信息，将包含所对应语义信息表征为目标对象的左眼的上眼睑的眼睛特征点的待标定图像，划分为一组；
将包含所对应语义信息表征为目标对象的左眼的下眼睑的眼睛特征点的待标定图像，划分为一组；
将包含所对应语义信息表征为目标对象的右眼的上眼睑的眼睛特征点的待标定图像，划分为一组；
并将包含所对应语义信息表征为目标对象的右眼的下眼睑的眼睛特征点的待标定图像，划分为一组，其中，眼睛的上眼睑的眼睛特征点包括：该眼睛的上眼睑对应的上眼睑点和眼角点，眼睛的下眼睑的眼睛特征点包括：该眼睛的下眼睑对应的下眼睑点和眼角点，同一眼睛的上眼睑对应的眼角点与下眼睑对应的眼角点相同，所述眼睛为所述目标对象的左眼和右眼。
2.如权利要求1所述的方法，其特征在于，所述利用每一待标定图像组对应的语义信息所对应面部特征点的检测位置信息，以及对应的设备位姿信息和设备内参信息，确定出目标语义信息所对应面部特征点对应的空间位置信息的步骤，包括：
针对每一待标定图像组，执行如下步骤A-H，以确定出目标语义信息所对应面部特征点对应的空间位置信息；
步骤A：基于该待标定图像组的每一当前的待标定图像中、该待标定图像组所对应语义信息所表征的目标眼睑对应的眼睛特征点的检测位置信息，以及每一当前的待标定图像对应的设备位姿信息和设备内参信息，确定该待标定图像组所对应目标眼睑对应的眼睛特征点对应的当前的三维位置信息，其中，该待标定图像组所对应目标眼睑为左眼上眼睑，左眼下眼睑，右眼上眼睑或右眼下眼睑；
步骤B：基于该待标定图像组所对应目标眼睑对应的眼睛特征点对应的当前的三维位置信息，以及每一当前的待标定图像对应的设备位姿信息和设备内参信息，确定该待标定图像组所对应目标眼睑对应的眼睛特征点对应的空间点、在每一当前的待标定图像中的投影点的位置信息，作为第一投影位置信息；
步骤C：针对该待标定图像组的每一当前的待标定图像，基于该当前的待标定图像中该待标定图像组所对应目标眼睑对应的眼睛特征点的检测位置信息，以及该待标定图像组所对应目标眼睑对应的眼睛特征点对应的空间点、在该当前的待标定图像中的第一投影位置信息，确定该当前的待标定图像对应的重投影误差；
步骤D：针对该待标定图像组，判断该待标定图像组的当前的待标定图像对应的重投影误差中，是否存在超过预设误差阈值的重投影误差；
步骤E：若判断该待标定图像组的当前的待标定图像对应的重投影误差中，不存在超过预设误差阈值的重投影误差，则将该待标定图像组所对应目标眼睑对应的眼睛特征点的当前的三维位置信息，确定为目标语义信息所对应眼睛特征点对应的空间位置信息；
步骤F：若判断该待标定图像组的当前的待标定图像对应的重投影误差中，存在超过预设误差阈值的重投影误差，将所对应重投影误差超过预设误差阈值的当前的待标定图像，从该待标定图像组的当前的待标定图像中滤除，得到该待标定图像组的新的当前的待标定图像；
步骤J：判断该待标定图像组的新的当前的待标定图像的数量是否不低于预设数量阈值，若判断该待标定图像组的新的当前的待标定图像的数量不低于所述预设数量阈值，返回执行步骤A；
步骤H：若判断该待标定图像组的新的当前的待标定图像的数量低于所述预设数量阈值，确定该待标定图像组对应的语义信息不为目标语义信息。
3.如权利要求2所述的方法，其特征在于，所述基于该待标定图像组的每一当前的待标定图像中、该待标定图像组所对应语义信息表征的目标眼睑对应的眼睛特征点的检测位置信息，以及每一当前的待标定图像对应的设备位姿信息和设备内参信息，确定该待标定图像组所对应目标眼睑对应的眼睛特征点的当前的三维位置信息的步骤，包括：
基于该待标定图像组的每一当前的待标定图像中、该待标定图像组所对应语义信息表征的目标眼睑对应的两个眼角点的检测位置信息，及每一当前的待标定图像对应的设备位姿信息和设备内参信息，确定该待标定图像组所对应目标眼睑对应的两个眼角点各自对应的当前的三维位置信息；
基于该待标定图像组所对应目标眼睑对应的两个眼角点各自对应的三维位置信息、第一数值、第二数值以及三次参数曲线方程，构建第一眼角约束，其中，所述第一数值和所述第二数值用于约束所述第一眼角约束中自变量的取值范围；
基于所述三次参数曲线方程，每一当前的待标定图像对应的设备位姿信息和设备内参信息，以及每一当前的待标定图像中、该待标定图像组所对应目标眼睑对应的眼睑点的检测位置信息，构建该待标定图像组所对应目标眼睑对应的重投影误差约束；
基于该待标定图像组所对应目标眼睑对应的眼睑点对应的重投影误差约束、所述第一眼角约束、预设眼角空间点与眼睑空间点的距离约束以及眼睑点有序性约束，构建该待标定图像组所对应目标眼睑对应的当前的空间眼睑曲线，以得到该待标定图像组所对应目标眼睑对应的眼睛特征点对应的当前的三维位置信息。
4.如权利要求1所述的方法，其特征在于，在所述利用每一待标定图像组对应的语义信息所对应面部特征点的检测位置信息，以及对应的设备位姿信息和设备内参信息，确定出目标语义信息所对应面部特征点对应的空间位置信息的步骤之前，所述方法还包括：
第一种方式：
从预设存储空间中，获得每一待标定图像对应的设备位姿信息和设备内参信息；
第二种方式：
针对每一待标定图像，从该待标定图像中，检测出指定标定参考目标在该待标定图像中的图像位置信息；
基于每一待标定图像中指定标定参考目标的图像位置信息以及预设标定算法，确定出每一待标定图像对应的设备位姿信息和设备内参信息。
5.如权利要求1-4任一项所述的方法，其特征在于，所述针对每一目标语义信息，基于该目标语义信息所对应面部特征点对应的空间位置信息以及每一待标定图像对应的设备位姿信息和设备内参信息，确定每一待标定图像中该目标语义信息所对应面部特征点的标注位置信息的步骤，包括：
针对每一目标语义信息，基于该目标语义信息所对应面部特征点对应的空间位置信息，以及每一待标定图像对应的设备位姿信息和设备内参信息，确定该空间位置信息对应的空间点在每一待标定图像中的投影位置信息；
针对每一目标语义信息，将该目标对应信息所对应面部特征点对应的空间位置信息对应的空间点在每一待标定图像中的投影位置信息，确定为每一待标定图像中该目标语义信息所对应面部特征点的标注位置信息。
6.如权利要求5所述的方法，其特征在于，在所述针对每一目标语义信息，基于该目标语义信息所对应面部特征点对应的空间位置信息以及每一待标定图像对应的设备位姿信息和设备内参信息，确定每一待标定图像中该目标语义信息所对应面部特征点的标注位置信息的步骤之后，所述方法还包括：
利用所述待标定图像及其对应的面部特征点的标注位置信息，修正所述当前的特征点检测模型，得到新的当前的特征点检测模型。
7.一种图像特征点的标定装置，其特征在于，所述装置包括：
第一获得模块，被配置为获得多个图像采集设备在相同采集周期内采集的图像，作为待标定图像，其中，所述多个图像采集设备从不同角度对目标对象的面部进行拍摄；
第一检测模块，被配置为基于当前的特征点检测模型，从每一待标定图像中检测出所述面部的面部特征点的检测位置信息及对应的语义信息，其中，所述当前的特征点检测模型为：至少基于通过手动标注其中所包含样本面部特征点的样本图像训练所得的模型；
第一分组模块，被配置为基于每一面部特征点对应的语义信息，对所述待标定图像进行分组，得到每一语义信息对应的待标定图像组；
第一确定模块，被配置为利用每一待标定图像组对应的语义信息所对应面部特征点的检测位置信息，以及对应的设备位姿信息和设备内参信息，确定出目标语义信息所对应面部特征点对应的空间位置信息；
第二确定模块，被配置为针对每一目标语义信息，基于该目标语义信息所对应面部特征点对应的空间位置信息以及每一待标定图像对应的设备位姿信息和设备内参信息，确定每一待标定图像中该目标语义信息所对应面部特征点的标注位置信息；
所述面部特征点包括眼睛特征点；
所述第一分组模块，被具体配置为基于每一眼睛特征点对应的语义信息，将包含所对应语义信息表征为目标对象的左眼的上眼睑的眼睛特征点的待标定图像，划分为一组；
将包含所对应语义信息表征为目标对象的左眼的下眼睑的眼睛特征点的待标定图像，划分为一组；
将包含所对应语义信息表征为目标对象的右眼的上眼睑的眼睛特征点的待标定图像，划分为一组；
并将包含所对应语义信息表征为目标对象的右眼的下眼睑的眼睛特征点的待标定图像，划分为一组，其中，眼睛的上眼睑的眼睛特征点包括：该眼睛的上眼睑对应的上眼睑点和眼角点，眼睛的下眼睑的眼睛特征点包括：该眼睛的下眼睑对应的下眼睑点和眼角点，同一眼睛的上眼睑对应的眼角点与下眼睑对应的眼角点相同，所述眼睛为所述目标对象的左眼和右眼。
8.如权利要求7所述的装置，其特征在于，所述第一确定模块，被具体配置为针对每一待标定图像组，执行如下步骤A-H，以确定出目标语义信息所对应面部特征点对应的空间位置信息；
步骤A：基于该待标定图像组的每一当前的待标定图像中、该待标定图像组所对应语义信息所表征的目标眼睑对应的眼睛特征点的检测位置信息，以及每一当前的待标定图像对应的设备位姿信息和设备内参信息，确定该待标定图像组所对应目标眼睑对应的眼睛特征点对应的当前的三维位置信息，其中，该待标定图像组所对应目标眼睑为左眼上眼睑，左眼下眼睑，右眼上眼睑或右眼下眼睑；
步骤B：基于该待标定图像组所对应目标眼睑对应的眼睛特征点对应的当前的三维位置信息，以及每一当前的待标定图像对应的设备位姿信息和设备内参信息，确定该待标定图像组所对应目标眼睑对应的眼睛特征点对应的空间点、在每一当前的待标定图像中的投影点的位置信息，作为第一投影位置信息；
步骤C：针对该待标定图像组，基于该当前的待标定图像中该待标定图像组所对应目标眼睑对应的眼睛特征点的检测位置信息，以及该待标定图像组所对应目标眼睑对应的眼睛特征点对应的空间点、在该当前的待标定图像中的第一投影位置信息，确定该当前的待标定图像对应的重投影误差；
步骤D：针对该待标定图像组的每一当前的待标定图像，判断该待标定图像组的当前的待标定图像对应的重投影误差中，是否存在超过预设误差阈值的重投影误差；
步骤E：若判断该待标定图像组的当前的待标定图像对应的重投影误差中，不存在超过预设误差阈值的重投影误差，则将该待标定图像组所对应目标眼睑对应的眼睛特征点的当前的三维位置信息，确定为目标语义信息所对应眼睛特征点对应的空间位置信息；
步骤F：若判断该待标定图像组的当前的待标定图像对应的重投影误差中，存在超过预设误差阈值的重投影误差，将所对应重投影误差超过预设误差阈值的当前的待标定图像，从该待标定图像组的当前的待标定图像中滤除，得到该待标定图像组的新的当前的待标定图像；
步骤J：判断该待标定图像组的新的当前的待标定图像的数量是否不低于预设数量阈值，若判断该待标定图像组的新的当前的待标定图像的数量不低于所述预设数量阈值，返回执行步骤A；
步骤H：若判断该待标定图像组的新的当前的待标定图像的数量低于所述预设数量阈值，确定该待标定图像组对应的语义信息不为目标语义信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010069966.6A CN113221600B (zh) | 2020-01-21 | 2020-01-21 | 一种图像特征点的标定方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010069966.6A CN113221600B (zh) | 2020-01-21 | 2020-01-21 | 一种图像特征点的标定方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113221600A CN113221600A (zh) | 2021-08-06 |
| CN113221600B true CN113221600B (zh) | 2022-06-21 |
Family
ID=77085220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010069966.6A Active CN113221600B (zh) | 2020-01-21 | 2020-01-21 | 一种图像特征点的标定方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113221600B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778628A (zh) * | 2016-12-21 | 2017-05-31 | 张维忠 | 一种基于tof深度相机的面部表情捕捉方法 |
| CN108446595A (zh) * | 2018-02-12 | 2018-08-24 | 深圳超多维科技有限公司 | 一种空间定位方法、装置、系统及存储介质 |
| CN109344742A (zh) * | 2018-09-14 | 2019-02-15 | 腾讯科技（深圳）有限公司 | 特征点定位方法、装置、存储介质和计算机设备 |
| CN109472820A (zh) * | 2018-10-19 | 2019-03-15 | 清华大学 | 单目rgb-d相机实时人脸重建方法及装置 |
| CN109961473A (zh) * | 2017-12-25 | 2019-07-02 | 深圳超多维科技有限公司 | 双眼定位方法及装置、电子设备和计算机可读存储介质 |
-
2020
- 2020-01-21 CN CN202010069966.6A patent/CN113221600B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778628A (zh) * | 2016-12-21 | 2017-05-31 | 张维忠 | 一种基于tof深度相机的面部表情捕捉方法 |
| CN109961473A (zh) * | 2017-12-25 | 2019-07-02 | 深圳超多维科技有限公司 | 双眼定位方法及装置、电子设备和计算机可读存储介质 |
| CN108446595A (zh) * | 2018-02-12 | 2018-08-24 | 深圳超多维科技有限公司 | 一种空间定位方法、装置、系统及存储介质 |
| CN109344742A (zh) * | 2018-09-14 | 2019-02-15 | 腾讯科技（深圳）有限公司 | 特征点定位方法、装置、存储介质和计算机设备 |
| CN109472820A (zh) * | 2018-10-19 | 2019-03-15 | 清华大学 | 单目rgb-d相机实时人脸重建方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113221600A (zh) | 2021-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163114B (zh) | 一种人脸角度及人脸模糊度分析方法、系统和计算机设备 | |
| CN103839223B (zh) | 图像处理方法及装置 | |
| CN109389135B (zh) | 一种图像筛选方法及装置 | |
| CN107953329B (zh) | 物体识别和姿态估计方法、装置及机械臂抓取系统 | |
| US7577297B2 (en) | Pattern identification method, device thereof, and program thereof | |
| CN106548165A (zh) | 一种基于图像分块加权的卷积神经网络的人脸识别方法 | |
| CN111091109B (zh) | 基于人脸图像进行年龄和性别预测的方法、系统和设备 | |
| CN110956067B (zh) | 一种人眼眼睑曲线的构建方法及装置 | |
| CN110956071B (zh) | 眼部关键点的标注及其检测模型的训练方法和装置 | |
| CN109711268B (zh) | 一种人脸图像筛选方法及设备 | |
| WO2020014913A1 (zh) | 物体体积测量方法、相关装置及计算机可读存储介质 | |
| CN108492263A (zh) | 一种镜头径向畸变校正方法 | |
| CN106709862B (zh) | 一种图像处理方法及装置 | |
| CN115641519A (zh) | 输电线路检查方法、装置及非易失性存储介质 | |
| CN113221600B (zh) | 一种图像特征点的标定方法及装置 | |
| CN113435367A (zh) | 社交距离评估方法、装置及存储介质 | |
| CN112597995A (zh) | 车牌检测模型训练方法、装置、设备及介质 | |
| CN113569594A (zh) | 一种人脸关键点的标注方法及装置 | |
| CN113516705B (zh) | 一种手部关键点的标定方法及装置 | |
| CN116152121A (zh) | 基于畸变参数的曲面屏生成方法、矫正方法 | |
| CN112585945A (zh) | 对焦方法、装置及设备 | |
| CN113221599B (zh) | 一种眼睑曲线的构建方法及装置 | |
| CN112101185B (zh) | 一种训练皱纹检测模型的方法、电子设备及存储介质 | |
| JP2010097341A (ja) | 入力画像から検出対象物の像を検出する画像処理装置 | |
| CN115222621A (zh) | 图像校正方法、电子设备、存储介质及计算机程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211125 Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province Applicant after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd. Address before: Room 601-a32, Tiancheng information building, No. 88, South Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province Applicant before: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |