一种用于模式识别的方法和装置
技术领域
本发明涉及一种人工智能方法,具体地,涉及一种用于模式识别的方法和装置。
背景技术
模式识别,就是通过计算机用数学技术方法来研究模式的自动处理和判读。我们把环境与客体统称为“模式”。随着计算机技术的发展,人类有可能研究复杂的信息处理过程。信息处理过程的一个重要形式是生命体对环境及客体的识别。对人类来说,特别重要的是对光学信息(通过视觉器官来获得)和声学信息(通过听觉器官来获得)的识别。其中,通过光学信息进行识别可以包括指纹识别、人脸识别等。
其中,人脸识别是指利用人脸的视觉特征信息进行身份识别的生物特征识别技术。与其他生物特征识别技术相比,人脸识别技术具有信息丰富、非接触性、采集方式简单迅速、人机友好等优点,因而人脸识别技术,在身份认证、门禁系统、公共安全等领域具有广泛的应用前景。
通过光学信息进行识别目前主要分为二维图像识别和三维图像识别两个方向。基于二维图像的识别对于二维图像要求较高,如对二维图像中目标物体的姿态、光照情况、化妆情况、和表情等情况有比较高的要求,从而对识别准确率有影响。基于三维图像的识别相比于基于二维图像的识别,则面临计算量大,计算过程复杂导致的识别速率低等问题。
发明内容
本发明提供的一种用于模式识别的方法和装置,能够解决对获得的目标物体的图像要求较高而导致的识别准确率不高的问题。
本发明的第一方面提供一种用于模式识别的方法,所述方法包括:
获取目标物体二维图像并根据所述目标物体二维图像获取所述目标物体的二维特征,并,获取目标物体三维图像并根据所述目标物体三维图像获取所述目标物体的三维特征;
根据所述目标物体的二维特征和三维特征识别所述目标物体。
根据本发明的第一方面,在本发明的第一方面的第一可执行方式中,所述目标物体三维图像包括所述目标物体的三维曲面,所述目标物体的三维特征包括所述目标物体三维曲面的至少一条三维特征曲线;
所述至少一条三维特征曲线包括至少一个平面与所述目标物体三维曲面相交的曲线或所述平面的一部分与所述目标物体三维曲面相交的曲线,或所述目标物体三维曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合,或,
所述至少一条三维特征曲线包括至少一个曲面与所述目标物体三维曲面相交的曲线或所述曲面的一部分与所述目标物体三维曲面相交的曲线,或所述目标物体三维曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合。
根据本发明的第一方面的第一可执行方式,在本发明的第一方面的第二可执行方式中,所述目标物体的三维特征集中于第一区域,所述第一区域包括所述目标物体三维曲面的部分区域,且所述至少一条三维特征曲线位于所述第一区域。
根据本发明的第一方面的第一可执行方式或第一方面的第二可执行方式,在本发明的第一方面的第三可执行方式中,所述至少一个平面与所述目标物体的三维曲面的特征平面垂直,所述目标物体的三维曲面的特征平面包括目标物体的三维曲面上三个特征点所在的平面。
根据本发明的第一方面的第三可执行方式,在本发明的第一方面的第四可执行方式中,所述至少一个平面相交于第一直线,所述第一直线垂直于所述目标物体的三维曲面的特征平面。
根据本发明的第一方面的第一可执行方式到第四可执行方式中任一可执行方式,在本发明的第一方面的第五可执行方式中,在根据所述目标物体三维图像获取所述目标物体的三维特征之前,所述方法还包括:
在以所述目标物体的三维曲面上一个特征点为原点的三维坐标系下,对所述目标物体的三维曲面进行姿态调整,所述姿态调整包括下述的至少一个:
根据所述目标物体的三维曲面的特征平面的法向量进行姿态调整;以及,
选取所述目标物体的三维曲面上的两个特征点,根据所述两个特征点所在的向量进行姿态调整。
根据本发明的第一方面的第五可执行方式,在本发明的第一方面的第六可执行方式中,所述根据所述目标物体的三维曲面的特征平面的法向量进行姿态调整,包括:
确定由所述目标物体的三维曲面的特征平面的法向量旋转到与所述三维坐标系的Z轴正方向相同的旋转矩阵Rz,所述法向量与所述Z轴正方向的夹角为锐角,将所述目标物体的三维曲面按照旋转矩阵Rz旋转;
所述根据所述两个特征点所在的向量进行姿态调整,包括:
确定所述两个特征点所在的向量旋转到与所述三维坐标系的X轴正方向相同的旋转矩阵Rx,所述两个特征点所在的向量与所述X轴正方向的夹角为锐角,将所述目标物体的三维曲面按照旋转矩阵Rx旋转。
根据本发明的第一方面的第一可执行方式到第六可执行方式中任一可执行方式,在本发明的第一方面的第七可执行方式中,所述方法还包括:确定所述目标物体的至少一条三维特征曲线与物体三维图像集合中至少一个三维图像的对应的至少一条三维特征曲线之间的距离,并确定得到的所述至少一个距离的第一加权和,所述第一加权和作为所述目标物体三维图像与物体三维图像集合中至少一个三维图像的三维图像相似度。
根据本发明的第一方面的第七可执行方式,在本发明的第一方面的第八可执行方式中,所述根据所述目标物体二维图像获取所述目标物体的二维特征,包括:获取所述目标物体二维图像的二维特征以及物体二维图像集合中至少一个二维图像的二维特征;
所述方法还包括:
确定物体二维图像集合中所述至少一个二维图像的二维特征与所述目标物体二维图像的二维特征之间的距离,并确定所述至少一个距离的第二加权和,所述第二加权和作为所述目标物体二维图像与物体二维图像集合中至少一个二维图像的二维相似度。
根据本发明的第一方面的第八可执行方式,在本发明的第一方面的第九可执行方式中,所述方法还包括:
确定所述二维相似度与所述三维人脸相似度的第三加权和,所述第三加权和作为所述目标物体与物体集合中至少一个物体的相似度;
根据所述相似度识别所述物体集合中的目标物体。
根据本发明的第一方面或本发明的第一方面的第一可执行方式到第九可执行方式中任一可执行方式,在本发明的第一方面的第十可执行方式中,所述目标物体包括目标人脸,所述目标物体三维图像包括目标人脸的三维人脸曲面;
所述目标物体的三维特征包括目标人脸的至少一条三维人脸特征曲线;
所述目标人脸的至少一条三维人脸特征曲线包括至少一个平面与所述目标人脸的三维人脸曲面相交的曲线或所述平面的一部分与所述目标人脸的三维人脸曲面相交的曲线,或所述目标人脸的三维人脸曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合,或,所述目标人脸的至少一条三维人脸特征曲线包括至少一个曲面与所述目标人脸的三维人脸曲面相交的曲线或所述曲面的一部分与所述目标人脸的三维人脸曲面相交的曲线,或所述目标人脸的三维人脸曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合。
根据本发明的第一方面的第十可执行方式,在本发明的第一方面的第十一可执行方式中,所述三维人脸特征曲线位于包括鼻尖点的人脸的上半部分。
根据本发明的第一方面的第十可执行方式或本发明的第一方面的第十一可执行方式,在本发明的第一方面的第十二可执行方式中,所述至少一个平面与所述目标人脸的人脸特征平面垂直,所述目标人脸的人脸特征平面包括下述特征点中的三个点所在的平面,所述三点包括:左眼的内眼角点、左眼的外眼角点、右眼的内眼角点、以及右眼的外眼角点中的一个点或两个点;左嘴角点,以及右嘴角点中的至少一个;以及,鼻尖点。
根据本发明的第一方面的第十二可执行方式,在本发明的第一方面的第十三可执行方式中,所述至少一个平面相交于第一直线,所述第一直线垂直于所述目标人脸的人脸特征平面且所述第一直线经过所述目标人脸的鼻尖点。
根据本发明的第一方面的第十可执行方式到本发明的第一方面的第十三可执行方式中任一可执行方式,在本发明的第一方面的第十四可执行方式中,在根据所述目标物体三维图像获取所述目标物体的三维特征之前,所述方法还包括:
在以目标人脸的鼻尖点为原点的三维坐标系下,对所述目标人脸的三维人脸曲面进行姿态调整,所述姿态调整包括下述的至少一个:
根据所述目标人脸的人脸特征平面的法向量进行姿态调整;以及,
根据所述目标人脸的三维人脸曲面上的左嘴角点以及右嘴角点所确定的向量进行姿态调整。
根据本发明的第一方面的第十四可执行方式,在本发明的第一方面的第十五可执行方式中,所述根据所述目标人脸的人脸特征平面的法向量进行姿态调整,包括:
确定由所述目标人脸的人脸特征平面的法向量旋转到与所述三维坐标系的Z轴正方向相同的旋转矩阵Rz,所述法向量与所述Z轴正方向的夹角为锐角,将所述目标人脸的三维人脸曲面按照旋转矩阵Rz旋转;
所述根据所述目标人脸的左嘴角点以及右嘴角点所确定的向量进行姿态调整,包括:
确定由所述目标人脸的左嘴角点以及右嘴角点所确定的向量旋转到与所述三维坐标系的X轴正方向相同的旋转矩阵Rx,所述确定的向量与所述X轴正方向的夹角为锐角,将所述目标人脸的三维人脸曲面按照旋转矩阵Rx旋转。
根据本发明的第一方面的第十可执行方式到本发明的第一方面的第十五可执行方式任一可执行方式,在本发明的第一方面的第十六可执行方式中,所述方法还包括:确定所述目标人脸的至少一条三维人脸特征曲线与人脸集合中至少一个人脸的对应的至少一条三维人脸特征曲线之间的距离,并确定得到的所述至少一个距离的第一加权和,所述第一加权和作为所述目标人脸与人脸集合中至少一个人脸的三维人脸相似度。
根据本发明的第一方面的第十六可执行方式,在本发明的第一方面的第十七可执行方式中,所述根据所述目标物体二维图像获取所述目标物体的二维特征,包括:采用卷积神经网络模型获取所述目标人脸的二维特征以及人脸集合中至少一个人脸的二维特征;
所述方法还包括:
确定人脸集合中所述至少一个人脸的二维特征与所述目标人脸的二维特征之间的距离,并确定所述至少一个距离的第二加权和,所述第二加权和作为所述目标人脸与人脸集合中至少一个人脸的二维人脸相似度。
根据本发明的第一方面的第十七可执行方式,在本发明的第一方面的第十八可执行方式中,确定所述目标人脸的二维人脸相似度与述目标人脸的三维人脸相似度的第三加权和,所述第三加权和作为所述目标人脸与人脸集合中至少一个人脸的相似度,根据所述至少一个人脸的相似度识别所述人脸集合中的目标人脸。
根据本发明的第一方面的第一可执行方式到本发明的第一方面的第十八可执行方式中任一可执行方式,在本发明的第一方面的第十九可执行方式中,所述至少一个平面中相邻两个平面的夹角为第一角度。
根据本发明的第一方面的第十九可执行方式,在本发明的第一方面的第二十可执行方式中,所述第一角度为10度。
本发明的第二方面提供一种用于模式识别的装置,所述装置包括获取模块以及识别模块,
所述获取模块,用于获取目标物体二维图像并根据所述目标物体二维图像获取所述目标物体的二维特征,并,获取目标物体三维图像并根据所述目标物体三维图像获取所述目标物体的三维特征;
所述识别模块,用于根据所述获取模块获取的目标物体的二维特征和三维特征识别所述目标物体。
根据本发明的第二方面,在本发明的第二方面的第一可执行方式中,所述目标物体三维图像包括所述目标物体的三维曲面,所述目标物体的三维特征包括所述目标物体三维曲面的至少一条三维特征曲线;
所述至少一条三维特征曲线包括至少一个平面与所述目标物体三维曲面相交的曲线或所述平面的一部分与所述目标物体三维曲面相交的曲线,或所述目标物体三维曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合,或,
所述至少一条三维特征曲线包括至少一个曲面与所述目标物体三维曲面相交的曲线或所述曲面的一部分与所述目标物体三维曲面相交的曲线,或所述目标物体三维曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合。
根据本发明的第二方面的第一可执行方式,在本发明的第二方面的第二可执行方式中,所述目标物体的三维特征集中于第一区域,所述第一区域包括所述目标物体三维曲面的部分区域,且所述至少一条三维特征曲线位于所述第一区域。
根据本发明的第二方面的第一可执行方式或本发明的第二方面的第二可执行方式,在本发明的第二方面的第三可执行方式中,所述至少一个平面与所述目标物体的三维曲面的特征平面垂直,所述目标物体的三维曲面的特征平面包括目标物体的三维曲面上三个特征点所在的平面。
根据本发明的第二方面的第三可执行方式,在本发明的第二方面的第四可执行方式中,所述至少一个平面相交于第一直线,所述第一直线垂直于所述目标物体的三维曲面的特征平面。
根据本发明的第二方面的第一可执行方式到本发明的第二方面的第四可执行方式中任一可执行方式,在本发明的第二方面的第五可执行方式中,所述装置还包括姿态调整模块,
所述姿态调整模块,用于在所述获取模块根据所述目标物体三维图像获取所述目标物体的三维特征之前,在以所述目标物体的三维曲面上一个特征点为原点的三维坐标系下,对所述目标物体的三维曲面进行姿态调整,所述姿态调整模块包括下述子模块的至少一个:第一姿态调整子模块和第二姿态调整子模块;
所述第一姿态调整子模块,用于根据所述目标物体的三维曲面的特征平面的法向量进行姿态调整;以及,
所述第二姿态调整子模块,用于选取所述目标物体的三维曲面上的两个特征点,根据所述两个特征点所在的向量进行姿态调整。
根据本发明的第二方面的第五可执行方式,在本发明的第二方面的第六可执行方式中,所述第一姿态调整子模块,具体用于确定由所述目标物体的三维曲面的特征平面的法向量旋转到与所述三维坐标系的Z轴正方向相同的旋转矩阵Rz,所述法向量与所述Z轴正方向的夹角为锐角,将所述目标物体的三维曲面按照旋转矩阵Rz旋转;
所述第二姿态调整子模块,具体用于确定所述两个特征点所在的向量旋转到与所述三维坐标系的X轴正方向相同的旋转矩阵Rx,所述两个特征点所在的向量与所述X轴正方向的夹角为锐角,将所述目标物体的三维曲面按照旋转矩阵Rx旋转。
根据本发明的第二方面的第一可执行方式到本发明的第二方面的第六可执行方式中任一可执行方式,在本发明的第二方面的第七可执行方式中,所述识别模块,具体用于确定所述目标物体的至少一条三维特征曲线与物体三维图像集合中至少一个三维图像的对应的至少一条三维特征曲线之间的距离,并确定得到的所述至少一个距离的第一加权和,所述第一加权和作为所述目标物体三维图像与物体三维图像集合中至少一个三维图像的三维图像相似度。
根据本发明的第二方面的第七可执行方式,在本发明的第二方面的第八可执行方式中,所述获取模块,具体用于获取所述目标物体二维图像的二维特征以及物体二维图像集合中至少一个二维图像的二维特征;
所述识别模块,具体用于确定物体二维图像集合中所述至少一个二维图像的二维特征与所述目标物体二维图像的二维特征之间的距离,并确定所述至少一个距离的第二加权和,所述第二加权和作为所述目标物体二维图像与物体二维图像集合中至少一个二维图像的二维相似度。
根据本发明的第二方面的第八可执行方式,在本发明的第二方面的第九可执行方式中,所述识别模块,具体用于确定所述二维相似度与所述三维人脸相似度的第三加权和,所述第三加权和作为所述目标物体与物体集合中至少一个物体的相似度,根据所述相似度确定模块确定的相似度识别所述物体集合中的目标物体。
根据本发明的第二方面或本发明的第二方面的第一可执行方式到第九可执行方式中任一可执行方式,在本发明的第二方面的第十可执行方式中,所述目标物体包括目标人脸,所述目标物体三维图像包括目标人脸的三维人脸曲面;
所述目标物体的三维特征包括目标人脸的至少一条三维人脸特征曲线;
所述目标人脸的至少一条三维人脸特征曲线包括至少一个平面与所述目标人脸的三维人脸曲面相交的曲线或所述平面的一部分与所述目标人脸的三维人脸曲面相交的曲线,或所述目标人脸的三维人脸曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合,或,所述目标人脸的至少一条三维人脸特征曲线包括至少一个曲面与所述目标人脸的三维人脸曲面相交的曲线或所述曲面的一部分与所述目标人脸的三维人脸曲面相交的曲线,或所述目标人脸的三维人脸曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合。
根据本发明的第二方面的第十可执行方式,在本发明的第二方面的第十一可执行方式中,所述三维人脸特征曲线位于包括鼻尖点的人脸的上半部分。
根据本发明的第二方面的第十可执行方式或本发明的第二方面的第十一可执行方式,在本发明的第二方面的第十二可执行方式中,所述至少一个平面与所述目标人脸的人脸特征平面垂直,所述目标人脸的人脸特征平面包括下述特征点中的三个点所在的平面,所述三点包括:左眼的内眼角点、左眼的外眼角点、右眼的内眼角点、以及右眼的外眼角点中的一个点或两个点;左嘴角点,以及右嘴角点中的至少一个;以及,鼻尖点。
根据本发明的第二方面的第十二可执行方式,在本发明的第二方面的第十三可执行方式中,所述至少一个平面相交于第一直线,所述第一直线垂直于所述目标人脸的人脸特征平面且所述第一直线经过所述目标人脸的鼻尖点。
根据本发明的第二方面的第十可执行方式到本发明的第二方面的第十三可执行方式中任一可执行方式,在本发明的第二方面的第十四可执行方式中,所述装置还包括人脸姿态调整模块,
所述人脸姿态调整模块,用于在以目标人脸的鼻尖点为原点的三维坐标系下,对所述目标人脸的三维人脸曲面进行姿态调整;
所述人脸姿态调整模块包括第一人脸姿态调整模块以及第二人脸姿态调整模块,
所述第一人脸姿态调整模块,用于根据所述目标人脸的人脸特征平面的法向量进行姿态调整;
所述第二人脸姿态调整模块,用于根据所述目标人脸的三维人脸曲面上的左嘴角点以及右嘴角点所确定的向量进行姿态调整。
根据本发明的第二方面的第十四可执行方式,在本发明的第二方面的第十五可执行方式中,所述第一人脸姿态调整模块,具体用于确定由所述目标人脸的人脸特征平面的法向量旋转到与所述三维坐标系的Z轴正方向相同的旋转矩阵Rz,所述法向量与所述Z轴正方向的夹角为锐角,将所述目标人脸的三维人脸曲面按照旋转矩阵Rz旋转;
所述第二人脸姿态调整模块,具体用于确定由所述目标人脸的左嘴角点以及右嘴角点所确定的向量旋转到与所述三维坐标系的X轴正方向相同的旋转矩阵Rx,所述确定的向量与所述X轴正方向的夹角为锐角,将所述目标人脸的三维人脸曲面按照旋转矩阵Rx旋转。
根据本发明的第二方面的第十可执行方式到本发明的第二方面的第十五可执行方式中任一可执行方式,在本发明的第二方面的第十六可执行方式中,所述识别模块,具体用于确定所述目标人脸的至少一条三维人脸特征曲线与人脸集合中至少一个人脸的对应的至少一条三维人脸特征曲线之间的距离,并确定得到的所述至少一个距离的第一加权和,所述第一加权和作为所述目标人脸与人脸集合中至少一个人脸的三维人脸相似度。
根据本发明的第二方面的第十六可执行方式,在本发明的第二方面的第十七可执行方式中,所述获取模块,具体用于采用卷积神经网络模型获取所述目标人脸的二维特征以及人脸集合中至少一个人脸的二维特征;
所述识别模块,具体用于确定人脸集合中所述至少一个人脸的二维特征与所述目标人脸的二维特征之间的距离,并确定所述至少一个距离的第二加权和,所述第二加权和作为所述目标人脸与人脸集合中至少一个人脸的二维人脸相似度。
根据本发明的第二方面的第十七可执行方式,在本发明的第二方面的第十八可执行方式中,所述识别模块,具体用于确定所述目标人脸的二维人脸相似度与述目标人脸的三维人脸相似度的第三加权和,所述第三加权和作为所述目标人脸与人脸集合中至少一个人脸的相似度,具体用于根据所述至少一个人脸的相似度识别所述人脸集合中的目标人脸。
根据本发明的第二方面的第一可执行方式到本发明的第二方面的第十八可执行方式中任一可执行方式,在本发明的第二方面的第十九可执行方式中,所述至少一个平面中相邻两个平面的夹角为第一角度。
根据本发明的第二方面的第十九可执行方式,在本发明的第二方面的第二十可执行方式中,所述第一角度为10度。
本发明的第三方面提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被第一处理器执行时实现如本发明的第一方面、本发明的第一方面的第一可执行方式到本发明的第一方面的第二十可执行方式中任一可执行方式所述方法的步骤。
本发明的第四方面提供一种用于模式识别的装置,包括存储器、第二处理器以及存储在所述存储器中并可在所述第二处理器上运行的计算机程序,所述计算机程序被第二处理器执行时实现如本发明的第一方面、本发明的第一方面的第一可执行方式到本发明的第一方面的第二十可执行方式中任一可执行方式所述方法的步骤。
本发明提供的一种用于模式识别的方法和装置,能够减少采集目标物体的图像的限制,如,可以减少目标物体的图像在姿态、光照、表情、化妆和遮挡等方面的限制,从而提高识别目标物体的准确性,同时能够提高识别速率,减少识别时间。
附图说明
图1为本发明实施例一提供的一种用于模式识别的方法的流程图;
图2为本发明实施例二提供的又一种用于模式识别的方法的流程图;
图3为获取三维人脸特征曲线的方法示意图;
图4为获取的多条三维人脸特征曲线的投影图;
图5为对三维人脸曲面进行姿态调整的示意图;
图6为本发明实施例三提供的一种用于模式识别的装置结构示意图;
图7为本发明实施例四提供的又一种用于模式识别的装置结构示意图;
图8为本发明实施例五提供的再一种用于模式识别的装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行详细地描述。
本发明的说明书和权利要求书中上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于限定特定顺序。
其中,本发明实施例中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
在本发明实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或“例如”的任何实施例或设计方案不应该被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
应当说明的是,为了图示的简洁和清楚起见,附图中所示的元件没有必要按照比例进行绘制。例如,为了清楚,可以相对于其他元件,增大一些元件的尺寸。另外,在认为合适的地方,可以在附图间重复附图标记,以指示相对应或类似的元件针对这一问题。
下面结合附图1对本发明实施例一提供的一种用于模式识别的方法进行详细阐述。如图1所示,该方法包括:
步骤101,获取目标物体二维图像并根据所述目标物体二维图像获取所述目标物体的二维特征,并且,获取目标物体三维图像并根据所述目标物体三维图像获取所述目标物体的三维特征;
步骤102,根据所述目标物体的二维特征和三维特征识别所述目标物体。
可选的,所述根据所述目标物体二维图像获取所述目标物体的二维特征,包括:
可以通过深度学习的方法获取所述目标物体的二维特征,如可以采用采用卷积神经网络(Convolutional Neural Network,CNN)模型提取目标物体的二维特征。该卷积神经网络模型可以经由千万数量级的训练样本学习而来,对目标物体的不同姿态,不同光照条件、不同尺度的变化都有较好的适应能力。
可选的,目标物体三维图像可以由深度摄像装置获得,如深度摄像头,并存储在存储器中。该深度摄像装置可以配备在各种终端上,如笔记本电脑,手机,或监控摄像装置上。可选的,目标物体的二维图像和三维图像可以由同一个深度摄像装置获取,也可以由深度摄像装置获取该三维图像,由普通摄像装置(非深度摄像装置)获取该二维图像。处理器可以从存储器中获取上述二维图像和三维图像。
可选的,所述目标物体三维图像包括所述目标物体的三维曲面,所述目标物体的三维特征包括所述目标物体三维曲面的至少一条三维特征曲线。所述至少一条三维特征曲线包括至少一个平面与所述目标物体三维曲面相交的曲线或所述平面的一部分与所述目标物体三维曲面相交的曲线,或所述目标物体三维曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合,或,所述至少一条三维特征曲线包括至少一个曲面与所述目标物体三维曲面相交的曲线或所述曲面的一部分与所述目标物体三维曲面相交的曲线,或所述目标物体三维曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合。可选的,上述目标物体的三维曲面可能包括一些冗余图像,可以以目标物体的三维图像的近似中心点为圆心做球切割,切割后的三维图像保留目标物体的大部分特征信息。可选的,如果该目标物体的三维曲面中的一部分区域包含了该目标物体三维图像的大部分特征信息,则上述平面的一部分就是指与该部分区域相交的该部分平面,同样的,上述曲面的一部分就是指与该部分区域相交的该部分曲面。可选的,上述的至少一个曲面或所述曲面的一部分可以包括以三维图像中某特征点或近似中心点为同一个圆心的圆柱面,或同一个圆心的圆柱面的一部分,如上半部分。
可选的,上述的至少一个平面可以是均匀分布的,如所述至少一个平面中相邻两个平面的夹角为第一角度。可选的,所述第一角度为10度。该第一角度也可以其他数值,如18度。根据目标物体的三维图像的特征点的分布,上述至少一个平面也可以是不均匀分布的,即上述至少一个平面相邻两个平面的角度可以根据目标物体的三维图像的特征点的分布确定。
可选的,上述三维特征曲线包括三维特征带,该特征带可以看作由多个特征曲线组成。该三维特征带可以通过如下方法获得:确定上述的一个平面或曲面与所述目标物体三维曲面相交的曲线后,确定所述目标物体三维曲面中与该相交的曲线距离小于或等于第一阈值的点的集合,该点的集合即为该三维特征带,上述的距离可以为欧式距离或豪斯多夫距离(hausdorff距离)或测地距离(Geodesic distance),上述的阈值可以根据目标物体的特征点的分布或特征的形状来设定,如可以为0.3。
所述目标物体的三维特征集中于第一区域,所述第一区域包括所述目标物体三维曲面的部分区域,且所述至少一条三维特征曲线位于所述第一区域。可选的,以人脸为例,可以近似认为以鼻尖点为界的人脸的上半部分包括了人脸的大部分特征,则该第一区域为以鼻尖点为界的人脸的上半部分,那么人脸的特征曲线则是在人脸的上半部分的曲线段。以树木为例,可以近似认为树冠部分包括了树木的大部分特征,则该第一区域为树冠部分或树冠加一小部分树干,那么树木的特征曲线则是在树冠或树冠加一小部分树干的三维曲面的曲线段。
可选的,所述至少一个平面与所述目标物体的三维曲面的特征平面垂直,所述目标物体的三维曲面的特征平面包括目标物体的三维曲面上三个特征点所在的平面。例如,以人脸为例,上述三个特征点可以是:左眼的内眼角点、左眼的外眼角点、右眼的内眼角点、以及右眼的外眼角点中的一个点或两个点;左嘴角点,以及右嘴角点中的至少一个;以及,鼻尖点。
那么,三个特征点所在的平面可以是左眼的内眼角点、左嘴角点,以及右嘴角点所在的平面。
可选的,所述至少一个平面相交于第一直线,所述第一直线垂直于所述目标物体的三维曲面的特征平面。可选的,根据上述目标物体的三维曲面的三维特征的分布情况,该至少一个平面也可以不相交于一个直线。如果上述目标物体的三维曲面的三维特征分布于上述第一区域,则上述至少一个平面可以相交于一个直线段。
可选的,在根据所述目标物体三维图像获取所述目标物体的三维特征之前,所述方法还包括:
在以所述目标物体的三维曲面上一个特征点为原点的三维坐标系下,对所述目标物体的三维曲面进行姿态调整,所述姿态调整包括下述的至少一个:根据所述目标物体的三维曲面的特征平面的法向量进行姿态调整;以及,选取所述目标物体的三维曲面上的两个特征点,根据所述两个特征点所在的向量进行姿态调整。
在上述三维坐标系中,Z轴的正轴方向是根据右手定则确定的。右手定则也决定三维空间中任一坐标轴的正旋转方向。要标注X、Y和Z轴的正轴方向,就将右手背对着屏幕放置,拇指即指向X轴的正方向。伸出食指和中指,食指指向Y轴的正方向,中指所指示的方向即是Z轴的正方向。
可选的,上述选取目标物体的三维曲面上的两个特征点的一个方法可以是选取该两个特征点所在的向量与所述三维坐标系的X轴的方向近似。例如,如果目标物体是人脸,则该两个特征点可以为左嘴角点和右嘴角点。该左嘴角点和右嘴角点所在的向量与三维坐标系的X轴的夹角为锐角。
可以将目标物体的三维曲面的近似中心点看作是其一个特征点,因此,该原点还可以为该目标物体的三维曲面的近似中心点。以人脸为例,该原点可以是鼻尖点,也可以是人中。
可选的,所述根据所述目标物体的三维曲面的特征平面的法向量进行姿态调整,包括:
确定由所述目标物体的三维曲面的特征平面的法向量旋转到与所述三维坐标系的Z轴正方向相同的旋转矩阵Rz,所述法向量与所述Z轴正方向的夹角为锐角,将所述目标物体的三维曲面按照旋转矩阵Rz旋转;
所述根据所述两个特征点所在的向量进行姿态调整,包括:
确定所述两个特征点所在的向量旋转到与所述三维坐标系的X轴正方向相同的旋转矩阵Rx,所述两个特征点所在的向量与所述X轴正方向的夹角为锐角,将所述目标物体的三维曲面按照旋转矩阵Rx旋转。
所述目标物体的三维曲面的特征平面的法向量可以与Z轴的正向的夹角为锐角。同样的,所述两个特征点所在的向量与X轴的正向的夹角为锐角。
可选的,本发明是根据Z轴和X轴进行旋转以进行姿态调整,本领域普通技术人员可知,也可以根据X轴和Y轴进行旋转以进行姿态调整或是根据Z轴和Y轴进行旋转以进行姿态调整,本发明不做限制。
可选的,所述方法还包括:确定所述目标物体的至少一条三维特征曲线与物体三维图像集合中至少一个三维图像的对应的至少一条三维特征曲线之间的距离,并确定得到的所述至少一个距离的第一加权和,所述第一加权和作为所述目标物体三维图像与物体三维图像集合中至少一个三维图像的三维图像相似度。
可选的,上述的对应的含义是:上述一个平面与目标物体的三维曲面的相交的特征曲线A与同一平面与物体三维图像集合中一个三维图像相交的特征曲线B是对应的,上述的三维曲线之间的距离为特征曲线A与特征曲线B的距离。该距离可以是欧式距离,也可以是豪斯多夫距离(hausdorff距离)或测地距离(Geodesic distance)。用同样的方法得到对应于不同平面的距离再计算得到的至少一个距离的第一加权和其中,n为上述平面的个数,wi为权重。该S3可以作为所述目标物体三维图像与物体三维图像集合中至少一个三维图像的三维图像相似度。
可选的,所述根据所述目标物体二维图像获取所述目标物体的二维特征,包括:获取所述目标物体二维图像的二维特征以及物体二维图像集合中至少一个二维图像的二维特征;所述方法还包括:确定物体二维图像集合中所述至少一个二维图像的二维特征与所述目标物体二维图像的二维特征之间的距离,并确定所述至少一个距离的第二加权和,所述第二加权和作为所述目标物体二维图像与物体二维图像集合中至少一个二维图像的二维相似度。
可选的,可以通过深度学习的方法,如使用卷积神经网络(Convolutional NeuralNetwork,CNN)来获取所述目标物体二维图像的二维特征以及物体二维图像集合中至少一个二维图像的二维特征。其中,卷积神经网络模型可以由训练样本学习而来,对一定范围内目标物体的姿态、光照、尺度等变化都有较好的适应能力。可以记得到的二维相似度为S2。上述的二维相似度S2和三维相似度S3的计算和获取的步骤没有先后顺序。
可选的,所述方法还包括:确定所述二维相似度与所述三维相似度的第三加权和,所述第三加权和作为所述目标物体与物体集合中至少一个物体的相似度,根据所述相似度识别所述物体集合中的目标物体。上述的第三加权和S=w2S2+w3S3,其中,S2为二维相似度,S3为三维相似度,w2和w3为权值,S为所述目标物体与物体集合中至少一个物体的相似度。在一种应用中,如门禁人脸识别应用中,可以设定一个阈值,当S的值大于该阈值时,则认定目标人脸属于人脸集合,如果人脸集合为可通行的人脸集合,则门开启。在另一种应用中,可以计算目标物体与物体集合中每一个物体的相似度,选取物体集合中相似度最大的一个物体作为最终的识别结果,即该相似度最大的物体为目标物体。可选的,w2∈(0.5,1],w3∈[0.0,0.5),如w2=0.6,w3=0.4。
本发明提供的一种用于模式识别的方法,能够减少采集目标物体的图像的限制,如,可以减少目标物体的图像在姿态、光照、表情、化妆和遮挡等方面的限制,从而提高识别目标物体的准确性,同时能够提高识别速率,减少识别时间。
下面结合图2具体阐述本发明实施例二提供的一种用于模式识别的方法。在本实施例中以人脸为例详细阐述通过二维人脸图像和三维人脸图像进行人脸识别的方法。该方法包括:
步骤201,获取目标物体二维图像并根据所述目标物体二维图像获取所述目标物体的二维特征,并,获取目标物体三维图像并根据所述目标物体三维图像获取所述目标物体的三维特征,上述目标物体为目标人脸;
步骤202,根据所述目标物体的二维特征和三维特征识别所述目标物体。
所述目标物体二维图像包括目标人脸的二维人脸图像,所述目标物体三维图像包括目标人脸的三维人脸曲面。
所述目标物体的三维特征包括目标人脸的至少一条三维人脸特征曲线,所述目标人脸的至少一条三维人脸特征曲线包括至少一个平面与所述目标人脸的三维人脸曲面相交的曲线或所述平面的一部分与所述目标人脸的三维人脸曲面相交的曲线,或所述目标人脸的三维人脸曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合,或,所述目标人脸的至少一条三维人脸特征曲线包括至少一个曲面与所述目标人脸的三维人脸曲面相交的曲线或所述曲面的一部分与所述目标人脸的三维人脸曲面相交的曲线,或所述目标人脸的三维人脸曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合。如图3所示,黑色的平面即为上述的至少一个平面中的一个,该平面与图3中的人脸曲面的交线即为上述的三维人脸特征曲线。可选的,如果该目标人脸的三维人脸曲面中的一部分区域包含了该目标人脸三维图像的大部分特征信息,则上述平面的一部分就是指与该部分区域相交的该部分平面,即图3中黑色平面与三维人脸曲面相交的那部分。同样的,如果用曲面切割目标人脸的三维人脸图像的话,上述曲面的一部分就是指与该部分区域相交的该部分曲面。可选的,上述的至少一个曲面或所述曲面的一部分可以包括以三维图像中某特征点或近似中心点为同一个圆心的圆柱面,或同一个圆心的圆柱面的一部分,如上半部分。
可选的,上述的至少一个平面可以是均匀分布的,如所述至少一个平面中相邻两个平面的夹角为第一角度。可选的,所述第一角度为10度。该第一角度也可以其他数值,如18度。根据目标人脸的三维图像的特征点的分布,上述至少一个平面也可以是不均匀分布的,即上述至少一个平面相邻两个平面的角度可以根据目标人脸的三维图像的特征点的分布确定。
可选的,由于通过三维摄像装置得到的原始的三维人脸曲面包含颈部、肩膀等冗余区域,因此,所述方法还可以包括:以摄像装置得到的三维人脸曲面上的鼻尖点为中心,以第一半径为半径作球切割原始的三维人脸曲面得到上述如图3所示的三维人脸曲面,该第一半径可以根据图像大小实际情况选择,如可以是90mm。
可选的,可以通过深度学习的方法获取所述目标人脸的二维特征,如可以采用采用卷积神经网络(Convolutional Neural Network,CNN)模型提取目标人脸的二维特征。该卷积神经网络模型可以经由千万数量级的训练样本学习而来,对不同人种、不同年龄,在一定范围内对人脸的姿态、表情、光照、尺度等变化都有较好的适应能力。
可选的,目标人脸三维图像可以由深度摄像装置获得,如深度摄像头。该深度摄像装置可以配备在各种终端上,如笔记本电脑,手机,或监控摄像装置上。可选的,目标人脸二维图像和目标人脸三维图像可以由同一个深度摄像装置获取,也可以由深度摄像装置获取该三维图像,由普通摄像装置(非深度摄像装置)获取该目标人脸二维图像。
可选的,上述三维特征曲线包括三维特征带,该特征带可以看作由多个特征曲线组成。该三维特征带可以通过如下方法获得:确定上述的一个平面或曲面与所述目标物体三维曲面相交的曲线后,确定所述目标人脸三维曲面中与该相交的曲线距离小于或等于第一阈值的点的集合,该点的集合即为该三维特征带,上述的距离可以为欧式距离或豪斯多夫距离(hausdorff距离)或测地距离(Geodesic distance),上述的阈值可以根据目标物体的特征点的分布或特征的形状来设定,如可以为0.3。
可选的,就人脸来说,可以近似认为以鼻尖点为界的人脸的上半部分包括了人脸的大部分特征,所述三维人脸特征曲线位于包括鼻尖点的人脸的上半部分。那么,人脸的特征曲线则是在人脸的上半部分的曲线段,如图4所示,图4中的直线段则为上述曲线段的投影。同时,图4也示出了上文提到的所述至少一个平面的投影,由图可知,与上述目标人脸的三维人脸曲面相交的平面共有19个,而且相邻平面间的角度为18度,则图4中的目标人脸的特征曲线有19条。
可选的,所述至少一个平面与所述目标人脸的人脸特征平面垂直,所述目标人脸的人脸特征平面包括下述特征点中的三个点所在的平面,所述三点包括:左眼的内眼角点、左眼的外眼角点、右眼的内眼角点、以及右眼的外眼角点中的一个点或两个点;左嘴角点,以及右嘴角点中的至少一个;以及,鼻尖点。举例来说,所述目标人脸的人脸特征平面可以为左眼的内眼角点、左嘴角点,以及右嘴角点所在的平面。
可选的,所述至少一个平面相交于第一直线,所述第一直线垂直于所述目标人脸的人脸特征平面且所述第一直线经过所述目标人脸的鼻尖点。如图4所示,该第一直线的投影为所述至少一个平面的投影所相交的点。
上述的得到目标人脸的三维人脸特征曲线的方法不仅很好地保留了人脸大部分几何信息,而且大大简化了记录目标人脸的三维人脸曲面的数据量。
可选的,在根据所述目标物体三维图像获取所述目标物体的三维特征之前,所述方法还包括:
在以目标人脸的鼻尖点为原点的三维坐标系下,对所述目标人脸的三维人脸曲面进行姿态调整,所述姿态调整包括下述的至少一个:根据所述目标人脸的人脸特征平面的法向量进行姿态调整;以及,根据所述目标人脸的三维人脸曲面上的左嘴角点以及右嘴角点所确定的向量进行姿态调整。
所述根据所述目标人脸的人脸特征平面的法向量进行姿态调整,包括:确定由所述目标人脸的人脸特征平面的法向量旋转到与所述三维坐标系的Z轴正方向相同的旋转矩阵Rz,所述法向量与所述Z轴正方向的夹角为锐角,将所述目标人脸的三维人脸曲面按照旋转矩阵Rz旋转。
所述根据所述目标人脸的左嘴角点以及右嘴角点所确定的向量进行姿态调整,包括:确定由所述目标人脸的左嘴角点以及右嘴角点所确定的向量旋转到与所述三维坐标系的X轴正方向相同的旋转矩阵Rx,所述确定的向量与所述X轴正方向的夹角为锐角,将所述目标人脸的三维人脸曲面按照旋转矩阵Rx旋转。
具体的,将获得的原始的三维人脸曲面以鼻尖点为中心、第一半径为半径做球切割后切割掉包含颈部、肩膀等冗余区域后得到待姿态调整的三维人脸曲面,之后对该待姿态调整的三维人脸曲面做姿态调整。
首先,如图5所示,将该待姿态调整的三维人脸曲面平移到以鼻尖点为原点的坐标系下。在上述三维坐标系中,Z轴的正轴方向是根据右手定则确定的。右手定则也决定三维空间中任一坐标轴的正旋转方向。要标注X、Y和Z轴的正轴方向,就将右手背对着屏幕放置,拇指即指向X轴的正方向。伸出食指和中指,食指指向Y轴的正方向,中指所指示的方向即是Z轴的正方向。可选的,该原点的选取可以是鼻尖点,也可以是人中,即也可以将该待姿态调整的三维人脸曲面平移到以人中为原点的坐标系下。
然后,确定目标人脸的人脸特征平面的法向量。该人脸特征平面可以为右眼的内眼角点、左嘴角点以及右嘴角点所在的平面,该法向量与上述三维坐标系的Z轴正方向的夹角为锐角,计算将该法向量旋转到与所述三维坐标系的Z轴正方向相同的旋转矩阵Rz,将所述目标人脸的三维人脸曲面按照旋转矩阵Rz旋转。同样的,确定左嘴角点以及右嘴角点所在的向量,所述左嘴角点以及右嘴角点所在的向量与上述三维坐标系的X轴正方向的夹角为锐角,计算将该左嘴角点以及右嘴角点所在的向量旋转到与所述三维坐标系的X轴正方向相同的旋转矩阵Rx,将所述目标人脸的三维人脸曲面按照旋转矩阵Rx旋转。可选的,也可以先按照Rx将目标人脸的三维人脸曲面进行旋转,再按照Rz将目标人脸的三维人脸曲面进行旋转。
可选的,本发明实施例是根据Z轴和X轴进行旋转以进行姿态调整,本领域普通技术人员可知,也可以根据X轴和Y轴进行旋转以进行姿态调整或是根据Z轴和Y轴进行旋转以进行姿态调整,本发明不做限制,并且先后两次旋转的先后顺序本发明也不做限制。
可选的,所述方法还包括:确定所述目标人脸的至少一条三维人脸特征曲线与人脸集合中至少一个人脸的对应的至少一条三维人脸特征曲线之间的距离,并确定得到的所述至少一个距离的第一加权和,所述第一加权和作为所述目标人脸与人脸集合中至少一个人脸的三维人脸相似度。
具体的,在得到19条目标人脸的三维特征曲线之后,使用上述的同样的方法得到人脸集合中人脸A的19条三维特征曲线。分别计算所述目标人脸的三维特征曲线与人脸集合中的人脸A对应的三维特征曲线之间的距离,可以得到的该距离值有19个,计算这19个距离值的第一加权和,将该第一加权和作为该目标人脸与该人脸A的三维人脸相似度。详细地,上述的对应的含义是:上述一个平面A与目标人脸的三维人脸曲面的相交得到的特征曲线A与同一平面A与人脸集合中的人脸A相交得到的特征曲线B是对应的,上述的三维人脸曲线之间的距离为特征曲线A与特征曲线B的距离。该距离可以是欧式距离,也可以是豪斯多夫距离(hausdorff距离)或测地距离(Geodesic distance)。用同样的方法得到对应于不同平面的19个距离再计算得到的19个距离的第一加权和其中,n为上述平面的个数,wi(i=1,2,3,…,19)为权重。该S3可以作为所述目标人脸的三维人脸曲面与人脸集合中该人脸A的三维人脸相似度。
可选的,所述根据所述目标物体二维图像获取所述目标物体的二维特征,包括:采用卷积神经网络模型获取所述目标人脸的二维特征以及人脸集合中至少一个人脸的二维特征;所述方法还包括:确定人脸集合中所述至少一个人脸的二维特征与所述目标人脸的二维特征之间的距离,并确定所述至少一个距离的第二加权和,所述第二加权和作为所述目标人脸与人脸集合中至少一个人脸的二维人脸相似度。
具体的,可以通过深度学习的方法,如使用卷积神经网络(Convolutional NeuralNetwork,CNN)来获取所述目标人脸二维图像的二维特征以及人脸集合中的人脸A二维图像的二维特征。其中,卷积神经网络模型可以由训练样本学习而来,对一定范围内目标物体的姿态、光照、尺度等变化都有较好的适应能力。可以记得到的二维相似度为S2。上述的二维人脸相似度S2和三维人脸相似度S3的计算和获取的步骤没有先后顺序。
可选的,所述方法还包括:确定所述目标人脸的二维人脸相似度与述目标人脸的三维人脸相似度的第三加权和,所述第三加权和作为所述目标人脸与人脸集合中至少一个人脸的相似度,根据所述至少一个人脸的相似度识别所述人脸集合中的目标人脸。
具体的,上述的第三加权和S=w2S2+w3S3,其中,S2为目标人脸与人脸A的二维相似度,S3为目标人脸与人脸A的三维相似度,w2和w3为权值,S为所述目标人脸与人脸A的相似度。在一种应用中,如门禁人脸识别应用中,可以设定一个阈值,当S的值大于该阈值时,则认定目标人脸即为人脸A,如果人脸A属于可通行的人脸集合,则门开启。在另一种应用中,可以计算目标人脸与人集合中每一个人脸的相似度,选取人脸集合中相似度最大的人脸作为最终的识别结果,即目标人脸为该相似度最大的人脸。可选的,w2∈(0.5,1],w3∈[0.0,0.5),如w2=0.6,w3=0.4。
本发明提供的一种用于模式识别的方法,能够减少采集目标物体的图像的限制,如,可以减少目标物体的图像在姿态、光照、表情、化妆和遮挡等方面的限制,从而提高识别目标物体的准确性,同时能够提高识别速率,减少识别时间。
下面结合图6具体描述本发明实施例三提供的一种用于模式识别的装置,可以参考方法实施例一中的描述,该装置可以配备在各种终端上,如笔记本电脑,手机,或监控摄像装置上。该装置600包括获取模块601以及识别模块602,
所述获取模块601,用于获取目标物体二维图像并根据所述目标物体二维图像获取所述目标物体的二维特征,并,获取目标物体三维图像并根据所述目标物体三维图像获取所述目标物体的三维特征;
所述识别模块602,用于根据所述获取模块获取的目标物体的二维特征和三维特征识别所述目标物体。
可选的,该获取模块601可以通过深度学习的方法获取所述目标物体的二维特征,如可以采用采用卷积神经网络(Convolutional Neural Network,CNN)模型提取目标物体的二维特征。该卷积神经网络模型可以经由千万数量级的训练样本学习而来,对目标物体的不同姿态,不同光照条件、不同尺度的变化都有较好的适应能力。
具体的,该获取模块601可以包括一个深度摄像装置,该深度摄像装置可以获取目标物体的二维图像和三维图像。该获取模块601还可以包括深度摄像装置以及普通摄像装置,由深度摄像装置获取该三维图像,由普通摄像装置(非深度摄像装置)获取该二维图像。该获取模块601也可以为处理器,该处理器可以从存储器中获取上述二维图像和三维图像。
可选的,所述目标物体三维图像包括所述目标物体的三维曲面,所述目标物体的三维特征包括所述目标物体三维曲面的至少一条三维特征曲线。所述至少一条三维特征曲线包括至少一个平面与所述目标物体三维曲面相交的曲线或所述平面的一部分与所述目标物体三维曲面相交的曲线,或所述目标物体三维曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合,或,所述至少一条三维特征曲线包括至少一个曲面与所述目标物体三维曲面相交的曲线或所述曲面的一部分与所述目标物体三维曲面相交的曲线,或所述目标物体三维曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合。可选的,上述目标物体的三维曲面可能包括一些冗余图像,可以以目标物体的三维图像的近似中心点为圆心做球切割,切割后的三维图像保留目标物体的大部分特征信息。可选的,如果该目标物体的三维曲面中的一部分区域包含了该目标物体三维图像的大部分特征信息,则上述平面的一部分就是指与该部分区域相交的该部分平面,同样的,上述曲面的一部分就是指与该部分区域相交的该部分曲面。可选的,上述的至少一个曲面或所述曲面的一部分可以包括以三维图像中某特征点或近似中心点为同一个圆心的圆柱面,或同一个圆心的圆柱面的一部分,如上半部分。
可选的,上述的至少一个平面可以是均匀分布的,如所述至少一个平面中相邻两个平面的夹角为第一角度。可选的,所述第一角度为10度。该第一角度也可以其他数值,如18度。根据目标物体的三维图像的特征点的分布,上述至少一个平面也可以是不均匀分布的,即上述至少一个平面相邻两个平面的角度可以根据目标物体的三维图像的特征点的分布确定。
可选的,上述三维特征曲线包括三维特征带,该特征带可以看作由多个特征曲线组成。该三维特征带可以通过如下方法获得:确定上述的一个平面或曲面与所述目标物体三维曲面相交的曲线后,确定所述目标物体三维曲面中与该相交的曲线距离小于或等于第一阈值的点的集合,该点的集合即为该三维特征带,上述的距离可以为欧式距离或豪斯多夫距离(hausdorff距离)或测地距离(Geodesic distance),上述的阈值可以根据目标物体的特征点的分布或特征的形状来设定,如可以为0.3。
所述目标物体的三维特征集中于第一区域,所述第一区域包括所述目标物体三维曲面的部分区域,且所述至少一条三维特征曲线位于所述第一区域。可选的,以人脸为例,可以近似认为以鼻尖点为界的人脸的上半部分包括了人脸的大部分特征,则该第一区域为以鼻尖点为界的人脸的上半部分,那么人脸的特征曲线则是在人脸的上半部分的曲线段。以树木为例,可以近似认为树冠部分包括了树木的大部分特征,则该第一区域为树冠部分或树冠加一小部分树干,那么树木的特征曲线则是在树冠或树冠加一小部分树干的三维曲面的曲线段。
可选的,所述至少一个平面与所述目标物体的三维曲面的特征平面垂直,所述目标物体的三维曲面的特征平面包括目标物体的三维曲面上三个特征点所在的平面。例如,以人脸为例,上述三个特征点可以是:左眼的内眼角点、左眼的外眼角点、右眼的内眼角点、以及右眼的外眼角点中的一个点或两个点;左嘴角点,以及右嘴角点中的至少一个;以及,鼻尖点。
那么,三个特征点所在的平面可以是左眼的内眼角点、左嘴角点,以及右嘴角点所在的平面。
可选的,所述至少一个平面相交于第一直线,所述第一直线垂直于所述目标物体的三维曲面的特征平面。可选的,根据上述目标物体的三维曲面的三维特征的分布情况,该至少一个平面也可以不相交于一个直线。如果上述目标物体的三维曲面的三维特征分布于上述第一区域,则上述至少一个平面可以相交于一个直线段。
所述装置还包括姿态调整模块,所述姿态调整模块,用于在所述获取模块根据所述目标物体三维图像获取所述目标物体的三维特征之前,在以所述目标物体的三维曲面上一个特征点为原点的三维坐标系下,对所述目标物体的三维曲面进行姿态调整,所述姿态调整模块包括下述子模块的至少一个:第一姿态调整子模块和第二姿态调整子模块;
所述第一姿态调整子模块,用于根据所述目标物体的三维曲面的特征平面的法向量进行姿态调整;以及,
所述第二姿态调整子模块,用于选取所述目标物体的三维曲面上的两个特征点,根据所述两个特征点所在的向量进行姿态调整。
在上述三维坐标系中,Z轴的正轴方向是根据右手定则确定的。右手定则也决定三维空间中任一坐标轴的正旋转方向。要标注X、Y和Z轴的正轴方向,就将右手背对着屏幕放置,拇指即指向X轴的正方向。伸出食指和中指,食指指向Y轴的正方向,中指所指示的方向即是Z轴的正方向。
可选的,上述选取目标物体的三维曲面上的两个特征点的一个方法可以是选取该两个特征点所在的向量与所述三维坐标系的X轴的方向近似。例如,如果目标物体是人脸,则该两个特征点可以为左嘴角点和右嘴角点。该左嘴角点和右嘴角点所在的向量与三维坐标系的X轴的夹角为锐角。
可以将目标物体的三维曲面的近似中心点看作是其一个特征点,因此,该原点还可以为该目标物体的三维曲面的近似中心点。以人脸为例,该原点可以是鼻尖点,也可以是人中。
所述第一姿态调整子模块,具体用于确定由所述目标物体的三维曲面的特征平面的法向量旋转到与所述三维坐标系的Z轴正方向相同的旋转矩阵Rz,所述法向量与所述Z轴正方向的夹角为锐角,将所述目标物体的三维曲面按照旋转矩阵Rz旋转;
所述第二姿态调整子模块,具体用于确定所述两个特征点所在的向量旋转到与所述三维坐标系的X轴正方向相同的旋转矩阵Rx,所述两个特征点所在的向量与所述X轴正方向的夹角为锐角,将所述目标物体的三维曲面按照旋转矩阵Rx旋转。
可选的,本发明是根据Z轴和X轴进行旋转以进行姿态调整,本领域普通技术人员可知,也可以根据X轴和Y轴进行旋转以进行姿态调整或是根据Z轴和Y轴进行旋转以进行姿态调整,本发明不做限制。
所述识别模块602,具体用于确定所述目标物体的至少一条三维特征曲线与物体三维图像集合中至少一个三维图像的对应的至少一条三维特征曲线之间的距离,并确定得到的所述至少一个距离的第一加权和,所述第一加权和作为所述目标物体三维图像与物体三维图像集合中至少一个三维图像的三维图像相似度。
可选的,上述的对应的含义是:上述一个平面与目标物体的三维曲面的相交的特征曲线A与同一平面与物体三维图像集合中一个三维图像相交的特征曲线B是对应的,上述的三维曲线之间的距离为特征曲线A与特征曲线B的距离。该距离可以是欧式距离,也可以是豪斯多夫距离(hausdorff距离)或测地距离(Geodesic distance)。用同样的方法得到对应于不同平面的距离再计算得到的至少一个距离的第一加权和其中,n为上述平面的个数,wi为权重。该S3可以作为所述目标物体三维图像与物体三维图像集合中至少一个三维图像的三维图像相似度。
所述获取模块601,具体用于获取所述目标物体二维图像的二维特征以及物体二维图像集合中至少一个二维图像的二维特征;
所述识别模块602,具体用于确定物体二维图像集合中所述至少一个二维图像的二维特征与所述目标物体二维图像的二维特征之间的距离,并确定所述至少一个距离的第二加权和,所述第二加权和作为所述目标物体二维图像与物体二维图像集合中至少一个二维图像的二维相似度。
可选的,可以通过深度学习的方法,如使用卷积神经网络(Convolutional NeuralNetwork,CNN)来获取所述目标物体二维图像的二维特征以及物体二维图像集合中至少一个二维图像的二维特征。其中,卷积神经网络模型可以由训练样本学习而来,对一定范围内目标物体的姿态、光照、尺度等变化都有较好的适应能力。可以记得到的二维相似度为S2。上述的二维相似度S2和三维相似度S3的计算和获取的步骤没有先后顺序。
所述识别模块,具体用于确定所述二维相似度与所述三维人脸相似度的第三加权和,所述第三加权和作为所述目标物体与物体集合中至少一个物体的相似度,根据所述相似度确定模块确定的相似度识别所述物体集合中的目标物体。上述的第三加权和S=w2S2+w3S3,其中,S2为二维相似度,S3为三维相似度,w2和w3为权值,S为所述目标物体与物体集合中至少一个物体的相似度。在一种应用中,如门禁人脸识别应用中,可以设定一个阈值,当S的值大于该阈值时,则认定目标人脸属于人脸集合,如果人脸集合为可通行的人脸集合,则门开启。在另一种应用中,可以计算目标物体与物体集合中每一个物体的相似度,选取物体集合中相似度最大的一个物体作为最终的识别结果,即该相似度最大的物体为目标物体。可选的,w2∈(0.5,1],w3∈[0.0,0.5),如w2=0.6,w3=0.4。
下面具体阐述上述装置600用于人脸识别的功能与结构,可以参考方法实施例2中的描述。
所述目标物体包括目标人脸,所述目标物体三维图像包括目标人脸的三维人脸曲面。
所述目标物体的三维特征包括目标人脸的至少一条三维人脸特征曲线。
所述目标人脸的至少一条三维人脸特征曲线包括至少一个平面与所述目标人脸的三维人脸曲面相交的曲线或所述平面的一部分与所述目标人脸的三维人脸曲面相交的曲线,或所述目标人脸的三维人脸曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合,或,所述目标人脸的至少一条三维人脸特征曲线包括至少一个曲面与所述目标人脸的三维人脸曲面相交的曲线或所述曲面的一部分与所述目标人脸的三维人脸曲面相交的曲线,或所述目标人脸的三维人脸曲面中的与所述相交的曲线距离小于或等于第一阈值的点的集合。如图3所示,黑色的平面即为上述的至少一个平面中的一个,该平面与图3中的人脸曲面的交线即为上述的三维人脸特征曲线。可选的,如果该目标人脸的三维人脸曲面中的一部分区域包含了该目标人脸三维图像的大部分特征信息,则上述平面的一部分就是指与该部分区域相交的该部分平面,即图3中黑色平面与三维人脸曲面相交的那部分。同样的,如果用曲面切割目标人脸的三维人脸图像的话,上述曲面的一部分就是指与该部分区域相交的该部分曲面。可选的,上述的至少一个曲面或所述曲面的一部分可以包括以三维图像中某特征点或近似中心点为同一个圆心的圆柱面,或同一个圆心的圆柱面的一部分,如上半部分。
可选的,上述的至少一个平面可以是均匀分布的,如所述至少一个平面中相邻两个平面的夹角为第一角度。可选的,所述第一角度为10度。该第一角度也可以其他数值,如18度。根据目标人脸的三维图像的特征点的分布,上述至少一个平面也可以是不均匀分布的,即上述至少一个平面相邻两个平面的角度可以根据目标人脸的三维图像的特征点的分布确定。
可选的,由于通过获取模块601中的三维摄像装置得到的原始的三维人脸曲面包含颈部、肩膀等冗余区域,因此,所述装置还可以包括原始三维人脸曲面处理模块,所述原始三维人脸曲面处理模块用于:以摄像装置得到的三维人脸曲面上的鼻尖点为中心,以第一半径为半径作球切割原始的三维人脸曲面得到上述如图3所示的三维人脸曲面,该第一半径可以根据图像大小实际情况选择,如可以是90mm。
可选的,可以通过深度学习的方法获取所述目标人脸的二维特征,如可以采用采用卷积神经网络(Convolutional Neural Network,CNN)模型提取目标人脸的二维特征。该卷积神经网络模型可以经由千万数量级的训练样本学习而来,对不同人种、不同年龄,在一定范围内对人脸的姿态、表情、光照、尺度等变化都有较好的适应能力。
可选的,目标人脸三维图像可以由获取模块601中的深度摄像装置获得,如深度摄像头。该深度摄像装置可以配备在各种终端上,如笔记本电脑,手机,或监控摄像装置上。具体的,该获取模块601可以包括一个深度摄像装置,该深度摄像装置可以获取目标物体的二维图像和三维图像。该获取模块601还可以包括深度摄像装置以及普通摄像装置,由深度摄像装置获取该三维图像,由普通摄像装置(非深度摄像装置)获取该二维图像。
可选的,上述三维特征曲线包括三维特征带,该特征带可以看作由多个特征曲线组成。该三维特征带可以通过如下方法获得:确定上述的一个平面或曲面与所述目标物体三维曲面相交的曲线后,确定所述目标人脸三维曲面中与该相交的曲线距离小于或等于第一阈值的点的集合,该点的集合即为该三维特征带,上述的距离可以为欧式距离或豪斯多夫距离(hausdorff距离)或测地距离(Geodesic distance),上述的阈值可以根据目标物体的特征点的分布或特征的形状来设定,如可以为0.3。
可选的,就人脸来说,可以近似认为以鼻尖点为界的人脸的上半部分包括了人脸的大部分特征,所述三维人脸特征曲线位于包括鼻尖点的人脸的上半部分。那么,人脸的特征曲线则是在人脸的上半部分的曲线段,如图4所示,图4中的直线段则为上述曲线段的投影。同时,图4也示出了上文提到的所述至少一个平面的投影,由图可知,与上述目标人脸的三维人脸曲面相交的平面共有19个,而且相邻平面间的角度为18度,则图4中的目标人脸的特征曲线有19条。
可选的,所述至少一个平面与所述目标人脸的人脸特征平面垂直,所述目标人脸的人脸特征平面包括下述特征点中的三个点所在的平面,所述三点包括:左眼的内眼角点、左眼的外眼角点、右眼的内眼角点、以及右眼的外眼角点中的一个点或两个点;左嘴角点,以及右嘴角点中的至少一个;以及,鼻尖点。举例来说,所述目标人脸的人脸特征平面可以为左眼的内眼角点、左嘴角点,以及右嘴角点所在的平面。
可选的,所述至少一个平面相交于第一直线,所述第一直线垂直于所述目标人脸的人脸特征平面且所述第一直线经过所述目标人脸的鼻尖点。如图4所示,该第一直线的投影为所述至少一个平面的投影所相交的点。
上述的得到目标人脸的三维人脸特征曲线的方法不仅很好地保留了人脸大部分几何信息,而且大大简化了记录目标人脸的三维人脸曲面的数据量。
可选的,所述装置还包括人脸姿态调整模块,所述人脸姿态调整模块,用于在以目标人脸的鼻尖点为原点的三维坐标系下,对所述目标人脸的三维人脸曲面进行姿态调整。
所述人脸姿态调整模块包括第一人脸姿态调整模块以及第二人脸姿态调整模块,所述第一人脸姿态调整模块,用于根据所述目标人脸的人脸特征平面的法向量进行姿态调整。
所述第二人脸姿态调整模块,用于根据所述目标人脸的三维人脸曲面上的左嘴角点以及右嘴角点所确定的向量进行姿态调整。
所述第一人脸姿态调整模块,具体用于确定由所述目标人脸的人脸特征平面的法向量旋转到与所述三维坐标系的Z轴正方向相同的旋转矩阵Rz,所述法向量与所述Z轴正方向的夹角为锐角,将所述目标人脸的三维人脸曲面按照旋转矩阵Rz旋转;
所述第二人脸姿态调整模块,具体用于确定由所述目标人脸的左嘴角点以及右嘴角点所确定的向量旋转到与所述三维坐标系的X轴正方向相同的旋转矩阵Rx,所述确定的向量与所述X轴正方向的夹角为锐角,将所述目标人脸的三维人脸曲面按照旋转矩阵Rx旋转。
具体的,所述获取模块601用于将获得的原始的三维人脸曲面以鼻尖点为中心、第一半径为半径做球切割后切割掉包含颈部、肩膀等冗余区域后得到待姿态调整的三维人脸曲面,之后由所述人脸姿态调整模块对该待姿态调整的三维人脸曲面做姿态调整。
所述人脸姿态调整模块包括平移子模块,所述平移子模块用于将该待姿态调整的三维人脸曲面平移到以鼻尖点为原点的坐标系下。在上述三维坐标系中,Z轴的正轴方向是根据右手定则确定的。右手定则也决定三维空间中任一坐标轴的正旋转方向。要标注X、Y和Z轴的正轴方向,就将右手背对着屏幕放置,拇指即指向X轴的正方向。伸出食指和中指,食指指向Y轴的正方向,中指所指示的方向即是Z轴的正方向。可选的,该原点的选取可以是鼻尖点,也可以是人中,即也可以将该待姿态调整的三维人脸曲面平移到以人中为原点的坐标系下。
上述所述第一人脸姿态调整模块确定的人脸特征平面可以为右眼的内眼角点、左嘴角点以及右嘴角点所在的平面,该法向量与上述三维坐标系的Z轴正方向的夹角为锐角。所述第一人脸姿态调整模块计算将该法向量旋转到与所述三维坐标系的Z轴正方向相同的旋转矩阵Rz,将所述目标人脸的三维人脸曲面按照旋转矩阵Rz旋转。上述第二人脸姿态调整模块确定左嘴角点以及右嘴角点所在的向量,所述左嘴角点以及右嘴角点所在的向量与上述三维坐标系的X轴正方向的夹角为锐角,计算将该左嘴角点以及右嘴角点所在的向量旋转到与所述三维坐标系的X轴正方向相同的旋转矩阵Rx,将所述目标人脸的三维人脸曲面按照旋转矩阵Rx旋转。可选的,也可以先按照Rx将目标人脸的三维人脸曲面进行旋转,再按照Rz将目标人脸的三维人脸曲面进行旋转。
可选的,本发明实施例是根据Z轴和X轴进行旋转以进行姿态调整,本领域普通技术人员可知,也可以根据X轴和Y轴进行旋转以进行姿态调整或是根据Z轴和Y轴进行旋转以进行姿态调整,本发明不做限制,并且先后两次旋转的先后顺序本发明也不做限制。
所述识别模块,具体用于确定所述目标人脸的至少一条三维人脸特征曲线与人脸集合中至少一个人脸的对应的至少一条三维人脸特征曲线之间的距离,并确定得到的所述至少一个距离的第一加权和,所述第一加权和作为所述目标人脸与人脸集合中至少一个人脸的三维人脸相似度。具体的,在获取模块601得到19条目标人脸的三维特征曲线之后,使用上述的同样的方法得到人脸集合中人脸A的19条三维特征曲线。所述识别模块602分别计算所述目标人脸的三维特征曲线与人脸集合中的人脸A对应的三维特征曲线之间的距离,可以得到的该距离值有19个,计算这19个距离值的第一加权和,将该第一加权和作为该目标人脸与该人脸A的三维人脸相似度。详细地,上述的对应的含义是:上述一个平面A与目标人脸的三维人脸曲面的相交得到的特征曲线A与同一平面A与人脸集合中的人脸A相交得到的特征曲线B是对应的,上述的三维人脸曲线之间的距离为特征曲线A与特征曲线B的距离。该距离可以是欧式距离,也可以是豪斯多夫距离(hausdorff距离)或测地距离(Geodesicdistance)。用同样的方法得到对应于不同平面的19个距离再计算得到的19个距离的第一加权和其中,n为上述平面的个数,wi(i=1,2,3,…,19)为权重。该S3可以作为所述目标人脸的三维人脸曲面与人脸集合中该人脸A的三维人脸相似度。
所述获取模块601,具体用于采用卷积神经网络模型获取所述目标人脸的二维特征以及人脸集合中至少一个人脸的二维特征,所述识别模块602,具体用于确定人脸集合中所述至少一个人脸的二维特征与所述目标人脸的二维特征之间的距离,并确定所述至少一个距离的第二加权和,所述第二加权和作为所述目标人脸与人脸集合中至少一个人脸的二维人脸相似度。
具体的,所述识别模块可以通过深度学习的方法,如使用卷积神经网络(Convolutional Neural Network,CNN)来获取所述目标人脸二维图像的二维特征以及人脸集合中的人脸A二维图像的二维特征。其中,卷积神经网络模型可以由训练样本学习而来,对一定范围内目标物体的姿态、光照、尺度等变化都有较好的适应能力。可以记得到的二维相似度为S2。上述的二维人脸相似度S2和三维人脸相似度S3的计算和获取的步骤没有先后顺序。
所述识别模块,具体用于确定所述目标人脸的二维人脸相似度与述目标人脸的三维人脸相似度的第三加权和,所述第三加权和作为所述目标人脸与人脸集合中至少一个人脸的相似度,具体用于根据所述至少一个人脸的相似度识别所述人脸集合中的目标人脸。具体的,上述的第三加权和S=w2S2+w3S3,其中,S2为目标人脸与人脸A的二维相似度,S3为目标人脸与人脸A的三维相似度,w2和w3为权值,S为所述目标人脸与人脸A的相似度。在一种应用中,如门禁人脸识别应用中,可以设定一个阈值,当S的值大于该阈值时,则认定目标人脸即为人脸A,如果人脸A属于可通行的人脸集合,则门开启。在另一种应用中,可以计算目标人脸与人集合中每一个人脸的相似度,选取人脸集合中相似度最大的人脸作为最终的识别结果,即目标人脸为该相似度最大的人脸。可选的,w2∈(0.5,1],w3∈[0.0,0.5),如w2=0.6,w3=0.4。
本发明提供的一种用于模式识别装置,能够减少采集目标物体的图像的限制,如,可以减少目标物体的图像在姿态、光照、表情、化妆和遮挡等方面的限制,从而提高识别目标物体的准确性,同时能够提高识别速率,减少识别时间。
下面结合图7具体描述本发明实施例四提供的一种用于模式识别的装置700,该装置包括一种计算机可读存储介质701,所述计算机可读存储介质701存储有计算机程序,所述计算机程序被第一处理器702执行时实现如实施例一或二所述方法的步骤。如图7所示,可选的,该装置700可以包括总线。
本发明提供的一种用于模式识别装置,能够减少采集目标物体的图像的限制,如,可以减少目标物体的图像在姿态、光照、表情、化妆和遮挡等方面的限制,从而提高识别目标物体的准确性,同时能够提高识别速率,减少识别时间。
下面结合图8具体描述本发明实施例五提供的一种用于模式识别的装置800,该装置包括存储器801、第二处理器802以及存储在所述存储器801中并可在所述第二处理器802上运行的计算机程序,所述计算机程序被第二处理器802执行时实现如实施例一或二所述方法的步骤。可选的,如图所示,该装置800还包括总线。
本发明提供的一种用于模式识别装置,能够减少采集目标物体的图像的限制,如,可以减少目标物体的图像在姿态、光照、表情、化妆和遮挡等方面的限制,从而提高识别目标物体的准确性,同时能够提高识别速率,减少识别时间。
示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器中,并由所述处理器执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述装置/终端设备中的执行过程。
所述装置/终端设备可以是手机、平板电脑、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述装置/终端设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,本发明的示意图仅仅是装置/终端设备的示例,并不构成对装置/终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述装置/终端设备还可以包括输入输出设备、网络接入设备、总线等。
上述处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述装置/终端设备的控制中心,利用各种接口和线路连接整个装置/终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述装置/终端设备的各种功能。所述存储器可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如视频数据、图像等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
上述各个实施例中的目标物体的成像可以目标物体的局部成像,也可以整体成像。无论是局部成像,或整体成像都适用或对局部成像,或整体成像相应做出调整后适用本发明提供的方法或装置,上述调整本领域普通技术人员不需要付出创造性劳动,应属于本发明的保护范围。