CN111383350A - 图片三维姿态标注方法、装置、计算机存储介质和终端 - Google Patents

Abstract

本发明提供一种图片三维姿态标注方法、装置、计算机存储介质和终端，所述图片三维姿态标注方法包括：获取并显示待标注图片和所述待标注图片对应的三维模型；获取调整三维模型姿态的调整指令；根据所述调整指令对所述三维模型进行姿态调整，将调整后的所述三维模型的姿态信息作为所述待标注图片的姿态标注信息。本发明可使用户直观地看到标注效果，更好地调整待标注图片的姿态，从而使所述三维模型的姿态尽量接近所述待标注图片，进而提高所述待标注图片的标注效率和标注精度。

Description

图片三维姿态标注方法、装置、计算机存储介质和终端

技术领域

本发明涉及计算机技术领域，具体而言，本发明涉及一种图片三维姿态标注方法、装置、存储介质和终端。

背景技术

随着深度学习技术的快速发展，人脸识别在日常生活中的应用也变得更加广泛，而人脸姿态识别是人脸识别的重要步骤。在进行人脸识别之前，需要先获取人脸姿态的训练数据，以训练出用于识别人脸的三维模型。人脸姿态的训练数据获取需要标注人员从二维图像提取出一个三维的人脸姿态信息(章动角、旋进角和自转角)。目前常用的标注方式有：1.使用粗略的文字描述标签，如“左偏15°”、“右偏15°”、“上偏15°”、“下偏15°”、“左转15°”、“右转15°”；这个方法获取到的数据粗糙，并且人脸转动幅度大、角度复杂的时候很难判断。2.将覆盖一个三维模型的二维图片投影到人脸图像上，通过调整这个投影的端点和旋转投影，可以获得人脸位置以及人脸姿态信息；当由于人脸旋转角度和该投影并没有直观的联系，需要标注人员想象，所以该标注方法对标注人员来说，理解和操作都存在较大困难。而且，三维信息很难直观地显示于二维页面上，所以通过二维图像提取三维人脸姿态的标注结果也会有很大的误差，且标注效率也十分低下。

发明内容

本发明针对现有方式的缺点，提出一种图片三维姿态标注方法、装置、存储介质和终端，用以解决现有技术中二维图片的三维姿态标注效率低且误差大的问题。

本发明提出的图片三维姿态标注方法，包括：

获取并显示待标注图片和所述待标注图片对应的三维模型；

获取调整三维模型姿态的调整指令；

根据所述调整指令对所述三维模型进行姿态调整，将调整后的所述三维模型的姿态信息作为所述待标注图片的姿态标注信息。

优选地，所述三维模型位于XYZ坐标系中，所述调整指令包括：

使所述三维模型绕X轴正向或反向转动的第一组调整指令，和/或

使所述三维模型绕Y轴正向或反向转动的第二组调整指令，和/或

使所述三维模型绕Z轴正向或反向转动的第三组调整指令。

优选地，所述获取调整所述三维模型姿态的调整指令，包括：

获取所述第一组调整指令，所述第一组调整指令包括绕X轴正向转动的第一正向指令、对应于该第一正向指令的第一正向转动角度，以及绕X轴反向转动的第一反向指令、对应于该第一反向指令的第一反向转动角度；和/或

获取所述第二组调整指令，所述第二组调整指令包括绕Y轴正向转动的第二正向指令、对应于该第二正向指令的第二正向转动角度，以及绕Y轴反向转动的第二反向指令、对应于该第二反向指令的第二反向转动角度；和/或

获取所述第三组调整指令，所述第三组调整指令包括绕Z轴正向转动的第三正向指令、对应于该第三正向指令的第三正向转动角度，以及绕Z轴反向转动的第三反向指令、对应于该第三反向指令的第三反向转动角度。

优选地，所述根据所述调整指令对所述三维模型进行姿态调整，将调整后的所述三维模型的姿态信息作为所述待标注图片的姿态标注信息之后，还包括：将所述姿态信息与所述图片关联存储。

优选地，所述三维模型的姿态信息包括三维模型的章动角、旋进角、自转角中的一个或多个。

优选地，所述获取并显示待标注图片和所述待标注图片对应的三维模型之后，获取调整所述三维模型姿态的调整指令之前，还包括：

获取所述待标注图片的面部特征信息，根据所述面部特征信息生成五官关联信息；

根据所述五官关联信息，预判所述待标注图片的姿态；

根据所述待标注图片的姿态，调整所述三维模型的姿态。

优选地，所述获取并显示待标注图片和所述待标注图片对应的三维模型之后，还包括：

识别所述待标注图片中的若干个二维人脸特征点，显示所述若干个二维人脸特征点之间的目标位置关系；

识别所述三维模型中的多个三维人脸特征点，显示所述多个三维人脸特征点之间的平面位置关系；

所述根据所述调整指令对所述三维模型进行姿态调整，将调整后的所述三维模型的姿态信息作为所述待标注图片的姿态标注信息，包括：

根据所述调整指令对所述三维模型进行姿态调整；

获取调整结束指令，判断当前所述三维模型的平面位置关系与所述待标注图片的目标位置关系是否位于预设误差之内；

若是，则将调整后的所述三维模型的姿态信息作为所述待标注图片的姿态标注信息；

若否，则发出提示信息。

本发明还提出一种图片三维姿态标注装置，该装置包括：

获取模块，用于获取并显示待标注图片和所述待标注图片对应的三维模型；

调整模块，用于获取调整三维模型姿态的调整指令；

标注模块，用于根据所述调整指令对所述三维模型进行姿态调整，将调整后的所述三维模型的姿态信息作为所述待标注图片的姿态标注信息。

进一步地，所述图片三维姿态标注装置，还包括：

关联存储模块，用于将所述姿态信息与所述图片关联存储。

本发明还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任意一项所述的图片三维姿态标注方法。

本发明还提出一种终端，所述终端包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现前述任意一项所述的图片三维姿态标注方法。

本发明具有以下有益效果：

1、本发明通过同时显示所述待标注图片和所述三维模型，可使用户直观地看到标注效果，更好地调整待标注图片的姿态，从而使所述三维模型的姿态尽量接近所述待标注图片，进而提高所述待标注图片的标注效率和标注精度。

2、本发明可通过键盘、外接设备等装置分别输入三组调整指令，以分别调整所述三维模型在不同方向上的转动角度，从而实现所述三维模型在各个方向的姿态，简化了用户操作，有利于用户快速形成用户习惯。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明图片三维姿态标注方法第一实施例的流程示意图；

图2为本发明一种三维模型初始状态的实施例；

图3为图2所示的三维模型绕X轴正向针转动后的实施例；

图4为图2所示的三维模型绕X轴反向转动后的实施例；

图5为图2所示的三维模型绕Y轴正向转动后的实施例；

图6为图2所示的三维模型绕Y轴反向转动后的实施例；

图7为图2所示的三维模型绕Z轴正向转动后的实施例；

图8为图2所示的三维模型绕Z轴反向转动后的实施例；

图9为图2所示的三维模型调整至与待标注图片姿态一致的实施例示意图；

图10为本发明图片三维姿态标注方法另一实施例的流程示意图；

图11为本发明图片三维姿态标注装置一个实施例的流程示意图；

图12为本发明图片三维姿态标注装置另一个实施例的流程示意图；

图13为本发明终端实施例的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式，这里使用的“第一”、“第二”仅用于区别同一技术特征，并不对该技术特征的顺序和数量等加以限定。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(PersonalCommunications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。

在移动终端中，用户常常会借助于移动终端的摄像装置进行人脸识别，以获取对应的系统权限或软件权限。为了建立人脸识别的三维模型，通常需要大量的带有标注信息的二维图片作为训练数据，以训练出可从多个角度准确识别人脸的人脸识别系统。为了获取所述大量的带有标注信息的图片，本发明提出一种图片三维姿态标注方法，不仅可应用于人脸姿态的标注，也可应用于其它动物、物品等的姿态标注。

本发明提出的图片三维姿态标注方法，如图1所示，包括如下步骤：

步骤S10：获取并显示待标注图片和所述待标注图片对应的三维模型；

步骤S20：获取调整所述三维模型姿态的调整指令；

步骤S30：获取调整结束指令，将调整后的所述三维模型的姿态信息作为所述待标注图片的姿态标注信息。

其中，每个步骤具体如下：

步骤S10：获取并显示待标注图片和所述待标注图片对应的三维模型。

待标注图片可通过本发明对应的应用程序显示，以便将姿态标注信息与所述待标注图片关联存储；所述待标注图片亦可通过其它应用程序显示，与本发明对应的应用程序可通过读取所述待标注图片的存储位置，以将得到的姿态标注信息与所述待标注图片关联存储。所述三维模型为与所述待标注图片对应的模型，例如，当待标注图片为人物头部时，对应的三维模型可为人体头部模型，当所述待标注图片为物品时，对应的三维模型可以为对应物品的模型。

当本发明仅标注所述待标注图片的姿态信息时，例如标注所述待标注图片的旋进角和自转角，所述姿态信息可能与图片中具体图像的外表无关，例如，一个人体头部模型可用于标注所有人物图片的姿态信息，而无需确定该人物的性别。在部分实施例中，所述待标注图片与三维模型亦可不一一对应。例如，人物头部模型亦可用于标注带有狗头的待标注图片的姿态信息，以便后续识别狗头的姿态信息。故，在本发明中，一个所述三维模型可用于标注多种待标注图片。

在部分实施例中，为了提高待标注图片的标注效率，可一次获取多张待标注图片，并一一标注。当所述多张待标注图片为同一人物的不同姿态时，本实施例还可通过多张待标注图片之间的对比，调整每一张待标注图片的标注信息；标注时，可将当前调整的目标图片与所述三维模型的当前姿态信息进行关联标注；并通过切换当前调整的目标图片，将多张待标注图片逐一与所述三维模型的姿态信息关联标注，从而提高多张待标注图片的标注精度。

步骤S20：获取调整所述三维模型姿态的调整指令。

所述调整指令对应的调整维度可对应于三维姿态信息的标注维度。例如，当所述三维姿态信息仅包括人物头部在两个维度上的转动角时，则所述调整指令可仅包括对应于所述两个维度的转动指令。为方便确定所述三维模型的姿态，可将所述三维模型置于XYZ坐标系中，以通过三维模型与XYZ坐标系中坐标轴的夹角来确定三维模型的姿态。所述姿态调整指令可通过预设的参数选项进行调整，例如，在预设的多个对话框中分别输入绕各坐标轴转动的旋转角度；亦可通过预设的动作进行操作，例如，通过鼠标左键与鼠标拖动方向确定三维模型绕对应的坐标轴转动的旋转角度；还可通过预设的按键进行操作，例如，当用户按下预设的按键，则三维模型绕对应的坐标轴转动预定的角度。进一步地，所述调整指令还可通过语音识别、用户姿态或手势的识别实现等。

步骤S30：根据所述调整指令对所述三维模型进行姿态调整，将调整后的所述三维模型的姿态信息作为所述待标注图片的姿态标注信息。

用户可根据所述待标注图片的姿态，不断调整所述三维模型的姿态，以使所述三维模型的姿态与所述待标注图片的姿态趋于一致。当用户确定所述三维模型的姿态与所述待标注图片的姿态一致时，则输入调整结束的指令，以将当前所述三维模型的姿态信息作为所述待标注图片的姿态标注信息。所述调整结束的指令可与图片切换指令、姿态信息保存指令等指令相结合，亦可单独设置，以便随时存储待标注图片的姿态标注信息，避免姿态标注信息的丢失。

本实施例同时显示所述待标注图片和所述三维模型，以使用户可直观地看到标注效果，更好地调整待标注图片的姿态，从而使所述三维模型的姿态尽量接近所述待标注图片；当所述三维模型的姿态与所述待标注图片的姿态趋于一致时，则将调整后的所述三维模型的姿态信息作为所述待标注图片的姿态标注信息，可大大提高所述待标注图片的标注效率和标注精度。

在本发明的一个实施例中，所述根据所述调整指令对所述三维模型进行姿态调整，将调整后的所述三维模型的姿态信息作为所述待标注图片的姿态标注信息之后，还包括：将所述姿态信息与所述图片关联存储，以便生成大量带有姿态标注信息的图片，作为三维视觉识别模型的训练数据。

当所述姿态标注信息包括三个维度的转动角时，为便于用户分别输入三个维度的所述调整指令，本发明还提出另一实施例：所述三维模型位于XYZ坐标系中，所述调整指令包括：

使所述三维模型绕X轴正向或反向转动的第一组调整指令，和/或

使所述三维模型绕Y轴正向或反向转动的第二组调整指令，和/或

使所述三维模型绕Z轴正向或反向转动的第三组调整指令。

结合图2所示的实施例，所述三维模型的初始状态可如图2右侧的模型所示。若X轴为与纸面垂直的轴，Y轴为图示中水平方向的轴，Z轴为图示中垂直方向的轴；当用户输入绕X轴正向转动的指令时，所述三维模型可转动至图3所示的角度；当用户输入绕X轴反向转动的指令时，所述三维模型可转动至图4所示的角度；当用户输入绕Y轴正向转动的指令时，所述三维模型可转动至图5所示的角度；当用户输入绕Y轴反向转动的指令时，所述三维模型可转动至图6所示的角度；当用户输入绕Z轴正向转动的指令时，所述三维模型可转动至图7所示的角度；当用户输入绕Z轴反向转动的指令时，所述三维模型可转动至图8所示的角度。当所述X轴、Y轴、Z轴互相垂直时，本实施例中的每组调整指令之间可互不影响，简化了三维模型转动过程中的计算，且有利于用户的调整。

在用户的调整过程中，所述三维模型的调整指令可仅包括所述一组调整指令，亦可包括所述任意两组调整指令，或包括所述三组调整指令。每一组调整指令可包括调整方向与调整角度。如前所述，所述调整指令可通过对话框输入，亦可通过鼠标输入，或通过键盘等输入装置输入。

在本发明的一个实施例中，可通过键盘输入各组调整指令。例如，通过键盘的左方向键和右方向键输入使三维模型绕X轴转动的方向，并通过单击对应按键的次数确定三维模型转动的角度；或，通过字母键A和字母键D输入使三维模型绕X轴转动的方向，并通过单击对应按键的次数确定三维模型转动的角度，该改变三维模型左右倾斜的角度。以此类推，可通过上方向键和下方向键，或字母键W和字母键S输入使三维模型绕Y轴转动的方向，并通过单击对应按键的次数确定三维模型转动的角度，以改变三维模型前倾或后仰的角度；可通过字母键Q和字母键E输入使三维模型绕Z轴转动的方向，并通过单击对应按键的次数确定三维模型转动的角度，以改变三维模型左右转动的角度。

本实施例不仅可使三维模型实时显示当前的姿态，以使用户直观地看到标注效果，更好地调整标注待标注图片的姿态，还可使用全键盘操作，简单高效，且键盘布局符合用户使用习惯。当然，根据不同的终端，用于输入各组调整指令的按键可对应于不同的字母按键或功能操作键，例如外接键盘的小键盘数字键、外接手柄上的按键或摇杆等。

在上述实施例中，可预先设置单击一次按键时对应的预置转动角度。例如，当单击一次字母A键时，则三维模型绕X轴正向转动5°；当单击一次字母D键时，则三维模型绕X轴正向转动5°。在另一实施例中，若用户长按字母A键，例如字母A键的按下时间超过两秒，则三维模型可绕X轴正向以预设速度转动；当用户松开字母A键，则停止转动。以此类推，其它按键亦可如此设置。当然，每个按键对应的预置转动角度和/或预设速度可各不相同，亦可部分相同或全部相同。

故，在本发明的部分实施例中，所述调整指令可包括调整方向和对应于该调整方向的点击次数或长按时间，以根据所述点击次数或长按时间确定对应的转动角度。

在本发明的另一实施例中，所述获取调整所述三维模型姿态的调整指令，还可包括：

获取所述第一组调整指令，所述第一组调整指令包括绕X轴正向转动的第一正向指令、对应于该第一正向指令的第一正向转动角度，以及绕X轴反向转动的第一反向指令、对应于该第一反向指令的第一反向转动角度；和/或

获取所述第二组调整指令，所述第二组调整指令包括绕Y轴正向转动的第二正向指令、对应于该第二正向指令的第二正向转动角度，以及绕Y轴反向转动的第二反向指令、对应于该第二反向指令的第二反向转动角度；和/或

获取所述第三组调整指令，所述第三组调整指令包括绕Z轴正向转动的第三正向指令、对应于该第三正向指令的第三正向转动角度，以及绕Z轴反向转动的第三反向指令、对应于该第三反向指令的第三反向转动角度。

本实施例通过直接输入三组调整指令的转动方向和转动角度，可组合出各种调整三维模型的旋转角度，以使所述三维模型的角度趋于与所述待标注图片一致。在三维模型的调整角度较大时，可提高调整效率。

上述根据所述点击次数或长按时间确定对应转动角度的实施例，可与本实施例相结合，即：用户既可以直接指定转动角度，亦可以通过特定按键的点击次数或长按时间确定转动角度，以进一步优化用户输入调整指令的方式，有利于简化用户操作，快速形成用户习惯，提高标注效率。

在部分实施例中，所述调整指令中部分参数的数值可以为零或为空。例如，用户仅输入绕X轴正向转动的第一正向指令和对应于该第一正向指令的第一正向转动角度即可，而无需输入绕X轴反向转动的第一反向指令、对应于该第一反向指令的第一反向转动角度时，则所述第一组调整指令可仅包括绕X轴正向转动的第一正向指令和对应于该第一正向指令的第一正向转动角度，所述绕X轴反向转动的第一反向指令和对应于该第一反向指令的第一反向转动角度可以为空或为零。

在本发明的一些实施例中，所述三维模型的姿态信息可包括三维模型的章动角、旋进角、自转角中的一个或多个，或进一步还包括其它姿态信息。所述章动角、旋进角、自转角为现有技术中三维模型在三维空间进行有限转动的三个转角，其定义在此不再赘述。

为提高用户标注所述待标注图片的效率，本发明还可在加载所述待标注图片之后，预判所述待标注图片的姿态，以根据该姿态自动转动所述三维模型，从而节约用户手动旋转所述三维模型的时间。故，当本发明应用于人体图片的姿态标注时，本发明还提出如下实施例：所述获取并显示待标注图片和所述待标注图片对应的三维模型之后，获取调整所述三维模型姿态的调整指令之前，还包括：

获取所述待标注图片的面部特征信息，根据所述面部特征信息生成五官关联信息；

根据所述五官关联信息，预判所述待标注图片的姿态；

根据所述待标注图片的姿态，调整所述三维模型的姿态。

本实施例通过预判所述待标注图片的姿态，可在加载所述待标注图片后，自动调整所述三维模型的姿态，从而节约用户将所述三维模型调整至与所述待标注图片的姿态一致的时间，可提高用户的标注效率。例如，所述待标注图片的姿态为前倾10°；在获取并显示待标注图片和所述待标注图片对应的三维模型之后，通过图片识别技术，生成五官关联信息，通过所述五官关联信息预判所述待标注图片的姿态；所述预判的姿态并不一定为前倾10°，例如预判的姿态可以为前倾5°，或15°；本发明获取所述待标注图片的姿态后，可控制所述三维模型调整至前倾5°或15°的姿态；用户再根据所述三维模型和待标注图片的视觉比对结果，继续调整所述三维模型的姿态，以使所述三维模型与所述待标注图片的姿态一致，故本发明根据预判所述待标注图片的姿态调整所述三维模型的姿态，可加快用户标注所述待标注图片的效率。

所述三维模型的旋转中心可为预设固定中心。在上述实施例中，所述旋转中心亦可根据所述五官关联信息确定，并将所述旋转中心作为XYZ坐标系的原点。

为减少标注出错，当本发明应用于人体图片的姿态标注时，本发明提出又一实施例，如图10所示，所述获取并显示待标注图片和所述待标注图片对应的三维模型之后，还包括：

步骤S11：识别所述待标注图片中的若干个二维人脸特征点，显示所述若干个二维人脸特征点之间的目标位置关系；

步骤S12：识别所述三维模型中的多个三维人脸特征点，显示所述多个三维人脸特征点之间的平面位置关系；

所述根据所述调整指令对所述三维模型进行姿态调整，将调整后的所述三维模型的姿态信息作为所述待标注图片的姿态标注信息，包括：

步骤S31：根据所述调整指令对所述三维模型进行姿态调整；

步骤S32：获取调整结束指令，判断当前所述三维模型的平面位置关系与所述待标注图片的目标位置关系是否位于预设误差之内；若是，则继续步骤S33；若否，则继续步骤S34；

步骤S33：将调整后的所述三维模型的姿态信息作为所述待标注图片的姿态标注信息；

步骤S34：则发出提示信息。

本实施例通过显示所述若干个二维人脸特征点之间的目标位置关系，有利于用户以此目标位置关系为参考，尽快将所述三维模型调整至与该目标位置关系一致的姿态；同时，本实施例还显示所述多个三维人脸特征点之间的平面位置关系，有利于用户直接比对所述目标位置关系和所述平面位置关系。例如，在所述待标注图片中显示若干个二维人脸特征点之间的连线，所述各连线之间可形成交叉的几何图形；对应地，在所述三维模型上亦可显示多个三维人脸特征点之间的连线，所述各连线之间亦可形成交叉的几何图形；当所述二维人脸特征点与所述三维人脸特征点之间具有对应关系时，可对比所述待标注图片中和所述三维模型上的几何图形形状，当二者的所述几何图形形状趋近于一致时，所述三维模型的姿态亦趋近于所述待标注图片。故本实施例不仅可提高待标注图片的标注效率，还可使调整后的三维模型的姿态更趋近于待标注图片，从而提高标注精度。

所述目标位置关系和所述平面位置关系可为两个人脸特征点之间的连线，亦可为两个以上的人脸特征点之间的连线，还可以连线之外的其它显示方案直观地显示各人脸特征点之间的相对位置，以作为用户调整所述三维模型姿态的参照。

当获取到调整结束指令时，若所述目标位置关系和所述平面位置关系明显不对应，即当前所述三维模型的平面位置关系与所述待标注图片的目标位置关系位于预设误差之外时，可发出调整出错、保存失败或提示用户重新调整的提示信息；若所述目标位置关系和所述平面位置关系较为一致，即当前所述三维模型的平面位置关系与所述待标注图片的目标位置关系位于预设误差之内时，如图9所示，其中的三维模型姿态与待标注图片的姿态基本一致，则将调整后的所述三维模型的姿态信息作为所述待标注图片的姿态标注信息，以便于用户进行关联存储或标注等操作。

所述调整结束指令可包括标注信息保存指令、标注信息关联指令等可触发调整结束的指令，亦可为通过姿态调整结束按钮输入的调整结束指令。

本发明还提出一种图片三维姿态标注装置，如图11所示，该装置包括：

获取模块10，用于获取并显示待标注图片和所述待标注图片对应的三维模型；

调整模块20，用于获取调整三维模型姿态的调整指令；

标注模块30，用于根据所述调整指令对所述三维模型进行姿态调整，将调整后的所述三维模型的姿态信息作为所述待标注图片的姿态标注信息。

在本发明的一个图片三维姿态标注装置实施例中，所述三维模型位于XYZ坐标系中，所述调整模块20中的调整指令包括：

使所述三维模型绕X轴正向或反向转动的第一组调整指令，和/或

使所述三维模型绕Y轴正向或反向转动的第二组调整指令，和/或

使所述三维模型绕Z轴正向或反向转动的第三组调整指令。

在本发明的另一个图片三维姿态标注装置实施例中，所述调整模块20包括：

第一指令调整单元，用于获取所述第一组调整指令，所述第一组调整指令包括绕X轴正向转动的第一正向指令、对应于该第一正向指令的第一正向转动角度，以及绕X轴反向转动的第一反向指令、对应于该第一反向指令的第一反向转动角度；和/或

第二指令调整单元，用于获取所述第二组调整指令，所述第二组调整指令包括绕Y轴正向转动的第二正向指令、对应于该第二正向指令的第二正向转动角度，以及绕Y轴反向转动的第二反向指令、对应于该第二反向指令的第二反向转动角度；和/或

第三指令调整单元，用于获取所述第三组调整指令，所述第三组调整指令包括绕Z轴正向转动的第三正向指令、对应于该第三正向指令的第三正向转动角度，以及绕Z轴反向转动的第三反向指令、对应于该第三反向指令的第三反向转动角度。

在本发明的另一个图片三维姿态标注装置实施例中，如图12所示，所述图片三维姿态标注装置还包括：

关联存储模块40，用于将所述姿态信息与所述图片关联存储。

在本发明的另一个图片三维姿态标注装置实施例中，所述图片三维姿态标注装置还包括：

五官信息生成单元，用于获取所述待标注图片的面部特征信息，根据所述面部特征信息生成五官关联信息；

姿态预判单元，用于根据所述五官关联信息，预判所述待标注图片的姿态；

三维模型预调单元，用于根据所述待标注图片的姿态，调整所述三维模型的姿态。

在本发明的另一个图片三维姿态标注装置实施例中，所述图片三维姿态标注装置还包括：

二维特征点关联显示单元，用于识别所述待标注图片中的若干个二维人脸特征点，显示所述若干个二维人脸特征点之间的目标位置关系；

三维特征点关联显示单元，用于识别所述三维模型中的多个三维人脸特征点，显示所述多个三维人脸特征点之间的平面位置关系；

所述标注模块还包括：

姿态调整单元，用于根据所述调整指令对所述三维模型进行姿态调整；

误差判断单元，用于获取调整结束指令，判断当前所述三维模型的平面位置关系与所述待标注图片的目标位置关系是否位于预设误差之内；

信息标注单元，用于在当前所述三维模型的平面位置关系与所述待标注图片的目标位置关系位于预设误差之内时，将调整后的所述三维模型的姿态信息作为所述待标注图片的姿态标注信息；

提示单元，用于在当前所述三维模型的平面位置关系与所述待标注图片的目标位置关系位于预设误差之外时，发出提示信息。

上述图片三维姿态标注装置中的技术特征与上述图片三维姿态标注方法中对应的技术特征相同，在此不予赘述。

在本发明的部分实施例中，还可包括数据存储单元，用于预先存放作为待标注图片和标注后的图片文件，以及对应的三维模型。在本发明的部分实施例中，还可包括图片显示单元，与数据存储单元连接，用于获取待标注图片，并显示到图片三维姿态标注装置的界面上。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任意一项所述的图片三维姿态标注方法。其中，所述存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-OnlyMemory，只读存储器)、RAM(Random AcceSS Memory，随即存储器)、EPROM(EraSableProgrammable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(ElectricallyEraSable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。可以是只读存储器，磁盘或光盘等。

本发明实施例还提供一种终端，所述终端包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任意一项所述的图片三维姿态标注方法。

如图13所示，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该终端可以为包括手机、平板电脑、PDA(PersonalDigital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、服务器等任意终端设备，以终端为手机为例：

图13示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图13，手机包括：射频(Radio Frequency，RF)电路1510、存储器1520、输入单元1530、显示单元1540、传感器1550、音频电路1560、无线保真(wireless fidelity，Wi-Fi)模块1570、处理器1580、以及电源1590等部件。本领域技术人员可以理解，图13中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图13对手机的各个构成部件进行具体的介绍：

RF电路1510可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1580处理；另外，将设计上行的数据发送给基站。通常，RF电路1510包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，LNA)、双工器等。此外，RF电路1510还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。

存储器1520可用于存储软件程序以及模块，处理器1580通过运行存储在存储器1520的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如图片三维姿态标注程序等)等；存储数据区可存储根据手机的使用所创建的数据(比如图片、三维模型等)等。此外，存储器1520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元1530可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1530可包括触控面板1531以及其他输入设备1532。触控面板1531，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1531上或在触控面板1531附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1531可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1580，并能接收处理器1580发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1531。除了触控面板1531，输入单元1530还可以包括其他输入设备1532。具体地，其他输入设备1532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元1540可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1540可包括显示面板1541，可选的，可以采用液晶显示器(LiquidCrystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1541。进一步的，触控面板1531可覆盖显示面板1541，当触控面板1531检测到在其上或附近的触摸操作后，传送给处理器1580以确定触摸事件的类型，随后处理器1580根据触摸事件的类型在显示面板1541上提供相应的视觉输出。虽然在图13中，触控面板1531与显示面板1541是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1531与显示面板1541集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器1550，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1541的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1541和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路1560、扬声器1561，传声器1562可提供用户与手机之间的音频接口。音频电路1560可将接收到的音频数据转换后的电信号，传输到扬声器1561，由扬声器1561转换为声纹信号输出；另一方面，传声器1562将收集的声纹信号转换为电信号，由音频电路1560接收后转换为音频数据，再将音频数据输出处理器1580处理后，经RF电路1510以发送给比如另一手机，或者将音频数据输出至存储器1520以便进一步处理。

Wi-Fi属于短距离无线传输技术，手机通过Wi-Fi模块1570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图13示出了Wi-Fi模块1570，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器1580是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1520内的软件程序和/或模块，以及调用存储在存储器1520内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1580可包括一个或多个处理单元；优选的，处理器1580可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1580中。

手机还包括给各个部件供电的电源1590(比如电池)，优选的，电源可以通过电源管理系统与处理器1580逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

应该理解的是，在本发明各实施例中的各功能单元可集成在一个处理模块中，也可以各个单元单独物理存在，也可以两个或两个以上单元集成于一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种图片三维姿态标注方法，其特征在于，包括：

获取并显示待标注图片和所述待标注图片对应的三维模型；

获取调整三维模型姿态的调整指令；

根据所述调整指令对所述三维模型进行姿态调整，将调整后的所述三维模型的姿态信息作为所述待标注图片的姿态标注信息。

2.根据权利要求1所述的方法，其特征在于，所述三维模型位于XYZ坐标系中，所述调整指令包括：

使所述三维模型绕X轴正向或反向转动的第一组调整指令，和/或

使所述三维模型绕Y轴正向或反向转动的第二组调整指令，和/或

使所述三维模型绕Z轴正向或反向转动的第三组调整指令。

3.根据权利要求2所述的方法，其特征在于，所述获取调整所述三维模型姿态的调整指令，包括：

获取所述第一组调整指令，所述第一组调整指令包括绕X轴正向转动的第一正向指令、对应于该第一正向指令的第一正向转动角度，以及绕X轴反向转动的第一反向指令、对应于该第一反向指令的第一反向转动角度；和/或

获取所述第二组调整指令，所述第二组调整指令包括绕Y轴正向转动的第二正向指令、对应于该第二正向指令的第二正向转动角度，以及绕Y轴反向转动的第二反向指令、对应于该第二反向指令的第二反向转动角度；和/或

获取所述第三组调整指令，所述第三组调整指令包括绕Z轴正向转动的第三正向指令、对应于该第三正向指令的第三正向转动角度，以及绕Z轴反向转动的第三反向指令、对应于该第三反向指令的第三反向转动角度。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述调整指令对所述三维模型进行姿态调整，将调整后的所述三维模型的姿态信息作为所述待标注图片的姿态标注信息之后，还包括：将所述姿态信息与所述图片关联存储。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述三维模型的姿态信息包括三维模型的章动角、旋进角、自转角中的一个或多个。

6.根据权利要求1-3任一项所述的方法，其特征在于，所述获取并显示待标注图片和所述待标注图片对应的三维模型之后，获取调整所述三维模型姿态的调整指令之前，还包括：

获取所述待标注图片的面部特征信息，根据所述面部特征信息生成五官关联信息；

根据所述五官关联信息，预判所述待标注图片的姿态；

根据所述待标注图片的姿态，调整所述三维模型的姿态。

7.根据权利要求1-3任一项所述的方法，其特征在于，所述获取并显示待标注图片和所述待标注图片对应的三维模型之后，还包括：

识别所述待标注图片中的若干个二维人脸特征点，显示所述若干个二维人脸特征点之间的目标位置关系；

识别所述三维模型中的多个三维人脸特征点，显示所述多个三维人脸特征点之间的平面位置关系；

所述根据所述调整指令对所述三维模型进行姿态调整，将调整后的所述三维模型的姿态信息作为所述待标注图片的姿态标注信息，包括：

根据所述调整指令对所述三维模型进行姿态调整；

获取调整结束指令，判断当前所述三维模型的平面位置关系与所述待标注图片的目标位置关系是否位于预设误差之内；

若是，则将调整后的所述三维模型的姿态信息作为所述待标注图片的姿态标注信息；

若否，则发出提示信息。

8.一种图片三维姿态标注装置，其特征在于，该装置包括：

获取模块，用于获取并显示待标注图片和所述待标注图片对应的三维模型；

调整模块，用于获取调整三维模型姿态的调整指令；

标注模块，用于根据所述调整指令对所述三维模型进行姿态调整，将调整后的所述三维模型的姿态信息作为所述待标注图片的姿态标注信息。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任意一项所述的图片三维姿态标注方法。

10.一种终端，其特征在于，所述终端包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至7中任意一项所述的图片三维姿态标注方法。

Images