CN105426925A - 图像标注方法和电子设备 - Google Patents

Abstract

本发明提供一种图像标注方法和电子设备。所述方法包括：获取要标注的第一图像；获取与所述第一图像相关的多种不同类型的信息，所述多种不同类型的信息的每种用于标注所述第一图像涉及的一个或多个抽象概念类型；根据获取的所述多种类型的信息对所述第一图像的抽象概念类型执行概率推测，以获得所述第一图像的每个抽象概念类型的概率分布；确定每个抽象概念类型之间的相关性；以及根据确定的相关性，最大化各个抽象概念类型的联合概率，从而确定所述第一图像的标注结果。

Description

图像标注方法和电子设备

技术领域

本申请涉及图像标注方法和电子设备。

背景技术

目前，随着具有照相功能的便携式设备(如智能手机、平板电脑等)的普及，数字图像的数量增长迅速。对这些图像进行标注的丰富性和准确性，关系到用户对图像的检索、整理分类等多种操作的效率。

传统的图像标注技术主要集中在利用图像的视觉信息或相机拍照时的一些参数对图像进行标注。然而，当涉及到图像抽象概念(如吃饭、出差、合影等)的标注时，基于视觉和相机参数等少量信息，很难对图像做出准确而全面的描述。

为此，期望提供一种图像标注方法和电子设备，其使得用户能够准确地用多模态信息标注图像，从而提高用户的使用体验。

发明内容

根据本发明的实施例，提供了一种图像标注方法，包括：

获取要标注的第一图像；

获取与所述第一图像相关的多种不同类型的信息，所述多种不同类型的信息的每种用于标注所述第一图像涉及的一个或多个抽象概念类型；

根据获取的所述多种类型的信息对所述第一图像的抽象概念类型执行概率推测，以获得所述第一图像的每个抽象概念类型的概率分布；以及

确定每个抽象概念类型之间的相关性；

根据确定的相关性，最大化各个抽象概念类型的联合概率，从而确定所述第一图像的标注结果。

可选地，获取与所述第一图像相关的多种不同类型的信息进一步包括：

获取所述第一图像的视觉信息；以及

根据获取的所述多种类型的信息对所述第一图像的抽象概念类型执行概率推测，以获得所述第一图像的每个抽象概念类型的概率分布进一步包括：

根据获取的所述第一图像的视觉信息，利用视觉分类模型对所述第一图像的抽象概念类型执行概率推测，所述视觉分类模型通过提取多个图像的视觉特征并进行场景类别训练获得；

获得所述第一图像属于各种场景类别的概率分布。

可选地，获取与所述第一图像相关的多种不同类型的信息进一步包括：

获取拍摄所述第一图像的时间信息以及拍摄所述第一图像的地理位置信息；以及

根据获取的所述多种类型的信息对所述第一图像的抽象概念类型执行概率推测，以获得所述第一图像的每个抽象概念类型的概率分布进一步包括：

根据获取的所述第一图像的时间信息和地理位置信息，利用事件记录信息对所述第一图像的抽象概念类型执行概率推测，所述事件记录信息从与用户相关的信息源获取；以及

获得所述第一图像属于不同事件的概率分布。

可选地，获取与所述第一图像相关的多种不同类型的信息进一步包括：

获取拍摄所述第一图像的时间信息、拍摄所述第一图像时当地的天气状况信息以及是否使用闪光灯的信息；以及

根据获取的所述多种类型的信息对所述第一图像的抽象概念类型执行概率推测，以获得所述第一图像的每个抽象概念类型的概率分布进一步包括：

根据拍摄所述第一图像的时间信息、所述第一图像时当地的天气状况信息以及是否使用闪光灯的信息，对所述第一图像的抽象概念类型执行概率推测；以及

获得所述第一图像的拍摄环境的概率分布。

可选地，获取与所述第一图像相关的多种不同类型的信息进一步包括：

获取所述第一图像中人物数量的信息、第一图像中人物排列的信息；以及

根据获取的所述多种类型的信息对所述第一图像的抽象概念类型执行概率推测，以获得所述第一图像的每个抽象概念类型的概率分布进一步包括：

根据所述第一图像中人物数量的信息、第一图像中人物排列的信息对所述第一图像的抽象概念类型执行概率推测；以及

获得所述第一图像的拍摄类别的概率分布。

可选地，获取与所述第一图像相关的多种不同类型的信息进一步包括：

获取拍摄所述第一图像时的环境音频信息；以及

根据获取的所述多种类型的信息对所述第一图像的抽象概念类型执行概率推测，以获得所述第一图像的每个抽象概念类型的概率分布进一步包括：

对获取的拍摄所述第一图像时的环境音频信息执行音频分析处理，获得环境音频的频率和幅度，根据获得的环境音频的频率和幅度对所述第一图像的抽象概念类型执行概率推测；以及

获得所述第一图像的周围环境的概率分布。

可选地，确定每个抽象概念类型之间的相关性进一步包括：

获取与所述第一图像相关联的多个图像；

针对获取的多个图像，按照所述一个或多个抽象概念类型的信息进行数量统计；以及

根据统计结果计算不同类型的信息之间的相关性。

可选地，根据确定的相关性，最大化各个抽象概念类型的联合概率，从而确定所述第一图像的标注结果进一步包括：

根据获得的所述第一图像的每个抽象概念类型的概率分布，根据计算的不同类型的信息之间的相关性，最大化各个抽象概念类型的联合概率，从而确定所述第一图像的标注结果。

根据本发明另一实施例，提供了一种电子设备，包括：

图像获取单元，配置为获取要标注的第一图像；

相关信息获取单元，配置为获取与所述第一图像相关的多种不同类型的信息，所述多种不同类型的信息的每种用于标注所述第一图像涉及的一个或多个抽象概念类型；

概率确定单元，配置为根据获取的所述多种类型的信息对所述第一图像的抽象概念类型执行概率推测，以获得所述第一图像的每个抽象概念类型的概率分布；以及

相关性确定单元，配置为确定每个抽象概念类型之间的相关性；

标注单元，配置为根据确定的相关性，最大化各个抽象概念类型的联合概率，从而确定所述第一图像的标注结果。

可选地，所述图像获取单元进一步配置为：

获取所述第一图像的视觉信息；以及

所述概率确定单元进一步配置为：

根据获取的所述第一图像的视觉信息，利用视觉分类模型对所述第一图像的抽象概念类型执行概率推测，所述视觉分类模型通过提取多个图像的视觉特征并进行场景类别训练获得；以及

获得所述第一图像属于各种场景类别的概率分布。

可选地，所述相关信息获取单元进一步配置为：

获取拍摄所述第一图像的时间信息以及拍摄所述第一图像的地理位置信息；以及

所述概率确定单元进一步配置为：

根据获取的所述第一图像的时间信息和地理位置信息，利用事件记录信息对所述第一图像的抽象概念类型执行概率推测，所述事件记录信息从与用户相关的信息源获取；以及

获得所述第一图像属于不同事件的概率分布。

可选地，所述相关信息获取单元进一步配置为：

获取拍摄所述第一图像的时间信息、拍摄所述第一图像时当地的天气状况信息以及是否使用闪光灯的信息；以及

所述概率确定单元进一步配置为：

根据拍摄所述第一图像的时间信息、所述第一图像时当地的天气状况信息以及是否使用闪光灯的信息，对所述第一图像的抽象概念类型执行概率推测；以及

获得所述第一图像的拍摄环境的概率分布。

可选地，所述相关信息获取单元进一步配置为：

获取所述第一图像中人物数量的信息、第一图像中人物排列的信息；以及

所述概率确定单元进一步配置为：

根据所述第一图像中人物数量的信息、第一图像中人物排列的信息对所述第一图像的抽象概念类型执行概率推测；

获得所述第一图像的拍摄类别的概率分布。

可选地，所述相关信息获取单元进一步配置为：

获取拍摄所述第一图像时的环境音频信息；以及

所述概率确定单元进一步配置为：

对获取的拍摄所述第一图像时的环境音频信息执行音频分析处理，获得环境音频的频率和幅度，根据获得的环境音频的频率和幅度对所述第一图像的抽象概念类型执行概率推测；

获得所述第一图像的周围环境的概率分布。

可选地，所述相关性确定单元进一步配置为：

获取与所述第一图像相关联的多个图像；

针对获取的多个图像，按照所述一个或多个抽象概念类型的信息进行数量统计；以及

根据统计结果计算不同类型的信息之间的相关性。

可选地，所述标注单元进一步配置为：

根据获得的所述第一图像的每个抽象概念类型的概率分布，根据计算的不同类型的信息之间的相关性，最大化各个抽象概念类型的联合概率，从而确定所述第一图像的标注结果。

因此，根据本发明实施例的图像标注方法和电子设备，使得用户能够用多模态信息准确地标注图像，从而提高用户的使用体验。

附图说明

图1是图示根据本发明第一实施例的图像标准方法的流程图；

图2是图示根据本发明第一实施例的确定相关性的流程图；

图3A-3D是图示根据本发明第一实施例的图像标准方法的示例；

图4是图示根据本发明第一实施例的图像标准方法的应用示例；以及

图5是图示根据本发明第二实施例的电子设备的功能配置框图。

具体实施方式

下面，将参考附图详细描述根据本发明实施例的图像标注方法和电子设备。

根据本发明实施例的图像标注方法应用于任何电子设备中，例如，智能手机、平板电脑、Pad电脑等等，只要该电子设备能够执行计算功能。在本实施例中，以智能手机作为电子设备的例子进行描述。

<第一实施例>

如图1所示，根据本发明的实施例的图像标注方法包括：

步骤S101：获取要标注的第一图像；

步骤S102：获取与所述第一图像相关的多种不同类型的信息，所述多种不同类型的信息的每种用于标注所述第一图像涉及的一个或多个抽象概念类型；

步骤S103：根据获取的所述多种类型的信息对所述第一图像的抽象概念类型执行概率推测，以获得所述第一图像的每个抽象概念类型的概率分布；

步骤S104：确定每个抽象概念类型之间的相关性；

步骤S105：根据确定的相关性，最大化各个抽象概念类型的联合概率，从而确定所述第一图像的标注结果。

具体地，在步骤S101中，用户可以利用智能手机的相机拍照获取图像，也可以通过有线或无线连接方式从其它图像源获取图像。

例如，当用户参加朋友婚礼时，他可能使用智能手机拍摄多张图像，或者事后他可以通过网络接收其它人发送的婚礼图像或者下载其它人在网络上分享的婚礼图像。由于用户拍摄或接收了大量的婚礼图像，用户希望对这些图像进行更丰富和准确的标注，以便提高今后用户对图像检索、整理分类等多种操作的效率。

现有的标注方法中，通常使用日期或数字标注图像，用户在看到这些标注时无法方便获知图像的内容或当时的环境。

因此，在步骤S102中，可以获取与所述第一图像相关的多种不同类型的信息，所述多种不同类型的信息的每种用于标注所述第一图像涉及的一个或多个抽象概念类型。

也就是说，在根据本实施例的图像标注方法中，通过多种方式获取要标注的图像的多模态信息。例如，可以通过智能手机内部的多种传感器和通信网络等获取多模态信息。

在获取了多种模态的信息之后，在步骤S103中，可以根据获取的所述多种类型的信息对所述第一图像的抽象概念类型执行概率推测，以获得所述第一图像的每个抽象概念类型的概率。

具体地，在一个实施例中，可以获取所述第一图像的视觉信息。例如，可以对第一图像执行图像识别，以确定第一图像属于哪些常见场景类别，例如，人物、自然风光、道路、建筑、办公室、家居等。

然后，根据获取的所述第一图像的视觉信息，利用视觉分类模型对所述第一图像的抽象概念类型执行概率推测，所述视觉分类模型通过提取多个图像的视觉特征并进行场景类别训练获得。

具体地，例如，对于常见场景，可以从诸如Flickr等的图像社交网站上下载多种图像数据，提取视觉特征并按照常见场景类别(如自然风光，道路，建筑等)对这些类别分别训练视觉分类模型f(C_k|I)。然后，利用该模型可以得到每张测试图片(即，第一图像)属于某一类的概率P(C_k|I)＝f(C_k|I)。

在另一实施例中，可以获取拍摄所述第一图像的时间信息以及拍摄所述第一图像的地理位置信息。例如，可以通过智能手机中的时间模块获取拍摄所述第一图像的时间信息。此外，还可以利用智能手机中的GPS模块或网络模块等确定拍摄所述第一图像的地理位置信息。

根据获取的所述第一图像的时间信息和地理位置信息，利用事件记录信息对所述第一图像的抽象概念类型执行概率推测，所述事件记录信息从与用户相关的信息源获取。然后获得所述第一图像属于不同事件的概率分布。例如，可以根据当前时间和地点，在智能手机的日历、邮件箱、短信中搜索相关的会议或其他活动信息，从而推测当前发生的事件，即日程安排里的事件发生的概率很高。

具体地，对于事件类别，令日历、邮件箱、短信中事件中的集合C＝{C₁，C₂，...，C_K}，这里K表示总的事件的数量，每一个事件E_k有相应的时间t_k和GPS地点信息g_k共同表示，即C_k＝(t_k，g_k)。这里，时间表示为Unix时间而地理位置信息用经纬度表示这里和λ_k分别为坐标的纬度和经度。对于当前从手机获得的时间信息t和g，可以通过求如下式子求得属于某一个事件的概率：

P(C_k|t，g)＝αS_t(t，t_k)＋(1-α)S_g(g，g_k)

这里α为权重系数，在没有任何先验的情况下，例如可以设置为0.5。S_t(t，t_k)和S_g(g，g_k)分别表示时间之间的相似度和地理位置之间的相似度。时间的相似度表示为两个时间点差值的绝对值，即

S_t(t，t_k)＝|t-t_k|

而地理位置的相似性通过如下公式求得

S_g(g，g_k)＝rad×(A+B)

其中rad表示地球半径。

利用上述式子我们可以得到当前发生事件的概率P(C_k|t，g)。

对于带有GPS信息和拍摄时间信息的图片集，同样可以根据以上方法求得每一张图片属于某一个事件的概率P(C_k|t_I，g_I)，这里t_I，g_I分别为图片对应的拍摄时间信息和地理位置GPS信息。

在另一实施例中，可以获取拍摄所述第一图像的时间信息、拍摄所述第一图像时当地的天气状况信息以及是否使用闪光灯的信息。例如，可以通过网络获取拍照时当地的天气状况信息。

然后，根据拍摄所述第一图像的时间信息、所述第一图像时当地的天气状况信息以及是否使用闪光灯的信息，对所述第一图像的抽象概念类型执行概率推测。

具体地，对于户外和户内场景，令拍摄环境类别C＝{C₁，C₂}，其中C₁表示户外，C₂表示室内。拍摄时间t，下载到的天气信息w，是否开启闪光灯s，可以通过确定P(C_k|t，w，s)来推断当前用户在户外或者室内的概率。这里k＝{1，2}。

可以预先确定每一种模态信息下用户在户外或者户内的可能性。具体来说从相关的天气预报网站得到近一年每一天的天气预报与推荐户外运动的程度，比如某一天晴天和微风，该天气预报网站推荐很适合户外运动，则用户在这种天气情况下在户外的可能性比较大，将相应的概率值P(w)设定高一些，同时要求所有天气情况下对应的概率值之和为1.值越大，越适合户外；而值越小越适合室内。

根据当前用户拍摄图片的时间，可以确定某一时间段内可能在户外的可能性。具体来说，可以将一天划分为24个时间段，预先设定每一时间段可能在户外的可能性，比如晚上9:00则可能在室内等，则P(t)的值小一些；反则如果在下午2:00则可能在室外，此时P(t)则可能大一些，这样可以得到每个时间段内的概率P(t)，同样要求所有时间段的概率值之和为1。

最后对于是否开闪光灯，如果不开闪光灯，有可能光线比较好，在户外的概率大些，P(s)值较大一些；而开闪光灯，此时在室内的概率值可能大一些，此时P(t)较小一些。两者概率之和同样为1.其次，根据每种模态信息定的概率值，可以通过如下式子求出当前用户在室内或者室外的概率。

P(C_k|t，w，s)＝αP(w)+βP(t)+(1-α-β)P(s)

其中α和β为权重系数。

对于图片集，同样可以通过EXIF信息得到时间信息和是否开闪光灯，根据时间信息可以获得当天的天气情况。根据以上方法求得每一张图片属于户外或者户内的概率P(C_k|t_I，s_I，w_I)这里t_I，s_I，w_I为图片对应的拍摄时间信息，是否开闪光灯以及当时的天气情况。通过以上步骤可以得到每张图像属于某种抽象概念(活动、场景和事件等)的概率P(C_k|I)。

在另一实施例中，可以获取所述第一图像中人物数量的信息、第一图像中人物排列的信息。然后，可以根据所述第一图像中人物数量的信息、第一图像中人物排列的信息对所述第一图像的抽象概念类型执行概率推测，并且获得所述第一图像的拍摄类别的概率分布。

在另一实施例中，可以获取拍摄所述第一图像时的环境音频信息。例如，可以通过智能手机的麦克风获取环境音频信息。然后，对获取的拍摄所述第一图像时的环境音频信息执行音频分析处理，获得环境音频的频率和幅度，根据获得的环境音频的频率和幅度对所述第一图像的抽象概念类型执行概率推测，并且获得所述第一图像的周围环境的概率分布。

上面的这些模态的信息只是示例，用户可以使用智能手机内部的各个传感器去获取有用的信息，并且可以通过网络等获取任何可用的信息。此外，获取的可用信息可以任意地组合以便进行标注。

然后，在步骤S104中，可以确定每个抽象概念类型之间的相关性。

在一个示例中，确定每个抽象概念类型之间的相关性的方法包括：

步骤S201：获取与第一图像相关联的多个图像；

步骤S202：针对获取的多个图像，按照所述一个或多个抽象概念类型的信息进行数量统计；以及

步骤S203：根据统计结果计算不同类型的信息之间的相关性。

下面，将结合图3A-3D描述根据本发明实施例的确定相关性的方法。

在步骤S201中，可以获取与第一图像相关联的多个图像。例如，在步骤S201中，可以获取如图3A-3D所示的照片作为第一图像相关联的多个图像。

然后，在步骤S202中，可以针对获取的多个图像，按照所述一个或多个抽象概念类型的信息进行数量统计。

例如，利用图片中标注的类别标签的共生关系得到这些类别标签的相关性。假定训练样本集中共有4类概念，即C₁：牛，C₂：草地，C₃：运动员和C₄：跑道。

最后，在步骤S203中，可以根据统计结果计算不同类型的信息之间的相关性。

如图3A-3D标注的四张图片，从中可以发现牛和草地共同出现的次数最多，因而这两类概念的相关性R(C₁，C₂)也较高。这里R(C₁，C₂)表示为训练集中概念C₁和C₂同时出现在一幅图片中的次数。

最后，在步骤S105中，根据确定的相关性，最大化各个抽象概念类型的联合概率，从而确定所述第一图像的标注结果。

具体地，在步骤S105中，可以根据获得的所述第一图像的每个抽象概念类型的概率分布，根据计算的不同类型的信息之间的相关性，最大化各个抽象概念类型的联合概率，从而确定所述第一图像的标注结果。

如图4所示，对于给定的一张测试图片I，利用之前得到的每张图片属于每一类概念的概率P(C_k|I)，这里k＝{1，2，3，4}。再根据这些抽象概念之间的相关性R(C₁，C₂)，最大化各概念的联合概率来确定最终的多标签标准结果。

例如图4中的测试图片。由于在该图片下对应的概念C₁和C₂的概率P(C₁|I)和P(C₂|I)最高，同时利用这两类概念的相关性R(C₁，C₂)通过下式求得他们之间的联合概率P(C₁，C₂)，

$P(C_1,C_2)=\frac{R(C_1,C_2)}{S\left(C_1\right)S\left(C_2\right)}$

这里S(C₁)表示训练集中所有出现概念C₁的图片数量，S(C₂)表示训练集中所有出现概念C₂的图片数量。

据此算出这两类概念的联合概率也最高，因此，可以通过如下公式求得该图片同时属于概念C₁和C₂的概率

P(C_i，C_j|I)＝P(C_i，C_j)P(C_i|I)P(C_j|I)

这里i＝{1，2，3，4}，j＝{1，2，3，4}，且i≠j。

最终求得P(C₁，C₂|I)也最高，最终该图片的标注为牛和草地。该技术同样适用于更多标签的情况。

根据本发明实施例的图像标注方法，使得用户能够用多模态信息准确地标注图像，从而提高用户的使用体验。

<第二实施例>

下面将参考图5描述根据本发明实施例的电子设备。这样的电子设备可以是任何电子设备，如智能手机、平板电脑、Pad电脑等等，只要该电子设备具有计算能力。

如图5所示，根据本发明实施例的电子设备500包括：

根据本发明实施例的电子设备500包括：

图像获取单元501，配置为获取要标注的第一图像；

相关信息获取单元502，配置为获取与所述第一图像相关的多种不同类型的信息，所述多种不同类型的信息的每种用于标注所述第一图像涉及的一个或多个抽象概念类型；

概率确定单元503，配置为根据获取的所述多种类型的信息对所述第一图像的抽象概念类型执行概率推测，以获得所述第一图像的每个抽象概念类型的概率分布；以及

相关性确定单元504，配置为确定每个抽象概念类型之间的相关性；

标注单元505，配置为根据确定的相关性，最大化各个抽象概念类型的联合概率，从而确定所述第一图像的标注结果。

可选地，所述图像获取单元501进一步配置为：

获取所述第一图像的视觉信息；以及

所述概率确定单元503进一步配置为：

根据获取的所述第一图像的视觉信息，利用视觉分类模型对所述第一图像的抽象概念类型执行概率推测，所述视觉分类模型通过提取多个图像的视觉特征并进行场景类别训练获得；以及

获得所述第一图像属于各种场景类别的概率分布。

可选地，所述相关信息获取单元502进一步配置为：

获取拍摄所述第一图像的时间信息以及拍摄所述第一图像的地理位置信息；以及

所述概率确定单元503进一步配置为：

根据获取的所述第一图像的时间信息和地理位置信息，利用事件记录信息对所述第一图像的抽象概念类型执行概率推测，所述事件记录信息从与用户相关的信息源获取；以及

获得所述第一图像属于不同事件的概率分布。

可选地，所述相关信息获取单元502进一步配置为：

获取拍摄所述第一图像的时间信息、拍摄所述第一图像时当地的天气状况信息以及是否使用闪光灯的信息；以及

所述概率确定单元503进一步配置为：

根据拍摄所述第一图像的时间信息、所述第一图像时当地的天气状况信息以及是否使用闪光灯的信息，对所述第一图像的抽象概念类型执行概率推测；以及

获得所述第一图像的拍摄环境的概率分布。

可选地，所述相关信息获取单元502进一步配置为：

获取所述第一图像中人物数量的信息、第一图像中人物排列的信息；以及

所述概率确定单元503进一步配置为：

根据所述第一图像中人物数量的信息、第一图像中人物排列的信息对所述第一图像的抽象概念类型执行概率推测；

获得所述第一图像的拍摄类别的概率分布。

可选地，所述相关信息获取单元502进一步配置为：

获取拍摄所述第一图像时的环境音频信息；以及

所述概率确定单元503进一步配置为：

对获取的拍摄所述第一图像时的环境音频信息执行音频分析处理，获得环境音频的频率和幅度，根据获得的环境音频的频率和幅度对所述第一图像的抽象概念类型执行概率推测；

获得所述第一图像的周围环境的概率分布。

可选地，所述相关性确定单元504进一步配置为：

获取与所述第一图像相关联的多个图像；

针对获取的多个图像，按照所述一个或多个抽象概念类型的信息进行数量统计；以及

根据统计结果计算不同类型的信息之间的相关性。

可选地，所述标注单元505进一步配置为：

根据获得的所述第一图像的每个抽象概念类型的概率分布，根据计算的不同类型的信息之间的相关性，最大化各个抽象概念类型的联合概率，从而确定所述第一图像的标注结果。

因此，根据本发明实施例的电子设备，使得用户能够用多模态信息准确地标注图像，从而提高用户的使用体验。

需要注意的是，上面的实施例仅仅是用作示例，本发明不限于这样的示例，而是可以进行各种变化。

需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM(只读存储器)/RAM(随机存取存储器)、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (16)

1.一种图像标注方法，包括：

获取要标注的第一图像；

获取与所述第一图像相关的多种不同类型的信息，所述多种不同类型的信息的每种用于标注所述第一图像涉及的一个或多个抽象概念类型；

根据获取的所述多种类型的信息对所述第一图像的抽象概念类型执行概率推测，以获得所述第一图像的每个抽象概念类型的概率分布；

确定每个抽象概念类型之间的相关性；以及

根据确定的相关性，最大化各个抽象概念类型的联合概率，从而确定所述第一图像的标注结果。

2.如权利要求1所述的方法，其中，获取与所述第一图像相关的多种不同类型的信息进一步包括：

获取所述第一图像的视觉信息；以及

根据获取的所述多种类型的信息对所述第一图像的抽象概念类型执行概率推测，以获得所述第一图像的每个抽象概念类型的概率分布进一步包括：

根据获取的所述第一图像的视觉信息，利用视觉分类模型对所述第一图像的抽象概念类型执行概率推测，所述视觉分类模型通过提取多个图像的视觉特征并进行场景类别训练获得；以及

获得所述第一图像属于各种场景类别的概率分布。

3.如权利要求1所述的方法，其中，获取与所述第一图像相关的多种不同类型的信息进一步包括：

获取拍摄所述第一图像的时间信息以及拍摄所述第一图像的地理位置信息；以及

根据获取的所述多种类型的信息对所述第一图像的抽象概念类型执行概率推测，以获得所述第一图像的每个抽象概念类型的概率分布进一步包括：

根据获取的所述第一图像的时间信息和地理位置信息，利用事件记录信息对所述第一图像的抽象概念类型执行概率推测，所述事件记录信息从与用户相关的信息源获取；以及

获得所述第一图像属于不同事件的概率分布。

4.如权利要求1所述的方法，其中，获取与所述第一图像相关的多种不同类型的信息进一步包括：

获取拍摄所述第一图像的时间信息、拍摄所述第一图像时当地的天气状况信息以及是否使用闪光灯的信息；以及

根据获取的所述多种类型的信息对所述第一图像的抽象概念类型执行概率推测，以获得所述第一图像的每个抽象概念类型的概率分布进一步包括：

根据拍摄所述第一图像的时间信息、所述第一图像时当地的天气状况信息以及是否使用闪光灯的信息，对所述第一图像的抽象概念类型执行概率推测；以及

获得所述第一图像的拍摄环境的概率分布。

5.如权利要求1所述的方法，其中，获取与所述第一图像相关的多种不同类型的信息进一步包括：

获取所述第一图像中人物数量的信息、第一图像中人物排列的信息；以及

根据获取的所述多种类型的信息对所述第一图像的抽象概念类型执行概率推测，以获得所述第一图像的每个抽象概念类型的概率分布进一步包括：

根据所述第一图像中人物数量的信息、第一图像中人物排列的信息对所述第一图像的抽象概念类型执行概率推测；以及

获得所述第一图像的拍摄类别的概率分布。

6.如权利要求1所述的方法，其中，获取与所述第一图像相关的多种不同类型的信息进一步包括：

获取拍摄所述第一图像时的环境音频信息；以及

根据获取的所述多种类型的信息对所述第一图像的抽象概念类型执行概率推测，以获得所述第一图像的每个抽象概念类型的概率分布进一步包括：

对获取的拍摄所述第一图像时的环境音频信息执行音频分析处理，获得环境音频的频率和幅度，根据获得的环境音频的频率和幅度对所述第一图像的抽象概念类型执行概率推测；以及

获得所述第一图像的周围环境的概率分布。

7.如权利要求1到6的任一所述的方法，其中，确定每个抽象概念类型之间的相关性进一步包括：

获取与所述第一图像相关联的多个图像；

针对获取的多个图像，按照所述一个或多个抽象概念类型的信息进行数量统计；以及

根据统计结果计算不同类型的信息之间的相关性。

8.如权利要求7所述的方法，其中，根据确定的相关性，最大化各个抽象概念类型的联合概率，从而确定所述第一图像的标注结果进一步包括：

根据获得的所述第一图像的每个抽象概念类型的概率分布，根据计算的不同类型的信息之间的相关性，最大化各个抽象概念类型的联合概率，从而确定所述第一图像的标注结果。

9.一种电子设备，包括：

图像获取单元，配置为获取要标注的第一图像；

相关信息获取单元，配置为获取与所述第一图像相关的多种不同类型的信息，所述多种不同类型的信息的每种用于标注所述第一图像涉及的一个或多个抽象概念类型；

概率确定单元，配置为根据获取的所述多种类型的信息对所述第一图像的抽象概念类型执行概率推测，以获得所述第一图像的每个抽象概念类型的概率分布；以及

相关性确定单元，配置为确定每个抽象概念类型之间的相关性；

标注单元，配置为根据确定的相关性，最大化各个抽象概念类型的联合概率，从而确定所述第一图像的标注结果。

10.如权利要求9所述的电子设备，其中，所述图像获取单元进一步配置为：

获取所述第一图像的视觉信息；以及

所述概率确定单元进一步配置为：

根据获取的所述第一图像的视觉信息，利用视觉分类模型对所述第一图像的抽象概念类型执行概率推测，所述视觉分类模型通过提取多个图像的视觉特征并进行场景类别训练获得；以及

获得所述第一图像属于各种场景类别的概率分布。

11.如权利要求9所述的电子设备，其中，所述相关信息获取单元进一步配置为：

获取拍摄所述第一图像的时间信息以及拍摄所述第一图像的地理位置信息；以及

所述概率确定单元进一步配置为：

根据获取的所述第一图像的时间信息和地理位置信息，利用事件记录信息对所述第一图像的抽象概念类型执行概率推测，所述事件记录信息从与用户相关的信息源获取；以及

获得所述第一图像属于不同事件的概率分布。

12.如权利要求9所述的电子设备，其中，所述相关信息获取单元进一步配置为：

获取拍摄所述第一图像的时间信息、拍摄所述第一图像时当地的天气状况信息以及是否使用闪光灯的信息；以及

所述概率确定单元进一步配置为：

根据拍摄所述第一图像的时间信息、所述第一图像时当地的天气状况信息以及是否使用闪光灯的信息，对所述第一图像的抽象概念类型执行概率推测；以及

获得所述第一图像的拍摄环境的概率分布。

13.如权利要求9所述的电子设备，其中，所述相关信息获取单元进一步配置为：

获取所述第一图像中人物数量的信息、第一图像中人物排列的信息；以及

所述概率确定单元进一步配置为：

根据所述第一图像中人物数量的信息、第一图像中人物排列的信息对所述第一图像的抽象概念类型执行概率推测；

获得所述第一图像的拍摄类别的概率分布。

14.如权利要求9所述的电子设备，所述相关信息获取单元进一步配置为：

获取拍摄所述第一图像时的环境音频信息；以及

所述概率确定单元进一步配置为：

对获取的拍摄所述第一图像时的环境音频信息执行音频分析处理，获得环境音频的频率和幅度，根据获得的环境音频的频率和幅度对所述第一图像的抽象概念类型执行概率推测；

获得所述第一图像的周围环境的概率分布。

15.如权利要求9到14的任一所述的电子设备，其中，所述相关性确定单元进一步配置为：

获取与所述第一图像相关联的多个图像；

针对获取的多个图像，按照所述一个或多个抽象概念类型的信息进行数量统计；以及

根据统计结果计算不同类型的信息之间的相关性。

16.如权利要求15所述的电子设备，其中，所述标注单元进一步配置为：

根据获得的所述第一图像的每个抽象概念类型的概率分布，根据计算的不同类型的信息之间的相关性，最大化各个抽象概念类型的联合概率，从而确定所述第一图像的标注结果。