CN109671137B - 一种图片配文字的方法、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种图片配文字的方法，包括：识别步骤，获取需配文字的图像，根据预设的图像识别模型识别判断图像中的场景、主体及主体特征信息，得到图像识别结果；配文步骤，根据图像识别结果，查询获取配文关系库中包含图像识别结果信息的关联文字配文，提取关联度最高的若干条文字配文反馈给用户。本发明还提供了一种电子设备及存储介质，本发明的一种图片配文字的方法、电子设备及存储介质，通过预设配文关系库，后续在图像配文过程中，通过获取待配文图像的特征信息，比对配文关系库提取与待配文图像特征信息关联的文字配文反馈给用户，实现对图片匹配适当的文字内容，使得文字能够较好衬托出图像的意境，增加分享和留存图像纪念的乐趣。

Description

一种图片配文字的方法、电子设备及存储介质

技术领域

本发明涉及一种图文分析处理领域，尤其涉及一种图片配文字的方法、电子设备及存储介质。

背景技术

随着科技的发展和人们生活水平的提高，数码相机、手机相机等拍摄设备越来越普及，越来越多的用户可以通过拍照的方式留下生活中的精彩瞬间。从旅游时的风景留念到自拍晒图，人们都想拍出美好的照片。并且，随着图片编辑软件、拍摄软件的普及，使得越来越多的人开始将在拍摄的照片上进行编辑，配上文字保存以作纪念，或发布在社交网络上与家人、朋友进行分享。显然，这种通过自主编辑文字以配合照片意境的方式，可以使得文字所表达的与照片所展示的内容显得较为贴切，但用户在为照片配上文字的过程，大多需要花费不少时间，这种方式略有不便。而如果通过预先编辑好文字内容，拍摄完成后用户再自主在文字内容库中选择较符合的文字内容匹配所拍摄的照片，这样则会导致照片与文字存在不相匹配的情况出现。

基于此，如果在人们拍摄照片后，根据照片内容自动给照片配上优雅的文字衬托照片的意境，让人们的社交网络分享照片或保存照片时，让照片看上去更耐人寻味，使照片更显精致、特别，则更能增加大家分享、保存照片的乐趣。因此，如何能够根据照片内容自动给照片配上优雅的文字衬托照片的意境成为值得研究的方向。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种图片配文字的方法，能够根据图片内容自动给图片配上相衬的文字。

本发明的目的之一采用如下技术方案实现：

一种图片配文字的方法，包括：识别步骤，获取需配文字的图像，根据预设的图像识别模型识别判断图像中的场景、主体及主体特征信息，得到图像识别结果；配文步骤，根据图像识别结果，查询获取配文关系库中包含图像识别结果信息的关联文字配文，提取关联度最高的若干条文字配文反馈给用户。

进一步地，在所述识别步骤之前，还包括：配文关系库建立步骤，获取大量影视作品和其对应的字幕文件，对影片抽取多个关键帧，对应每个关键帧图像根据播放时间从字幕文件中获取对应图像所配的字幕文字，将每个关键帧图像比对预设的图像识别模型获取场景、主体及主体特征信息，并将每个关键帧图像的信息识别结果与对应的字幕文字建立关联关系，完成配文关系库建立。

进一步地，在所述配文关系库建立步骤之前，还包括：图像识别模型建立步骤，获取大量对应类型图像，分别通过学习训练建立场景识别模型、主体识别模型及主体特征识别模型。

进一步地，在所述图像识别模型建立步骤中，分别获取反应时间、地点及主要物件大量图像，通过学习训练，建立场景识别模型。

进一步地，在所述图像识别模型建立步骤中，通过采集各个角度及各种不同光线下拍摄的不同性别、年龄、肤色的人的照片进行学习训练，建立主体识别模型。

进一步地，在所述图像识别模型建立步骤中，通过集各种类型的不同角度和光线下拍摄的服装、鞋帽饰物的图片进行学习训练，建立衣着识别模型；通过对大量人脸面部各种表情图像构建面部关键点进行学习训练建立情绪识别模型，进而完成建立主体特征识别模型。

进一步地，在所述图像识别模型建立步骤中，通过学习训练、分析大量人物的面部表情图像，统计人物面部72个关键点在不同情绪变化时的点的坐标数据，计算出它们在不同情绪下的坐标偏移量，形成描述面部情绪变化的特征向量，特征向量对应高兴、平静、忧伤区间的模板库存储，从而建立情绪识别模型。

进一步地，在所述识别步骤中，根据主体识别模型判断图像主体是否为人，若是，则进行主体特征识别，若否，则视为无主体类型图像，不进行主体特征识别。

本发明的目的之二在于提供一种电子设备，能够根据图片内容自动给图片配上相衬的文字。

本发明的目的之二采用如下技术方案实现：

一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明目的之一所述的一种图片配文字的方法。

本发明的目的之三在于提供一种存储介质，能够根据图片内容自动给图片配上相衬的文字。

本发明的目的之三采用如下技术方案实现：

一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如本发明目的之一所述的一种图片配文字的方法。

相比现有技术，本发明的有益效果在于：

本发明的一种图片配文字的方法、电子设备及存储介质，通过预设配文关系库，配文关系库存储有大量与图相对应的特征信息及关联的文字配文，后续在图像配文过程中，通过获取待配文图像的特征信息，比对配文关系库提取与待配文图像特征信息关联的文字配文反馈给用户，实现对图片匹配适当的文字内容，使得文字能够较好衬托出图像的意境，增加分享和留存图像纪念的乐趣。

附图说明

图1为发明一种图片配文字的方法流程图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

实施例一：

实施例一提供了一种图片配文字的方法，如图1所示，包括如下步骤：

S1图像识别模型建立步骤，获取大量对应类型图像，分别通过学习训练建立场景识别模型、主体识别模型及主体特征识别模型；

S2配文关系库建立步骤，获取大量影视作品和其对应的字幕文件，对影片抽取多个关键帧，对应每个关键帧图像根据播放时间从字幕文件中获取对应图像所配的字幕文字，将每个关键帧图像比对预设的图像识别模型获取场景、主体及主体特征信息，并将每个关键帧图像的信息识别结果与对应的字幕文字建立关联关系，完成配文关系库建立；

S3识别步骤，获取需配文字的图像，根据预设的图像识别模型识别判断图像中的场景、主体及主体特征信息，得到图像识别结果；

S4配文步骤，根据图像识别结果，查询获取配文关系库中包含图像识别结果信息的关联文字配文，提取关联度最高的若干条文字配文反馈给用户。

本实施例旨在通过机器学习大量影视作品中的图像和字幕，将电影的关键帧图像与所配字幕进行关联，从而建立配文模型对图片实现自动配文。那么就需要预先建立图像识别模型及配文模型，后续通过图像识别模型比对获取图像特征信息，因为图像特征信息跟配文文字相关联，通过比对图像，获取图像特征信息，即可找出与之关联的配文文字提供给用户。

在建立配文关系库时，首先获取大量影视作品和其对应的字幕文件，对影片抽取多个关键帧，对应每个关键帧图像根据播放时间从字幕文件中获取该图像所配的字幕文字。再比对预先建立图像识别模型，通过场景识别模型对抽取的关键帧图像中包含的人物及关键物品进行识别，对应判断出图像的时间、地点、涉及物件等场景信息；利用主体识别模型对主体进行判断，利用人脸识别模型对识别出的主体人物的性别、正面或侧面进行判断，然后利用预先建立的情绪识别模型对主体人物的面部情绪进行判断；根据主体特征识别模型识别出的服装、鞋帽饰物信息判断主体人物衣着特征。图像识别模型的识别判断主要是根据场景、主体、主体特征几个图像设计的分类特征提炼出各分类对应的特征信息，以便后续将图像特征信息识别结果与对应图像的字幕文字建立关联。根据物品的不同属性，定义场景、主体、主体特征分类中包含的物件信息。场景主要包含时间(白天或晚上)、地点(室内或室外)、主要物件(花草树木山水等)；主体判断：是否包含人；主体特征判断：人物性别、正侧面、情绪(面部表情)、衣着等。将每个关键帧图像中场景、主体人物、主体特征的信息识别结果对应存储后与该图像的字幕文字建立关联关系，完成配文关系库建立。

下面对图像识别模型的几个模型分别进行阐述：

场景识别模型：通过建立全面的场景识别模型来识别图像中包含的关键物品。场景对应时间，分别采集白天拍摄的光线充足、色彩丰富的照片和晚上拍摄的光线较暗或包含各种灯光夜景的照片进行学习训练；地点，对应室内或室外拍摄时会包含不同主要物件，分别采集各种墙壁、天花板或者具有明显室内陈设的桌椅台面摆设的照片，不同形态下的天空、白云、山水、花草树木等室外景色特征的场景物体，以及各种角度、光线下拍摄的主要场景物体如动物、汽车等的图片进行学习训练，完成场景识别模型建立。

主体识别模型：主体识别模型主要是为了判断是否图像主体为人，对于主体不为人的图像，判定位无主体图像。主体对应人物，采集各个角度及各种不同光线下拍摄的不同性别、年龄、肤色的人的照片进行学习训练，即可完成主体识别模型的建立。

主体特征识别模型：主体特征识别模型针对的是主体为人的图像，如若图像主体不包括人，则无需进行此步骤识别。主体特征识别模型包括衣着识别模型及情绪识别模型，衣着识别模型需要采集各种类型的不同角度和光线下拍摄的服装、鞋帽饰物等物品的图片进行学习训练，例如服饰的识别，分别对大量各种类型不同角度不同光线下拍摄的T恤、裙子、西服或运动鞋、高跟鞋等的图片进行学习训练，完成衣着识别模型的建立。

情绪识别模型：通过对大量人脸面部各种表情图像构建面部关键点进行学习从而建立对应情绪变化各区间的训练集模板库，作为情绪识别模型，主要过程如下：1、人的面部结构及五官形态组合在情绪变化时具有显著特征。通过学习和不断校正，根据面部的眉毛、眼睛、眼角、鼻子、鼻孔、嘴唇、颧骨等面部五官及各个组成部分的结构、轮廓组合特点，查找出能够体现人的脸部表情变化、且在各种光线投射外部环境影响下、人脸各角度偏移时、稳定的72个关键点，基于72个关键点建立识别模型。2、将情绪变化定义为高兴、平静、忧伤3个区间，用0～100的百分比来对应各情绪变化各区间建立情绪识别模型。数值越低表示情绪越低落趋于忧伤，数值越大表示情绪越激昂趋于高兴，即0-35为忧伤，35-65为平静，65-100为高兴，非常低落、忧伤趋近于0，非常激昂、高兴趋近于100。3、通过机器学习训练、分析大量人物的面部表情图像，统计人物面部72个关键点在不同情绪变化时的点的坐标数据，计算出它们在不同情绪下的坐标偏移量，形成描述面部情绪变化的特征向量；将上述特征向量对应高兴、平静、忧伤区间的模板库存储，从而建立情绪识别模型。训练过程需要指定特征向量集所对应的各情绪区间。通过不断比对模型的识别结果修正各区间的向量集。

除情绪识别模型外，其他识别模型根据上述不同类似的物件、人物主体和服饰等物品不同角度及各种光线下拍摄的照片分别获取对应的海量图片。通过对图像进行预处理、特征提取、识别训练，建立识别模型，主要过程如下：1、根据场景、主体及主体特征识别判断的需要，利用互联网分别按上述分类采集大量的各种类型物品的图片样本；2、将各类物品图片进行预处理，通过去除噪声和干扰点，归一化等预处理过程，以便进行后续的处理更好的进行；3、对预处理后的各类物品图片进行特征提取，根据各类物品不同的空间密度的颜色、纹理、图案、形状、透明度等排布情况特征，将图像分为M*N个方格区域，计算每个方格中的点数与物品总点数之比，以得到M*N维特征向量；4、识别训练，从训练集各类物品中提取出标准模板，建立标准特征库。每种类型的物品都有几百个标准模板，通过预处理和特征提取后，将训练集各类物品的特征向量存入文件中，训练时需要指明各类物品的正确值。通过以上步骤，完成上述识别模型建立。

完成上述图像识别模型及配文关系库的建立之后，即可接受用户待配文的图像进行配文。通过获取用户需要配文字的图像，比对识别模型，对图像中包含的人物及关键物品进行识别，对应判断出图像的时间、地点、涉及物件等场景信息；利用主体识别模型进行主体判断；利用人脸识别模型对识别出的主体人物的性别、正面或侧面进行判断，利用预先建立的情绪识别模型对主体人物的面部情绪进行判断，根据衣着识别模型识别出的服装、鞋帽饰物信息判断主体人物衣着特征。主要步骤如下：

1、获取用户需要配文字的图像，对图像进行预处理，通过去除噪声和干扰点，归一化等预处理过程，以便进行后续的处理更好的进行。

2、对预处理后的图片进行特征提取，根据各类物品不同的空间密度的颜色、纹理、图案、形状、透明度等排布情况特征，将图像分为M*N个方格区域，计算每个方格中的点数与物品总点数之比，以得到M*N维特征向量。

3、将提取的特征向量与识别模型中包含的白天及夜晚拍摄的照片的特征向量以及各类人或物品的特征向量作比对，判断出图像拍摄的时间以及图像中包含的人和包含的物品的类型，并对识别出的人及物品进行一一框选。

4、利用人脸识别模型识别框选出的人的性别、人脸是正面或侧面。人脸识别技术为现有技术，这里不多赘述。根据人脸区域图像建立人脸的72个面部关键点，根据72个面部关键点的坐标分布数据比对预先建立的情绪识别模型对主体人物的面部情绪进行判断。

5、根据框选的人所在区域及该区域识别到的服饰信息得到图像中人物的衣着特征，例如是穿着晚礼服或者休闲的T恤等服饰。

需要注意的是，在图像识别过程中，向通过背景特征信息识别，然后根据主体类型判断识别判断主体是否为人，如若主体为人，则需要进行主体特征信息提取，若否，则完成特征信息提取。根据图像中包含的场景、主体、及主体特征关键信息识别结果查询配文关系库中包含上述关键信息最多的关联文字字幕，按从高到低排列，提取出前3条文字配文给用户选择。

本实施例的一种图片配文字的方法、电子设备及存储介质，通过预设配文关系库，配文关系库存储有大量与图相对应的特征信息及关联的文字配文，后续在图像配文过程中，通过获取待配文图像的特征信息，比对配文关系库提取与待配文图像特征信息关联的文字配文反馈给用户，实现对图片匹配适当的文字内容，使得文字能够较好衬托出图像的意境，增加分享和留存图像纪念的乐趣。

实施例二：

实施例二公开了一种电子设备，该电子设备包括处理器、存储器以及程序，其中处理器和存储器均可采用一个或多个，程序被存储在存储器中，并且被配置成由处理器执行，处理器执行该程序时，实现实施例一的一种图片配文字的方法，该电子设备可以是自动拍照机器人、带处理器的相机、手机、平板电脑等等一系列的电子设备。

实施例三：

实施例三公开了一种可读的计算机存储介质，该存储介质用于存储程序，并且该程序被处理器执行时，实现实施例一的一种图片配文字的方法。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (8)

1.一种图片配文字的方法，其特征在于，包括：

识别步骤，获取需配文字的图像，根据预设的图像识别模型识别判断图像中的场景、主体及主体特征信息，得到图像识别结果；

配文步骤，根据图像识别结果，查询获取配文关系库中包含图像识别结果信息的关联文字配文，提取关联度最高的若干条文字配文反馈给用户；

在所述识别步骤之前，还包括：配文关系库建立步骤，获取大量影视作品和其对应的字幕文件，对影片抽取多个关键帧，对应每个关键帧图像根据播放时间从字幕文件中获取对应图像所配的字幕文字，将每个关键帧图像比对预设的图像识别模型获取场景、主体及主体特征信息，并将每个关键帧图像的信息识别结果与对应的字幕文字建立关联关系，完成配文关系库建立；

在所述配文关系库建立步骤之前，还包括：图像识别模型建立步骤，获取大量对应类型图像，分别通过学习训练建立场景识别模型、主体识别模型及主体特征识别模型；

所述主体特征识别模型包括衣着识别模型、情绪识别模型。

2.如权利要求1所述的图片配文字的方法，其特征在于：在所述图像识别模型建立步骤中，分别获取反应时间、地点及主要物件大量图像，通过学习训练，建立场景识别模型。

3.如权利要求1所述的图片配文字的方法，其特征在于：在所述图像识别模型建立步骤中，通过采集各个角度及各种不同光线下拍摄的不同性别、年龄、肤色的人的照片进行学习训练，建立主体识别模型。

4.如权利要求1所述的图片配文字的方法，其特征在于：在所述图像识别模型建立步骤中，通过集各种类型的不同角度和光线下拍摄的服装、鞋帽饰物的图片进行学习训练，建立衣着识别模型；通过对大量人脸面部各种表情图像构建面部关键点进行学习训练建立情绪识别模型，进而完成建立主体特征识别模型。

5.如权利要求4所述的图片配文字的方法，其特征在于：在所述图像识别模型建立步骤中，通过学习训练、分析大量人物的面部表情图像，统计人物面部72个关键点在不同情绪变化时的点的坐标数据，计算出它们在不同情绪下的坐标偏移量，形成描述面部情绪变化的特征向量，特征向量对应高兴、平静、忧伤区间的模板库存储，从而建立情绪识别模型。

6.如权利要求4所述的图片配文字的方法，其特征在于：在所述识别步骤中，根据主体识别模型判断图像主体是否为人，若是，则进行主体特征识别，若否，则视为无主体类型图像，不进行主体特征识别。

7.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现如权利要求1-6任意一项所述的一种图片配文字的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-6任意一项所述的一种图片配文字的方法。

Images