CN112214632A - 文案检索方法、装置及电子设备 - Google Patents
文案检索方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112214632A CN112214632A CN202011207145.0A CN202011207145A CN112214632A CN 112214632 A CN112214632 A CN 112214632A CN 202011207145 A CN202011207145 A CN 202011207145A CN 112214632 A CN112214632 A CN 112214632A
- Authority
- CN
- China
- Prior art keywords
- target
- exaggerated
- feature
- emotion
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 239000013598 vector Substances 0.000 claims abstract description 185
- 230000008451 emotion Effects 0.000 claims abstract description 107
- 230000014509 gene expression Effects 0.000 claims abstract description 35
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 238000013507 mapping Methods 0.000 claims abstract description 19
- 230000002996 emotional effect Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013145 classification model Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明提供了文案检索方法、装置及电子设备，通过服务器提供夸张表情算法，以及具有映射关系的特征集合和文案集合，该方法包括：获取待处理的目标图片；将目标图片输入至特征提取器，以使特征提取器输出目标图片的情绪特征向量；基于夸张表情算法，计算得到目标图片的夸张特征向量；根据情绪特征向量和夸张特征向量在特征集合进行检索，得到目标特征向量集合；基于目标特征向量集合，在文案集合中确定目标图片对应的目标文案。该方式中，通过目标图片的情绪特征向量和夸张特征向量确定目标文案，实现了细粒度化获取目标图片的文案，且，提高了目标文案的获取速度，从而提高了用户的社交体验。
Description
技术领域
本发明涉及计算机应用技术领域，尤其是涉及文案检索方法、装置及电子设备。
背景技术
在信息时代，随着多媒体技术的发展，视频等多媒体技术成为了最直接有效的信息传播载体，同时各种表情包也随之成为一种网络语言和文化，对于视频同时配一些幽默搞笑的聊天文案也变成了一种必不可少的社交需求，具有重要的社交及商业价值。
目前主要根据图片的特性描述图片中物体的方法生成图片，如检测到图片中的小鸟和天空，生成对小鸟和天空的文案描述，这种方法对表情和聊天场景明显粒度不够，且，耗时较长，影响了人们的社交体验。
发明内容
有鉴于此，本发明的目的在于提供文案检索方法、装置及电子设备，以缓解上述问题，实现了细粒度化获取目标图片的文案，且，提高了目标文案的获取速度，从而提高了用户的社交体验。
第一方面，本发明实施例提供了一种文案检索方法，通过服务器提供夸张表情算法，以及具有映射关系的特征集合和文案集合，该方法包括：获取待处理的目标图片；将目标图片输入至特征提取器，以使特征提取器输出目标图片的情绪特征向量；基于夸张表情算法，计算得到目标图片的夸张特征向量；根据情绪特征向量和夸张特征向量在特征集合进行检索，得到目标特征向量集合；基于目标特征向量集合，在文案集合中确定目标图片对应的目标文案。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述特征集合包括夸张特征集合和情绪特征集合；根据情绪特征向量和夸张特征向量在特征集合进行检索的步骤，包括：将情绪特征向量在情绪特征集合进行检索，得到目标情绪特征向量集合；其中，目标情绪特征向量集合包括多个目标情绪特征向量；将夸张特征向量在夸张特征集合进行检索，得到目标夸张特征向量集合；其中，目标夸张特征向量集合包括多个目标夸张特征向量；根据目标情绪特征向量集合和目标夸张特征向量集合，得到目标特征向量集合。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，基于目标特征向量集合，在文案集合中确定目标图片对应的目标文案的步骤，包括：基于目标情绪特征向量集合，在文案集合中查找，得到情绪文案集合；其中，情绪文案集合包括与每个目标情绪特征向量具有映射关系的情绪文案；基于目标夸张特征向量集合，在文案集合中查找，得到夸张文案集合；其中，夸张文案集合包括与每个目标夸张特征向量具有映射关系的夸张文案；根据情绪文案集合和夸张文案集合，确定目标文案。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，文案集合中每个文案还配置有加权值，根据情绪文案集合和夸张文案集合，确定目标文案的步骤，包括：将情绪文案集合的每个情绪文案和夸张文案集合的每个夸张文案按照加权值进行加权融合，得到目标文案集合；对目标文案集合中的多个文案进行排序，得到目标文案。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，获取待处理的目标图片的步骤，包括：获取用户输入的图像互换格式GIF图片，得到目标图片；或者，获取用户输入的视频，并根据视频得到目标图片。
结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，根据视频得到目标图片的步骤，包括：基于视频解码器对视频进行解码处理，得到视频对应的图片序列；对图片序列进行采样处理，得到具有夸张表情的目标图片集合；其中，目标图片集合包括多张目标图片。
结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，将目标图片输入至特征提取器，以使特征提取器输出目标图片的情绪特征向量的步骤，包括：将目标图片集合中每张目标图片分别输入至特征提取器，得到每张目标图片对应的情绪特征向量；将每张目标图片对应的情绪特征向量进行加和取均值，计算得到目标图片集合对应的情绪特征向量。
第二方面，本发明实施例还提供一种文案检索装置，通过服务器提供夸张表情算法，以及具有映射关系的特征集合和文案集合，该装置包括：目标图片获取模块，用于获取待处理的目标图片；情绪特征向量获取模块，用于将目标图片输入至特征提取器，以使特征提取器输出目标图片的情绪特征向量；夸张特征向量计算模块，用于基于夸张表情算法，计算得到目标图片的夸张特征向量；目标特征向量集合获取模块，用于根据情绪特征向量和夸张特征向量在特征集合进行检索，得到目标特征向量集合；目标文案确定模块，用于基于目标特征向量集合，在文案集合中确定目标图片对应的目标文案。
第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面的文案检索方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行第一方面的文案检索方法的步骤。
本发明实施例带来了以下有益效果：
本发明实施例提供了文案检索方法、装置及电子设备，通过目标图片的情绪特征向量和夸张特征向量确定目标文案，实现了细粒度化获取目标图片的文案，且，通过在文案集合中检索目标文案，与现有方法中根据目标图片内容生成文案相比，提高了目标文案的获取速度，从而提高了用户的社交体验；以及，还可以通过将视频分解成图片以获取视频对应的目标文案，缓解了现有方法中无法为视频生成文案的问题，具有较好的实用价值。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种应用环境示意图；
图2为本发明实施例提供的一种文案检索方法的流程图；
图3为本发明实施例提供的一张表情包的示意图；
图4为本发明实施例提供的一张目标图片的示意图；
图5为本发明实施例提供的一种文案检索装置的示意图；
图6为本发明实施例提供的一种电子设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对现有方法通过对图片内容进行描述生成文案耗时较长的问题，本发明实施例提供了文案检索方法、装置及电子设备，通过目标图片的情绪特征向量和夸张特征向量确定目标文案，实现了细粒度化获取目标图片的文案，且，通过在文案集合中检索目标文案，与现有方法中根据目标图片内容生成文案相比，提高了目标文案的获取速度，从而提高了用户的社交体验；以及，还可以通过将视频分解成图片以获取视频对应的目标文案，缓解了现有方法中无法为视频生成文案的问题，具有较好的实用价值。
为便于对本实施例进行理解，下面首先对本发明实施例提供的文案检索方法进行详细介绍。
实施例一：
本发明实施例提供了一种文案检索方法，执行主体为服务器，如图1所示，服务器中包括夸张表情算法的应用软件，还包括CPU(Central Processing Unit，中央处理器)硬件环境和opencv、ffmpeg(Fast Forward Mpeg)集成环境等，此外，还设置有数据库，以存储具有映射关系的特征集合和文案集合。在实际应用中，上述夸张表情算法还用于对用户输入的视频进行检索分析，以检测出视频中包含的静态物体位置，因此，本申请不仅可以实现图片的文案检索，还可以实现视频的文案检索，具有较好的实用价值。
基于上述服务器提供的应用环境，本发明实施例提供的一种文案检索方法的流程图如图2所示，该方法包括以下步骤：
步骤S202，获取待处理的目标图片。
具体地，可以通过获取用户输入的GIF(Graphics Interchange Format，图像互换格)图片，得到目标图片；或者，通过获取用户输入的视频，并根据视频得到目标图片。需要说明的是，这里目标图片可以为静态的图片，也可以为动态图片，本发明实施例对此不作限制说明。
其中，对于上述用户输入的视频，基于ffmpeg集成环境中预存的视频解码器对视频进行解码处理，得到该视频对应的一帧一帧的图片序列；然后，对图片序列进行采样处理，以提取图片序列中每张图片中的夸张表情部位，得到具有夸张表情的目标图片集合；其中，目标图片集合包括多张目标图片，这里夸张表情包括但不仅限于：夸张的眉毛、嘴巴、牙齿和鼻子等。
步骤S204，将目标图片输入至特征提取器，以使特征提取器输出目标图片的情绪特征向量。
具体地，将上述获取的待处理的目标图片输入至opencv集成环境中预存的特征提取器，其中，特征提取器中包括预先训练好的分类模型，从而该分类模型对目标图片进行表情特征提取，得到目标图片的情绪特征向量。可选的，上述分类模型可以基于VGG19模型训练得到，首先利用微软公开的人脸表情数据集fer2013获取训练数据集，然后将训练数据集输入至VGG19模型进行训练，以得到用于提取情绪特征向量的分类模型，其中，情绪特征向量用于表征输入图像中人脸的喜怒哀乐情绪，并将该分类模型封装成特征提取器，用以对给定的输入图像进行表情特征提取。此外，由于常见的VGG19模型为1000维，因此，这里目标图片的情绪特征向量为1000维，其余维数可以根据实际情况进行设置。
此外，对于视频对应的目标图片集合，将目标图片集合中每张目标图片分别输入至特征提取器，得到每张目标图片对应的情绪特征向量，如每张目标图片对应的1000维的情绪特征向量；并将每张目标图片对应的情绪特征向量进行加和取均值，即将目标图片集合中所有目标图片的1000维的情绪特征向量进行加和取均值，计算得到目标图片集合对应的情绪特征向量，即得到该视频对应的唯一的一个1000维的情绪特征向量。
需要说明的是，由于上述分类模型是基于1000维的VGG19模型进行训练得到的，因此，对应的情绪特征向量为1000维，如果分类模型是基于其他模型如残差网络Resnet和DenseNet网络进行训练得到的，则对应的情绪特征向量为对应的维数，本发明实施例对此不作限制说明。
步骤S206，基于夸张表情算法，计算得到目标图片的夸张特征向量。
在实际应用中，由于夸张表情主要表现在：夸张的眉毛、嘴巴、牙齿和鼻子，因此，通过夸张表情算法对上述夸张表情进行计算，可以得到目标图片的夸张特征向量。其中，夸张特征向量的维数与夸张表情部位数量保持一致，为了便于理解，本发明实施例中夸张特征向量为4维，包括眉毛、鼻子、嘴巴和牙齿。
此外，通过对夸张表情的向量表达，并与正常的器官特征向量进行比对，可以快速识别出夸张表情部位。例如，某个目标图片的夸张特征向量为[0.923，0，0.8748，0]，正常的器官特征向量为[0，0，0，0]，从而通过两个特征向量的对比，可以识别出该目标图片中夸张的部位为眉毛和嘴巴。
需要说明的是，上述情绪特征向量和夸张特征向量的获取过程，可以同时进行，也可以根据实际情况选择先后顺序，上述步骤S204和S206仅为其中一种可能的实施方式，本发明实施例对此不作限制说明。
步骤S208，根据情绪特征向量和夸张特征向量在特征集合进行检索，得到目标特征向量集合。
具体地，上述特征集合包括夸张特征集合和情绪特征集合，则将情绪特征向量在情绪特征集合进行检索，得到目标情绪特征向量集合；其中，目标情绪特征向量集合包括多个目标情绪特征向量；同时，将夸张特征向量在夸张特征集合进行检索，得到目标夸张特征向量集合；其中，目标夸张特征向量集合包括多个目标夸张特征向量；从而根据目标情绪特征向量集合和目标夸张特征向量集合，得到目标特征向量集合。
步骤S210，基于目标特征向量集合，在文案集合中确定目标图片对应的目标文案。
具体地，基于目标情绪特征向量集合，在文案集合中查找，得到情绪文案集合；其中，情绪文案集合包括与每个目标情绪特征向量具有映射关系的情绪文案；同时，基于目标夸张特征向量集合，在文案集合中查找，得到夸张文案集合；其中，夸张文案集合包括与每个目标夸张特征向量具有映射关系的夸张文案；最后，根据情绪文案集合和夸张文案集合，确定目标文案。由于上述目标文案是在文案集合进行检索获得，因此，与现有的根据图片内容生成文案的方法相比，提高了文案的获取速度，从而提高了用户的社交体验。
本发明实施例提供的文案检索方法，通过目标图片的情绪特征向量和夸张特征向量确定目标文案，实现了细粒度化获取目标图片的文案，且，通过在文案集合中检索目标文案，与现有方法中根据目标图片内容生成文案相比，提高了目标文案的获取速度，从而提高了用户的社交体验；以及，还可以通过将视频分解成图片以获取视频对应的目标文案，缓解了现有方法中无法为视频生成文案的问题，具有较好的实用价值。
在实际应用中，利用互联网表情包上的GIF图片以及对应的幽默文案，并对GIF图片进行标注，可以构建特征集合和文案集合，其中，特征集合包括标注图片的情绪特征集合和夸张特征集合，以及标注图片；并建立同一图片的情绪特征向量和夸张特征向量与图片对应的文案的映射关系，即建立特征集合和文案集合之间的映射关系集合。
具体地，对于现有的表情包，包括动图和对应的文案，可以得到动画或者动图对应的夸张特征向量、情绪特征向量和对应的文案，例如，对于图3所示的表情包，可以得到该表情包对应的夸张特征向量[0.923，0，0.8748，0]和1000维的情绪特征向量(未示出)，其中，夸张的部位为眉毛和嘴巴，对应的文案为“我是仙女”，并将夸张特征向量存储在夸张特征集合中，情绪特征向量存储在情绪特征集合中，文案存储在文案集合中，以及建立夸张特征向量和情绪特征向量分别与文案的映射关系，从而将特征集合中每个夸张特征向量和情绪特征集合与对应的文案把持一致，实现了文案的细粒度化检索，便于在用户在社交应用中使用。
此外，为了便于基于目标特征向量集合，在文案集合中确定目标图片对应的目标文案，基于Faiss提供的稠密向量空间索引算法还分别构建有文案的夸张索引结构和情绪索引结构，这里构建的夸张索引结构和情绪索引结构就是基于目标图片的情绪特征向量和夸张特征向量对比特征集合中的情绪特征集合和夸张特征集合进行检索，得到目标情绪特征向量和目标夸张特征向量，即发现最接近目标图片的一个动图，例如，对于图4中的目标图片，通过检索，发现最接近该目标图片的图片为图3中的图片，则根据映射关系，将图3的图片对应的文案反馈至目标图片，即此时，图4中目标图片对应的文案为“我是仙女”。
进一步的，文案集合中每个文案还配置有加权值，此时，将情绪文案集合的每个情绪文案和夸张文案集合的每个夸张文案按照加权值进行加权融合，得到目标文案集合；并对目标文案集合中的多个文案进行排序，得到目标文案，如将得分最高的文案反馈至目标图片，并添加至目标图片或目标视频中，以生成用于社交的表情包，从而提高了社交的趣味性。
这里加权融合的过程可以通过动态调整，一般加权值设置为a和1-a，其中，a的取值范围为[0.2，0.8]，具体可以实际情况进行设置，本发明实施例对此不作限制说明。
因此，本发明实施例提供的文案检索方法，具有以下优点：(1)基于夸张表情算法可以快速获取目标图片的夸张特征向量，并融入到检索文案中，能够将夸张部位和情绪特征向量应用到文案检索中，从而改善了现有算法不能获取细致情感的文案的问题；(2)利用支持海量的搜索算法，相较于一些复杂的生成模型提升了获取文案的速度，平均一个GIF大约只需要5秒左右即可获得文案，以及，还可以为视频获取文案，具有较好的实用价值，提高了社交的趣味性。
在上述方法实施例的基础上，本发明实施例还提供了一种文案检索装置，通过服务器提供夸张表情算法，以及具有映射关系的特征集合和文案集合。如图5所示，该装置包括依次连接的目标图片获取模块51、情绪特征向量获取模块52、夸张特征向量计算模块53、目标特征向量集合获取模块54和目标文案确定模块55，其中，各个模块的功能如下：
目标图片获取模块51，用于获取待处理的目标图片；
情绪特征向量获取模块52，用于将目标图片输入至特征提取器，以使特征提取器输出目标图片的情绪特征向量；
夸张特征向量计算模块53，用于基于夸张表情算法，计算得到目标图片的夸张特征向量；
目标特征向量集合获取模块54，用于根据情绪特征向量和夸张特征向量在特征集合进行检索，得到目标特征向量集合；
目标文案确定模块55，用于基于目标特征向量集合，在文案集合中确定目标图片对应的目标文案。
本发明实施例提供的文案检索装置，通过目标图片的情绪特征向量和夸张特征向量确定目标文案，实现了细粒度化获取目标图片的文案，且，通过在文案集合中检索目标文案，与现有方法中根据目标图片内容生成文案相比，提高了目标文案的获取速度，从而提高了用户的社交体验；以及，还可以通过将视频分解成图片以获取视频对应的目标文案，缓解了现有方法中无法为视频生成文案的问题，具有较好的实用价值。
进一步的，上述特征集合包括夸张特征集合和情绪特征集合；上述目标特征向量集合获取模块54还用于：将情绪特征向量在情绪特征集合进行检索，得到目标情绪特征向量集合；其中，目标情绪特征向量集合包括多个目标情绪特征向量；将夸张特征向量在夸张特征集合进行检索，得到目标夸张特征向量集合；其中，目标夸张特征向量集合包括多个目标夸张特征向量；根据目标情绪特征向量集合和目标夸张特征向量集合，得到目标特征向量集合。
进一步的，上述目标文案确定模块55还用于：基于目标情绪特征向量集合，在文案集合中查找，得到情绪文案集合；其中，情绪文案集合包括与每个目标情绪特征向量具有映射关系的情绪文案；基于目标夸张特征向量集合，在文案集合中查找，得到夸张文案集合；其中，夸张文案集合包括与每个目标夸张特征向量具有映射关系的夸张文案；根据情绪文案集合和夸张文案集合，确定目标文案。
进一步的，上述文案集合中每个文案还配置有加权值，上述根据情绪文案集合和夸张文案集合，确定目标文案，还包括：将情绪文案集合的每个情绪文案和夸张文案集合的每个夸张文案按照加权值进行加权融合，得到目标文案集合；对目标文案集合中的多个文案进行排序，得到目标文案。
进一步的，上述目标图片获取模块51还用于：获取用户输入的图像互换格式GIF图片，得到目标图片；或者，获取用户输入的视频，并根据视频得到目标图片。
进一步的，上述根据视频得到目标图片，还包括：基于视频解码器对视频进行解码处理，得到视频对应的图片序列；对图片序列进行采样处理，得到具有夸张表情的目标图片集合；其中，目标图片集合包括多张目标图片。
进一步的，上述情绪特征向量获取模块52还用于：将目标图片集合中每张目标图片分别输入至特征提取器，得到每张目标图片对应的情绪特征向量；将每张目标图片对应的情绪特征向量进行加和取均值，计算得到目标图片集合对应的情绪特征向量。
本发明实施例提供的文案检索装置，与上述实施例提供的文案检索方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本发明实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述文案检索方法。
参见图6所示，该电子设备包括处理器60和存储器61，该存储器61存储有能够被处理器60执行的机器可执行指令，该处理器60执行机器可执行指令以实现上述文案检索方法。
进一步地，图6所示的电子设备还包括总线62和通信接口63，处理器60、通信接口63和存储器61通过总线62连接。
其中，存储器61可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口63(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线62可以是ISA(IndustrialStandard Architecture，工业标准结构总线)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Enhanced Industry StandardArchitecture，扩展工业标准结构)总线等。上述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器60可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器60中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器60可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器61，处理器60读取存储器61中的信息，结合其硬件完成前述实施例的方法的步骤。
本实施例还提供一种机器可读存储介质，机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述文案检索方法。
本发明实施例所提供的文案检索方法、装置及电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种文案检索方法，其特征在于，通过服务器提供夸张表情算法，以及具有映射关系的特征集合和文案集合，所述方法包括：
获取待处理的目标图片；
将所述目标图片输入至特征提取器，以使所述特征提取器输出所述目标图片的情绪特征向量；
基于所述夸张表情算法，计算得到所述目标图片的夸张特征向量；
根据所述情绪特征向量和所述夸张特征向量在所述特征集合进行检索，得到目标特征向量集合；
基于所述目标特征向量集合，在所述文案集合中确定所述目标图片对应的目标文案。
2.根据权利要求1所述的文案检索方法，其特征在于，所述特征集合包括夸张特征集合和情绪特征集合；根据所述情绪特征向量和所述夸张特征向量在所述特征集合进行检索的步骤，包括：
将所述情绪特征向量在所述情绪特征集合进行检索，得到目标情绪特征向量集合；其中，所述目标情绪特征向量集合包括多个目标情绪特征向量；
将所述夸张特征向量在所述夸张特征集合进行检索，得到目标夸张特征向量集合；其中，所述目标夸张特征向量集合包括多个目标夸张特征向量；
根据所述目标情绪特征向量集合和所述目标夸张特征向量集合，得到所述目标特征向量集合。
3.根据权利要求2所述的文案检索方法，其特征在于，基于所述目标特征向量集合，在所述文案集合中确定所述目标图片对应的目标文案的步骤，包括：
基于所述目标情绪特征向量集合，在所述文案集合中查找，得到情绪文案集合；其中，所述情绪文案集合包括与每个所述目标情绪特征向量具有映射关系的情绪文案；
基于所述目标夸张特征向量集合，在所述文案集合中查找，得到夸张文案集合；其中，所述夸张文案集合包括与每个所述目标夸张特征向量具有映射关系的夸张文案；
根据所述情绪文案集合和所述夸张文案集合，确定所述目标文案。
4.根据权利要求3所述的文案检索方法，其特征在于，所述文案集合中每个文案还配置有加权值，根据所述情绪文案集合和所述夸张文案集合，确定所述目标文案的步骤，包括：
将所述情绪文案集合的每个情绪文案和所述夸张文案集合的每个夸张文案按照加权值进行加权融合，得到目标文案集合；
对所述目标文案集合中的多个文案进行排序，得到所述目标文案。
5.根据权利要求1所述的文案检索方法，其特征在于，获取待处理的目标图片的步骤，包括：
获取用户输入的图像互换格式GIF图片，得到所述目标图片；或者，
获取用户输入的视频，并根据所述视频得到所述目标图片。
6.根据权利要求5所述的文案检索方法，其特征在于，根据所述视频得到所述目标图片的步骤，包括：
基于视频解码器对所述视频进行解码处理，得到所述视频对应的图片序列；
对所述图片序列进行采样处理，得到具有夸张表情的目标图片集合；其中，所述目标图片集合包括多张目标图片。
7.根据权利要求6所述的文案检索方法，其特征在于，将所述目标图片输入至特征提取器，以使所述特征提取器输出所述目标图片的情绪特征向量的步骤，包括：
将所述目标图片集合中每张目标图片分别输入至所述特征提取器，得到每张所述目标图片对应的情绪特征向量；
将每张所述目标图片对应的情绪特征向量进行加和取均值，计算得到所述目标图片集合对应的情绪特征向量。
8.一种文案检索装置，其特征在于，通过服务器提供夸张表情算法，以及具有映射关系的特征集合和文案集合，所述装置包括：
目标图片获取模块，用于获取待处理的目标图片；
情绪特征向量获取模块，用于将所述目标图片输入至特征提取器，以使所述特征提取器输出所述目标图片的情绪特征向量；
夸张特征向量计算模块，用于基于所述夸张表情算法，计算得到所述目标图片的夸张特征向量；
目标特征向量集合获取模块，用于根据所述情绪特征向量和所述夸张特征向量在所述特征集合进行检索，得到目标特征向量集合；
目标文案确定模块，用于基于所述目标特征向量集合，在所述文案集合中确定所述目标图片对应的目标文案。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1-7任一项所述的文案检索方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述权利要求1-7任一项所述的文案检索方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011207145.0A CN112214632B (zh) | 2020-11-03 | 2020-11-03 | 文案检索方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011207145.0A CN112214632B (zh) | 2020-11-03 | 2020-11-03 | 文案检索方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112214632A true CN112214632A (zh) | 2021-01-12 |
| CN112214632B CN112214632B (zh) | 2023-11-17 |
Family
ID=74058012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011207145.0A Active CN112214632B (zh) | 2020-11-03 | 2020-11-03 | 文案检索方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112214632B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106657650A (zh) * | 2016-12-26 | 2017-05-10 | 努比亚技术有限公司 | 一种系统表情推荐方法、装置及终端 |
| CN106951856A (zh) * | 2017-03-16 | 2017-07-14 | 腾讯科技（深圳）有限公司 | 表情包提取方法及装置 |
| US20190034976A1 (en) * | 2017-07-26 | 2019-01-31 | Jehan Hamedi | Systems and Methods for Automating Content Design Transformations Based on User Preference and Activity Data |
| CN110458916A (zh) * | 2019-07-05 | 2019-11-15 | 深圳壹账通智能科技有限公司 | 表情包自动生成方法、装置、计算机设备及存储介质 |
| CN110489578A (zh) * | 2019-08-12 | 2019-11-22 | 腾讯科技（深圳）有限公司 | 图片处理方法、装置及计算机设备 |
| CN110706312A (zh) * | 2019-09-20 | 2020-01-17 | 北京奇艺世纪科技有限公司 | 一种表情包的文案确定方法、装置及电子设备 |
| CN110719525A (zh) * | 2019-08-28 | 2020-01-21 | 咪咕文化科技有限公司 | 弹幕表情包的生成方法、电子设备和可读存储介质 |
| CN111353064A (zh) * | 2020-02-28 | 2020-06-30 | 北京百度网讯科技有限公司 | 表情包生成方法、装置、设备和介质 |
| CN111476154A (zh) * | 2020-04-03 | 2020-07-31 | 深圳传音控股股份有限公司 | 表情包生成方法、装置、设备及计算机可读存储介质 |
| CN111586466A (zh) * | 2020-05-08 | 2020-08-25 | 腾讯科技（深圳）有限公司 | 一种视频数据处理方法、装置及存储介质 |
-
2020
- 2020-11-03 CN CN202011207145.0A patent/CN112214632B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106657650A (zh) * | 2016-12-26 | 2017-05-10 | 努比亚技术有限公司 | 一种系统表情推荐方法、装置及终端 |
| CN106951856A (zh) * | 2017-03-16 | 2017-07-14 | 腾讯科技（深圳）有限公司 | 表情包提取方法及装置 |
| US20190034976A1 (en) * | 2017-07-26 | 2019-01-31 | Jehan Hamedi | Systems and Methods for Automating Content Design Transformations Based on User Preference and Activity Data |
| CN110458916A (zh) * | 2019-07-05 | 2019-11-15 | 深圳壹账通智能科技有限公司 | 表情包自动生成方法、装置、计算机设备及存储介质 |
| CN110489578A (zh) * | 2019-08-12 | 2019-11-22 | 腾讯科技（深圳）有限公司 | 图片处理方法、装置及计算机设备 |
| CN110719525A (zh) * | 2019-08-28 | 2020-01-21 | 咪咕文化科技有限公司 | 弹幕表情包的生成方法、电子设备和可读存储介质 |
| CN110706312A (zh) * | 2019-09-20 | 2020-01-17 | 北京奇艺世纪科技有限公司 | 一种表情包的文案确定方法、装置及电子设备 |
| CN111353064A (zh) * | 2020-02-28 | 2020-06-30 | 北京百度网讯科技有限公司 | 表情包生成方法、装置、设备和介质 |
| CN111476154A (zh) * | 2020-04-03 | 2020-07-31 | 深圳传音控股股份有限公司 | 表情包生成方法、装置、设备及计算机可读存储介质 |
| CN111586466A (zh) * | 2020-05-08 | 2020-08-25 | 腾讯科技（深圳）有限公司 | 一种视频数据处理方法、装置及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| NADEZHDA MALENKINA: "A linguistic analysis of the official tourism websites of the seventeen Spanish Autonomous Communities", JOURNAL OF DESTINATION MARKETING & MANAGEMENT, pages 204 - 233 * |
| 陈咨霖: "百度表情搜索引擎产品设计与运营方案", 工程科技Ⅱ辑;信息科技, pages 1 - 59 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112214632B (zh) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109146892B (zh) | 一种基于美学的图像裁剪方法及装置 | |
| JP2019117646A (ja) | パーソナル感情アイコンを提供するための方法及びシステム | |
| US10789456B2 (en) | Facial expression recognition utilizing unsupervised learning | |
| CN109862397B (zh) | 一种视频分析方法、装置、设备和存储介质 | |
| CN109508406B (zh) | 一种信息处理方法、装置及计算机可读存储介质 | |
| CN109033261B (zh) | 图像处理方法、装置、处理设备及其存储介质 | |
| CN112559800B (zh) | 用于处理视频的方法、装置、电子设备、介质和产品 | |
| CN110489574B (zh) | 一种多媒体信息推荐方法、装置和相关设备 | |
| CN113094552A (zh) | 视频模板的搜索方法、装置、服务器及可读存储介质 | |
| US9691004B2 (en) | Device and method for service provision according to prepared reference images to detect target object | |
| CN109241299B (zh) | 多媒体资源搜索方法、装置、存储介质及设备 | |
| CN115443490A (zh) | 影像审核方法及装置、设备、存储介质 | |
| CN110706312A (zh) | 一种表情包的文案确定方法、装置及电子设备 | |
| CN110717335A (zh) | 用户评论数据处理方法、装置、存储介质及电子设备 | |
| CN111553838A (zh) | 模型参数的更新方法、装置、设备及存储介质 | |
| CN114004796A (zh) | 用户评价结果的获取方法、装置、服务器和存储介质 | |
| CN112668710B (zh) | 模型训练、管状物提取、数据识别方法及设备 | |
| US9836799B2 (en) | Service provision program | |
| CN112214632B (zh) | 文案检索方法、装置及电子设备 | |
| CN112507214B (zh) | 基于用户名的数据处理方法、装置、设备及介质 | |
| CN112104914B (zh) | 视频推荐方法及装置 | |
| CN112214626B (zh) | 图像识别方法、装置、可读存储介质及电子设备 | |
| CN110489592B (zh) | 视频分类方法、装置、计算机设备和存储介质 | |
| CN110866195A (zh) | 文本描述的生成方法、装置、电子设备及存储介质 | |
| CN112714362B (zh) | 确定属性的方法、装置、电子设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |