CN109388765A - 一种基于社交网络的图片标题生成方法、装置及设备 - Google Patents
一种基于社交网络的图片标题生成方法、装置及设备 Download PDFInfo
- Publication number
- CN109388765A CN109388765A CN201710655853.2A CN201710655853A CN109388765A CN 109388765 A CN109388765 A CN 109388765A CN 201710655853 A CN201710655853 A CN 201710655853A CN 109388765 A CN109388765 A CN 109388765A
- Authority
- CN
- China
- Prior art keywords
- picture
- personage
- social networks
- personages
- designated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000008451 emotion Effects 0.000 claims abstract description 47
- 230000014509 gene expression Effects 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 20
- 230000003203 everyday effect Effects 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 101150054987 ChAT gene Proteins 0.000 description 2
- 101100203187 Mus musculus Sh2d3c gene Proteins 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/258—Heading extraction; Automatic titling; Numbering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种基于社交网络的图片标题生成方法包括:识别图片中人物,获取图片中人物基础信息和情感信息;根据所述人物基础信息生成基础描述;判断图片中其他人物同被指定人物的关系;根据情感信息、图片中其他人物同被指定人物的关系以及基础描述,生成图片标题。由于生成的标题中包括感情和图片中的人物的关系,因而能够提高标题与图片的情感匹配度,更为贴切用户对社交网络图片的描述要求。
Description
技术领域
本发明属于计算机智能领域,尤其涉及一种基于社交网络的图片标题生成方法、装置及设备。
背景技术
随着互联网技术中的发展,社交网络,比如微信、Facebook、Instagram等被越来越多的人们所喜爱。在使用这些社交网络时,人们通常会将自己喜爱的照片上传到自己的主页或者朋友圈,并且在照片配上相应的文字描述,与其他用户进行互动,包括点赞、回复等。由于照片所配备的文字描述,可以有效的提高其他用户对照片的关注度,因此,用户在发布照片时,往往会花费较多的时间和精力来挑选一段有趣的个性化描述。
为了提高标题的生成效率,可以将系统自动生成的标题推荐给用户使用。比如,通过识别图片中的对象以及对象所执行的动作来生成标题。比如,“一个男人穿着黑衬衫在弹吉它”、“一群年轻人在玩飞盘”等。虽然这种标题生成方法可以提高标题的生成效率,但是由于生成的标题过于直白或生硬,不能有效的匹配和适应社交网络的图片标题的要求。
发明内容
有鉴于此,本发明实施例提供了一种基于社交网络的图片标题生成方法及终端设备,以解决现有技术中的标题生成方法不能有效的匹配和适应社交网络图片标题要求的问题。
本发明实施例的第一方面提供了一种基于社交网络的图片标题生成方法,所述基于社交网络的图片标题生成方法包括:
识别图片中人物,获取图片中人物基础信息和情感信息;
根据所述人物基础信息生成基础描述;
判断图片中其他人物同被指定人物的关系;
根据情感信息、图片中其他人物同被指定人物的关系以及基础描述,生成图片标题。
结合第一方面,在第一方面的第一种可能实现方式中,所述方法还包括:
通过社交网络获取社交网络账号主人语言表达习惯,将所述图片标题转换成社交网络账号主人的惯用表达方式。
结合第一方面或第一方面的第一种可能实现方式,在第一方面的第二种可能实现方式中,所述通过社交网络获取社交网络账号主人语言表达习惯,将所述图片标题转换成社交网络账号主人的惯用表达方式的步骤包括:
获取社交网络账号主人在社交网络使用的历史文字;
通过词嵌入训练语言模型对所述历史文字进行训练,得到社交网络账号主人的常用词语所对应的文字;
根据训练得到的对应关系,将标题中的文字替换为对应的常用词语。
结合第一方面,在第一方面的第三种可能实现方式中,所述根据情感信息、图片中其他人物同被指定人物的关系以及基础描述,生成图片标题包括:
根据所述情感信息,调整所述基础描述中的动作描述词语;
根据所述图片中其他人物同被指定人物的关系,调整所述基础描述中的对象描述词语。
结合第一方面人第三种可能实现方式,在第一方面的第四种可能实现方式中,所述判断图片中其他人物同被指定人物的关系,该被指定人物为社交网络账号主人或除社交网络账号主人外的某人的步骤包括:
确定用于生成标题的图片所对应的社交网络账号主人;
根据社交网络账号主人的相册,计算所述图片中的其他人物与社交网络账号主人的亲密度;
根据图片中的人物的特征,确定所述图片中的人物的年龄和性别;
根据社交网络账号主人与其他人物的亲密度、年龄差距以及其他人物的性别,确定图片中的其他人物与社交网络账号主人的关系。
结合第一方面人第四种可能实现方式,在第一方面的第五种可能实现方式中,所述判断图片中其他人物同被指定人物的关系的步骤包括:
在社交网络账号主人的相册和/或终端设备中存储的相册中,获取其他人物与被指定人物的合影张数、在每张合影的图片中的人脸总数以及其他人物与被指定人物之间包括的人脸数;
根据所述合影张数、所述人脸总数、所述包括的人脸数,计算得到所述图片中的其他人物与被指定人物的亲密度。
结合第一方面的第一方面的第四种可能实现方式,在第一方面的第六种可能实现方式中,所述根据所述其他人物与被指定人物的亲密度,以及被指定人物和其他人物的基础信息,确定图片中的其他人物与被指定人物的关系的步骤包括:
获取预设的亲密度从高到低进行排序的关系名称序列,以及每个关系名称与年龄差距、性别关系的对应关系;
根据计算的其他人物与被指定人物的亲密度从高到低,结合所述关系名称序列以及关系名称与年龄差距、性别关系的对应关系,为其他人物匹配对应的与被指定人物的关系名称。其他
本发明实施例的第二方面提供了一种基于社交网络的图片标题生成装置,所述基于社交网络的图片标题生成装置包括:
信息获取单元,用于识别图片中人物,获取图片中人物基础信息和情感信息;
基础描述生成单元,用于根据所述人物基础信息生成基础描述;
关系判断单元,用于判断图片中其他人物同被指定人物的关系,该被指定人物为社交网络账号主人或除社交网络账号主人外的某人;
图片标题生成单元,用于根据情感信息、图片中其他人物同被指定人物的关系以及基础描述,生成图片标题。
本发明实施例的第三方面提供了一种基于社交网络的图片标题的生成设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如第一方面任一项所述基于社交网络的图片标题生成方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如第一方面任一项所述基于社交网络的图片标题生成方法的步骤。
本发明实施例与现有技术相比存在的有益效果是:根据图片中人物的基础信息生成基础描述,根据图片中其他人物与被指定人物的关系,以及图片中人物情感信息,对基础描述进行调整,生成图片标题。由于生成的标题中包括感情和图片中的人物的关系,因而能够提高标题与图片的情感匹配度,更为贴切用户对社交网络图片的描述要求。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于社交网络的图片标题生成方法的实现流程示意图;
图2是本发明实施例提供的获取所述图片的社交网络账号主人与图片中的人物的关系的实现流程示意图;
图3是本发明实施例提供的又一基于社交网络的图片标题生成方法的交互流程示意图;
图4是本发明实施例提供的又一基于社交网络的图片标题生成方法的交互流程示意图;
图5是本发明实施例提供的一种基于社交网络的图片标题生成装置的示意图;
图6是本发明实施例提供的图片标题的生成设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其他实施例中也可以实现本发明。在其他情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
实施例一:
如图1所示为本申请实施例提供的基于社交网络的图片标题生成方法的实现流程示意图,详述如下:
在步骤S101中,识别图片中人物,获取图片中人物基础信息和情感信息。
社交网络账号主人具体的,本发明实施例所述图片,是指用户需要发布在社交网络的图片,或者也可以为用户需要对其进行文字说明的图片。
所述图片中的人物,可以包括以下人物中的一种或者多种:社交网络账号主人、除社交网络账号主人之外的其他人,比如社交网络账号主人的朋友、亲人等。所述社交网络账号主人,可以是对图片进行上传的用户,或者也可以是对图片添加文字说明的用户。
所述人物基础信息,可以包括人物的年龄、性别、动作等信息。比如,可以根据年龄和性别确定图片中人物的基础描述为女孩、男孩、中年男子、中年女子等。根据动作信息可以确定图片中人物执行的动作,比如根据图片中的动作信息,将图片中人物的动作描述为弹吉它、唱歌、跳舞等。
可以通过识别图片中的人物的脸部表情特征,根据预设的表情特征与情感的对应关系,查找图片中的人物的脸部表情特征所对应的情感信息。
所述情感信息可以包括愤怒(anger),轻视(contempt),厌恶(disgust),恐惧(fear),高兴(happy),悲伤(sad),惊讶(surprise),和中性(neutral)等。另外,还可以增加对脸部表情特征所对应的情感的置信度进行计算,建立置信度与程度修饰词的对应关系。比如所述程度修饰词可以非常、很、有点儿、稍微、超级等。
在步骤S102中,根据所述人物基础信息生成基础描述。
所述人物基础信息包括年龄、性别、动作等信息,通过年龄、性别可以确定图片中人物的描述对象内容,根据动作信息确定图片中的动作描述信息。比如,根据年龄、性别识别图片人物为中年男子,动作信息为弹吉它,那么,基础描述可以为“黑衣男子在弹吉它”,当然,类似的描述还包括“女孩在唱歌”等简单句式。由于这种简单句式包括的内容较为生硬,将其作为社交网络图片标题时,不能够有效的表达社交网络账号主人的感情,不利于提高图片的互动效果。
在步骤S103中,判断图片中其他人物同被指定人物的关系,该被指定人物为社交网络账号主人或除社交网络账号主人外的某人。
由于图片中可能包括社交网络账号主人,也可能不包括社交网络账号主人。因此,所述指定人物可以为社交网络账号主人,也可以为除社交网络账号主人外的某人,比如,在生成描述时,由用户任意指定的图片中的某人。
所述其他人物与被指定人物的关系,可以包括被指定人物与其他人物为伴侣关系、或者其他人物是被指定人物的子女、或者其他人物是被指定人物的父母、或者其他人物是被指定人物的朋友等。所述被指定人物与图片中的人物的关系的确定,可以通过预先设定被指定人物以及与被指定人物为特定关系的其他人物的特征信息,通过对图片的特征信息进行识别和比对,即可既准确又高效的确定被指定人物与图片中的其他人物的关系。
作为本申请一种可选的实施方式,如图2所示,所述获取所述图片的被指定人物与图片中的其他人物的关系,可以包括:
在步骤S201中,根据社交网络账号主人的相册,计算所述图片中的其他人物与社交网络账号主人的亲密度。
其中,所述被指定人物可以为社交网络账号主人,也可以为其他指定的某人。得到生成标题的图片所对应的社交网络账号主人时,可以采用如下方式进行确定:。
可以根据用户的标定信息确定社交网络账号主人的特征信息。或者,也可以分析在“自拍”类别的相册中出现次数最多的人脸,将所述出现次数最多的人脸的特征信息作为社交网络账号主人的特征信息。在其他图片中,只需要将图片中的特征信息与社交网络账号主人的特征信息进行比较,即可判断图片中的人物是否是图像主人。
其他所述亲密度可以由社交网络账号主人直接指定。当社交网络账号主人没有明确指明亲密度时,由于亲密度较好的其他人物,通常会与图片本人合影,并且合影时的距离等因素,均可以反应社交网络账号主人与其他人物之间的亲密度。因此,本申请可以根据社交网络账号主人的相册,包括网络相册和/或本地相册中的信息,计算图片中的其他人物与被指定人物的亲密度。具体以其他人物中的其他人物作为计算示例,计算过程可以如下所示:
A1.在社交网络账号主人的相册和/或终端设备中存储的相册中,获取其他人物与被指定人物的合影张数、在每张合影的图片中的人脸总数以及其他人物与被指定人物之间包括的人脸数其他;
A2.根据所述合影张数、所述人脸总数、所述包括的人脸数,计算得到所述图片中的其他人物与被指定人物的亲密度其他。
所述其他人物(p)与所述被指定人物(o)的合影张数m,可以在社交网络账号主人所使用的本地相册库中,或者还可以包括其他位置所存储的属于所述社交网络账号主人的相册中查找。在查找过程中,可以预先获取其他人物和被指定人物的特征信息,比如可以为脸部特征信息等,通过特征信息,在相册中查找包括其他人物与被指定人物合影的照片。在相册没有更新时,可以直接利用之前查找的数据。所述合影张数m越大,表示其他人物与被指定人物的亲密度越高。
当所述被指定人物为社交网络账号主人时,在所查找的相册中,还可以查找其他人物在所述社交网络账号主人的相册中出现的总次数s,当其他人物出现的总次数越高,表示其他人物与社交网络账号主人的亲密度越高。
所述在每张合影的图片中的人脸总数n,可以通过人脸识别方法,得到所述图片中包括的人脸总数。所述人脸总数可以包括社交网络账号主人自己。所述人脸总数n越小,表示其他人物与被指定人物的亲密度越高。
所述其他人物(o)与被指定人物(p)之间包括的人脸数distance(o,p),可以通过识别图片中的其他人物的人脸和被指定人物的人脸后,在所述其他人物与被指定人物之间的区域查找人脸个数。
另外,可以根据公式:
计算得到其他人物与社交网络账号主人的亲密度。其中:Closeness(o,p)为其他人物(o)与被指定人物(p)之间的亲密度,m为其他人物与被指定人物的合影张数,n为在每张合影的图片中的人脸总数,photo(o,p)指所有其他人物o和被指定人物p同时出现的照片,s是其他人物p在相册中其他照片出现的次数,当计算的被指定人物不是社交网络账号主人时,所述公式中的部分可以不计。
在步骤S202中,根据所述其他人物与被指定人物的亲密度,以及被指定人物和其他人物的基础信息,确定图片中的其他人物与被指定人物的关系。
所述基础信息,可以包括性别、年龄。可以通过人物脸部特征与年龄的对应关系,以及人物的脸部或身体部位特征与性别关系的对应关系,确定所述图片中的人物的年龄和性别。
人物与被指定人物的关系,可能会出现多种,为了有效的对不同类型的关系进行区分,本申请引入了年龄特征和性别特征,当亲密度进行初步查找后,再通过年龄特征和性别特征进行确认,如果确认匹配,则确认所述被指定人物与其他人物所对应的关系。
其中,根据被指定人物与其他人物的亲密度、年龄差距以及其他人物的性别,确定图片中的其他人物与被指定人物的关系的步骤可以包括:
B1.获取预设的亲密度从高到低进行排序的关系名称序列,以及每个关系名称与年龄差距、性别关系的对应关系;
B2.根据计算的其他人物与被指定人物的亲密度从高到低,结合所述关系名称序列以及关系名称与年龄差距、性别关系的对应关系,为其他人物匹配对应的与被指定人物的关系名称。
根据统计的数据,可以得到根据亲密度从高到低的关系名称序列,比如,伴侣的亲密度最高,排序在第一位置,子女排序在第二位置,父母排序在第三位置,朋友排序在第四位置。但是,考虑到个别不同的情况,本申请增加了被指定人物与其他人物的年龄差距与关系名称的对应关系,以及性别关系与关系名称的对应关系。
比如,根据计算到的其他人物与社交网络账号主人的亲密度排序中,根据关系名称序列的匹配结果,第一位置的其他人物所匹配的是伴侣,但是由于第一位置的其他人物与社交网络账号主人性别相同,因此,将第一位置的其他人物与社交网络账号主人的关系名称为所述伴侣排除。与关系名称序列的匹配结果中,第二位置为子女,由于年龄差异、性别差异均符合要求(比如均为男性),因此,可以确定其他人物与社交网络账号主人为父子关系。如果仍然不符的话,可以按照上述步骤,再与下一个关系名称序列中的关系名称进行是否匹配的确认。
在步骤S104中,根据情感信息、图片中其他人物同被指定人物的关系以及基础描述,生成图片标题。
所述根据情感信息、图片中其他人物同被指定人物的关系以及基础描述,生成图片标题包括:
根据所述情感信息,调整所述基础描述中的动作描述词语;
根据所述图片中其他人物同被指定人物的关系,调整所述基础描述中的对象描述词语。
在所述基础描述的基础上,通过所述图片中的其他人物与社交网络账号主人的关系,可以对基础描述中的主语或其他人物进行调整。比如,当社交网络账号主人与图片中的人物的关系为朋友关系时,可以将第三人称的主语,比如“中年男子”、“中年女子”调整为第一人称的“我的朋友”等。
根据图片对应的情感信息,比如所述情感信息可以为“爱”,或者包括程度修饰词的“超级爱”等,可以对基础描述中的谓语进行调整,比如基础描述为“在弹吉它”,通过情感修饰,可以调整为“爱弹吉它”。
结合关系的修饰以及情感信息的修饰后,所述基础描述“黑衣男子在弹吉它”可以调整为“我的朋友爱弹吉它”。
另外,在调整完成后,还可以根据语法检查工具,对标题进行修正,从而可以提高标题能够正确达性的可靠度。所述语法检查工具可以根据日常出现的语句错误,不断的对语法检查工具进行更新和完善。
本申请被指定人物与图片中其他人物的关系,以及根据图片中的人物的脸部特征所确定的图片所对应的感情,作为修正参数,来调整所述图片对应的基础描述,从而生成图片所对应的标题。由于生成的标题中包括感情、人物的关系,因而能够提高标题与图片的情感匹配度,更为贴切用户对社交网络图片的描述要求。
实施例二:
图3为本发明实施例提供的又一基于社交网络的图片标题生成方法的实现流程示意图,详述如下:
在步骤S301中,识别图片中人物,获取图片中人物基础信息和情感信息。
在步骤S302中,根据所述人物基础信息生成基础描述。
在步骤S303中,判断图片中其他人物同被指定人物的关系,该被指定人物为社交网络账号主人或除社交网络账号主人外的某人。
在步骤S304中,根据情感信息、图片中其他人物同被指定人物的关系以及基础描述,生成图片标题。
步骤S301-S304与实施例一中的步骤S101-S104基本相同,在此不作重复描述。
在步骤S305中,通过社交网络获取社交网络账号主人语言表达习惯,将所述图片标题转换成社交网络账号主人的惯用表达方式。
社交网络账号主人所述社交网络账号主人的语言表达习惯,包括但不限于日常的聊天表达内容、朋友圈发布的内容等。
所述通过社交网络获取社交网络账号主人语言表达习惯,将所述图片标题转换成社交网络账号主人的惯用表达方式的步骤包括:
C1、获取社交网络账号主人在社交网络使用的历史文字;
C2、通过词嵌入训练语言模型对所述历史文字进行训练,得到社交网络账号主人的常用词语所对应的文字;
C3、根据训练得到的对应关系,将标题中的文字替换为对应的常用词语。
所述社交网络包括但不限于微信、微博、Facebook、Instagram等。所述历史文字包括社交网络账号主人发布的朋友圈、即时通信工具的聊天内容等。所述历史文字,还可以通过用户所使用的输入法中获取。
社交网络账号主人所述词嵌入训练语言模型,用于将每个单词或词语训练对应为一个向量,并通过计算余弦距离可以查找到单词或词语相近的其他单词或词语。通过将社交网络账号主人的历史文字进行向量表示,结合其他文字的向量表示数据,可以查找到社交网络账号主人的常用词语所对应的文字。
比如,通过词嵌入训练语言模型,训练得到文字A的向量为[0.1 0.6 -0.5],文字B对应的向量为[-0.2 0.9 0.7],通过计算这两个向量的余弦值,即可得到文字A和文字B的相似度。
根据训练得到的社交网络账号主人的历史文字中的常用词语与普通文字的对应关系,可以将步骤S303中调整后的基础描述中的文字进行进一步调整,生成图片所对应的标题。
比如,经过词嵌入训练,基础描述中的“弹吉它”,与用户常用词语中的“摇滚乐”对应,基础描述中的“我的朋友”,与用户常用词语中的“我兄弟”或“我的老伙伴”对应,则根据所述对应关系,使用常用词语对基础描述,或调整后的基础描述作进一步的修正,从而得到与图片和用户更为贴切的标题内容。
实施例三:
图4为本发明实施例提供的又一基于社交网络的图片标题生成方法的实现流程,详述如下:
在步骤S401中,识别图片中人物,获取图片中人物基础信息和情感信息。
在步骤S402中,根据所述人物基础信息生成基础描述。
在步骤S403中,判断图片中其他人物同被指定人物的关系,该被指定人物为社交网络账号主人或除社交网络账号主人外的某人。
在步骤S404中,根据情感信息、图片中其他人物同被指定人物的关系以及基础描述,生成图片标题。
步骤S401-S404与实施例一中的步骤S101-S104基本相同,在此不作重复描述。
在步骤S405中,查找与所述情感信息对应的表情,将查找的表情添加至所述标题中。
所述表情包括社交网络的表情图片,或者也可以为文字表情等。预先设定所述表情所情感的对应关系,比如笑脸的表情对应于高兴情感,流泪表情对应于悲伤情感等。并且,欢乐程度的不同,也可以分别与不同的笑脸对应。
本申请实施例在实施例一的基础上,进一步增加情感信息对应的表情,可以使得标题更加能够表达图片的情感内容,提高标题的与图片的匹配度。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
实施例四:
图5为本申请实施例提供的基于社交网络的图片标题生成装置的结构示意图,详述如下:
本申请实施例所述基于社交网络的图片标题生成装置,包括:
信息获取单元501,用于识别图片中人物,获取图片中人物基础信息和情感信息;
基础描述生成单元502,用于根据所述人物基础信息生成基础描述;
关系判断单元503,用于判断图片中其他人物同被指定人物的关系,该被指定人物为社交网络账号主人或除社交网络账号主人外的某人;
图片标题生成单元504,用于根据情感信息、图片中其他人物同被指定人物的关系以及基础描述,生成图片标题。
优选的,所述基于社交网络的图片标题生成装置还包括:
历史文字获取单元,用于获取社交网络账号主人在社交网络使用的历史文字;
训练单元,用于通过词嵌入训练语言模型对所述历史文字进行训练,得到社交网络账号主人的常用词语所对应的文字;
调整单元,用于根据训练得到的对应关系,将标题中的文字替换为对应的常用词语。
优选的,所述基于社交网络的图片标题生成装置还包括:
表情查找单元,用于查找与所述情感信息对应的表情,将查找的表情添加至所述标题中。
本申请实施例所述基于社交网络的图片标题生成装置,与实施例一至三所述的基于社交网络的图片标题生成方法对应,在此不作重复描述。
实施例五:
图6是本发明一实施例提供的图片标题的生成设备的示意图。如图6所示,该实施例的图片标题的生成设备6包括:处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62,例如图片标题生成程序。所述处理器60执行所述计算机程序62时实现上述各个基于社交网络的图片标题生成方法实施例中的步骤,例如图1所示的步骤101至103。或者,所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能,例如图5所示模块501至503的功能。
示例性的,所述计算机程序62可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器61中,并由所述处理器60执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序62在所述图片标题的生成设备6中的执行过程。例如,所述计算机程序62可以被分割成信息获取单元、基础描述生成单元、关系判断单元和图片标题生成单元,各单元具体功能如下:
信息获取单元,用于识别图片中人物,获取图片中人物基础信息和情感信息;
基础描述生成单元,用于根据所述人物基础信息生成基础描述;
关系判断单元,用于判断图片中其他人物同被指定人物的关系,该被指定人物为社交网络账号主人或除社交网络账号主人外的某人;
图片标题生成单元,用于根据情感信息、图片中其他人物同被指定人物的关系以及基础描述,生成图片标题。
所述图片标题的生成设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述图片标题的生成设备可包括,但不仅限于,处理器60、存储器61。本领域技术人员可以理解,图6仅仅是图片标题的生成设备6的示例,并不构成对图片标题的生成设备6的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述图片标题的生成设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器60可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述图片标题的生成设备6的内部存储单元,例如图片标题的生成设备6的硬盘或内存。所述存储器61也可以是所述图片标题的生成设备6的外部存储设备,例如所述图片标题的生成设备6上配备的插接式硬盘,智能存储卡(Smart MediaCard,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器61还可以既包括所述图片标题的生成设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述图片标题的生成设备所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其他实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其他的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其他的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于社交网络的图片标题生成方法,其特征在于,所述基于社交网络的图片标题生成方法包括:
识别图片中人物,获取图片中人物基础信息和情感信息;
根据所述人物基础信息生成基础描述;
判断图片中其他人物同被指定人物的关系;
根据情感信息、图片中其他人物同所述被指定人物的关系以及基础描述,生成图片标题。
2.根据权利要求1所述的基于社交网络的图片标题生成方法,其特征在于,所述方法还包括:
通过社交网络获取社交网络账号主人语言表达习惯,将所述图片标题转换成社交网络账号主人的惯用表达方式。
3.根据权利要求2所述的基于社交网络的图片标题生成方法,其特征在于,所述通过社交网络获取社交网络账号主人语言表达习惯,将所述图片标题转换成社交网络账号主人的惯用表达方式的步骤包括:
获取社交网络账号主人在社交网络使用的历史文字;
对所述历史文字进行训练,得到社交网络账号主人的常用词语所对应的文字;
根据训练得到的对应关系,将标题中的文字替换为对应的常用词语。
4.根据权利要求1所述的基于社交网络的图片标题生成方法,其特征在于,所述根据情感信息、图片中其他人物同被指定人物的关系以及基础描述生成图片标题的步骤包括:
根据所述情感信息,调整所述基础描述中的动作描述词语;
根据所述图片中其他人物同被指定人物的关系,调整所述基础描述中的对象描述词语。
5.根据权利要求1所述的基于社交网络的图片标题生成方法,其特征在于,所述判断图片中其他人物同被指定人物的关系的步骤包括:
根据社交网络账号主人的网络相册和/或终端设备中存储的相册中包括的人像信息,计算所述图片中的其他人物与被指定人物的亲密度;
根据所述其他人物与其他被指定人物的亲密度,以及被指定人物和其他人物的基础信息,确定图片中的其他人物与被指定人物的关系。
6.根据权利要求5所述的基于社交网络的图片标题生成方法,其特征在于,其他所述根据社交网络账号主人的网络相册和/或终端设备中存储的相册中包括的人像信息,计算所述图片中的其他人物与被指定人物的亲密度其他的步骤包括:
在社交网络账号主人的相册和/或终端设备中存储的相册中,获取其他人物与被指定人物的合影张数、在每张合影的图片中的人脸总数以及其他人物与被指定人物之间包括的人脸数其他;
根据所述合影张数、所述人脸总数、所述其他人物与被指定人物之间包括的人脸数其他,计算得到所述图片中的其他人物与被指定人物的亲密度。
7.根据权利要求5所述的基于社交网络的图片标题生成方法,其特征在于,所述根据所述其他人物与被指定人物的亲密度,以及被指定人物和其他人物的基础信息,确定图片中的其他人物与被指定人物的关系的步骤包括:
获取预设的亲密度从高到低进行排序的关系名称序列,以及每个关系名称与年龄差距、性别关系的对应关系;
根据计算的其他人物与被指定人物的亲密度从高到低,结合所述关系名称序列以及关系名称与年龄差距、性别关系的对应关系,为其他人物匹配对应的与被指定人物的关系名称。
8.一种基于社交网络的图片标题生成装置,其特征在于,所述基于社交网络的图片标题生成装置包括:
信息获取单元,用于识别图片中人物,获取图片中人物基础信息和情感信息;
基础描述生成单元,用于根据所述人物基础信息生成基础描述;
关系判断单元,用于判断图片中其他人物同被指定人物的关系;
图片标题生成单元,用于根据情感信息、图片中其他人物同被指定人物的关系以及基础描述,生成图片标题。
9.一种终端设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述基于社交网络的图片标题的生成方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于社交网络的图片标题的生成方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710655853.2A CN109388765A (zh) | 2017-08-03 | 2017-08-03 | 一种基于社交网络的图片标题生成方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710655853.2A CN109388765A (zh) | 2017-08-03 | 2017-08-03 | 一种基于社交网络的图片标题生成方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109388765A true CN109388765A (zh) | 2019-02-26 |
Family
ID=65412334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710655853.2A Pending CN109388765A (zh) | 2017-08-03 | 2017-08-03 | 一种基于社交网络的图片标题生成方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109388765A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111339330A (zh) * | 2020-03-12 | 2020-06-26 | Oppo广东移动通信有限公司 | 照片处理方法、装置、存储介质及电子设备 |
CN111428549A (zh) * | 2019-10-31 | 2020-07-17 | 深圳市睿洋图志科技有限公司 | 一种基于社交活动图像大数据的人物信息分析方法及系统 |
CN111507193A (zh) * | 2020-03-20 | 2020-08-07 | 威比网络科技(上海)有限公司 | 基于脸部识别的在线教育方法、系统、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101065746A (zh) * | 2004-12-01 | 2007-10-31 | 怀斯莫克有限公司 | 文件自动丰富的方法和系统 |
CN102043820A (zh) * | 2009-10-26 | 2011-05-04 | 鸿富锦精密工业(深圳)有限公司 | 人脉关系分析系统及方法 |
JP2013131234A (ja) * | 2013-02-25 | 2013-07-04 | Olympus Imaging Corp | 文書自動作成装置 |
CN103544721A (zh) * | 2013-10-30 | 2014-01-29 | 宇龙计算机通信科技(深圳)有限公司 | 一种添加图片备注的方法、系统及移动终端 |
CN105302315A (zh) * | 2015-11-20 | 2016-02-03 | 小米科技有限责任公司 | 图片处理方法及装置 |
CN105721778A (zh) * | 2016-03-25 | 2016-06-29 | 宇龙计算机通信科技(深圳)有限公司 | 拍摄数据的处理方法、拍摄数据的处理装置和终端 |
CN106294489A (zh) * | 2015-06-08 | 2017-01-04 | 北京三星通信技术研究有限公司 | 内容推荐方法、装置及系统 |
-
2017
- 2017-08-03 CN CN201710655853.2A patent/CN109388765A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101065746A (zh) * | 2004-12-01 | 2007-10-31 | 怀斯莫克有限公司 | 文件自动丰富的方法和系统 |
CN102043820A (zh) * | 2009-10-26 | 2011-05-04 | 鸿富锦精密工业(深圳)有限公司 | 人脉关系分析系统及方法 |
JP2013131234A (ja) * | 2013-02-25 | 2013-07-04 | Olympus Imaging Corp | 文書自動作成装置 |
CN103544721A (zh) * | 2013-10-30 | 2014-01-29 | 宇龙计算机通信科技(深圳)有限公司 | 一种添加图片备注的方法、系统及移动终端 |
CN106294489A (zh) * | 2015-06-08 | 2017-01-04 | 北京三星通信技术研究有限公司 | 内容推荐方法、装置及系统 |
CN105302315A (zh) * | 2015-11-20 | 2016-02-03 | 小米科技有限责任公司 | 图片处理方法及装置 |
CN105721778A (zh) * | 2016-03-25 | 2016-06-29 | 宇龙计算机通信科技(深圳)有限公司 | 拍摄数据的处理方法、拍摄数据的处理装置和终端 |
Non-Patent Citations (1)
Title |
---|
ANDREW SHIN等: "Image Captioning with Sentiment Terms via Weakly-Supervised Sentiment Dataset", 《BRITISH MACHINE VISION CONFERENCE 2016》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111428549A (zh) * | 2019-10-31 | 2020-07-17 | 深圳市睿洋图志科技有限公司 | 一种基于社交活动图像大数据的人物信息分析方法及系统 |
CN111339330A (zh) * | 2020-03-12 | 2020-06-26 | Oppo广东移动通信有限公司 | 照片处理方法、装置、存储介质及电子设备 |
CN111339330B (zh) * | 2020-03-12 | 2023-09-01 | Oppo广东移动通信有限公司 | 照片处理方法、装置、存储介质及电子设备 |
CN111507193A (zh) * | 2020-03-20 | 2020-08-07 | 威比网络科技(上海)有限公司 | 基于脸部识别的在线教育方法、系统、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11893514B2 (en) | Contextual-based method and system for identifying and revealing selected objects from video | |
US11783352B2 (en) | Audio-based identification interfaces for selecting objects from video | |
US9348479B2 (en) | Sentiment aware user interface customization | |
US11335062B2 (en) | Automated apparel design using machine learning | |
CN109844741B (zh) | 在自动聊天中生成响应 | |
US20190122409A1 (en) | Multi-Dimensional Puppet with Photorealistic Movement | |
CN112131472B (zh) | 信息推荐方法、装置、电子设备和存储介质 | |
Pyo et al. | LDA-based unified topic modeling for similar TV user grouping and TV program recommendation | |
Chang et al. | The prompt artists | |
AU2018278562B2 (en) | Method for pushing picture, mobile terminal, and storage medium | |
CN108845986A (zh) | 一种情感分析方法、设备及系统、计算机可读存储介质 | |
CN109388765A (zh) | 一种基于社交网络的图片标题生成方法、装置及设备 | |
CN115212561A (zh) | 基于玩家的语音游戏数据的服务处理方法及相关产品 | |
CN110175323A (zh) | 消息摘要的生成方法和装置 | |
CN111324773A (zh) | 一种背景音乐构建方法、装置、电子设备和存储介质 | |
CN103678548B (zh) | 基于组合模式的失效服务替代推荐方法 | |
CN117033799B (zh) | 资源推荐方法、装置、计算机设备及存储介质 | |
CN109325135A (zh) | 基于文本的视频生成方法、装置、计算机设备及存储介质 | |
CN109829033A (zh) | 数据展示方法和终端设备 | |
US9489592B2 (en) | User characteristic prediction using images posted in online social networks | |
Li et al. | AIGC In China: Current Developments And Future Outlook | |
CN116401394B (zh) | 对象集和图像生成方法、装置、电子设备及存储介质 | |
Brisebois et al. | MLM based Learning & Boosting Model–Part 2: Matching User Evolutive Interests (MUEI) based on Multi-Engines Learning Match Algorithms (ELMA) using User Created Content and Universal Knowledge Repositories (UKR) | |
CN117556149B (zh) | 资源推送方法、装置、电子设备和存储介质 | |
Arnett et al. | Recommender system based on user functional requirements using Euclidean fuzzy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |