CN102662961A

CN102662961A - 一种语义与图像匹配处理方法、装置及终端设备

Info

Publication number: CN102662961A
Application number: CN2012100595291A
Authority: CN
Inventors: 任晓倩
Original assignee: Beijing Baishunhuanian Culture Communication Co Ltd
Current assignee: Beijing Baishunhuanian Culture Communication Co Ltd
Priority date: 2012-03-08
Filing date: 2012-03-08
Publication date: 2012-09-12
Anticipated expiration: 2032-03-08
Also published as: CN102662961B

Abstract

本发明提供一种语义与图像匹配处理方法、装置及终端设备，其中，方法包括：获得输入的语句；对所述语句进行语义分析，得到多个特征词；根据所述特征词，从图像元素库中查找与所述特征词相匹配的图像元素；按照所述多个特征词之间的语义关系，确定与所述特征词相匹配的图像元素之间的组合顺序；按照所述组合顺序，将与所述特征词相匹配的图像元素组合成一新的图像。本发明的方案可以得到与语义相匹配的图像，达到图文并茂的效果。

Description

一种语义与图像匹配处理方法、装置及终端设备

技术领域

本发明涉及图像信息处理领域，特别是指一种语义与图像匹配处理方法、装置及终端设备。

背景技术

随着互联网和移动互联网的发展，即时通讯，微博，社区都成为人们在线交流的主要平台。目前，在互联网和移动互联网上的主流的交流方式是以文字和语音的形式为主。

用图片进行表达和交流的情况主要体现在：聊天或发表文章时应用的非个性化卡通形象表情，卡通形式的礼物，或照片。这种图像表达形式，是非个性化的，即没有用户本人的形象参与到图像中进行的表达，使图像不能丰富准确地表达用户的意思。而且也无法体现用户人本在图像中的参与。

当前图片的使用都是用户手动拼接图片或扫描上传人工画好的图片和照片。人们在表达自己的意思的时候，如果有配图需求，则需要通过在网上或自己的图库中找到自己满意的图片。这样，一是效率低下，二是很难找到自己满意的图片。通常，图片和文字不相匹配，达不到图文并茂的效果。

发明内容

本发明要解决的技术问题是提供一种语义与图像匹配处理方法、装置及终端设备，可以得到与语义相匹配的图像，达到图文并茂的效果。

为解决上述技术问题，本发明的实施例提供一种语义与图像匹配处理方法，包括：

获得输入的语句；

对所述语句进行语义分析，得到多个特征词；

根据所述特征词，从图像元素库中查找与所述特征词相匹配的图像元素；

按照所述多个特征词之间的语义关系，确定与所述特征词相匹配的图像元素之间的组合顺序；

按照所述组合顺序，将与所述特征词相匹配的图像元素组合成一新的图像。

其中，所述语句为：文字形式的语句，或者语音形式的语句，或者将输入的语音转换成文字形式的语句。

其中，对所述语句进行语义分析，得到多个特征词的步骤包括：

判断所述语句是否是常见短语，若是，将所述常见短语作为所述特征词；若否，对所述语句按照标点符号进行断句分割，得到多个短句；

对所述短句按照虚词进行分割，得到多个特征词。

其中，根据所述特征词，从图像元素库中查找与所述特征词相匹配的图像元素的步骤包括：

根据所述特征词，从图像元素库中查找图像元素的名称包括所述特征词的图像元素，若查找到，则认为该查找到的至少一个图像元素与所述特征词匹配。

其中，从所述查找到的至少一个图像元素中，确定图像元素的名称与所述特征词完全相同的图像元素为与所述特征词相匹配的图像元素，否则，从所述查找到的至少一个图像元素中任选一个图像元素作为与所述特征词相匹配的图像元素。

其中，按照所述多个特征词之间的语义关系，确定与所述特征词相匹配的图像元素之间的组合顺序的步骤包括：

按照所述多个特征词之间的语义关系，将与所述特征词相匹配的图像元素分为多层；

按照图像元素显示的效果，确定与所述特征词匹配的多层图像元素之间的组合顺序。

其中，与所述特征词匹配的图像元素之间的组合顺序为至少一种。

其中，按照所述组合顺序，将与所述特征词相匹配的图像元素组合成一新的图像的步骤包括：

按照所述组合顺序，依次获得所述组合顺序中，与所述特征词匹配的所有图像元素对应的显示区域；

按照所述显示区域确定的位置，将所述图像元素显示在所述显示区域中；

将所有显示区域中显示的所述图像元素组合成所述新的图像。

其中，所述图像元素库包括：第一人称相应的特征词对应的图像元素；

所述图像元素为：平面图像、动态图像和/或三维图像。

本发明的实施例还提供一种语义与图像匹配处理装置，包括：

输入模块，用于获得输入的语句；

分析模块，用于对所述语句进行语义分析，得到多个特征词；

匹配模块，用于根据所述特征词，从图像元素库中查找与所述特征词相匹配的图像元素；

确定模块，用于按照所述多个特征词之间的语义关系，确定与所述特征词相匹配的图像元素之间的组合顺序；

图像生成模块，用于按照所述组合顺序，将与所述特征词相匹配的图像元素组合成一新的图像。

其中，所述确定模块包括：

划分模块，用于将图像元素库中的图像元素分为多层；

第一确定子模块，用于按照图像元素显示的效果，确定多层图像元素之间的组合顺序；

第二确定子模块，用于按照多层图像元素之间的组合顺序，确定与所述特征词匹配的图像元素之间的组合顺序。

其中，所述图像生成模块包括：

获得子模块，用于按照所述组合顺序，依次获得所述组合顺序中，与所述特征词匹配的所有图像元素对应的显示区域；

第一处理子模块，用于按照所述显示区域确定的位置，将所述图像元素显示在所述显示区域中；

第二处理子模块，用于将所有显示区域中显示的所述图像元素组合成所述新的图像。

本发明的实施例还提供一种终端设备，包括显示模块，以及如上所述的语义与图像匹配处理装置；其中，所述显示模块用于显示所述新的图像。

本发明的上述技术方案的有益效果如下：

上述方案中，通过对输入的语句进行语义分析，得到多个特征词，并从图像元素库中查找与所述特征词相匹配的图像元素，并按照所述多个特征词之间的语义关系，确定与所述特征词相匹配的图像元素之间的组合顺序，按照所述组合顺序，将与所述特征词相匹配的图像元素组合成一新的图像；使得该新的图像是根据用户临时输入的语句而产生与该语句的语义相匹配的图像，从而达到图文并茂的效果，并增加用户的使用乐趣。

附图说明

图1为本发明的实施例语义与图像匹配处理方法的流程示意图；

图2为图1所示方法中，语义分析结果的示意图；

图3为图1所示方法中，按照语义分析结果进行图像帧组合的示意图；

图4为图1所示方法中，图像元素为动态图像时的组合示意图；

图5为图1所示方法中，特征词对应的图像元素之间为连续动态图像时的组合示意图；

图6为反映图像元素层之间关系的一种方式图；

图7为反映图像元素层之间关系的另一种方式图；

图8为本发明的实施例语义与图像匹配处理装置的结构示意图；

图9为本发明的实施例终端设备的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

如图1所示，本发明的实施例一种语义与图像匹配处理方法，包括：

步骤11，获得输入的语句；

步骤12，对所述语句进行语义分析，得到多个特征词；

步骤13，根据所述特征词，从图像元素库中查找与所述特征词相匹配的图像元素；

步骤14，按照所述多个特征词之间的语义关系，确定与所述特征词相匹配的图像元素之间的组合顺序；

步骤15，按照所述组合顺序，将与所述特征词相匹配的图像元素组合成一新的图像。

本发明的实施例通过对输入的语句进行语义分析，得到多个特征词，并从图像元素库中查找与所述特征词相匹配的图像元素，并按照所述多个特征词之间的语义关系，确定与所述特征词相匹配的图像元素之间的组合顺序，按照所述组合顺序，将与所述特征词相匹配的图像元素组合成一新的图像；使得该新的图像是根据用户临时输入的语句而产生与该语句的语义相匹配的图像，从而达到图文并茂的效果，并增加用户的使用乐趣。

优选的，上述步骤12的具体实现过程包括：

步骤121，对所述语句进行语义分析，得到多个特征词的步骤包括：

步骤122，判断所述语句是否是常见短语，若是，将所述常见短语作为所述特征词；若否，对所述语句按照标点符号进行断句分割，得到多个短句；

步骤123，对所述短句按照虚词进行分割，得到多个特征词。

具体地，以对输入的文字语句“我在海边吃烧烤，很开心”为例进行语义分析；如图2所示，首先，根据输入的文字内容进行语义判断，包括这段文字表达的意思是什么，表述的何种语气，表达的心里情绪状态如何，所涉及的人物是谁，数量几个。

语义分析包括下列步骤：

对获取的文字，进行常见短语匹配；

如果不是常见短语，对获取的文字按标点和虚词(包括，副词，介词，连词，助词，等)进行断句；

根据第一节断句内容，首先判断主语，找出对应主语，如：“你”、“我”、“张三”、“和”“李四”，等。如果没有明确主语，默认为“我”；

判断语气助词，如“呢”、“吗”，等；

判断程度副词、语气副词等，如：“非常”、“不”，等；

在其余的断句中，根据不同的虚词，解析出关键词，并确定其为动词或名词；

将解析的主语及关键词与数据库匹配，完成语义分析。

例如：“我在海边吃烧烤，很开心”，具体语义分析按上述方法分解如下：

此句为非常见短语。

断句分解的特征词包括：“我”、“在”、“海边”、吃烧烤”、“很”、“开心”；

解析出主语“我”；

无语气助词；

解析出程度副词“很”；

根据地点副词“在”，解析出地点“海边”，及动词“吃烧烤”，“开心”。

另外，当输入的语句是语音形式的语句时，即语音输入，语音输入是根据操作者的讲话，用相关的声音识别方法识别该语句；

当然也可以是，对语音识别出来之后，将识别出来的语句转换成文字的语句，供用户确认，用户确认或者对识别出来的语句进行修改确认后，再进行语义分析。

在上述图1所示方法的实施例中，步骤13具体可以包括：

在本发明的实施例中，图像元素库中的每个图像元素都会有指代的若干文字内容，并具有与该若干文字内容相关的图像元素名称，根据分析出来的特征词，从图像元素库中调取与该特征词相匹配的图像元素。

例如，针对上述特征词：“我”、“在”、“海边”、吃烧烤”、“很”、“开心”；

其中，特征词“我”对应的图像元素如图2中的中间一幅图中的人物的头像，特征词“海边”对应的图像元素如图2中的左边一幅图中的海边图像，吃烧烤，对应的图像元素如图2中的中间一幅以及右边一幅图中的人物的身体图像，特征词“开心”对应的图像元素如图2中的右边一幅图中的人物的头像的嘴巴的状态，特征词“在”表明了人物的图像和海边图像的语义关系，另外，图2中在出现人物图像时，还会出现一文本框，该文本框中呈现所输入的语句，以达到图文并茂的效果。

优选的，在图像元素库中查找与特征词匹配的图像元素时，具体可以包括：确定图像元素的名称与所述特征词完全相同的图像元素为与所述特征词相匹配的图像元素，否则，从所述查找到的至少一个图像元素中任选一个图像元素作为与所述特征词相匹配的图像元素。

如图像元素库中的图像元素的名称为“张三”，且为该图像元素指定的若干文字内容可能包括：我，Amy等，其中，“张三”、“我”和“Amy”分别为同一个人物的不同指代，因此，当特征词为“张三”、“我”或者“Amy”时，都可以匹配到包括该人物的图像元素；

当然，包括该人物的图像元素也可能不至一个，如用“张三”命名的图像元素，用“Amy”命名的图像元素，且为这两个图像元素指定的文字是“我”，那么，在匹配特征词“我”的时候，可以调取出来两个图像元素，分别是用“张三”命名的图像元素，用“Amy”命名的图像元素，这时，可以供用户再进行进一步选择，最终确定一张与特征词匹配的图像元素。

在上述图1所示方法的实施例中，步骤14具体可以包括：

步骤141，按照所述多个特征词之间的语义关系，将与所述特征词相匹配的图像元素分为多层；

步骤142，按照图像元素显示的效果，确定与所述特征词匹配的多层图像元素之间的组合顺序。

具体地，多个特征词之间的语义关系包括：语句中的地点副词确定的多个特征词之间的关系或者特征词之间的逻辑关系所确定的语义关系，如图3所示，以“我和老婆在海边吃烧烤，很开心”，按照上述语义分析方法，分解成“我”，“老婆”，“海边”，“吃烧烤”，“很”，“开心”几个特征词，按照这几个特征词中的人物，人物的动作，人物的心情以及人物与地点的逻辑关系，将这几个特征词在图像元素库中匹配到的图像元素分为多个层次，优选地，可以按照图像显示的效果还进行分层，如可以分成人物头像层，身体层，物品层，表情层，背景层，文字框层等，如可以将背景层作为最先渲染的层，如图3中的最左边的一幅图，接着依次渲染人物头像层，文字框层，身体层，物品层，表情层等，当然，这里各个层次之间的渲染顺序，并不限于是上述所述的顺序，还可以有其它的顺序，如渲染完背景层、人物头像层之后，接下来可以渲染表情层，身体层，物品层以及文字框层等，这些顺序决定了图像显示时的渲染顺序，但最终得到的新的图像应当是相同的效果，当然，不排除有些顺序造成的效果不相同，但也应当是本发明的实施例所涵盖的范围。

进一步，上述各个层进行组合时，其中身体层和头像层的组合可以按照如下组合方式进行：

1)身体层的所有素材都固定在一个区域范围内。头像层所有素材也固定出现身体层上方的一个范围内，从而达到身体与头部衔接的吻合。

2)每个所属身体层的素材的固定点都在图中有一个坐标值，每次生成图像时，头像层和表情层的素材会自动找到该身体素材的固定点坐标，并按坐标参数与之衔接。

其中，各个层之间的关系，如图6或者图7所示，其中，图6中，层1-层10之间的顺序可以任意调换，并不限于图中所示的顺序，且层2、4、10所示的物体层是不同的物体层，层5、8所示的身体层是不同的身体层，层7、9所示的表情层是不同的表情层；6.1-6.7是层6的分支，以次类推，各个层之间的顺序可以调换。当然，调换的前提是保证新的图像的效果符合人的正常观看逻辑。图7中的相关层顺序也可以调换，且层5的分支：层5.1-5.7之间的顺序也可以调换。

在上述图1所示的方法中，其中，步骤15可以包括：

步骤151，按照所述组合顺序，依次获得所述组合顺序中，与所述特征词匹配的所有图像元素对应的显示区域；

步骤152，按照所述显示区域确定的位置，将所述图像元素显示在所述显示区域中；

步骤153，将所有显示区域中显示的所述图像元素组合成所述新的图像。

如上述的背景层需要布满整个显示区域，而头像层则应当位于背景层的前面，身体层应当位于头像层的下方，表情层则应当位于头像层的前面，文字框层则应当们于头像层的右上角或者左上角等，这样各个层按照预定的显示区域进行显示，就会自动组合成一幅新的图像。

其中，所述图像元素库包括：第一人称相应的特征词对应的图像元素，即将自己变成图像中的角色：通过上传照片，用软件对照片进行图像处理，生成具备本人特征的图像元素，且用户可在软件中进行发型更换，脸型调整，佩戴饰物，修饰容貌等操作。确定好人物形象设定后，此形象就可成为所生成新的图像的角色。将自己变成图像中的角色同时，在确定语义分析的结果，为用户提供语义相同的多套素材层组合方案，供用户选择。

所述图像元素可以为：平面图像、动态图像和/或三维图像。即，上述生成的新的图像中的图像元素本身可以是平面图像，也可以是动态图像，也可以是三维图像。

另外，在基于上述所有实施例的基础上，图像元素库中可以随时进行更新，如临时增加新的图像元素，或者删除已有的图像元素或者更改图像元素的名称或者指代文字等，该图像元素库也可以通过网络上传给服务器，并共享给其它用户，以实现图像元素的共享。

在临时增加新的图像元素时，如获得一新的图像元素，如用户本人的大头照，或者用手机临时拍摄的照片等，在生成并妆扮完该图像元素中的人物形象后，用户可以给形象定义名称，性别。如语义中出现此名称，此包括该人物头像的图像元素及所匹配的身体将出现在产生新的图像中。

文字框的自动识别：文字框作为新的图像中的一部分，形式根据语义内容，语气，字数的不同而改变。通过语义内容，语气的不同，从素材库中调用不同文字框形式。如：表示想象中的内容，出现想象型文字框。表达惊讶语气的内容，出现惊讶形状的文字框。文字框的尺寸，按文字数量多少而自动调整大小。

四格漫画及多格漫画：用户可将通过文字或语音生成的4幅画面组合成四格漫画。或按照所生成的图画张数，按软件组合成多款不同分格形式。

当上述图像元素为动态图片时：根据语义内容生成动态的图画。每层中的图像元素根据语义分析的结果，组合成一副连续动态的图画。比如：今天天气很好，我很高兴。天气很好作为背景层，其中太阳在做连续发光的动作。身体层在做持续欢呼的动作，表情层在做连续大笑的动作。合在一起就形成：太阳在发光，身体在欢呼，表情在哈哈笑，具体如图4所示。

当包含动画图片的图像元素对应的语义出现较长的句式时，可生成有故事情节的较长时间的动画短片。通过语义抓取关键动作及场景情节使场景，身体动作，人物形象，表情等素材根据剧情而不断改变。

如图5所示，比如：早上坐地铁刷卡发现没带一卡通，买了票进来，好久才等到车。幸好人不多有座。下地铁去了游，玩了摩天轮。去餐馆吃了烤鸡还喝了红酒。按照上述方法所述的实施例的步骤对该语句进行分析，得到如图5所示的多帧新的图像，并连续播放该多帧新的图像，其中图5中的一幅图像为一图像帧。

进一步地，图像元素还可以是3D动态图片：所有图像元素库中的图像元素都是经过3D渲染后的立体形式。根据语义组合出的画面也是可连动的多角度转换的3D立体效果。

图片修正：当符合用户需求的动画静态图片/动态图片/动画图片显示后，用户可以根据自己的喜好进行DIY(Do it yourself)修正，包括各层素材更改、位移、缩放、变换等。

另外，本发明的上述实施例中，为了回避生成图画内容的重复，系统使用了记忆算法。即：用户第一次输入“好”这个字生成的图像，和第二次输入“好”或者“OK”这类字生成的结果是不一样的，但图画表现的意思是一样，只是使用的图像元素不同。

本发明的上述实施例，通过对用户随时输入的语句进行分析，得到多个特征词，并从图像元素库中获得这些特征词匹配的图像元素，如包括用户本人头像的图像元素，或者包括用户本人头像的各种个性化头像，并将这些头像按照当前的语义生成符合该语义的新的图像，同时，用户所输入的文字会出现在新的图像中的对话框里。此外，用户还可以输入不同的人物名称更换画中的角色。用户可以自己创作素材。通过载入照片，对照片进行风格化处理后，成为图画中的一部分。使用户只需要通过打字或者语音，即可自动生成与该打字或者语音输入的语句的语义相符的图像，达到图文并茂的效果，提高用户的使用兴趣。

如图8所示，本发明的实施例还提供一种语义与图像匹配处理装置，包括：

输入模块81，用于获得输入的语句；其中，所述语句为：文字形式的语句，或者语音形式的语句，或者将输入的语音转换成文字形式的语句；

分析模块82，用于对所述语句进行语义分析，得到多个特征词；

匹配模块83，用于根据所述特征词，从图像元素库中查找与所述特征词相匹配的图像元素；

确定模块84，用于按照所述多个特征词之间的语义关系，确定与所述特征词相匹配的图像元素之间的组合顺序；

图像生成模块85，用于按照所述组合顺序，将与所述特征词相匹配的图像元素组合成一新的图像。

其中，分析模块82具体用于判断所述语句是否是常见短语，若是，将所述常见短语作为所述特征词；若否，对所述语句按照标点符号进行断句分割，得到多个短句；对所述短句按照虚词进行分割，得到多个特征词。

其中，匹配模块83具体用于根据所述特征词，从图像元素库中查找图像元素的名称包括所述特征词的图像元素，若查找到，则认为该查找到的至少一个图像元素与所述特征词匹配；进一步地，从所述查找到的至少一个图像元素中，确定图像元素的名称与所述特征词完全相同的图像元素为与所述特征词相匹配的图像元素，否则，从所述查找到的至少一个图像元素中任选一个图像元素作为与所述特征词相匹配的图像元素。

其中，所述确定模块84包括：划分模块，用于将图像元素库中的图像元素分为多层；

第二确定子模块，用于按照多层图像元素之间的组合顺序，确定与所述特征词匹配的图像元素之间的组合顺序。优选的，与所述特征词匹配的图像元素之间的组合顺序为至少一种。

其中，所述图像生成模块85包括：

在上述所有装置实施例中，所述图像元素库包括：

第一人称相应的特征词对应的图像元素；所述图像元素为：平面图像、动态图像和/或三维图像。

该装置实施例是与上述方法实施例对应的装置，具体可以手机或者PC或者其它智能设备中的一应用，如即时通讯平台，输入法平台。该装置也能达到与上述方法相同的技术效果。

另外，如图9所示，本发明的实施例还保护一种终端设备90，包括显示模块86，以及如上所述的语义与图像匹配处理装置；其中，所述显示模块86用于显示所述新的图像。

本发明的该终端设备可以是手机，PC，PDA等智能设备，且也能达到上述装置实施例相同的技术效果。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种语义与图像匹配处理方法，其特征在于，包括：

获得输入的语句；

对所述语句进行语义分析，得到多个特征词；

2.根据权利要求1所述的语义与图像匹配处理方法，其特征在于，所述语句为：文字形式的语句，或者语音形式的语句，或者将输入的语音转换成文字形式的语句。

3.根据权利要求1所述的语义与图像匹配处理方法，其特征在于，对所述语句进行语义分析，得到多个特征词的步骤包括：

对所述短句按照虚词进行分割，得到多个特征词。

4.根据权利要求1所述的语义与图像匹配处理方法，其特征在于，根据所述特征词，从图像元素库中查找与所述特征词相匹配的图像元素的步骤包括：

5.根据权利要求4所述的语义与图像匹配处理方法，其特征在于，从所述查找到的至少一个图像元素中，确定图像元素的名称与所述特征词完全相同的图像元素为与所述特征词相匹配的图像元素，否则，从所述查找到的至少一个图像元素中任选一个图像元素作为与所述特征词相匹配的图像元素。

6.根据权利要求1所述的语义与图像匹配处理方法，其特征在于，按照所述多个特征词之间的语义关系，确定与所述特征词相匹配的图像元素之间的组合顺序的步骤包括：

7.根据权利要求6所述的语义与图像匹配处理方法，其特征在于，与所述特征词匹配的图像元素之间的组合顺序为至少一种。

8.根据权利要求1所述的语义与图像匹配处理方法，其特征在于，按照所述组合顺序，将与所述特征词相匹配的图像元素组合成一新的图像的步骤包括：

9.根据权利要求1-8任一项所述的语义与图像匹配处理方法，其特征在于，

所述图像元素库包括：第一人称相应的特征词对应的图像元素；

所述图像元素为：平面图像、动态图像和/或三维图像。

10.一种语义与图像匹配处理装置，其特征在于，包括：

输入模块，用于获得输入的语句；

11.根据权利要求10所述的语义与图像匹配处理装置，其特征在于，所述确定模块包括：

划分模块，用于将图像元素库中的图像元素分为多层；

12.根据权利要求10或11所述的语义与图像匹配处理装置，其特征在于，所述图像生成模块包括：

13.一种终端设备，包括显示模块，其特征在于，还包括：如权利要求10-12任一项所述的语义与图像匹配处理装置；其中，所述显示模块用于显示新的图像。