CN102662961A - 一种语义与图像匹配处理方法、装置及终端设备 - Google Patents
一种语义与图像匹配处理方法、装置及终端设备 Download PDFInfo
- Publication number
- CN102662961A CN102662961A CN2012100595291A CN201210059529A CN102662961A CN 102662961 A CN102662961 A CN 102662961A CN 2012100595291 A CN2012100595291 A CN 2012100595291A CN 201210059529 A CN201210059529 A CN 201210059529A CN 102662961 A CN102662961 A CN 102662961A
- Authority
- CN
- China
- Prior art keywords
- pictorial element
- characteristic speech
- built
- sequence
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种语义与图像匹配处理方法、装置及终端设备,其中,方法包括:获得输入的语句;对所述语句进行语义分析,得到多个特征词;根据所述特征词,从图像元素库中查找与所述特征词相匹配的图像元素;按照所述多个特征词之间的语义关系,确定与所述特征词相匹配的图像元素之间的组合顺序;按照所述组合顺序,将与所述特征词相匹配的图像元素组合成一新的图像。本发明的方案可以得到与语义相匹配的图像,达到图文并茂的效果。
Description
技术领域
本发明涉及图像信息处理领域,特别是指一种语义与图像匹配处理方法、装置及终端设备。
背景技术
随着互联网和移动互联网的发展,即时通讯,微博,社区都成为人们在线交流的主要平台。目前,在互联网和移动互联网上的主流的交流方式是以文字和语音的形式为主。
用图片进行表达和交流的情况主要体现在:聊天或发表文章时应用的非个性化卡通形象表情,卡通形式的礼物,或照片。这种图像表达形式,是非个性化的,即没有用户本人的形象参与到图像中进行的表达,使图像不能丰富准确地表达用户的意思。而且也无法体现用户人本在图像中的参与。
当前图片的使用都是用户手动拼接图片或扫描上传人工画好的图片和照片。人们在表达自己的意思的时候,如果有配图需求,则需要通过在网上或自己的图库中找到自己满意的图片。这样,一是效率低下,二是很难找到自己满意的图片。通常,图片和文字不相匹配,达不到图文并茂的效果。
发明内容
本发明要解决的技术问题是提供一种语义与图像匹配处理方法、装置及终端设备,可以得到与语义相匹配的图像,达到图文并茂的效果。
为解决上述技术问题,本发明的实施例提供一种语义与图像匹配处理方法,包括:
获得输入的语句;
对所述语句进行语义分析,得到多个特征词;
根据所述特征词,从图像元素库中查找与所述特征词相匹配的图像元素;
按照所述多个特征词之间的语义关系,确定与所述特征词相匹配的图像元素之间的组合顺序;
按照所述组合顺序,将与所述特征词相匹配的图像元素组合成一新的图像。
其中,所述语句为:文字形式的语句,或者语音形式的语句,或者将输入的语音转换成文字形式的语句。
其中,对所述语句进行语义分析,得到多个特征词的步骤包括:
判断所述语句是否是常见短语,若是,将所述常见短语作为所述特征词;若否,对所述语句按照标点符号进行断句分割,得到多个短句;
对所述短句按照虚词进行分割,得到多个特征词。
其中,根据所述特征词,从图像元素库中查找与所述特征词相匹配的图像元素的步骤包括:
根据所述特征词,从图像元素库中查找图像元素的名称包括所述特征词的图像元素,若查找到,则认为该查找到的至少一个图像元素与所述特征词匹配。
其中,从所述查找到的至少一个图像元素中,确定图像元素的名称与所述特征词完全相同的图像元素为与所述特征词相匹配的图像元素,否则,从所述查找到的至少一个图像元素中任选一个图像元素作为与所述特征词相匹配的图像元素。
其中,按照所述多个特征词之间的语义关系,确定与所述特征词相匹配的图像元素之间的组合顺序的步骤包括:
按照所述多个特征词之间的语义关系,将与所述特征词相匹配的图像元素分为多层;
按照图像元素显示的效果,确定与所述特征词匹配的多层图像元素之间的组合顺序。
其中,与所述特征词匹配的图像元素之间的组合顺序为至少一种。
其中,按照所述组合顺序,将与所述特征词相匹配的图像元素组合成一新的图像的步骤包括:
按照所述组合顺序,依次获得所述组合顺序中,与所述特征词匹配的所有图像元素对应的显示区域;
按照所述显示区域确定的位置,将所述图像元素显示在所述显示区域中;
将所有显示区域中显示的所述图像元素组合成所述新的图像。
其中,所述图像元素库包括:第一人称相应的特征词对应的图像元素;
所述图像元素为:平面图像、动态图像和/或三维图像。
本发明的实施例还提供一种语义与图像匹配处理装置,包括:
输入模块,用于获得输入的语句;
分析模块,用于对所述语句进行语义分析,得到多个特征词;
匹配模块,用于根据所述特征词,从图像元素库中查找与所述特征词相匹配的图像元素;
确定模块,用于按照所述多个特征词之间的语义关系,确定与所述特征词相匹配的图像元素之间的组合顺序;
图像生成模块,用于按照所述组合顺序,将与所述特征词相匹配的图像元素组合成一新的图像。
其中,所述确定模块包括:
划分模块,用于将图像元素库中的图像元素分为多层;
第一确定子模块,用于按照图像元素显示的效果,确定多层图像元素之间的组合顺序;
第二确定子模块,用于按照多层图像元素之间的组合顺序,确定与所述特征词匹配的图像元素之间的组合顺序。
其中,所述图像生成模块包括:
获得子模块,用于按照所述组合顺序,依次获得所述组合顺序中,与所述特征词匹配的所有图像元素对应的显示区域;
第一处理子模块,用于按照所述显示区域确定的位置,将所述图像元素显示在所述显示区域中;
第二处理子模块,用于将所有显示区域中显示的所述图像元素组合成所述新的图像。
本发明的实施例还提供一种终端设备,包括显示模块,以及如上所述的语义与图像匹配处理装置;其中,所述显示模块用于显示所述新的图像。
本发明的上述技术方案的有益效果如下:
上述方案中,通过对输入的语句进行语义分析,得到多个特征词,并从图像元素库中查找与所述特征词相匹配的图像元素,并按照所述多个特征词之间的语义关系,确定与所述特征词相匹配的图像元素之间的组合顺序,按照所述组合顺序,将与所述特征词相匹配的图像元素组合成一新的图像;使得该新的图像是根据用户临时输入的语句而产生与该语句的语义相匹配的图像,从而达到图文并茂的效果,并增加用户的使用乐趣。
附图说明
图1为本发明的实施例语义与图像匹配处理方法的流程示意图;
图2为图1所示方法中,语义分析结果的示意图;
图3为图1所示方法中,按照语义分析结果进行图像帧组合的示意图;
图4为图1所示方法中,图像元素为动态图像时的组合示意图;
图5为图1所示方法中,特征词对应的图像元素之间为连续动态图像时的组合示意图;
图6为反映图像元素层之间关系的一种方式图;
图7为反映图像元素层之间关系的另一种方式图;
图8为本发明的实施例语义与图像匹配处理装置的结构示意图;
图9为本发明的实施例终端设备的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
如图1所示,本发明的实施例一种语义与图像匹配处理方法,包括:
步骤11,获得输入的语句;
步骤12,对所述语句进行语义分析,得到多个特征词;
步骤13,根据所述特征词,从图像元素库中查找与所述特征词相匹配的图像元素;
步骤14,按照所述多个特征词之间的语义关系,确定与所述特征词相匹配的图像元素之间的组合顺序;
步骤15,按照所述组合顺序,将与所述特征词相匹配的图像元素组合成一新的图像。
本发明的实施例通过对输入的语句进行语义分析,得到多个特征词,并从图像元素库中查找与所述特征词相匹配的图像元素,并按照所述多个特征词之间的语义关系,确定与所述特征词相匹配的图像元素之间的组合顺序,按照所述组合顺序,将与所述特征词相匹配的图像元素组合成一新的图像;使得该新的图像是根据用户临时输入的语句而产生与该语句的语义相匹配的图像,从而达到图文并茂的效果,并增加用户的使用乐趣。
其中,所述语句为:文字形式的语句,或者语音形式的语句,或者将输入的语音转换成文字形式的语句。
优选的,上述步骤12的具体实现过程包括:
步骤121,对所述语句进行语义分析,得到多个特征词的步骤包括:
步骤122,判断所述语句是否是常见短语,若是,将所述常见短语作为所述特征词;若否,对所述语句按照标点符号进行断句分割,得到多个短句;
步骤123,对所述短句按照虚词进行分割,得到多个特征词。
具体地,以对输入的文字语句“我在海边吃烧烤,很开心”为例进行语义分析;如图2所示,首先,根据输入的文字内容进行语义判断,包括这段文字表达的意思是什么,表述的何种语气,表达的心里情绪状态如何,所涉及的人物是谁,数量几个。
语义分析包括下列步骤:
对获取的文字,进行常见短语匹配;
如果不是常见短语,对获取的文字按标点和虚词(包括,副词,介词,连词,助词,等)进行断句;
根据第一节断句内容,首先判断主语,找出对应主语,如:“你”、“我”、“张三”、“和”“李四”,等。如果没有明确主语,默认为“我”;
判断语气助词,如“呢”、“吗”,等;
判断程度副词、语气副词等,如:“非常”、“不”,等;
在其余的断句中,根据不同的虚词,解析出关键词,并确定其为动词或名词;
将解析的主语及关键词与数据库匹配,完成语义分析。
例如:“我在海边吃烧烤,很开心”,具体语义分析按上述方法分解如下:
此句为非常见短语。
断句分解的特征词包括:“我”、“在”、“海边”、吃烧烤”、“很”、“开心”;
解析出主语“我”;
无语气助词;
解析出程度副词“很”;
根据地点副词“在”,解析出地点“海边”,及动词“吃烧烤”,“开心”。
另外,当输入的语句是语音形式的语句时,即语音输入,语音输入是根据操作者的讲话,用相关的声音识别方法识别该语句;
当然也可以是,对语音识别出来之后,将识别出来的语句转换成文字的语句,供用户确认,用户确认或者对识别出来的语句进行修改确认后,再进行语义分析。
在上述图1所示方法的实施例中,步骤13具体可以包括:
根据所述特征词,从图像元素库中查找图像元素的名称包括所述特征词的图像元素,若查找到,则认为该查找到的至少一个图像元素与所述特征词匹配。
在本发明的实施例中,图像元素库中的每个图像元素都会有指代的若干文字内容,并具有与该若干文字内容相关的图像元素名称,根据分析出来的特征词,从图像元素库中调取与该特征词相匹配的图像元素。
例如,针对上述特征词:“我”、“在”、“海边”、吃烧烤”、“很”、“开心”;
其中,特征词“我”对应的图像元素如图2中的中间一幅图中的人物的头像,特征词“海边”对应的图像元素如图2中的左边一幅图中的海边图像,吃烧烤,对应的图像元素如图2中的中间一幅以及右边一幅图中的人物的身体图像,特征词“开心”对应的图像元素如图2中的右边一幅图中的人物的头像的嘴巴的状态,特征词“在”表明了人物的图像和海边图像的语义关系,另外,图2中在出现人物图像时,还会出现一文本框,该文本框中呈现所输入的语句,以达到图文并茂的效果。
优选的,在图像元素库中查找与特征词匹配的图像元素时,具体可以包括:确定图像元素的名称与所述特征词完全相同的图像元素为与所述特征词相匹配的图像元素,否则,从所述查找到的至少一个图像元素中任选一个图像元素作为与所述特征词相匹配的图像元素。
如图像元素库中的图像元素的名称为“张三”,且为该图像元素指定的若干文字内容可能包括:我,Amy等,其中,“张三”、“我”和“Amy”分别为同一个人物的不同指代,因此,当特征词为“张三”、“我”或者“Amy”时,都可以匹配到包括该人物的图像元素;
当然,包括该人物的图像元素也可能不至一个,如用“张三”命名的图像元素,用“Amy”命名的图像元素,且为这两个图像元素指定的文字是“我”,那么,在匹配特征词“我”的时候,可以调取出来两个图像元素,分别是用“张三”命名的图像元素,用“Amy”命名的图像元素,这时,可以供用户再进行进一步选择,最终确定一张与特征词匹配的图像元素。
在上述图1所示方法的实施例中,步骤14具体可以包括:
步骤141,按照所述多个特征词之间的语义关系,将与所述特征词相匹配的图像元素分为多层;
步骤142,按照图像元素显示的效果,确定与所述特征词匹配的多层图像元素之间的组合顺序。
其中,与所述特征词匹配的图像元素之间的组合顺序为至少一种。
具体地,多个特征词之间的语义关系包括:语句中的地点副词确定的多个特征词之间的关系或者特征词之间的逻辑关系所确定的语义关系,如图3所示,以“我和老婆在海边吃烧烤,很开心”,按照上述语义分析方法,分解成“我”,“老婆”,“海边”,“吃烧烤”,“很”,“开心”几个特征词,按照这几个特征词中的人物,人物的动作,人物的心情以及人物与地点的逻辑关系,将这几个特征词在图像元素库中匹配到的图像元素分为多个层次,优选地,可以按照图像显示的效果还进行分层,如可以分成人物头像层,身体层,物品层,表情层,背景层,文字框层等,如可以将背景层作为最先渲染的层,如图3中的最左边的一幅图,接着依次渲染人物头像层,文字框层,身体层,物品层,表情层等,当然,这里各个层次之间的渲染顺序,并不限于是上述所述的顺序,还可以有其它的顺序,如渲染完背景层、人物头像层之后,接下来可以渲染表情层,身体层,物品层以及文字框层等,这些顺序决定了图像显示时的渲染顺序,但最终得到的新的图像应当是相同的效果,当然,不排除有些顺序造成的效果不相同,但也应当是本发明的实施例所涵盖的范围。
进一步,上述各个层进行组合时,其中身体层和头像层的组合可以按照如下组合方式进行:
1)身体层的所有素材都固定在一个区域范围内。头像层所有素材也固定出现身体层上方的一个范围内,从而达到身体与头部衔接的吻合。
2)每个所属身体层的素材的固定点都在图中有一个坐标值,每次生成图像时,头像层和表情层的素材会自动找到该身体素材的固定点坐标,并按坐标参数与之衔接。
其中,各个层之间的关系,如图6或者图7所示,其中,图6中,层1-层10之间的顺序可以任意调换,并不限于图中所示的顺序,且层2、4、10所示的物体层是不同的物体层,层5、8所示的身体层是不同的身体层,层7、9所示的表情层是不同的表情层;6.1-6.7是层6的分支,以次类推,各个层之间的顺序可以调换。当然,调换的前提是保证新的图像的效果符合人的正常观看逻辑。图7中的相关层顺序也可以调换,且层5的分支:层5.1-5.7之间的顺序也可以调换。
在上述图1所示的方法中,其中,步骤15可以包括:
步骤151,按照所述组合顺序,依次获得所述组合顺序中,与所述特征词匹配的所有图像元素对应的显示区域;
步骤152,按照所述显示区域确定的位置,将所述图像元素显示在所述显示区域中;
步骤153,将所有显示区域中显示的所述图像元素组合成所述新的图像。
如上述的背景层需要布满整个显示区域,而头像层则应当位于背景层的前面,身体层应当位于头像层的下方,表情层则应当位于头像层的前面,文字框层则应当们于头像层的右上角或者左上角等,这样各个层按照预定的显示区域进行显示,就会自动组合成一幅新的图像。
其中,所述图像元素库包括:第一人称相应的特征词对应的图像元素,即将自己变成图像中的角色:通过上传照片,用软件对照片进行图像处理,生成具备本人特征的图像元素,且用户可在软件中进行发型更换,脸型调整,佩戴饰物,修饰容貌等操作。确定好人物形象设定后,此形象就可成为所生成新的图像的角色。将自己变成图像中的角色同时,在确定语义分析的结果,为用户提供语义相同的多套素材层组合方案,供用户选择。
所述图像元素可以为:平面图像、动态图像和/或三维图像。即,上述生成的新的图像中的图像元素本身可以是平面图像,也可以是动态图像,也可以是三维图像。
另外,在基于上述所有实施例的基础上,图像元素库中可以随时进行更新,如临时增加新的图像元素,或者删除已有的图像元素或者更改图像元素的名称或者指代文字等,该图像元素库也可以通过网络上传给服务器,并共享给其它用户,以实现图像元素的共享。
在临时增加新的图像元素时,如获得一新的图像元素,如用户本人的大头照,或者用手机临时拍摄的照片等,在生成并妆扮完该图像元素中的人物形象后,用户可以给形象定义名称,性别。如语义中出现此名称,此包括该人物头像的图像元素及所匹配的身体将出现在产生新的图像中。
文字框的自动识别:文字框作为新的图像中的一部分,形式根据语义内容,语气,字数的不同而改变。通过语义内容,语气的不同,从素材库中调用不同文字框形式。如:表示想象中的内容,出现想象型文字框。表达惊讶语气的内容,出现惊讶形状的文字框。文字框的尺寸,按文字数量多少而自动调整大小。
四格漫画及多格漫画:用户可将通过文字或语音生成的4幅画面组合成四格漫画。或按照所生成的图画张数,按软件组合成多款不同分格形式。
当上述图像元素为动态图片时:根据语义内容生成动态的图画。每层中的图像元素根据语义分析的结果,组合成一副连续动态的图画。比如:今天天气很好,我很高兴。天气很好作为背景层,其中太阳在做连续发光的动作。身体层在做持续欢呼的动作,表情层在做连续大笑的动作。合在一起就形成:太阳在发光,身体在欢呼,表情在哈哈笑,具体如图4所示。
当包含动画图片的图像元素对应的语义出现较长的句式时,可生成有故事情节的较长时间的动画短片。通过语义抓取关键动作及场景情节使场景,身体动作,人物形象,表情等素材根据剧情而不断改变。
如图5所示,比如:早上坐地铁刷卡发现没带一卡通,买了票进来,好久才等到车。幸好人不多有座。下地铁去了游,玩了摩天轮。去餐馆吃了烤鸡还喝了红酒。按照上述方法所述的实施例的步骤对该语句进行分析,得到如图5所示的多帧新的图像,并连续播放该多帧新的图像,其中图5中的一幅图像为一图像帧。
进一步地,图像元素还可以是3D动态图片:所有图像元素库中的图像元素都是经过3D渲染后的立体形式。根据语义组合出的画面也是可连动的多角度转换的3D立体效果。
图片修正:当符合用户需求的动画静态图片/动态图片/动画图片显示后,用户可以根据自己的喜好进行DIY(Do it yourself)修正,包括各层素材更改、位移、缩放、变换等。
另外,本发明的上述实施例中,为了回避生成图画内容的重复,系统使用了记忆算法。即:用户第一次输入“好”这个字生成的图像,和第二次输入“好”或者“OK”这类字生成的结果是不一样的,但图画表现的意思是一样,只是使用的图像元素不同。
本发明的上述实施例,通过对用户随时输入的语句进行分析,得到多个特征词,并从图像元素库中获得这些特征词匹配的图像元素,如包括用户本人头像的图像元素,或者包括用户本人头像的各种个性化头像,并将这些头像按照当前的语义生成符合该语义的新的图像,同时,用户所输入的文字会出现在新的图像中的对话框里。此外,用户还可以输入不同的人物名称更换画中的角色。用户可以自己创作素材。通过载入照片,对照片进行风格化处理后,成为图画中的一部分。使用户只需要通过打字或者语音,即可自动生成与该打字或者语音输入的语句的语义相符的图像,达到图文并茂的效果,提高用户的使用兴趣。
如图8所示,本发明的实施例还提供一种语义与图像匹配处理装置,包括:
输入模块81,用于获得输入的语句;其中,所述语句为:文字形式的语句,或者语音形式的语句,或者将输入的语音转换成文字形式的语句;
分析模块82,用于对所述语句进行语义分析,得到多个特征词;
匹配模块83,用于根据所述特征词,从图像元素库中查找与所述特征词相匹配的图像元素;
确定模块84,用于按照所述多个特征词之间的语义关系,确定与所述特征词相匹配的图像元素之间的组合顺序;
图像生成模块85,用于按照所述组合顺序,将与所述特征词相匹配的图像元素组合成一新的图像。
其中,分析模块82具体用于判断所述语句是否是常见短语,若是,将所述常见短语作为所述特征词;若否,对所述语句按照标点符号进行断句分割,得到多个短句;对所述短句按照虚词进行分割,得到多个特征词。
其中,匹配模块83具体用于根据所述特征词,从图像元素库中查找图像元素的名称包括所述特征词的图像元素,若查找到,则认为该查找到的至少一个图像元素与所述特征词匹配;进一步地,从所述查找到的至少一个图像元素中,确定图像元素的名称与所述特征词完全相同的图像元素为与所述特征词相匹配的图像元素,否则,从所述查找到的至少一个图像元素中任选一个图像元素作为与所述特征词相匹配的图像元素。
其中,所述确定模块84包括:划分模块,用于将图像元素库中的图像元素分为多层;
第一确定子模块,用于按照图像元素显示的效果,确定多层图像元素之间的组合顺序;
第二确定子模块,用于按照多层图像元素之间的组合顺序,确定与所述特征词匹配的图像元素之间的组合顺序。优选的,与所述特征词匹配的图像元素之间的组合顺序为至少一种。
其中,所述图像生成模块85包括:
获得子模块,用于按照所述组合顺序,依次获得所述组合顺序中,与所述特征词匹配的所有图像元素对应的显示区域;
第一处理子模块,用于按照所述显示区域确定的位置,将所述图像元素显示在所述显示区域中;
第二处理子模块,用于将所有显示区域中显示的所述图像元素组合成所述新的图像。
在上述所有装置实施例中,所述图像元素库包括:
第一人称相应的特征词对应的图像元素;所述图像元素为:平面图像、动态图像和/或三维图像。
该装置实施例是与上述方法实施例对应的装置,具体可以手机或者PC或者其它智能设备中的一应用,如即时通讯平台,输入法平台。该装置也能达到与上述方法相同的技术效果。
另外,如图9所示,本发明的实施例还保护一种终端设备90,包括显示模块86,以及如上所述的语义与图像匹配处理装置;其中,所述显示模块86用于显示所述新的图像。
本发明的该终端设备可以是手机,PC,PDA等智能设备,且也能达到上述装置实施例相同的技术效果。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (13)
1.一种语义与图像匹配处理方法,其特征在于,包括:
获得输入的语句;
对所述语句进行语义分析,得到多个特征词;
根据所述特征词,从图像元素库中查找与所述特征词相匹配的图像元素;
按照所述多个特征词之间的语义关系,确定与所述特征词相匹配的图像元素之间的组合顺序;
按照所述组合顺序,将与所述特征词相匹配的图像元素组合成一新的图像。
2.根据权利要求1所述的语义与图像匹配处理方法,其特征在于,所述语句为:文字形式的语句,或者语音形式的语句,或者将输入的语音转换成文字形式的语句。
3.根据权利要求1所述的语义与图像匹配处理方法,其特征在于,对所述语句进行语义分析,得到多个特征词的步骤包括:
判断所述语句是否是常见短语,若是,将所述常见短语作为所述特征词;若否,对所述语句按照标点符号进行断句分割,得到多个短句;
对所述短句按照虚词进行分割,得到多个特征词。
4.根据权利要求1所述的语义与图像匹配处理方法,其特征在于,根据所述特征词,从图像元素库中查找与所述特征词相匹配的图像元素的步骤包括:
根据所述特征词,从图像元素库中查找图像元素的名称包括所述特征词的图像元素,若查找到,则认为该查找到的至少一个图像元素与所述特征词匹配。
5.根据权利要求4所述的语义与图像匹配处理方法,其特征在于,从所述查找到的至少一个图像元素中,确定图像元素的名称与所述特征词完全相同的图像元素为与所述特征词相匹配的图像元素,否则,从所述查找到的至少一个图像元素中任选一个图像元素作为与所述特征词相匹配的图像元素。
6.根据权利要求1所述的语义与图像匹配处理方法,其特征在于,按照所述多个特征词之间的语义关系,确定与所述特征词相匹配的图像元素之间的组合顺序的步骤包括:
按照所述多个特征词之间的语义关系,将与所述特征词相匹配的图像元素分为多层;
按照图像元素显示的效果,确定与所述特征词匹配的多层图像元素之间的组合顺序。
7.根据权利要求6所述的语义与图像匹配处理方法,其特征在于,与所述特征词匹配的图像元素之间的组合顺序为至少一种。
8.根据权利要求1所述的语义与图像匹配处理方法,其特征在于,按照所述组合顺序,将与所述特征词相匹配的图像元素组合成一新的图像的步骤包括:
按照所述组合顺序,依次获得所述组合顺序中,与所述特征词匹配的所有图像元素对应的显示区域;
按照所述显示区域确定的位置,将所述图像元素显示在所述显示区域中;
将所有显示区域中显示的所述图像元素组合成所述新的图像。
9.根据权利要求1-8任一项所述的语义与图像匹配处理方法,其特征在于,
所述图像元素库包括:第一人称相应的特征词对应的图像元素;
所述图像元素为:平面图像、动态图像和/或三维图像。
10.一种语义与图像匹配处理装置,其特征在于,包括:
输入模块,用于获得输入的语句;
分析模块,用于对所述语句进行语义分析,得到多个特征词;
匹配模块,用于根据所述特征词,从图像元素库中查找与所述特征词相匹配的图像元素;
确定模块,用于按照所述多个特征词之间的语义关系,确定与所述特征词相匹配的图像元素之间的组合顺序;
图像生成模块,用于按照所述组合顺序,将与所述特征词相匹配的图像元素组合成一新的图像。
11.根据权利要求10所述的语义与图像匹配处理装置,其特征在于,所述确定模块包括:
划分模块,用于将图像元素库中的图像元素分为多层;
第一确定子模块,用于按照图像元素显示的效果,确定多层图像元素之间的组合顺序;
第二确定子模块,用于按照多层图像元素之间的组合顺序,确定与所述特征词匹配的图像元素之间的组合顺序。
12.根据权利要求10或11所述的语义与图像匹配处理装置,其特征在于,所述图像生成模块包括:
获得子模块,用于按照所述组合顺序,依次获得所述组合顺序中,与所述特征词匹配的所有图像元素对应的显示区域;
第一处理子模块,用于按照所述显示区域确定的位置,将所述图像元素显示在所述显示区域中;
第二处理子模块,用于将所有显示区域中显示的所述图像元素组合成所述新的图像。
13.一种终端设备,包括显示模块,其特征在于,还包括:如权利要求10-12任一项所述的语义与图像匹配处理装置;其中,所述显示模块用于显示新的图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210059529.1A CN102662961B (zh) | 2012-03-08 | 2012-03-08 | 一种语义与图像匹配处理方法、装置及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210059529.1A CN102662961B (zh) | 2012-03-08 | 2012-03-08 | 一种语义与图像匹配处理方法、装置及终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102662961A true CN102662961A (zh) | 2012-09-12 |
CN102662961B CN102662961B (zh) | 2015-04-08 |
Family
ID=46772452
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210059529.1A Active CN102662961B (zh) | 2012-03-08 | 2012-03-08 | 一种语义与图像匹配处理方法、装置及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102662961B (zh) |
Cited By (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103064936A (zh) * | 2012-12-24 | 2013-04-24 | 北京百度网讯科技有限公司 | 一种基于语音输入的图像信息提取分析方法及装置 |
CN103984415A (zh) * | 2014-05-19 | 2014-08-13 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN104376035A (zh) * | 2013-08-13 | 2015-02-25 | 索尼公司 | 信息处理装置、存储介质及方法 |
CN104468317A (zh) * | 2013-09-16 | 2015-03-25 | 联想(北京)有限公司 | 一种信息处理方法及第一电子设备 |
CN104866275A (zh) * | 2015-03-25 | 2015-08-26 | 百度在线网络技术(北京)有限公司 | 一种用于获取图像信息的方法和装置 |
CN104866308A (zh) * | 2015-05-18 | 2015-08-26 | 百度在线网络技术(北京)有限公司 | 一种场景图像的生成方法及装置 |
CN104881146A (zh) * | 2015-04-28 | 2015-09-02 | 北京美秒科技有限公司 | 图片输入方法 |
WO2015127825A1 (zh) * | 2014-02-27 | 2015-09-03 | 广州华多网络科技有限公司 | 表情输入方法、装置及电子设备 |
CN105183838A (zh) * | 2015-09-02 | 2015-12-23 | 有戏(厦门)网络科技有限公司 | 一种基于素材获取的文本编辑方法及系统 |
CN105227756A (zh) * | 2015-08-26 | 2016-01-06 | 努比亚技术有限公司 | 图片显示装置和方法 |
WO2016000219A1 (zh) * | 2014-07-02 | 2016-01-07 | 华为技术有限公司 | 信息传输方法及传输装置 |
CN105468601A (zh) * | 2014-08-21 | 2016-04-06 | 富泰华工业(深圳)有限公司 | 信息处理装置和信息处理系统及其信息处理方法 |
CN105528428A (zh) * | 2015-12-09 | 2016-04-27 | 深圳市金立通信设备有限公司 | 一种图像显示方法及终端 |
CN105574912A (zh) * | 2015-12-15 | 2016-05-11 | 南京偶酷软件有限公司 | 一种自然语言转换为动画分镜头剧本数据的方法 |
CN105607822A (zh) * | 2014-11-11 | 2016-05-25 | 中兴通讯股份有限公司 | 一种用户界面的主题切换方法、装置及终端 |
CN105677060A (zh) * | 2016-02-02 | 2016-06-15 | 百度在线网络技术(北京)有限公司 | 通过输入法进行输入的方法和装置 |
CN105787976A (zh) * | 2016-02-24 | 2016-07-20 | 深圳市金立通信设备有限公司 | 一种处理图片的方法和装置 |
CN105872838A (zh) * | 2016-04-28 | 2016-08-17 | 徐文波 | 即时视频的媒体特效发送方法和装置 |
CN106126709A (zh) * | 2016-06-30 | 2016-11-16 | 北京奇虎科技有限公司 | 实时生成聊天表情的方法及装置 |
CN106406882A (zh) * | 2016-09-14 | 2017-02-15 | 百度在线网络技术(北京)有限公司 | 一种论坛中帖子背景的展现方法和装置 |
CN106789543A (zh) * | 2015-11-20 | 2017-05-31 | 腾讯科技(深圳)有限公司 | 会话中实现表情图像发送的方法和装置 |
CN106899755A (zh) * | 2017-01-18 | 2017-06-27 | 宇龙计算机通信科技(深圳)有限公司 | 信息分享方法、信息分享装置及终端 |
WO2017113873A1 (zh) * | 2015-12-28 | 2017-07-06 | 努比亚技术有限公司 | 一种图像合成方法、装置及计算机存储介质 |
CN107003825A (zh) * | 2014-09-09 | 2017-08-01 | 马克·史蒂芬·梅多斯 | 通过自然语言输出控制电影指导和动态角色的系统和方法 |
CN107580237A (zh) * | 2017-09-05 | 2018-01-12 | 深圳Tcl新技术有限公司 | 电视的操作方法、装置、系统和存储介质 |
CN108090866A (zh) * | 2017-12-13 | 2018-05-29 | 重庆越畅汽车科技有限公司 | 基于照片转换为艺术照的方法、系统及设备 |
CN108694204A (zh) * | 2017-04-11 | 2018-10-23 | 北京艾享科技有限责任公司 | 一种动态图的获取方法及系统 |
CN109308178A (zh) * | 2018-08-31 | 2019-02-05 | 维沃移动通信有限公司 | 一种语音画图方法及其终端设备 |
CN109684497A (zh) * | 2018-12-19 | 2019-04-26 | 北京金山安全软件有限公司 | 一种图文匹配的信息发送方法、装置及电子设备 |
CN109829152A (zh) * | 2018-12-13 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 头像更换方法、装置、计算机设备及存储介质 |
CN110336733A (zh) * | 2019-04-30 | 2019-10-15 | 上海连尚网络科技有限公司 | 一种呈现表情包的方法与设备 |
CN110490953A (zh) * | 2019-07-25 | 2019-11-22 | 维沃移动通信有限公司 | 基于文本的图像生成方法、终端设备及介质 |
CN110675529A (zh) * | 2019-10-16 | 2020-01-10 | 钛马信息网络技术有限公司 | 行车记录方法及装置 |
CN111768818A (zh) * | 2020-06-05 | 2020-10-13 | 上海市浦东医院(复旦大学附属浦东医院) | 基于人工智能的骨盆骨折急救辅助决策系统及方法 |
WO2020227971A1 (en) * | 2019-05-15 | 2020-11-19 | Microsoft Technology Licensing, Llc | Image generation |
CN112464053A (zh) * | 2020-12-04 | 2021-03-09 | 珠海格力电器股份有限公司 | 一种vr场景交互方法、装置、电子设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102110304A (zh) * | 2011-03-29 | 2011-06-29 | 华南理工大学 | 一种基于素材引擎的漫画自动生成方法 |
-
2012
- 2012-03-08 CN CN201210059529.1A patent/CN102662961B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102110304A (zh) * | 2011-03-29 | 2011-06-29 | 华南理工大学 | 一种基于素材引擎的漫画自动生成方法 |
Cited By (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103064936A (zh) * | 2012-12-24 | 2013-04-24 | 北京百度网讯科技有限公司 | 一种基于语音输入的图像信息提取分析方法及装置 |
CN103064936B (zh) * | 2012-12-24 | 2018-03-30 | 北京百度网讯科技有限公司 | 一种基于语音输入的图像信息提取分析方法及装置 |
CN104376035A (zh) * | 2013-08-13 | 2015-02-25 | 索尼公司 | 信息处理装置、存储介质及方法 |
CN104468317B (zh) * | 2013-09-16 | 2018-10-12 | 联想(北京)有限公司 | 一种信息处理方法及第一电子设备 |
CN104468317A (zh) * | 2013-09-16 | 2015-03-25 | 联想(北京)有限公司 | 一种信息处理方法及第一电子设备 |
WO2015127825A1 (zh) * | 2014-02-27 | 2015-09-03 | 广州华多网络科技有限公司 | 表情输入方法、装置及电子设备 |
CN103984415A (zh) * | 2014-05-19 | 2014-08-13 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN103984415B (zh) * | 2014-05-19 | 2017-08-29 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN105519047B (zh) * | 2014-07-02 | 2020-07-21 | 华为技术有限公司 | 信息传输方法及传输装置 |
US10387717B2 (en) | 2014-07-02 | 2019-08-20 | Huawei Technologies Co., Ltd. | Information transmission method and transmission apparatus |
WO2016000219A1 (zh) * | 2014-07-02 | 2016-01-07 | 华为技术有限公司 | 信息传输方法及传输装置 |
CN105519047A (zh) * | 2014-07-02 | 2016-04-20 | 华为技术有限公司 | 信息传输方法及传输装置 |
JP2017522626A (ja) * | 2014-07-02 | 2017-08-10 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | 情報送信方法及び送信装置 |
CN105468601A (zh) * | 2014-08-21 | 2016-04-06 | 富泰华工业(深圳)有限公司 | 信息处理装置和信息处理系统及其信息处理方法 |
CN107003825A (zh) * | 2014-09-09 | 2017-08-01 | 马克·史蒂芬·梅多斯 | 通过自然语言输出控制电影指导和动态角色的系统和方法 |
CN105607822A (zh) * | 2014-11-11 | 2016-05-25 | 中兴通讯股份有限公司 | 一种用户界面的主题切换方法、装置及终端 |
CN104866275A (zh) * | 2015-03-25 | 2015-08-26 | 百度在线网络技术(北京)有限公司 | 一种用于获取图像信息的方法和装置 |
CN104881146A (zh) * | 2015-04-28 | 2015-09-02 | 北京美秒科技有限公司 | 图片输入方法 |
CN104866308A (zh) * | 2015-05-18 | 2015-08-26 | 百度在线网络技术(北京)有限公司 | 一种场景图像的生成方法及装置 |
CN105227756A (zh) * | 2015-08-26 | 2016-01-06 | 努比亚技术有限公司 | 图片显示装置和方法 |
CN105227756B (zh) * | 2015-08-26 | 2018-10-02 | 努比亚技术有限公司 | 图片显示装置和方法 |
CN105183838A (zh) * | 2015-09-02 | 2015-12-23 | 有戏(厦门)网络科技有限公司 | 一种基于素材获取的文本编辑方法及系统 |
CN106789543A (zh) * | 2015-11-20 | 2017-05-31 | 腾讯科技(深圳)有限公司 | 会话中实现表情图像发送的方法和装置 |
CN105528428A (zh) * | 2015-12-09 | 2016-04-27 | 深圳市金立通信设备有限公司 | 一种图像显示方法及终端 |
CN105574912A (zh) * | 2015-12-15 | 2016-05-11 | 南京偶酷软件有限公司 | 一种自然语言转换为动画分镜头剧本数据的方法 |
WO2017113873A1 (zh) * | 2015-12-28 | 2017-07-06 | 努比亚技术有限公司 | 一种图像合成方法、装置及计算机存储介质 |
CN105677060A (zh) * | 2016-02-02 | 2016-06-15 | 百度在线网络技术(北京)有限公司 | 通过输入法进行输入的方法和装置 |
CN105787976A (zh) * | 2016-02-24 | 2016-07-20 | 深圳市金立通信设备有限公司 | 一种处理图片的方法和装置 |
CN105872838A (zh) * | 2016-04-28 | 2016-08-17 | 徐文波 | 即时视频的媒体特效发送方法和装置 |
CN106126709A (zh) * | 2016-06-30 | 2016-11-16 | 北京奇虎科技有限公司 | 实时生成聊天表情的方法及装置 |
WO2018000910A1 (zh) * | 2016-06-30 | 2018-01-04 | 北京奇虎科技有限公司 | 实时生成聊天表情的方法及装置 |
CN106406882A (zh) * | 2016-09-14 | 2017-02-15 | 百度在线网络技术(北京)有限公司 | 一种论坛中帖子背景的展现方法和装置 |
CN106899755A (zh) * | 2017-01-18 | 2017-06-27 | 宇龙计算机通信科技(深圳)有限公司 | 信息分享方法、信息分享装置及终端 |
CN108694204A (zh) * | 2017-04-11 | 2018-10-23 | 北京艾享科技有限责任公司 | 一种动态图的获取方法及系统 |
CN107580237A (zh) * | 2017-09-05 | 2018-01-12 | 深圳Tcl新技术有限公司 | 电视的操作方法、装置、系统和存储介质 |
CN108090866A (zh) * | 2017-12-13 | 2018-05-29 | 重庆越畅汽车科技有限公司 | 基于照片转换为艺术照的方法、系统及设备 |
CN108090866B (zh) * | 2017-12-13 | 2021-08-10 | 重庆越畅汽车科技有限公司 | 基于照片转换为艺术照的方法、系统及设备 |
CN109308178A (zh) * | 2018-08-31 | 2019-02-05 | 维沃移动通信有限公司 | 一种语音画图方法及其终端设备 |
CN109829152A (zh) * | 2018-12-13 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 头像更换方法、装置、计算机设备及存储介质 |
CN109684497A (zh) * | 2018-12-19 | 2019-04-26 | 北京金山安全软件有限公司 | 一种图文匹配的信息发送方法、装置及电子设备 |
CN109684497B (zh) * | 2018-12-19 | 2021-08-24 | 北京金山安全软件有限公司 | 一种图文匹配的信息发送方法、装置及电子设备 |
CN110336733A (zh) * | 2019-04-30 | 2019-10-15 | 上海连尚网络科技有限公司 | 一种呈现表情包的方法与设备 |
CN110336733B (zh) * | 2019-04-30 | 2022-05-17 | 上海连尚网络科技有限公司 | 一种呈现表情包的方法与设备 |
WO2020227971A1 (en) * | 2019-05-15 | 2020-11-19 | Microsoft Technology Licensing, Llc | Image generation |
CN112400186A (zh) * | 2019-05-15 | 2021-02-23 | 微软技术许可有限责任公司 | 图像生成 |
CN112400186B (zh) * | 2019-05-15 | 2023-08-01 | 微软技术许可有限责任公司 | 图像生成 |
CN110490953A (zh) * | 2019-07-25 | 2019-11-22 | 维沃移动通信有限公司 | 基于文本的图像生成方法、终端设备及介质 |
CN110490953B (zh) * | 2019-07-25 | 2023-04-07 | 维沃移动通信有限公司 | 基于文本的图像生成方法、终端设备及介质 |
CN110675529A (zh) * | 2019-10-16 | 2020-01-10 | 钛马信息网络技术有限公司 | 行车记录方法及装置 |
CN111768818A (zh) * | 2020-06-05 | 2020-10-13 | 上海市浦东医院(复旦大学附属浦东医院) | 基于人工智能的骨盆骨折急救辅助决策系统及方法 |
CN112464053A (zh) * | 2020-12-04 | 2021-03-09 | 珠海格力电器股份有限公司 | 一种vr场景交互方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN102662961B (zh) | 2015-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102662961B (zh) | 一种语义与图像匹配处理方法、装置及终端设备 | |
Benson | Language learning environments: Spatial perspectives on SLA | |
Lindtner et al. | Designed in Shenzhen: Shanzhai manufacturing and maker entrepreneurs | |
Peel et al. | Exploring the use and impact of travel guidebooks | |
Chang et al. | The prompt artists | |
Lou | Multimodal simile: The “when” meme in social media discourse | |
Kümmerling-Meibauer et al. | Manga's cultural crossroads | |
Gavins | Leda and the stylisticians | |
CN102624648B (zh) | 一种即时通讯方法、装置、终端设备和系统 | |
Stäheli et al. | Digital detox tourism: Practices of analogization | |
CN102662568A (zh) | 一种图画输入方法及装置 | |
Kinnahan | Mina Loy, Twentieth-Century Photography, and Contemporary Women Poets | |
Zappavigna | Discourse and social media | |
Mantere | Smartphone Moves: How Changes in Embodied Configuration with One’s Smartphone Adjust Conversational Engagement | |
Bakker | Objects in the Age of Virtual Reproduction: Aura and the Elusive Third Axis | |
Mes et al. | A Modular Genre? Problems in the Reception of the Post-Miyazaki ‘Ghibli Film’ | |
Smith | More than One: Sources of Serialism. | |
Petersson | The counteractive illustration and its metalanguage | |
CN108052494B (zh) | 漫画书生成方法、电子设备及计算机存储介质 | |
Portesine | Poems in the Shape of Collage: The Case of Antonio Porta | |
York | Anthologizing “Little Calibans”: Surplus in Junot Díaz’s Linked Stories | |
Minghelli | Svevo, Blogging and the Future of Literature | |
Coorlawala | Writing out otherness | |
La Force | Master of illusions | |
Jolly | Exposing The Australians: Australiana Photobooks of the 1960s |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |