CN116127054A - 图像处理方法、装置、设备、存储介质及计算机程序 - Google Patents
图像处理方法、装置、设备、存储介质及计算机程序 Download PDFInfo
- Publication number
- CN116127054A CN116127054A CN202111351245.5A CN202111351245A CN116127054A CN 116127054 A CN116127054 A CN 116127054A CN 202111351245 A CN202111351245 A CN 202111351245A CN 116127054 A CN116127054 A CN 116127054A
- Authority
- CN
- China
- Prior art keywords
- image
- document
- target document
- content
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 42
- 238000004590 computer program Methods 0.000 title claims abstract description 37
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 132
- 238000000034 method Methods 0.000 claims abstract description 46
- 230000008451 emotion Effects 0.000 claims description 67
- 238000010586 diagram Methods 0.000 claims description 51
- 238000004458 analytical method Methods 0.000 claims description 39
- 238000009826 distribution Methods 0.000 claims description 27
- 230000001960 triggered effect Effects 0.000 claims description 27
- 230000011218 segmentation Effects 0.000 claims description 20
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 12
- 238000003058 natural language processing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000012015 optical character recognition Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 239000002994 raw material Substances 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 1
- 206010038743 Restlessness Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/418—Document matching, e.g. of document images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/34—Browsing; Visualisation therefor
- G06F16/345—Summarisation for human users
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/34—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/18105—Extraction of features or characteristics of the image related to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/19007—Matching; Proximity measures
- G06V30/19093—Proximity measures, i.e. similarity or distance measures
Abstract
本申请实施例公开了一种图像处理方法、装置、设备、存储介质及计算机程序,其中方法包括:显示文档编辑界面,该文档编辑界面用于对目标文档进行编辑;当存在生成图像的触发事件时,显示与目标文档相匹配的匹配图像,匹配图像的图像外观属性与目标文档的语义信息一致,匹配图像的图像内容属性与目标文档中文档内容的相关信息一致。采用本申请实施例,简化生成图像的操作,提高了图像生成效率。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种图像处理方法、装置、设备、存储介质及计算机程序。
背景技术
随着互联网技术的发展,人们的生活越来越便利。传统地,用户在阅读一篇文档的时候,更多的可能需要仔细或者认真阅读该文档的所有文字或者核心文字来获取该文档的主题或者中心内容。目前为了给用户提供便利,通常可以生成一张与该文档相匹配的图像,这样用户通过图像可以直观快速的获取到文档的主题内容。例如,用户在填写收集表或者写文档的时候,往往会需要在收集表上添加一个的头图(或者也可以称为主题图),让用户一眼就可以看见收集表的主题,并且在分享的时候,也需要一个比较能突出主题的封面图形,帮助其他用户一眼就可以看出收集表的中心内容。
现有技术中,通常是在一个图像生成应用中,根据用户自己选择的主题确定一个图像模板,然后用户根据文档内容在图像模板上进行图像设计,最后生成一张与文档相匹配的图像。用户自己进行图像设计要求用户具有一定的图形设计基础,并且需要耗时较长才能得到一张优美的图像。可见,现有技术的图像生成方法效率较低,并且用户操作复杂。因此,如何生成一张与文档内容相匹配的图像成为当今研究的热点问题之一。
发明内容
本申请实施例提供了一种图像处理方法,装置、设备、存储介质及计算机程序,自动生成与目标文档相匹配的图像,简化图像生成操作,并且该图像可以反映目标文档的语义信息和文档内容,通过该图像可以使得用户快速直观地掌握目标文档的中心内容,提高了用户对目标文档的阅读效率。
一方面,本申请实施例提供了一种图像处理方法,包括:
显示文档编辑界面,所述文档编辑界面用于对目标文档进行编辑;
当存在生成图像的触发事件时,显示与所述目标文档相匹配的匹配图像,所述匹配图像的图像外观属性与所述目标文档的语义信息一致,所述匹配图像的图像内容属性与所述目标文档中文档内容的相关信息一致。
一方面,本申请实施例还提供了一种图像处理装置,包括:
显示单元,用于显示文档编辑界面,所述文档编辑界面用于对目标文档进行编辑;
所述显示单元,还用于当存在生成图像的触发事件时,显示与所述目标文档相匹配的匹配图像,所述匹配图像的图像外观属性与所述目标文档的语义信息一致,所述匹配图像的图像内容属性与所述目标文档中文档内容的相关信息一致。
一方面,本申请实施例提供了一种图像处理设备,包括:处理器,适用于实现一条或多条计算机程序;计算机存储介质,所述计算机存储介质存储有一条或多条计算机程序,所述一条或多条计算机程序适于由处理器加载并执行:
显示文档编辑界面,所述文档编辑界面用于对目标文档进行编辑;当存在生成图像的触发事件时,显示与所述目标文档相匹配的匹配图像,所述匹配图像的图像外观属性与所述目标文档的语义信息一致,所述匹配图像的图像内容属性与所述目标文档中文档内容的相关信息一致。
一方面,本申请实施例提供了一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序被处理器执行时,用于执行:
显示文档编辑界面,所述文档编辑界面用于对目标文档进行编辑;当存在生成图像的触发事件时,显示与所述目标文档相匹配的匹配图像,所述匹配图像的图像外观属性与所述目标文档的语义信息一致,所述匹配图像的图像内容属性与所述目标文档中文档内容的相关信息一致。
一方面,本申请实施例提供了一种计算机程序产品或计算机程序,所述计算机程序产品包括计算机程序,该计算机程序可以指计算机程序,计算机程序存储在计算机存储介质中;图像处理设备的处理器从计算机存储介质中读取计算机程序,该处理器执行计算机程序,使得图像处理设备执行:
显示文档编辑界面,所述文档编辑界面用于对目标文档进行编辑;当存在生成图像的触发事件时,显示与所述目标文档相匹配的匹配图像,所述匹配图像的图像外观属性与所述目标文档的语义信息一致,所述匹配图像的图像内容属性与所述目标文档中文档内容的相关信息一致。
本申请实施例中,显示一个文档编辑界面,该文档编辑界面可以用于对目标文档进行编辑;如果存在生成图像的触发事件时,可以根据文档编辑界面中目标文档的语义信息设计相匹配的图像外观属性,以及根据目标文档中文档内容的相关信息设计相匹配的图像内容属性,最后对图像外观属性和图像内容属性进行排版处理生成与目标文档相匹配的匹配图像。可见,该匹配图像是自动的,无需用户参与,与现有技术相比简化了用户操作,并且该匹配图像的设计参考了目标文档的语义信息以及目标文档中文档内容,用户通过该匹配图像可以直观快速地获取到目标文档的中心内容,提高了用户对目标文档的阅读效率。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理系统的结构示意图;
图2是本申请实施例提供的一种图像处理方法的流程示意图;
图3a是本申请实施例提供的一种文档编辑界面的示意图;
图3b是本申请实施例提供的另一种文档编辑界面的示意图;
图3c是本申请实施例提供的一种显示邀请窗口的示意图;
图3d是本申请实施例提供的一种邀请窗口的示意图;
图3e是本申请实施例提供一种设置协作者的操作权限的示意图;
图4a是本申请实施例提供的一种输入分享操作的示意图;
图4b是本申请实施例提供的一种分享目标文档的示意图;
图4c是本申请实施例提供的一种插入图像的插入操作示意图;
图5a是本申请实施例提供的一种显示匹配图像的示意图;
图5b是本申请实施提供的另一种显示匹配图像的示意图;
图6是本申请实施例提供的另一种图像处理方法的流程示意图;
图7a是本申请实施例提供的一种播放等待动画的示意图;
图7b是本申请实施例提供的一种显示匹配图像的示意图;
图7c是本申请实施例提供的一种分享匹配图像的示意图;
图8是本申请实施例提供的又一种图像处理方法的流程示意图;
图9a是本申请实施例提供的一种为目标文档条件指定主题的示意图;
图9b是本申请实施例提供的一种对目标文档进行拆解的示意图;
图9c是本申请实施提供的一种对内容配图进行人脸识别的示意图;
图10是本申请实施例提供的一种生成匹配图像的架构示意图;
图11是本申请实施例提供的一种图像处理装置的结构示意图;
图12是本申请实施例提供的一种图像处理设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
本申请实施例提供了一种图像处理方案,主要用于为目标文档生成一个匹配的匹配图像,该目标文档可以是纯文字的文档、可以是收集表文档也可以是包括文字和配图的文档。该目标文档可以是通过文档编辑界面进行编辑的,当存在生成图像的触发事件时,可以对目标文档进行语义分析处理得到目标文档的语义信息,进一步的,基于目标文档的语义信息设计相匹配的图像外观属性,以及基于目标文档中文档内容设计图像内容属性,最后将图像外观属性和图像内容属性进行排版处理便可以得到与目标文档相匹配的匹配图像。
该图像处理方案可由图像处理设备执行,图像处理设备中可运行有一个文档应用程序,该文档应用程序可以用于编辑或者阅读文档,目标文档是在该文档应用程序的文档编辑界面进行编辑的。图像处理设备可以是一个终端设备,比如智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能家电、智能语音交互设备等;或者,图像处理设备还可以是一个服务器,比如独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。
与目标文档相匹配的匹配图像可以是图像处理设备生成的,或者,匹配图像也可以是文档应用程序对应的文档服务器生成的。文档服务器为图像处理设备中文档应用程序的运行提供支持。假设匹配图像是由文档服务器生成,参见图1,为本申请实施提供的一种图像处理系统的结构示意图。在图1中,101表示图像处理设备,102表示图像处理设备中运行的文档应用程序,103表示文档服务器。图像处理设备101显示文档应用程序中的文档编辑界面,以使得用户通过文档编辑界面来编辑目标文档。
当图像处理设备101检测到存在生成图像的触发事件时,将该触发事件通知给文档服务器103,文档服务器103获取文档应用程序102中当前的目标文档,然后对目标文档进行语义分析得到目标文档的语义信息。进一步的,基于图像属性参考信息和语义信息确定图像外观属性,基于目标文档中文档内容的相关信息确定图像内容属性,最后对图像外观属性和图像内容属性进行排版处理生成一个与目标文档相匹配的匹配图像。文档服务器103将生成的匹配图像返回给图像处理设备101,图像处理设备101显示该匹配图像。
其中,目标文档中文档内容的相关信息可以包括文档内容以及文档布局,文档内容包括文本以及配图,文档布局可以是具有章节结构或者无章节结构。其中,图像属性参考信息中包括多种图像外观属性与语义信息之间的关联关系。
基于上述的图像处理方案以及图像处理系统,本申请实施例提供了一种图像处理方法,参见图2,为本申请实施例提供的一种图像处理方法的流程示意图。图2所示的图像处理方法由图像处理设备执行,具体可由图像处理设备的处理器执行,图2所述的图像处理方法可包括如下步骤:
步骤S201、显示文档编辑界面。
可选的,该文档编辑界面可以是文档应用程序中的一个用于对目标文档进行编辑的界面,目标文档可以是文本文档如图3a所示,或者目标文档也可以是一个表格文档比如xx信息收集表如图3b所示。
可选的,目标文档可以是一个协作文档,所谓协作文档就是指创建者选择的协作者可以查看或者编辑(查看或编辑可以看作是协作者对目标文档的操作权限)该目标文档,例如,在图3a中,文档编辑界面包括邀请选项31,若目标文档的创建者选中了邀请选项31,则在文档编辑界面显示一个协作窗口如图3c中32所示,协作窗口32可以包括添加协作用户选项33,通过触发添加协作用户选项33显示选择窗口如图3d中34所示,在34中可以选择能够对该目标文档进行阅读或者编辑的用户,假设用户甲被选中为协作者,用户甲的标识信息显示在协作窗口如图3d中311所示,用户甲可以查看或者编辑该目标文档。
在一个实施例中,用户甲对目标文档的操作权限可以是创建者通过协作窗口32设置的,例如,用户甲被选中为协作用户后,在协作窗口32中显示用户甲的标识信息311,标识信息311对应一个操作权限设置选项322,通过触发该操作权限设置选项可以设置用户甲对目标文档的操作权限比如“可查看”、“可编辑”,或者从目标文档的协作者中将用户甲删除如图3e所示。
应当理解的,上述只是以文本文档为例,介绍了如何设置协作者以及协作者操作权限,对于表格文档、演示文档来说,如何设置协作者以及设置协作者的操作权限的方式与上述文本文档相似,本申请不再一一赘述。
步骤S202、当存在生成图像的触发事件时,显示与目标文档相匹配的匹配图像。
可选的,生成图像的触发事件可以是通过文档编辑界面输入的。在一个实施例中,触发事件可以指将目标文档以图像形式进行分享的分享操作。举例来说,假设在图3a所述的文档编辑界面中包括分享选项402,当该分享选项402被触发时,显示分享窗口如图4a中403所示,该分享窗口403中可以包括多种分享方式对应的按钮,比如通过第一社交应用分享41、通过第二社交应用分享42、以图像形式进行分享43以及以信息码(比如二维码)形式进行分享44。若以图像形式进行分享对应的按钮43被选中,则确定存在将目标文档以图像形式进行分享的分享操作。
又一个实施例中,触发事件还可以指为目标文档添加封面的添加操作。作为一种可选的实施方式,若目标文档为表格文档,目标文档中文档内容的相关信息包括文本内容,文本内容中包括文档标题,例如参见图3b所示的,为一个表格文档,该表格文档中包括文档标题,表示为“xx暴雨紧急求助通道”,以及目标文档中包括添加头图选项如图3b中401所示;为目标文档添加封面的添加操作可以是:目标文档中添加头图选项被触发,也就是说如果图3b中添加头图选项401被触发,则确定存在生成图像的触发事件。
作为另一种可选的实施方式,为目标文档添加封面的添加操作还可以指:将该目标文档以在线文档形式分享至社交应用中的用户。举例来说,通过触发分享选项402可以显示分享窗口403,分享窗口403中包括第一社交应用41以及第二社交应用42,当任意一种社交应用被触发时,显示相应的用户选择窗口,用户选择窗口中包括至少一个在相应社交应用中的好友用户的标识,当任意好友用户的标识被选中且确定分享按钮被触发时,确定将目标文档以在线文档形式分享给该社交应用中的被选中的用户了。例如,参见图4b,在分享窗口403中第一社交应用被触发,显示好友选择窗口411,若好友选择窗口411中郭某某的标识被选中且确定分享按钮412被触发,则确定将目标文档以在线文档形式分享给社交应用中的用户。
再一个实施例中,触发事件还可以指在目标文档中插入图像的插入操作。例如,文档编辑界面如图3a所示,文档编辑界面包括插入数据选项404,当目标文档的目标内容被选中如“新型冠状病毒特殊时期”被选中,并且插入数据选项被触发时,显示插入数据窗口如图4c中405所示,若插入数据窗口中的“图片”被选中时,确定存在触发事件。
可选的,触发事件还可以是通过操作图像处理设备的物理组件产生的,比如双击图像处理设备屏幕、按压图像处理设备的物理按键等等。
在一个实施例中,当图像处理设备检测到存在生成图像的触发事件时,显示与目标文档匹配的匹配图像,包括:查询本地是否已存储了与目标文档匹配的匹配图像,如果是,则从本地中获取该匹配图像并显示;如果没有,则对目标文档进行语义分析,确定目标文档的语义信息;基于图像属性参考信息和目标文档的语义信息确定出图像外观属性,以及基于目标文档中文档内容的相关信息确定图像内容属性;将图像外观属性和图像内容属性进行排版处理,生成匹配图像,并显示该匹配图像。
其中,本地中可以存储匹配图像以及与匹配图像对应的文档,在检测到存在生成图像的触发事件后,如果从本地存储中查找到了相匹配的图像;可以将本地存储中与匹配图像对应的文档与当前的目标文档进行相似度比较,如果两者的相似度大于一个相似度阈值,则可以将该查找到的匹配图像作为与目标文档相匹配的匹配图像进行显示;如果两者的相似度小于或等于一个相似度阈值,则可以重新为目标文档生成匹配图像。应当理解的,如果两个文档的相似度大于一个相似度阈值,表明两个文档非常相似,那么已有文档对应的匹配图像也能用于反映目标文档的中心内容,此时为了节省生成图像的功耗开销,可以直接将已有文档的匹配图像作为目标文档相匹配的匹配图像;反之,如果两个文档的相似度小于或等于一个相似度阈值,表明两个文档不是很相似,此时已有文档的匹配图像不能准确地反映目标文档的内容以及主题,所以需要重新生成一个与目标文档相匹配的匹配图像。
图像属性参考信息中可以规定各种图像外观属性,以及与每个图像外观属性相对应的语义信息,因此,基于图像属性参考信息和语义信息,就可以确定出目标文档相匹配的一些图像外观属性,换句话说,确定出的图像外观属性与目标文档的语义信息是一致的。具体实现中,图像外观属性可以包括第一属性和图像配色中任意一个或多种,第一属性可以包括一下任意一个或多个:贴纸元素、文字样式、图像尺寸、图像形状以及图像背景,目标文档的语义信息可以包括以下内容中任意一种或多种:目标文档对应的图像主题以及目标文档所反映的目标情绪,该目标情绪具体是指编辑该目标文档的用户的情绪,比如兴奋、喜悦、难过、愤怒等等。目标文档对应的图像主题是指生成与目标文档相匹配的匹配图像所应符合的图像风格,图像风格可以包括奢华、时尚、可爱、清新、炫酷、喜庆、复古、正式等等。
在一个实施例中,若图像外观属性包括第一属性,图像属性参考信息中规定了第一属性对应一个主题标签,再假设目标文档的语义信息包括目标文档对应的图像主题,那么图像外观属性与目标文档的语义信息一致是指:与第一属性对应的主题标签是与目标文档对应的图像主题相匹配的目标主题标签。比如第一属性对应的主题标签是时尚,目标文档对应的图像主题是潮流,那么可以认为第一属性的主题标签是与目标文档的图像主题相匹配的。
又一个实施例中,若图像外观属性包括图像配色,图像属性参考信息中指示该图像配色与一种情绪对应,假设目标文档的语义信息包括目标文档所反映的目标情绪,则图像外观属性与目标文档的语义信息一致是指图像配色对应的情绪与目标文档所反映的目标情绪相匹配。举例来说,假设图像配色对应的情绪为开心,目标文档所反映的目标情绪为高兴,图像配色对应的情绪与目标文档所反映的目标情绪是相匹配的。可选的,图像属性参考信息中指示的图像配色与情绪之间的对应关系可以通过表1表示:
表1
由上述表1可见,一个图像配色包括几个颜色属性,比如色相、明度以及色度,色相又分为暖色、中性色以及冷色,明度又分为明、中以及暗,色度分为高、中以及低;每一个颜色属性可以对应一个或多个颜色,比如暖色可以包括红色、橙色以及黄色,中性色可以包括绿色和紫色,冷色可以包括青绿色、青色以及青紫色;明度中的明对应的颜色可以是白色、中对应的颜色可以是灰色,暗对应的颜色可以是黑色,较高的色度对应的颜色可以是朱红色,居中的色度对应的颜色可以是粉色,较低的色度对应的颜色可以是茶色。每一种颜色可以对应一种或多种情绪,比如红色对应兴奋、愤怒以及欢喜,再如粉色对应可爱或者温柔,又如绿色对应平静、放松或则安宁。通过表1可以看出,一个图像配色可以是与至少情绪对应的。
目标文档中文档内容的相关信息可以包括文档内容以及文档布局,文档内容包括文本以及配图,文档布局包括章节结构和非章节结构。图像内容属性可以包括匹配文字、图像主体以及图像结构中任意一种或多种。图像主体可以是匹配图像中所应该显示的图像内容,图像结构可以包括长图结构和短图结构。
具体实现中,若所述图像内容属性包括匹配文字,所述目标文档中文档内容的相关信息包括所述文档内容,所述文档内容包括文本和配图,则所述图像内容属性与所述目标文档中文档内容的相关信息一致是指所述匹配文字包括所述目标文档中的文字,以及所述匹配文字包括所述目标文档中的配图中包含的文字;
若所述图像内容属性包括图像主体,所述目标文档中文档内容的相关信息包括所述文档内容,所述文档内容包括配图,则所述图像内容属性与所述目标文档中文档内容的相关信息一致是指所述图像主体包括所述配图中的目标对象;若所述图像内容属性包括图像结构,所述图像结构对应一种文档布局,则所述图像内容属性与所述目标文档中文档内容的相关信息一致是指所述图像结构对应的文档布局与所述目标文档的文档布局相同。其中,配图中的目标对象可以是人脸,或者可以是任意物体。
图像处理设备在确定出图像外观属性和图像内容属性之后,将这两种属性进行排版处理即可得到与目标文档相匹配的匹配图像,并且显示该匹配图像。作为一种可选的实施方式,匹配图像的数量可以是一个或多个,显示匹配图像的实施方式可以包括:当存在生成图像的触发事件时,在文档编辑界面显示图像选择窗口,该图像选择窗口中可以包括至少一个匹配图像和确定选择选项;如果图像选择窗口中存在被选中的匹配图像且确定选择选项被触发,则在文档编辑界面中显示被选中的匹配图像。
举例来说,假设文档编辑界面如图3b所示,当图3b中的401被触发时,在文档编辑界面弹出一个图像选择窗口如图5a中501所示,假设501中包括4个匹配图像,以及确定选择选项502;如果匹配图像51被选中且确定选择选项502被触发,则将被选中的匹配图像51显示在文档编辑界面如图5a中503所示。可选的,由于显示空间有限,图像处理设备生成的所有与目标文档相匹配的匹配图像可能不是一次性的均能显示在图像选择窗口中,可能是按照各个匹配图像的匹配程度由高到低优先在图像选择窗口中展示前N个匹配图像,N为大于或等于1的正整数,且N小于所有匹配图像的总数量,图像选择窗口中可以包括切换匹配图像的选项,比如501中的选项53,用户可以通过触发该选项53查看其它的匹配图像。
在另一个实施例中,如果触发事件是指为目标文档添加封面的添加操作,以及为目标文档添加封面的添加操作是指将目标文档以在线文档形式分享至社交应用中的用户,假设目标文档是由第一用户创建的,社交应用中的用户为第二用户,则显示与目标文档相匹配的匹配图像,可以包括:在社交应用的第一用户与第二用户的会话窗口中显示进入所述目标文档的触发标记,并将所述匹配图像作为所述目标文档的封面显示在所述触发标记处。参见图5b,为本申请实施例提供的另一种显示匹配图像的示意图,在图5b为第一用户的终端显示的,第一用户与第二用户在社交应用中的会话窗口,520表示进入目标文档的触发标记,该触发标记被选中时会打开目标文档并显示目标文档的文档编辑界面,521表示与目标文档相匹配的匹配图像。
本申请实施例中,显示一个文档编辑界面,该文档编辑界面可以用于对目标文档进行编辑;如果存在生成图像的触发事件时,可以根据文档编辑界面中目标文档的语义信息设计相匹配的图像外观属性,以及根据目标文档中文档内容的相关信息设计相匹配的图像内容属性,最后对图像外观属性和图像内容属性进行排版处理生成与目标文档相匹配的匹配图像。可见,该匹配图像是自动的,无需用户参与,与现有技术相比简化了用户操作,并且该匹配图像的设计参考了目标文档的语义信息以及目标文档中文档内容,用户通过该匹配图像可以直观快速地获取到目标文档的中心内容,提高了用户对目标文档的阅读效率。
基于上述的图像处理方法,本申请实施例提供了另一种图像处理方法,参见图6,为本申请实施例提供的另一种图像处理方法的流程示意图。图6所述的图像处理方法可由图像处理设备执行,图6所述的图像处理设备可以包括如下步骤:
步骤S601、显示文档编辑界面。
可选的,步骤S601包括的一些可行的实施方式可参见图2实施例步骤S201中相关描述,在此不再赘述。
步骤S602、当存在生成图像的触发事件时,在匹配图像的生成过程中,显示等待动画。
为了避免用户在等待生成匹配图像过程的无聊,可以在生成图像的过程中,显示一个等待动画,以此来消耗等待时间。该等待动画可以是根据目标文档的核心内容确定的,比如图像处理设备中存储了多个等待动画,每个等待动画对应一个核心内容,比如疫情防控的宣传动画,工作汇报的指导动画,或者搞笑类等待动画,再或者还可以包括文档应用程序的新功能推荐动画。
具体实现中,当检测到生成图像的触发事件时,图像处理设备基于目标文档的语义信息和图像属性参考信息来生成匹配图像,在生成图像的过程中,图像处理设备同时获取目标文档的核心内容,然后从本地存储中查找与核心内容相匹配的等待动画,并播放该等待动画。
可选的,从本地存储中查找与核心内容相匹配的等待动画,包括:按照查找优先级从本都存储中查找与目标文档心内容相匹配的等待动画。其中,查找优先级由高到低依次可以是:与目标文档具有相同核心内容的等待动画、搞笑类等待动画、公益宣传类等待动画、以及新功能介绍的等待动画。或者,查找优先级由高到低依次可以是:与目标文档具有相同核心内容的等待动画、新功能宣传的等待动画、公益宣传类等待动画以及搞笑类等待动画。应当理解的,上述只是本申请实施例列举的两种可能的查找优先级,在实际应用中,可以根据具体的应用场景设置查找优先级,本申请实施例不做具体限定。
在一个实施例中,从本地存储中查找与核心内容相匹配的等待动画,并播放该等待动画,可以包括:预估生成匹配图像所需的目标时间;根据该目标时间对相匹配的等待动画进行裁剪;播放裁剪后的等待动画。这样一来,可以保证在生成了匹配图像之后,及时显示匹配图像。
举例来说,假设在图4a中检测到43被触发,也即存在生成图像的触发事件,则获取目标文档的核心内容,目标文档的核心内容是关于在线学习辅导的,也就是与学习有关的,那么图像处理设备从本地存储中查找与学习有关的等待动画,查找到之后开始播放该等待动画,如图7a中701表示正在播放等待动画。
步骤S603、在匹配图像生成完成时,在图像生成窗口中显示匹配图像,图像生成窗口中包括分享操作选项。
等待动画是为了缓解等待匹配图像生成时的无聊的,一旦检测到匹配图像已生成,则由显示等待动画切换为显示匹配图像。可选的,等待动画和匹配图像均可以是显示在图像生成窗口的,图像生成窗口可以是叠加在文档编辑界面之上的,也可以是独立的。
举例来说,假设触发事件是如图4a中43被触发,图像处理设备检测到43被触发后开始生成匹配图像,在匹配图像的生成过程中,在图像生成窗口71显示显示等待动画,随着时间的推移,匹配图像生成完成,则在图像生成窗口71显示匹配图像如图7b中702所示。应当理解的,匹配图像可能是长图结构,在图像生成窗口中不能一次将整个匹配图显示完成,可能只显示了匹配图像的一部分,此时可以通过下拉图7b中73来查看匹配图像的其他内容。
由前述可知,为了能够及时显示生成的匹配图像,显示的等待动画可能是经过裁剪的,也就是说图像处理设备可能并没有播放完成的等待动画,但是不排除有些用户对播放的等待动画比较感兴趣,还想要继续查看该等待动画。因此,为了方便用户后续能够继续查看等待动画,可以在显示匹配图像时,显示等待动画的历史播放信息,如图7b中703所示;历史播放信息可以包括等待动画的名称比如xx动画、存储路径比如//c:user,以及播放完整的等待动画的快捷按键733;用户如果想要继续查看等待动画,则可以选中快捷按键733,或者,通过存储路径查找到等待动画的存储位置,并在存储位置中点击等待动画开始播放。
步骤S604、当分享操作选项被触发时,显示分享对象的选择界面,选择界面包括多个用户标识和确定分享选项。
步骤S605、如果任一用户标识被选中且确定分享选项被触发,则将匹配图像分享给任一用户标识对应的用户。
可选的,图像生成窗口中还可以包括一个分享选项,如图7b中744所示,用户可以通过触发该分享选项744将生成的匹配图像直接进行分享。具体地,当图7b中分享选项被触发时,显示分享对象的选择界面,该选择界面可以表示为如图7c中071所示,选择界面中可以包括多个用户标识比如郭某某以及郭某某的在第一社交应用比如QQ中的头像,艾某某以及艾某某在第一社交应用中的头像,选择界面中还可以包括确定分享选项,如图7c中072所示,假设艾某某的用户标识被选中且确定分享选项被触发,则该匹配图像将通过第一社交应用程序发送给艾某某。现有的分享方式中,通常在生成匹配图像后,用户手动保存该匹配图像,然后从该匹配图像的存储路径中找到该匹配图像,并打开一个社交应用程序,通过该社交应用程序中,与某个用户的会话窗口将匹配图像发送给某个用户。可见,相比于现有的分享方式,本申请可以在生成匹配图像后,在显示匹配图像的同时可以一键将匹配图像分享给某个用户,用户的分享操作简单,提高了分享效率。
本申请实施例中,显示一个文档编辑界面,该文档编辑界面可以用于对目标文档进行编辑;如果存在生成图像的触发事件时,可以根据文档编辑界面中目标文档的语义信息设计相匹配的图像外观属性,以及根据目标文档中文档内容的相关信息设计相匹配的图像内容属性,最后对图像外观属性和图像内容属性进行排版处理生成与目标文档相匹配的匹配图像。可见,该匹配图像是自动的,无需用户参与,与现有技术相比简化了用户操作,并且该匹配图像的设计参考了目标文档的语义信息以及目标文档中文档内容,用户通过该匹配图像可以直观快速地获取到目标文档的中心内容,提高了用户对目标文档的阅读效率。
并且,在匹配图像的生成过程中,可以通过播放等待动画来消耗等待时间,提升用户体验,以便于进一步提升用户对文档应用程序的关注度和喜爱度。另外,在得到匹配图像之后,可以一键将匹配图像分享给指定用户,实现可快捷分享,提高了分享效率。
基于上述的图像处理方法,本申请实施例还提供了又一种图像处理方法,参见图8,为本申请实施例提供的另一种图像处理方法的流程示意图。图所述的图像处理方法由图像处理设备执行,具体可由图像处理设备的处理器执行。图8所述的图像处理方法可包括如下步骤:
步骤S801、显示文档编辑界面。
在一个实施例中,步骤S801中包括的一些可行的实施方式可参见图2实施例中步骤S201中的相关描述,在此不再赘述。
步骤S802、当存在生成图像的触发事件时,对目标文档进行语义分析处理得到目标文档的语义信息,并基于图像属性参考信息和语义信息,确定与语义信息相匹配的图像外观属性。
由前述可知,目标文档的语义信息可以包括目标文档对应的图像主题以及目标文档所反映的目标情绪。可选的,采用自然语言处理技术(Nature Language processing,NLP)对目标文档进行语义分析处理得到目标文档的语义信息。自然语言处理技术是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
可选的,若所述目标文档的语义信息包括所述目标文档对应的图像主题,则采用自然语言处理技术对目标文档进行语义分析处理得到目标文档的语义信息,可以包括:对目标文档中文本进行文本预处理,得到一些句子集合(或者叫成组句子),每个句子集合中的句子所表达的语义相同或者相近;对所述N个句子集合进行语义分析处理,并根据语义分析处理的结果预测第一子图像主题;对所述N个句子集合进行语义推理处理,并根据语义推理处理的结果预测第二子图像主题;基于所述第一子图像主题和所述第二子图像主题确定所述目标文档对应的图像主题。
其中,基于第一子图像主题和第二子图像主题确定目标文档对应的图像主题,可以包括:将第一子图像主题和第二子图像主题中置信度较高的作为目标文档对应的图像主题;或者,将第一子图像主题和第二子图像主题均作为目标文档对应的图像主题。
应当理解的,当存在触发事件时,还可以输出一个图像主题添加窗口,以便于用户可以通过该图像主题添加窗口为目标文档设置一个指定主题,参见图9a,为本申请实施例提供的一种设置指定主题的示意图,假设通过触发图4a中43输入了触发事件,然后图像处理设备开始进入生成匹配图像的过程,此时图像处理设备还可以显示一个图像主题添加窗口如图9a中901所示,在该图像主题添加窗口901中可以显示图像属性参考信息中规定的多个主题标签,比如奢华、可爱、时尚、复古、清新等等;图像主题添加窗口901还可以包括输入区域,用户可以通过该输入区域输入新的主题标签。当选定了指定主题后,点击图像主题添加窗口901中的确定选项,此时图像处理设备确定存在与目标文档对应的指定主题。
如果存在与目标文档对应的指定主题,可以将该指定主题作为目标文档的图像主题,则不需要执行上述基于第一图像子主题和第二图像子主题来确定图像主题的步骤;如果不存在与目标文档对应的指定主题,则可以继续执行基于第一图像子主题和第二图像子主题来确定图像主题的步骤。
应当理解的,目标文档的文档内容包括文本和内容配图,文本内容包括文档标题和正文文本,目标文档还可以包括章节结构,综上所述,一个目标文档可以由文档标题、章节结构、正文文本以及内容配图几个部分组成的,例如,参见图9b,为本申请实施例提供的一种目标文档的示意图,图9b所述的目标文档包括文档标题91、章节结构92、正文文本93以及内容配图94。
可选的,对目标文档的文本内容进行预处理得到N个句子集合,可以包括:对正文文本进行词句切分得到切分结果;进一步的,将切分结果和文档标题进行语句分类处理,得到多个句子集合。
可选的,若所述目标文档的语义信息包括所述目标文档所反映的目标情绪,则采用自然语言处理技术对目标文档进行语义分析处理得到目标文档的语义信息,可以包括:对N个句子集合进行情绪分析得到情绪分析结果,根据情绪分析结果确定文档所反映的目标情绪。
在一个实施例中,若所述图像外观属性包括第一属性,所述第一属性包括以下任意一种或多种:贴纸元素、文字样式以及图像背景,所述图像属性参考信息包括多个第一属性以及每个第一属性对应的主题标签;所述语义信息包括所述目标文档对应的图像主题;所述基于图像属性参考信息和所述语义信息,确定与所述语义信息相匹配的所述图像外观属性,包括:将所述图像主题与所述图像属性参考信息中的多个主题标签进行相似度匹配处理,确定目标主题标签;将所述目标主题标签对应的第一属性确定为与所述目标文档相匹配的第一属性。
其中,假设基于第一子图像主题和第二子图像主题确定目标文档对应的图像主题是指将第一子图像主题和第二子图像主题确定为目标文档对应的图像主题,则将所述图像主题与所述图像属性参考信息中的多个主题标签进行相似度匹配处理,确定目标主题标签,包括:从所述多个主题标签中确定与所述第一子图像主题相匹配的第一主题标签,以及确定所述第一主题标签对应的匹配度;从所述多个主题标签中确定与所述第二子图像主题相匹配的第二主题标签,以及确定所述第一主题标签对应的匹配度;基于所述第一主题标签对应的匹配度和所述第二主题标签对应的匹配度,从所述第一主题标签和所述第二主题标签中确定目标主题标签。具体地,可以从第一主题标签和第二主题标签中选择匹配度较高的主题标签作为目标主题标签。
步骤S803、基于目标文档中文档内容的相关信息确定图像内容属性。
由前述可知,目标文档中文档内容的相关信息包括文档内容和文档布局,文档内容又可以包括文本内容和内容配图;若图像内容属性可以包括匹配文字,则基于目标文档中文档内容的相关信息确定图像内容属性,包括:对文本内容进行词句切分得到切分结果,将切分结果添加到匹配文字,以及对内容配图进行文字识别,将识别结果添加到匹配文字。其中,文本内容可以包括正文文本和文档标题,对文本内容进行词句切分实际可以指对正文文本进行词句切分。通常的,可以通过计算机视觉中的OCR(Optical CharacterRecognition,光学字符识别)技术对内容配图进行文字识别。OCR是指电子设备检查纸上打印的字符,通过检测暗、亮的模式确定其形状,然后用字符识别方法将形状翻译成计算机文字的过程。
若图像内容属性可以包括图像主体,则基于目标文档中文档内容的相关信息确定图像内容属性,可以包括:对目标文档中的内容配图进行对象识别,得到对象识别结果;若所述对象识别结果指示所述内容配图中包括目标对象,则从所述内容配图中裁剪出目标对象图像;将目标对象图像添加到图像主体中。目标对象可以指任意一种对象,比如人脸、任意一种物品等等。应当理解的,此处对内容配图进行对象识别可以是调用预先训练得到的图像识别模型执行的,图像识别模型可以是基于计算机视觉技术构建的,并采用大量训练图像训练达到收敛的,达到收敛的图像识别模型可以从一张图像中准确地识别出指定的对象。计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
举例来说,假设目标对象为人脸,参见图9c为本申请实施例提供的一种内容配图的示意图,091表示一个内容配图,对该内容配图091进行人脸识别处理,确定内容配图中包括人脸,则将在内容配图中标注出人脸的轮廓位置坐标如092所示,以裁剪出人脸图像。
由前述可知,图像内容属性还可以包括图像结构,该图像结构可以包括长图结构或短图结构,目标文档中文档内容的相关信息可以包括文档布局,文档布局可以包括章节结构或者非章节结构,基于目标文档中文档内容的相关信息确定图像内容属性,可以包括:如果目标文档的文档布局是章节结构,则确定图像结构为长图结构;如果目标文档的文档布局为非章节结构,则确定图像结构为短图结构。
步骤S804、对图像外观属性和图像内容属性进行排版生成并显示匹配图像。
由前述可知,基于目标文档的语义信息确定了第一属性,该第一属性中可以包括图像背景,该图像背景可以是预先设置好的,但是为了使得目标文档与匹配图像之间更加匹配,在对内容配图进行对象识别处理后,如果根据对象识别结果确定内容配图中不包括目标对象,则也可以将该内容配图添加到图像背景中。但是,如果内容配图的文字太多,将其作为图像背景时会导致最后生成的匹配图像比较混乱,所以在确定内容配图不包括目标对象的情况下,进一步确定内容配图中包括的文字的数量是否在数量阈值范围内,如果是,则将该内容配图添加到图像背景,如果内容配图包括的文字的数量大于数量阈值,则该内容配图不能作为图像背景。本申请实施例中,所述图像背景还可以具体包括背景氛围,背景氛围是通过一些装饰元素比如贴纸或者图片来表达一种气氛,比如通过福字贴纸来表达一些喜庆的气氛,再如通过感叹号形状的贴纸来表达一种严肃或者紧张的气氛。
综合步骤S803和步骤S804的描述,本申请实施例提供的一种生成匹配图像的架构示意图,请参见图10所示。图10所述的架构示意图可以包括原料拆解模块1001、计算机视觉模块1002、自然语言处理模块1003以及图片生成模块1004。
其中,原料拆解模块1001是指拆解目标文档,比如拆解出目标文档中的文档标题、章节结构、正文文本、内容配图以及指定主题;计算机视觉模块1002主要用于对目标文档中的内容配图进行处理,具体实现中,可以采用OCR技术识别内容配图中的文字,将识别结果添加到图像内容属性的匹配文字中,以及对内容配图进行图像分类识别,确定内容配图中是否包括人脸;如果包括人脸,从内容配图中分割出人脸图像,将分割出的人脸图像添加到图像内容属性的图像主体中;如果不包括人脸,则将内容配图添加到图像外观属性中的图像背景中。
自然语言处理模块1003主要用于对目标文档中的文本内容进行处理。文本内容包括文档标题和正文文本,具体实现中,对正文文本进行词句切分得到切分结果;然后将切分结果和文档标题一起进行语句分类,得到一些成组句子;进一步的,对这些成组句子分别进行语义分析和语义推理确定出目标文档的第一子图像主题和第二子图像主题,根据第一子图像主题和第二子图像主题与图像属性参考信息中各个主题标签的匹配情况,确定出目标主题标签;然后基于目标主题标签与第一属性的对应关系,确定出一个第一属性,该第一属性中可以包括贴纸元素、文字样式以及图像背景;对成组句子进行情绪分析,根据情绪分析结果以及图像属性参考信息中包括的情绪与图像配色之间的对应关系,为目标文档确定一个合适的图像配色。
通过上述自然语言处理模块以及计算机视觉模块确定出图像外观属性和图像内容属性后,图片生成模块1004基于图像外观属性和图像内容属性进行排版处理生成一张匹配图像。
在现有技术中,在编辑目标文档时,如果目标文档为表格文档,我们可能需要为表格添加一张精美的封面图像;或者,当我们想要将目标文档以图像形式进行分享的时候,也需要生成一张与文档内容相匹配的精美的图像。而现有技术,根据目标文档生成图像的流程比较复杂,首先需要用户在图像设计软件中查找到一张合适的图像模板,然后基于目标文档对图像模板进行修改设计,通常需要1-2个小时的时间进行排版、配色,设计得到一张图像,下载保存设计好的图像,将该图像进行分享或者插入到目标文档中。但是由于用户的审美有限,如果不是专业的图像制作者很难得到精美的图像。并且需要用户重复的进行图片的下载和上传。而在本申请实施例中,显示一个文档编辑界面,该文档编辑界面可以用于对目标文档进行编辑;如果存在生成图像的触发事件时,可以根据文档编辑界面中目标文档的语义信息设计相匹配的图像外观属性,以及根据目标文档中文档内容的相关信息设计相匹配的图像内容属性,最后对图像外观属性和图像内容属性进行排版处理生成与目标文档相匹配的匹配图像。可见,该匹配图像基于目标文档的语义信息自动生成的,无需用户参与,与现有技术相比简化了用户操作,并且该匹配图像的设计参考了目标文档的语义信息以及目标文档中文档内容,用户通过该匹配图像可以直观快速地获取到目标文档的中心内容,提高了用户对目标文档的阅读效率。
基于上述的图像处理方法实施例,本申请实施例提供了一种图像处理装置,参见图11,为本申请实施例提供的一种图像处理装置的结构示意图。图11所示的图像处理装置可运行如下单元:
显示单元1101,用于显示文档编辑界面,该文档编辑界面用于对目标文档进行编辑;
显示单元1101,还用于当存在生成图像的触发事件时,显示与目标文档相匹配的匹配图像,所述匹配图像的图像外观属性与所述目标文档的语义信息一致,所述匹配图像的图像内容属性与所述目标文档中文档内容的相关信息一致。
在一个实施例中,所述图像外观属性包括第一属性和图像配色中任意一种或多种,所述第一属性包括以下任意一种或多种:贴纸元素、文字样式以及图像背景;所述图像内容属性包括以下任意一种或多种:匹配文字、图像主体以及图像结构;
所述目标文档的语义信息包括下述内容中任意一种或多种:所述目标文档对应的图像主题以及所述目标文档所反映的目标情绪;所述目标文档中文档内容的相关信息包括所述文档内容和文档布局中任意一个或多个,所述文档内容包括文本内容和内容配图中任意一个或多个。
在一个实施例中,若所述图像外观属性包括所述第一属性,所述第一属性与一个主题标签对应,所述目标文档的语义信息包括所述目标文档对应的图像主题,则所述图像外观属性与所述目标文档的语义信息一致是指与所述第一属性对应的主题标签是与所述目标文档对应的图像主题相匹配的目标主题标签;
若所述图像外观属性包括所述图像配色,所述图像配色与至少一种情绪对应,所述目标文档的语义信息包括所述目标文档所反映的目标情绪,则所述图像外观属性与所述目标文档的语义信息一致是指所述图像配色对应的至少一种情绪中存在与所述目标文档所反映的目标情绪相匹配的情绪;
若所述图像内容属性包括匹配文字,所述目标文档中文档内容的相关信息包括所述文档内容,所述文档内容包括文本内容和内容配图,则所述图像内容属性与所述目标文档中文档内容的相关信息一致是指所述匹配文字包括所述目标文档中的文字内容,以及所述匹配文字包括所述内容配图中包含的文字;
若所述图像内容属性包括图像主体,所述目标文档中文档内容的相关信息包括所述文档内容,所述文档内容包括内容配图,则所述图像内容属性与所述目标文档中文档内容的相关信息一致是指所述图像主体包括所述内容配图中的目标对象;若所述图像内容属性包括图像结构,所述图像结构对应一种文档布局,则所述图像内容属性与所述目标文档中文档内容的相关信息一致是指所述图像结构对应的文档布局与所述目标文档的文档布局相同。
在一个实施例中,所述触发事件包括以下任意一种或多种:为所述目标文档添加封面的添加操作、将所述目标文档以图像形式进行分享的分享操作,以及在所述目标文档中插入图像的插入操作。
在一个实施例中,所述显示单元1101在当存在生成图像的触发事件时,显示与所述目标文档相匹配的匹配图像时,具体执行如下步骤:
当存在生成图像的触发事件时,在所述文档编辑界面显示图像选择窗口,所述图像选择窗口包括所述目标文档相匹配的至少一个匹配图像和确定选择选项;如果所述图像选择窗口中存在被选中的匹配图像,且所述确定选择选项被触发,则在所述文档编辑界面中显示被选中的匹配图像。
在一个实施例中,所述显示单元1101在显示与所述目标文档相匹配的匹配图像时,执行如下步骤:在匹配图像的生成过程中,显示等待动画;在匹配图像生成完成时,由显示所述等待动画切换为显示与所述目标文档相匹配的所述匹配图像。
在一个实施例中,图像处理装置还包括分享单元1102;若所述触发事件包括将所述目标文档以图像形式进行分享的分享操作,所述匹配图像显示在图像生成窗口中,所述图像生成窗口包括分享操作选项;所述显示单元1101,还用于当所述分享操作选项被触发时,显示分享对象的选择界面,所述选择界面包括多个用户标识和确定分享选项;分享单元1102,用于如果任一用户标识被选中且所述确定分享选项被触发,则将所述匹配图像分享给所述任一用户标识对应的用户。
在一个实施例中,显示单元1101在当存在生成图像的触发事件时,显示与所述目标文档相匹配的匹配图像时,执行如下步骤:
当存在生成图像的触发事件时,对所述目标文档进行语义分析处理得到所述目标文档的语义信息,并基于图像属性参考信息和所述语义信息,确定图像外观属性;基于所述目标文档中文档内容的相关信息确定图像内容属性;对所述图像外观属性和所述图像内容属性进行排版生成并显示匹配图像。
在一个实施例中,所述显示单元1101在所述目标文档的语义信息包括所述目标文档对应的图像主题,所述对所述目标文档进行语义分析得到所述目标文档的语义信息时,执行如下步骤:
从所述目标文档的文档内容中获取文本内容,并对所述文本内容进行预处理,得到N个句子集合;每个句子集合中包括一个或多个句子,每个句子集合中包括的一个或多个句子具有相同或者相似的语义;对所述N个句子集合进行语义分析处理,并根据语义分析处理的结果预测第一子图像主题;对所述N个句子集合进行语义推理处理,并根据语义推理处理的结果预测第二子图像主题;基于所述第一子图像主题和所述第二子图像主题确定所述目标文档对应的图像主题。
在一个实施例中,目标文档的语义信息还包括所述目标文档所反映的目标情绪;所述显示单元1101在对所述目标文档进行语义分析得到所述目标文档的语义信息时,执行如下步骤:对所述N个句子集合进行情绪分析,得到情绪分析结果;根据情绪分析结果确定所述目标文档所反映的目标情绪。
在一个实施例中,图像处理装置还包括确定单元1103;确定单元1103用于在获取到触发事件后,若获取到所述目标文档对应的指定主题,则将所述指定主题确定为所述目标文档的图像主题;在获取到触发事件后,若未获取到所述目标文档对应的指定主题,则执行基于所述第一子图像主题和所述第二子图像主题确定所述目标文档对应的图像主题的步骤。
在一个实施例中,所述图像外观属性包括第一属性,所述第一属性包括以下任意一种或多种:贴纸元素、文字样式以及图像背景,所述图像属性参考信息包括多个第一属性以及每个第一属性对应的主题标签;所述语义信息包括所述目标文档对应的图像主题;所述显示单元1101在所述基于图像属性参考信息和所述语义信息,确定图像外观属性时,执行如下步骤:将所述图像主题与所述图像属性参考信息中的多个主题标签进行相似度匹配处理,确定目标主题标签;将所述目标主题标签对应的第一属性确定为与所述目标文档相匹配的第一属性。
在一个实施例中,所述基于所述第一子图像主题和所述第二子图像主题确定所述目标文档对应的图像主题可以指将所述第一子图像主题和所述第二子图像主题均作为所述目标文档对应的图像主题;显示单元1101在将所述图像主题与所述图像属性参考信息中的多个主题标签进行相似度匹配处理,确定目标主题标签时,执行如下步骤:
从所述多个主题标签中确定与所述第一子图像主题相匹配的第一主题标签,以及确定所述第一主题标签对应的匹配度;从所述多个主题标签中确定与所述第二子图像主题相匹配的第二主题标签,以及确定所述第一主题标签对应的匹配度;基于所述第一主题标签对应的匹配度和所述第二主题标签对应的匹配度,从所述第一主题标签和所述第二主题标签中确定目标主题标签。
在一个实施例中,所述显示单元1101还用于当存在生成图像的触发事件时,显示图像主题添加窗口,所述图像主题添加窗口用于设置所述指定主题。
在一个实施例中,所述图像外观属性还包括图像配色,所述图像属性参考信息包括图像配色与情绪之间的对应关系,所述目标文档的语义信息包括所述目标文档所反映的目标情绪,所述显示单元1101在基于图像属性参考信息和所述语义信息,确定图像外观属性时,执行如下步骤:基于所述图像配色与情绪之间的对应关系,获取与所述目标情绪相匹配的图像配色。
在一个实施例中,所述目标文档中文档内容的相关信息包括文档内容,所述文档内容包括文本内容和内容配图,所述图像内容属性包括匹配文字,所述显示单元1101在基于所述目标文档中文档内容的相关信息确定图像内容属性时,执行如下步骤:对所述文本内容进行词句切分得到切分结果;对所述内容配图进行文字识别得到识别结果;将所述切分结果和所述识别结果添加到所述匹配文字。
在一个实施例中,所述目标文档中文档内容的相关信息包括文档内容,所述文档内容包括内容配图,所述图像内容属性包括图像主体,所述显示单元1101在基于所述目标文档中文档内容的相关信息确定图像内容属性时,执行如下步骤:对所述内容配图进行对象识别处理,得到对象识别结果;若所述对象识别结果指示所述内容配图中包括目标对象,则从所述内容配图中裁剪出目标对象图像,并将所述目标对象图像添加到图像主体中。
在一个实施例中,若所述对象识别结果指示所述内容配图中不包括目标对象,则将所述内容配图添加到所述图像背景中。
在一个实施例中,若所述对象识别结果指示所述配图中不包括目标对象,则将所述配图添加到所述图像背景中,包括:若所述内容配图中包括的文字的数量小于数量阈值,则将所述内容配图添加到所述图像背景中。
根据本申请的一个实施例,图2、图6以及图8所示的图像处理方法所涉及各个步骤可以是由图11所示的图像处理装置中的各个单元来执行的。例如,图2所述的步骤S201和S202可由图11所示的图像处理装置中的显示单元1101,再如,图6中步骤S601-步骤S604可由图11所示的图像处理装置中的显示单元1101来执行,图6中步骤S605可由图11所示的图像处理装置中的分享单元1102来执行;又如,图8中步骤S801和步骤S804可由图11所示的图像处理装置中的显示单元1101来执行,步骤S802和步骤S803可由图11所示的图像处理装置中的确定单元1103来执行。
根据本申请的另一个实施例,图11所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,基于图像处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2、图6以及图8所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图11中所示的图像处理装置,以及来实现本申请实施例图像处理方法。所述计算机程序可以记载于例如计算机可读存储介质上,并通过计算机可读存储介质装载于图像处理设备中,并在其中运行。
本申请实施例中,显示一个文档编辑界面,该文档编辑界面可以用于对目标文档进行编辑;如果存在生成图像的触发事件时,可以根据文档编辑界面中目标文档的语义信息设计相匹配的图像外观属性,以及根据目标文档中文档内容的相关信息设计相匹配的图像内容属性,最后对图像外观属性和图像内容属性进行排版处理生成与目标文档相匹配的匹配图像。可见,该匹配图像是自动的,无需用户参与,与现有技术相比简化了用户操作,并且该匹配图像的设计参考了目标文档的语义信息以及目标文档中文档内容,用户通过该匹配图像可以直观快速地获取到目标文档的中心内容,提高了用户对目标文档的阅读效率。
基于上述图像处理方法的实施例以及图像处理装置的实施例,本申请实施例提供了一种图像处理设备,参见图12,为本申请实施例提供的一种图像处理设备的结构示意图。图12所示的图像处理设备可以包括处理器1201、输入接口1202、输出接口1203以及计算机存储介质1204。其中,处理器1201、输入接口1202、输出接口1203以及计算机存储介质1204可通过总线或其他方式连接。
计算机存储介质1204可以存储在图像处理设备的存储器中,所述计算机存储介质1204用于存储计算机程序,所述处理器1201用于执行所述计算机存储介质1204存储的计算机程序。处理器1201(或称CPU(Central Processing Unit,中央处理器))是图像处理设备的计算核心以及控制核心,其适于实现一条或多条计算机程序,具体适于加载并执行:
显示文档编辑界面,所述文档编辑界面用于对目标文档进行编辑;当存在生成图像的触发事件时,显示与所述目标文档相匹配的匹配图像,所述匹配图像的图像外观属性与所述目标文档的语义信息一致,所述匹配图像的图像内容属性与所述目标文档中文档内容的相关信息一致。
本申请实施例中,显示一个文档编辑界面,该文档编辑界面可以用于对目标文档进行编辑;如果存在生成图像的触发事件时,可以根据文档编辑界面中目标文档的语义信息设计相匹配的图像外观属性,以及根据目标文档中文档内容的相关信息设计相匹配的图像内容属性,最后对图像外观属性和图像内容属性进行排版处理生成与目标文档相匹配的匹配图像。可见,该匹配图像是自动的,无需用户参与,与现有技术相比简化了用户操作,并且该匹配图像的设计参考了目标文档的语义信息以及目标文档中文档内容,用户通过该匹配图像可以直观快速地获取到目标文档的中心内容,提高了用户对目标文档的阅读效率。
本申请实施例还提供了一种计算机存储介质(Memory),所述计算机存储介质是图像处理设备的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括图像处理设备的内置存储介质,当然也可以包括图像处理设备所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了图像处理设备的操作系统。并且,在该存储空间中还存放了适于被处理器1201加载并执行的一条或多条的计算机程序。需要说明的是,此处的计算机存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中,所述计算机存储介质中存储的一条或多条计算机程序可由处理器901加载并执行:显示文档编辑界面,所述文档编辑界面用于对目标文档进行编辑;当存在生成图像的触发事件时,显示与所述目标文档相匹配的匹配图像,所述匹配图像的图像外观属性与所述目标文档的语义信息一致,所述匹配图像的图像内容属性与所述目标文档中文档内容的相关信息一致。
在一个实施例中,所述图像外观属性包括第一属性和图像配色中任意一种或多种,所述第一属性包括以下任意一种或多种:贴纸元素、文字样式以及图像背景;所述图像内容属性包括以下任意一种或多种:匹配文字、图像主体以及图像结构;
所述目标文档的语义信息包括下述内容中任意一种或多种:所述目标文档对应的图像主题以及所述目标文档所反映的目标情绪;所述目标文档中文档内容的相关信息包括所述文档内容和文档布局中任意一个或多个,所述文档内容包括文本内容和内容配图中任意一个或多个。
在一个实施例中,若所述图像外观属性包括所述第一属性,所述第一属性与一个主题标签对应,所述目标文档的语义信息包括所述目标文档对应的图像主题,则所述图像外观属性与所述目标文档的语义信息一致是指与所述第一属性对应的主题标签是与所述目标文档对应的图像主题相匹配的目标主题标签;
若所述图像外观属性包括所述图像配色,所述图像配色与至少一种情绪对应,所述目标文档的语义信息包括所述目标文档所反映的目标情绪,则所述图像外观属性与所述目标文档的语义信息一致是指所述图像配色对应的至少一种情绪中存在与所述目标文档所反映的目标情绪相匹配的情绪;
若所述图像内容属性包括匹配文字,所述目标文档中文档内容的相关信息包括所述文档内容,所述文档内容包括文本内容和内容配图,则所述图像内容属性与所述目标文档中文档内容的相关信息一致是指所述匹配文字包括所述目标文档中的文字内容,以及所述匹配文字包括所述内容配图中包含的文字;
若所述图像内容属性包括图像主体,所述目标文档中文档内容的相关信息包括所述文档内容,所述文档内容包括内容配图,则所述图像内容属性与所述目标文档中文档内容的相关信息一致是指所述图像主体包括所述内容配图中的目标对象;若所述图像内容属性包括图像结构,所述图像结构对应一种文档布局,则所述图像内容属性与所述目标文档中文档内容的相关信息一致是指所述图像结构对应的文档布局与所述目标文档的文档布局相同。
在一个实施例中,所述触发事件包括以下任意一种或多种:为所述目标文档添加封面的添加操作、将所述目标文档以图像形式进行分享的分享操作,以及在所述目标文档中插入图像的插入操作。
在一个实施例中,所述处理器1201当存在生成图像的触发事件时,显示与所述目标文档相匹配的匹配图像时,执行如下步骤:
当存在生成图像的触发事件时,在所述文档编辑界面显示图像选择窗口,所述图像选择窗口包括所述目标文档相匹配的至少一个匹配图像和确定选择选项;如果所述图像选择窗口中存在被选中的匹配图像,且所述确定选择选项被触发,则在所述文档编辑界面中显示被选中的匹配图像。
在一个实施例中,所述处理器1201在显示与所述目标文档相匹配的匹配图像时,执行如下步骤:在匹配图像的生成过程中,显示等待动画;在匹配图像生成完成时,由显示所述等待动画切换为显示与所述目标文档相匹配的所述匹配图像。
在一个实施例中,若所述触发事件包括将所述目标文档以图像形式进行分享的分享操作,所述匹配图像显示在图像生成窗口中,所述图像生成窗口包括分享操作选项;所述处理器1201还用于执行:当所述分享操作选项被触发时,显示分享对象的选择界面,所述选择界面包括多个用户标识和确定分享选项;如果任一用户标识被选中且所述确定分享选项被触发,则将所述匹配图像分享给所述任一用户标识对应的用户。
在一个实施例中,所述处理器1201在当存在生成图像的触发事件时,显示与所述目标文档相匹配的匹配图像时,执行如下步骤:
当存在生成图像的触发事件时,对所述目标文档进行语义分析处理得到所述目标文档的语义信息,并基于图像属性参考信息和所述语义信息,确定图像外观属性;基于所述目标文档中文档内容的相关信息确定图像内容属性;对所述图像外观属性和所述图像内容属性进行排版生成并显示匹配图像。
在一个实施例中,所述目标文档的语义信息包括所述目标文档对应的图像主题,所述处理器1201在对所述目标文档进行语义分析得到所述目标文档的语义信息时,执行如下步骤:
从所述目标文档的文档内容中获取文本内容,并对所述文本内容进行预处理,得到N个句子集合;每个句子集合中包括一个或多个句子,每个句子集合中包括的一个或多个句子具有相同或者相似的语义;对所述N个句子集合进行语义分析处理,并根据语义分析处理的结果预测第一子图像主题;对所述N个句子集合进行语义推理处理,并根据语义推理处理的结果预测第二子图像主题;基于所述第一子图像主题和所述第二子图像主题确定所述目标文档对应的图像主题。
在一个实施例中,所述目标文档的语义信息还包括所述目标文档所反映的目标情绪,所述处理器1201在对所述目标文档进行语义分析得到所述目标文档的语义信息时,执行如下步骤:对所述N个句子集合进行情绪分析,得到情绪分析结果;根据情绪分析结果确定所述目标文档所反映的目标情绪。
在一个实施例中,所述基于所述第一子图像主题和所述第二子图像主题确定所述目标文档对应的图像主题之前,所述处理器1201还用于执行:在获取到触发事件后,若获取到所述目标文档对应的指定主题,则将所述指定主题确定为所述目标文档的图像主题;在获取到触发事件后,若未获取到所述目标文档对应的指定主题,则执行基于所述第一子图像主题和所述第二子图像主题确定所述目标文档对应的图像主题的步骤。
在一个实施例中,所述图像外观属性包括第一属性,所述第一属性包括以下任意一种或多种:贴纸元素、文字样式以及图像背景,所述图像属性参考信息包括多个第一属性以及每个第一属性对应的主题标签;所述语义信息包括所述目标文档对应的图像主题;所述处理器1201在基于图像属性参考信息和所述语义信息,确定图像外观属性时,执行如下步骤:
将所述图像主题与所述图像属性参考信息中的多个主题标签进行相似度匹配处理,确定目标主题标签;将所述目标主题标签对应的第一属性确定为与所述目标文档相匹配的第一属性。
在一个实施例中,所述处理器1201在基于所述第一子图像主题和所述第二子图像主题确定所述目标文档对应的图像主题时,执行如下步骤:将所述第一子图像主题和所述第二子图像主题均作为所述目标文档对应的图像主题;所述处理器1201在将所述图像主题与所述图像属性参考信息中的多个主题标签进行相似度匹配处理,确定目标主题标签时,执行如下步骤:
从所述多个主题标签中确定与所述第一子图像主题相匹配的第一主题标签,以及确定所述第一主题标签对应的匹配度;从所述多个主题标签中确定与所述第二子图像主题相匹配的第二主题标签,以及确定所述第一主题标签对应的匹配度;基于所述第一主题标签对应的匹配度和所述第二主题标签对应的匹配度,从所述第一主题标签和所述第二主题标签中确定目标主题标签。
在一个实施例中,所述处理器1201还用于执行:当存在生成图像的触发事件时,显示图像主题添加窗口,所述图像主题添加窗口用于设置所述指定主题。
在一个实施例中,所述图像外观属性还包括图像配色,所述图像属性参考信息包括图像配色与情绪之间的对应关系,所述目标文档的语义信息包括所述目标文档所反映的目标情绪,所述处理器1201在基于图像属性参考信息和所述语义信息,确定图像外观属性时,执行如下步骤:基于所述图像配色与情绪之间的对应关系,获取与所述目标情绪相匹配的图像配色。
在一个实施例中,所述目标文档中文档内容的相关信息包括文档内容,所述文档内容包括文本内容和内容配图,所述图像内容属性包括匹配文字,所述处理器1201在基于所述目标文档中文档内容的相关信息确定图像内容属性时,执行如下步骤:对所述文本内容进行词句切分得到切分结果;对所述内容配图进行文字识别得到识别结果;将所述切分结果和所述识别结果添加到所述匹配文字。
在一个实施例中,所述目标文档中文档内容的相关信息包括文档内容,所述文档内容包括内容配图,所述图像内容属性包括图像主体,所述处理器1201在基于所述目标文档中文档内容的相关信息确定图像内容属性时,执行如下步骤:对所述内容配图进行对象识别处理,得到对象识别结果;若所述对象识别结果指示所述内容配图中包括目标对象,则从所述内容配图中裁剪出目标对象图像,并将所述目标对象图像添加到图像主体中。
在一个实施例中,所述图像外观属性包括所述第一属性,所述第一属性包括图像背景;所述处理器1201还用于执行:若所述对象识别结果指示所述内容配图中不包括目标对象,则将所述内容配图添加到所述图像背景中。
在一个实施例中,所述处理器1201在若所述对象识别结果指示所述配图中不包括目标对象,则将所述配图添加到所述图像背景中,执行如下步骤:若所述内容配图中包括的文字的数量小于数量阈值,则将所述内容配图添加到所述图像背景中。
本申请实施例中,显示一个文档编辑界面,该文档编辑界面可以用于对目标文档进行编辑;如果存在生成图像的触发事件时,可以根据文档编辑界面中目标文档的语义信息设计相匹配的图像外观属性,以及根据目标文档中文档内容的相关信息设计相匹配的图像内容属性,最后对图像外观属性和图像内容属性进行排版处理生成与目标文档相匹配的匹配图像。可见,该匹配图像是自动的,无需用户参与,与现有技术相比简化了用户操作,并且该匹配图像的设计参考了目标文档的语义信息以及目标文档中文档内容,用户通过该匹配图像可以直观快速地获取到目标文档的中心内容,提高了用户对目标文档的阅读效率。
本申请实施例提供了一种计算机程序产品或计算机程序,所述计算机程序产品包括计算机程序,所述计算机程序被处理器1201执行时用于加载并执行:
显示文档编辑界面,所述文档编辑界面用于对目标文档进行编辑;当存在生成图像的触发事件时,显示与所述目标文档相匹配的匹配图像,所述匹配图像的图像外观属性与所述目标文档的语义信息一致,所述匹配图像的图像内容属性与所述目标文档中文档内容的相关信息一致。
本申请实施例中,显示一个文档编辑界面,该文档编辑界面可以用于对目标文档进行编辑;如果存在生成图像的触发事件时,可以根据文档编辑界面中目标文档的语义信息设计相匹配的图像外观属性,以及根据目标文档中文档内容的相关信息设计相匹配的图像内容属性,最后对图像外观属性和图像内容属性进行排版处理生成与目标文档相匹配的匹配图像。可见,该匹配图像是自动的,无需用户参与,与现有技术相比简化了用户操作,并且该匹配图像的设计参考了目标文档的语义信息以及目标文档中文档内容,用户通过该匹配图像可以直观快速地获取到目标文档的中心内容,提高了用户对目标文档的阅读效率。
Claims (24)
1.一种图像处理方法,其特征在于,包括:
显示文档编辑界面,所述文档编辑界面用于对目标文档进行编辑;
当存在生成图像的触发事件时,显示与所述目标文档相匹配的匹配图像,所述匹配图像的图像外观属性与所述目标文档的语义信息一致,所述匹配图像的图像内容属性与所述目标文档中文档内容的相关信息一致。
2.如权利要求1所述的方法,其特征在于,所述图像外观属性包括第一属性和图像配色中任意一种或多种,所述第一属性包括以下任意一种或多种:贴纸元素、文字样式、图像尺寸、图像形状以及图像背景;所述图像内容属性包括以下任意一种或多种:匹配文字、图像主体以及图像结构;
所述目标文档的语义信息包括下述内容中任意一种或多种:所述目标文档对应的图像主题以及所述目标文档所反映的目标情绪;所述目标文档中文档内容的相关信息包括所述文档内容和文档布局中任意一个或多个,所述文档内容包括文本内容和内容配图中任意一个或多个。
3.如权利要求2所述的方法,其特征在于,所述方法还包括:
若所述图像外观属性包括所述第一属性,所述第一属性与一个主题标签对应,所述目标文档的语义信息包括所述目标文档对应的图像主题,则所述图像外观属性与所述目标文档的语义信息一致是指:与所述第一属性对应的主题标签是与所述目标文档对应的图像主题相匹配的目标主题标签;
若所述图像外观属性包括所述图像配色,所述图像配色与至少一种情绪对应,所述目标文档的语义信息包括所述目标文档所反映的目标情绪,则所述图像外观属性与所述目标文档的语义信息一致是指:所述图像配色对应的至少一种情绪中,存在与所述目标文档所反映的目标情绪相匹配的情绪;
若所述图像内容属性包括匹配文字,所述目标文档中文档内容的相关信息包括所述文档内容,所述文档内容包括文本内容和内容配图,则所述图像内容属性与所述目标文档中文档内容的相关信息一致是指:所述匹配文字包括所述目标文档中的文字内容,以及所述匹配文字包括所述内容配图中包含的文字;
若所述图像内容属性包括图像主体,所述目标文档中文档内容的相关信息包括所述文档内容,所述文档内容包括内容配图,则所述图像内容属性与所述目标文档中文档内容的相关信息一致是指:所述图像主体包括所述内容配图中的目标对象;若所述图像内容属性包括图像结构,所述图像结构对应一种文档布局,则所述图像内容属性与所述目标文档中文档内容的相关信息一致是指:所述图像结构对应的文档布局与所述目标文档的文档布局相同。
4.如权利要求1所述的方法,其特征在于,所述触发事件包括以下任意一种或多种:为所述目标文档添加封面的添加操作、将所述目标文档以图像形式进行分享的分享操作,以及在所述目标文档中插入图像的插入操作。
5.如权利要求4所述的方法,其特征在于,若所述目标文档为表格文档,所述目标文档中文档内容的相关信息包括所述文本内容,所述文本内容包括文档标题,所述目标文档包括添加头图选项,则为所述目标文档添加封面的添加操作是指所述目标文档中添加头图选项被触发;所述与目标文档相匹配的匹配图像的图像内容属性与所述目标文档中文档标题一致;
或者,所述为所述目标文档添加封面的添加操作是指:将所述目标文档以在线文档形式分享至社交应用程序中的用户。
6.如权利要求1所述的方法,其特征在于,所述当存在生成图像的触发事件时,显示与所述目标文档相匹配的匹配图像,包括:
当存在生成图像的触发事件时,在所述文档编辑界面显示图像选择窗口,所述图像选择窗口包括与所述目标文档相匹配的至少一个匹配图像和确定选择选项;
如果所述图像选择窗口中存在被选中的匹配图像,且所述确定选择选项被触发,则在所述文档编辑界面中显示被选中的匹配图像。
7.如权利要求1所述的方法,其特征在于,所述显示与所述目标文档相匹配的匹配图像,包括:
在匹配图像的生成过程中,显示等待动画;
在匹配图像生成完成时,由显示所述等待动画切换为显示与所述目标文档相匹配的所述匹配图像。
8.如权利要求4所述的方法,其特征在于,若所述触发事件包括将所述目标文档以图像形式进行分享的分享操作,所述匹配图像显示在图像生成窗口中,所述图像生成窗口包括分享操作选项,所述方法还包括:
当所述分享操作选项被触发时,显示分享对象的选择界面,所述选择界面包括多个用户标识和确定分享选项;
如果任一用户标识被选中且所述确定分享选项被触发,则将所述匹配图像分享给所述任一用户标识对应的用户。
9.如权利要求1所述的方法,其特征在于,所述当存在生成图像的触发事件时,显示与所述目标文档相匹配的匹配图像,包括:
当存在生成图像的触发事件时,对所述目标文档进行语义分析处理得到所述目标文档的语义信息,并基于图像属性参考信息和所述语义信息,确定图像外观属性;
基于所述目标文档中文档内容的相关信息确定图像内容属性;
对所述图像外观属性和所述图像内容属性进行排版生成并显示匹配图像。
10.如权利要求9所述的方法,其特征在于,所述目标文档的语义信息包括所述目标文档对应的图像主题,所述对所述目标文档进行语义分析得到所述目标文档的语义信息,包括:
从所述目标文档的文档内容中获取文本内容,并对所述文本内容进行预处理,得到N个句子集合;每个句子集合中包括一个或多个句子,每个句子集合中包括的一个或多个句子具有相同或者相似的语义;
对所述N个句子集合进行语义分析处理,并根据语义分析处理的结果预测第一子图像主题;
对所述N个句子集合进行语义推理处理,并根据语义推理处理的结果预测第二子图像主题;
基于所述第一子图像主题和所述第二子图像主题确定所述目标文档对应的图像主题。
11.如权利要求10所述的方法,其特征在于,所述目标文档的语义信息还包括所述目标文档所反映的目标情绪,所述对所述目标文档进行语义分析得到所述目标文档的语义信息,包括:
对所述N个句子集合进行情绪分析,得到情绪分析结果;
根据情绪分析结果确定所述目标文档所反映的目标情绪。
12.如权利要求10所述的方法,其特征在于,所述基于所述第一子图像主题和所述第二子图像主题确定所述目标文档对应的图像主题之前,所述方法还包括:
在获取到触发事件后,若获取到所述目标文档对应的指定主题,则将所述指定主题确定为所述目标文档的图像主题;
在获取到触发事件后,若未获取到所述目标文档对应的指定主题,则执行基于所述第一子图像主题和所述第二子图像主题确定所述目标文档对应的图像主题的步骤。
13.如权利要求8所述的方法,其特征在于,所述图像外观属性包括第一属性,所述第一属性包括以下任意一种或多种:贴纸元素、文字样式以及图像背景,所述图像属性参考信息包括多个第一属性以及每个第一属性对应的主题标签;所述语义信息包括所述目标文档对应的图像主题;所述基于图像属性参考信息和所述语义信息,确定图像外观属性,包括:
将所述图像主题与所述图像属性参考信息中的多个主题标签进行相似度匹配处理,确定目标主题标签;
将所述目标主题标签对应的第一属性确定为与所述目标文档相匹配的第一属性。
14.如权利要求10所述的方法,其特征在于,所述基于所述第一子图像主题和所述第二子图像主题确定所述目标文档对应的图像主题,包括:将所述第一子图像主题和所述第二子图像主题均作为所述目标文档对应的图像主题;
所述将所述图像主题与所述图像属性参考信息中的多个主题标签进行相似度匹配处理,确定目标主题标签,包括:
从所述多个主题标签中确定与所述第一子图像主题相匹配的第一主题标签,以及确定所述第一主题标签对应的匹配度;
从所述多个主题标签中确定与所述第二子图像主题相匹配的第二主题标签,以及确定所述第一主题标签对应的匹配度;
基于所述第一主题标签对应的匹配度和所述第二主题标签对应的匹配度,从所述第一主题标签和所述第二主题标签中确定目标主题标签。
15.如权利要求12所述的方法,其特征在于,所述方法还包括:
当存在生成图像的触发事件时,显示图像主题添加窗口,所述图像主题添加窗口用于设置所述指定主题。
16.如权利要求9所述的方法,其特征在于,所述图像外观属性还包括图像配色,所述图像属性参考信息包括图像配色与情绪之间的对应关系,所述目标文档的语义信息包括所述目标文档所反映的目标情绪,所述基于图像属性参考信息和所述语义信息,确定图像外观属性,包括:
基于所述图像配色与情绪之间的对应关系,获取与所述目标情绪相匹配的图像配色。
17.如权利要求9所述的方法,其特征在于,所述目标文档中文档内容的相关信息包括文档内容,所述文档内容包括文本内容和内容配图,所述图像内容属性包括匹配文字,所述基于所述目标文档中文档内容的相关信息确定图像内容属性,包括:
对所述文本内容进行词句切分得到切分结果;
对所述内容配图进行文字识别得到识别结果;
将所述切分结果和所述识别结果添加到所述匹配文字。
18.如权利要求9所述的方法,其特征在于,所述目标文档中文档内容的相关信息包括文档内容,所述文档内容包括内容配图,所述图像内容属性包括图像主体,所述基于所述目标文档中文档内容的相关信息确定图像内容属性,包括:
对所述内容配图进行对象识别处理,得到对象识别结果;
若所述对象识别结果指示所述内容配图中包括目标对象,则从所述内容配图中裁剪出目标对象图像,并将所述目标对象图像添加到图像主体中。
19.如权利要求18所述的方法,其特征在于,所述图像外观属性包括所述第一属性,所述第一属性包括图像背景;所述方法还包括:
若所述对象识别结果指示所述内容配图中不包括目标对象,则将所述内容配图添加到所述图像背景中。
20.如权利要求19所述的方法,其特征在于,所述若所述对象识别结果指示所述配图中不包括目标对象,则将所述配图添加到所述图像背景中,包括:
若所述内容配图中包括的文字的数量小于数量阈值,则将所述内容配图添加到所述图像背景中。
21.一种图像处理装置,其特征在于,包括:
显示单元,用于显示文档编辑界面,所述文档编辑界面用于对目标文档进行编辑;
所述显示单元,还用于当存在生成图像的触发事件时,显示与所述目标文档相匹配的匹配图像,所述匹配图像的图像外观属性与所述目标文档的语义信息一致,所述匹配图像的图像内容属性与所述目标文档中文档内容的相关信息一致。
22.一种图像处理设备,其特征在于,包括:
处理器,适用于实现一条或多条计算机程序;
计算机存储介质,所述计算机存储介质存储有一条或多条计算机程序,所述一条或多条计算机程序适于由所述处理器加载并执行如权利要求1-20任一项所述的图像处理方法。
23.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序被处理器执行时用于加载并执行如权利要求1-20任一项所述的图像处理方法。
24.一种计算机程序产品或计算机程序,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时用于加载并执行如权利要求1-20任一项所述的图像处理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111351245.5A CN116127054A (zh) | 2021-11-15 | 2021-11-15 | 图像处理方法、装置、设备、存储介质及计算机程序 |
KR1020247001617A KR20240019375A (ko) | 2021-11-15 | 2022-09-20 | 이미지 처리 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 제품 |
PCT/CN2022/119824 WO2023082841A1 (zh) | 2021-11-15 | 2022-09-20 | 图像处理方法、装置、设备、存储介质及计算机程序产品 |
US18/460,416 US20230419716A1 (en) | 2021-11-15 | 2023-09-01 | Image processing method, apparatus, and device, storage medium, and computer program product |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111351245.5A CN116127054A (zh) | 2021-11-15 | 2021-11-15 | 图像处理方法、装置、设备、存储介质及计算机程序 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116127054A true CN116127054A (zh) | 2023-05-16 |
Family
ID=86306871
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111351245.5A Pending CN116127054A (zh) | 2021-11-15 | 2021-11-15 | 图像处理方法、装置、设备、存储介质及计算机程序 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230419716A1 (zh) |
KR (1) | KR20240019375A (zh) |
CN (1) | CN116127054A (zh) |
WO (1) | WO2023082841A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117573870A (zh) * | 2023-11-20 | 2024-02-20 | 中国人民解放军国防科技大学 | 一种多模态数据的文本标签提取方法、装置、设备及介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6304852B1 (en) * | 1999-07-21 | 2001-10-16 | Vignette Graphics, Llc | Method of communicating computer operation during a wait period |
JP2005242790A (ja) * | 2004-02-27 | 2005-09-08 | Nomura Research Institute Ltd | 携帯端末用表示データ作成装置、携帯端末用表示データ作成方法及び携帯端末用表示データ作成プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130282808A1 (en) * | 2012-04-20 | 2013-10-24 | Yahoo! Inc. | System and Method for Generating Contextual User-Profile Images |
US20160034757A1 (en) * | 2014-07-31 | 2016-02-04 | Chegg, Inc. | Generating an Academic Topic Graph from Digital Documents |
WO2019041149A1 (en) * | 2017-08-30 | 2019-03-07 | Entit Software Llc | IMAGE FLOW OF SUBJECT |
CN109902302B (zh) * | 2019-03-01 | 2020-03-24 | 郑敏杰 | 一种适用于文本分析或数据挖掘的主题图谱生成方法、装置、设备以及计算机存储介质 |
CN112560479B (zh) * | 2020-12-24 | 2024-01-12 | 北京百度网讯科技有限公司 | 摘要抽取模型训练方法、摘要抽取方法、装置和电子设备 |
-
2021
- 2021-11-15 CN CN202111351245.5A patent/CN116127054A/zh active Pending
-
2022
- 2022-09-20 KR KR1020247001617A patent/KR20240019375A/ko unknown
- 2022-09-20 WO PCT/CN2022/119824 patent/WO2023082841A1/zh active Application Filing
-
2023
- 2023-09-01 US US18/460,416 patent/US20230419716A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6304852B1 (en) * | 1999-07-21 | 2001-10-16 | Vignette Graphics, Llc | Method of communicating computer operation during a wait period |
JP2005242790A (ja) * | 2004-02-27 | 2005-09-08 | Nomura Research Institute Ltd | 携帯端末用表示データ作成装置、携帯端末用表示データ作成方法及び携帯端末用表示データ作成プログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117573870A (zh) * | 2023-11-20 | 2024-02-20 | 中国人民解放军国防科技大学 | 一种多模态数据的文本标签提取方法、装置、设备及介质 |
CN117573870B (zh) * | 2023-11-20 | 2024-05-07 | 中国人民解放军国防科技大学 | 一种多模态数据的文本标签提取方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2023082841A1 (zh) | 2023-05-19 |
US20230419716A1 (en) | 2023-12-28 |
KR20240019375A (ko) | 2024-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110781347B (zh) | 一种视频处理方法、装置、设备以及可读存储介质 | |
CN110968736B (zh) | 视频生成方法、装置、电子设备及存储介质 | |
CN113569088B (zh) | 一种音乐推荐方法、装置以及可读存储介质 | |
US20140164507A1 (en) | Media content portions recommended | |
US20140163980A1 (en) | Multimedia message having portions of media content with audio overlay | |
US20140163957A1 (en) | Multimedia message having portions of media content based on interpretive meaning | |
US20140164506A1 (en) | Multimedia message having portions of networked media content | |
US20140161356A1 (en) | Multimedia message from text based images including emoticons and acronyms | |
Gürsimsek | Animated GIFs as vernacular graphic design: producing Tumblr blogs | |
KR102490319B1 (ko) | 인공지능 콘텐츠 자동 생성 및 변형 방법 | |
CN114827752B (zh) | 视频生成方法、视频生成系统、电子设备及存储介质 | |
CN112084305A (zh) | 应用于聊天应用的搜索处理方法、装置、终端及存储介质 | |
US20230419716A1 (en) | Image processing method, apparatus, and device, storage medium, and computer program product | |
CN112084756A (zh) | 会议文件生成方法、装置及电子设备 | |
CN112199932A (zh) | Ppt生成方法、装置、计算机可读存储介质及处理器 | |
Herbelot | The semantics of poetry: A distributional reading | |
Perdikaki | Adaptation as translation: Examining film adaptation as a recontextualised Act of Communication | |
WO2018235326A1 (ja) | コンピュータプログラム、フォント切替装置及びフォント切替方法 | |
KR102313203B1 (ko) | 인공지능 콘텐츠 창작 시스템 및 방법 | |
KR101804679B1 (ko) | 스토리에 기초하는 멀티미디어 콘텐츠 개발 장치 및 방법 | |
CN116702749A (zh) | 多媒体内容分析方法、装置、设备及存储介质 | |
CN113407766A (zh) | 视觉动画显示方法及相关设备 | |
CN113672086A (zh) | 一种页面处理方法、装置、设备及介质 | |
CN110837307A (zh) | 一种输入法及其系统 | |
Arizzi | Digital memes and US pop politics. Dynamism and pervasiveness of a digital genre in the mobile Web era |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40086812 Country of ref document: HK |