CN113393556A - 图像处理方法、装置、计算机设备和可读存储介质 - Google Patents

图像处理方法、装置、计算机设备和可读存储介质 Download PDF

Info

Publication number
CN113393556A
CN113393556A CN202110150949.XA CN202110150949A CN113393556A CN 113393556 A CN113393556 A CN 113393556A CN 202110150949 A CN202110150949 A CN 202110150949A CN 113393556 A CN113393556 A CN 113393556A
Authority
CN
China
Prior art keywords
picture element
target
candidate
image
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110150949.XA
Other languages
English (en)
Inventor
赵奕涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110150949.XA priority Critical patent/CN113393556A/zh
Publication of CN113393556A publication Critical patent/CN113393556A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了一种图像处理方法、装置、计算机设备和可读存储介质,应用于图像处理技术领域,其中方法包括:获取目标主题对应的目标关键词;根据所述目标关键词获取所述目标主题对应的目标图片元素集合;获取第一图像以及所述第一图像中图片元素的配置信息;根据所述第一图像中图片元素的配置信息和所述目标图片元素集合对所述第一图像进行处理得到第二图像,可以实现图片元素获取的自动化,以及高效性;并自动替换原有的图像,缩短生成新图像的时间。

Description

图像处理方法、装置、计算机设备和可读存储介质
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法、装置、计算机设备和可读存储介质。
背景技术
随着网络技术的发展,用户可通过网络获取各种数据,进而再对获取的各种数据进行处理,得到所需的数据处理结果。例如,用户可在网络上获取多种图片及文字,再通过设计软件编辑获取到的多种图片及文字,从而形成一幅符合用户需求设计图。可见,目前用户需要的设计图大部分都需要人工通过设计软件以及自己查找到的图片素材生成。这样图像处理过程自动化程度低,且消耗大量时间。因此,在图像处理领域,如何生成符合用户需求的图像称为当前讨论的热点问题。
发明内容
本申请实施例提供了一种图像处理方法、装置、计算机设备和可读存储介质,可以实现图片元素获取的自动化,以及高效性;并自动替换原有的图像,缩短生成新图像的时间。
本申请实施例一方面提供了一种图像处理方法,包括:
获取目标主题对应的目标关键词;
根据所述目标关键词获取所述目标主题对应的目标图片元素集合;
获取第一图像以及所述第一图像中图片元素的配置信息;
根据所述第一图像中图片元素的配置信息和所述目标图片元素集合对所述第一图像进行处理得到第二图像。
本申请实施例二方面提供了一种图像处理装置,包括:
获取模块,用于获取目标主题对应的目标关键词;
所述获取模块,还用于根据所述目标关键词获取所述目标主题对应的目标图片元素集合;
所述获取模块,还用于获取第一图像以及所述第一图像中图片元素的配置信息;
处理模块,用于根据所述第一图像中图片元素的配置信息和所述目标图片元素集合对所述第一图像进行处理得到第二图像。
本申请实施例一方面提供了一种计算机设备,包括处理器和存储器,所述处理器和所述存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行上述所述的图像处理方法。
本申请实施例一方面提供了一种计算机可读存储介质,该计算机可读存储介质中存储有程序指令,该程序指令被执行时,用于实现上述所述的图像处理方法。
本申请实施例一方面提供了一种计算机程序产品或计算机程序,计算机程序产品或计算机程序包括计算机指令,计算机指令存储在计算机可读存储介质中,计算机指令被计算机设备的处理器执行时,执行上述所述的图像处理方法。
在本申请实施例中,计算机设备获取目标主题,并提取目标主题对应的目标关键词;然后根据目标关键词获取目标主题对应的目标图片元素集合,无需人工选取目标主题对应的目标图片元素集合,实现了图片元素获取的自动化,以及高效性;进一步地,计算机设备可根据第一图像中图片元素的配置信息和目标图片元素集合对第一图像进行处理得到第二图像,可以自动替换原有的图像,得到满足用户需求的新图像,同时还可缩短生成新图像的时间。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理方法的流程示意图;
图2a是本申请实施例提供的目标主题输入界面的示意图;
图2b是本申请实施例提供的在目标主题输入界面中显示选取第一图像的选择控件和修改选项;
图2c是本申请实施例提供的在目标主题输入界面中显示多个候选图像的示意图;
图2d是本申请实施例提供的第一图像的图片元素的示意图;
图2e是本申请实施例提供的生成第二图像的示意图;
图3是本申请实施例提供的一种图像处理方法的流程示意图;
图4是本申请实施例提供的一种图片元素库的示意图;
图5是本申请实施例提供的一种图像处理方案的流程示意图;
图6是本申请实施例提供的一种图像处理装置的结构示意图;
图7是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的图像处理方法涉及人工智能的计算机视觉技术,计算机设备可基于需求主题中的目标关键词自动获取与需求主题对应的目标图片元素集合,并将获取到的目标图片元素集合中目标图片元素替换或者覆盖原有图像中图片元素,得到需求图像。具体通过如下实施例进行说明:
需要说明的是,本申请实施例所涉及的图像处理方法可由计算机设备执行,该计算机设备可以是终端设备或者服务器,其中,终端设备可以是手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备等;服务器可以是独立的物理服务器,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
请参阅图1,图1为本发明实施例提供的一种图像处理方法的流程示意图。该方法可由计算机设备执行,本实施例中所描述的图像处理方法,可包括以下步骤S101-S104:
S101、获取目标主题对应的目标关键词。
其中,目标主题可以是水果主题、日料主题、舞蹈主题等等。目标主题可以是一段文本或者几个单独的关键词,本申请实施例不做限定。
在一个实施例中,计算机设备可获取语音输入的目标主题(即为一段语音);或者,计算机设备可获取文本输入的目标主题(即一段文本)。在具体实现中,计算机设备可提供一个用于输入目标主题的用户界面,用户可以通过用户界面输入目标主题。例如,参见图2a为本发明实施例中提供的一种输入目标主题的示意图,在图2a中200表示用户界面,201表示文本输入区域,202表示提交按钮;如果用户可以在文本输入区域201输入一段文本,比如“日料季节,超值不断”,并且点击了提交按钮202,则计算机设备将“日料季节,超值不断”作为目标主题。
可选的,图2a所示的用户界面中还可以包括语音输入区域203,用户可以通过触发语音输入区域203,来实现输入一段语音作为目标主题。应当理解的,本发明实施例提供的用户界面只是一种示意图,在实际应用中,本领域技术人员可以根据不同的需求在图2a基础上丰富和扩展该用户界面。
在一个实施例中,上述用户界面可以是用户触发了计算机设备中的目标应用程序后显示的,比如目标应用程序可以是一个用于图像处理的工具;或者,该用户界面可以是用户在目标应用程序中输入了图像转换操作后显示的。在其他实施例中,所述用户界面还可以是用户在计算机设备中输入了图像转换操作后显示的。
在一个实施例中,目标主题对应的目标关键词可以是通过对目标主题进行解析处理得到的。例如,如果目标主题是通过语音方式输入的一段语音,则可对语音输入的目标主题进行语音解析,得到目标关键词;再如,如果目标主题是通过文本输入方式获取到的,则计算机设备可利用文本特征识别对文本输入的目标主题进行处理,从中提取目标关键词。例如,目标主题为一段文本“日料季节,超值不断”,计算机设备可对目标主题进行文本特征识别,得到目标主题的目标关键词为日料。
S102、根据目标关键词获取目标主题对应的目标图片元素集合。
在具体实现中,计算机设备可根据目标关键词从图片元素库中匹配与目标关键词对应的一个或多个目标图片元素,这一个或多个目标图片元素组成了目标图片元素集合。
作为一种可选的实施方式,如果所述图片元素库是存储在服务器中的,并且计算机设备是终端,则所述根据目标关键词获取目标主题对应的目标图片元素集合,包括:将目标关键词发送给服务器,由服务器将关键词与图片元素库中的各个图片元素进行匹配,以获取与关键词对应的目标图片元素;并将图片元素发送给终端。
作为另一种可选的实施方式,如果所述图片元素库是存储在终端中的,并且计算设备也是终端,那么根据目标关键词获取目标主题对应的目标图片元素集合,可以是终端将关键词与图片元素库进行匹配处理得到的。
在一个实施例中,图片元素库包括多个图片元素,任一图片元素包括一个或者多个标签,每个标签用来指示该任一图片元素所属元素类别。例如,若一个图片元素包括三种标签,分别为寿司、日料、三文鱼,则该图片元素所属类别为三个,分别为寿司、日料以及三文鱼。
在一个实施例中,计算机设备在根据目标关键词获取目标主题对应的目标图片元素集合时,可根据目标关键词与图片元素库中每个图片元素的标签进行匹配;并将匹配到的标签对应的图片元素作为目标图片元素。例如,假设目标关键词为日料,计算机设备可根据目标关键词“日料”从图片元素库中匹配每个图片元素对应的一个或者多个标签,当目标关键词“日料”与图片元素库中的任一图片元素的“日料”标签匹配成功,计算机设备可将该图片元素作为目标图片元素。
S103、获取第一图像以及第一图像中图片元素的配置信息。
在一个实施例中,该第一图像可以是计算机设备从图像库中选取的评分最高的一个图像。具体实现中,图像库中可以存储了多个图像,每个图像可以对应一个评分,每个图像的评分可以是根据使用该图像的用户的评价确定的。计算机设备在获取到目标主题以及目标主题对应的目标图片元素集合后,可以从图像库中选取评分最高的图像作为第一图像。
再一个实施例中,该第一图像可以是用户从计算机设备本地选取的图像。例如,假设目标主题是用户通过图2a所示的用户界面输入的,当用户点击了提交按钮202后,计算机设备可以在用户界面中显示选取第一图像的选择控件,如图2b中21所示;用户可以通过触发21从本地中选取任意一张图像作为第一图像。另外,可选的,在图2b中,用户输入的目标主题可以以目标显示方式显示在用户界面中,如图2b中所示“已选主题:日料季节,超值不断”,并对应该部分有一个修改选项22;如果修改选项22被触发,则用户可以对已选的主题进行删除、修改等操作。
又一个实施例中,该第一图像可以是计算机设备根据目标主题为用户推荐的几个候选图像中,被用户选中的候选图像。具体实现中,假设目标主题是用户通过图2a所示的用户界面输入的,当用户点击了提交按钮202后,计算机设备可以从图像库中筛选几张适合目标主题的候选图像,如图2c中22所示。用户可以从几个候选图像中选择任意一张作为第一图像。
可选的,第一图像可以是各类主题的设计图、海报等,可通过图像编辑软件(例如,Photoshop或Sketch)将多类元素按前后顺序放置在不同图层上,将各个图层按照按前后顺序一层一层的叠放在一起组合构成。该多类元素可包括文字、图形、图片或者表格等元素。其中,图片元素的配置信息包括第一图像中图片元素所在的图层,以及第一图像中图片元素在对应图层中的尺寸信息和位置信息等。该尺寸信息用于指示该图片元素在对应图层中的尺寸大小,该位置信息用于指示该图片元素在对应图层中所处位置。例如,图2d所示的第一图像,在该第一图像的右侧可看到该第一图像包括的每个图层以及每个图层对应的图片元素和文字元素。
在一个实施例中,在获取第一图像之后,计算机设备可通过计算机设备自带的插件或者使用代码读取并分析第一图像,最终得到第一图像中图片元素的配置信息。例如,第一图像为水果主题的海报,计算机设备可使用自带的插件获取第一图像中水果类的图片元素的配置信息。
S104、根据第一图像中图片元素的配置信息和目标图片元素集合对第一图像进行处理得到第二图像。
在具体实现中,计算机设备可根据第一图像中图片元素的配置信息和目标图片元素集合对第一图像进行替换或者覆盖处理,得到第二图像。
在一个实施例中,若目标图片元素集合中存在多个目标图片元素,第一图像中只有一个图片元素,则计算机设备可根据第一图像中图片元素的配置信息将目标图片元素集合中多个目标图片元素分别替换或者覆盖第一图像中的图片元素,得到多个第二图像。在具体实现中,计算机设备可将目标图片元素集合中每个目标图片元素的尺寸调整为第一图像中图片元素的尺寸大小,并将调整后的每个目标图片元素放置在第一图像中图片元素的位置处,得到至少一个第二图像。
在另一个实施例中,若目标图片元素集合中存在多个目标图片元素,第一图像中同样存在多张图片元素。由于在第一图像中有些图片元素与目标主题相关,可将与目标主题相关的图片元素保留,因此计算机设备可只将与目标主题无关的图片元素替换或者覆盖。在具体实现中,计算机设备可根据与目标主题无关的图片元素的配置信息和目标图片元素集合中的多个目标图片元素对第一图像进行处理,得到至少一个第二图像。其中,多个目标图片元素取代或者替换第一图像中的与目标主题无关的图片元素可参见上述目标图片元素集合中存在多个目标图片元素,第一图像中只有一个图片元素,得到多个第二图像的实现流程,在此不再赘述。
在另一个实施例中,如果目标图片元素集合包括的目标图片元素数量与第一图像中图片元素的数量相同,则根据第一图像中图片元素的配置信息和目标图片元素集合对第一图像进行处理得到第二图像,可以包括:针对第一图像中的任意一个图片元素,计算机设备从多个目标图片元素中选取一个尺寸信息与该图片元素大小相似,或者尺寸差不超过某个阈值的目标图片元素,来替换第一图像的该图片元素;具体地,可以将目标图片元素的尺寸调整为与其具有相似尺寸的图片元素的尺寸,并采用调整尺寸后的目标图片元素替换对应的图片元素。以此类推,实现使用多个目标图片元素将第一图像中各个图片元素进行替换,得到一个或多个第二图像。
例如,目标图片元素集合中2个目标图片元素,分别为目标图片元素1和目标图片元素2;第一图像中2个图片元素,分别为图片元素1和图片元素2;如果目标图片元素1的尺寸与为第一图像中图片元素2的尺寸相近,目标图片元素2的尺寸与第一图像中图片元素1的尺寸相近,则可以使用目标图片元素1替换第一图像中的图像元素2,并使用目标图片元素1替换第一图像中的图片元素2,被替换的第一图像变成了第二图像。
再例如,计算机设备根据步骤S101-S103确定的与目标主题“日料”对应的目标图片元素集合,该目标图片元素集合中包括7个目标图片元素,这个7个目标图片元素,分别与第一图像中7个“水果”图片元素的尺寸相近,可将该7个目标图片元素分别按照7个“水果”图片元素的尺寸进行调整,并将调整后的7个目标图片元素放置在对应的7个“水果”图片元素的位置处,得到第二图像。其中,将调整后的7个目标图片元素放置在对应的7个“水果”图片元素的位置处,得到第二图像的效果如图2e所示。
在一个实施例中,为了保证得到更加优质的第二图像,计算机设备可以将根据所述第一图像中图片元素的配置信息和所述目标图片元素集合对所述第一图像进行处理,得到的图像作为中间图像,进一步的,根据第一图像中的图片元素和每个目标图片元素之间的明暗度差对至少一个中间图像中的每个中间图像进行调整,得到至少一个第二图像。其中,对每个中间图像进行调整包括对中间图像的背颜色、字体颜色等进行调整。
在一个实施例中,当得到多个第二图像时,可通过对多个第二图像进行打分,并选取分数更高的第二图像作为最终的第二图像。在具体实现中,可通过人工对每个第二图像进行打分,然后计算机设备获取每个第二图像的分数,并输出分数最高的第二图像。或者通过图像质量分析接口直接对每个第二图像进行打分,并输出分数最高的第二图像。
在本申请实施例中,计算机设备获取目标主题,并提取目标主题对应的目标关键词;然后根据目标关键词获取目标主题对应的目标图片元素集合,无需人工选取目标主题对应的目标图片元素集合,实现了图片元素获取的自动化,以及高效性;进一步地,计算机设备可根据第一图像中图片元素的配置信息和目标图片元素集合对第一图像进行处理得到第二图像,可以自动替换原有的图像,得到满足用户需求的新图像,同时还可缩短生成新图像的时间。
请参阅图3,图3为本发明实施例提供的一种图像处理方法的流程示意图。该方法可由计算机设备执行,本实施例中所描述的图像处理方法,包括以下步骤S301-S305:
S301、获取目标主题对应的目标关键词。
在一个实施例中,步骤S301包括的一些可行实施方式可参见图1实施例中相关步骤的描述,在此不再赘述。
S302、从词向量库中查找与目标关键词相匹配的目标关联词。
在一个实施例中,为了能够得到更多与目标主题匹配的目标图片元素,计算机设备可在确定了目标主题对应的目标关键词后,可通过步骤S302从词向量库中查找与目标关键词相匹配的目标关联词,然后通过步骤S303基于目标关联词和目标关键词从图片元素库中获取目标图片元素集合。
在一个实施例中,计算机设备可采用余弦相似性算法进行计算词向量库中每个关联词与目标关键词的相似度。具体实现中:对所述目标关键词进行编码处理得到目标向量,以及对至少一个关联词中每个关联词进行编码处理,得到相应关联词对应的参考向量;计算目标向量与每个关联词对应的参考向量之间的相似度;将相似度大于相似阈值的参考向量对应的关联词作为目标关键词相匹配的目标关联词。
其中,相似度阈值可以根据实际需求设置,该相似度阈值可以控制确定出的目标关联词的数量,进而目标关联词的数量可以控制确定出的目标图片元素集合中目标图片元素的数量。具体地,相似度阈值设置的越小,从词向量库中确定出的目标关联词的数量越多,那么根据目标关联词和目标关键词确定出的目标图片元素的数量可能越多;反之,相似度阈值设置的越大,从词向量库中确定出的目标关联词的数量越少,那么根据目标关联词和目标关键词确定出的目标图片元素的数量可能越少。
例如,目标关键词为兴高采烈、狂奔和自然语言处理,计算机设备可根据这三个目标关键词分别与词向量库中每个关联词计算相似度,最终选取如表1所示的与这三/个目标关键词相匹配的目标关联词。
表1
Figure BDA0002932719450000101
S303、根据目标关联词和目标关键词获取目标主题对应的目标图片元素集合。
在具体实现中,计算机设备可分别利用目标关联词和目标关键词从图片元素库中获取目标主题对应的目标图片元素。其中,图片元素库可以是存储在计算机设备本地的,也可以是计算机设备从其他设备中获取的,图片元素库中包括多个图片元素,每个图片元素对应一个或多个标签,参见图4,为本发明实施例提供的一种图片元素库的示意图。
在获取到目标图片元素之后,由于可能根据目标关联词与目标关键词获取到相同的目标图片元素,因此,计算机设备可以将获取到的目标图片元素进行去重,然后将去重处理后的目标图片元素存储到目标图片元素集合中。
在一个实施例中,该图片元素库可以通过以下任意一种或多种方式生成的:
(1)该图片元素库可由人工将多个图片元素进行分类整理,并根据多个图片元素的分类结果分别为每个图片元素设置标签后得到的。其中,每个图片元素对应的标签指示相应图片元素所属的类别。该标签还可理解为图片元素所包含的内容。在具体实现中,在对该多个图片元素进行分类时,由于该多个图片元素中每个图片元素可以属于不同的元素类别,因此可以人工针对每个图片元素都设置一个或者多个标签。例如,一张图片元素中包括的内容为三文鱼寿司,三文鱼寿司可以属于寿司、日料、三文鱼,则该图片元素可设置三种标签,即寿司、日料、三文鱼。
(2)为了减少人工对多个图片元素设置标签的时间,还可利用机器学习为多个图片元素中每个图片元素设置标签。在具体实现中,可获取大量的样本,每个样本为一张图片元素以及对应标注的标签。然后根据大量的样本预先训练一个神经网络,后面可基于训练好的神经网络对图片元素设置标签。
(3)计算机设备可调用图像标签接口(Application Programming Interface,API),然后获取针对图片元素的所有标签和分类情况,并对该图片元素的所有标签进行去重处理,得到该图片元素的去重后的标签,作为该图片元素的标签。计算机设备调用图像标签接口获取针对图片元素的所有标签的返回结果为:
Figure BDA0002932719450000111
在一个实施例中,在得到每个图片元素的一个或多个标签之后,可对每个图片元素包括的标签设置置信度,该标签对应的置信度用于指示图片元素属于该标签所指示的元素类别的概率。例如,上述计算机设备调用图像标签接口获取针对图片元素的所有标签的返回结果中还包括了每个标签对应的置信度。
进一步地,计算机设备分别利用目标关联词和目标关键词从目标图片素材库中获取目标主题对应的目标图片元素集合的具体实现方式为:(1)计算机设备获取图片元素库,其中,图片元素库包括至少一个图片元素,该至少一个图片元素中每个图片元素对应一个标签集合,该一个标签集合包括至少一个标签。每个标签对应一个置信度。计算机设备将目标关联词和目标关键词,分别与每个图片元素对应的标签集合进行匹配,在至少一个图片元素中,将标签集合中存在匹配标签的图片元素作为候选图片元素,并将该候选图片元素存入候选图片元素集合。需要说明的是,该匹配图片元素为图片元素库中的任意一个,方式(1)中是指计算机设备先确定出一张图片元素后,再该图片元素的标签中是否与目标关联词和目标关键词中至少一种匹配的标签。
(2)计算机设备确定与目标关联词和目标关键词中至少一个匹配的目标标签集合;其中,目标标签集合包含一个或多个匹配标签;将目标标签集合中每个匹配标签对应的图片元素作为候选图片元素,并存入候选图片元素集合;需要说明的是,方式(2)中是指计算机设备先找出与目标关联词和目标关键词中至少一个匹配的目标标签集合,然后在根据匹配标签确定出候选图片元素。
其中,匹配标签是指与目标关联词匹配且置信度大于第一置信度阈值的标签,或者匹配标签是指与目标关键词匹配且置信度大于第二置信度的标签;或者匹配标签是指与目标关联词匹配且置信度大于第一置信度阈值的标签,以及与目标关键词匹配且置信度大于第二置信度的标签;然后计算机设备从候选图片元素集合中获取目标主题对应的目标图片元素集合。其中,第一置信度和第二置信度可根据需求设置,且第一置信度和第二置信度可以相同,也可以不同。
其中,计算机设备可从候选图片元素集合中选取目标主题对应的目标图片元素集合的具体实现方式为:
(1)计算机设备可将候选图片元素集合直接作为目标主题对应的目标图片集合。
(2)计算机设备可获取从候选图片元素集合中每个候选图片元素对应的匹配标签的标签数量。在一个实施例中,计算机设备根据候选图片元素集合中,每个候选图片元素对应的匹配标签的标签数量大于数量阈值的候选图片元素作为目标图片元素,并将该目标图片元素确定为目标主题对应的目标图片元素集合。在另一个实施例中,当候选图片元素集合中的候选图片元素较多时,计算机设备可按照每个候选图片元素对应的匹配标签的标签数量由高到低对候选图片元素集合中至少一个候选图片元素进行排序,并从排序后的候选图片元素集合中选取前N个候选图片元素作为目标图片元素,并根据目标图片元素得到目标主题对应的目标图片元素集合,N为大于等于1的整数。
(3)计算机设备可基于每个候选图片元素的匹配标签的标签数量和置信度中任意一个或多个,从候选图片元素集合中获取目标主题对应的目标图片元素集合。在具体实现中,计算机设备可比较候选图片元素集合中每个候选图片元素对应的匹配标签,若任一候选图片元素对应的匹配标签与候选图片元素集合中其他候选图片元素的匹配标签均不相同,则将该任一候选图片元素选择作为一个目标图片元素,并将该任一候选图片从候选图片元素集合中删除以更新候选图片元素集合,若更新后的候选图片元素集合为空,则将上述选取的各个目标图片元素存入目标主题对应的目标图片元素集合中,从而可以选择比较具有新颖性图片元素作为目标图片元素。
例如,候选图片元素集合中包括3个候选图片元素,分别为候选图片元素1、候选图片元素2、候选图片元素3;其中,候选图片元素1的匹配标签为苹果、梨;候选图片元素2的匹配标签为水果、香蕉;候选图片元素3的匹配标签为水果;计算机设备将候选图片元素1的匹配标签为苹果、梨与候选图片元素2的匹配标签为水果、香蕉进行比较,然后计算机设备将候选图片元素1的匹配标签为苹果、梨与候选图片元素3的匹配标签为苹果进行比较,计算机设备可确定该候选图片元素1的匹配标签与候选图片元素2、候选图片元素3的匹配标签均不相同,然后将候选图片1作为一个目标图片元素,并将候选图片元素1从候选图片元素集合中删除以更新候选图片元素集合。
然后计算机设备再将候选图片元素2的匹配标签为水果、香蕉与候选图片元素3的匹配标签为水果进行比较,计算机设备可确定候选图片元素2和候选图片元素3中存在一个重合的标签,因此不能将该候选图片元素2作为一个目标图片元素。
需要说明是,上述只是示例性的给出候选图片元素集合中包括3个候选图片元素,在候选图片元素集合中包括多个候选图片元素时,计算机设备可将候选图片元素集合中每个候选图片元素都分别与其余候选图片元素进行比较,当一个候选图片元素的匹配标签与其余候选图片元素的匹配均不相同时,将该候选图片元素作为一个目标图片元素,计算机设备将该候选图片元素从候选图片元素中删除得到更新后的候选图片元素集合。计算机设备将更新后的候选图片元素集合中每个候选图片元素的匹配标签与更新后的候选图片中其余候选图片元素的匹配标签再进行比较。以此类推,直到将候选图片元素集合中所有的候选图片元素都进行比较之后,停止比较每个候选图片元素的匹配标签。
(4)进一步地,当经过(3)后,可能存在目标图片元素的数量不够,或者计算机设备检测到更新后的候选图片元素集合还不为空时,计算机设备从上述更新后的候选图片元素集合中选取第一图片元素和第二图片元素。其中,第一图片元素和第二图片元素具有至少一个重合的匹配标签,并确定该至少一个重合的匹配标签中每个重合的匹配标签在第一图片元素中的置信度,与相应重合的匹配标签在第二图片元素中的置信度是否相同。其中:
A、如果至少一个重合的匹配标签中每个重合的匹配标签在第一图片元素中的置信度,与相应重合的匹配标签在第二图片元素中的置信度相同,则将匹配标签的标签数量较大的图片元素作为一个目标图片元素,并对更新后的候选图片元素集合进行更新,此时更新后的候选图片元素集合中不包括第一图片元素或者第二图片元素。
在具体实现中,如果至少一个重合的匹配标签中每个重合的匹配标签在第一图片元素中的置信度,与相应重合的匹配标签在第二图片元素中的置信度相同,则判断第一图片元素的匹配标签的标签数量是否大于第二图片元素的匹配标签的标签数量。若第一图片元素的匹配标签的标签数量大于第二图片元素的匹配标签的标签数量,则将第一图片元素作为目标图片元素,并将该第一图片从更新后的候选图片元素集合中删除,从而实现对更新后的候选图片元素集合的再次更新;若第一图片元素的匹配标签的标签数量小于第二图片元素的匹配标签的标签数量,则将第二图片元素作为目标图片元素,并将该第二图片从更新后的候选图片元素集合中删除,从而实现对更新后的候选图片元素集合的再次更新。
例如,在上述(3)中更新后的候选图片元素集合不为空,其中,候选图片元素2(即第一图片元素)和候选图片元素3(即第二图片元素)中有一个重合的匹配标签为水果;假设匹配标签为水果在候选图片元素2的置信度是85,匹配标签为水果在候选图片元素3的置信度是85。则计算机设备可确定匹配标签为水果在候选图片元素2和候选图片元素3中的置信度相同,计算机设备进一步确定候选图片元素2的匹配标签的数量为2,候选图片元素3的匹配标签的数量为1。计算机设备确定候选图片元素2的匹配标签的数量大于候选图片元素3的匹配标签的数量,并将候选图片元素2作为目标图片元素,然后将候选图片元素2从更新后的候选图片元素集合中删除以对更新后的候选图片元素集合再次更新。
B、如果至少一个重合的匹配标签中存在任一重合的匹配标签在第一图片元素中的第一置信度和任一重合的匹配标签在第二图片元素中的第二置信度不同,则将置信度较大者对应的候选图片元素作为目标图片元素。在具体实现中,若第一置信度大于第二置信度,则将第一图片元素作为一个目标图片元素,并将该第一图片元素从更新后的候选图片元素集合中删除,从而实现对更新后的候选图片元素集合的再次更新;若第一置信度小于第二置信度,则将第二图片元素作为一个目标图片元素,并将该第二图片从更新后的候选图片元素集合中删除,从而实现对更新后的候选图片元素集合的再次更新,并将上述选取的各个目标图片元素存入目标主题对应的目标图片元素集合中。
例如,在上述(3)中候选图片元素2(即第一图片元素)和候选图片元素3(即第二图片元素)中有一个重合的匹配标签为水果;假设匹配标签为水果在候选图片元素2的第一置信度是80,匹配标签为水果在候选图片元素3的第二置信度是85。计算机设备确定第一置信度小于第二置信度,并将候选图片元素3作为目标图片元素,然后将候选图片元素3从更新后的候选图片元素集合中删除以对更新后的候选图片元素集合再次更新。
(4)在候选图片元素集合中可能存在至少一个重合的匹配标签的候选图片元素,和完全不存在重合的匹配标签的候选图片元素。在这种情况下,计算机设备将候选图片元素集合拆分得到第一类候选图片元素子集和第二类候选图片元素子集;其中,针对第一类候选图片元素子集中任一第一候选图片元素,在候选图片元素集合中,存在与任一第一候选图片元素的匹配标签重合的候选图片元素,即这里理解为任一第一候选图片元素在候选图片元素集合中都能够找到与该任一第一候选图片元素具有重合标签的候选图片元素;针对第二类候选图片元素子集中任一第二候选图片元素,在候选图片元素集合中,不存在与任一第二候选图片元素的匹配标签重合的候选图片元素;即这里可理解为任一第二候选图片元素在候选图片元素集合中无法找到与该任一第二候选图片元素具有至少一个重合的匹配标签。具体实现中,计算机设备可将候选图片元素集合中任一候选图片元素的匹配标签与其余候选图片元素的匹配标签进行对比,当该任一候选图片元素的匹配标签与该任一候选图片元素的匹配标签具有至少一个重合时,将该任一候选图片元素放入第一类候选图片元素子集;当该任一候选图片元素的匹配标签与该任一候选图片元素的匹配标签均不相同,将该任一候选图片元素放入第二类候选图片元素子集。
例如,候选图片元素集合中包括3个候选图片元素,分别为候选图片元素1、候选图片元素2、候选图片元素3;其中,候选图片元素1的匹配标签为苹果、梨;候选图片元素2的匹配标签为水果、香蕉;候选图片元素3的匹配标签为水果;计算机设备分别将候选图片元素1的匹配标签与候选图片元素2和候选图片元素3的匹配标签进行对比。该候选图片元素1的匹配标签均与候选图片元素2和候选图片元素3的匹配标签不相同,将候选图片元素1放入第二类候选图片元素子集中;然后将候选图片元素2的匹配标签与候选图片元素3的匹配标签进行对比。该候选图片元素2的匹配标签与候选图片元素3的匹配标签有一个重合,将该候选图片元素2放入第一类候选图片元素子集。
进一步地,计算机设备获取第一类候选图片元素子集中对应的至少一个图片元素对,每个图片元素对中包括的两个第一候选图片元素具有至少一个重合的匹配标签;
然后基于每个第一候选图片元素对应的匹配标签的标签数量和置信度,对至少一个图片元素对中每个图片元素对进行筛选处理,得到每个图片元素对集合对应的目标候选图片元素。
在具体实现中,计算机设备对第一类候选图片元素子集中的每一个第一候选图片元素对应的标签集合进行两两匹配,并将标签集合中存在至少一个重合的匹配标签的两个第一候选图片元素记为一个图片元素对,并将一个图片元素对中的两个第一候选图片元素分别记为第一图片元素和第二图片元素。例如,第一候选图片元素子集中包括候选图片元素2和候选图片元素3,候选图片元素2的匹配标签为水果、香蕉;候选图片元素3的匹配标签为水果;计算机设备将候选图片元素2与候选图片3进行匹配,该候选图片元素2和选图片元素3有一个重合的匹配标签为水果,计算机设备将候选图片元素2和候选图片元素3记为图片元素对,即候选图片元素2可记为第一图片元素,候选图片元素3可记为第二图片元素。
然后在任意一个图片元素对中,判断至少一个重合的匹配标签中每个重合的匹配标签在第一图片元素中的置信度,与相应重合的匹配标签在第二图片元素中的置信度是否相同;若至少一个重合的匹配标签中每个重合的匹配标签在第一图片元素中的置信度,与相应重合的匹配标签在第二图片元素中的置信度相同,则比较第一图片元素的匹配标签的标签数量和第二图片元素的匹配标签的标签数量,并将匹配标签的标签数量较大的图片元素作为任一图片元素对的目标候选图片元素;如果至少一个重合的匹配标签中存在任一重合的匹配标签在第一图片元素中的第一置信度和任一重合的匹配标签在第二图片元素中的第二置信度不同,则将第一置信度和第二置信度中较大者对应的候选图片元素作为任一图片元素对的目标候选图片元素。
在具体实现中,计算机设备针对图片元素对1,判断该图片元素对1中的第一图片元素和第二图片元素中至少一个重合的匹配标签的置信度是否相同。若该图片元素对1中的第一图片元素和第二图片元素中至少一个重合的匹配标签的置信度相同,则进一步可以比较第一图片元素的匹配标签的标签数量和第二图片元素的匹配标签的标签数量,若第一图片元素的匹配标签的标签数量大于第二图片元素的匹配标签的标签数量,则将第一图片元素作为该图片元素对1的目标候选图片元素;若第一图片元素的匹配标签的标签数量小于第二图片元素的匹配标签的标签数量,则将第二图片元素作为该图片元素对1的目标候选图片元素。
例如,图片元素对1中包括第一图片元素和第二图片元素;第一图片元素的匹配标签为寿司和三文鱼;第二图片元素的匹配标签为寿司;其中,第一图片元素和第二图片元素有一个重合的匹配标签为寿司,且寿司的置信度均为90;此时计算机设备比较第一图片元素的匹配标签的标签数量和第二图片元素的匹配标签的标签数量。第一图片元素的匹配标签的标签数量2,大于第二图片元素的匹配标签的标签数量1,则将第一图片元素作为图片元素对1的目标候选图片元素。
若该图片元素对1中的第一图片元素和第二图片元素中至少一个重合的匹配标签的置信度不同,此时将置信度较大的候选图片元素作为该图片元素对1的目标候选图片元素。例如,图片元素对1中包括第一图片元素和第二图片元素;第一图片元素的匹配标签为寿司和三文鱼;第二图片元素的匹配标签为寿司;其中,第一图片元素和第二图片元素有一个重合的匹配标签为寿司,且在第一图片元素中寿司的置信度为90,在第二图片元素中寿司的置信度为95,此时,第一图片元素中寿司的置信度小于第二图片元素中寿司的置信度,计算机设备将第二图片元素作为图片元素对1的目标候选图片元素。
需要说明的是,上述仅仅示例性的给出候选图片元素集合包括第一图片元素和第二图片元素,当候选图片元素集合包括至少三个图片元素时,可按照上述候选图片元素集合包括第一图片元素和第二图片元素的具体实现方式来实现。
然后,在得到每个图片元素对的目标候选图片元素之后,需要将每个图片元素对的目标候选图片元素进行去重处理,并根据去重处理结果和第二类候选图片元素子集得到目标图片元素集合,从而可以保证整个目标图片元素集合中不存在相同的目标图片元素,即每一张目标图片元素均不同。
S304、获取第一图像以及第一图像中图片元素的配置信息;
S305、根据第一图像中图片元素的配置信息和目标图片元素集合对第一图像进行处理得到第二图像。
其中,步骤S304-S305的具体实现方式可参见上述实施例步骤S103-S104,在此不再赘述。
在本申请实施例中,计算机设备可确定与目标关键词相匹配的目标关联词,并根据目标关键词与目标关联词获取目标主题对应的目标图片元素集合,从而可以获取较多的与目标主题对应的图片元素的同时,可缩短选取图片元素的时间,并可按照需求等从较多的与目标主题对应的图片元素中选取更优质的目标图片元素,以保证根据第一图像中图片元素的配置信息和目标图片元素集合对第一图像进行处理得到第二图像的质量。
基于上述提供的图像处理方法,本申请实施例还提供一种更为具体的图像处理方案,具体流程可参见图5所示。计算机设备可读取第一图像中的图片元素,并根据用户输入的目标主题确定目标主题的目标关键词,并利用词向量技术对该目标关键词进行扩展,得到与目标关联词匹配的目标关联词。然后计算机设备可从预先处理好的素材库(对应上述图片元素库)中匹配与目标关键词和目标关联词一致的素材(对应上述目标图片元素);并将匹配到的素材替换第一图像中的图片元素,得到第二图像,并输出第二图像。其中,可设置辅助流程,该辅助流程是指预先处理好的素材库:计算机设备可将大量图片素材根据图片素材的内容进行整理分类,并为图片素材设置标签,同时也对标签设置置信度。例如该标签与标签的置信度可标注为(标签,置信度);例如某张图片素材可标记为((塔楼,81),(夜晚,79))。
通过上述图像处理方法和图像处理方案可避免设计师对不同的主题需要重复设计图像,极大地节约了设计成本,并且根据主题自动替换设计图上的素材可以有效的利用素材库中的素材,极大地节约挑选素材的时间成本,提高素材的复用率。通过减少对设计图转换主题的环节,也可极大地提高了运营人员的效率。
进一步的,请参见图6,其是本申请实施例提供的一种图像处理装置的结构示意图。如图6所示,图像处理装置可以应用于上述图1或图3对应实施例中的计算机设备,具体的,图像处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如图像处理装置为一个应用软件;该图像处理装置可以用于执行本申请实施例提供的方法中的相应步骤。
获取模块601,用于获取目标主题对应的目标关键词;
所述获取模块601,还用于根据所述目标关键词获取所述目标主题对应的目标图片元素集合;
所述获取模块601,还用于获取第一图像以及所述第一图像中图片元素的配置信息;
处理模块602,用于根据所述第一图像中图片元素的配置信息和所述目标图片元素集合对所述第一图像进行处理得到第二图像。
在一个实施例中,所述处理模块602,用于从词向量库中查找与所述目标关键词相匹配的目标关联词;
所述获取模块601,用于根据所述目标关联词和所述目标关键词获取所述目标主题对应的目标图片元素集合。
在一个实施例中,所述词向量库包括至少一个关联词;所述处理模块602,具体用于:
对所述目标关键词进行编码处理得到目标向量,以及对所述至少一个关联词中每个关联词进行编码处理,得到相应关联词对应的参考向量;
计算所述目标向量与所述每个关联词对应的参考向量之间的相似度;
将相似度大于相似阈值的参考向量对应的关联词作为所述目标关键词相匹配的目标关联词。
在一个实施例中,所述获取模块601,具体用于:
获取图片元素库;所述图片元素库包括至少一个图片元素,所述至少一个图片元素中每个图片元素对应一个标签集合,一个标签集合包括至少一个标签,每个标签对应一个置信度;任一图片元素的任一标签用于指示所述任一图片元素所属元素类别,所述任一标签对应的置信度用于指示所述任一图片元素属于所述任一标签所指示的元素类别的概率;
将所述目标关联词和所述目标关键词,分别与所述每个图片元素对应的标签集合进行匹配;
在所述至少一个图片元素中,将标签集合中存在匹配标签的图片元素作为候选图片元素,并将所述候选图片元素存入候选图片元素集合;
从所述候选图片元素集合中获取所述目标主题对应的目标图片元素集合;
所述匹配标签是指以下至少一种:与所述目标关联词匹配且置信度大于第一置信度阈值的标签;以及与所述目标关键词匹配且置信度大于第二置信度的标签。
在一个实施例中,所述获取模块601,具体用于:
获取所述候选图片元素集合中,每个候选图片元素对应的匹配标签的标签数量;
基于所述每个候选图片元素对应的匹配标签的标签数量和置信度中任意一个或多个,从所述候选图片元素集合中获取所述目标主题对应的目标图片元素集合。
在一个实施例中,所述获取模块601,具体用于:
所述每个候选图片元素对应的匹配标签的标签数量,选取所述候选图片元素集合中,匹配标签的标签数量大于数量阈值的候选图片元素作为目标图片元素,并根据所述目标图片元素得到所述目标主题对应的目标图片元素集合;
或者
按照所述每个候选图片元素对应的匹配标签的标签数量由高到低对所述候选图片元素集合中所述至少一个候选图片元素进行排序,并从排序后的候选图片元素集合中选取前N个候选图片元素作为目标图片元素,并根据所述目标图片元素得到所述目标主题对应的目标图片元素集合,N为大于等于1的整数。
在一个实施例中,所述获取模块601,具体用于:
将所述候选图片元素集合拆分得到第一类候选图片元素子集和第二类候选图片元素子集;针对所述第一类候选图片元素子集中任一第一候选图片元素,在所述候选图片元素集合中,存在与所述任一第一候选图片元素的匹配标签重合的候选图片元素;针对所述第二类候选图片元素子集中任一第二候选图片元素,在所述候选图片元素集合中,不存在与所述任一第二候选图片元素的匹配标签重合的候选图片元素;
获取所述第一类候选图片元素子集对应的至少一个图片元素对,每个图片元素对包括的两个第一候选图片元素具有至少一个重合的匹配标签;
基于所述每个第一候选图片元素对应的匹配标签的标签数量和置信度,对所述至少一个图片元素对中每个图片元素对进行筛选处理,得到每个图片元素对的目标候选图片元素;
将所述每个图片元素对的目标候选图片元素进行去重处理,并根据去重处理结果和所述第二类候选图片元素子集得到目标图片元素集合。
在一个实施例中,所述处理模块602,还用于:
对所述第一类候选图片元素子集中的每一个第一候选图片元素对应的标签集合进行两两匹配,并将标签集合中存在至少一个重合的匹配标签的两个第一候选图片元素记为一个图片元素对,将一个图片元素对中的两个第一候选图片元素分别记为第一图片元素和第二图片元素;
所述处理模块602,具体用于:在任一图片元素对中,如果所述至少一个重合的匹配标签中每个重合的匹配标签在所述第一图片元素中的置信度,与相应重合的匹配标签在所述第二图片元素中的置信度相同,则将匹配标签的标签数量较大的图片元素作为所述任一图片元素对的目标候选图片元素;
如果所述至少一个重合的匹配标签中存在任一重合的匹配标签在所述第一图片元素中的第一置信度和所述任一重合的匹配标签在所述第二图片元素中的第二置信度不同,则将所述第一置信度和所述第二置信度中较大者对应的候选图片元素作为所述任一图片元素对的目标候选图片元素。
在一个实施例中,所述第二图像的数量为至少一个,所述第一图像中图片元素的配置信息包括所述第一图像中图片元素所在图层,以及所述第一图像中图片元素在所述图层中的尺寸信息和位置信息;所述处理模块602,具体用于:
将所述目标图片元素集合中每个目标图片元素的尺寸调整为所述尺寸信息所指示的尺寸;
将调整后的每个目标图片元素放置在所述位置信息所指示的位置处,得到至少一个第二图像。
在一个实施例中,所述处理模块602,具体用于:
将调整后的任一目标图片元素放置在所述位置信息所指示的位置处,得到至少一个中间图像;
根据所述第一图像中的图片元素和所述每个目标图片元素之间的明暗度差对所述至少一个中间图像中的每个中间图像进行调整,得到至少一个第二图像。
可以理解的是,本实施例的图像处理装置的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例图1或者图3的相关描述,此处不再赘述。
进一步地,请参见图7,图7是本申请实施例提供的一种计算机设备的结构示意图。上述图1或图3对应实施例中的计算机设备可以为图7所示的计算机设备。如图7所示,计算机设备可以包括:处理器701、输入设备702,输出设备703和存储器704。上述处理器701、输入设备702、输出设备703和存储器704通过总线705连接。存储器704用于存储计算机程序,所述计算机程序包括程序指令,处理器701用于执行存储器704存储的程序指令。
在本申请实施例中,处理器701通过运行存储器704中的可执行程序代码,执行如下操作:
获取目标主题对应的目标关键词;
根据所述目标关键词获取所述目标主题对应的目标图片元素集合;
获取第一图像以及所述第一图像中图片元素的配置信息;
根据所述第一图像中图片元素的配置信息和所述目标图片元素集合对所述第一图像进行处理得到第二图像。
在一个实施例中,所述处理器701,具体用于:
从词向量库中查找与所述目标关键词相匹配的目标关联词;
根据所述目标关联词和所述目标关键词获取所述目标主题对应的目标图片元素集合。
在一个实施例中,所述词向量库包括至少一个关联词;所述处理器701,具体用于:
对所述目标关键词进行编码处理得到目标向量,以及对所述至少一个关联词中每个关联词进行编码处理,得到相应关联词对应的参考向量;
计算所述目标向量与所述每个关联词对应的参考向量之间的相似度;
将相似度大于相似阈值的参考向量对应的关联词作为所述目标关键词相匹配的目标关联词。
在一个实施例中,所述处理器701,具体用于:
获取图片元素库;所述图片元素库包括至少一个图片元素,所述至少一个图片元素中每个图片元素对应一个标签集合,一个标签集合包括至少一个标签,每个标签对应一个置信度;任一图片元素的任一标签用于指示所述任一图片元素所属元素类别,所述任一标签对应的置信度用于指示所述任一图片元素属于所述任一标签所指示的元素类别的概率;
将所述目标关联词和所述目标关键词,分别与所述每个图片元素对应的标签集合进行匹配;
在所述至少一个图片元素中,将标签集合中存在匹配标签的图片元素作为候选图片元素,并将所述候选图片元素存入候选图片元素集合;
从所述候选图片元素集合中获取所述目标主题对应的目标图片元素集合;
所述匹配标签是指以下至少一种:与所述目标关联词匹配且置信度大于第一置信度阈值的标签;以及与所述目标关键词匹配且置信度大于第二置信度的标签。
在一个实施例中,所述处理器701,具体用于:
获取所述候选图片元素集合中,每个候选图片元素对应的匹配标签的标签数量;
基于所述每个候选图片元素对应的匹配标签的标签数量和置信度中任意一个或多个,从所述候选图片元素集合中获取所述目标主题对应的目标图片元素集合。
在一个实施例中,所述处理器701,具体用于:
根据所述每个候选图片元素对应的匹配标签的标签数量,选取所述候选图片元素集合中,匹配标签的标签数量大于数量阈值的候选图片元素作为目标图片元素,并根据所述目标图片元素得到所述目标主题对应的目标图片元素集合;
或者
按照所述每个候选图片元素对应的匹配标签的标签数量由高到低对所述候选图片元素集合中所述至少一个候选图片元素进行排序,并从排序后的候选图片元素集合中选取前N个候选图片元素作为目标图片元素,并根据所述目标图片元素得到所述目标主题对应的目标图片元素集合,N为大于等于1的整数。
在一个实施例中,所述处理器701,具体用于:
将所述候选图片元素集合拆分得到第一类候选图片元素子集和第二类候选图片元素子集;针对所述第一类候选图片元素子集中任一第一候选图片元素,在所述候选图片元素集合中,存在与所述任一第一候选图片元素的匹配标签重合的候选图片元素;针对所述第二类候选图片元素子集中任一第二候选图片元素,在所述候选图片元素集合中,不存在与所述任一第二候选图片元素的匹配标签重合的候选图片元素;
获取所述第一类候选图片元素子集对应的至少一个图片元素对,每个图片元素对包括的两个第一候选图片元素具有至少一个重合的匹配标签;
基于所述每个第一候选图片元素对应的匹配标签的标签数量和置信度,对所述至少一个图片元素对中每个图片元素对进行筛选处理,得到每个图片元素对的目标候选图片元素;
将所述每个图片元素对的目标候选图片元素进行去重处理,并根据去重处理结果和所述第二类候选图片元素子集得到目标图片元素集合。
在一个实施例中,所述处理器701,具体用于:
对所述第一类候选图片元素子集中的每一个第一候选图片元素对应的标签集合进行两两匹配,并将标签集合中存在至少一个重合的匹配标签的两个第一候选图片元素记为一个图片元素对,将一个图片元素对中的两个第一候选图片元素分别记为第一图片元素和第二图片元素;
在任一图片元素对中,如果所述至少一个重合的匹配标签中每个重合的匹配标签在所述第一图片元素中的置信度,与相应重合的匹配标签在所述第二图片元素中的置信度相同,则将匹配标签的标签数量较大的图片元素作为所述任一图片元素对的目标候选图片元素;
如果所述至少一个重合的匹配标签中存在任一重合的匹配标签在所述第一图片元素中的第一置信度和所述任一重合的匹配标签在所述第二图片元素中的第二置信度不同,则将所述第一置信度和所述第二置信度中较大者对应的候选图片元素作为所述任一图片元素对的目标候选图片元素,否则将所述第二图片元素作为所述任一图片元素对的目标候选图片元素。
在一个实施例中,所述第二图像的数量为至少一个,所述第一图像中图片元素的配置信息包括所述第一图像中图片元素所在图层,以及所述第一图像中图片元素在所述图层中的尺寸信息和位置信息;所述处理器701,具体用于:
将所述目标图片元素集合中每个目标图片元素的尺寸调整为所述尺寸信息所指示的尺寸;
将调整后的每个目标图片元素放置在所述位置信息所指示的位置处,得到至少一个第二图像。
在一个实施例中,所述处理器701,具体用于:
将调整后的任一目标图片元素放置在所述位置信息所指示的位置处,得到至少一个中间图像;
根据所述第一图像中的图片元素和所述每个目标图片元素之间的明暗度差对所述至少一个中间图像中的每个中间图像进行调整,得到至少一个第二图像。
应当理解,在本申请实施例中,所称处理器701可以是中央处理单元(CentralProcessing Unit,CPU),该处理器701还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器704可以包括只读存储器和随机存取存储器,并向处理器701提供指令和数据。存储器704的一部分还可以包括非易失性随机存取存储器。
该输入设备702可以包括键盘等,并向处理器701输入目标关键词或者目标主题;该输出设备703可以包括显示器等。
具体实现中,本申请实施例中所描述的处理器701、输入设备702、输出设备703和存储器704可执行上述所有实施例中描述的实现方式,也可执行上述装置中所描述的实现方式,在此不再赘述。
本申请实施例中提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时,可执行上述所有实施例中所执行的步骤。
本申请实施例还提供一种计算机程序产品或计算机程序,计算机程序产品或计算机程序包括计算机指令,计算机指令存储在计算机可读存储介质中,计算机指令被计算机设备的处理器执行时,执行上述所有实施例中的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所揭露的仅为本发明一种较佳实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
获取目标主题对应的目标关键词;
根据所述目标关键词获取所述目标主题对应的目标图片元素集合;
获取第一图像以及所述第一图像中图片元素的配置信息;
根据所述第一图像中图片元素的配置信息和所述目标图片元素集合对所述第一图像进行处理得到第二图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标关键词获取所述目标主题对应的目标图片元素集合,包括:
从词向量库中查找与所述目标关键词相匹配的目标关联词;
根据所述目标关联词和所述目标关键词获取所述目标主题对应的目标图片元素集合。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标关联词和所述目标关键词,获取所述目标主题对应的目标图片元素集合,包括:
获取图片元素库;所述图片元素库包括至少一个图片元素,所述至少一个图片元素中每个图片元素对应一个标签集合,一个标签集合包括至少一个标签,每个标签对应一个置信度;任一图片元素的任一标签用于指示所述任一图片元素所属元素类别,所述任一标签对应的置信度用于指示所述任一图片元素属于所述任一标签所指示的元素类别的概率;
将所述目标关联词和所述目标关键词,分别与所述每个图片元素对应的标签集合进行匹配;
在所述至少一个图片元素中,将标签集合中存在匹配标签的图片元素作为候选图片元素,并将所述候选图片元素存入候选图片元素集合;
从所述候选图片元素集合中获取所述目标主题对应的目标图片元素集合;
所述匹配标签是指以下至少一种:与所述目标关联词匹配且置信度大于第一置信度阈值的标签;以及与所述目标关键词匹配且置信度大于第二置信度的标签。
4.根据权利要求3所述的方法,其特征在于,所述从所述候选图片元素集合中获取所述目标主题对应的目标图片元素集合,包括:
获取所述候选图片元素集合中,每个候选图片元素对应的匹配标签的标签数量;
基于所述每个候选图片元素对应的匹配标签的标签数量和置信度中任意一个或多个,从所述候选图片元素集合中获取所述目标主题对应的目标图片元素集合。
5.根据权利要求4所述的方法,其特征在于,所述基于所述每个候选图片元素对应的匹配标签的标签数量和置信度中任意一个或多个,从所述候选图片元素集合中获取所述目标主题对应的目标图片元素集合,包括:
根据所述每个候选图片元素对应的匹配标签的标签数量,选取所述候选图片元素集合中,匹配标签的标签数量大于数量阈值的候选图片元素作为目标图片元素,并根据所述目标图片元素得到所述目标主题对应的目标图片元素集合;
或者
按照所述每个候选图片元素对应的匹配标签的标签数量由高到低对所述候选图片元素集合中所述至少一个候选图片元素进行排序,并从排序后的候选图片元素集合中选取前N个候选图片元素作为目标图片元素,并根据所述目标图片元素得到所述目标主题对应的目标图片元素集合,N为大于等于1的整数。
6.根据权利要求4所述的方法,其特征在于,所述基于所述每个候选图片元素对应的匹配标签的标签数量和置信度中任意一个或多个,从所述候选图片元素集合中获取所述目标主题对应的目标图片元素集合,包括:
将所述候选图片元素集合拆分得到第一类候选图片元素子集和第二类候选图片元素子集;针对所述第一类候选图片元素子集中任一第一候选图片元素,在所述候选图片元素集合中,存在与所述任一第一候选图片元素的匹配标签重合的候选图片元素;针对所述第二类候选图片元素子集中任一第二候选图片元素,在所述候选图片元素集合中,不存在与所述任一第二候选图片元素的匹配标签重合的候选图片元素;
获取所述第一类候选图片元素子集对应的至少一个图片元素对,每个图片元素对包括的两个第一候选图片元素具有至少一个重合的匹配标签;
基于所述每个第一候选图片元素对应的匹配标签的标签数量和置信度,对所述至少一个图片元素对中每个图片元素对进行筛选处理,得到所述每个图片元素对的目标候选图片元素;
将所述每个图片元素对的目标候选图片元素进行去重处理,并根据去重处理结果和所述第二类候选图片元素子集得到目标图片元素集合。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
对所述第一类候选图片元素子集中的每一个第一候选图片元素对应的标签集合进行两两匹配,并将标签集合中存在至少一个重合的匹配标签的两个第一候选图片元素记为一个图片元素对,将一个图片元素对中的两个第一候选图片元素分别记为第一图片元素和第二图片元素;
所述基于所述每个第一候选图片元素对应的匹配标签的标签数量和置信度,对所述每个第一候选图片元素对应的图片元素对进行筛选处理,得到每个图片元素对的目标候选图片元素,包括:
在任一图片元素对中,如果所述至少一个重合的匹配标签中每个重合的匹配标签在所述第一图片元素中的置信度,与相应重合的匹配标签在所述第二图片元素中的置信度相同,则将匹配标签的标签数量较大的图片元素作为所述任一图片元素对的目标候选图片元素;
如果所述至少一个重合的匹配标签中存在任一重合的匹配标签在所述第一图片元素中的第一置信度和所述任一重合的匹配标签在所述第二图片元素中的第二置信度不同,则将所述第一置信度和所述第二置信度中较大者对应的候选图片元素作为所述任一图片元素对的目标候选图片元素。
8.根据权利要求1所述的方法,其特征在于,所述第二图像的数量为至少一个,所述第一图像中图片元素的配置信息包括所述第一图像中图片元素所在图层,以及所述第一图像中图片元素在所述图层中的尺寸信息和位置信息;所述根据所述第一图像中图片元素的配置信息和所述目标图片元素集合对所述第一图像进行处理,得到第二图像,包括:
将所述目标图片元素集合中每个目标图片元素的尺寸调整为所述尺寸信息所指示的尺寸;
将调整后的每个目标图片元素放置在所述位置信息所指示的位置处,得到至少一个第二图像。
9.根据权利要求8所述的方法,其特征在于,所述将调整后的每个目标图片元素放置在所述位置信息所指示的位置处,得到至少一个第二图像,包括:
将调整后的任一目标图片元素放置在所述位置信息所指示的位置处,得到至少一个中间图像;
根据所述第一图像中的图片元素和所述每个目标图片元素之间的明暗度差对所述至少一个中间图像中的每个中间图像进行调整,得到至少一个第二图像。
10.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时,执行权利要求1-9任一项所述的方法。
CN202110150949.XA 2021-02-03 2021-02-03 图像处理方法、装置、计算机设备和可读存储介质 Pending CN113393556A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110150949.XA CN113393556A (zh) 2021-02-03 2021-02-03 图像处理方法、装置、计算机设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110150949.XA CN113393556A (zh) 2021-02-03 2021-02-03 图像处理方法、装置、计算机设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN113393556A true CN113393556A (zh) 2021-09-14

Family

ID=77616819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110150949.XA Pending CN113393556A (zh) 2021-02-03 2021-02-03 图像处理方法、装置、计算机设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN113393556A (zh)

Similar Documents

Publication Publication Date Title
CN109117777B (zh) 生成信息的方法和装置
CN110837579B (zh) 视频分类方法、装置、计算机以及可读存储介质
US9218364B1 (en) Monitoring an any-image labeling engine
US9037600B1 (en) Any-image labeling engine
US8577882B2 (en) Method and system for searching multilingual documents
CN111881307A (zh) 一种演示文稿生成方法、装置、计算机设备及存储介质
CN111582409A (zh) 图像标签分类网络的训练方法、图像标签分类方法及设备
CN113434716B (zh) 一种跨模态信息检索方法和装置
KR20080063480A (ko) 의미론적 시각 검색 엔진
KR20200087977A (ko) 멀티모달 문서 요약 시스템 및 방법
CN111027622B (zh) 图片标签生成方法、装置、计算机设备及存储介质
CN111639228B (zh) 视频检索方法、装置、设备及存储介质
CN113590854A (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN113704623B (zh) 一种数据推荐方法、装置、设备及存储介质
CN116975340A (zh) 信息检索方法、装置、设备、程序产品及存储介质
CN111241309A (zh) 多媒体资源搜索方法、装置及存储介质
CN114282019A (zh) 目标多媒体数据查找方法、装置、计算机设备、存储介质
CN113821663A (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN115935049A (zh) 基于人工智能的推荐处理方法、装置及电子设备
CN114741550B (zh) 图像搜索方法、装置、电子设备和计算机可读存储介质
CN111797765B (zh) 图像处理方法、装置、服务器及存储介质
CN116010545A (zh) 一种数据处理方法、装置及设备
CN113393556A (zh) 图像处理方法、装置、计算机设备和可读存储介质
CN114511741A (zh) 图像的识别方法、装置、设备、存储介质及程序产品
CN113869043A (zh) 内容标注方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40051767

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination