CN110930325B - 基于人工智能的图像处理方法、装置及存储介质 - Google Patents

基于人工智能的图像处理方法、装置及存储介质 Download PDF

Info

Publication number
CN110930325B
CN110930325B CN201911120924.4A CN201911120924A CN110930325B CN 110930325 B CN110930325 B CN 110930325B CN 201911120924 A CN201911120924 A CN 201911120924A CN 110930325 B CN110930325 B CN 110930325B
Authority
CN
China
Prior art keywords
special effect
media file
image
frame data
target media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911120924.4A
Other languages
English (en)
Other versions
CN110930325A (zh
Inventor
朱海波
陈仁健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911120924.4A priority Critical patent/CN110930325B/zh
Publication of CN110930325A publication Critical patent/CN110930325A/zh
Application granted granted Critical
Publication of CN110930325B publication Critical patent/CN110930325B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种基于人工智能的图像处理方法、装置及存储介质。其中,方法包括:获取目标媒体文件;呈现对应目标媒体文件的图像编辑页面,图像编辑页面中包括对目标媒体文件进行解码得到的图像帧数据;响应于基于图像编辑页面触发的图像编辑指令,获取并呈现用于图像特效处理的视频模板,视频模板中至少包括用于对图像进行高光特效的特效参数,以及响应于图像编辑指令,从图像编辑指令中提取待进行高光特效的图像对应的特效时段;响应于基于视频模板触发的图像特效处理指令,基于特效参数,对特效时段内的目标媒体文件的图像帧数据进行高光特效处理,以生成特效媒体文件。通过本发明,能够提高针对图像进行高光特效的质量及效果。

Description

基于人工智能的图像处理方法、装置及存储介质
技术领域
本发明涉及人工智能(AI,Artificial Intelligence)和区块链技术,尤其涉及一种基于人工智能的图像处理方法、装置及存储介质。
背景技术
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。人工智能技术现如今已得到快速发展,并广泛应用于各种行业,例如应用于图像处理领域。
目前,相关技术中,对于图像素材为视频,或者图像素材为图片的不同情况时,均可以采用高光阈值颜色叠加、基于原始图像和高斯模糊图像进行颜色值叠加的图像高光特效处理方案中的至少之一,然而相关技术的图像中所产生的高光区域不够平滑,导致最终得到的高光特效图像的质量及效果低下。
发明内容
本发明实施例提供一种基于人工智能的图像处理方法、装置及存储介质,能够提高针对图像进行高光特效的质量及效果。
本发明实施例的技术方案是这样实现的:
本发明实施例提供一种基于人工智能的图像处理方法,所述方法包括:
获取目标媒体文件;
呈现对应所述目标媒体文件的图像编辑页面,所述图像编辑页面中包括对所述目标媒体文件进行解码得到的图像帧数据;
响应于基于所述图像编辑页面触发的图像编辑指令,获取并呈现用于图像特效处理的视频模板,所述视频模板中至少包括用于对图像进行高光特效的特效参数,以及
响应于所述图像编辑指令,从所述图像编辑指令中提取待进行高光特效的图像对应的特效时段;
响应于基于所述视频模板触发的图像特效处理指令,基于所述特效参数,对所述特效时段内的所述目标媒体文件的图像帧数据进行高光特效处理,以生成特效媒体文件。
本发明实施例还提供一种基于人工智能的图像处理装置,所述装置包括:
获取单元,用于获取目标媒体文件;
第一呈现单元,用于呈现对应所述目标媒体文件的图像编辑页面,所述图像编辑页面中包括对所述目标媒体文件进行解码得到的图像帧数据;
第二呈现单元,用于响应于基于所述图像编辑页面触发的图像编辑指令,获取并呈现用于图像特效处理的视频模板,所述视频模板中至少包括用于对图像进行高光特效的特效参数;
提取单元,用于响应于所述图像编辑指令,从所述图像编辑指令中提取待进行高光特效的图像对应的特效时段;
特效处理单元,用于响应于基于所述视频模板触发的图像特效处理指令,基于所述特效参数,对所述特效时段内的所述目标媒体文件的图像帧数据进行高光特效处理,以生成特效媒体文件。
上述方案中,所述获取单元,还用于:
响应于针对图像编辑入口的点击操作,呈现对应媒体文件的选择页面;
响应于基于所述选择页面触发的目标媒体文件的选择指令,获取相应的目标媒体文件。
上述方案中,所述特效处理单元,还用于:
对所述目标媒体文件的图像帧数据进行边缘检测,以确定所述目标媒体文件中待进行高光特效的目标区域;
基于所述特效参数,对满足所述特效时段和所述目标区域中的所述目标媒体文件的图像帧数据进行高光特效处理,以生成特效媒体文件。
上述方案中,所述特效处理单元,还用于:
所述特效参数包括发光半径,且所述发光半径超过发光半径阈值时,对所述特效时段内的所述目标媒体文件的图像帧数据中各像素点进行高斯模糊处理,得到对应的模糊图像;
所述特效参数包括发光强度时,基于所述发光强度,对所述目标媒体文件的图像帧数据中各像素点,以及所述模糊图像中各像素点的对比度进行增强处理,得到增强后的图像帧数据;
所述特效参数包括发光阈值,且所述增强后的图像帧数据中像素点的颜色值超过所述发光阈值时,对所述增强后的图像帧数据中像素点的颜色值进行色值空间映射,以保留所述增强后的图像帧数据中的色彩饱和度,得到所述特效媒体文件。
上述方案中,所述特效处理单元,还用于:
从所述特效时段内的所述目标媒体文件的图像帧数据中,提取各像素点对应的纹理特征;
基于设定的缩放比例,对所述各像素点对应的纹理特征进行缩放,得到缩放后的图像帧数据;
对所述缩放后的图像帧数据中的各像素点进行高斯模糊处理,得到对应的模糊图像。
上述方案中,所述特效处理单元,还用于:
将所述发光强度分别与所述目标媒体文件的图像帧数据中各像素点的颜色亮度,以及所述模糊图像中各像素点的颜色亮度进行比对;
选取所述目标媒体文件的图像帧数据与所述模糊图像中颜色亮度最大的像素点;
基于选取的所述颜色亮度最大的像素点,形成所述增强后的图像帧数据。
上述方案中,所述特效处理单元,还用于:
所述特效参数包括发光半径和发光阈值,所述发光半径未超过发光半径阈值,且所述目标媒体文件的图像帧数据中像素点的颜色值超过所述发光阈值时,
对所述目标媒体文件的图像帧数据中像素点的颜色值进行色值空间映射,以保留所述目标媒体文件的图像帧数据中的色彩饱和度,得到所述特效媒体文件。
上述方案中,所述基于人工智能的图像处理装置还包括:
发送单元,用于将所述目标媒体文件及对应的所述特效媒体文件发送至区块链网络中,以使所述区块链网络的节点将所述目标媒体文件及对应的所述特效媒体文件填充至新区块,且当对所述新区块取得共识一致时,将所述新区块追加至区块链的尾部。
本发明实施例还提供一种电子设备,所述电子设备包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本发明实施例提供的基于人工智能的图像处理方法。
本发明实施例还提供一种存储介质,存储有可执行指令,所述可执行指令被执行时,用于实现本发明实施例提供的基于人工智能的图像处理方法。
应用本发明上述实施例具有以下有益效果:
应用本发明实施例提供的基于人工智能的图像处理方法、装置及存储介质,通过响应于基于图像编辑页面触发的图像编辑指令,获取用于图像特效处理的视频模板,从视频模板中拉取用于对图像进行高光特效的特效参数,进而可以基于特效参数对目标媒体文件的图像帧数据进行高光特效处理,以生成特效媒体文件,如此,使得生成的特效媒体文件显示的高光区域更加平滑,提高了针对图像进行高光特效的质量及效果,提升了用户的体验。
附图说明
图1为相关技术中的高光特效处理的效果示意图;
图2为本发明实施例提供的基于人工智能的图像处理系统10的一个可选的架构示意图;
图3A为本发明实施例提供的电子设备40的一个可选的硬件结构示意图;
图3B为本发明实施例提供的基于人工智能的图像处理装置455的一个可选的组成结构示意图;
图4为本发明实施例提供的基于人工智能的图像处理方法的一个可选的流程示意图;
图5为本发明实施例提供的进行目标媒体文件选择的页面示意图;
图6为本发明实施例提供的视频模板中视频特效信息的显示示意图;
图7为本发明实施例提供的对图像进行高斯模糊处理的流程示意图;
图8为本发明实施例提供的形成增强后的图像帧数据的示意图;
图9为本发明实施例提供的进行色值空间映射的示意图;
图10为本发明实施例提供的区块链网络的应用架构示意图;
图11为本发明实施例提供的区块链网络81中区块链的一个可选的结构示意图;
图12为本发明实施例提供的区块链网络81的功能架构示意图;
图13为本发明实施例提供的对图像进行高光特效的操作流程示意图;
图14为本发明实施例的实现方案与相关技术的实现方案的效果对比示意图。
具体实施方式
为了使本发明实施例的目的、技术方案和优点更加清楚,下面结合附图对本发明作进一步地详细描述,所描述的实施例不应视为对本发明的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且本发明实施例所记载的各技术方案之间,可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一”、“第二”等仅仅是用于区别类似的对象,不代表针对对象的特定的顺序或先后次序,可以理解地,“第一”、“第二”等在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本发明实施例能够以除了在图示或描述的以外的顺序实施。
除非另有定义,本发明实施例所使用的所有的技术和科学术语与属于本发明实施例的技术领域的技术人员通常理解的含义相同。本发明中所使用的术语只是为了描述具体的实施例的目的,不是旨在限制本发明。
在对本发明实施例进行进一步详细说明之前,对本发明实施例中涉及的名词和术语进行说明,本发明实施例中涉及的名词和术语适用于如下的解释。
1)媒体文件,互联网中可获取的各种形式(如视频、图文等媒体形式)的媒体,例如客户端中呈现的视频文件等。
2)视频模板,指在AE(Adobe After Effects)工具中,由设计师采用预定格式描述一系列的视频特效的资源集合,包括视频模板配置文件、视频特效信息(如高光特效、动态拼贴特效等)。
3)响应于,用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
4)交易(Transaction),等同于计算机术语“事务”,交易包括了需要提交到区块链网络执行的操作,并非单指商业语境中的交易,鉴于在区块链技术中约定俗成地使用了“交易”这一术语,本发明实施例遵循了这一习惯。
例如,部署(Deploy)交易用于向区块链网络中的节点安装指定的智能合约并准备好被调用;调用(Invoke)交易用于通过调用智能合约在区块链中追加交易的记录,并对区块链的状态数据库进行操作,包括更新操作(包括增加、删除和修改状态数据库中的键值(Key-Value)对)和查询操作(即查询状态数据库中的键值对)。
5)区块链(Block Chain),是由区块(Block)形成的加密的、链式的交易的存储结构。
例如,每个区块的头部既可以包括区块中所有交易的哈希值,同时也包含前一个区块中所有交易的哈希值,从而基于哈希值实现区块中交易的防篡改和防伪造;新产生的交易被填充到区块并经过区块链网络中节点的共识后,会被追加到区块链的尾部从而形成链式的增长。
6)区块链网络(Block Chain Network),通过共识的方式将新区块纳入区块链的一系列的节点的集合。
7)账本(Ledger),是区块链(也称为账本数据)和与区块链同步的状态数据库的统称。
其中,区块链是以文件系统中的文件的形式来记录交易;状态数据库是以不同类型的键(Key)值(Value)对的形式来记录区块链中的交易,用于支持对区块链中交易的快速查询。
8)智能合约(Smart Contracts),也称为链码(Chain Code)或应用代码,部署在区块链网络的节点中的程序,该程序是根据条件而触发执行的,节点执行接收的交易中所调用的智能合约,来对状态数据库的键值对数据进行更新或查询的操作。
9)共识(Consensus),是区块链网络中的一个过程,用于在涉及的多个节点之间对区块中的交易达成一致,达成一致的区块将被追加到区块链的尾部,实现共识的机制包括工作量证明(PoW,Proof of Work)、权益证明(PoS,Proof of Stake)、股份授权证明(DPoS,Delegated Proof-of-Stake)、消逝时间量证明(PoET,Proof of Elapsed Time)等。
本发明实施例提供的基于人工智能的图像处理方法涉及人工智能领域中的计算机视觉技术(CV,Computer Vision),计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别文字识别(OCR,Optical Character Recognition)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实和同步定位与地图构建等技术。本发明实施例通过人工智能领域中的图像处理技术,基于特效参数对目标媒体文件的图像帧数据进行高光特效处理得到特效媒体文件,这在图像特效处理的技术领域中具有很高的应用价值。
下面分析相关技术提供的关于对目标媒体文件进行高光特效处理的方案。
在相关技术的一些方案(以下简称为方案一)中,采用的是高光阈值颜色叠加的处理方案,具体地,先获取原始图像(即目标媒体文件)的图像帧数据的当前颜色值,然后对原始图像的图像帧数据的当前颜色值加上一个高光阈值颜色值,得到图像混合后的颜色值,当图像混合后的颜色值达到1.0以上时,则直接使用1.0作为最终的结果,当图像混合后的颜色值未达到1.0时,则使用原始图像的图像帧数据的当前颜色值与高光阈值颜色值的实际累加值作为最终的结果。示例性的,上述方案一可以采用如下公式:resultColor=sourceColor+maxColor来表示,其中,resultColor表示最终得到的结果颜色值;sourceColor表示原始图像的图像帧数据的当前颜色值;maxColor表示高光阈值颜色值。
在相关技术的另一些方案(以下简称为方案二)中,采用的是原始图像和高斯模糊图像进行颜色值叠加的处理方案,具体地,先获取原始图像的图像帧数据的当前颜色值,然后对原始图像进行高斯模糊处理生成对应的高斯模糊图像,接下来基于原始图像的图像帧数据的当前颜色值,与高斯模糊图像的图像帧数据的颜色值进行叠加处理,得到最终结果颜色值。示例性的,上述方案二可以采用如下公式:当sourceColor<0.5时;resultColor=sourceColor*blurColor*2.0,否则,resultColor=1.0-(1.0-sourceColor)*(1.0–blurColor)*2.0来表示,其中,blurColor表示高斯模糊图像的图像帧数据的颜色值,其他参数的含义可参考方案一的公式而理解。
在相关技术的又一些方案(以下简称为方案三)中,将方案一和方案二进行组合,具体地,先对原始图像进行高斯模糊处理生成对应的高斯模糊图像,然后基于原始图像的图像帧数据的当前颜色值,与高斯模糊图像的图像帧数据的颜色值进行叠加处理,得到处理后的颜色值,接下来对处理后的颜色值加上一个高光阈值颜色值,得到最终结果颜色值。示例性的,上述方案三可以采用如下公式表示:当sourceColor<0.5时,resultColor1=sourceColor*blurColor*2.0;否则,resultColor1=1.0-(1.0-sourceColor)*(1.0–blurColor)*2.0;然后再进行resultColor2=resultColor1+maxColor,需要说明的是,resultColor1表示叠加处理后的颜色值,resultColor2表示最终结果颜色值,其他参数的含义可参考方案一和方案二的公式而理解。
参见图1,图1为相关技术中的高光特效处理的效果示意图,从图1中可见,相关技术的上述几种高光特效的实现方式所产生的高光效果并不是很明显(如图1中采用方案一和方案二所产生的高光效果,整个图像区域色彩变的平滑,没有高光的部分),方案三所产生的高光效果相较于上述方案一和方案二而言,虽然进行了效果改进,但是产生的高光依然不够平滑,因为它是在原始图像及高斯模糊图像的图像帧数据的颜色值叠加之后,对叠加处理后的颜色值再加上高光阈值颜色值,不能将高光快速扩散开,且高斯模糊图像本身性能比较低,导致最终得到的高光特效的质量和效果不是很理想。
为至少解决相关技术的上述技术问题,本发明实施例提供了一种基于人工智能的图像处理方法、装置及存储介质,能够使得生成的特效媒体文件显示的高光区域更加平滑,提高了针对图像进行高光特效的质量及效果,可以完美地在移动平台上对特效媒体文件进行展示,提升了用户的使用体验。
下面说明实施本发明实施例的基于人工智能的图像处理方法的电子设备的示例性应用,本发明实施例提供的电子设备可以实施为笔记本电脑,平板电脑,台式计算机,机顶盒,移动设备(例如,移动电话,便携式音乐播放器,个人数字助理,专用消息设备,便携式游戏设备)等各种类型的终端设备,也可以为终端设备和服务器协同实施,其中,服务器可以为云端服务器,但本发明实施例中并不仅限于云端服务器。
下面以终端设备和服务器协同实施为例,参考附图对本发明实施例的基于人工智能的图像处理系统的示例性应用进行说明。参见图2,图2为本发明实施例提供的基于人工智能的图像处理系统10的一个可选的架构示意图,为实现支撑的一个示例性应用,终端100(示例性示出了终端100-1和终端100-2)通过网络200连接服务器300,网络200可以是广域网或者局域网,又或者是二者的组合,使用无线链路实现数据传输。
终端100(如终端100-1),用于获取目标媒体文件,以及对应目标媒体文件的图像编辑页面,所述图像编辑页面中包括对目标媒体文件进行解码得到的图像帧数据。
终端100(如终端100-1),还用于接收由用户基于图像编辑页面触发的图像编辑指令,并在接收到图像编辑指令后,响应于该图像编辑指令,向服务器300发送视频模板的获取请求,其中,视频模板中至少包括用于对图像进行高光特效的特效参数;这里,在实际应用中,服务器300既可以为单独配置的支持各种业务的一个服务器,亦可以配置为一个服务器集群。
服务器300,用于基于终端100发送的获取请求,返回视频模板中配置的用于对图像进行高光特效的特效参数。
终端100(如终端100-1),还用于响应于图像编辑指令,从图像编辑指令中提取待进行高光特效的图像对应的特效时段,以及响应于基于所述视频模板触发的图像特效处理指令,基于所述特效参数,对所述特效时段内的所述目标媒体文件的图像帧数据进行高光特效处理,以生成特效媒体文件。
终端100可以在图形界面110(例如终端100-1的图形界面110-1和终端100-2的图形界面110-2)中显示基于人工智能的图像处理过程中的各种中间结果和最终结果,例如,显示获取的目标媒体文件、显示对应目标媒体文件的图像编辑页面、显示用于图像特效处理的视频模板,以及显示生成的特效媒体文件。
接下来继续对实施本发明实施例的基于人工智能的图像处理方法的电子设备的硬件结构进行说明。电子设备可以实施为终端设备,还可以为上述图2示出的终端设备和服务器的协同实施。
参见图3A,图3A为本发明实施例提供的电子设备40的一个可选的硬件结构示意图,可以理解,图3A仅仅示出了电子设备的示例性结构而非全部结构,根据需要可以实施图3A示出的部分结构或全部结构。本发明实施例提供的电子设备40包括:至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。电子设备40中的各个组件通过总线系统440耦合在一起。可理解,总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图3A中将各种总线都标为总线系统440。
处理器410可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器450可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。
存储器450包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Memory),易失性存储器可以是随机存取存储器(RAM,Random Access Memory)。本发明实施例描述的存储器450旨在包括任意适合类型的存储器。
在一些实施例中,存储器450能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作系统451,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块452,用于经由一个或多个(有线或无线)网络接口420到达其他计算设备,示例性的网络接口420包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB,Universal Serial Bus)等;
呈现模块453,用于经由一个或多个与用户接口430相关联的输出装置431(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作外围设备和显示内容和信息的用户接口);
输入处理模块454,用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中,本发明实施例提供的基于人工智能的图像处理装置可以采用软件方式实现,图3A示出了存储在存储器450中的基于人工智能的图像处理装置455,其可以是程序和插件等形式的软件,包括一系列的软件模块,参见图3B,图3B为本发明实施例提供的基于人工智能的图像处理装置455的一个可选的组成结构示意图,例如,基于人工智能的图像处理装置455可以包括获取单元4551、第一呈现单元4552、第二呈现单元4553、提取单元4554和特效处理单元4555,这些单元的功能是逻辑上的,因此,根据各软件模块所实现的功能可以进行任意的组合或进一步的拆分。这里,需要说明的是,对于图3B所示的本发明实施例提供的基于人工智能的图像处理装置455中的各个单元的具体功能,将在下文进行说明。
在另一些实施例中,本发明实施例提供的基于人工智能的图像处理装置455可以采用硬件方式实现,作为示例,本发明实施例提供的基于人工智能的图像处理装置455可以是采用硬件译码处理器形式的处理器,其被编程以执行本发明实施例提供的基于人工智能的图像处理方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable LogicDevice)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)或其他电子元件。
下面将结合本发明实施例提供的电子设备的示例性应用和实施,对本发明实施例提供的基于人工智能的图像处理方法的实现进行说明。
参见图4,图4为本发明实施例提供的基于人工智能的图像处理方法的一个可选的流程示意图,在一些实施例中,该基于人工智能的图像处理方法可由终端实施,或由服务器及终端协同实施,下面以终端实施为例,如通过图2中的终端100实施,结合图4示出的步骤进行说明。
在步骤401中,终端获取目标媒体文件。
在本发明实施例中,目标媒体文件包括视频、图片中至少之一,其中,图片包括照片,终端在获取到目标媒体文件后,对获取的目标媒体文件的文件信息(如视频封面)进行呈现,以供用户对目标媒体文件的文件信息进行浏览。
在一些实施例中,终端可通过如下方式获取目标媒体文件:终端在用户界面上呈现至少一个媒体文件的文件信息;基于呈现的文件信息,接收针对至少一个媒体文件的选择指令;获取与至少一个媒体文件的选择指令对应的媒体文件,并将获取的媒体文件作为目标媒体文件。
在一些实施例中,终端在用户界面上呈现供用户选择的媒体文件的文件信息的同时,还可呈现针对媒体文件的选择提示信息,该选择提示信息用于提示选择指令适配的媒体文件的数量及时长。示例性的,图5为本发明实施例提供的进行目标媒体文件选择的页面示意图,参见图5,终端呈现本地存储的多个视频文件或图片(比如照片)供用户进行选择,并呈现建议用户选择视频文件或图片的提示信息,当用户通过点击操作进行视频文件或图片的选择后,即可呈现用户选择的视频文件或图片的信息。
在一些实施例中,终端还可通过如下方式获取目标媒体文件:响应于针对图像编辑入口的点击操作,呈现对应媒体文件的选择页面;响应于基于所述选择页面触发的目标媒体文件的选择指令,获取相应的目标媒体文件。
在步骤402中,呈现对应目标媒体文件的图像编辑页面,图像编辑页面中包括对目标媒体文件进行解码得到的图像帧数据。
这里,以目标媒体文件为目标视频为例,在获取目标视频之后需要对目标视频进行解码,以得到对应目标视频的图像帧数据,对于进行解码的目标视频来说,可以是普通的蓝光视频源(对应1080P的码率),也可以是其他码率的视频源,比如270P码率的标清视频源、480P码率的高清视频源、720P码率的超清视频源或者HDR10码率的臻彩视界视频源,本发明实施例在此不做限定。
在实际应用中,目标视频是由多个图像帧数据组合而成的,且每个图像帧数据包括多个像素点,为了保证对图像进行高光特效的精度,本发明实施例中先对目标视频进行解码,以得到目标视频中包含的各个图像帧数据,后续再对各个图像帧数据执行高光特效的处理过程。
在步骤403中,响应于基于图像编辑页面触发的图像编辑指令,获取并呈现用于图像特效处理的视频模板,视频模板中至少包括用于对图像进行高光特效的特效参数。
这里,在实际实施时,终端通过用户界面呈现图像编辑入口,使得用户可通过该入口进行图像的编辑;在一些实施例中,终端上设置有图像编辑客户端,通过运行该图像编辑客户端进入图像编辑页面,在另一些实施例中,还可通过图标的形式在其它应用的页面呈现图像编辑入口,用户通过点击终端呈现的图标触发图像编辑指令,进入图像编辑页面,以对拍摄或存储的媒体文件进行图像编辑。
在一些实施例中,终端接收到用户基于图像编辑页面触发的图像编辑指令后,响应于该图像编辑指令,可以通过如下方式获取用于图像特效处理的视频模板:终端向服务器发送视频模板的获取请求,该获取请求中携带图像编辑客户端的标识,服务器在接收到终端发送的获取请求后,解析该获取请求得到图像编辑客户端的标识,并返回与图像编辑客户端的标识对应的视频模板;其中,视频模板中至少包括用于对图像进行高光特效的特效参数。在实际应用中,不同性能的图像编辑客户端可以对应不同的特效参数,因此,基于图像编辑客户端的标识可以快速从视频模板中拉取与图像编辑客户端的性能相适配的特效参数。
这里,视频模板为采用预定格式描述一系列的视频特效的资源集合,包括视频模板配置文件、视频特效信息(如高光特效、动态拼贴特效等)。
参见图6,图6为本发明实施例提供的视频模板中视频特效信息的显示示意图,通常来说,设计师通过AE工具,在视频模板中预先设置不同类型的视频特效消息,如图6中的凸出特效、动态拼贴特效及发光特效。本发明实施例中的终端通过响应用户触发的图像编辑指令,从视频模板中拉取用于对图像进行高光特效的特效参数,即拉取的特效参数包括发光半径、发光强度及发光阈值。
在步骤404中,响应于图像编辑指令,从图像编辑指令中提取待进行高光特效的图像对应的特效时段。
在本发明实施例中,根据用户的需求,可以选择对某个时间段内的图像的画面图层开启高光特效功能,因此,终端通过响应用户触发的图像编辑指令,从图像编辑指令中可以提取待进行高光特效的图像对应的特效时段,也就是说,本发明实施例的终端可对特效时段内的图像的画面图层进行高光特效处理,以满足用户的使用需求。
在步骤405中,响应于基于视频模板触发的图像特效处理指令,基于特效参数,对特效时段内的目标媒体文件的图像帧数据进行高光特效处理,以生成特效媒体文件。
在一些实施例中,终端可通过如下方式生成特效媒体文件:
对目标媒体文件的图像帧数据进行边缘检测,以确定目标媒体文件中待进行高光特效的目标区域;基于特效参数,对满足特效时段和目标区域中的目标媒体文件的图像帧数据进行高光特效处理,以生成特效媒体文件。
这里,本发明实施例通过控制多个参数,即从视频模板中拉取对图像进行高光特效的特效参数,能够高效地实时针对目标媒体文件的图像帧数据产生高光特效,可用于还原AE插件中设定的高光特效参数对应的图像特效效果,还可保证图像发光沿着图像中的轮廓,即对边缘检测得到的目标区域中的目标媒体文件的图像帧数据进行高光特效处理。需要说明的是,在图像发光的过程中,通过发光半径、发光强度及发光阈值三个特效参数就可以模拟现实中图像被光强度增强后使得周围物体被强光慢慢覆盖的效果。
下面对基于特效参数,对特效时段内的目标媒体文件的图像帧数据进行高光特效处理,以生成特效媒体文件的实现方式进行说明。
在一些实施例中,终端可通过如下方式基于特效参数,对特效时段内的目标媒体文件的图像帧数据进行高光特效处理,以生成特效媒体文件:
特效参数包括发光半径,且发光半径超过发光半径阈值时,对特效时段内的目标媒体文件的图像帧数据中各像素点进行高斯模糊处理,得到对应的模糊图像;特效参数包括发光强度时,基于发光强度,对目标媒体文件的图像帧数据中各像素点,以及模糊图像中各像素点的对比度进行增强处理,得到增强后的图像帧数据;特效参数包括发光阈值,且增强后的图像帧数据中像素点的颜色值超过发光阈值时,对增强后的图像帧数据中像素点的颜色值进行色值空间映射,以保留增强后的图像帧数据中的色彩饱和度,得到特效媒体文件。
这里,在实际实施时,终端可通过如下方式对特效时段内的目标媒体文件的图像帧数据中各像素点进行高斯模糊处理,得到对应的模糊图像:
从特效时段内的目标媒体文件的图像帧数据中,提取各像素点对应的纹理特征;基于设定的缩放比例,对各像素点对应的纹理特征进行缩放,得到缩放后的图像帧数据;对缩放后的图像帧数据中的各像素点进行高斯模糊处理,得到对应的模糊图像。
参见图7,图7为本发明实施例提供的对图像进行高斯模糊处理的流程示意图,在实际应用中,先将原始图像按缩放比例进行缩小,假设缩放比例为2:1,原始图像的像素为200*200,则进行缩放后得到的缩放图像的像素为100*100,然后对像素为100*100的图像中各像素点进行一次性的纵横方向上的高斯模糊处理,得到对应的模糊图像,再基于模糊图像进行对比度增强处理,从而可以提升针对图像进行高光特效的效率。
这里,在实际实施时,终端可通过如下方式基于发光强度,对目标媒体文件的图像帧数据中各像素点,以及模糊图像中各像素点的对比度进行增强处理,得到增强后的图像帧数据:将发光强度分别与目标媒体文件的图像帧数据中各像素点的颜色亮度,以及模糊图像中各像素点的颜色亮度进行比对;选取目标媒体文件的图像帧数据与模糊图像中颜色亮度最大的像素点;基于选取的颜色亮度最大的像素点,形成增强后的图像帧数据。
参见图8,图8为本发明实施例提供的形成增强后的图像帧数据的示意图,首先获得基于发光半径对原始图像进行高斯模糊处理得到的高斯模糊图像,然后将原始图像和高斯模糊图像进行逐个像素对比,选取其中色值数值最大的像素点,基于选取的色值数值最大的像素点形成增强后的图像帧数据。示例性的,可通过如下公式resultColorA=max(sourceColor,blurColor)来表示获得增强后的图像帧数据的过程,其中,sourceColor表示原始图像的图像帧数据的当前颜色值;blurColor表示高斯模糊图像的图像帧数据的颜色值;resultColorA表示增强后的图像帧数据的颜色值。
这里,在实际实施时,本发明实施例提供的基于人工智能的图像处理方法还可基于平滑阶梯函数,对增强后的图像帧数据中像素点的颜色值resultColorA进行色值空间映射,具体的,对resultColorA进行色值归一化处理,即将resultColorA平滑过渡至[0.0,1.0]区间,示例性的,可通过如下公式resultColorB=smoothstep(0.0,1.0,resultColorA)来表示,resultColorB表示进行色值空间映射后的图像帧数据中像素点的颜色值,smoothstep表示平滑阶梯函数,其他参数的含义可参考上文而理解。参见图9,图9为本发明实施例提供的进行色值空间映射的示意图,对增强后的图像帧数据中像素点的颜色值从空间1映射至空间2,实现对增强后的图像帧数据中像素点的颜色值进行色值空间映射,以保留增强后的图像帧数据中的色彩饱和度。
在本发明实施例中,基于人工智能的图像处理方法还包括:初始化图像特效的渲染环境,向GPU发送渲染指令,以使得GPU响应于该渲染指令完成对特效媒体文件的渲染。这里,在对特效媒体文件进行渲染之前,还需加载用于执行渲染操作的shader(着色器)程序,对shader程序进行编译。需要说明的是,在一些实施例中,对特效媒体文件中的图像帧实现特效渲染的平台或者工具可为OpenGL,将缩放后的图像帧数据的纹理特征与OpenGL的上下文环境进行绑定,使得在渲染过程中可以调用与OpenGL连接的数据库中的函数对特效媒体文件进行渲染,其中,可通过OpenGL绘制命令将特效参数传入至shader程序中。
在另一些实施例中,当特效参数包括发光半径,但发光半径未超过发光半径阈值时,则终端可以不需要执行对目标媒体文件的图像帧数据中各像素点进行高斯模糊处理的过程,而是直接使用原始的目标媒体文件的图像帧数据进行高光特效处理,以得到特效媒体文件。
具体地,终端可通过如下方式基于特效参数,对特效时段内的目标媒体文件的图像帧数据进行高光特效处理,以生成特效媒体文件:特效参数包括发光半径和发光阈值,发光半径未超过发光半径阈值,且目标媒体文件的图像帧数据中像素点的颜色值超过发光阈值时,对目标媒体文件的图像帧数据中像素点的颜色值进行色值空间映射,以保留目标媒体文件的图像帧数据中的色彩饱和度,得到特效媒体文件。
在一些实施例中,所述特效参数在不同时间区间内是动态变化的,相应的,基于人工智能的图像处理方法还可包括:基于动态变化的所述特效参数,呈现对应所述特效媒体文件的高光区域的渐变趋势。
在一些实施例中,终端进行图像高光特效得到特效媒体文件之后,还可以对特效媒体文件进行预览,具体地,终端接收用户针对特效媒体文件的预览指令,响应于所述预览指令,通过播放窗口播放特效媒体文件。
为了便于实现对目标媒体文件及对应的特效媒体文件的存储和查询,在一些实施例中,基于人工智能的图像处理方法还包括:将目标媒体文件及对应的特效媒体文件发送至区块链网络中,以使区块链网络的节点将目标媒体文件及对应的特效媒体文件填充至新区块,且当对新区块取得共识一致时,将新区块追加至区块链的尾部。
这里,本发明实施例还可结合区块链技术,在终端得到特效媒体文件之后,生成用于存储获取的目标媒体文件及对应的特效媒体文件的交易,提交生成的交易至区块链网络的节点,以使区块链网络的节点在对交易共识后存储目标媒体文件及对应的特效媒体文件至区块链网络;其中,在将目标媒体文件及对应的特效媒体文件存储至区块链网络之前,终端还可分别对目标媒体文件及对应的特效媒体文件进行哈希变换,得到对应目标媒体文件的摘要信息,及对应特效媒体文件的摘要信息,并将得到的目标媒体文件的摘要信息,以及特效媒体文件的摘要信息存储至区块链网络。
接下来对本发明实施例中的区块链网络进行说明。参见图10,图10为本发明实施例提供的区块链网络的应用架构示意图,包括区块链网络81(示例性示出了共识节点810-1至共识节点810-3)、认证中心82、业务主体83和业务主体84,下面分别进行说明。
区块链网络81的类型是灵活多样的,例如可以为公有链、私有链或联盟链中的任意一种。以公有链为例,任何业务主体的电子设备例如用户终端和服务器(比如云端服务器),都可以在不需要授权的情况下接入区块链网络81;以联盟链为例,业务主体在获得授权后其下辖的电子设备(例如终端/服务器)可以接入区块链网络81,此时,如成为区块链网络81中的客户端节点,这里客户端指示对图像进行高光特效的应用客户端。
在一些实施例中,客户端节点可以只作为区块链网络81的观察者,即提供支持业务主体发起交易(例如,用于上链存储数据或查询链上数据)的功能,对于区块链网络81中的共识节点810的功能,例如排序功能、共识服务和账本功能等,客户端节点可以缺省或者有选择性(例如,取决于业务主体的具体业务需求)地实施。从而,可以将业务主体的数据和业务处理逻辑最大程度迁移到区块链网络81中,通过区块链网络81实现数据和业务处理过程的可信和可追溯。
区块链网络81中的共识节点接收来自不同业务主体(例如图10中示出的业务主体83和业务主体84)的客户端节点(例如,图10中示出的归属于业务主体83的客户端节点410、以及归属于业务主体84的客户端节点510)提交的交易,执行交易以更新账本或者查询账本,执行交易的各种中间结果或最终结果可以返回业务主体的客户端节点中进行显示。
例如,客户端节点410/510可以订阅区块链网络81中感兴趣的事件,例如区块链网络81中特定的组织/通道中发生的交易,由共识节点810推送相应的交易通知至客户端节点410/510,从而触发客户端节点410/510中相应的业务逻辑。
下面以多个业务主体接入区块链网络以实现目标媒体文件及对应的特效媒体文件的管理为例,说明区块链网络的示例性应用。参见图10,管理环节涉及的多个业务主体,如业务主体83和业务主体84均可以是基于人工智能的图像处理装置对应的客户端,从认证中心82进行登记注册获得各自的数字证书,数字证书中包括业务主体的公钥、以及认证中心82对业务主体的公钥和身份信息签署的数字签名,用来与业务主体针对交易的数字签名一起附加到交易中,并被发送到区块链网络,以供区块链网络从交易中取出数字证书和签名,验证消息的可靠性(即是否未经篡改)和发送消息的业务主体的身份信息,区块链网络81将根据身份进行验证,例如是否具有发起交易的权限。业务主体下辖的电子设备(例如终端或者服务器)运行的客户端都可以向区块链网络81请求接入而成为客户端节点。
业务主体83的客户端节点410用于获取目标媒体文件,对获取的目标媒体文件进行解码,得到对应目标媒体文件的图像帧数据,然后基于从视频模板中拉取的特效参数,对目标媒体文件的图像帧数据进行高光特效处理,以生成特效媒体文件,并将目标媒体文件及对应的特效媒体文件发送至区块链网络81。
其中,将目标媒体文件及对应的特效媒体文件发送至区块链网络81的操作,可以预先在客户端节点410设置业务逻辑,当查找到有目标媒体文件及对应的特效媒体文件时,客户端节点410将目标媒体文件及对应的特效媒体文件自动发送至区块链网络81,也可以由业务主体83的业务人员在客户端节点410中登录,手动打包目标媒体文件及对应的特效媒体文件,并将其发送至区块链网络81。在发送时,客户端节点410根据目标媒体文件及对应的特效媒体文件生成对应更新操作的交易,在交易中指定了实现更新操作需要调用的智能合约、以及向智能合约传递的参数,交易中还携带了客户端节点410的数字证书、签署的数字签名(例如,使用客户端节点410的数字证书中的私钥,对交易的摘要进行加密得到),并将交易广播到区块链网络81中的共识节点810。
区块链网络81中的共识节点810接收到交易时,对交易携带的数字证书和数字签名进行验证,验证成功后,根据交易中携带的业务主体83的身份,确认业务主体83是否是具有交易权限,数字签名和权限验证中的任何一个验证判断都将导致交易失败。验证成功后签署节点810自己的数字签名(例如,使用节点810-1的私钥对交易的摘要进行加密得到),并继续在区块链网络81中广播。
区块链网络81中的共识节点810接收到验证成功的交易后,将交易填充到新的区块中并进行广播。区块链网络81中的共识节点810广播新区块时,会对新区块进行共识过程,如果共识成功,则将新区块追加到自身所存储的区块链的尾部,并根据交易的结果更新状态数据库,执行新区块中的交易:对于提交存储目标媒体文件及对应的特效媒体文件的交易,在状态数据库中添加包括目标媒体文件及对应的特效媒体文件的键值对。
业务主体84的业务人员在客户端节点510中登录,输入目标媒体文件及对应的特效媒体文件的查询请求,客户端节点510根据目标媒体文件及对应的特效媒体文件的查询请求生成对应更新操作/查询操作的交易,在交易中指定了实现更新操作/查询操作需要调用的智能合约、以及向智能合约传递的参数,交易还携带了客户端节点510的数字证书、签署的数字签名(例如,使用客户端节点510的数字证书中的私钥,对交易的摘要进行加密得到),并将交易广播到区块链网络81中的共识节点810。
区块链网络81中的共识节点810接收到交易,对交易进行验证、区块填充及共识一致后,将填充的新区块追加到自身所存储的区块链的尾部,并根据交易的结果更新状态数据库,执行新区块中的交易:对于提交的更新目标媒体文件对应的特效媒体文件的交易,根据目标媒体文件对应的特效媒体文件更新状态数据库中该目标媒体文件对应的键值对;对于提交的查询目标媒体文件对应的特效媒体文件的交易,从状态数据库中查询目标媒体文件对应的特效媒体文件的键值对,并返回交易结果。
作为区块链的示例,参见图11,图11为本发明实施例提供的区块链网络81中区块链的一个可选的结构示意图,每个区块的头部既可以包括区块中所有交易的哈希值,同时也包含前一个区块中所有交易的哈希值,新产生的交易的记录被填充到区块并经过区块链网络中节点的共识后,将被追加到区块链的尾部从而形成链式的增长,各区块之间基于哈希值的链式结构,保证了区块中交易的防篡改和防伪造。
下面说明本发明实施例提供的区块链网络的示例性功能架构,参见图12,图12为本发明实施例提供的区块链网络81的功能架构示意图,包括应用层201、共识层202、网络层203、数据层204和资源层205,下面分别进行说明。
资源层205封装了实现区块链网络81中的各个节点810的计算资源、存储资源和通信资源。
数据层204封装了实现账本的各种数据结构,包括以文件系统中的文件实现的区块链,键值型的状态数据库和存在性证明(例如区块中交易的哈希树)。
网络层203封装了点对点(P2P,Point to Point)网络协议、数据传播机制和数据验证机制、接入认证机制和业务主体身份管理的功能。
其中,P2P网络协议实现区块链网络81中节点810之间的通信,数据传播机制保证了交易在区块链网络81中的传播,数据验证机制用于基于加密学方法(例如数字证书、数字签名、公/私钥对)实现节点810之间传输数据的可靠性;接入认证机制用于根据实际的业务场景对加入区块链网络81的业务主体的身份进行认证,并在认证通过时赋予业务主体接入区块链网络81的权限;业务主体身份管理用于存储允许接入区块链网络81的业务主体的身份、以及权限(例如能够发起的交易的类型)。
共识层202封装了区块链网络81中的节点810对区块达成一致性的机制(即共识机制)、交易管理和账本管理的功能。共识机制包括POS、POW和DPOS等共识算法,支持共识算法的可插拔。
交易管理用于验证节点810接收到的交易中携带的数字签名,验证业务主体的身份信息,并根据身份信息判断确认其是否具有权限进行交易(从业务主体身份管理读取相关信息);对于获得接入区块链网络81的授权的业务主体而言,均拥有认证中心颁发的数字证书,业务主体利用自己的数字证书中的私钥对提交的交易进行签名,从而声明自己的合法身份。
账本管理用于维护区块链和状态数据库。对于取得共识的区块,追加到区块链的尾部;执行取得共识的区块中的交易,当交易包括更新操作时更新状态数据库中的键值对,当交易包括查询操作时查询状态数据库中的键值对并向业务主体的客户端节点返回查询结果。支持对状态数据库的多种维度的查询操作,包括:根据区块向量号(例如交易的哈希值)查询区块;根据区块哈希值查询区块;根据交易向量号查询区块;根据交易向量号查询交易;根据业务主体的账号(向量号)查询业务主体的账号数据;根据通道名称查询通道中的区块链。
应用层201封装了区块链网络能够实现的各种业务,包括交易的溯源、存证和验证等。
采用本发明实施例提供的技术方案,通过响应于基于图像编辑页面触发的图像编辑指令,获取用于图像特效处理的视频模板,从视频模板中拉取用于对图像进行高光特效的特效参数,进而可以基于特效参数对目标媒体文件的图像帧数据进行高光特效处理,以生成特效媒体文件,如此,使得生成的特效媒体文件显示的高光区域更加平滑,提高了针对图像进行高光特效的质量及效果。同时,本发明实施例还可以将终端获取的目标媒体文件,以及将对目标媒体文件的图像帧数据进行高光特效处理生成的特效媒体文件上链存储,实现记录的备份,当用户再次使用基于人工智能的图像处理系统时,可直接、快速地从区块链上获取相应的目标媒体文件及对应的特效媒体文件,而无需通过图像处理平台对获取的目标媒体文件进行一系列处理后,才能够获得对应的特效媒体文件,从而提高用户体验。
下面,将说明本发明实施例在一个实际的应用场景中的示例性应用。
本发明实施例提供的基于人工智能的图像处理方法生成的特效媒体文件中显示的高光特效主要是作为视频模板中的一种图形变换能力,集成在海报大片中。参见图13,图13为本发明实施例提供的对图像进行高光特效的操作流程示意图,示例性的,用户可以拍摄或录制新的图像,通过拍摄页入口进入微视相册页面,或者在终端本地的相册中,选择待进行高光特效的目标图像,当选择好目标图像后,用户通过点击“选好了”按钮可以触发目标图像例如视频或者图片进入图像编辑页,在图像编辑页中用户可以选择特效中具有高光效果的海报模板,并对选择好的目标图像进行高光特效的应用,这样就可以在预览画面中对实施高光特效应用的特效图像进行预览。其中,具有高光效果的海报模板中包括用于对目标图像进行高光特效的特效参数。
需要说明的是,在实际应用中,用于对目标图像进行高光特效的特效参数在不同时间区间内是动态变化的,这样能够使得针对目标图像进行高光特效所产生出的图像高光区域的渐变过程,形成一种比较优雅的图形变形,满足用户美化的变形要求。
本发明实施例提供的基于人工智能的图像处理方法中,对目标媒体文件如目标视频进行高光特效的制作可以分为两个部分,包括AE中特效参数的预设定,视频渲染过程中特效参数的解析及目标视频产生形变的部分,下面分别进行说明。
1、AE中特效参数的预设定
设计师通过AE工具在视频模板中设置一段时间区间内的特效参数,效果完成将特效数据包打包并上传至微视素材库中,当客户端对应的用户想要对某个时间段内目标视频的画面图层开启高光特效时,客户端可以拉取到这个特效数据包,并基于特效数据包中至少包括的特效参数对目标视频的画面图层进行高光特效应用并展示相应的高光特效效果。
2、视频渲染过程中特效参数的解析及目标视频产生形变
视频特效主要是通过图形处理单元(GPU,Graphics Processing Unit)可编程管线中顶点着色器和片元着色器两部分编码来实现,因此高光特效实现主要基于GPU中顶点和片元部分来完成,同时有一些比较通用的一些计算性能会放在中央处理器(CPU,centralprocessing unit)端的代码中进行预处理。
下面结合上述的对目标视频进行高光特效的制作的两个主要部分,对本发明实施例的基于人工智能的图像处理方法的主要工作流程进行说明。
步骤1,终端获取视频解码后得到的SampleBufuer(样本图像)或者图片的图像数据(CGImageRef)对应的图像帧数据,因此,本发明实施例需要将SampleBufuer或者CGImageRef对应的图像帧数据绑定GPU中的FrameBuffer(纹理内存空间),并关联到一个纹理空间。
步骤2,响应于图像编辑指令,从视频模板中拉取特效数据包,特效数据包中至少包括用于对图像进行高光特效的特效参数,对当前时间点的特效参数进行解析,解析后的字段主要包括发光阈值、发光半径和发光强度三个参数,并根据调用的取值映射函数将AE中的特效参数转换为shader代码中已调好的参数区间。
步骤3,判断发光半径是否大于0,如果发光半径不大于0,则对目标图像进行发光的过程中不需要进行模糊处理操作,而是直接使用目标图像进行步骤6的处理。
步骤4,如果发光半径大于0,首先从目标图像的图像帧数据中提取各像素点对应的纹理特征,然后对各像素点对应的纹理特征进行缩放,将纹理与opengl上下文进行绑定,并通过opengl绘制命令将特效参数传入shader程序中,通过opengl强大的GPU并行运算能力进行多重采样,完成图像中每个像素点的模糊处理过程。
步骤5,依据发光强度数值,对步骤4中得到的模糊图像中各像素点,以及目标图像的图像帧数据中的各像素点的色值进行增强,得到增强后的图像帧数据resultColor。
步骤6,发光阈值大于0情形下,通过二次映射函数smoothstep(0.0,1.0,resultColor)对resultColor进行色值空间映射处理,得到最终的特效图像resultColor2,具体处理过程主要为resultColor>1.0情形下resultColor2=1.0,resultColor<0.0情形下resultColor2=0.0,得到缩放后画面内容,即得到特效图像。
步骤7,将步骤6中得到的特效图像的画面显示至用户预览的画面或者写入文件中。
参见图14,图14为本发明实施例的实现方案与相关技术的实现方案的效果对比示意图,通过比较相关技术的方案得到的高光特效效果以及采用本发明实施例的方案得到的高光特效效果可以看出,本发明的技术方案的应用,改进了高光变形的效果,支持发光阈值、发光半径和发光强度等多个参数来控制形变的效果,较原来的单一的发光半径的图形效果增加了更多的可趣味性可变性。同时,针对移动平台对生成模糊过程进行了效率提升,对高光处理通过二次色彩映射实现了色彩饱和度的保留,使画面特效与真实的高光效果比较逼近,完美还原现实性。
接下来对本发明实施例提供的基于人工智能的图像处理装置455的软件实现进行说明。以上述实施本发明实施例的基于人工智能的图像处理方法的电子设备40中的存储器450所包括的软件模块为例进行说明,对于下文关于模块的功能说明中未尽的细节,可以参考上文而理解。
获取单元4551,用于获取目标媒体文件;第一呈现单元4552,用于呈现对应所述目标媒体文件的图像编辑页面,所述图像编辑页面中包括对所述目标媒体文件进行解码得到的图像帧数据;第二呈现单元4553,用于响应于基于所述图像编辑页面触发的图像编辑指令,获取并呈现用于图像特效处理的视频模板,所述视频模板中至少包括用于对图像进行高光特效的特效参数;提取单元4554,用于响应于所述图像编辑指令,从所述图像编辑指令中提取待进行高光特效的图像对应的特效时段;特效处理单元4555,用于响应于基于所述视频模板触发的图像特效处理指令,基于所述特效参数,对所述特效时段内的所述目标媒体文件的图像帧数据进行高光特效处理,以生成特效媒体文件。
在一些实施例中,就获取单元获取目标媒体文件来说,可以采用以下方式实现:
在用户界面上呈现至少一个媒体文件的文件信息;基于呈现的所述文件信息,接收针对所述至少一个媒体文件的选择指令;获取与所述至少一个媒体文件的选择指令对应的媒体文件,并将获取的所述媒体文件作为所述目标媒体文件。
在一些实施例中,就获取单元获取目标媒体文件来说,还可以采用以下方式实现:
响应于针对图像编辑入口的点击操作,呈现对应媒体文件的选择页面;响应于基于所述选择页面触发的目标媒体文件的选择指令,获取相应的目标媒体文件。
在一些实施例中,就特效处理单元基于所述特效参数,对所述特效时段内的所述目标媒体文件的图像帧数据进行高光特效处理,以生成特效媒体文件来说,可以采用以下方式实现:
对所述目标媒体文件的图像帧数据进行边缘检测,以确定所述目标媒体文件中待进行高光特效的目标区域;基于所述特效参数,对满足所述特效时段和所述目标区域中的所述目标媒体文件的图像帧数据进行高光特效处理,以生成特效媒体文件。
在另一些实施例中,就特效处理单元基于所述特效参数,对所述特效时段内的所述目标媒体文件的图像帧数据进行高光特效处理,以生成特效媒体文件来说,还可以采用以下方式实现:
所述特效参数包括发光半径,且所述发光半径超过发光半径阈值时,对所述特效时段内的所述目标媒体文件的图像帧数据中各像素点进行高斯模糊处理,得到对应的模糊图像;
所述特效参数包括发光强度时,基于所述发光强度,对所述目标媒体文件的图像帧数据中各像素点,以及所述模糊图像中各像素点的对比度进行增强处理,得到增强后的图像帧数据;
所述特效参数包括发光阈值,且所述增强后的图像帧数据中像素点的颜色值超过所述发光阈值时,对所述增强后的图像帧数据中像素点的颜色值进行色值空间映射,以保留所述增强后的图像帧数据中的色彩饱和度,得到所述特效媒体文件。
这里,就特效处理单元中对所述特效时段内的所述目标媒体文件的图像帧数据中各像素点进行高斯模糊处理,得到对应的模糊图像来说,可以采用以下方式实现:
从所述特效时段内的所述目标媒体文件的图像帧数据中,提取各像素点对应的纹理特征;基于设定的缩放比例,对所述各像素点对应的纹理特征进行缩放,得到缩放后的图像帧数据;对所述缩放后的图像帧数据中的各像素点进行高斯模糊处理,得到对应的模糊图像。
这里,就特效处理单元中基于所述发光强度,对所述目标媒体文件的图像帧数据中各像素点,以及所述模糊图像中各像素点的对比度进行增强处理,得到增强后的图像帧数据来说,可以采用以下方式实现:
将所述发光强度分别与所述目标媒体文件的图像帧数据中各像素点的颜色亮度,以及所述模糊图像中各像素点的颜色亮度进行比对;选取所述目标媒体文件的图像帧数据与所述模糊图像中颜色亮度最大的像素点;基于选取的所述颜色亮度最大的像素点,形成所述增强后的图像帧数据。
在另一些实施例中,就特效处理单元基于所述特效参数,对所述特效时段内的所述目标媒体文件的图像帧数据进行高光特效处理,以生成特效媒体文件来说,还可以采用以下方式实现:
所述特效参数包括发光半径和发光阈值,所述发光半径未超过发光半径阈值,且所述目标媒体文件的图像帧数据中像素点的颜色值超过所述发光阈值时,对所述目标媒体文件的图像帧数据中像素点的颜色值进行色值空间映射,以保留所述目标媒体文件的图像帧数据中的色彩饱和度,得到所述特效媒体文件。
在一些实施例中,所述基于人工智能的图像处理装置还可包括:
发送单元,用于将所述目标媒体文件及对应的所述特效媒体文件发送至区块链网络中,以使所述区块链网络的节点将所述目标媒体文件及对应的所述特效媒体文件填充至新区块,且当对所述新区块取得共识一致时,将所述新区块追加至区块链的尾部。
本发明实施例还提供了一种存储介质,存储有可执行指令,所述可执行指令被执行时,用于实现本发明实施例提供的基于人工智能的图像处理方法,例如,如图4示出的方法。
在一些实施例中,存储介质具体可为计算机可读存储介质,例如可以是铁电随机存取存储器(FRAM,ferromagnetic random access memory)、ROM、PROM、可擦除可编程只读存储器(EPROM,Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,Electrically Erasable Programmable Read-Only Memory)、快闪存储器(FlashMemory)、磁表面存储器、光盘或只读光盘(CD-ROM,Compact Disc Read-Only Memory)等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述,本发明实施例的技术方案具有以下有益效果:
1)通过响应于基于图像编辑页面触发的图像编辑指令,获取用于图像特效处理的视频模板,从视频模板中拉取用于对图像进行高光特效的特效参数,进而可以基于特效参数对目标媒体文件的图像帧数据进行高光特效处理,以生成特效媒体文件,如此,使得生成的特效媒体文件显示的高光区域更加平滑,提高了针对图像进行高光特效的质量及效果,提升了用户的体验;
2)将终端获取的目标媒体文件,以及将对目标媒体文件的图像帧数据进行高光特效处理生成的特效媒体文件上链存储,实现记录的备份,当用户再次使用基于人工智能的图像处理系统时,可直接、快速地从区块链上获取相应的目标媒体文件及对应的特效媒体文件,而无需通过图像处理平台对获取的目标媒体文件进行一系列处理后,才能够获得对应的特效媒体文件,从而提高用户体验。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于人工智能的图像处理方法,其特征在于,所述方法包括:
获取目标媒体文件;
呈现对应所述目标媒体文件的图像编辑页面,所述图像编辑页面中包括对所述目标媒体文件进行解码得到的图像帧数据;
响应于基于所述图像编辑页面触发的图像编辑指令,发送视频模板的获取请求,所述获取请求中携带图像编辑客户端的标识;
接收并呈现基于所述获取请求返回的、与所述图像编辑客户端的标识对应的视频模板,所述视频模板中至少包括用于对图像进行高光特效的特效参数,其中,不同的所述图像编辑客户端对应不同的特效参数;
响应于所述图像编辑指令,从所述图像编辑指令中提取待进行高光特效的图像对应的特效时段;
响应于基于所述视频模板触发的图像特效处理指令,
当所述特效参数包括发光半径与发光半径阈值,且所述发光半径超过所述发光半径阈值时,对所述特效时段内的所述目标媒体文件的图像帧数据中各像素点进行高斯模糊处理,得到对应的模糊图像;基于所述模糊图像进行高光特效处理,以生成特效媒体文件;
当所述特效参数包括发光半径与发光半径阈值,且所述发光半径未超过所述发光半径阈值时,对所述特效时段内的所述目标媒体文件的图像帧数据进行高光特效处理,以生成特效媒体文件。
2.如权利要求1所述的方法,其特征在于,所述获取目标媒体文件,包括:
响应于针对图像编辑入口的点击操作,呈现对应媒体文件的选择页面;
响应于基于所述选择页面触发的目标媒体文件的选择指令,获取相应的目标媒体文件。
3.如权利要求1所述的方法,其特征在于,所述方法还包括:
对所述目标媒体文件的图像帧数据进行边缘检测,以确定所述目标媒体文件中待进行高光特效的目标区域;
基于所述特效参数,对满足所述特效时段和所述目标区域中的所述目标媒体文件的图像帧数据进行高光特效处理,以生成特效媒体文件。
4.如权利要求1所述的方法,其特征在于,所述基于所述模糊图像进行高光特效处理,得到所述特效媒体文件,包括:
所述特效参数包括发光强度时,基于所述发光强度,对所述目标媒体文件的图像帧数据中各像素点,以及所述模糊图像中各像素点的对比度进行增强处理,得到增强后的图像帧数据;
所述特效参数包括发光阈值,且所述增强后的图像帧数据中像素点的颜色值超过所述发光阈值时,对所述增强后的图像帧数据中像素点的颜色值进行色值空间映射,以保留所述增强后的图像帧数据中的色彩饱和度,得到所述特效媒体文件。
5.如权利要求1所述的方法,其特征在于,所述对所述特效时段内的所述目标媒体文件的图像帧数据中各像素点进行高斯模糊处理,得到对应的模糊图像,包括:
从所述特效时段内的所述目标媒体文件的图像帧数据中,提取各像素点对应的纹理特征;
基于设定的缩放比例,对所述各像素点对应的纹理特征进行缩放,得到缩放后的图像帧数据;
对所述缩放后的图像帧数据中的各像素点进行高斯模糊处理,得到对应的模糊图像。
6.如权利要求4所述的方法,其特征在于,所述基于所述发光强度,对所述目标媒体文件的图像帧数据中各像素点,以及所述模糊图像中各像素点的对比度进行增强处理,得到增强后的图像帧数据,包括:
将所述发光强度分别与所述目标媒体文件的图像帧数据中各像素点的颜色亮度,以及所述模糊图像中各像素点的颜色亮度进行比对;
选取所述目标媒体文件的图像帧数据与所述模糊图像中颜色亮度最大的像素点;
基于选取的所述颜色亮度最大的像素点,形成所述增强后的图像帧数据。
7.如权利要求1所述的方法,其特征在于,所述当所述特效参数包括发光半径与发光半径阈值,且所述发光半径未超过所述发光半径阈值时,对所述特效时段内的所述目标媒体文件的图像帧数据进行高光特效处理,以生成特效媒体文件,包括:
对所述目标媒体文件的图像帧数据中像素点的颜色值进行色值空间映射,以保留所述目标媒体文件的图像帧数据中的色彩饱和度,得到所述特效媒体文件。
8.如权利要求1至7任一项所述的方法,其特征在于,所述方法还包括:
将所述目标媒体文件及对应的所述特效媒体文件发送至区块链网络中,以使
所述区块链网络的节点将所述目标媒体文件及对应的所述特效媒体文件填充至新区块,且当对所述新区块取得共识一致时,将所述新区块追加至区块链的尾部。
9.一种基于人工智能的图像处理装置,其特征在于,所述装置包括:
获取单元,用于获取目标媒体文件;
第一呈现单元,用于呈现对应所述目标媒体文件的图像编辑页面,所述图像编辑页面中包括对所述目标媒体文件进行解码得到的图像帧数据;
第二呈现单元,用于响应于基于所述图像编辑页面触发的图像编辑指令,发送用于图像特效处理的视频模板的获取请求,所述获取请求中携带图像编辑客户端的标识;接收并呈现服务器基于解析所述获取请求返回的、与所述图像编辑客户端的标识对应的视频模板,所述视频模板中至少包括用于对图像进行高光特效的特效参数,其中,不同的所述图像编辑客户端对应不同的特效参数;
提取单元,用于响应于所述图像编辑指令,从所述图像编辑指令中提取待进行高光特效的图像对应的特效时段;
特效处理单元,用于响应于基于所述视频模板触发的图像特效处理指令,当所述特效参数包括发光半径与发光半径阈值,且所述发光半径超过所述发光半径阈值时,对所述特效时段内的所述目标媒体文件的图像帧数据中各像素点进行高斯模糊处理,得到对应的模糊图像;基于所述模糊图像进行高光特效处理,以生成特效媒体文件;当所述特效参数包括发光半径与发光半径阈值,且所述发光半径未超过所述发光半径阈值,对所述特效时段内的所述目标媒体文件的图像帧数据进行高光特效处理,以生成特效媒体文件。
10.一种存储介质,其特征在于,存储有可执行指令,所述可执行指令被执行时,用于实现如权利要求1至8任一项所述的基于人工智能的图像处理方法。
CN201911120924.4A 2019-11-15 2019-11-15 基于人工智能的图像处理方法、装置及存储介质 Active CN110930325B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911120924.4A CN110930325B (zh) 2019-11-15 2019-11-15 基于人工智能的图像处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911120924.4A CN110930325B (zh) 2019-11-15 2019-11-15 基于人工智能的图像处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN110930325A CN110930325A (zh) 2020-03-27
CN110930325B true CN110930325B (zh) 2021-12-10

Family

ID=69853123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911120924.4A Active CN110930325B (zh) 2019-11-15 2019-11-15 基于人工智能的图像处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110930325B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951156B (zh) * 2020-08-24 2021-08-03 杭州小影创新科技股份有限公司 一种绘制图形光电特效的方法
CN113240578B (zh) * 2021-05-13 2024-05-21 北京达佳互联信息技术有限公司 图像特效的生成方法、装置、电子设备及存储介质
CN116934576A (zh) * 2022-03-31 2023-10-24 脸萌有限公司 端云协同的媒体数据处理方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104157005A (zh) * 2014-08-06 2014-11-19 无锡梵天信息技术股份有限公司 一种基于图像的hdr光照渲染方法
US10290132B2 (en) * 2015-03-25 2019-05-14 Arm Limited Graphics processing
CN110012352A (zh) * 2019-04-17 2019-07-12 广州华多网络科技有限公司 图像特效处理方法、装置及视频直播终端

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287368B (zh) * 2019-05-31 2021-10-08 上海萌鱼网络科技有限公司 短视频模板设计图生成装置及短视频模板的生成方法
CN110418196B (zh) * 2019-08-29 2022-01-28 金瓜子科技发展(北京)有限公司 视频生成方法、装置及服务器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104157005A (zh) * 2014-08-06 2014-11-19 无锡梵天信息技术股份有限公司 一种基于图像的hdr光照渲染方法
US10290132B2 (en) * 2015-03-25 2019-05-14 Arm Limited Graphics processing
CN110012352A (zh) * 2019-04-17 2019-07-12 广州华多网络科技有限公司 图像特效处理方法、装置及视频直播终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
入门AE教程:光点在手指中敬请舞蹈,像个精灵一样;五域广告传媒;《https://www.bilibili.com/read/cv3016454/》;20190706;第1-4页 *

Also Published As

Publication number Publication date
CN110930325A (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
CN110930325B (zh) 基于人工智能的图像处理方法、装置及存储介质
US20210103449A1 (en) Management framework for mixed reality devices
WO2019114328A1 (zh) 一种基于增强现实的视频处理方法及其装置
EP4080507A1 (en) Method and apparatus for editing object, electronic device and storage medium
WO2022188386A1 (zh) 视频发布方法及装置、设备
WO2023005194A1 (zh) 视频生成方法及电子设备
CN112732152A (zh) 直播处理方法、装置、电子设备及存储介质
CN116091672A (zh) 图像渲染方法、计算机设备及其介质
CN113342247A (zh) 素材处理方法、装置、电子设备及存储介质
CN115546410A (zh) 窗口展示方法、装置、电子设备及存储介质
CN104184791A (zh) 图像效果提取
CN111294662B (zh) 弹幕生成方法、装置、设备及存储介质
CN110288523B (zh) 图像生成方法和装置
CN113535304B (zh) 设计软件中插入、展示、编辑第三方模型的方法与装置
US9483237B2 (en) Method and system for providing an image effects interface
CN110825297B (zh) 一种基于区块链网络的图像处理方法、装置、设备及存储介质
CN109583983A (zh) 应用于电子商务系统的商品展示方法及装置
CN113111035B (zh) 特效视频生成方法和设备
JP4950470B2 (ja) 送信データから代替を生成する方法およびシステム
CN115174993B (zh) 用于视频制作的方法、装置、设备和存储介质
KR102671203B1 (ko) 시각적인 착시 효과를 이용한 스크린 캡처 방지 방법 및 시스템
CN113489901B (zh) 拍摄方法及其装置
WO2024193612A1 (zh) 一种媒体资源处理方法、装置、设备及存储介质
CN115842815A (zh) 基于Web的视频效果添加
CN116880819A (zh) 一种表格页面的权限管理方法、装置、终端设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022291

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant