CN109087376B - 图像处理方法、装置、存储介质及电子设备 - Google Patents

图像处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN109087376B
CN109087376B CN201810858173.5A CN201810858173A CN109087376B CN 109087376 B CN109087376 B CN 109087376B CN 201810858173 A CN201810858173 A CN 201810858173A CN 109087376 B CN109087376 B CN 109087376B
Authority
CN
China
Prior art keywords
virtual model
augmented reality
image
image processing
reality virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810858173.5A
Other languages
English (en)
Other versions
CN109087376A (zh
Inventor
胡心洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810858173.5A priority Critical patent/CN109087376B/zh
Publication of CN109087376A publication Critical patent/CN109087376A/zh
Application granted granted Critical
Publication of CN109087376B publication Critical patent/CN109087376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/40Filling a planar surface by adding surface attributes, e.g. colour or texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、存储介质及电子设备。该图像处理方法,通过获取原始图像;对所述原始图像进行识别,得到所述原始图像的特征信息;根据所述特征信息,从本地数据库中获取对应的增强现实虚拟模型,得到虚拟模型集合;在预设显示区域中显示所述虚拟模型集合中的增强现实虚拟模型。本申请方案可以根据待处理图像的特征信息,从数据库中滤掉不适用于当前场景增强现实虚拟模型,并筛选出与该待处理图像匹配的增强现实虚拟模型,以供对该待处理图像进行处理,从而提升贴图效率。

Description

图像处理方法、装置、存储介质及电子设备
技术领域
本申请涉及通信技术领域,尤其涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
随着电子设备相机拍照效果的提升,采用电子设备进行拍照越来越普遍,尤其是通过电子设备拍摄贴纸照片。贴纸照片是在用户自拍或者他人拍摄的以头部图像为主的照片的基础上,增加各种样式的贴纸,以产生不同的效果。然而,附带贴纸的拍照功能的应用程序越来越多,贴纸的样式也日趋增加,导致用户很难选择一个适合的贴纸。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备,可以筛选出与待处理图像匹配的贴纸,提升贴图效率。
第一方面,本申请实施例提供一种图像处理方法,应用于电子设备,所述方法包括:
获取原始图像;
对所述原始图像进行识别,得到所述原始图像的特征信息;
根据所述特征信息,从本地数据库中获取对应的增强现实虚拟模型,得到虚拟模型集合;
在预设显示区域中显示所述虚拟模型集合中的增强现实虚拟模型。
第二方面,本申请实施例提供了一种图像处理装置,应用于电子设备,所述装置包括:
图像获取模块,用于获取原始图像;
识别模块,用于对所述原始图像进行识别,得到所述原始图像的特征信息;
模型获取模块,用于根据所述特征信息,从本地数据库中获取对应的增强现实虚拟模型,得到虚拟模型集合;
显示模块,用于在预设显示区域中显示所述虚拟模型集合中的增强现实虚拟模型。
第三方面,本申请实施例还提供了一种存储介质,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行上述的图像处理方法。
第四方面,本申请实施例还提供了一种电子设备,包括处理器及存储器,所述处理器与所述存储器电性连接,所述存储器用于存储指令和数据;处理器用于执行上述的图像处理方法。
本申请实施例公开了一种图像处理方法、装置、存储介质及电子设备。该图像处理方法,通过获取原始图像,对所述原始图像进行识别,得到所述原始图像的特征信息;根据所述特征信息,从本地数据库中获取对应的增强现实虚拟模型,得到虚拟模型集合;在预设显示区域中显示所述虚拟模型集合中的增强现实虚拟模型。本申请方案可以根据待处理图像的特征信息,从数据库中过滤掉不适用与当前场景的增强现实虚拟模型,并筛选出与该待处理图像匹配的增强现实虚拟模型,以供对该待处理图像进行处理,从而提升贴图效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像处理方法的系统架构示意图。
图2是本申请实施例提供的图像处理方法的一种流程示意图。
图3是本申请实施例提供的图像处理方法的一种应用场景示意图。
图4是本申请实施例提供的图像处理方法的一种应用实例示意图。
图5是本申请实施例提供的图像处理装置的一种结构示意图。
图6是本申请实施例提供的图像处理装置的另一种结构示意图。
图7是本申请实施例提供的图像处理装置的又一种结构示意图。
图8是本申请实施例提供的电子设备的一种结构示意图。
图9是本申请实施例提供的电子设备的另一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备。以下将分别进行详细说明。
请参阅图1,图1为本申请实施例提供的图像处理方法的系统架构示意图。
其中,电子设备可以为移动终端,如手机、平板电脑、笔记本电脑等,本申请实施例对此不进行限定。图像处理APP2、图像处理APP3、图像处理APP4等可以为带有拍照、图像编辑、视频编辑和/或视频录制等功能的应用。在本申请实施例中,图像处理APP2、图像处理APP3、图像处理APP4可以具有AR贴纸功能,通过将AR贴纸与待处理图像结合显示,可以得到增强现实图像,达到虚实结合的效果。然而,若每个图像处理应用都各自管理自己的贴纸资源,就会造成同类贴纸需要每个应用单独运营和下载,这样就会造成贴纸在运营过程中工作量加大,同时用户在多个应用中下载同类贴纸时也会造成存储空间的浪费。
为了避免上述问题,本申请实施例中提供可独立管理贴纸数据、资源、缓存的贴纸管理应用,以便每一图像处理应用都可以访问并调用该贴纸管理应用中的贴纸,并可基于获取的贴纸对待处理图像进行编辑。
如图1所示,APP1可以为贴纸管理应用,其关联的本地数据库中可以存储有各种各样的贴纸数据。图像处理APP2、图像处理APP3及图像处理APP4等可以通过贴纸管理应用APP4来读写数据。例如,该贴纸管理应用APP1可以通过FileProvider的方式给其他图像处理应用(如图像处理APP2、图像处理APP3及图像处理APP4等)提供文件访问权限,这样可以实现贴纸数据共享,让同类贴纸可以在多个应用中同时使用,且只需要贴纸管理应用APP1的一次下载即可。在运营过程中,可以一次性将一个贴纸推送到所有需要的图像处理应用中显示,可以减少贴纸运营成本和用户手机的存储空间。当有新增应用需要加入贴纸功能时,可实现功能的快速兼容。
另外,服务器可以为文件服务器、应用服务器等,用于存储开发人员上传的文件数据,如贴纸数据。如图1,电子设备需要对APP1本地数据库进行更新时,电子设备通过所连网络(如无线网络或数据网络)与服务器建立通信连接,请求服务器端下发最新贴纸数据加入到电子设备本地,以对APP1本地数据库进行贴纸数据的更新。从而为图像处理应用提供该数据库中的贴纸,对待处理的图像进行处理。
在一些实施方式中,服务器在检测到数据更新时,还可以通过与电子设备监建立的通信渠道向电子设备发送数据更新提醒,或者直接下发更新数据到电子设备中。
电子设备和服务器之间可以但不限于采用以下传输协议中的任一种:HTTP(Hypertext transfer protocol,超文本传输协议)、FTP(File Transfer Protocol,文件传输协议)、P2P(Peer to Peer,对等网络)、P2SP(Peer to Server&Peer,点对服务器和点)等。
在一实施例中,提供一种图像处理方法,如图2所示,流程可以如下:
101、获取原始图像。
其中,选取原始图像的具体实现方式,可以是获取具有数字图像格式(例如BMP、JPG等)的照片,比如由数码相机或手机等电子设备即时拍照生成人物照片。在一夕而实施方式中,还可以通过视频截图、照片扫描、实时预览等方式获取人物图像,本申请实施例对此不加以限定。
在一些实施例中,该原始图像可以包含多种组成部分的图像,如可以包括人物图像、动物图像、建筑物图像或其他物体图像等。另外,该原始图像可以为局部图像,如单独的人物图像,其中包含人脸,或单独的动物图像等,对此不作具体限定。其中,该原始图像可以是静态图像,也可以为动态图像。
具体的,电子设备还可以从本机和/或其它设备中的多用户家庭共享相册中获取图像,还可为其它设备中所共享的图像,该共享的图像为电子设备具有访问权限的多用户家庭共享相册中的图像。具体实施时,电子设备可接收发图像获取指令,该获取指令可开启电子设备的摄像装置并对当前的场景进行拍摄获取
例如,电子设备可以通过内置的摄像头进行拍摄以得到原始图像,具体可以包括:电子设备接收对内置摄像头的启动指令,响应该指令并启动该内置摄像头,在摄像头处于开启状态过程中,通过预览区域预览电子设备的外部环境,以获得预览到的场景的图像。
其中,上述内置摄像头可以为单摄像头也可以为双摄像头,比如,双摄像头可以包括广角摄像头和长焦摄像头,其中,可以将广角摄像头作为电子设备的主摄像头,长焦摄像头作为副摄像头。当需要拍摄电子设备当前所在场景的图像时,该电子设备可以只通过其广角摄像模组来进行拍摄,也可以通过其广角摄像头与长焦摄像头共同拍摄。在其他实施例中还可以为三摄像头等等,本申请对此不作进一步限定。
102、对原始图像进行识别,得到原始图像的特征信息。
在一些实施例中,获取原始图像的特征信息,可以为提取原始图像中的图像特征,如颜色特征、纹理特征、形状特征、空间关系特征等。其中,颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。纹理特征也是一种全局特征,也描述了图像或图像区域所对应景物的表面性质。形状特征是一种局部特征,有两类表示方法,一类是轮廓特征,主要针对物体的外边界;另一类是区域特征,其关系到整个形状区域。空间关系特征,指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系,这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。
图像特征提取是使用计算机提取图像信息,决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集,这些子集往往属于孤立的点、连续的曲线或者连续的区域。特征是许多计算机图像分析算法的起点。特征提取最重要的一个特性是“可重复性”,即同一场景的不同图像所提取的特征应该是相同的。
具体实施过程中,可利用统计法、几何法、模型法、信号处理法,对图像的纹理特征进行提取。另外,可利用边界特征法、傅立叶形状描述法、集合参数法、形状不变矩法,对图像的相撞特征进行提取。此外,对于图像的空间关系特征,可通过基于模型的姿态估计法、基于学习的姿态估计法进行特征的提取。而颜色特征,可采用颜色直方图、颜色矩、颜色集、颜色聚合向量或颜色相关图等方式来对其进行描述。
在一些实施例中,获取原始图像的特征信息,可以为通过图像识别技术对原始图像中的内容进行识别,获取图像的内容特征,如图像组成(如人物、动物、建筑物、植物或进一步的细化特征)、图像类型(如风景图、人物图、人景结合图等)、图像属性(如图像分辨率、图像颜色、图像深度、色调等)等内容特征。
103、根据特征信息,从本地数据库中获取对应的增强现实虚拟模型,得到虚拟模型集合。
其中,增强现实虚拟模型即AR贴纸,可用于叠加到其他图像上与其配合形成增强显示画面,达到虚实结合效果的功能型贴纸图像。例如,原始图像中包含一个人物,当电子设备系统检测到人物图像具有头发、眼睛、鼻子、嘴巴、耳朵等部位时,则可以从本地贴纸数据库中获取虚拟眼镜图像,叠加原始图像的眼睛区域。需要说明的是时,可以通过调节AR贴纸的大小、尺寸、方向、位置等,使得AR贴纸与原始图像更加契合,从而达到增强现实的效果。
在本申请实施例中,可提供能独立管理AR贴纸(即增强现实虚拟模型)数据、资源、缓存的贴纸管理应用,以供多个不同的图像处理应用访问并调用该贴纸管理应用中的贴纸,并基于获取的贴纸对待处理图像进行编辑。这样,可以实现贴纸数据共享,让同类贴纸可以在多个图像处理应用中同时使用,且只需要贴纸管理应用的一次下载即可。在运营过程中,可以一次性将一个贴纸推送到所有需要的图像处理应用中显示,可以减少贴纸运营成本和用户手机的存储空间。当有新增应用需要加入贴纸功能时,可实现功能的快速兼容。例如,该贴纸管理应用可以通过FileProvider的方式给其他图像处理应用提供文件访问权限。
具体实施时,该贴纸管理应用的数据目录下可以包括数据库、贴纸资源、以及贴纸缩略图等信息。
其中,图像处理应用可以包括电子设备中系统自带的相册应用、相机应用,通过调用贴纸管理应用中的贴纸数据,可以实现相册应用和相机应用的贴图功能。另外,该图像处理应用还可以是其他带有拍照、图片编辑、视频编辑、视频录制等功能的第三方应用,如某颜相机、某图秀秀、某音等应用。
需要说明的是,本地数据库中可以存储有各种各样的贴纸数据。例如,可以包括静态贴纸和动态贴纸;可包括配饰类贴纸(如眼镜、帽子、耳环等)、表情类贴纸(如流泪、流汗、皱眉等)、妆容类贴纸(如红唇、睫毛、眉毛、发型等)以及其他类型的贴纸。本申请对此不做具体限定。
实际应用中,由于用户在使用贴纸过程中,如果当期下载了很多贴纸后,在拍照、录像或图像编辑时,很难快速找到合适的贴纸。因此,为提升贴纸的选取速度,可仅筛选出适用于当前场景的贴纸,而过滤掉不适用于当前场景的贴纸。
在一些实施例中,步骤“根据特征信息,从本地数据库中获取对应的增强现实虚拟模型”,可以包括以下流程:
基于特征信息生成一个或多个关键词;
根据预设映射关系,获取与一个或多个关键词关联的标签信息;
根据标签信息从本地数据库中获取对应的增强现实虚拟模型。
在本申请实施例中,需要预先设定关键词与标签信息之间的映射关系。例如,可以通过分析大数据,总结出不同场景下所对应使用的增强现实虚拟模型,从而提炼出不同场景(即不同特征信息)下的关键词、以及不同增强现实虚拟模型所适合的标签信息。然后,建立关键词与标签信息之间的映射关系后入库。其中,一个关键词可以对应关联多个标签信息,同样的一个标签信息也可以对应关联多个关键词。
具体的,参考图3,假设通过电子设备的摄像头实时获取如图3所示的原始图像,基于图像跟踪算法、以及图像识别算法,实时对该原始图像进行跟踪识别,从而可以识别出该原始图像的图像内容,并获取该原始图像的特征信息。例如该原始图像中为一只黑色的海豹,则特征信息可以包括该原始图像中的颜色特征、形状特征、纹理特征及空间位置关系特征,基于这些特征识别出图像中海豹的各个部分。从而可基于这些特征生成关键词,如“黑色”、“眼睛”、“嘴巴”、“鼻子”、“胡子”、“身体”等关键词,而在此,以“鼻子”为例,可以匹配到关联的标签信息,例如“遮挡物”“配饰”等标签。从而在贴纸管理应用关联的本地数据库中筛选出含有这些标签信息的增强现实虚拟模型(即AR贴纸)。然后,从所选取的AR贴纸中选取目标AR贴纸(如图3右侧图所示的皮球),并根据该“鼻子”特征所在显示屏中的显示位置,实时调节该目标AR贴纸的显示位置,从而使得AR贴纸与原始图像更加契合,到达增强现实的效果。
在一些实施例中,步骤“基于特征信息生成一个或多个关键词”,可以包括以下流程:
确定特征信息所属的特征类型;
根据特征信息及所属的特征类型,生成一个或多个关键词。
具体的,可以对不同特征信息进行分类,例如,特征类型可以包括描述形状的特征类型,描述颜色的特征类型,描述纹理的特征类型,以及描述空间位置关系的特征类型等。仍以上述“黑色海豹”为例,假设获取到颜色特征的RGB值为“0:0:0”,确定颜色特征的特征类型为描述颜色的特征类型,则可以生成对应的关键词为“黑色”。
在一些实施例中,步骤“根据特征信息,从本地数据库中获取对应的增强现实虚拟模型”,可以包括以下流程:
根据图像特征信息将原始图像划分为多个区域;
从多个区域中选取目标区域;
从原始图像对应的特征信息中,确定目标区域对应的目标特征信息;
根据目标特征信息,从本地数据库中获取对应的增强现实虚拟模型。
具体的,可根据图像特征信息识别出原始图像的各个组成部分,并执行区域划分,然后从多个区域中选取目标区域,并从原始图像对应的特征信息中,确定目标区域对应的目标特征信息,以从本地数据库中获取与该目标特征信息关联的增强现实虚拟模型。从而过滤掉与该目标区域无关联的增强现实虚拟模型。
104、在预设显示区域中显示虚拟模型集合中的增强现实虚拟模型。
具体的,在通过图像应用对原始图像进行贴图处理时,可在当前的图像处理界面中显示上述从本地数据库中筛选出的增强现实虚拟模型(即AR贴纸)。实际应用中,可以在当前贴图处理界面划分一预设显示区域用于显示AR贴纸的缩略图。从而在用户点击选中某AR贴纸的缩略图时,可从贴图管理应用关联的本地数据库中获取相应的AR贴纸叠加到原始图像上,以与其对应的特征信息所在图像区域配合显示。
为了便于用户可以从筛选出的AR贴纸中进一步快速选取出合适的贴纸,可以针对性的对筛选出的AR贴纸进行有规律的排序显示。
在一些实施例中,在上述标签信息为贴纸筛选方式的基础上,步骤“在预设显示区域中显示虚拟模型集合中的增强现实虚拟模型”,可以包括以下流程:
确定虚拟模型集合中,每一增强现实虚拟模型对应的标签信息的数量;
根据数量对虚拟模型集合中的增强现实虚拟模型进行排序;
按照排序结果,在预设显示区域中显示虚拟模型集合中的增强现实虚拟模型。
具体的,由于一个关键词可以对应关联多个标签信息,同样的一个标签信息也可以对应关联多个关键词,一个原始图像可以对应有多个标签信息。因此,增强现实虚拟模型(即AR贴纸)对应的标签信息的数量越多,则可表示该AR贴纸与原始图像的匹配程度越高。因此,可根据数量对虚拟模型集合中的增强现实虚拟模型进行排序,将对应标签信息数量越多的AR贴纸排布显示在用户越常使用的位置,以此类推在在预设显示区域中显示所筛选出的AR贴纸。或者,也可按照排序结果,在预设显示区域中按照位置有序的进行排布显示各个AR贴纸。
在一些实施例中,特征信息包括多个图像特征;步骤“在预设显示区域中显示虚拟模型集合中的增强现实虚拟模型”,可以包括以下流程:
获取多个图像特征对应的优先级信息;
按照优先级信息,在预设显示区域中显示虚拟模型集合中的增强现实虚拟模型。
具体的,可以预先对不同图像特征设置优先级。例如,以颜色特征为优先级最高的时,可以将与该颜色特征对应的增强现实虚拟模型(即AR贴纸)排布显示在用户最常使用的位置。同一优先级中的AR贴纸顺序可以随意放置。
在一些实施例中,若未在本地数据库中获取到对应的增强现实虚拟模型,则向服务器发送数据更新请求,接着,接收服务器根据数据更新请求返回的新增数据,并基于新增数据更新本地数据库,其中,新增数据包括:新增的增强现实虚拟模型。然后,根据特征信息,从新增的增强现实虚拟模型中选取对应的增强现实虚拟模型,以得到虚拟模型集合。最后,在预设显示区域中显示虚拟模型集合中的增强现实虚拟模型。
其中,服务器可以为文件服务器、应用服务器等,用于存储开发人员上传如增强现实虚拟模型(即AR贴纸)数据。
具体的,当本地数据库中找不到匹配的AR贴纸时,电子设备可通过所连网络(如无线网络或数据网络)与服务器建立通信连接,请求服务器端下发最新贴纸数据加入到电子设备本地,以对贴纸管理应用关联的本地数据库进行贴纸数据的更新。从而为图像处理应用提供该数据库中的贴纸,对待处理的图像进行处理。
由上可知,本申请是实施例提供的图像处理方法,通过获取原始图像;对所述原始图像进行识别,得到所述原始图像的特征信息;根据所述特征信息,从本地数据库中获取对应的增强现实虚拟模型,得到虚拟模型集合;在预设显示区域中显示所述虚拟模型集合中的增强现实虚拟模型。本申请方案可以根据待处理图像的特征信息,从数据库中筛选出与该待处理图像匹配的增强现实虚拟模型,以供对该待处理图像进行处理,从而提升贴图效率。
在一实施例中,还提供另一种图像处理方法,如图3所示,流程可以如下:
201、电子设备获取原始图像。
其中,选取原始图像的具体实现方式,可以是获取具有数字图像格式(例如BMP、JPG等)的人物、动物、建筑物或其他物体的照片,比如由数码相机或手机等电子设备即时拍照生成人物照片。在一夕而实施方式中,还可以通过视频截图、照片扫描、实时预览等方式获取人物图像,本申请实施例对此不加以限定。
另外,该原始图像还可以是动态图像,如通过摄像头预览或录制的动态图像。
202、电子设备对原始图像进行识别,得到原始图像的特征信息。
在一些实施例中,获取原始图像的特征信息,可以为提取原始图像中的图像特征,如颜色特征、纹理特征、形状特征、空间关系特征等。
在一些实施例中,获取原始图像的特征信息,可以为通过图像识别技术对原始图像中的内容进行识别,获取图像的内容特征,如图像组成、图像类型、图像属性等内容特征。
203、电子设备基于特征信息生成一个或多个关键词。
在一些实施例中,步骤“基于特征信息生成一个或多个关键词”,可以包括以下流程:
确定特征信息所属的特征类型;
根据特征信息及所属的特征类型,生成一个或多个关键词。
具体的,可以对不同特征信息进行分类,例如,特征类型可以包括描述形状的特征类型,描述颜色的特征类型,描述纹理的特征类型,以及描述空间位置关系的特征类型等。以“黑色海豹”为例,假设获取到颜色特征的RGB值为“0:0:0”,确定颜色特征的特征类型为描述颜色的特征类型,则可以生成对应的关键词为“黑色”。
204、电子设备根据预设映射关系,获取与一个或多个关键词关联的标签信息。
在本申请实施例中,需要预先设定关键词与标签信息之间的映射关系。例如,可以通过分析大数据,总结出不同场景下所对应使用的增强现实虚拟模型,从而提炼出不同场景(即不同特征信息)下的关键词、以及不同增强现实虚拟模型所适合的标签信息。然后,建立关键词与标签信息之间的映射关系后入库。其中,一个关键词可以对应关联多个标签信息,同样的一个标签信息也可以对应关联多个关键词。
205、电子设备判断是否根据标签信息,从本地数据库中获取到有对应的AR贴纸;若是,执行步骤209,若否,执行步骤206。
具体的,判断本地数据库中是否存在包含该标签信息对应的AR贴纸。
206、电子设备向服务器发送数据更新请求。
当本地数据库中不存在包含该标签信息对应的AR贴纸时,电子设备可通过所连网络(如无线网络或数据网络)与服务器建立通信连接,以请求服务器根据该数据更新请求将最新贴纸数据下发到电子设备中。
其中,其中,服务器可以为文件服务器、应用服务器等,用于存储开发人员上传制作好的AR贴纸数据。
207、电子设备接收服务器根据数据更新请求返回的新增数据,并基于新增数据更新本地数据库,其中,新增数据包括:新增的AR贴纸。
具体的,当服务器检测到有数据更新时,可向电子设备返回新增数据,电子设备可基于新增数据更新本地数据库中的AR贴纸数据,从而为图像处理应用提供该本地数据库中的新增AR贴纸。
208、电子设备根据特征信息,从新增的AR贴纸中选取对应的AR贴纸。
209、电子设备确定每一AR贴纸对应的标签信息的数量。
具体的,当本地数据库中存在包含该标签信息对应的AR贴纸,或者更新后的本地数据库中包含该标签信息对应的AR贴纸时,可以确定每一AR贴纸对应的标签信息的数量。
210、电子设备根据数量对筛选出的AR贴纸进行排序,并根据排序结果在预设显示区域中显示筛选出的AR贴纸。
由于一个关键词可以对应关联多个标签信息,同样的一个标签信息也可以对应关联多个关键词,一个原始图像可以对应有多个标签信息。因此,AR贴纸对应的标签信息的数量越多,则可表示该AR贴纸与原始图像的匹配程度越高。因此,可根据数量对虚拟模型集合中的增强现实虚拟模型进行排序,将对应标签信息数量越多的AR贴纸排布显示在用户越常使用的位置,以此类推在在预设显示区域中显示所筛选出的AR贴纸。或者,也可按照排序结果,在预设显示区域中按照位置有序的进行排布显示各个AR贴纸。
211、电子设备接收用户对预设显示区域中AR贴纸的选取指令。
具体的,在预设显示区域陈列出各式各样的AR贴纸后,用户可根据自身喜好,从中选取目标贴纸。实际应用中,在当前贴图处理界面中可划分一预设显示区域用于显示AR贴纸的缩略图。当检测到用户针对缩略图的点击操作时,可以触发搞AR贴纸选取指令。
212、电子设备根据选取指令获取目标AR贴纸对原始图像进行处理。
具体的,电子设备响应该贴纸选取指令,从贴图管理应用关联的本地数据库中获取相应的AR贴纸叠加到原始图像上,以与其对应的特征信息所在图像区域配合显示,以达到增强现实的图像效果。
由上可知,本申请实施例提供的图像处理方法,通过获取原始图像;对所述原始图像进行识别,得到所述原始图像的特征信息;根据所述特征信息,从本地数据库中获取对应的增强现实虚拟模型,得到虚拟模型集合;在预设显示区域中显示所述虚拟模型集合中的增强现实虚拟模型。本申请方案可以根据待处理图像的特征信息,从数据库中筛选出与该待处理图像匹配的增强现实虚拟模型,以供对该待处理图像进行处理,从而提升贴图效率。
在本申请又一实施例中,还提供一种图像处理装置,该图像处理装置可以软件或硬件的形式集成在电子设备中,该电子设备具体可以包括手机、平板电脑、笔记本电脑等设备。如图5所示,该图像处理装置300可以包括图像获取模块31、识别模块32、模型获取模块33以及显示模块34,其中:
图像获取模块31,用于获取原始图像;
识别模块32,用于对所述原始图像进行识别,得到所述原始图像的特征信息;
模型获取模块33,用于根据所述特征信息,从本地数据库中获取对应的增强现实虚拟模型,得到虚拟模型集合;
显示模块34,用于在预设显示区域中显示所述虚拟模型集合中的增强现实虚拟模型。
在一些实施例中,参考图6,模型获取模块33可以包括:
生成子模块331,用于基于所述特征信息生成一个或多个关键词;
第一获取子模块332,用于根据预设映射关系,获取与所述一个或多个关键词关联的标签信息;
第二获取子模块333,用于根据所述标签信息从本地数据库中获取对应的增强现实虚拟模型。
在一些实施例中,参考图7,模型获取模块33可以包括:
划分子模块334,用于根据所述图像特征信息将所述原始图像划分为多个区域;
选取子模块335,用于从所述多个区域中选取目标区域;
确定子模块,用于从所述原始图像对应的特征信息中,确定目标区域对应的目标特征信息336;
第三获取子模块337,用于根据目标特征信息,从本地数据库中获取对应的增强现实虚拟模型。
由上可知,本申请实施例提供的图像处理装置,通过获取原始图像;对所述原始图像进行识别,得到所述原始图像的特征信息;根据所述特征信息,从本地数据库中获取对应的增强现实虚拟模型,得到虚拟模型集合;在预设显示区域中显示所述虚拟模型集合中的增强现实虚拟模型。本申请方案可以根据待处理图像的特征信息,从数据库中筛选出与该待处理图像匹配的增强现实虚拟模型,以供对该待处理图像进行处理,从而提升贴图效率。
在本申请又一实施例中还提供一种电子设备,该电子设备可以是智能手机、平板电脑等设备。如图8所示,电子设备400包括处理器401及存储器402。其中,处理器401与存储器402电性连接。
处理器401是电子设备400的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器402内的应用,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
在本实施例中,电子设备400中的处理器401会按照如下的步骤,将一个或一个以上的应用的进程对应的指令加载到存储器402中,并由处理器401来运行存储在存储器402中的应用,从而实现各种功能:
获取原始图像;
对所述原始图像进行识别,得到所述原始图像的特征信息;
根据所述特征信息,从本地数据库中获取对应的增强现实虚拟模型,得到虚拟模型集合;
在预设显示区域中显示所述虚拟模型集合中的增强现实虚拟模型。
在一些实施例中,在根据所述特征信息,从本地数据库中获取对应的增强现实虚拟模型时,处理器401具体可以用于执行以下步骤:
基于所述特征信息生成一个或多个关键词;
根据预设映射关系,获取与所述一个或多个关键词关联的标签信息;
根据所述标签信息从本地数据库中获取对应的增强现实虚拟模型。
在一些实施例中,在基于所述特征信息生成一个或多个关键词时,处理器401可以用于执行以下步骤:
确定所述特征信息所属的特征类型;
根据所述特征信息及所属的特征类型,生成一个或多个关键词。
在一些实施例中,在预设显示区域中显示所述虚拟模型集合中的增强现实虚拟模型时,处理器401可以用于执行以下步骤:
确定所述虚拟模型集合中,每一增强现实虚拟模型对应的所述标签信息的数量;
根据所述数量对所述虚拟模型集合中的增强现实虚拟模型进行排序;
按照排序结果,在预设显示区域中显示所述虚拟模型集合中的增强现实虚拟模型。
在一些实施例中,在根据所述特征信息,从本地数据库中获取对应的增强现实虚拟模型时,处理器401具体可以用于执行以下步骤:
根据所述图像特征信息将所述原始图像划分为多个区域;
从所述多个区域中选取目标区域;
从所述原始图像对应的特征信息中,确定目标区域对应的目标特征信息;
根据目标特征信息,从本地数据库中获取对应的增强现实虚拟模型。
在一些实施例中,该特征信息包括多个图像特征;在预设显示区域中显示所述虚拟模型集合中的增强现实虚拟模型时,处理器401可以用于执行以下步骤:
获取多个图像特征对应的优先等级信息;
按照所述优先等级信息,在预设显示区域中显示所述虚拟模型集合中的增强现实虚拟模型。
在一些实施例中,若未在本地数据库中获取到对应的增强现实虚拟模型,则处理器401还可以用于执行以下步骤:
向服务器发送数据更新请求;
接收所述服务器根据所述数据更新请求返回的新增数据,并基于所述新增数据更新本地数据库,其中,所述新增数据包括:新增的增强现实虚拟模型;
根据所述特征信息,从所述新增的增强现实虚拟模型中选取对应的增强现实虚拟模型,以得到虚拟模型集合;
在预设显示区域中显示所述虚拟模型集合中的增强现实虚拟模型。
存储器402可用于存储应用和数据。存储器402存储的应用中包含有可在处理器中执行的指令。应用可以组成各种功能模块。处理器401通过运行存储在存储器402的应用,从而执行各种功能应用以及数据处理。
在一些实施例中,如图9所示,电子设备400还包括:显示屏403、控制电路404、射频电路405、输入单元406、音频电路407、传感器408以及电源409。其中,处理器401分别与显示屏403、控制电路404、射频电路405、输入单元406、音频电路407、传感器408以及电源409电性连接。
显示屏403可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。例如,显示屏403可以包括上述预设显示区域,以用于显示虚拟模型集合中的增强现实虚拟模型。
控制电路404与显示屏403电性连接,用于控制显示屏403显示信息。
射频电路405用于收发射频信号,以通过无线通信与网络设备或其他电子设备建立无线通讯,与网络设备或其他电子设备之间收发信号。
输入单元406可用于接收输入的数字、字符信息或用户特征信息(例如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中,输入单元406可以包括指纹识别模组。
音频电路407可通过扬声器、传声器提供用户与电子设备之间的音频接口。
传感器408用于采集外部环境信息。传感器408可以包括环境亮度传感器、加速度传感器、光传感器、运动传感器、以及其他传感器。
电源409用于给电子设备400的各个部件供电。在一些实施例中,电源409可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图9中未示出,电子设备400还可以包括摄像头、蓝牙模块等,在此不再赘述。
由上可知,本申请实施例提供的电子设备,通过获取原始图像;对所述原始图像进行识别,得到所述原始图像的特征信息;根据所述特征信息,从本地数据库中获取对应的增强现实虚拟模型,得到虚拟模型集合;在预设显示区域中显示所述虚拟模型集合中的增强现实虚拟模型。本申请方案可以根据待处理图像的特征信息,从数据库中筛选出与该待处理图像匹配的增强现实虚拟模型,以供对该待处理图像进行处理,从而提升贴图效率。
在一些实施例中,还提供了一种存储介质,该存储介质中存储有多条指令,该指令适于由处理器加载以执行上述任一图像处理方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,RandomAccess Memory)、磁盘或光盘等。
在描述本申请的概念的过程中使用了术语“一”和“所述”以及类似的词语(尤其是在所附的权利要求书中),应该将这些术语解释为既涵盖单数又涵盖复数。此外,除非本文中另有说明,否则在本文中叙述数值范围时仅仅是通过快捷方法来指代属于相关范围的每个独立的值,而每个独立的值都并入本说明书中,就像这些值在本文中单独进行了陈述一样。另外,除非本文中另有指明或上下文有明确的相反提示,否则本文中所述的所有方法的步骤都可以按任何适当次序加以执行。本申请的改变并不限于描述的步骤顺序。除非另外主张,否则使用本文中所提供的任何以及所有实例或示例性语言(例如,“例如”)都仅仅为了更好地说明本申请的概念,而并非对本申请的概念的范围加以限制。在不脱离精神和范围的情况下,所属领域的技术人员将易于明白多种修改和适应。
以上对本申请实施例所提供的图像处理方法、装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像处理方法,应用于电子设备,其特征在于,包括:
通过图像处理应用获取原始图像;
对所述原始图像进行识别,得到所述原始图像的特征信息;
根据所述特征信息,从本地数据库中获取对应的增强现实虚拟模型,包括:基于所述特征信息生成一个或多个关键词;根据预设映射关系,获取与所述一个或多个关键词关联的标签信息;根据所述标签信息从本地数据库中获取对应的增强现实虚拟模型,得到虚拟模型集合,所述本地数据库用于提供其他图像处理应用访问权限,以使所述本地数据库中的增强现实虚拟模型被不同的图像处理应用访问和调用,实现增强现实虚拟模型数据共享;
在预设显示区域中显示所述虚拟模型集合中的增强现实虚拟模型,具体包括:将所述增强现实虚拟模型叠加至所述原始图像,以与所述特征信息所在的图像区域配合显示。
2.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述特征信息生成一个或多个关键词,包括:
确定所述特征信息所属的特征类型;
根据所述特征信息及所属的特征类型,生成一个或多个关键词。
3.根据权利要求1所述的图像处理方法,其特征在于,所述在预设显示区域中显示所述虚拟模型集合中的增强现实虚拟模型,包括:
确定所述虚拟模型集合中,每一增强现实虚拟模型对应的所述标签信息的数量;
根据所述数量对所述虚拟模型集合中的增强现实虚拟模型进行排序;
按照排序结果,在预设显示区域中显示所述虚拟模型集合中的增强现实虚拟模型。
4.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述特征信息,从本地数据库中获取对应的增强现实虚拟模型,包括:
根据所述特征信息将所述原始图像划分为多个区域;
从所述多个区域中选取目标区域;
从所述原始图像对应的特征信息中,确定目标区域对应的目标特征信息;
根据目标特征信息,从本地数据库中获取对应的增强现实虚拟模型。
5.根据权利要求1所述的图像处理方法,其特征在于,所述特征信息包括多个图像特征;所述在预设显示区域中显示所述虚拟模型集合中的增强现实虚拟模型,包括:
获取多个图像特征对应的优先级信息;
按照所述优先级信息,在预设显示区域中显示所述虚拟模型集合中的增强现实虚拟模型。
6.根据权利要求1-5任一项所述的图像处理方法,其特征在于,还包括:
若未在本地数据库中获取到对应的增强现实虚拟模型,则向服务器发送数据更新请求;
接收所述服务器根据所述数据更新请求返回的新增数据,并基于所述新增数据更新本地数据库,其中,所述新增数据包括:新增的增强现实虚拟模型;
根据所述特征信息,从所述新增的增强现实虚拟模型中选取对应的增强现实虚拟模型,以得到虚拟模型集合;
在预设显示区域中显示所述虚拟模型集合中的增强现实虚拟模型。
7.一种图像处理装置,应用于电子设备,其特征在于,包括:
图像获取模块,用于通过图像处理应用获取原始图像;
识别模块,用于对所述原始图像进行识别,得到所述原始图像的特征信息;
模型获取模块,用于基于所述特征信息生成一个或多个关键词,所述模型获取模块包括:
生成子模块,用于基于所述特征信息生成一个或多个关键词;
第一获取子模块,用于根据预设映射关系,获取与所述一个或多个关键词关联的标签信息;
第二获取子模块,用于根据所述标签信息从本地数据库中获取对应的增强现实虚拟模型,得到虚拟模型集合,所述本地数据库用于提供其他图像处理应用访问权限,以使所述本地数据库中的增强现实虚拟模型被不同的图像处理应用访问和调用,实现增强现实虚拟模型数据共享;
显示模块,用于在预设显示区域中显示所述虚拟模型集合中的增强现实虚拟模型,具体包括:将所述增强现实虚拟模型叠加至所述原始图像,以与所述特征信息所在的图像区域配合显示。
8.如权利要求7所述的图像处理装置,其特征在于,所述模型获取模块包括:
划分子模块,用于根据所述特征信息将所述原始图像划分为多个区域;
选取子模块,用于从所述多个区域中选取目标区域;
确定子模块,用于从所述原始图像对应的特征信息中,确定目标区域对应的目标特征信息;
第三获取子模块,用于根据目标特征信息,从本地数据库中获取对应的增强现实虚拟模型。
9.一种存储介质,其特征在于,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行如权利要求1-6中任一项所述的图像处理方法。
10.一种电子设备,其特征在于,包括处理器及存储器,所述处理器与所述存储器电性连接,所述存储器用于存储指令和数据;所述处理器用于执行如权利要求1-6中任一项所述的图像处理方法。
CN201810858173.5A 2018-07-31 2018-07-31 图像处理方法、装置、存储介质及电子设备 Active CN109087376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810858173.5A CN109087376B (zh) 2018-07-31 2018-07-31 图像处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810858173.5A CN109087376B (zh) 2018-07-31 2018-07-31 图像处理方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN109087376A CN109087376A (zh) 2018-12-25
CN109087376B true CN109087376B (zh) 2021-06-15

Family

ID=64831112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810858173.5A Active CN109087376B (zh) 2018-07-31 2018-07-31 图像处理方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN109087376B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111435550A (zh) * 2019-01-11 2020-07-21 北京市商汤科技开发有限公司 图像处理方法及装置、图像设备及存储介质
CN110188595A (zh) * 2019-04-12 2019-08-30 淮阴工学院 一种基于ar和cnn算法的动物园游览系统及游览方法
CN112463268A (zh) * 2019-09-06 2021-03-09 北京字节跳动网络技术有限公司 应用数据处理方法、装置、设备及存储介质
US11380037B2 (en) 2019-10-30 2022-07-05 Tencent Technology (Shenzhen) Company Limited Method and apparatus for generating virtual operating object, storage medium, and electronic device
CN110755847B (zh) * 2019-10-30 2021-03-16 腾讯科技(深圳)有限公司 虚拟操作对象的生成方法和装置、存储介质及电子装置
CN111652979A (zh) * 2020-05-06 2020-09-11 福建工程学院 一种实现ar的方法和系统
CN111815782A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 Ar场景内容的显示方法、装置、设备及计算机存储介质
CN111915744A (zh) * 2020-08-31 2020-11-10 深圳传音控股股份有限公司 增强现实图像的交互方法、终端和存储介质
CN112489222A (zh) * 2020-11-13 2021-03-12 贵州电网有限责任公司 基于ar的信息化机房作业信息融合体系构建方法
CN112449116B (zh) * 2020-11-27 2022-08-05 维沃移动通信有限公司 图像处理方法、装置、电子设备和可读存储介质
CN117745988A (zh) * 2023-12-20 2024-03-22 亮风台(上海)信息科技有限公司 一种用于呈现ar标签信息的方法与设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194007B (zh) * 2011-05-31 2014-12-10 中国电信股份有限公司 获取移动增强现实信息的系统和方法
US9413784B2 (en) * 2013-09-06 2016-08-09 Microsoft Technology Licensing, Llc World-driven access control
CN104050475A (zh) * 2014-06-19 2014-09-17 樊晓东 基于图像特征匹配的增强现实的系统和方法
WO2017177019A1 (en) * 2016-04-08 2017-10-12 Pcms Holdings, Inc. System and method for supporting synchronous and asynchronous augmented reality functionalities
CN106202269A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 一种获取增强现实操作指导的方法、装置及移动终端
CN106127829B (zh) * 2016-06-28 2020-06-30 Oppo广东移动通信有限公司 一种增强现实的处理方法、装置及终端

Also Published As

Publication number Publication date
CN109087376A (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
CN109087376B (zh) 图像处理方法、装置、存储介质及电子设备
JP7058760B2 (ja) 画像処理方法およびその、装置、端末並びにコンピュータプログラム
CN113475092B (zh) 一种视频处理方法和移动设备
CN115103106A (zh) 一种控制方法、电子设备、计算机可读存储介质、芯片
CN111541907B (zh) 物品显示方法、装置、设备及存储介质
CN114127713A (zh) 一种图像显示方法与电子设备
CN110650379B (zh) 视频摘要生成方法、装置、电子设备及存储介质
CN109891466A (zh) 3d模型的增强扫描
JP2016531362A (ja) 肌色調整方法、肌色調整装置、プログラム及び記録媒体
CN112287852B (zh) 人脸图像的处理方法、显示方法、装置及设备
CN109086680A (zh) 图像处理方法、装置、存储介质和电子设备
CN108921941A (zh) 图像处理方法、装置、存储介质和电子设备
CN110290426B (zh) 展示资源的方法、装置、设备及存储介质
CN112257552B (zh) 图像处理方法、装置、设备及存储介质
CN109033393B (zh) 贴纸处理方法、装置、存储介质及电子设备
CN111339938A (zh) 信息交互方法、装置、设备及存储介质
CN115484403B (zh) 录像方法和相关装置
CN113810588B (zh) 一种图像合成方法、终端及存储介质
CN111526287A (zh) 图像拍摄方法、装置、电子设备、服务器、系统及存储介质
CN111800569A (zh) 拍照处理方法、装置、存储介质及电子设备
CN114979465B (zh) 视频处理方法、电子设备及可读介质
CN113987326B (zh) 资源推荐方法、装置、计算机设备及介质
CN115115679A (zh) 一种图像配准方法及相关设备
CN113032587A (zh) 多媒体信息推荐方法、系统、装置、终端和服务器
CN112258385B (zh) 多媒体资源的生成方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant