CN108537149B - 图像处理方法、装置、存储介质及电子设备 - Google Patents

图像处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN108537149B
CN108537149B CN201810253987.6A CN201810253987A CN108537149B CN 108537149 B CN108537149 B CN 108537149B CN 201810253987 A CN201810253987 A CN 201810253987A CN 108537149 B CN108537149 B CN 108537149B
Authority
CN
China
Prior art keywords
image
information
environment
scene
application program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810253987.6A
Other languages
English (en)
Other versions
CN108537149A (zh
Inventor
王健
邹奎
谭筱
蓝和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810253987.6A priority Critical patent/CN108537149B/zh
Publication of CN108537149A publication Critical patent/CN108537149A/zh
Application granted granted Critical
Publication of CN108537149B publication Critical patent/CN108537149B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Abstract

本申请实施例公开了一种图像处理方法,应用于电子设备,所述方法包括获取环境图像,所述环境图像为电子设备对环境区域获取的图像;对环境图像中的物体图像进行图像识别,获取识别后的物体图像对应的物体信息,其中物体信息包括物体图像对应物体的范围信息以及物体所属的属性信息的至少一种;确定与物体信息对应的应用程序,根据环境图像以及物体信息建立与应用程序的内容相关的虚拟场景图像。本申请实施例中的图像处理方法可以主动根据所获得的现实场景,智能地识别出与该现实场景中的物体,并根据场景中不同物体运行对应的不同的增强现实应用程序,可以拓展增强现实技术的应用形式,并使得增强现实技术的应用更加有针对性。

Description

图像处理方法、装置、存储介质及电子设备
技术领域
本申请涉及通信技术领域,尤其涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
增强现实技术(Augmented Reality,AR)是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、三维模型的技术。把真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在,把虚拟世界融合在现实世界并进行互动。
AR技术是将真实的环境和虚拟的物体实时地叠加到同一个画面或空间的技术。相关技术中,AR通过识别特定物品上的图像信息,之后将该图像信息所对应的物品三维模型渲染到现实场景中。然而这种AR技术需要特定物品才能实现,其应用形式单一,应用内容局限性大。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备,可以拓展增强现实技术在具体场景中的应用形式。
本申请实施例提供一种图像处理方法,应用于电子设备,所述方法包括:
获取环境图像,所述环境图像为电子设备对环境区域获取的图像,所述环境图像包括物体图像,所述物体图像为所述物体在所述环境图像中对应的图像;
对所述环境图像中的物体图像进行图像识别,获取所述识别后的所述物体图像对应的物体信息,其中所述物体信息包括所述物体图像对应物体的范围信息以及所述物体所属的属性信息的至少一种;
确定与所述物体信息对应的应用程序,根据所述环境图像以及所述物体信息建立与所述应用程序的内容相关的虚拟场景图像。
本申请实施例提供了一种图像处理装置,应用于电子设备,所述装置包括:
图像获取模块,用于获取环境图像,所述环境图像为电子设备对环境区域获取的图像,所述环境图像包括物体图像,所述物体图像为所述物体在所述环境图像中对应的图像;
信息获取模块,用于对所述环境图像中的物体图像进行图像识别,获取所述识别后的所述物体图像所述物体信息,其中所述物体信息包括所述物体图像对应物体的范围信息以及所述物体所属的属性信息的至少一种;以及
图像建立模块,用于确定与所述物体信息对应的应用程序,根据所述环境图像以及所述物体信息建立与所述应用程序的内容相关的虚拟场景图像。
本申请实施例还提供了一种存储介质,所述存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如上实施例所述的图像处理方法。
本申请实施例还提供了一种电子设备,所述电子设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行如上实施例所述的图像处理方法。
本申请实施例公开了一种图像处理方法、装置、存储介质及电子设备。该图像处理方法通过获取环境图像,并对环境图像中的物体图像进行图像识别,获取识别后的物体图像对应的物体信息,最后确定与物体信息对应的应用程序,根据环境图像以及物体信息建立与应用程序的内容相关的虚拟场景图像。本申请实施例中的图像处理方法可以主动根据所获得的现实场景,智能地识别出与该现实场景中的物体,并根据场景中不同物体运行对应的不同的增强现实应用程序,可以拓展增强现实技术的应用形式,并使得增强现实技术的应用更加有针对性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像处理方法的实现流程示意图。
图2是本申请实施例提供的建立虚拟场景图像的实现流程示意图。
图3是本申请实施例提供的确定应用程序的实现流程示意图。
图4是本申请实施例提供的图像处理装置的结构示意图。
图5是本申请实施例提供的图像建立模块的结构示意图。
图6是本申请实施例提供的电子设备的一种结构示意图。
图7是本申请实施例提供的电子设备的另一种结构示意图。
具体实施方式
请参照图式,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
本文所使用的术语“模块”可为在该运算系统上执行的软件对象。本文所述的不同组件、模块、引擎及服务可为在该运算系统上的实施对象。而本文所述的装置及方法可以以软件的方式进行实施,当然也可在硬件上进行实施,均在本申请保护范围之内。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备。以下将分别进行详细说明。该天线组件可以设置在该电子设备中,该电子设备可以是智能手机、平板电脑等设备。
本申请实施例中的电子设备,可以包括智能手机(Smart Phone),或者具有无线通信模块的便携式计算机,例如,平板电脑(Tablet Computer)、笔记本电脑(Laptop)等,还可以是穿戴式、手持式的计算机,如智能穿戴设备(Smart wearer)、个人数字助理(PersonalDigital Assistant,PDA)等设备,在此不作限定。
当该方法应用在该电子设备时,其中,该图像处理方法可运行在电子设备的操作系统中,可包括但不限于Windows操作系统、Mac OS操作系统、Android操作系统、IOS操作系统、Linux操作系统、Ubuntu操作系统、Windows Phone操作系统等等,本申请实施例不作限定。本申请实施例提供一种图像处理方法、装置、存储介质及电子设备。以下将分别进行详细说明。
请参阅图1,图中为本申请实施例提供的一种图像处理方法的实现流程。
如图1所示,该方法应用于如上实施例所述的电子设备,可以包括如下步骤:
101、获取环境图像,所述环境图像为电子设备对环境区域获取的图像,所述环境图像包括物体图像。
其中,该环境图像中的物体位置与现实中的物体位置对应。该物体图像,也即物体图像为物体在环境图像中对应的图像。其中,该环境图像可以包含一个或多个相同或不同物体对应的物体图像。
在一些实施例中,可以通过电子设备上的摄像装置,对该摄像装置镜头所能获得的图像获取范围内的物体进行图像获取。或者是通过外部的摄像装置将所获得的图像传输到该电子设备中,具体环境图像获取的实现方式可以根据实际情况而定。
102、对环境图像中的物体图像进行图像识别,获取识别后的物体图像对应的物体信息。
在一些实施例中,对环境图像中的物体图像进行图像识别,可以采用预设的物体特征数据库,对环境图像中的物体进行匹配。具体的,可以先获取环境图像中各物体的特征数据,然后将各物体的特征数据与物体特征数据库中的特征数据进行匹配。
例如,该物体的特征数据包括物体的颜色、轮廓(包含物体的特征比例、大小等)特征数据,通过物体识别算法将该物体的颜色、轮廓等特征数据与物体特征数据库中的每一物体的颜色、轮廓等特征数据进行匹配。
可以理解的,具体的物体识别算法以及特征数据库中的特征数据可以参照现有技术中的解决技术方案,可实现本申请中的物体识别效果即可。
在一些实施例中,物体信息包括物体图像对应物体的范围信息以及物体所属的属性信息的至少一种。
具体的,该物体的范围信息,可以是该物体图像在环境图像中所占用的范围。例如,若该物体是“篮球”,则可以将该“篮球”在环境图像中所占的长度、宽度或者具体面积作为该物体的范围信息。该范围信息可以根据该物体的颜色、轮廓(包含物体的特征比例、大小等)特征数据来对物体在环境图像中所占的位置进行划分及确定。
该物体的属性信息,可以包括物体的文字名称、种类等,当识别出该物体后,可通过物体特征数据库中该物体对应的文字名称、种类等信息获得与物体匹配的物体信息。或者通过电子设备里另一预存有物体信息的信息数据库中匹配获得该物体的物体信息。又或者将电子设备进行联网,从物联网上获取与该物体匹配的物体信息。
例如,当识别出该物体为“苹果”后,即可从物体特征数据库中/另一信息数据库/互联网上获取到该“苹果”的文字名称、种类等。
103、确定与物体信息对应的应用程序,根据环境图像以及物体信息建立与应用程序的内容相关的虚拟场景图像。
在一些实施例中,确定与物体信息对应的应用程序,可以根据该物体信息确定该物体的类别或者特定的名称等,来寻找对应的应用程序。
例如,若该物体的物体信息显示该物体是“篮球场”,则可以根据该“篮球场”的信息寻找对应的应用程序,如“篮球类角色扮演游戏”。又例如,若该物体的物体信息显示该物体是“苹果”,则可以根据该“苹果”的信息寻找对应的应用程序,如“切苹果教程”。如此可以根据环境图像中不同物体的物体信息来寻找不同的应用程序。
在一些实施例中,当确定该物体的物体信息,并通过该物体信息确定对应的应用程序的过程中,可以将备选的多个应用程序通过列表或者图标的形式展示出来。该应用程序可以是根据该物体信息选择出来的内容相近的、包含该物体信息关键字的应用程序,以供用户进行选择。
例如,若该物体的物体信息显示该物体是“篮球场”,若有多个增强现实应用程序接近该场景,如“篮球类角色扮演游戏”、“运球教学展示”以及“射球练习助手”等三个应用程序,则可以将这三个应用程序的图标或者名称同时进行展示。
当确定了物体信息对应的应用程序后,可以根据环境图像以及物体信息建立与应用程序的内容相关的虚拟场景图像。
在一些实施例中,该虚拟场景图像可以在环境图像的基础上进行渲染,如当根据该物体信息确定了该物体的位置后,可以将该增强现实应用中需要出现的场景与该环境图像进行结合,以实现增强现实的功能。
例如,若该物体的物体信息显示该物体是“篮球场”,则可以根据该“篮球场”的具体位置将增强现实游戏应用中的“篮球角色”、“篮球”以及“分数板”等物件在该“篮球场”的区域范围内进行显示,以使得用户可以在该环境图像中的“篮球场”上进行增强现实游戏。
当然,具体的实现方式可以根据实际情况而定,本申请对此不作限定。
由上可知,该图像处理方法通过获取环境图像,并对环境图像中的物体图像进行图像识别,获取识别后的物体图像对应的物体信息,最后确定与物体信息对应的应用程序,根据环境图像以及物体信息建立与应用程序的内容相关的虚拟场景图像。本申请实施例中的图像处理方法可以主动根据所获得的现实场景,智能地识别出与该现实场景中的物体,并根据场景中不同物体运行对应的不同的增强现实应用程序,可以拓展增强现实技术的应用形式,并使得增强现实技术的应用更加有针对性。
请参阅图2,图中示出了本申请实施例提供的建立虚拟场景图像的实现流程,该物体信息包括范围信息以及属性信息,该流程包括以下步骤:
201、根据范围信息,确定在环境图像中物体图像对应的场景范围。
其中,该场景范围为物体在环境图像中所占用的图像范围。
在一些实施例中,确定环境图像内物体图像对应的场景范围,可以是通过物体的颜色、轮廓(包含物体的特征比例、大小等)等特征数据确定该物体在图像中所占的范围。
具体的,物体在图像中的范围,可以通过在图像中显示的特征,如颜色、轮廓等来确定该特征是否是属于某物体,当确定这些图像中显示的特征属于该物体后,可以根据该物体的这些特征确定物体在图像中的范围。
例如,将图像中显示为红色且轮廓属于苹果的图像特征确定该物体为“苹果”,然后根据图像中苹果对应的颜色、轮廓范围可以确定苹果在图像中的范围。
又例如,当确定该物体是“篮球场”后,可以根据“篮球场”的特征(篮球架位置、界限等)来确定该“篮球场”的场景范围。
可以理解的,该物体的范围还可以采用其他手段进行确认。
202、根据属性信息,获取与属性信息对应的物体的预设模型图像。
其中,属性信息可以包括物体的文字名称、种类等。预设模型图像可以是通过3D建模等手段建立的与物体相关的模型图像,如“篮球架”的模型等。
在一些实施例中,获取与属性信息对应的物体的预设模型图像,可以通过预存在电子设备上的数据获取对应的模型图像。或者将电子设备与服务器进行连接,从服务器上获取相对应的模型图像。
203、根据场景范围与预设模型图像建立与物体图像对应的虚拟场景图像。
在一些实施例中,因为需要实现增强现实,有时在环境图像中附加的模型图像可能会与现实物体的位置不符,使得图像容易与现实物体的位置脱节,降低了图像的真实性。为了解决上述问题,可以包括以下步骤:获得场景范围内的范围图像;在范围图像中将物体图像替换为预设模型图像,获得处理后的图像;将处理后的图像作为虚拟场景图像。
具体的,可以先确定该范围图像中物体图像的显示范围,并将所获得的物体对应的预设模型图像替换至该物体图像中。进一步的,在替换的过程中,可以先确定物体图像的显示视角,并将需要将其替换的预设模型图像的显示视角调整为与该物体图像相对应,以保证替换后的图像与原有的图像相一致,可以提高其增强环境图像的真实度。
例如,在“篮球场”的物体图像中,因为附加的虚拟模型容易与现实中的篮球场的物体脱节,如虚拟人物在扣篮时,所扣的位置与篮球架不符。此时可以将篮球架替换为预设模型图像,并根据该预设模型图像与虚拟人物进行结合,以提高该增强现实的图像表现力。
在一些实施例中,除了在范围图像中将物体图像替换为预设模型图像,还可以在该范围图像中增加其他虚拟物体的图像。当然,具体实现方式可以根据实际情况而定。
在一些实施例中,将处理后的图像作为虚拟场景图像,可以是基于该处理后的图像进行3D建模,具体方式可以采用常用技术实现。
在一些实施例中,在处理后的图像作为虚拟场景图像之后,可以生成应用程序所需的虚拟物体,将虚拟物体在所述处理后的图像对应的范围内进行显示。如此可以结合实际的环境图像中的场景范围,提供更加真实、融合自然的增强现实体验,且只在该范围将虚拟物体的图像进行处理、显示,可以降低电子设备的图像处理资源,提高电子设备的处理能力。
例如,在“篮球场”的物体图像中,则可以根据该“篮球场”的具体位置将增强现实游戏应用中的“篮球角色”、“篮球”以及“分数板”等物件在该“篮球场”的区域范围内进行显示,以使得用户可以在该环境图像中的“篮球场”上进行增强现实游戏。
由上可知,通过该建立虚拟场景图像的实施例,可以将现实中的物体图像与预设模型图像进行替换,以配合增加的虚拟物体之间的图像配合度,使得所建立的虚拟场景图像更加真实,提高该增强现实的图像表现力。
请参阅图3,图中示出了本申请实施例提供的确定应用程序的实现流程,该流程包括以下步骤:
301、获取应用程序的运行场景信息,将运行场景信息与物体图像的属性信息进行匹配。
其中,环境图像中的物体信息包括属性信息。
在一些实施例中,应用程序可以包含有运行场景信息,该运行场景信息用于限定应用程序的运行场景。
例如一款“篮球类角色扮演游戏”的增强现实应用,可以将其运行场景信息预设为“篮球场”,以当用户在拍摄到包含篮球场的环境图像后,可以主动被选取出来,并根据用户的选择运行该应用程序,而在用户拍摄到不包含篮球场的环境图像时,使得该应用程序不能被选取或者不能被运行。
在一些实施例中,在获取应用程序的运行场景信息之前,可以通过获取应用程序的内容类型,根据内容类型确定应用程序的运行场景信息。
其中,该应用程序的内容类型,可以是人为设定的信息,也可以是通过检测所确定的内容类型。
当确定该应用程序的内容类型后,可以根据该内容类型生成相应的运行场景信息,并将该运行场景信息与应用程序进行绑定。如“篮球类角色扮演游戏”的内容类型是“篮球”,通过该内容类型生成的运行场景信息为“篮球场”。
当然,具体的实现手段可以根据实际情况而定,本申请在此不作限定。
302、若匹配成功,则确定匹配成功的应用程序为与物体信息对应的应用程序。
当匹配成功后,可以确定包含该与物体信息匹配成功的运行场景信息的应用程序为用户所需的打开的应用程序。
由上可知,通过将运行场景信息与物体图像的属性信息进行匹配,若匹配成功,则确定匹配成功的应用程序为与物体信息对应的应用程序,可以提高应用程序的启动准确度,使得用户可以拍摄不同的物体后,快速确定用户所需要启动的增强现实应用,提高电子设备的数据处理速度。
请参阅图4,图中示出了本申请实施例提供的一种图像处理装置的结构,该装置包括图像获取模块401、信息获取模块402以及图像建立模块403。具体的:
图像获取模块401,用于获取环境图像,所述环境图像为电子设备对环境区域获取的图像,所述环境图像包括物体图像;
其中,该环境图像中的物体位置与现实中的物体位置对应。该物体图像,也即物体图像为物体在环境图像中对应的图像。其中,该环境图像可以包含一个或多个相同或不同物体对应的物体图像。
在一些实施例中,可以通过电子设备上的摄像装置,对该摄像装置镜头所能获得的图像获取范围内的物体进行图像获取。或者是通过外部的摄像装置将所获得的图像传输到该电子设备中,具体环境图像获取的实现方式可以根据实际情况而定。
信息获取模块402,用于对环境图像中的物体图像进行图像识别,获取识别后的物体图像物体信息,其中物体信息包括物体图像对应物体的范围信息以及物体所属的属性信息的至少一种。
在一些实施例中,对环境图像中的物体图像进行图像识别,可以采用预设的物体特征数据库,对环境图像中的物体进行匹配。具体的,可以先获取环境图像中各物体的特征数据,然后将各物体的特征数据与物体特征数据库中的特征数据进行匹配。
可以理解的,具体的物体识别算法以及特征数据库中的特征数据可以参照现有技术中的解决技术方案,可实现本申请中的物体识别效果即可。
在一些实施例中,物体信息包括物体图像对应物体的范围信息以及物体所属的属性信息的至少一种。
该物体的属性信息,可以包括物体的文字名称、种类等,当识别出该物体后,可通过物体特征数据库中该物体对应的文字名称、种类等信息获得与物体匹配的物体信息。或者通过电子设备里另一预存有物体信息的信息数据库中匹配获得该物体的物体信息。又或者将电子设备进行联网,从物联网上获取与该物体匹配的物体信息。
图像建立模块403,用于确定与物体信息对应的应用程序,根据环境图像以及物体信息建立与应用程序的内容相关的虚拟场景图像。
在一些实施例中,确定与物体信息对应的应用程序,可以根据该物体信息确定该物体的类别或者特定的名称等,来寻找对应的应用程序。
在一些实施例中,当确定该物体的物体信息,并通过该物体信息确定对应的应用程序的过程中,可以将备选的多个应用程序通过列表或者图标的形式展示出来。该应用程序可以是根据该物体信息选择出来的内容相近的、包含该物体信息关键字的应用程序,以供用户进行选择。
当确定了物体信息对应的应用程序后,可以根据环境图像以及物体信息建立与应用程序的内容相关的虚拟场景图像。
在一些实施例中,该虚拟场景图像可以在环境图像的基础上进行渲染,如当根据该物体信息确定了该物体的位置后,可以将该增强现实应用中需要出现的场景与该环境图像进行结合,以实现增强现实的功能。
当然,具体的实现方式可以根据实际情况而定,本申请对此不作限定。
由上可知,该图像处理装置通过获取环境图像,并对环境图像中的物体图像进行图像识别,获取识别后的物体图像对应的物体信息,最后确定与物体信息对应的应用程序,根据环境图像以及物体信息建立与应用程序的内容相关的虚拟场景图像。本申请实施例中的图像处理方法可以主动根据所获得的现实场景,智能地识别出与该现实场景中的物体,并根据场景中不同物体运行对应的不同的增强现实应用程序,可以拓展增强现实技术的应用形式,并使得增强现实技术的应用更加有针对性。
请参阅图5,图中示出了本申请实施例提供的一种图像建立模块的结构,该图像建立模块包括范围确定子模块4031、模型获取子模块4032以及图像建立子模块4033。具体的:
范围确定子模块4031,用于根据范围信息,确定在环境图像中物体图像对应的场景范围。
其中,该场景范围为物体在环境图像中所占用的图像范围。
在一些实施例中,确定环境图像内物体图像对应的场景范围,可以是通过物体的颜色、轮廓(包含物体的特征比例、大小等)等特征数据确定该物体在图像中所占的范围。
可以理解的,该物体的范围还可以采用其他手段进行确认。
模型获取子模块4032,用于根据属性信息,获取与属性信息对应的物体的预设模型图像。
其中,属性信息可以包括物体的文字名称、种类等。预设模型图像可以是通过3D建模等手段建立的与物体相关的模型图像,如“篮球架”的模型等。
在一些实施例中,获取与属性信息对应的物体的预设模型图像,可以通过预存在电子设备上的数据获取对应的模型图像。或者将电子设备与服务器进行连接,从服务器上获取相对应的模型图像。
图像建立子模块4033,用于根据场景范围与预设模型图像建立与物体图像对应的虚拟场景图像。
在一些实施例中,因为需要实现增强现实,有时在环境图像中附加的模型图像可能会与现实物体的位置不符,使得图像容易与现实物体的位置脱节,降低了图像的真实性。为了解决上述问题,可以包括以下步骤:获得场景范围内的范围图像;在范围图像中将物体图像替换为预设模型图像,获得处理后的图像;将处理后的图像作为虚拟场景图像。
在一些实施例中,除了在范围图像中将物体图像替换为预设模型图像,还可以在该范围图像中增加其他虚拟物体的图像。当然,具体实现方式可以根据实际情况而定。
在一些实施例中,将处理后的图像作为虚拟场景图像,可以是基于该处理后的图像进行3D建模,具体方式可以采用常用技术实现。
在一些实施例中,在处理后的图像作为虚拟场景图像之后,可以生成应用程序所需的虚拟物体,将虚拟物体在所述处理后的图像对应的范围内进行显示。如此可以结合实际的环境图像中的场景范围,提供更加真实、融合自然的增强现实体验,且只在该范围将虚拟物体的图像进行处理、显示,可以降低电子设备的图像处理资源,提高电子设备的处理能力。
由上可知,该图像建立模块通过该建立虚拟场景图像的实施例,可以将现实中的物体图像与预设模型图像进行替换,以配合增加的虚拟物体之间的图像配合度,使得所建立的虚拟场景图像更加真实,提高该增强现实的图像表现力。
本申请实施例中,所述图像处理装置与上文实施例中的一种图像处理方法属于同一构思,在所述图像处理装置上可以运行所述图像处理方法实施例中提供的任一方法,其具体实现过程详见所述图像处理方法实施例,并可以采用任意结合形成本申请的可选实施例,此处不再赘述。
在本申请又一实施例中还提供一种电子设备,该电子设备可以是智能手机、平板电脑等设备。如图6所示,电子设备500包括处理器501及存储器502。其中,处理器501与存储器502电性连接。
处理器501是电子设备500的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器502内的计算机程序,以及调用存储在存储器502内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
在本实施例中,电子设备500中的处理器501会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器502中,并由处理器501来运行存储在存储器502中的计算机程序,从而实现各种功能:
获取环境图像,所述环境图像为电子设备对环境区域获取的图像,所述环境图像包括物体图像,所述物体图像为所述物体在所述环境图像中对应的图像;
对所述环境图像中的物体图像进行图像识别,获取所述识别后的所述物体图像对应的物体信息,其中所述物体信息包括所述物体图像对应物体的范围信息以及所述物体所属的属性信息的至少一种;
确定与所述物体信息对应的应用程序,根据所述环境图像以及所述物体信息建立与所述应用程序的内容相关的虚拟场景图像。
在一些实施方式中,所述物体信息包括所述范围信息以及所述属性信息;处理器502进一步可以执行以下步骤:
根据所述范围信息,确定在所述环境图像中所述物体图像对应的场景范围;
根据所述属性信息,获取与所述属性信息对应的物体的预设模型图像;
根据所述场景范围与所述预设模型图像建立与所述物体图像对应的虚拟场景图像。
在一些实施方式中,处理器502进一步可以执行以下步骤:
获得所述场景范围内的范围图像;
在所述范围图像中将所述物体图像替换为所述预设模型图像,获得处理后的图像,其中所述预设模型图像的显示视角与所述物体图像的显示视角相同;
将所述处理后的图像作为所述虚拟场景图像。
在一些实施方式中,处理器502进一步可以执行以下步骤:
生成所述应用程序所需的虚拟物体,将所述虚拟物体在所述处理后的图像对应的范围内进行显示。
在一些实施方式中,所述物体信息包括所述属性信息,所述应用程序预设有运行场景信息,所述运行场景信息用于限定所述应用程序的运行场景;处理器502进一步可以执行以下步骤:
获取所述应用程序的运行场景信息,将所述运行场景信息与所述物体图像的属性信息进行匹配;
若匹配成功,则确定所述匹配成功的应用程序为与所述物体信息对应的应用程序。
在一些实施方式中,处理器502进一步可以执行以下步骤:
获取所述应用程序的内容类型,根据所述内容类型确定所述应用程序的运行场景信息。
存储器502可用于存储计算机程序和数据。存储器502存储的计算机程序中包含有可在处理器中执行的指令。计算机程序可以组成各种功能模块。处理器501通过运行存储在存储器502的计算机程序,从而执行各种功能计算机程序以及数据处理。例如:获取环境图像,所述环境图像为电子设备对环境区域获取的图像,所述环境图像包括物体图像,所述物体图像为所述物体在所述环境图像中对应的图像;对所述环境图像中的物体图像进行图像识别,获取所述识别后的所述物体图像对应的物体信息,其中所述物体信息包括所述物体图像对应物体的范围信息以及所述物体所属的属性信息的至少一种;确定与所述物体信息对应的应用程序,根据所述环境图像以及所述物体信息建立与所述应用程序的内容相关的虚拟场景图像。
在一些实施例中,如图7所示,电子设备500还包括:显示屏503、控制电路504、射频电路505、输入单元506、音频电路507、传感器508以及电源509。其中,处理器501分别与显示屏503、控制电路504、射频电路505、输入单元506、音频电路507、传感器508以及电源509电性连接。
显示屏503可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。
控制电路504与显示屏503电性连接,用于控制显示屏503显示信息。
射频电路505用于收发射频信号,以通过无线通信与网络设备或其他电子设备建立无线通讯,与网络设备或其他电子设备之间收发信号。
输入单元506可用于接收输入的数字、字符信息或用户特征信息(例如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中,输入单元506可以包括指纹识别模组。
音频电路507可通过扬声器、传声器提供用户与电子设备之间的音频接口。
传感器508用于采集外部环境信息。传感器508可以包括环境亮度传感器、加速度传感器、光传感器、运动传感器、以及其他传感器。
电源509用于给电子设备500的各个部件供电。在一些实施例中,电源509可以通过电源管理系统与处理器501逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图7中未示出,电子设备400还可以包括摄像头、蓝牙模块等,在此不再赘述。
由上可知,本申请实施例提供的电子设备,通过获取环境图像,并对环境图像中的物体图像进行图像识别,获取识别后的物体图像对应的物体信息,最后确定与物体信息对应的应用程序,根据环境图像以及物体信息建立与应用程序的内容相关的虚拟场景图像。本申请实施例中的图像处理方法可以主动根据所获得的现实场景,智能地识别出与该现实场景中的物体,并根据场景中不同物体运行对应的不同的增强现实应用程序,可以拓展增强现实技术的应用形式,并使得增强现实技术的应用更加有针对性。
在一些实施例中,还提供了一种存储介质,该存储介质中存储有多条指令,该指令适于由处理器加载以执行上述任一图像处理方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,RandomAccess Memory)、磁盘或光盘等。
在描述本申请的概念的过程中使用了术语“一”和“所述”以及类似的词语(尤其是在所附的权利要求书中),应该将这些术语解释为既涵盖单数又涵盖复数。此外,除非本文中另有说明,否则在本文中叙述数值范围时仅仅是通过快捷方法来指代属于相关范围的每个独立的值,而每个独立的值都并入本说明书中,就像这些值在本文中单独进行了陈述一样。另外,除非本文中另有指明或上下文有明确的相反提示,否则本文中所述的所有方法的步骤都可以按任何适当次序加以执行。本申请的改变并不限于描述的步骤顺序。除非另外主张,否则使用本文中所提供的任何以及所有实例或示例性语言(例如,“例如”)都仅仅为了更好地说明本申请的概念,而并非对本申请的概念的范围加以限制。在不脱离精神和范围的情况下,所属领域的技术人员将易于明白多种修改和适应。
以上对本申请实施例所提供的图像处理方法、装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种图像处理方法,应用于电子设备,其特征在于,所述方法包括:
获取环境图像,所述环境图像为电子设备对环境区域获取的图像,所述环境图像包括物体图像,所述物体图像为所述物体在所述环境图像中对应的图像;
对所述环境图像中的物体图像进行图像识别,获取所述识别后的所述物体图像对应的物体信息,其中所述物体信息包括所述物体图像对应物体的范围信息以及所述物体所属的属性信息的至少一种;
确定与所述物体信息对应的应用程序,根据所述环境图像以及所述物体信息建立与所述应用程序的内容相关的虚拟场景图像,其中,所述应用程序的虚拟物体结合所述环境图像显示,所述应用程序的虚拟物体和所述环境图像一起建立所述应用程序的内容相关的虚拟场景图像;
当所述物体图像与所述应用程序的虚拟物体位置不匹配时,将所述物体图像替换为预设模型图像,获得处理后的图像,以使得所述预设模型图像与所述应用程序的虚拟物体位置匹配,将所述处理后的图像作为所述虚拟场景图像。
2.如权利要求1所述的图像处理方法,其特征在于,所述物体信息包括所述范围信息以及所述属性信息;
所述根据所述环境图像以及所述物体信息建立与所述物体图像对应的虚拟场景图像,包括:
根据所述范围信息,确定在所述环境图像中所述物体图像对应的场景范围;
根据所述属性信息,获取与所述属性信息对应的物体的预设模型图像;
根据所述场景范围与所述预设模型图像建立与所述物体图像对应的虚拟场景图像。
3.如权利要求2所述的图像处理方法,其特征在于,所述根据所述场景范围与所述预设模型图像建立与所述物体图像对应的虚拟场景图像,包括:
获得所述场景范围内的范围图像;
在所述范围图像中将所述物体图像替换为所述预设模型图像,获得处理后的图像,其中所述预设模型图像的显示视角与所述物体图像的显示视角相同;
将所述处理后的图像作为所述虚拟场景图像。
4.如权利要求3所述的图像处理方法,其特征在于,在所述根据所述环境图像以及所述物体信息建立与所述应用程序的内容相关的虚拟场景图像之后,还包括:
生成所述应用程序所需的虚拟物体,将所述虚拟物体在所述处理后的图像对应的范围内进行显示。
5.如权利要求1-4任意一项所述的图像处理方法,其特征在于,所述物体信息包括所述属性信息,所述应用程序预设有运行场景信息,所述运行场景信息用于限定所述应用程序的运行场景;
所述确定与所述物体信息对应的应用程序,包括:
获取所述应用程序的运行场景信息,将所述运行场景信息与所述物体图像的属性信息进行匹配;
若匹配成功,则确定所述匹配成功的应用程序为与所述物体信息对应的应用程序。
6.如权利要求5所述的图像处理方法,其特征在于,在所述确定与所述物体信息对应的应用程序之前,包括:
获取所述应用程序的内容类型,根据所述内容类型确定所述应用程序的运行场景信息。
7.一种图像处理装置,其特征在于,所述装置包括:
图像获取模块,用于获取环境图像,所述环境图像为电子设备对环境区域获取的图像,所述环境图像包括物体图像,所述物体图像为所述物体在所述环境图像中对应的图像;
信息获取模块,用于对所述环境图像中的物体图像进行图像识别,获取所述识别后的所述物体图像所述物体信息,其中所述物体信息包括所述物体图像对应物体的范围信息以及所述物体所属的属性信息的至少一种;以及
图像建立模块,用于确定与所述物体信息对应的应用程序,根据所述环境图像以及所述物体信息建立与所述应用程序的内容相关的虚拟场景图像,其中,所述应用程序的虚拟物体结合所述环境图像显示,所述应用程序的虚拟物体和所述环境图像一起建立所述应用程序的内容相关的虚拟场景图像;当所述物体图像与所述应用程序的虚拟物体位置不匹配时,所述图像建立模块还用于将所述物体图像替换为预设模型图像,获得处理后的图像,以使得所述预设模型图像与所述应用程序的虚拟物体位置匹配,将所述处理后的图像作为所述虚拟场景图像。
8.如权利要求7所述的图像处理装置,其特征在于,所述物体信息包括所述范围信息以及所述属性信息,所述图像建立模块,包括:
范围确定子模块,用于根据所述范围信息,确定在所述环境图像中所述物体图像对应的场景范围;
模型获取子模块,用于根据所述属性信息,获取与所述属性信息对应的物体的预设模型图像;以及
图像建立子模块,用于根据所述场景范围与所述预设模型图像建立与所述物体图像对应的虚拟场景图像。
9.如权利要求8所述的图像处理装置,其特征在于,所述图像建立子模块,具体用于:
获得所述场景范围内的范围图像;
在所述范围图像中将所述物体图像替换为所述预设模型图像,获得处理后的图像,其中所述预设模型图像的显示视角与所述物体图像的显示视角相同;
将所述处理后的图像作为所述虚拟场景图像。
10.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行权利要求1-6任意一项所述的图像处理方法。
11.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行权利要求1-6任意一项所述的图像处理方法。
CN201810253987.6A 2018-03-26 2018-03-26 图像处理方法、装置、存储介质及电子设备 Expired - Fee Related CN108537149B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810253987.6A CN108537149B (zh) 2018-03-26 2018-03-26 图像处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810253987.6A CN108537149B (zh) 2018-03-26 2018-03-26 图像处理方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN108537149A CN108537149A (zh) 2018-09-14
CN108537149B true CN108537149B (zh) 2020-06-02

Family

ID=63484797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810253987.6A Expired - Fee Related CN108537149B (zh) 2018-03-26 2018-03-26 图像处理方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN108537149B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109348003A (zh) * 2018-09-17 2019-02-15 深圳市泰衡诺科技有限公司 应用控制方法及装置
CN114721511A (zh) * 2019-04-24 2022-07-08 彼乐智慧科技(北京)有限公司 一种三维物体定位的方法及装置
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013080326A (ja) * 2011-10-03 2013-05-02 Sony Corp 画像処理装置、画像処理方法及びプログラム
US10127724B2 (en) * 2013-01-04 2018-11-13 Vuezr, Inc. System and method for providing augmented reality on mobile devices
US20140267228A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Mapping augmented reality experience to various environments
US9924102B2 (en) * 2013-03-14 2018-03-20 Qualcomm Incorporated Image-based application launcher
CN103489214A (zh) * 2013-09-10 2014-01-01 北京邮电大学 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法
US9704295B2 (en) * 2013-11-05 2017-07-11 Microsoft Technology Licensing, Llc Construction of synthetic augmented reality environment
CN105491365A (zh) * 2015-11-25 2016-04-13 罗军 基于移动终端的图像处理方法、装置及系统
CN106096540B (zh) * 2016-06-08 2020-07-24 联想(北京)有限公司 一种信息处理方法和电子设备
CN106355153B (zh) * 2016-08-31 2019-10-18 上海星视度科技有限公司 一种基于增强现实的虚拟对象显示方法、装置以及系统

Also Published As

Publication number Publication date
CN108537149A (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
CN111556278B (zh) 一种视频处理的方法、视频展示的方法、装置及存储介质
CN109091869B (zh) 虚拟对象的动作控制方法、装置、计算机设备及存储介质
CN108525305B (zh) 图像处理方法、装置、存储介质及电子设备
WO2019184889A1 (zh) 增强现实模型的调整方法、装置、存储介质和电子设备
CN110471858B (zh) 应用程序测试方法、装置及存储介质
CN111603771B (zh) 动画生成方法、装置、设备及介质
US11954200B2 (en) Control information processing method and apparatus, electronic device, and storage medium
CN110163066B (zh) 多媒体数据推荐方法、装置及存储介质
CN109600559B (zh) 一种视频特效添加方法、装置、终端设备及存储介质
CN109426343B (zh) 基于虚拟现实的协作训练方法及系统
CN108628985B (zh) 一种相册的处理方法及移动终端
CN108537149B (zh) 图像处理方法、装置、存储介质及电子设备
US20210152751A1 (en) Model training method, media information synthesis method, and related apparatuses
CN108563327B (zh) 增强现实方法、装置、存储介质及电子设备
CN109495616B (zh) 一种拍照方法及终端设备
CN110852942A (zh) 一种模型训练的方法、媒体信息合成的方法及装置
CN113395542A (zh) 基于人工智能的视频生成方法、装置、计算机设备及介质
CN112156464A (zh) 虚拟对象的二维形象展示方法、装置、设备及存储介质
CN111031391A (zh) 视频配乐方法、装置、服务器、终端及存储介质
CN111815782A (zh) Ar场景内容的显示方法、装置、设备及计算机存储介质
CN112023403B (zh) 基于图文信息的对战过程展示方法及装置
CN111068323B (zh) 智能速度检测方法、装置、计算机设备及存储介质
CN113194329B (zh) 直播互动方法、装置、终端及存储介质
CN112957732B (zh) 搜索方法、装置、终端及存储介质
CN108829600B (zh) 算法库的测试方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200602