CN108525298A - 图像处理方法、装置、存储介质及电子设备 - Google Patents

图像处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN108525298A
CN108525298A CN201810254536.4A CN201810254536A CN108525298A CN 108525298 A CN108525298 A CN 108525298A CN 201810254536 A CN201810254536 A CN 201810254536A CN 108525298 A CN108525298 A CN 108525298A
Authority
CN
China
Prior art keywords
dummy model
image
dimensional coordinate
shadow
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810254536.4A
Other languages
English (en)
Other versions
CN108525298B (zh
Inventor
蓝和
谭筱
王健
邹奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810254536.4A priority Critical patent/CN108525298B/zh
Publication of CN108525298A publication Critical patent/CN108525298A/zh
Application granted granted Critical
Publication of CN108525298B publication Critical patent/CN108525298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6646Methods for processing data by generating or executing the game program for rendering three dimensional images for the computation and display of the shadow of an object or character
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种图像处理方法、装置、存储介质及电子设备,该图像处理方法包括:当将虚拟模型投射在拍摄图像上时,获取该拍摄图像中像素点的亮度值、以及该虚拟模型的二维坐标;根据该亮度值从像素点中确定光源点;根据该光源点和二维坐标确定该虚拟模型在拍摄图像上形成的阴影区域;在该阴影区域内生成该虚拟模型的影子图像,从而能根据实际光照情况较真实地模拟出虚拟模型的影子图像,方法简单,逼真度高。

Description

图像处理方法、装置、存储介质及电子设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
增强现实技术(Augmented Reality,AR)是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、三维模型的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。
AR游戏是将真实的环境和虚拟的物体实时地叠加到同一个画面或空间的电子游戏,可以令使用者充分感知和操控虚拟的立体图像。AR游戏的实现需要有包含摄像头的游戏硬件设备的支持,该硬件设备包括但不限于电脑、手机、游戏主机、AR头盔、AR眼镜等。现有的AR游戏会将虚拟模型,比如帆船、精灵等三维模型投射到现实场景中,且投射过程中为达到逼真效果,往往会在模型正下方生成一团黑影,类似于真实物体在阳光照射下的影子,但目前影子的生成方法过于简单,难以根据实际场景模拟出真实影子效果,三维模型的投射效果不佳。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备,能根据实际光源情况模拟出真实影子效果。
本申请实施例提供了一种图像处理方法,应用于电子设备,包括:
当将虚拟模型投射在拍摄图像上时,获取所述拍摄图像中像素点的亮度值、以及所述虚拟模型的二维坐标;
根据所述亮度值从像素点中确定光源点;
根据所述光源点和二维坐标确定所述虚拟模型在拍摄图像上形成的阴影区域;
在所述阴影区域内生成所述虚拟模型的影子图像。
本申请实施例还提供了一种图像处理装置,应用于电子设备,包括:
获取模块,用于当将虚拟模型投射在拍摄图像上时,获取所述拍摄图像中像素点的亮度值、以及所述虚拟模型的二维坐标;
第一确定模块,用于根据所述亮度值从像素点中确定光源点;
第二确定模块,用于根据所述光源点和二维坐标确定所述虚拟模型在拍摄图像上形成的阴影区域;
生成模块,用于在所述阴影区域内生成所述虚拟模型的影子图像。
进一步地,所述图像处理装置还包括投射模块,用于:
获取拍摄图像上的叠加点和叠加方向、以及虚拟模型的三维坐标;
按照所述叠加方向将虚拟模型叠加在所述拍摄图像上,使所述虚拟模型底部的预设点与所述叠加点重合;
根据所述叠加点的图像坐标将所述三维坐标转化为对应的二维坐标;
根据所述二维坐标对所述虚拟模型进行渲染,以在所述拍摄图像上投射所述虚拟模型。
进一步地,所述第二确定模块具体用于:
确定所述光源点的投射方向;
根据所述投射方向从所述虚拟模型中确定光照射面;
根据所述光照射面上边缘点的二维坐标和光源点确定所述虚拟模型在拍摄图像上形成的阴影区域。
进一步地,所述二维坐标包括横坐标和纵坐标,所述第二确定模块具体用于:
根据所述光照射面上边缘点的纵坐标和光源点的纵坐标确定投影比例;
根据所述投影比例、边缘点的横坐标以及光源点的横坐标确定投影点;
将所述投影点围绕成的区域确定为所述虚拟模型在拍摄图像上形成的阴影区域。
进一步地,所述生成模块具体用于:
对所述阴影区域进行渲染,并对渲染后的阴影区域的边缘进行模糊处理,以在所述阴影区域内生成所述虚拟模型的影子图像。
进一步地,所述生成模块具体用于:
根据所述光源点的亮度值确定对应的阴影亮度;
利用所述阴影亮度对所述阴影区域进行渲染。
本申请实施例还提供了一种存储介质,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行上述任一项图像处理方法。
本申请实施例还提供了一种电子设备,包括处理器和存储器,所述处理器与所述存储器电性连接,所述存储器用于存储指令和数据,所述处理器用于上述任一项所述的图像处理方法中的步骤。
本申请提供的图像处理方法、装置、存储介质及电子设备,当将虚拟模型投射在拍摄图像上时,通过获取该拍摄图像中像素点的亮度值、以及该虚拟模型的二维坐标,并根据该亮度值从像素点中确定光源点,之后根据该光源点和二维坐标确定该虚拟模型在拍摄图像上形成的阴影区域,并在该阴影区域内生成该虚拟模型的影子图像,从而能根据实际光照情况较真实地模拟出虚拟模型的影子图像,方法简单,逼真度高,虚拟模型的投射效果好。
附图说明
下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其它有益效果显而易见。
图1为本申请实施例提供的图像处理系统的应用场景示意图。
图2为本申请实施例提供的图像处理方法的流程示意图。
图3为本申请实施例提供的边缘点B在光照射下投影点B’的示意图。
图4为本申请实施例提供的图像处理方法的另一流程示意图。
图5为本申请实施例提供的虚拟模型投射在拍摄图像上的示意图。
图6为本申请实施例提供的步骤206的流程示意图。
图7为本申请实施例提供的图像处理装置的结构示意图。
图8为本申请实施例提供的视频制作装置的另一结构示意图。
图9为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备。
请参阅图1,该图像处理系统可以包括本申请实施例提供的任一种图像处理装置,该图像处理装置可以集成在电子设备中,该电子设备可以包括智能手机、智能头盔等。
其中,当电子设备将虚拟模型投射在拍摄图像上时,其可以获取该拍摄图像中像素点的亮度值、以及该虚拟模型的二维坐标,并根据该亮度值从像素点中确定光源点,之后根据该光源点和二维坐标确定该虚拟模型在拍摄图像上形成的阴影区域,并在该阴影区域内生成该虚拟模型的影子图像。
譬如,请参见图1,该电子设备为智能手机,其具备摄像头和显示屏,该摄像头主要用于拍摄现实环境中的草地,该显示屏主要用于将虚拟模型“宠物蛋”和草地一起显示给用户,并且在显示过程中,该“宠物蛋”会伴随有影子,该影子的区域大小和位置是电子设备根据太阳和“宠物蛋”的图像坐标决定的。
如图2所示,图2是本申请实施例提供的图像处理方法的流程示意图,其应用于电子设备,具体流程可以如下:
101、当将虚拟模型投射在拍摄图像上时,获取该拍摄图像中像素点的亮度值、以及该虚拟模型的二维坐标。
本实施例中,可以通过电子设备内置的图像采集装置(比如摄像头)来获取该拍摄图像,该虚拟模型为三维模型,其可以从电子设备本地库中获取,也可以通过网络从其他设备中获取。该投射操作主要用于将三维立体图形投影在二维平面上。
例如,上述步骤“将虚拟模型投射在拍摄图像上”具体可以包括:
1-1、获取拍摄图像上的叠加点和叠加方向、以及虚拟模型的三维坐标。
本实施例中,该叠加方向主要指虚拟模型的正面朝向方向,该叠加点的位置可以是系统默认设定的,也可以是用户通过可穿戴智能设备自行选择的,比如用户可以在佩戴智能头盔时,通过视线聚焦点确定叠加点,在穿戴智能手套时,通过手指点击位置确定叠加点,等等。该三维坐标主要指以虚拟模型的某个点(比如中心点)为三维坐标系原点形成的坐标,其通常用于体现虚拟模型的尺寸大小。
1-2、按照该叠加方向将虚拟模型叠加在该拍摄图像上,使该虚拟模型底部的预设点与该叠加点重合。
1-3、根据该叠加点的图像坐标将该三维坐标转化为对应的二维坐标。
本实施例中,该预设点可以是底部中心点。当使预设点与叠加点重合,且虚拟模型的正面朝向与叠加方向相同时,可以将虚拟模型的三维坐标转化为与拍摄图像坐标系相同的二维坐标。
1-4、根据该二维坐标对该虚拟模型进行渲染,以在该拍摄图像上投射该虚拟模型。
本实施例中,当将虚拟模型的三维坐标转化为二维坐标时,必然存在彼此重叠的两个点,在渲染过程中,当这两个点默认的渲染颜色不同时,只需选取用户视角可见的那个点进行渲染即可,无需重复渲染。
102、根据该亮度值从像素点中确定光源点。
本实施例中,可以将亮度值最高的那个像素点确定为光源点,当亮度值最高的像素点存在多个时,可以选取其中一个(比如中间的那个点)作为光源点。
103、根据该光源点和二维坐标确定该虚拟模型在拍摄图像上形成的阴影区域。
例如,上述步骤103具体可以包括:
2-1、确定该光源点的投射方向。
本实施例中,由于光源点是朝四周发射光线,而这些光线只有一部分照射到虚拟模型上,故可以将这部分光线所在的发射方向确定为投射方向。
2-2、根据该投射方向从该虚拟模型中确定光照射面。
本实施例中,该光照射面可以是平面,曲面,或者不规则的凹凸面,通常,虚拟模型上能被光源点直接照射到的点所构成的面即为光照射面。
2-3、根据该光照射面上边缘点的二维坐标和光源点确定该虚拟模型在拍摄图像上形成的阴影区域。
例如,上述步骤2-3具体可以包括:
根据该光照射面上边缘点的纵坐标和光源点的纵坐标确定投影比例;
根据该投影比例、边缘点的横坐标以及光源点的横坐标确定投影点;
将该投影点围绕成的区域确定为该虚拟模型在拍摄图像上形成的阴影区域。
本实施例中,请参见图3,假设虚拟模型为人物模型,拍摄图像中地面在XY坐标系中的高度为0,光源点为A(x1,y1),若要确定人物模型中光照射面上的某一边缘点B(x2,y2)在地面上的投影点B’,B’的坐标位置可以由A和B的二维坐标计算出,通常,由于投影点位于地面,故B’的纵坐标为0,假设B’为(x3,0),也即需要求x3,从图中可以看出,y2:y1=(x3-x2)/(x3-x1),其中,x1、x2、y1、y2已知,y2:y1为投影比例,很容易就计算出x3。
104、在该阴影区域内生成该虚拟模型的影子图像。
本实施例中,该影子图像为电子设备借助真实物体在光照下形成影子的原理为虚拟模型模拟出的影子,从而增加逼真效果。
例如,上述步骤104具体可以包括:
对该阴影区域进行渲染,并对渲染后的阴影区域的边缘进行模糊处理,以在该阴影区域内生成该虚拟模型的影子图像。
本实施例中,可以直接用指定颜色(比如黑色)对阴影区域进行渲染,该模糊处理主要为对阴影区域的边缘进行渐变处理,使其颜色越来越淡。
需要指出的是,由于现实场景中光照强度对物体影子的颜色深度(也即阴影亮度)会造成影响,比如光照越强,影子颜色深度会越深,光照越弱,影子颜色深度会越浅,因此,上述步骤“对该阴影区域进行渲染”进一步可以包括:
根据该光源点的亮度值确定对应的阴影亮度;
利用该阴影亮度对该阴影区域进行渲染。
本实施例中,光源点的亮度值可以和阴影亮度成正比,具体的,可以预先采集现实生活中不同光照强度(也即光源亮度)下物体影子的阴影亮度并进行保存,每一阴影亮度可以对应一个光源亮度范围,之后,可以根据光源点的实际亮度获取对应的阴影亮度。
由上述可知,本实施例提供的图像处理方法,应用于电子设备,当将虚拟模型投射在拍摄图像上时,通过获取该拍摄图像中像素点的亮度值、以及该虚拟模型的二维坐标,并根据该亮度值从像素点中确定光源点,之后根据该光源点和二维坐标确定该虚拟模型在拍摄图像上形成的阴影区域,并在该阴影区域内生成该虚拟模型的影子图像,从而能根据实际光照情况较真实地模拟出虚拟模型的影子图像,方法简单,逼真度高,虚拟模型的投射效果好。
在本实施例中,将从图像处理装置的角度进行描述,具体将以该图像处理装置集成在电子设备中为例进行详细说明。
请参见图4,一种图像处理方法,应用于电子设备,具体流程可以如下:
201、电子设备获取拍摄图像上的叠加点和叠加方向、以及虚拟模型的三维坐标。
202、电子设备按照该叠加方向将虚拟模型叠加在该拍摄图像上,使该虚拟模型底部的预设点与该叠加点重合。
譬如,请参见图5,图5中的拍摄图像是对真实草地进行拍摄得到的,假设虚拟模型为本地数据库中的动物“牛”,则用户可以借助手指的点击位置指定M为叠加点,借助视线的凝视方向指定水平向右为叠加方向(也即牛的正面朝向方向),之后,当在拍摄图像上叠加“牛”时,可以将牛脚底((比如右边脚底))的某个点作为预设点,使其与叠加点重合。
203、电子设备根据该叠加点的图像坐标将该三维坐标转化为对应的二维坐标,并根据该二维坐标对该虚拟模型进行渲染,以在该拍摄图像上投射该虚拟模型。
譬如,请参见图5,投射前,虚拟模型表现为网格形式,并非实体形式,网格上的每一点都是一个三维坐标,该三维坐标通常是以虚拟模型本身某个点作为原点后创建三维坐标系得到的,体现的是虚拟模型各个点的相对空间关系,在将三维坐标投射到拍摄图像所在的二维平面之后,需要对该虚拟模型进行渲染,使其表现为实体形式,增加逼真度。
204、电子设备获取该拍摄图像中像素点的亮度值,并根据该亮度值从像素点中确定光源点。
譬如,可以将亮度值最高的那个像素点确定为光源点,当亮度值最高的像素点存在多个时,可以选取其中一个(比如中间的那个点)作为光源点,比如对于图5,该光源点可以是太阳中心点。
205、电子设备确定该光源点的投射方向,并根据该投射方向从该虚拟模型中确定光照射面。
譬如,图5中的光照射面为一个不规则的凹凸面,其为“牛”身上能被太阳光直接照射到的点构成的面。
206、电子设备根据该光照射面上边缘点的二维坐标和光源点确定该虚拟模型在拍摄图像上形成的阴影区域。
例如,请参见图6,上述步骤206具体可以包括:
2061、电子设备根据该光照射面上边缘点的纵坐标和光源点的纵坐标确定投影比例;
2062、电子设备根据该投影比例、边缘点的横坐标以及光源点的横坐标确定投影点;
2063、电子设备将该投影点围绕成的区域确定为该虚拟模型在拍摄图像上形成的阴影区域。
譬如,请参见图3,假设虚拟模型为人物模型,拍摄图像中地面在XY坐标系中的高度为0,光源点为A(x1,y1),若要确定人物模型中光照射面上的某一边缘点B(x2,y2)在地面上的投影点B’,B’的坐标位置可以由A和B的二维坐标计算出,通常,由于投影点位于地面,故B’的纵坐标为0,假设B’为(x3,0),也即需要求x3,从图中可以看出,y2:y1=(x3-x2)/(x3-x1),其中,x1、x2、y1、y2已知,y2:y1为投影比例,很容易就计算出x3。
207、电子设备根据该光源点的亮度值确定对应的阴影亮度,并利用该阴影亮度对该阴影区域进行渲染,之后对渲染后的阴影区域的边缘进行模糊处理。
譬如,可以预先采集现实生活中不同光照强度(也即光源亮度)下物体影子的阴影亮度并进行保存,每一阴影亮度可以对应一个光源亮度范围,之后,根据光源点的实际亮度值所在的光源亮度范围获取对应的阴影亮度,并以该阴影亮度对默认的阴影颜色(比如黑色)进行调整,得到适合该拍摄图像的阴影颜色,之后利用该阴影颜色渲染阴影区域。
由上述可知,本实施例提供的图像处理方法,应用于电子设备,其中电子设备可以获取拍摄图像上的叠加点和叠加方向、以及虚拟模型的三维坐标,并按照该叠加方向将虚拟模型叠加在该拍摄图像上,使该虚拟模型底部的预设点与该叠加点重合,接着,根据该叠加点的图像坐标将该三维坐标转化为对应的二维坐标,并根据该二维坐标对该虚拟模型进行渲染,以在该拍摄图像上投射该虚拟模型,接着,获取该拍摄图像中像素点的亮度值,并根据该亮度值从像素点中确定光源点,接着,确定该光源点的投射方向,并根据该投射方向确定该虚拟模型的光照射面,之后,根据该光照射面上边缘点的二维坐标和光源点确定该虚拟模型在拍摄图像上形成的阴影区域,最后,根据该光源点的亮度值确定对应的阴影亮度,并利用该阴影亮度对该阴影区域进行渲染,之后对渲染后的阴影区域的边缘进行模糊处理,从而能根据实际光源点的位置和光照强度较真实地模拟出虚拟模型的影子图像,方法简单,逼真度高,虚拟模型的投射效果好。
根据上述实施例所描述的方法,本实施例将从图像处理装置的角度进一步进行描述,该图像处理装置具体可以作为独立的实体来实现,也可以集成在电子设备,比如终端中来实现,该终端可以包括手机、平板电脑、智能穿戴设备等。
请参阅图7,图7具体描述了本申请实施例提供的图像处理装置,应用于电子设备,该图像处理装置可以包括:获取模块10、第一确定模块20、第二确定模块30和生成模块40,其中:
(1)获取模块10
获取模块10,用于当将虚拟模型投射在拍摄图像上时,获取该拍摄图像中像素点的亮度值、以及该虚拟模型的二维坐标。
本实施例中,可以通过电子设备内置的图像采集装置(比如摄像头)来获取该拍摄图像,该虚拟模型为三维模型,其可以从电子设备本地库中获取,也可以通过网络从其他设备中获取。该投射操作主要用于将三维立体图形投影在二维平面上。
例如,请参见图8,该图像处理装置还可以包括投射模块50,用于:
1-1、获取拍摄图像上的叠加点和叠加方向、以及虚拟模型的三维坐标。
本实施例中,该叠加方向主要指虚拟模型的正面朝向方向,该叠加点的位置可以是系统默认设定的,也可以是用户通过可穿戴智能设备自行选择的,比如用户可以在佩戴智能头盔时,通过视线聚焦点确定叠加点,在穿戴智能手套时,通过手指点击位置确定叠加点,等等。该三维坐标主要指以虚拟模型的某个点(比如中心点)为三维坐标系原点形成的坐标,其通常用于体现虚拟模型的尺寸大小。
1-2、按照该叠加方向将虚拟模型叠加在该拍摄图像上,使该虚拟模型底部的预设点与该叠加点重合。
1-3、根据该叠加点的图像坐标将该三维坐标转化为对应的二维坐标。
本实施例中,该预设点可以是底部中心点。当使预设点与叠加点重合,且虚拟模型的正面朝向与叠加方向相同时,可以将虚拟模型的三维坐标转化为与拍摄图像坐标系相同的二维坐标。
1-4、根据该二维坐标对该虚拟模型进行渲染,以在该拍摄图像上投射该虚拟模型。
本实施例中,当将虚拟模型的三维坐标转化为二维坐标时,必然存在彼此重叠的两个点,在渲染过程中,当这两个点默认的渲染颜色不同时,只需选取用户视角可见的那个点进行渲染即可,无需重复渲染。
(2)第一确定模块20
第一确定模块20,用于根据该亮度值从像素点中确定光源点。
本实施例中,可以将亮度值最高的那个像素点确定为光源点,当亮度值最高的像素点存在多个时,可以选取其中一个(比如中间的那个点)作为光源点。
(3)第二确定模块30
第二确定模块30,用于根据该光源点和二维坐标确定该虚拟模型在拍摄图像上形成的阴影区域。
例如,上述第二确定模块30具体可以用于:
2-1、确定该光源点的投射方向。
本实施例中,由于光源点是朝四周发射光线,而这些光线只有一部分照射到虚拟模型上,故可以将这部分光线所在的发射方向确定为投射方向。
2-2、根据该投射方向确定该虚拟模型的光照射面。
本实施例中,该光照射面可以是平面,曲面,或者不规则的凹凸面,通常,虚拟模型上能被光源点直接照射到的点所构成的面即为光照射面。
2-3、根据该光照射面上边缘点的二维坐标和光源点确定该虚拟模型在拍摄图像上形成的阴影区域。
进一步地,该二维坐标包括横坐标和纵坐标,该第二确定模块30可以用于:
根据该光照射面上边缘点的纵坐标和光源点的纵坐标确定投影比例;
根据该投影比例、边缘点的横坐标以及光源点的横坐标确定投影点;
将该投影点围绕成的区域确定为该虚拟模型在拍摄图像上形成的阴影区域。
本实施例中,请参见图3,假设虚拟模型为人物模型,拍摄图像中地面在XY坐标系中的高度为0,光源点为A(x1,y1),若要确定人物模型中光照射面上的某一边缘点B(x2,y2)在地面上的投影点B’,B’的坐标位置可以由A和B的二维坐标计算出,通常,由于投影点位于地面,故B’的纵坐标为0,假设B’为(x3,0),也即需要求x3,从图中可以看出,y2:y1=(x3-x2)/(x3-x1),其中,x1、x2、y1、y2已知,y2:y1为投影比例,很容易就计算出x3。
(4)生成模块40
生成模块40,用于在该阴影区域内生成该虚拟模型的影子图像。
本实施例中,该影子图像为电子设备借助真实物体在光照下形成影子的原理为虚拟模型模拟出的影子,从而增加逼真效果。
例如,该生成模块40具体可以用于:
对该阴影区域进行渲染,并对渲染后的阴影区域的边缘进行模糊处理,以在该阴影区域内生成该虚拟模型的影子图像。
本实施例中,生成模块40可以直接用指定颜色(比如黑色)对阴影区域进行渲染,该模糊处理主要为对阴影区域的边缘进行渐变处理,使其颜色越来越淡。
需要指出的是,由于现实场景中光照强度对物体影子的颜色深度(也即阴影亮度)会造成影响,比如光照越强,影子颜色深度会越深,光照越弱,影子颜色深度会越浅,因此,生成模块40进一步可以用于:
根据该光源点的亮度值确定对应的阴影亮度;
利用该阴影亮度对该阴影区域进行渲染。
本实施例中,光源点的亮度值可以和阴影亮度成正比,具体的,可以预先采集现实生活中不同光照强度(也即光源亮度)下物体影子的阴影亮度并进行保存,每一阴影亮度可以对应一个光源亮度范围,之后,生成模块40可以根据光源点的实际亮度获取对应的阴影亮度。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由上述可知,本实施例提供的图像处理装置,应用于电子设备,当将虚拟模型投射在拍摄图像上时,通过获取模块10获取该拍摄图像中像素点的亮度值、以及该虚拟模型的二维坐标,第一确定模块20根据该亮度值从像素点中确定光源点,之后第二确定模块30根据该光源点和二维坐标确定该虚拟模型在拍摄图像上形成的阴影区域,生成模块40在该阴影区域内生成该虚拟模型的影子图像,从而能根据实际光照情况较真实地模拟出虚拟模型的影子图像,方法简单,逼真度高,虚拟模型的投射效果好。
另外,本申请实施例还提供了一种电子设备,该电子设备可以是智能手机、平板电脑等设备。图9所示,电子设备900包括处理器901、存储器902、显示屏903以及控制电路904。其中,处理器901分别与存储器902、显示屏903、控制电路904电性连接。
处理器901是电子设备900的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器902内的应用程序,以及调用存储在存储器902内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
在本实施例中,电子设备900中的处理器901会按照如下的步骤,将一个或一个以上的应用程序的进程对应的指令加载到存储器902中,并由处理器901来运行存储在存储器902中的应用程序,从而实现各种功能:
当将虚拟模型投射在拍摄图像上时,获取该拍摄图像中像素点的亮度值、以及该虚拟模型的二维坐标;
根据该亮度值从像素点中确定光源点;
根据该光源点和二维坐标确定该虚拟模型在拍摄图像上形成的阴影区域;
在该阴影区域内生成该虚拟模型的影子图像。
存储器902可用于存储应用程序和数据。存储器902存储的应用程序中包含有可在处理器中执行的指令。应用程序可以组成各种功能模块。处理器901通过运行存储在存储器902的应用程序,从而执行各种功能应用以及数据处理。
显示屏903可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口,这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。
控制电路904与显示屏903电性连接,用于控制显示屏903显示信息。
在一些实施例中,如图9所示,电子设备900还包括:射频电路905、输入单元906、音频电路907、传感器908以及电源909。其中,处理器901分别与射频电路905、输入单元906、音频电路907、传感器908以及电源909电性连接。
射频电路905用于收发射频信号,以通过无线通信与网络设备或其他电子设备建立无线通讯,与网络设备或其他电子设备之间收发信号。
输入单元906可用于接收输入的数字、字符信息或用户特征信息(例如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中,输入单元906可以包括指纹识别模组。
音频电路907可通过扬声器、传声器提供用户与终端之间的音频接口。
电子设备900还可以包括至少一种传感器908,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在终端移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
电源909用于给电子设备900的各个部件供电。在一些实施例中,电源909可以通过电源管理系统与处理器901逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图9中未示出,电子设备900还可以包括摄像头、蓝牙模块等,在此不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。为此,本发明实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种图像处理方法中的步骤。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本发明实施例所提供的任一种图像处理方法中的步骤,因此,可以实现本发明实施例所提供的任一种图像处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
综上该,虽然本申请已以优选实施例揭露如上,但上述优选实施例并非用以限制本申请,本领域的普通技术人员,在不脱离本申请的精神和范围内,均可作各种更动与润饰,因此本申请的保护范围以权利要求界定的范围为准。

Claims (10)

1.一种图像处理方法,应用于电子设备,其特征在于,包括:
当将虚拟模型投射在拍摄图像上时,获取所述拍摄图像中像素点的亮度值、以及所述虚拟模型的二维坐标;
根据所述亮度值从像素点中确定光源点;
根据所述光源点和二维坐标确定所述虚拟模型在拍摄图像上形成的阴影区域;
在所述阴影区域内生成所述虚拟模型的影子图像。
2.根据权利要求1所述的图像处理方法,其特征在于,所述将虚拟模型投射在拍摄图像上,包括:
获取拍摄图像上的叠加点和叠加方向、以及虚拟模型的三维坐标;
按照所述叠加方向将虚拟模型叠加在所述拍摄图像上,使所述虚拟模型底部的预设点与所述叠加点重合;
根据所述叠加点的图像坐标将所述三维坐标转化为对应的二维坐标;
根据所述二维坐标对所述虚拟模型进行渲染,以在所述拍摄图像上投射所述虚拟模型。
3.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述光源点和二维坐标确定所述虚拟模型在拍摄图像上形成的阴影区域,包括:
确定所述光源点的投射方向;
根据所述投射方向从所述虚拟模型中确定光照射面;
根据所述光照射面上边缘点的二维坐标和光源点确定所述虚拟模型在拍摄图像上形成的阴影区域。
4.根据权利要求3所述的图像处理方法,其特征在于,所述二维坐标包括横坐标和纵坐标,所述根据所述光照射面上边缘点的二维坐标和光源点确定所述虚拟模型在拍摄图像上形成的阴影区域,包括:
根据所述光照射面上边缘点的纵坐标和光源点的纵坐标确定投影比例;
根据所述投影比例、边缘点的横坐标以及光源点的横坐标确定投影点;
将所述投影点围绕成的区域确定为所述虚拟模型在拍摄图像上形成的阴影区域。
5.根据权利要求1-4中任一项所述的图像处理方法,其特征在于,所述在所述阴影区域内生成所述虚拟模型的影子图像,包括:
对所述阴影区域进行渲染,并对渲染后的阴影区域的边缘进行模糊处理,以在所述阴影区域内生成所述虚拟模型的影子图像。
6.根据权利要求5所述的图像处理方法,其特征在于,所述对所述阴影区域进行渲染,包括:
根据所述光源点的亮度值确定对应的阴影亮度;
利用所述阴影亮度对所述阴影区域进行渲染。
7.一种图像处理装置,应用于电子设备,其特征在于,包括:
获取模块,用于当将虚拟模型投射在拍摄图像上时,获取所述拍摄图像中像素点的亮度值、以及所述虚拟模型的二维坐标;
第一确定模块,用于根据所述亮度值从像素点中确定光源点;
第二确定模块,用于根据所述光源点和二维坐标确定所述虚拟模型在拍摄图像上形成的阴影区域;
生成模块,用于在所述阴影区域内生成所述虚拟模型的影子图像。
8.根据权利要求7所述的图像处理装置,其特征在于,还包括投射模块,用于:
获取拍摄图像上的叠加点和叠加方向、以及虚拟模型的三维坐标;
按照所述叠加方向将虚拟模型叠加在所述拍摄图像上,使所述虚拟模型底部的预设点与所述叠加点重合;
根据所述叠加点的图像坐标将所述三维坐标转化为对应的二维坐标;
根据所述二维坐标对所述虚拟模型进行渲染,以在所述拍摄图像上投射所述虚拟模型。
9.一种存储介质,其特征在于,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行权利要求1至6任一项所述的图像处理方法。
10.一种电子设备,其特征在于,包括处理器和存储器,所述处理器与所述存储器电性连接,所述存储器用于存储指令和数据,所述处理器用于执行权利要求1至6任一项所述的图像处理方法中的步骤。
CN201810254536.4A 2018-03-26 2018-03-26 图像处理方法、装置、存储介质及电子设备 Active CN108525298B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810254536.4A CN108525298B (zh) 2018-03-26 2018-03-26 图像处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810254536.4A CN108525298B (zh) 2018-03-26 2018-03-26 图像处理方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN108525298A true CN108525298A (zh) 2018-09-14
CN108525298B CN108525298B (zh) 2020-08-04

Family

ID=63484709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810254536.4A Active CN108525298B (zh) 2018-03-26 2018-03-26 图像处理方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN108525298B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447925A (zh) * 2018-09-28 2019-03-08 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备
CN110458962A (zh) * 2019-07-03 2019-11-15 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN110489580A (zh) * 2019-08-26 2019-11-22 Oppo(重庆)智能科技有限公司 图像处理方法、装置、显示屏组件以及电子设备
WO2020056691A1 (zh) * 2018-09-20 2020-03-26 太平洋未来科技(深圳)有限公司 一种交互对象的生成方法、装置及电子设备
CN111462294A (zh) * 2020-03-27 2020-07-28 咪咕视讯科技有限公司 一种图像处理方法、电子设备及计算机可读存储介质
CN111462295A (zh) * 2020-03-27 2020-07-28 咪咕文化科技有限公司 增强现实合拍中的阴影处理方法、设备及存储介质
CN111476834A (zh) * 2019-01-24 2020-07-31 北京地平线机器人技术研发有限公司 生成图像的方法、装置及电子设备
CN111489448A (zh) * 2019-01-24 2020-08-04 宏达国际电子股份有限公司 检测真实世界光源的方法、混合实境系统及记录介质
CN112235922A (zh) * 2019-06-28 2021-01-15 广东小天才科技有限公司 一种基于辅灯源消除照明阴影的方法及系统
CN112270759A (zh) * 2020-10-30 2021-01-26 北京字跳网络技术有限公司 基于图像的光效处理方法、装置、设备及存储介质
CN112532879A (zh) * 2020-11-26 2021-03-19 维沃移动通信有限公司 图像处理方法及装置
WO2023142264A1 (zh) * 2022-01-28 2023-08-03 歌尔股份有限公司 一种图像显示方法、装置、ar头戴设备及存储介质
CN117173314A (zh) * 2023-11-02 2023-12-05 腾讯科技(深圳)有限公司 一种图像处理方法、装置、设备、介质及程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104517271A (zh) * 2014-12-29 2015-04-15 小米科技有限责任公司 图像处理方法及装置
US20160027141A1 (en) * 2014-07-22 2016-01-28 Oculus Vr, Llc In-band latency detection system
CN107749083A (zh) * 2017-09-28 2018-03-02 联想(北京)有限公司 图像展示的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160027141A1 (en) * 2014-07-22 2016-01-28 Oculus Vr, Llc In-band latency detection system
CN104517271A (zh) * 2014-12-29 2015-04-15 小米科技有限责任公司 图像处理方法及装置
CN107749083A (zh) * 2017-09-28 2018-03-02 联想(北京)有限公司 图像展示的方法和装置

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020056691A1 (zh) * 2018-09-20 2020-03-26 太平洋未来科技(深圳)有限公司 一种交互对象的生成方法、装置及电子设备
CN109447925B (zh) * 2018-09-28 2021-07-09 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备
CN109447925A (zh) * 2018-09-28 2019-03-08 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备
CN111476834A (zh) * 2019-01-24 2020-07-31 北京地平线机器人技术研发有限公司 生成图像的方法、装置及电子设备
CN111489448A (zh) * 2019-01-24 2020-08-04 宏达国际电子股份有限公司 检测真实世界光源的方法、混合实境系统及记录介质
CN111476834B (zh) * 2019-01-24 2023-08-11 北京地平线机器人技术研发有限公司 生成图像的方法、装置及电子设备
CN112235922A (zh) * 2019-06-28 2021-01-15 广东小天才科技有限公司 一种基于辅灯源消除照明阴影的方法及系统
CN112235922B (zh) * 2019-06-28 2022-12-30 广东小天才科技有限公司 一种基于辅灯源消除照明阴影的方法及系统
CN110458962A (zh) * 2019-07-03 2019-11-15 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN110458962B (zh) * 2019-07-03 2023-09-05 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN110489580A (zh) * 2019-08-26 2019-11-22 Oppo(重庆)智能科技有限公司 图像处理方法、装置、显示屏组件以及电子设备
CN111462295A (zh) * 2020-03-27 2020-07-28 咪咕文化科技有限公司 增强现实合拍中的阴影处理方法、设备及存储介质
CN111462295B (zh) * 2020-03-27 2023-09-05 咪咕文化科技有限公司 增强现实合拍中的阴影处理方法、设备及存储介质
CN111462294A (zh) * 2020-03-27 2020-07-28 咪咕视讯科技有限公司 一种图像处理方法、电子设备及计算机可读存储介质
CN111462294B (zh) * 2020-03-27 2024-03-22 咪咕视讯科技有限公司 一种图像处理方法、电子设备及计算机可读存储介质
WO2022088927A1 (zh) * 2020-10-30 2022-05-05 北京字跳网络技术有限公司 基于图像的光效处理方法、装置、设备及存储介质
CN112270759B (zh) * 2020-10-30 2022-06-24 北京字跳网络技术有限公司 基于图像的光效处理方法、装置、设备及存储介质
CN112270759A (zh) * 2020-10-30 2021-01-26 北京字跳网络技术有限公司 基于图像的光效处理方法、装置、设备及存储介质
CN112532879B (zh) * 2020-11-26 2022-04-12 维沃移动通信有限公司 图像处理方法及装置
CN112532879A (zh) * 2020-11-26 2021-03-19 维沃移动通信有限公司 图像处理方法及装置
WO2023142264A1 (zh) * 2022-01-28 2023-08-03 歌尔股份有限公司 一种图像显示方法、装置、ar头戴设备及存储介质
CN117173314A (zh) * 2023-11-02 2023-12-05 腾讯科技(深圳)有限公司 一种图像处理方法、装置、设备、介质及程序产品
CN117173314B (zh) * 2023-11-02 2024-02-23 腾讯科技(深圳)有限公司 一种图像处理方法、装置、设备、介质及程序产品

Also Published As

Publication number Publication date
CN108525298B (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
CN108525298A (zh) 图像处理方法、装置、存储介质及电子设备
CN110147231B (zh) 组合特效生成方法、装置及存储介质
US11393154B2 (en) Hair rendering method, device, electronic apparatus, and storage medium
CN105378801B (zh) 全息图快照网格
CN110276840B (zh) 多虚拟角色的控制方法、装置、设备及存储介质
CN106383587A (zh) 一种增强现实场景生成方法、装置及设备
CN110880204B (zh) 虚拟植被显示方法、装置、计算机设备及存储介质
CN112156464B (zh) 虚拟对象的二维形象展示方法、装置、设备及存储介质
CN109754454A (zh) 物体模型的渲染方法、装置、存储介质及设备
CN107483836B (zh) 一种拍摄方法及移动终端
CN109634413B (zh) 对虚拟环境进行观察的方法、设备及存储介质
CN108694073A (zh) 虚拟场景的控制方法、装置、设备及存储介质
CN108495032A (zh) 图像处理方法、装置、存储介质及电子设备
CN111325822B (zh) 热点图的显示方法、装置、设备及可读存储介质
CN110490897A (zh) 模仿视频生成的方法和电子设备
CN109495616A (zh) 一种拍照方法及终端设备
CN111026318A (zh) 基于虚拟环境的动画播放方法、装置、设备及存储介质
CN111273780A (zh) 基于虚拟环境的动画播放方法、装置、设备及存储介质
CN110517346B (zh) 虚拟环境界面的展示方法、装置、计算机设备及存储介质
CN108888954A (zh) 一种拾取坐标的方法、装置、设备及存储介质
CN112884873B (zh) 虚拟环境中虚拟物体的渲染方法、装置、设备及介质
CN113487662A (zh) 画面显示方法、装置、电子设备和存储介质
CN112306332B (zh) 确定选中目标的方法、装置、设备及存储介质
CN116672706B (zh) 光照渲染方法、装置、终端和存储介质
CN108833791A (zh) 一种拍摄方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: OPPO Guangdong Mobile Communications Co., Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: Guangdong OPPO Mobile Communications Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant